JPH09319556A

JPH09319556A - 情報処理装置

Info

Publication number: JPH09319556A
Application number: JP8133188A
Authority: JP
Inventors: Atsushi Horioka; 篤史堀岡; Katsumi Murai; 克己村井
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-05-28
Filing date: 1996-05-28
Publication date: 1997-12-12

Abstract

(57)【要約】【課題】計算機内に実現される仮想的な書類（文字、画
像データ等）と現実に存在する紙片や書籍などの書類と
を自然な形で結び付ける。【解決手段】オペレータは机１０１上に書籍１０２を置
いて事務作業をする時に並行してカメラ１０５は書類の
画像情報を計算機に取り込む。また、アイコンやカーソ
ルといった計算機特有のイメージをプロジェクタ１０５
により机１０１上、あるいは書類１０２上に投影する。
書類１０２上にもカーソルは表示できるので、ユーザは
書籍１０２上に印刷された文字列であっても、プロジェ
クタ１０５によって投影されたアイコンであってもマウ
ス１０６でカーソルを移動させて選択する事によりコマ
ンドを発する事ができる。処理部１１１では与えられた
コマンドに対し辞書検索、データベース検索、文字列の
計算などの処理を行ない、得られた結果はプロジェクタ
１０５により投影される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、ウィンド
ウシステムなどの情報処理装置用ユーザインタフェース
等に利用可能な情報処理装置に関するものである。

【０００２】

【従来の技術】これらの装置はパーソナルコンピュータ
のディスプレイ上に文字や図形を視覚化して表示する事
により、ワードプロセッサ、スプレッドシートなどの情
報処理ソフトウェアからユーザへの情報伝達を行ってい
る。この情報処理装置（例えば、パソコン）内に辞書な
どを格納していたならば、エディタ上で文書を読んでい
る際、ある単語を選択すれば、自動的に辞書引きを行な
い、単語の英訳・和訳などといった便利な機能も実現で
きるが、こういった機能は、利用者が読む文書があらか
じめ電子化されて情報処理装置内に格納されていて初め
てできる事である。ところが近年は、このような使い方
を想定してＣＤ−ＲＯＭなどの電子化された文書データ
が非常に増加している。しかし、紙をとじて作成した書
籍などの電子化されていない通常の文書はまだまだ圧倒
的多数を占め、これらを読む際に、前述したような便利
な辞書引きなどの機能を利用しようとする場合には、利
用者自らが、あらかじめイメージスキャナなどを使って
書籍の文字の画像情報を電子化し、さらに文字認識を行
って文字コードに変換して蓄えておかねばならない。ま
た、手元の書籍と同一のものが電子化されてデータベー
スに格納されていたとしても、該当する電子化データを
瞬時に見つけだす事自体非常に困難である。

【０００３】こういった、従来の書籍などの情報媒体の
存在を前提として、電子的情報機器と上手に組み合わせ
て作業を行なうために、ＡＲ（ＡｕｇｍｅｎｔｅｄＲ
ｅａｌｉｔｙ）という概念が生み出されている（日経エ
レクトロニクス１９９６．１．１（ｎｏ．６５２））。
文書作成などの分野に応用した例としては、例えば、Ｗ
ｅｌｌｎｅｒらの“ＤｉｇｉｔａｌＤｅｓｋ”（Ｐｉｅ
ｒｒｅＷｅｌｌｎｅｒ：“ＴｈｅＤｅｇｉｔａｌＤ
ｅｓｋＣａｌｃｕｌａｔｏｒ：Ｔａｎｇｉｂｌｅ
ＭａｎｉｐｕｌａｔｉｏｎｏｎａＤｅｓｋＴｏ
ｐＤｉｓｐｌａｙ”，Ｐｒｏｃｅｅｄｉｎｇｓｏｆ
ＵＩＳＴ‘９１，ＡＣＭ，１９９３，Ｗｉｌｌｉａｍ
ＮｅｗｍａｎａｎｄＰｉｅｒｒｅＷｅｌｌｎｅ
ｒ：“ＡＤｅｓｋＳｕｐｐｏｒｔｉｎｇＣｏｍｐｕ
ｔｅｒ−ＢａｓｅｄＩｎｔｅｒａｃｔｉｏｎｗｉｔ
ｈＰａｐｅｒＤｏｃｕｍｅｎｔｓ”，ＣＨＩ’９
２，ＡＣＭ，１９９２）があり、これは、ユーザが作業
を行なう机の上方に、カメラとプロジェクタとを設置し
ている。ここでカメラはユーザの行動を把握したり机の
上に置かれた書類上の文字列を読み込んだりするのに使
われ、プロジェクタはユーザの動作や読み込まれた文字
列に対する処理結果を机上に投影するために使われてい
る。ここでは仮想的な電卓の例が示されており、プロジ
ェクタにより机上に電卓のイメージを投影し、机上に置
いた紙片や書籍の上に印刷された数字列をユーザが指で
指定すると、指定された部分に四角形が投影され、指定
された部分とその範囲がユーザにわかるようにしてあ
る。そしてこの状態でユーザが机上を軽くたたけば、指
定された部分が電卓に入力されるようになっている。そ
の後はプロジェクタの投影する電卓の映像に対してユー
ザが一連の操作を行なうような例が示されている。

【０００４】また、電卓やエディタなどの電子ドキュメ
ントの画像を机上に投影する際に、ユーザの手や、机上
に置かれた紙片や書籍などの現実物と重なり合うと非常
に視認性が低下する。この問題に関しては、例えば特開
平６−２６６４９８号公報に解決の一方法が示されてお
り、机の上方にカメラを設置する点は本発明と同様だ
が、プロジェクタを使わずに机自身にディスプレイを上
向きにして組み込んだ水平ディスプレイを使っている点
が異なっている。この方法であるならば、現実物と電子
ドキュメントの画像とが重なり合う事はそもそも不可能
である。この公報に示されている表示位置の決定方法は
そのまま応用でき、これは、カメラを使って机上に位置
する現実物やユーザの手などの位置を検出し、その現実
物が存在する場所には電子ドキュメントを表示しないよ
うにしている。

【０００５】また、カメラを机の上方に設置してユーザ
の動作を入力、処理する装置については、Ｋｒｕｅｇｅ
ｒらの“ＶｉｄｅｏＤｅｓｋ”（ＭｙｒｏｎＷ．Ｋｒ
ｕｅｇｅｒ、ＫａｔｒｉｎＨｉｎｒｉｃｈｓｅｎ、Ｔ
ｈｏｍａｓＳ．Ｇｉｏｎｆｒｉｄｄｏ：“ＲＥＡＬ
ＴＩＭＥＰＥＲＣＥＰＴＩＯＮＯＦＡＮＤＲＥ
ＳＰＯＮＳＥＴＯＴＨＥＡＣＴＩＯＮＳＯＦ
ＡＮＵＮＥＮＵＭＢＥＲＥＤＰＡＲＴＩＣＩＰＡＮ
Ｔ／ＵＳＥＲ”，米国特許４，８４３、５６３号）に示
されている。また、椎尾の“ＩｎｆｏＢｉｎｄｅｒ”
（椎尾一郎：「ＩｎｆｏＢｉｎｄｅｒ：仮想デスクトッ
プの小道具」、情報処理学会第５１回全国大会６−２５
１）もユーザの作業机の上方にカメラとプロジェクタと
を設置しており、ユーザの入力に対する応答をプロジェ
クターが映し出す像を使って出力する。

【０００６】

【発明が解決しようとする課題】しかしながら、上に示
した従来技術には実現する際に次のような問題点が含ま
れている。まず、紙片あるいは書籍などに印刷された文
字列を光学的に入力する場合であるが、例えば“Ｄｉｇ
ｉｔａｌＤｅｓｋ”ではユーザが指あるいは何らかのポ
インティング手段を使って文字列を指定する際の具体的
な方法は述べられていない。また、ユーザの指定した文
字列上に四角形の映像を投射する事により、指定されて
いる部分が分かるようにしてあるが、この時、文字列が
描かれている紙片あるいは書籍を移動した場合には誤っ
た場所に四角形が投射されてしまい混乱を招くといった
問題があった。

【０００７】また、計算機の出力としての投影結果はプ
リンタなどで紙に印刷する事ができるが、このようにす
ると入力時に使用した書籍などと印刷された紙の両方が
それぞれ個別に存在し、両者が結び付かないといった問
題点があった。これを防ぐためには投影結果を入力に使
用した書籍などにそのままユーザが書き込むという方法
もあるが、結果の量が多ければ書き込みの手間も大変な
ものになる上、投影されたイメージと書き込まれたイメ
ージが重なりあって見づらくなるし、第一、書き込みは
書籍自身を汚す事になってしまう。

【０００８】さらに、机上を多数の現実物が占めてお
り、電子ドキュメントの画像を表示するだけの空間が残
っていない場合には、上記従来技術、例えば特開平６−
２６６４９８号公報では表示が不可能であった。

【０００９】そこで本発明は、上記の問題点を除去し、
紙片や書籍といった紙の情報媒体と電子的な情報媒体と
が共存できる方式を提供する事を目的とする。

【００１０】

【課題を解決するための手段】請求項１記載の本発明
は、撮像装置と、座標入力装置と、投影装置とが接続さ
れた情報処理装置において、前記撮像装置によって得ら
れた映像情報内から現実物を検出する検出手段と、前記
座標入力装置によって得られた座標情報によりカーソル
を制御する手段とを備え、前記情報処理装置内に蓄えら
れた情報及び前記カーソルを前記投影装置で投影し、前
記投影された情報が前記カーソルで選択された場合に
は、その選択された選択範囲を可視化して投影し、又、
前記現実物が前記カーソルで選択された場合には、その
選択された選択範囲を可視化して投影する情報処理装置
である。

【００１１】請求項２記載の本発明は、前記撮像装置が
撮像動作をする場合には、前記投影装置は前記情報処理
装置内に蓄えられた情報や前記カーソルを表示するので
はなく、実質上無地の映像を投影する情報処理装置であ
る。

【００１２】請求項３記載の本発明は、撮像装置と、座
標入力装置と、投影装置とが接続された情報処理装置に
おいて、前記撮像装置によって得られた映像情報内から
現実物を検出する検出手段を備え、前記投影装置が前記
情報処理装置内に蓄えられた情報を投影し、その投影さ
れた情報が選択された場合には、その選択された選択範
囲を可視化して投影し、又、前記現実物が選択された場
合には、その選択された選択範囲を可視化して投影し、
前記撮像装置が撮像動作をする場合には、前記投影装
置は前記情報処理装置内に蓄えられた情報を表示せず、
実質上無地の映像を投影する情報処理装置である。

【００１３】請求項４記載の本発明は、前記投影装置が
投影する前記実質上無地の映像は、投影範囲の照度を高
める映像である情報処理装置である。

【００１４】請求項５記載の本発明は、前記検出手段で
は、前記検出された物体の位置情報の変化も検出し、現
実物を前記カーソルで選択し、選択範囲を可視化して投
影しているときに現実物が移動した場合には移動先で選
択範囲が可視化して投影されるように更新する情報処理
装置である。

【００１５】請求項６記載の本発明は、前記投影装置
は、前記撮像装置が撮像する範囲を可視化して投影する
情報処理装置である。

【００１６】請求項７記載の本発明は、前記検出手段で
は、前記検出された物体上に記された１文字以上の文字
列を認識し、前記文字列の全体あるいは１部分が選択さ
れたときには、選択された部分をキーワードとしてデー
タベースを検索し、検索結果を前記投影装置で投影する
情報処理装置である。

【００１７】請求項８記載の本発明は、ディスプレイを
備え、前記検索結果を前記ディスプレイに表示する情報
処理装置である。

【００１８】請求項９記載の本発明は、前記情報処理装
置内に蓄えられた情報を前記投影装置で投影する際に、
前記投影装置の投影範囲内で、現実物が存在しない空白
部分に前記情報を投影し、前記情報を投影するのに必要
な面積と前記空白部分の面積とを比較し、前記空白部分
の面積が不足している場合には、可視情報あるいは、可
聴情報として出力する情報処理装置である。

【００１９】請求項１０記載の本発明は、前記空白部分
の面積が不足しているときには、前記空白部分の中に前
記情報の全体像が表示されるまで前記情報を本来出力す
る面積より縮小して投影する情報処理装置である。

【００２０】請求項１１記載の本発明は、前記撮像装置
は現実物とオペレータの指とを撮像し、前記検出部は前
記現実物上における前記オペレータの指の位置を算出
し、投影装置はその位置にカーソルを表示する情報処理
装置である。

【００２１】請求項１２記載の本発明は、前記撮像装置
は現実物とオペレータの指とを撮像し、前記検出部は前
記オペレータの指の位置を算出し、前記カーソルを前記
指の位置により制御する情報処理装置である。

【００２２】請求項１３記載の本発明は、前記カーソル
を前記オペレータの指の位置に表示する情報処理装置で
ある。

【００２３】請求項１４記載の本発明は、前記オペレー
タの指で座標を入力する場合は、前記カーソルを表示し
ない情報処理装置である。

【００２４】請求項１５記載の本発明は、前記撮像装置
の撮像範囲内に数式の左辺が記された紙片を設置された
場合、前記検出手段は前記左辺の文字列を認識し、前記
数式の左辺より算出して得られた結果を前記投影装置で
前記数式の左辺に対して右辺が存在すべき位置に投影す
る情報処理装置である。

【００２５】請求項１６記載の本発明は、前記撮像装置
の撮像範囲内に図形の記された紙片を設置された場合、
前記図形に対し最も類似度の高い図形を検索して結果
を、前記投影装置は前記最も類似度の高い図形を前記紙
片に記された図形に重ねて投影する情報処理装置であ
る。

【００２６】請求項１７記載の本発明は、前記投影装置
が投影した前記結果の全体あるいはその一部分をその入
力の上あるいは周辺にオペレータが手書きで入力する
と、投影されている結果の中で入力された部分に対応す
る部分について投影を停止する情報処理装置である。

【００２７】請求項１８記載の本発明は、前記数式の左
辺を文字式で与え、文字に代入する数を前記文字式の記
された紙片上あるいは前記撮像範囲内に存在する別の紙
片上に記された数字で与える情報処理装置である。

【００２８】請求項１９記載の本発明は、前記検出手段
では、前記検出された物体上に記された１文字以上の文
字列を認識し、認識結果と同一の物があるかどうかを前
記情報処理装置内に蓄えられた情報の中から探し出し、
認識の誤りがあった場合には、前記情報処理装置内に蓄
えられた情報に含まれている文字列に置き換える情報処
理装置である。

【００２９】請求項２０記載の本発明は、他の情報処理
装置あるいはデータベースと情報伝達する回線を備え、
前記検出手段では、前記検出された物体上に記された１
文字以上の文字列を認識し、認識結果と同一の物がある
か否かを前記他の情報処理装置あるいはデータベースに
蓄えられた情報の中から探し出し、認識の誤りがあった
場合には、前記他の情報処理装置あるいはデータベース
に蓄えられた情報に含まれている文字列に置き換える情
報処理装置である。

【００３０】請求項２１記載の本発明は、前記撮像範囲
内に置かれた書類上の紙面について文字や図形のレイア
ウトを符号化して保存しておき、後に前記撮像範囲内に
置かれた書類が、かつて置かれた書類と同一であるか否
かを判定し、同一であった場合には、以前に前記書類上
で行われた処理の結果を再び表示する情報処理装置であ
る。

【００３１】請求項２２記載の本発明は、前記検出手段
は前記文字の認識も行ない、前記同一であるか否かの判
定には前記文字や図形のレイアウトだけでなく、文字認
識結果を使用する情報処理装置である。

【００３２】又、上記の目的を達成するために、例え
ば、本発明の文字入力方式は、撮像手段と、座標入力手
段と、投影手段と情報処理手段と、上記撮像手段によっ
て得られた映像情報内から現実物を検出する検出手段
と、カーソル制御手段とから構成される。

【００３３】又、本発明によれば、例えば、オペレータ
が指あるいはマウスなどの座標入力手段で、現実物ある
いは投影手段が投影する画像を選択すると、選択が完了
した事を示す情報や、選択内容に対する検索結果が投影
手段よりオペレータに可視情報として出力される。

【００３４】

【発明の実施の形態】以下、本発明の情報処理装置の実
施の形態を図面を用いて説明する。

【００３５】まず、図１は一実施の形態を示す構成図で
ある。ユーザは机１０１に向かい合って本情報処理装置
を操作し、机１０１の上には書類１０２とマウス１０６
が置かれている。机の上方にはカメラ１０３が机上の映
像を撮像できるように設置され、これはカメラ制御機構
１０４によって撮像範囲の変化、すなわちズームイン／
アウトや撮像角度を変更できる。また、机１０１の上方
にはプロジェクタ１０５も設置されており、投影範囲を
机１０１のほぼ全体をカバーするように設置する。カメ
ラ１０３によって撮影されたアナログ映像信号はＡ／Ｄ
変換器１０７によりデジタル化され、図形・文字認識部
１０８に入力され、映像から机上に存在する書類１０２
等の物体の位置や、その上に記載されている文字を認識
したりする。また、ユーザーがマウス１０６を操作する
と、マウスの変位は座標検出部１０９で座標情報に変換
され、図形・文字認識部１０８で得られた物体の位置情
報や文字認識結果と共に処理部１１１に入力される。処
理部では入力された情報に対してグラフィカルインタフ
ェース操作やキーワード検索操作などを行ない、その結
果は画像生成部１１２に送られ、ここで映像信号に変
換、続くプロジェクタ１０５によって机１０１上に投射
されてユーザに伝えられる。また、処理部１１１におけ
る処理結果を印刷する場合は、プリンタ１１３を使用す
る。

【００３６】図２は机１０１を上方から見た時の図であ
る。ＧＵＩを表示できる範囲をユーザに知らせるため
に、輪郭線２０１をプロジェクタ１０５から机１０１に
投影しており、マウス１０６の置いてある部分を若干カ
バーしていないものの、机１０１の大半をカバーするよ
うにしてある。また、プロジェクタ１０５は、ポインテ
ィングカーソル２０２、アイコン２０３〜２０８の映像
も投影する。

【００３７】カメラ１０３は机１０１の上を撮影して画
像を取り込むのであるが、取り込む範囲を表示範囲を示
す輪郭線２０１と一致させておけば、ユーザはカメラに
入力できる範囲を視覚的にたやすく知る事ができるので
都合が良い。画像を取り込むには、カメラ１０３は入力
画像を６４０×４８０ピクセルについての電圧値を出力
し、これをＡ／Ｄ変換器１０７は２５６階調の数値デー
タ、すなわちグレイスケールに変換する。これにより映
像取り込み範囲に相当するモノクロのビットマップデー
タが得られる事になる。

【００３８】図３はこのビットマップデータの例であ
る。ここで３０１はビットマップデータ範囲であり、映
像取り込み範囲に相当する。また撮影の周期は、ユーザ
が机１０１上の物体を移動させる事があったり、後述す
るユーザの手の動きを検出する機能を動作させる場合も
あるので、これに追随する必要性からも１秒間に数回以
上行なう事が望ましい。さて、このデータには実際に机
１０１の上に存在する書籍１０２だけでなく、ポインテ
ィングカーソル２０２やアイコン群２０３〜２０８の投
影画像も含まれているが、これらの投影されたデータ自
身は既に計算機内に格納済みである上、書籍１０２の文
字の切り出しや認識などの処理を行なう時には邪魔にな
る場合がある。そこで、取り込まれた映像に投影された
映像を混入させないために、撮影するタイミングに合わ
せてプロジェクタの表示を一時停止する事は有効であ
る。机の上から投影するプロジェクタではなく、机自体
が上向きに設置されたディスプレイを使って、撮影する
タイミングに合わせてディスプレイの表示を一時停止さ
せる例は特開平６−２６６４９に示されている。しかし
ディスプレイではなくプロジェクタを使用し、さらに画
像取り込み範囲とＧＵＩ表示範囲が重なるような場合に
は、せっかくの光源を画像取り込み時に一時停止させる
のは効率が悪い上、プロジェクタのように光源の輝度が
高い場合はわずかの時間の停止であっても、ユーザにと
って視覚的にちらつきとして知覚されやすい。そこでプ
ロジェクタを一時停止するのではなく、無地を投影する
ようにすればよい。このようにすればちらつきを減少さ
せる事ができるだけでなく、プロジェクタの発する光が
画像取り込み範囲内に存在する書籍等を照らす事にな
り、輝度の高い明りょうな入力画像が得られるので好都
合である。

【００３９】このようにしてプロジェクタ１０５が無地
を投影した時点で画像を取り込んだ時のビットマップデ
ータは図４のようになり、投影画像の混入が避けられて
いる。ここで４０１はビットマップデータ範囲である。
このビットマップデータは文字・図形認識部１０７に入
力され、ここでは図４のビットマップデータから物体の
検出、物体表面に文字が記述されている場合にはその文
字の認識を行なう。

【００４０】図５はこの文字・図形認識部１０７の構成
図である。まず、前処理部５０１ではＡ／Ｄ変換器１０
７から得られた６４０×４８０ピクセルについての２５
６階調のビットマップデータをデジタルフィルタに通す
事により、ノイズのキャンセルや輪郭の強調などの処理
を行なう。強調処理されたビットマップデータは続いて
いき値処理部５０２でグレイスケールのビットマップデ
ータから２値のビットマップデータに変換し、後続の認
識処理に備える。

【００４１】物体検出部５０３では、上記の２値のビッ
トマップデータから直線の連続する部分を切り出し、机
上に置かれた紙片、書籍などの輪郭線を検出する。図６
は輪郭線の検出結果の例である。ここで６０１は検出範
囲で、図４のビットマップデータ範囲４０１に相当す
る。輪郭線６０２（ａ）と６０２（ｂ）は書籍１０２の
それぞれ左ページと右ページに対応しており、これらは
本来、一体の物体であるので、１つの物体として検出さ
れるべきであるが、見開き中央部分に発生した影により
両分割され、それぞれ独立した物体として検出されてし
まっている。また、６０８は書籍１０２上に掲載された
図面であるが、これも独立した１つの物体として検出さ
れてしまっている。しかし、後続の処理上ではよほど細
分化されて検出されてしまうのでなければ、特に問題に
なるような事はない。

【００４２】次に上記の２値のビットマップデータと物
体検出処理５０３された輪郭線の部分との差分をとる。
すなわち輪郭線以外の部分、主に文字や図面の情報が残
る事になる。文字認識部５０４ではこの残った画像に対
して文字認識を行なう。この結果、ビットマップデータ
範囲上４０１における文字とその位置が検出される。検
出結果を図７に示す。この図において７０１は検出範囲
で、図４のビットマップデータ範囲４０１に相当する。
７０３と７０４はページ番号、７０５は見出し、７０
６、７０７は本文、７０８は図面、７０９は図面の番号
にそれぞれ相当する部分である。

【００４３】さて、ユーザはマウス１０６を使用して座
標を入力する事ができる。マウスを移動させた場合、そ
の変位はパルス信号として座標検出部１０９に入力さ
れ、座標情報として処理部１１１に出力される。原則的
に、マウス１０６の変位は図２のカーソル２０２と連動
しており、ユーザはカーソル２０２の先端で投影された
イメージあるいは机１０１上の実際の物体を指し示す事
ができる。

【００４４】図８は処理部１１１の構成図である。入力
情報判定部８０１において、マウス１０６によって入力
された座標情報は、図形・文字認識部１０８より入力さ
れた物体の位置情報と文字認識結果と照合される。すな
わち、その時点でのカーソル２０２の指し示す点が机１
０１上の実際の物体の上の文字上にあるのか、文字以外
の部分にあるのか、あるいは机１０１上で何も置かれて
いない部分にあるのかを判定する。

【００４５】マウスなどの座標入力装置を使って一点を
指し示すのではなく、文字列などの一定面積を占める情
報を指し示すには通常ドラッグという操作を行なう。こ
れは文字列を選択する場合、選択しようとする文字列の
先頭文字の上にマウスでカーソルを移動させてマウスの
ボタンを押す。続いてボタンを押したまま文字列の最終
文字の上にマウスでカーソルを移動させてマウスのボタ
ンを放した場合、ボタンの押した時にカーソルの位置に
ある文字と放された時にカーソルの位置にある文字に挟
まれた文字列を選択する方法である。この操作はパーソ
ナルコンピュータ上でＡｐｐｌｅ社のＭａｃｉｎｔｏｓ
ｈＯＳや、Ｍｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓな
どの基本ソフトウェアで実現されている。これらは選択
される文字列などの対象物が計算機のディスプレイに示
されている物であって、現実に存在する物体上に記載さ
れた文字列ではない。そこで現実の書籍上に印刷された
文字列などにもこのドラッグという操作を適用させる事
ができれば、ユーザにとって文字列が計算機内のデータ
であっても計算機外のデータであっても同様の操作方法
で扱えるため非常に分かりやすくなる。

【００４６】例えば図３の状態ではカーソル２０２は書
籍１０２上の単語“ｇｅｓｔｕｒｅｓ”の先頭の文字
“ｇ”の上にあり、このままマウス１０６のボタンを押
しながらマウス本体を右方向へ移動させて単語“ｇｅｓ
ｔｕｒｅｓ”の最終文字“ｓ”の位置までカーソル２０
２を移動させてボタンを放すと単語“ｇｅｓｔｕｒｅ
ｓ”が選択されたことを入力情報判定部８０１で判定す
る。続いてＧＵＩ処理部８０２では選択された単語の上
に重なる長方形の大きさとその位置を算出し、その結果
を画像生成部１１２に送る。画像生成部１１２では、入
力されたＧＵＩの情報をビットマップに変換し、続くプ
ロジェクタ１０５でイメージを書籍１０２上に重ねて投
影する。この時の状態を図９に示す。

【００４７】ここで９０１は選択範囲で、図のように書
籍１０２に印刷された文字上に選択範囲を示す映像を投
影すれば、ユーザにとって視覚的に単語“ｇｅｓｔｕｒ
ｅｓ”が選択されている事を知る事ができ、実在の書籍
上文字列であってもＧＵＩソフトウェア上の文字列と同
様の操作感を得る事ができる。

【００４８】さて、図９の上部に、６つのアイコン、す
なわち和英・英和辞典アイコン２０３、国語辞典アイコ
ン２０４、文献検索アイコン２０５、メモアイコン２０
６、プリントアイコン２０７、計算アイコン２０８が投
影されているが、例えばここに示すように単語“ｇｅｓ
ｔｕｒｅｓ”を選択している状態において、ユーザはマ
ウス１０６を使ってカーソル２０２を和英・英和辞典ア
イコン２０３の上に移動させ、その上でマウスのボタン
を押したならば、単語“ｇｅｓｔｕｒｅｓ”をキーワー
ドとして検索を行ない、対応する日本語をプロジェクタ
１０５で表示して英和辞典引きができるようにし、逆に
キーワードが日本語であれば、対応する英語を表示して
和英辞典引きにするが、これらの機能の動作は図１０、
図１１、図１２のフローチャートを参照しながら以下に
述べる。

【００４９】まず装置は最初、ポインティングモード
で、何も選択されていない状態に初期化されている（ス
テップ１）。マウスのボタンが押された事が検出された
ならば（ステップ２）、入力情報判定部８０１におい
て、マウス１０６によって入力された座標情報が机１０
１上で何も置かれていない部分なのか、あるいは机上の
物体、あるいはアイコンの上なのかを判定する。（ステ
ップ３、ステップ１３、ステップ２０、ステップ２５、
ステップ２９、ステップ３３）。もし、続いてＧＵＩ処
理部８０２において上記入力された座標情報が和英・英
和辞典アイコン２０３の投影されている範囲にあると判
定されたならば（ステップ３）、辞書引き処理を行なう
ため、文字認識結果“ｇｅｓｔｕｒｅｓ”を検索部８０
３に出力する。もし、現在のモードがポインンティング
モードでなかったり（ステップ４）、文字列が選択され
ていなかったりする時には最初に戻る（ステップ５）。

【００５０】図８おける８０４はデータベースで、この
中に和英辞典、英和辞典、国語辞典、文献データなどの
データを格納してあり、検索部８０３はデータベース８
０４を参照してキーワードに対応する検索結果を求め
る。ここではキーワードが“ｇｅｓｔｕｒｅｓ”という
英文であるので（ステップ６）、英和辞典を検索して対
応する日本語“身振り”を求める（ステップ７）て、Ｇ
ＵＩ処理部８０２に返す。キーワードが和文ならば（ス
テップ９）、和英辞典を検索し（ステップ１０）、それ
以外のものがキーワードに設定されていたならば、エラ
ーメッセージを表示して最初に戻る（ステップ１２）。

【００５１】キーワードから対応する情報を引き出す方
法については多くが提案されており、本実施の形態では
それらのいずれを使用してもよい。ＧＵＩ処理部では得
られた検索結果１００１を和英・英和辞典アイコン２０
３の映像のすぐ下に挿入し、後続の画像生成部１１２に
送って映像信号に変換し、プロジェクタ１０５で投影
（ステップ８）した結果を図１３に示す。

【００５２】なお、検索結果１１０１の表示位置は図示
したようにアイコンのすぐ下でなくても構わなく、プロ
ジェクタ１０５がカバーする表示範囲の中であればどこ
にでも表示できるので、机の手前や、入力した選択範囲
９０１のすぐ下の書籍１０２の余白に表示する事も可能
であり、あらかじめ任意の利用しやすい位置に設定して
おけばよい。また、検索結果の量が比較的多くなる場合
には、プロジェクタ１０５を使って机１０１上に投影す
るよりも、専用のディスプレイを使った方が良い場合が
ある。その場合は第２の画像生成部（図示せず）を追加
して検索結果の画像を求め、これをディスプレイ（図示
せず）で表示する。ディスプレイは大型なら、机１０１
の奥にユーザに向けて設置するのも良いし、薄型・小型
なら、机１０１上に置く事も可能である。

【００５３】上述したキーワードを選択した後にアイコ
ンの上にカーソルを移動させてマウスのボタンを押して
操作コマンドを入力する方法は、他のアイコンについて
も同様である。国語辞典アイコン２０４が選択されたな
らば（ステップ１３）、データベース８０４内を検索し
て国語辞典の検索結果を出力する（ステップ１７、ステ
ップ１８）。もし、現在のモードがポインンティングモ
ードでなかったり（ステップ１４）、文字列が選択され
ていなかったりする時には最初に戻る（ステップ１
５）。また、和文以外のものがキーワードに設定されて
いたならば、エラーメッセージを表示して最初に戻る
（ステップ１９）。

【００５４】同様に、文献検索アイコンが選択されたな
らば、データベース８０４内を検索して公開特許公報の
検索結果を出力する（ステップ２３、ステップ２４）。
検索に際して、図８に示すように、通信回線８０５を使
用して他の計算機８０６内のデータベース８０７にアク
セスして、より多くの、より新しいデータを得る事もも
ちろん可能である。また、現在のモードがポインンティ
ングモードでなかったり（ステップ２１）、文字列が選
択されていなかったりする時には最初に戻る（ステップ
２２）。

【００５５】図９においてカーソル２０２をプリントア
イコン２０７上に移動し、選択されたならば（ステップ
２９）、選択範囲９０１がプリンタ１１３で印字され
る。現在のモードがポインティングモードでなかったり
（ステップ３０）、何も選択されていなければ（ステッ
プ３１）ならば、最初に戻る事は言うまでもない。そし
て、例えば書籍１０２の１ページ目（図９において左側
のページ）全体を印刷するのであれば、図１４に示すよ
うに、ポインティングモードにおいて（ステップ３
８）、カーソル２０２で１ページ目すべてを選択（この
時選択範囲は１２０１で示される。当然この選択範囲は
プロジェクタからの投影された映像である）し（ステッ
プ３９）、その後プリントアイコン２０７を選択する。

【００５６】また、図９の時点で、ユーザにより書籍１
０２の置かれている位置が変化させられる事もありう
る。例えば、図１５のように書籍１０２を元の位置１３
０１から左上方向に移動させた場合、投影されている選
択範囲９０１が本来の位置を示さなくなるので具合が悪
い。こういった不都合を避けるためには、物体検出部５
０３において机上に置かれた紙片、書籍などの輪郭線を
一定時間ごとに検出しつづけておき、位置の変化があっ
た場合には、その物体の上に投影する映像だけについ
て、変化量に合わせて位置を変化させる。すなわち、こ
こでは書籍１０２の位置が変化したので、書籍１０２の
上に投影する映像であるところのカーソル２０２と選択
範囲９０１だけ移動量に合わせてその位置を移動させ、
輪郭線２０１やアイコン２０３〜２０８の位置は変化さ
せない。

【００５７】図１６では、ＧＵＩ表示範囲内に書籍１０
２が置かれているだけでなく、第２の書籍１４０１、第
３の書籍１４０２、第４の書籍１４０３も置かれている
ので、図３に示す大きさのアイコンを表示できるだけの
スペースがない。このような場合は、アイコン２０３〜
２０８を図に示すように縮小させて表示させ、さらにそ
れらを点滅させる、あるいは輪郭線２０１を点滅させ
る、あるいはスピーカ（図示せず）よりビープ音を鳴ら
すなどの方法で、ユーザに可視情報、可聴情報として呈
示して、書籍を移動させるなどしてスペースを空けさせ
る事を喚起する事ができる。

【００５８】さて、以上はカーソルの制御などのための
座標入力装置としてマウス１０６を使用した場合につい
て説明したが、トラックボール、タブレットなどの他の
座標入力装置も同様に使用できる。さらに、図形・文字
認識部１０８が机１０１上に置かれた書籍などの物体だ
けでなく、ユーザの手の位置を検出できるならば、その
指先の位置で座標入力を行なう事も可能である。図１７
に示すように、物体検出部５０３では机上に置かれた紙
片や書籍などの輪郭線を検出するだけでなく、ユーザの
手を検出して指先に当たる部分の座標も算出し、その座
標を処理部へ出力する。この時はマウス１０６や座標算
出部１０９は必要ない。例えば、図２の状態において、
ユーザが書籍上の一点を指し示した場合の検出結果は図
１８のようになり、書籍１０２の左ページ６０２（ａ）
と右ページ６０２（ｂ）だけでなく、ユーザの右手１６
０１も検出されており、その形状から指先１６０２の位
置を算出する。

【００５９】さて、プロジェクタ１０５は、入力された
座標にポインティングカーソル２０２の映像を投影する
のであるが、ユーザが指で指し示した場所に図２のよう
に投影すると、指上にポインティングカーソル２０２が
重なりあってしまう。そこで図１９に示すようポインテ
ィングカーソル１７０２をユーザの指１７０１の先で、
プロジェクタ１０５から机１０１上に投影する場合にユ
ーザの指が邪魔にならない形状で投影する。また、指先
位置の検出が非常に高い精度で行えるのであれば、ポイ
ンティングカーソル１７０２はかえって邪魔になる事が
あるため、表示させなくても構わない。図１０〜図１２
戻って説明を続けると、図２０はメモアイコン２０６を
選択（ステップ２５）した場合の例である。ここで、メ
モモードに入り（ステップ２８）、選択されたメモアイ
コン２０６は色を替えるなどして強調して表示し、その
他のアイコン２０３〜２０５、２０７、２０８と区別で
きるようにする。カーソルは、通常のポインティングカ
ーソル２０２とは形状の異なる、文字入力カーソル１８
０１のようなカーソルに切り換えてメモモードに入った
事をユーザに分かるようにする。メモモードにおいて、
文字入力カーソル１８０１を現実物の上以外かつアイコ
ンの上以外の部分にマウス１０６を使って移動してマウ
スボタンを押したならば（ステップ３８、ステップ４
０）、図２１に示すように文字入力カーソル１８０１を
消去して文字入力位置表示カーソル１９０１を表示させ
てユーザからの文字入力を待つ（ステップ４２）。ここ
でユーザは処理部１１１に文字コードを入力できるキー
ボード（図示せず）などで文字を入力すると（ステップ
４３）、図２２に示すように文字入力枠２００１を表示
し、その枠内に入力文字２００２を表示する（ステップ
４５）。なお、メモモードではない時にはキーボードか
らの入力は受け付けないようにしている（ステップ４
４）。文字の入力が済んだら、メモアイコン２０６を再
び選択すると、メモモードを抜ける事ができる（ステッ
プ２８）。この状態を図２３に示す。メモモードを抜け
ると、投影された文字入力枠２００１は机１０１上に置
かれた一枚の仮想的なメモ用紙として考える事ができ
る。なお、入力文字２００２の全体あるいは一部を選択
してプリントアイコン２０７を選択すると、メモ内容の
プリントアウトができるようにする事は言うまでもない
（ステップ３２）。また、文字だけでなく、ポインティ
ングデバイスで制御するカーソル２０２をペンに見立て
て座標を入力してビットマップによる手書き文字や図、
記号等を文字の代わりに入力、表示も可能である。

【００６０】さらに仮想的なメモ用紙は机１０１上に置
かれている現実物の上にでも投影する事ができるので、
例えば、図２４では、書籍１０２上に文字入力位置表示
カーソル１９０１を表示させ（ステップ４１）、入力文
字２００２を書籍の余白に表示して書き込みを実現する
事ができる。この方法をフローチャートにして図２５に
示す。

【００６１】まず、画像取り込み範囲内で書籍などの書
類の部分を抜き出すのであるが、図６を例にとると書類
の輪郭線６０２（ａ）、６０２（ｂ）を検出し、この輪
郭線内の画像のビットマップを現在のページとして保管
する（ステップ１）。続いてこの現在のページのビット
マップと、データベースにあらかじめ格納された多数の
ページのビットマップとを照合し、同一のものが存在す
るかどうかを調べる（ステップ２）。同一のものがあれ
ば、データベース内の該当ビットマップ上にかつて書き
込みがあったかどうかを調べ、書き込みがあったならば
その書き込み内容を書籍１０２上に投影して表示する
（ステップ３）。投影位置はかつて書き込みがあった位
置と同一になるようにする。また、そのためには書き込
みを行う場合、書き込まれた文字のコードだけでなくそ
のフォント情報、表示位置に関する情報も記憶しておく
必要がある。また、ステップ２においてデータベースに
同一のものが存在しなかった場合は、現在のページのビ
ットマップ自体に新しいＩＤ番号を付けてデータベース
に格納する（ステップ４）。こうすれば、書き込みをし
た事がある書類を机１０１上の画像取り込み範囲内に置
くだけでかつての書き込みが投影され、同一の環境を再
現でき、かつて置いた事のない書類が置かれた場合には
自動的にデータベースに登録する事ができるようにな
る。

【００６２】ビットマップでデータベースに登録した場
合、そのデータ量は非常に大きくなるため、符号化を行
って容量の削減を図る事ができる。この場合のフローチ
ャートは図２６の様になる。

【００６３】最初はビットマップの場合と同様、画像取
り込み範囲内で書籍などの書類の部分すなわち輪郭線内
のビットマップを抜き出す（ステップ１）。続いてステ
ップ１で抜き出された輪郭線内に存在する文字を切り出
す（ステップ２）。これは図７を例にとると文字７０３
〜７０７、７０９を抜き出す事になる。続いてステップ
２で抜き出された文字を認識して文字コードに変換する
と共に、フォント情報（フォントの種類、大きさなど）
やレイアウト情報（それぞれの文字の存在する位置）を
符号化のために何らかの標準形に変換して、これを現在
のページとして保管する（ステップ３）。標準形として
は、Ａｄｏｂｅ社のＰｏｓｔＳｃｒｉｐｔ形式やＡｐｐ
ｌｅ社のＰＩＣＴ形式、ＭｉｃｒｏＳｏｆｔ社のＷｉｎ
ｄｏｗｓＭｅｔａｆｉｌｅ形式など既存の形式のいずれ
でも構わないし、新たに形式を設定しても良い。この標
準形に変換された現在のページは、データベースに格納
された多数のページ（これらはあらかじめ標準形に変換
されて格納されている）と照合され、同一のものが存在
するかどうかを調べる（ステップ４）。以下はビットマ
ップの場合とほぼ同様で、同一のものがあれば、データ
ベース内の該当ビットマップ上にかつて書き込みがあっ
たかどうかを調べ、書き込みがあったならばその書き込
み内容を書籍１０２上に投影して表示する（ステップ
５）。またステップ４においてデータベースに同一のも
のが存在しなかった場合は、現在のページの標準形のデ
ータ自体に新しいＩＤ番号を付けてデータベースに格納
する（ステップ６）。

【００６４】これらの書き込みの文字列は表示された時
の書籍とそのページに連動させるので、例えばユーザが
ページをめくり、別のページを開くと、文字列の表示を
終了させる。また、他のページを開いた後にかつて書き
込みを残したページに戻って開いたならば、そのかつて
行った書き込みの文字列を再び表示する事は言うまでも
ない。

【００６５】以上のデータベース検索は何も手元の計算
機に格納されているデータだけを対象にする事はなく、
図８で示したように通信回線８０５を使用して他の計算
機８０６内のデータベース８０７を使用すると効果的な
場合がある。すなわち、あるユーザがかつて画像取り込
みを行って入力した事のない書類であっても、中には入
力を行った事のあるユーザが存在する可能性は非常に大
きいからである。また、近年の出版物には電子的に写植
を行なう場合も多いため、「出版物と同一の利用可能な
電子的データはどこかに存在する」と考えても良い位で
ある。このような場合、他の計算機内のデータベースを
使用できるならば、手元に紙の書類しか無い場合であっ
ても、電子化データをたやすく見付け出して利用する事
ができる。また、全文、レイアウトなど全く同一のデー
タでなくとも同じ文章が使われているという場合も有り
得る。こういった場合、文字認識の誤り部分などを手元
の計算機のデータベースあるいは他の計算機のデータベ
ースを使って置き換え・修正を行なって正しい文章に戻
す事も可能である。

【００６６】計算アイコンについて、再び図１０〜図１
２に戻って説明をする。図２７は画像取り込み範囲内に
計算式が書き込まれた紙片２５０１が置かれ、カーソル
２０２で数式２５０２を選択（この時選択範囲は２５０
４で示される）された（ステップ３９）状態である。こ
こで、演算アイコン２０８が選択されると（ステップ３
３）、数式２５０２の文字列を認識し、その数式の演算
結果２５０３を図のように数式２５０２に続けて投影す
る（ステップ３６、３７）。また、図２８は数字だけが
書き込まれた紙片２６０１が置かれ、計算アイコン２０
８が選択されて計算モードに入っている状態であるが、
ここでペンなどの実際の筆記具を使って加算記号２６０
３と線分２６０４とを紙片２６０１に書き込んで選択
（この時選択範囲は２６０６で示される）すると、数字
群２６０２の和を算出すると判断し、演算結果２６０５
を図のように線分２６０４の下に表示する。実際の筆記
具を用いず、メモアイコン２０６を選択してメモモード
に入ってポインティンデバイスで入力しても同様の効果
が得られるように変更する事も可能である。その後、紙
片２６０１の全体を選択して、プリントアイコン２０７
を選択すれば紙片２６０１上の情報、すなわち数字群２
６０２、加算記号２６０３、線分２６０４、演算結果２
６０５がプリンタ１１３で印字されてハードコピーが得
られるが、表示された演算結果の上にユーザがペンを用
いて上書きするだけで十分な場合もある。その時は、図
２９に示すように上書き演算結果が２７０２がペン２７
０１によって書き込まれた段階で演算結果２６０５の表
示を停止すれば、文字が重なりあったりしないので見や
すくなる。表示を停止するタイミングは上書きの１文字
ずつでも良いし、１文字内のイメージごとでも構わない
し、文字列すべて（ここでは数字列「１００，１０」）
の上書きが完了してからでも構わないので、ユーザの好
みに設定すれば良い。

【００６７】また、データベースに和英辞典や英和辞典
などの文字列の情報だけではなく、図形を保管し、図形
の検索を行なう応用もある。図３０に示すように和英・
英和辞典の替わりに図案集を組み込んだ場合、図案集ア
イコン２０９を表示させる。この状態で図形２８０２の
描かれた紙片２８０１を机１０１上に乗せ、この図形を
カバーするように選択範囲２８０３を設定してから図案
集アイコン２０９を選択すると、選択範囲内にある図形
と最も類似度の高い図案２８０４を重ねて表示させる事
により、簡便な入力で図形検索を行なう事ができる。

【００６８】以上詳細に説明したように、本発明によれ
ば、例えば、計算機内に実現される仮想的な書類（文
字、画像データ等）と現実に存在する紙片や書籍などの
書類とを自然な形で結び付けることが出来るので、より
一層分かりやすいユーザインタフェースを実現する事が
できる。

【００６９】

【発明の効果】以上述べたところから明らかなように本
発明は、従来に比べてより一層分かりやすいユーザイン
タフェースを実現する事ができると言う長所を有する。

【図面の簡単な説明】

【図１】本発明の一実施の形態における情報処理装置の
構成図である。

【図２】本発明の一実施の形態における、机を上方から
見た時の図である。

【図３】取り込まれた映像のビットマップデータであ
る。

【図４】プロジェクタが無地を投影した時点で画像を取
り込んだ時のビットマップデータある。

【図５】文字・図形認識部の構成図である。

【図６】輪郭線の検出結果である。

【図７】文字とその位置の検出結果である。

【図８】処理部の構成図である。

【図９】選択された単語の上に選択範囲を表示した時の
ＧＵＩ表示である。

【図１０】動作のフローチャートである。

【図１１】動作のフローチャートである。

【図１２】動作のフローチャートである。

【図１３】検索結果を出力した時のＧＵＩ表示である。

【図１４】カーソルで書籍のページを選択した時のＧＵ
Ｉ表示である。

【図１５】書籍を移動した時のＧＵＩ表示である。

【図１６】ＧＵＩ表示範囲内に４冊の書籍が置かれてい
る時のＧＵＩ表示である。

【図１７】文字・図形認識部の構成図である。

【図１８】ユーザが書籍上の一点を指し示した時の検出
結果である。

【図１９】ポインティングカーソルの表示例である。

【図２０】メモアイコンを選択してメモモードに入った
時のＧＵＩ表示である。

【図２１】文字入力位置表示カーソルの表示した時のＧ
ＵＩ表示である。

【図２２】文字入力枠と入力文字の表示した時のＧＵＩ
表示である。

【図２３】再びメモアイコンを選択してメモモードから
抜け出た時のＧＵＩ表示である。

【図２４】書籍上に文字入力位置表示カーソルと入力文
字を表示した時のＧＵＩ表示である。

【図２５】書籍上に文字入力位置表示カーソルを表示さ
せ、入力文字を書籍の余白に表示して書き込みを実現す
る方法のフローチャートである。

【図２６】書籍上に文字入力位置表示カーソルを表示さ
せ、入力文字を書籍の余白に表示して書き込みを実現す
る方法で、データを符号化した時のフローチャートであ
る。

【図２７】画像取り込み範囲内に計算式が書き込まれた
紙片が置かれ、演算モードに入っている場合のＧＵＩ表
示である。

【図２８】画像取り込み範囲内に計算式が書き込まれた
紙片が置かれ、演算モードに入っている場合のＧＵＩ表
示である。

【図２９】ユーザが演算結果を上書きした場合のＧＵＩ
表示である。

【図３０】画像取り込み範囲内に図形が書き込まれた紙
片が置かれ、図案集モードに入っている場合のＧＵＩ表
示である。

【符号の説明】

１０１机１０２書籍１０３カメラ１０４カメラ制御機構１０５プロジェクタ１０６マウス１０７Ａ／Ｄ変換器１０８図形・文字認識部１０９座標検出部１１０カメラ制御部１１１処理部１１２画像生成部１１３プリンタ２０１輪郭線２０２ポインティングカーソル２０３和英・英和辞典アイコン２０４国語辞典アイコン２０５文献検索アイコン２０６メモアイコン２０７プリントアイコン２０８計算アイコン２０９図案集アイコン３０１ビットマップデータ範囲４０１ビットマップデータ範囲５０１前処理部５０２いき値処理部５０３物体検出部５０４文字認識部６０１検出範囲６０２（ａ）、（ｂ）輪郭線６０８図面７０１検出範囲７０３、７０４ページ番号に相当する部分７０５見出しに相当する部分７０６、７０７本文に相当する部分７０８図面に相当する部分７０９図面の番号に相当する部分８０１入力情報判定部８０２ＧＵＩ処理部８０３検索部８０４データベース８０５通信回線８０６他の計算機８０７他の計算機のデータベース９０１選択範囲１１０１検索結果１２０１選択範囲１３０１元の位置１４０１第２の書籍１４０２第３の書籍１４０３第４の書籍１６０１ユーザの右手１６０２ユーザの指先１７０１ユーザの指１７０２ポインティングカーソル１８０１文字入力カーソル１９０１文字入力位置表示カーソル２００１文字入力枠２００２入力文字２５０１紙片２５０２数式２５０３演算結果２５０４選択範囲２６０１紙片２６０２数字群２６０３加算記号２６０４線分２６０５演算結果２６０６選択範囲２７０１ペン２７０２上書き演算結果２８０１紙片２８０２図形２８０３選択範囲２８０４図案

Claims

【特許請求の範囲】

【請求項１】撮像装置と、座標入力装置と、投影装置
とが接続された情報処理装置において、前記撮像装置によって得られた映像情報内から現実物を
検出する検出手段と、前記座標入力装置によって得られ
た座標情報によりカーソルを制御する手段とを備え、前記情報処理装置内に蓄えられた情報及び前記カーソル
を前記投影装置で投影し、前記投影された情報が前記カ
ーソルで選択された場合には、その選択された選択範囲
を可視化して投影し、又、前記現実物が前記カーソルで
選択された場合には、その選択された選択範囲を可視化
して投影する事を特徴とする情報処理装置。
【請求項２】前記撮像装置が撮像動作をする場合に
は、前記投影装置は前記情報処理装置内に蓄えられた情
報や前記カーソルを表示するのではなく、実質上無地の
映像を投影する事を特徴とする請求項１記載の情報処理
装置。
【請求項３】撮像装置と、座標入力装置と、投影装置
とが接続された情報処理装置において、前記撮像装置によって得られた映像情報内から現実物を
検出する検出手段を備え、前記投影装置が前記情報処理装置内に蓄えられた情報を
投影し、その投影された情報が選択された場合には、そ
の選択された選択範囲を可視化して投影し、又、前記現
実物が選択された場合には、その選択された選択範囲を
可視化して投影し、前記撮像装置が撮像動作をする場
合には、前記投影装置は前記情報処理装置内に蓄えられ
た情報を表示せず、実質上無地の映像を投影する事を特
徴とする情報処理装置。
【請求項４】前記投影装置が投影する前記実質上無地
の映像は、投影範囲の照度を高める映像である事を特徴
とする請求項２又は３記載の情報処理装置。
【請求項５】前記検出手段では、前記検出された物体
の位置情報の変化も検出し、現実物を前記カーソルで選択し、選択範囲を可視化して
投影しているときに現実物が移動した場合には移動先で
選択範囲が可視化して投影されるように更新する事を特
徴とする請求項１記載の情報処理装置。
【請求項６】前記投影装置は、前記撮像装置が撮像す
る範囲を可視化して投影する事を特徴とする請求項１又
は３記載の情報処理装置。
【請求項７】前記検出手段では、前記検出された物体
上に記された１文字以上の文字列を認識し、前記文字列の全体あるいは１部分が選択されたときに
は、選択された部分をキーワードとしてデータベースを
検索し、検索結果を前記投影装置で投影する事を特徴と
する請求項１又は３記載の情報処理装置。
【請求項８】ディスプレイを備え、前記検索結果を前
記ディスプレイに表示する事を特徴とする請求項７記載
の情報処理装置。
【請求項９】前記情報処理装置内に蓄えられた情報を
前記投影装置で投影する際に、前記投影装置の投影範囲
内で、現実物が存在しない空白部分に前記情報を投影
し、前記情報を投影するのに必要な面積と前記空白部分
の面積とを比較し、前記空白部分の面積が不足している
場合には、可視情報あるいは、可聴情報として出力する
事を特徴とする請求項１又は３記載の情報処理装置。
【請求項１０】前記空白部分の面積が不足していると
きには、前記空白部分の中に前記情報の全体像が表示さ
れるまで前記情報を本来出力する面積より縮小して投影
する事を特徴とする請求項９記載の情報処理装置。
【請求項１１】前記撮像装置は現実物とオペレータの
指とを撮像し、前記検出部は前記現実物上における前記
オペレータの指の位置を算出し、投影装置はその位置に
カーソルを表示する事を特徴とする請求項１記載の情報
処理装置。
【請求項１２】前記撮像装置は現実物とオペレータの
指とを撮像し、前記検出部は前記オペレータの指の位置
を算出し、前記カーソルを前記指の位置により制御する
事を特徴とする請求項１記載の情報処理装置。
【請求項１３】前記カーソルを前記オペレータの指の
位置に表示する事を特徴とする請求項１１記載の情報処
理装置。
【請求項１４】前記オペレータの指で座標を入力する
場合は、前記カーソルを表示しない事を特徴とする請求
項１２記載の情報処理装置。
【請求項１５】前記撮像装置の撮像範囲内に数式の左
辺が記された紙片を設置された場合、前記検出手段は前
記左辺の文字列を認識し、前記数式の左辺より算出して
得られた結果を前記投影装置で前記数式の左辺に対して
右辺が存在すべき位置に投影する事を特徴とする請求項
１又は３記載の情報処理装置。
【請求項１６】前記撮像装置の撮像範囲内に図形の記
された紙片を設置された場合、前記図形に対し最も類似
度の高い図形を検索して結果を、前記投影装置は前記最
も類似度の高い図形を前記紙片に記された図形に重ねて
投影する事を特徴とする請求項１又は３記載の情報処理
装置。
【請求項１７】前記投影装置が投影した前記結果の全
体あるいはその一部分をその入力の上あるいは周辺にオ
ペレータが手書きで入力すると、投影されている結果の
中で入力された部分に対応する部分について投影を停止
する事を特徴とする請求項１５又は１６記載の情報処理
装置。
【請求項１８】前記数式の左辺を文字式で与え、文字
に代入する数を前記文字式の記された紙片上あるいは前
記撮像範囲内に存在する別の紙片上に記された数字で与
える事を特徴とする請求項１５記載の情報処理装置。
【請求項１９】前記検出手段では、前記検出された物
体上に記された１文字以上の文字列を認識し、認識結果
と同一の物があるかどうかを前記情報処理装置内に蓄え
られた情報の中から探し出し、認識の誤りがあった場合
には、前記情報処理装置内に蓄えられた情報に含まれて
いる文字列に置き換える事を特徴とした請求項１又は３
記載の情報処理装置。
【請求項２０】他の情報処理装置あるいはデータベー
スと情報伝達する回線を備え、前記検出手段では、前記検出された物体上に記された１
文字以上の文字列を認識し、認識結果と同一の物がある
か否かを前記他の情報処理装置あるいはデータベースに
蓄えられた情報の中から探し出し、認識の誤りがあった
場合には、前記他の情報処理装置あるいはデータベース
に蓄えられた情報に含まれている文字列に置き換える事
を特徴とする請求項１９記載の情報処理装置。
【請求項２１】前記撮像範囲内に置かれた書類上の紙
面について文字や図形のレイアウトを符号化して保存し
ておき、後に前記撮像範囲内に置かれた書類が、かつて
置かれた書類と同一であるか否かを判定し、同一であっ
た場合には、以前に前記書類上で行われた処理の結果を
再び表示する事を特徴とする請求項１又は３記載の情報
処理装置。
【請求項２２】前記検出手段は前記文字の認識も行な
い、前記同一であるか否かの判定には前記文字や図形のレイ
アウトだけでなく、文字認識結果を使用する事を特徴と
する請求項２１記載の情報処理装置。