JP3287312B2 - ポインティング装置 - Google Patents
ポインティング装置Info
- Publication number
- JP3287312B2 JP3287312B2 JP22846498A JP22846498A JP3287312B2 JP 3287312 B2 JP3287312 B2 JP 3287312B2 JP 22846498 A JP22846498 A JP 22846498A JP 22846498 A JP22846498 A JP 22846498A JP 3287312 B2 JP3287312 B2 JP 3287312B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- light
- pointer
- pointing device
- pointing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/08—Cursor circuits
Description
【０００１】
【発明の属する技術分野】本発明は、ポインティング装
置に関し、特に、ディスプレイ装置で表示された仮想空
間と、現実物が存在する現実世界空間の双方の空間を自
在に行き来してポインティングし位置または座標を指示
するポインティング装置に関する。
置に関し、特に、ディスプレイ装置で表示された仮想空
間と、現実物が存在する現実世界空間の双方の空間を自
在に行き来してポインティングし位置または座標を指示
するポインティング装置に関する。
【０００２】
【従来の技術】まず本発明の概要を説明する。本発明の
ポインティング装置は、ディスプレイ装置に表示された
仮想世界だけでなく、文書原稿や立体物など、実世界に
存在する現実物も直接ポインティングできるようにした
ものである。すなわち、現実世界と仮想世界を融合させ
た「Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」におけるユ
ーザインタフェースに関する。
ポインティング装置は、ディスプレイ装置に表示された
仮想世界だけでなく、文書原稿や立体物など、実世界に
存在する現実物も直接ポインティングできるようにした
ものである。すなわち、現実世界と仮想世界を融合させ
た「Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」におけるユ
ーザインタフェースに関する。
【０００３】本発明の背景技術として、まず「Ａｕｇｍ
ｅｎｔｅｄ Ｒｅａｌｉｔｙ」について紹介し、それに
関連する公知の技術を挙げて説明する。
ｅｎｔｅｄ Ｒｅａｌｉｔｙ」について紹介し、それに
関連する公知の技術を挙げて説明する。
【０００４】「Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」
（以下「ＡＲ」と略記する）は、１９９３年に提唱され
たユーザインターフェースに関する考え方で、例えば文
献（１）（「Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔ
ｈｅ ＡＣＭ」のＶｏｌ．３６，Ｎｏ．７，ｐｐ２４−
９７）の記載が参照される。
（以下「ＡＲ」と略記する）は、１９９３年に提唱され
たユーザインターフェースに関する考え方で、例えば文
献（１）（「Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔ
ｈｅ ＡＣＭ」のＶｏｌ．３６，Ｎｏ．７，ｐｐ２４−
９７）の記載が参照される。
【０００５】現実の世界を全て仮想的に実現しようとす
る「Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ」（仮想現実）に
対して、現実の世界を、コンピュータで強化（Ａｕｇｍ
ｅｎｔ）して、人間にとって分かりやすいインタフェー
スを実現しようとするものである。
る「Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ」（仮想現実）に
対して、現実の世界を、コンピュータで強化（Ａｕｇｍ
ｅｎｔ）して、人間にとって分かりやすいインタフェー
スを実現しようとするものである。
【０００６】このＡＲに基づいて開発されたシステムの
うち、本発明と関連のあるものとして、「Ｄｉｇｉｔａ
ｌ Ｄｅｓｋ」、「ＩｎｔｅｒａｃｔｉｖｅＤＥＳＫ」
があり、以下これらについて説明する。
うち、本発明と関連のあるものとして、「Ｄｉｇｉｔａ
ｌ Ｄｅｓｋ」、「ＩｎｔｅｒａｃｔｉｖｅＤＥＳＫ」
があり、以下これらについて説明する。
【０００７】「Ｄｉｇｉｔａｌ Ｄｅｓｋ」は、Ｒａｎ
ｋ Ｘｅｒｏｘ社のＰｉｅｒｒｅＷｅｌｌｎｅｒが提案
した対話式のデスクトップシステムであり、そのコンセ
プトは、例えば文献（２）（「Ｃｏｍｍｕｎｉｃａｔｉ
ｏｎｓ ｏｆ ｔｈｅ ＡＣＭ」のＶｏｌ．３６，Ｎ
ｏ．７，ｐｐ８７−９６）に詳細に記載されている。こ
のシステムは、図８に示すように、作業机２０３の上方
にプロジェクタ２０２とカメラ２０１とが設置され、プ
ロジェクタ２０２はコンピュータ２００が作り出したイ
メージを机２０３上に投射し（投射イメージ２０４参
照）、カメラ２０１は人の手の動きや手書き文字、手書
きの絵、文書などを撮像する。使用者は、コンピュータ
２００が作り出したイメージと実際の文書が混在した机
２０３の上で、コンピュータ２００との会話的な作業が
可能となり、いわゆる実世界インタフェースが、実現さ
れている。文書の中の数字の部分を指で指示すると、そ
の部分が明るくなりマーク表示されて、光投射で形成さ
れている電卓に指示した数字が貼り付けられるアプリケ
ーションなどが紹介されている。
ｋ Ｘｅｒｏｘ社のＰｉｅｒｒｅＷｅｌｌｎｅｒが提案
した対話式のデスクトップシステムであり、そのコンセ
プトは、例えば文献（２）（「Ｃｏｍｍｕｎｉｃａｔｉ
ｏｎｓ ｏｆ ｔｈｅ ＡＣＭ」のＶｏｌ．３６，Ｎ
ｏ．７，ｐｐ８７−９６）に詳細に記載されている。こ
のシステムは、図８に示すように、作業机２０３の上方
にプロジェクタ２０２とカメラ２０１とが設置され、プ
ロジェクタ２０２はコンピュータ２００が作り出したイ
メージを机２０３上に投射し（投射イメージ２０４参
照）、カメラ２０１は人の手の動きや手書き文字、手書
きの絵、文書などを撮像する。使用者は、コンピュータ
２００が作り出したイメージと実際の文書が混在した机
２０３の上で、コンピュータ２００との会話的な作業が
可能となり、いわゆる実世界インタフェースが、実現さ
れている。文書の中の数字の部分を指で指示すると、そ
の部分が明るくなりマーク表示されて、光投射で形成さ
れている電卓に指示した数字が貼り付けられるアプリケ
ーションなどが紹介されている。
【０００８】また、Ｒａｎｋ Ｘｅｒｏｘ社による「Ｄ
ｉｇｉｔａｌ Ｄｅｓｋ」の技術に関連した特許公開公
報として、例えば特開平７−１６８９４９号公報（発明
の名称、「対話式複写装置」）、特開平９−２３７３４
９号公報（発明の名称、「対話式デスクトップ・システ
ム」）などが参照される。
ｉｇｉｔａｌ Ｄｅｓｋ」の技術に関連した特許公開公
報として、例えば特開平７−１６８９４９号公報（発明
の名称、「対話式複写装置」）、特開平９−２３７３４
９号公報（発明の名称、「対話式デスクトップ・システ
ム」）などが参照される。
【０００９】このうち、上記特開平７−１６８９４９号
公報（発明の名称、「対話式複写装置」）には、作業机
上に仮想世界の情報を表示するためのビデオプロジェク
タと、作業机上を監視するためのカメラとを備え、ビデ
オプロジェクタによる投影情報とのインタラクション
や、実際の紙上での文書や絵の作成を、ユーザの手動操
作によってどのように実現するかについての構成が開示
されており、仮想世界であるビデオプロジェクタ投影イ
メージと現実世界である作業机上の紙とのインタラクシ
ョンを、手動操作によって直感的な作業が可能となって
いる。
公報（発明の名称、「対話式複写装置」）には、作業机
上に仮想世界の情報を表示するためのビデオプロジェク
タと、作業机上を監視するためのカメラとを備え、ビデ
オプロジェクタによる投影情報とのインタラクション
や、実際の紙上での文書や絵の作成を、ユーザの手動操
作によってどのように実現するかについての構成が開示
されており、仮想世界であるビデオプロジェクタ投影イ
メージと現実世界である作業机上の紙とのインタラクシ
ョンを、手動操作によって直感的な作業が可能となって
いる。
【００１０】また上記特開平９−２３７３４９号公報
（発明の名称、「対話式デスクトップシステム」）に
も、作業机上に仮想世界の情報を表示するためのビデオ
プロジェクタと、作業机上を監視するためのカメラとを
備え、カメラはユーザからの指示により現実物などの画
像を撮像し、コンピュータを介して撮像した画像をビデ
オプロジェクタで表示出力し、文書原稿などの現実物を
作業机上でコピー・ペーストすることが可能とされてお
り、撮像する領域の指定方法としてマウスを用いる構成
が開示されており、ポインティング位置を示すカーソル
はビデオプロジェクタからの表示情報として作業机上に
投影されている。
（発明の名称、「対話式デスクトップシステム」）に
も、作業机上に仮想世界の情報を表示するためのビデオ
プロジェクタと、作業机上を監視するためのカメラとを
備え、カメラはユーザからの指示により現実物などの画
像を撮像し、コンピュータを介して撮像した画像をビデ
オプロジェクタで表示出力し、文書原稿などの現実物を
作業机上でコピー・ペーストすることが可能とされてお
り、撮像する領域の指定方法としてマウスを用いる構成
が開示されており、ポインティング位置を示すカーソル
はビデオプロジェクタからの表示情報として作業机上に
投影されている。
【００１１】「ＩｎｔｅｒａｃｔｉｖｅＤＥＳＫ」は、
机全体を対話環境としたシステムで、コンセプトや特徴
は、例えば文献（３）（テレビジョン学会技術報告 Ｖ
ｏｌ．１９，Ｎｏ．６５，ｐｐ１―６）に詳しく記載さ
れている。
机全体を対話環境としたシステムで、コンセプトや特徴
は、例えば文献（３）（テレビジョン学会技術報告 Ｖ
ｏｌ．１９，Ｎｏ．６５，ｐｐ１―６）に詳しく記載さ
れている。
【００１２】図９に、この「ＩｎｔｅｒａｃｔｉｖｅＤ
ＥＳＫ」の概略構成を示す。図９に示すように、作業面
がペン入力可能な大型ディスプレイになっている作業机
３０４と、ユーザ前方にある直立ディスプレイ３０２
と、作業机上を監視するカメラ３０１と、その他キーボ
ード３０６やマウス３０７などから構成されている。カ
メラ３０１は、ユーザの動作や、机上にある文書などの
位置を認識し、それに応じた作業支援が可能である。例
えば、ユーザが使おうとしている入力手段（キーボード
３０６またはマウス３０７またはペン）により、机内蔵
タイプと直立タイプの２つのディスプレイ装置を切り替
えたり、机上に出された紙の文書に関する電子情報を引
き出したりすることができる。
ＥＳＫ」の概略構成を示す。図９に示すように、作業面
がペン入力可能な大型ディスプレイになっている作業机
３０４と、ユーザ前方にある直立ディスプレイ３０２
と、作業机上を監視するカメラ３０１と、その他キーボ
ード３０６やマウス３０７などから構成されている。カ
メラ３０１は、ユーザの動作や、机上にある文書などの
位置を認識し、それに応じた作業支援が可能である。例
えば、ユーザが使おうとしている入力手段（キーボード
３０６またはマウス３０７またはペン）により、机内蔵
タイプと直立タイプの２つのディスプレイ装置を切り替
えたり、机上に出された紙の文書に関する電子情報を引
き出したりすることができる。
【００１３】また、「ＩｎｔｅｒａｃｔｉｖｅＤＥＳ
Ｋ」に関する特許公開公報としては、例えば特開平６―
２６６４９８号公報（発明の名称、「情報処理装置」）
が参照される。上記特開平６―２６６４９８号公報に
は、作業机に内蔵されたディスプレイの表示状態を、ユ
ーザの状態および表示面上の状態および表示状態の少な
くとも一つに基づいて、所望の情報を表示する位置を決
定する方法について開示されている。
Ｋ」に関する特許公開公報としては、例えば特開平６―
２６６４９８号公報（発明の名称、「情報処理装置」）
が参照される。上記特開平６―２６６４９８号公報に
は、作業机に内蔵されたディスプレイの表示状態を、ユ
ーザの状態および表示面上の状態および表示状態の少な
くとも一つに基づいて、所望の情報を表示する位置を決
定する方法について開示されている。
【００１４】例えば、ディスプレイ上に文書などが置か
れている場合、それを避けて情報表示することにより、
文書などの現実物と表示情報などの仮想世界が干渉しな
いようにしている。さらに、前述の入力手段によりディ
スプレイを切り替える方法についても開示されている。
れている場合、それを避けて情報表示することにより、
文書などの現実物と表示情報などの仮想世界が干渉しな
いようにしている。さらに、前述の入力手段によりディ
スプレイを切り替える方法についても開示されている。
【００１５】「Ｄｉｇｉｔａｌ Ｄｅｓｋ」や、「Ｉｎ
ｔｅｒａｃｔｉｖｅＤＥＳＫ」と同様の他の従来技術と
しては、例えば特開平９−３１９５５６号公報（発明の
名称、「情報処理装置」）には、作業机と、作業机にイ
メージを投射するプロジェクタと、机上を監視するカメ
ラと、を備え、机上にある文書など現実物とのインタラ
クションに関連する技術が開示されているが、前記した
「Ｄｉｇｉｔａｌ Ｄｅｓｋ」や「Ｉｎｔｅｒａｃｔｉ
ｖｅＤＥＳＫ」等と明確な差異は無く、上記特開平９−
３１９５５６号公報ではその説明は行わない。
ｔｅｒａｃｔｉｖｅＤＥＳＫ」と同様の他の従来技術と
しては、例えば特開平９−３１９５５６号公報（発明の
名称、「情報処理装置」）には、作業机と、作業机にイ
メージを投射するプロジェクタと、机上を監視するカメ
ラと、を備え、机上にある文書など現実物とのインタラ
クションに関連する技術が開示されているが、前記した
「Ｄｉｇｉｔａｌ Ｄｅｓｋ」や「Ｉｎｔｅｒａｃｔｉ
ｖｅＤＥＳＫ」等と明確な差異は無く、上記特開平９−
３１９５５６号公報ではその説明は行わない。
【００１６】一方、レーザ光を用いて現実物をポインテ
ィングする技術として、例えば特開平９―４６７７６号
公報（発明の名称、「遠隔指示装置および方法」）と特
開平５―８３７０５号公報（発明の名称、「静止画入力
装置」）について概説しておく。
ィングする技術として、例えば特開平９―４６７７６号
公報（発明の名称、「遠隔指示装置および方法」）と特
開平５―８３７０５号公報（発明の名称、「静止画入力
装置」）について概説しておく。
【００１７】図１０に、上記特開平９―４６７７６号公
報に提案される遠隔指示装置の構成を示す。指示装置４
００と遠隔地装置４０６がネットワーク４０５を介して
接続されている。遠隔地装置４０６は、遠隔地にある書
類４０７を撮像して、ネットワーク４０５を介して指示
装置４００に画像を伝送する。指示装置４００は、遠隔
地装置４０６から送られてきた書類の画像をディスプレ
イ４０１に表示する。提示者は、指示装置４００のキー
ボード４０２またはマウス４０４を用いてディスプレイ
４０１上で遠隔地にある書類の所望の位置をポインティ
ングする。ポインティング情報はネットワーク４０５を
介して遠隔地装置４０６に送られる。遠隔地装置４０６
は、指示装置４００から送られてきたポインティング情
報を基に、提示者がディスプレイ４０１上で指示した位
置に対応する書類４０７上での実際の位置にレーザ光を
投射する。
報に提案される遠隔指示装置の構成を示す。指示装置４
００と遠隔地装置４０６がネットワーク４０５を介して
接続されている。遠隔地装置４０６は、遠隔地にある書
類４０７を撮像して、ネットワーク４０５を介して指示
装置４００に画像を伝送する。指示装置４００は、遠隔
地装置４０６から送られてきた書類の画像をディスプレ
イ４０１に表示する。提示者は、指示装置４００のキー
ボード４０２またはマウス４０４を用いてディスプレイ
４０１上で遠隔地にある書類の所望の位置をポインティ
ングする。ポインティング情報はネットワーク４０５を
介して遠隔地装置４０６に送られる。遠隔地装置４０６
は、指示装置４００から送られてきたポインティング情
報を基に、提示者がディスプレイ４０１上で指示した位
置に対応する書類４０７上での実際の位置にレーザ光を
投射する。
【００１８】図１１に、上記特開平５―８３７０５号公
報に提案される静止画入力装置の構成を示す。この装置
は、テレビ会議などで資料を提示するための書画カメラ
におけるポインティング装置に関し、ポインティングデ
バイス５０５を操作すると、ポインティングデバイス５
０５はポインティング情報をＣＰＵ５０１に送る。ＣＰ
Ｕ５０１は、送られてきたポインティング情報に基づき
レーザ・ビーム発光装置５０３を制御して、原稿台５０
４にレーザ・ビームを投射する。これにより、会議での
発表者は、会議資料などの現実物上において直接ポイン
ティングすることが可能となる。また、この技術では、
画像読み取り実行などを指示する領域を予め原稿台上に
設けてあり、その領域をレーザ・ビームでポイントして
クリックすると、カメラ５０２で画像読み取りが実行さ
れるようにしてある。
報に提案される静止画入力装置の構成を示す。この装置
は、テレビ会議などで資料を提示するための書画カメラ
におけるポインティング装置に関し、ポインティングデ
バイス５０５を操作すると、ポインティングデバイス５
０５はポインティング情報をＣＰＵ５０１に送る。ＣＰ
Ｕ５０１は、送られてきたポインティング情報に基づき
レーザ・ビーム発光装置５０３を制御して、原稿台５０
４にレーザ・ビームを投射する。これにより、会議での
発表者は、会議資料などの現実物上において直接ポイン
ティングすることが可能となる。また、この技術では、
画像読み取り実行などを指示する領域を予め原稿台上に
設けてあり、その領域をレーザ・ビームでポイントして
クリックすると、カメラ５０２で画像読み取りが実行さ
れるようにしてある。
【００１９】またレーザ光を用いて所望の位置をポイン
ティングする技術としては、プレゼンテーション用のレ
ーザポインタが知られており、多く市販されている。発
表者が、プロジェクタで投射されたイメージ上を指示す
るもので、ペン程度の大きさのものも開発されている。
ティングする技術としては、プレゼンテーション用のレ
ーザポインタが知られており、多く市販されている。発
表者が、プロジェクタで投射されたイメージ上を指示す
るもので、ペン程度の大きさのものも開発されている。
【００２０】
【発明が解決しようとする課題】上記した「Ｄｉｇｉｔ
ａｌ Ｄｅｓｋ」およびこれに関連する刊行物である上
記特開平７−１６８９４９号公報、特開平９−２３７３
４９号公報においては、作業机面上にプロジェクタを用
いてイメージを投射している。このため、机の作業面だ
けでなく書類などの現実物の上にもイメージが投射され
る。確かにこの方法では、投射イメージとして表示され
るカーソルは、投射された仮想世界と机上にある現実世
界の両方を指示することが可能である。
ａｌ Ｄｅｓｋ」およびこれに関連する刊行物である上
記特開平７−１６８９４９号公報、特開平９−２３７３
４９号公報においては、作業机面上にプロジェクタを用
いてイメージを投射している。このため、机の作業面だ
けでなく書類などの現実物の上にもイメージが投射され
る。確かにこの方法では、投射イメージとして表示され
るカーソルは、投射された仮想世界と机上にある現実世
界の両方を指示することが可能である。
【００２１】しかし、仮想世界の情報、例えばグラフィ
カルユーザインタフェースなどの複雑な画面を投射して
も、現状存在するプロジェクタでは高品質な投射画像を
得ることは困難である。
カルユーザインタフェースなどの複雑な画面を投射して
も、現状存在するプロジェクタでは高品質な投射画像を
得ることは困難である。
【００２２】グラフィカルユーザインタフェースなどの
高品質な画面を表示するためにはプロジェクタとは別に
高精細ディスプレイを備える必要があるが、特開平７−
１６８９４９号公報、特開平９−２３７３４９号公報に
は、これについて述べられていない。
高品質な画面を表示するためにはプロジェクタとは別に
高精細ディスプレイを備える必要があるが、特開平７−
１６８９４９号公報、特開平９−２３７３４９号公報に
は、これについて述べられていない。
【００２３】また、コンピュータのユーザの作業として
は、一般に、例えばワープロやプレゼンテーション資料
作成やネットワーク作業などの仮想世界内のみでの作業
が多い。仮に、高精細なプロジェクタが開発されたとし
ても、このような仮想世界内のみの作業を、作業机上に
投影された映像内で行うことは、果たして現実的である
かどうか疑問である。
は、一般に、例えばワープロやプレゼンテーション資料
作成やネットワーク作業などの仮想世界内のみでの作業
が多い。仮に、高精細なプロジェクタが開発されたとし
ても、このような仮想世界内のみの作業を、作業机上に
投影された映像内で行うことは、果たして現実的である
かどうか疑問である。
【００２４】さらに、投射イメージ上でのポインティン
グ作業に関しては、ユーザが自らの指で指示した位置を
カメラが認識してコンピュータと対話的に作業すること
について説明されているだけである。高精細ディスプレ
イとプロジェクタイメージの間を１つのポインティング
デバイスで分け隔てなくポインティングする方式や、ポ
インティングデバイスについても何等触れていない。
グ作業に関しては、ユーザが自らの指で指示した位置を
カメラが認識してコンピュータと対話的に作業すること
について説明されているだけである。高精細ディスプレ
イとプロジェクタイメージの間を１つのポインティング
デバイスで分け隔てなくポインティングする方式や、ポ
インティングデバイスについても何等触れていない。
【００２５】これに対し、「ＩｎｔｅｒａｃｔｉｖｅＤ
ＥＳＫ」およびこれに関連する刊行物である特開平６―
２６６４９８号公報には、表示装置として、机の作業面
に内蔵されたディスプレイとユーザ前方にある直立ディ
スプレイの２つを備え、また、キーボードやポインティ
ングデバイスも備えている。しかし、机内蔵ディスプレ
イの表示画面上はペンによりポインティングし、直立デ
ィスプレイへの入力は、キーボードまたはマウスを用い
ることを前提としている。上記特開平６―２６６４９８
号公報には、直立ディスプレイと机内蔵ディスプレイを
分け隔てなく一つのポインティングデバイスで入力作業
する方式、直立ディスプレイまたは机内蔵ディスプレイ
と、机上にある現実物を分け隔てなくポインティングす
る方式およびポインティングデバイスについて何も説明
されていない。確かに、使用する入力手段によってディ
スプレイを自動的に切り替える方法について開示されて
おり、ユーザにとって良好なユーザインタフェースを提
供することを目的としている。しかし、ユーザは使用す
るディスプレイによって入力手段を変える必要があり、
キーボードを移動させるなどの作業が必要となる。
ＥＳＫ」およびこれに関連する刊行物である特開平６―
２６６４９８号公報には、表示装置として、机の作業面
に内蔵されたディスプレイとユーザ前方にある直立ディ
スプレイの２つを備え、また、キーボードやポインティ
ングデバイスも備えている。しかし、机内蔵ディスプレ
イの表示画面上はペンによりポインティングし、直立デ
ィスプレイへの入力は、キーボードまたはマウスを用い
ることを前提としている。上記特開平６―２６６４９８
号公報には、直立ディスプレイと机内蔵ディスプレイを
分け隔てなく一つのポインティングデバイスで入力作業
する方式、直立ディスプレイまたは机内蔵ディスプレイ
と、机上にある現実物を分け隔てなくポインティングす
る方式およびポインティングデバイスについて何も説明
されていない。確かに、使用する入力手段によってディ
スプレイを自動的に切り替える方法について開示されて
おり、ユーザにとって良好なユーザインタフェースを提
供することを目的としている。しかし、ユーザは使用す
るディスプレイによって入力手段を変える必要があり、
キーボードを移動させるなどの作業が必要となる。
【００２６】上記特開平９−３１９５５６号公報に記載
される技術についても、上記「Ｄｉｇｉｔａｌ Ｄｅｓ
ｋ」、および「ＩｎｔｅｒａｃｔｉｖｅＤＥＳＫ」と同
様の問題がある。
される技術についても、上記「Ｄｉｇｉｔａｌ Ｄｅｓ
ｋ」、および「ＩｎｔｅｒａｃｔｉｖｅＤＥＳＫ」と同
様の問題がある。
【００２７】一方、レーザ光を用いて現実物をポインテ
ィングする技術の一つである、上記特開平９−４６７７
６号公報においては、指示装置内にあるディスプレイ上
でポインティングした位置にカーソルが表示され、遠隔
地に存在する書類上の対応する位置にレーザ光が投射さ
れるだけであり、ディスプレイ内の仮想世界とディスプ
レイの外側の現実世界を区別することなくポインティン
グすることはできず、そもそも、そのような考え方は全
く考慮されていない。
ィングする技術の一つである、上記特開平９−４６７７
６号公報においては、指示装置内にあるディスプレイ上
でポインティングした位置にカーソルが表示され、遠隔
地に存在する書類上の対応する位置にレーザ光が投射さ
れるだけであり、ディスプレイ内の仮想世界とディスプ
レイの外側の現実世界を区別することなくポインティン
グすることはできず、そもそも、そのような考え方は全
く考慮されていない。
【００２８】また、上記特開平５−８３７０５号公報に
も、ユーザがポインティングデバイスを操作して原稿台
上をポインティングするだけである。仮想世界の情報を
表示するディスプレイが備えられていないし、当然何ら
かの仮想世界と現実世界にある原稿台とをポインティン
グする方法およびそのような考え方についても全く述べ
られていない。
も、ユーザがポインティングデバイスを操作して原稿台
上をポインティングするだけである。仮想世界の情報を
表示するディスプレイが備えられていないし、当然何ら
かの仮想世界と現実世界にある原稿台とをポインティン
グする方法およびそのような考え方についても全く述べ
られていない。
【００２９】このように、上記特開平９−４６７７６号
公報も、上記特開平５−８３７０５号公報も、書類等の
現実物をポインティングするのにレーザ光を用いている
が、現実世界と仮想世界をシームレスにポインティング
する考え方は全く考慮されていない。そしてプレゼンテ
ーション用レーザポインタについても、同様であること
は明らかである。
公報も、上記特開平５−８３７０５号公報も、書類等の
現実物をポインティングするのにレーザ光を用いている
が、現実世界と仮想世界をシームレスにポインティング
する考え方は全く考慮されていない。そしてプレゼンテ
ーション用レーザポインタについても、同様であること
は明らかである。
【００３０】したがって、本発明は、上記問題点に鑑み
てなされたものであって、その目的は、ディスプレイ装
置に表示された仮想世界だけでなく文書原稿や立体物な
ど、実世界に存在する現実物も直接ポインティングでき
るようにしたポインティング装置を提供することにあ
る。
てなされたものであって、その目的は、ディスプレイ装
置に表示された仮想世界だけでなく文書原稿や立体物な
ど、実世界に存在する現実物も直接ポインティングでき
るようにしたポインティング装置を提供することにあ
る。
【００３１】
【課題を解決するための手段】前記目的を達成するため
本発明のポインティング装置は、対象物上の任意の位置
に所望の形状の光を投射する光ポインタと、所望の情報
を表示するためのディスプレイ装置と、前記ディスプレ
イ装置の表示画面上で所望の位置を指示するためのポイ
ンティングデバイスと、前記光ポインタと前記ディスプ
レイ装置と前記ポインティングデバイスを制御する制御
手段と、を含み、前記ポインティングデバイスが指示す
る位置が前記ディスプレイ装置の表示領域内にある時
は、前記ディスプレイ装置の表示領域上の指示された位
置に、カーソルを表示し、前記ポインティングデバイス
が指示する位置が前記ディスプレイの表示領域外の時
は、前記光ポインタを制御して指示された位置に、所望
の形状の光を投射し、対象物の境界を検知する境界検知
手段をさらに備え、前記ポインティングデバイスが指示
する位置が前記対象物上にある時は、前記光ポインタを
制御して、指示された位置に所望の形状の光を投射し、
前記ポインティングデバイスが指示する位置が前記対象
物上にはなく、かつ、前記ディスプレイ装置の表示領域
内にある時には、前記ディスプレイ装置の表示画面上の
指示された位置にカーソルを表示する、ように構成され
る。
本発明のポインティング装置は、対象物上の任意の位置
に所望の形状の光を投射する光ポインタと、所望の情報
を表示するためのディスプレイ装置と、前記ディスプレ
イ装置の表示画面上で所望の位置を指示するためのポイ
ンティングデバイスと、前記光ポインタと前記ディスプ
レイ装置と前記ポインティングデバイスを制御する制御
手段と、を含み、前記ポインティングデバイスが指示す
る位置が前記ディスプレイ装置の表示領域内にある時
は、前記ディスプレイ装置の表示領域上の指示された位
置に、カーソルを表示し、前記ポインティングデバイス
が指示する位置が前記ディスプレイの表示領域外の時
は、前記光ポインタを制御して指示された位置に、所望
の形状の光を投射し、対象物の境界を検知する境界検知
手段をさらに備え、前記ポインティングデバイスが指示
する位置が前記対象物上にある時は、前記光ポインタを
制御して、指示された位置に所望の形状の光を投射し、
前記ポインティングデバイスが指示する位置が前記対象
物上にはなく、かつ、前記ディスプレイ装置の表示領域
内にある時には、前記ディスプレイ装置の表示画面上の
指示された位置にカーソルを表示する、ように構成され
る。
【００３２】
【発明の実施の形態】本発明の実施の形態について説明
する。本発明は、その好ましい実施の形態において、現
実世界にある現実物に対して所望の位置または方向に所
望の形状のポインタ光を投射できる光ポインタと、グラ
フィカルユーザインタフェースや電子情報などの仮想世
界を表示するディスプレイ装置と、ユーザが操作して所
望の位置をポインティングするためのポインティングデ
バイスと、を備え、ユーザがポインティングデバイスを
操作してポインティングする位置がディスプレイ装置の
表示領域内にある時はカーソルを表示し、ディスプレイ
の表示領域外の時は、ポインタ光を投射するようにし、
仮想世界と現実世界の両方の所望の位置を一つのポイン
ティングデバイスでポインティングすることができるよ
うにしたものである。
する。本発明は、その好ましい実施の形態において、現
実世界にある現実物に対して所望の位置または方向に所
望の形状のポインタ光を投射できる光ポインタと、グラ
フィカルユーザインタフェースや電子情報などの仮想世
界を表示するディスプレイ装置と、ユーザが操作して所
望の位置をポインティングするためのポインティングデ
バイスと、を備え、ユーザがポインティングデバイスを
操作してポインティングする位置がディスプレイ装置の
表示領域内にある時はカーソルを表示し、ディスプレイ
の表示領域外の時は、ポインタ光を投射するようにし、
仮想世界と現実世界の両方の所望の位置を一つのポイン
ティングデバイスでポインティングすることができるよ
うにしたものである。
【００３３】また、ディスプレイ装置の表示領域内に予
め決められた部分領域を設定し、その部分領域を境に、
部分領域内をポインティングする時は、カーソルを表示
し、部分領域外をポインティングする時は、ポインタ光
を投射するように構成している。
め決められた部分領域を設定し、その部分領域を境に、
部分領域内をポインティングする時は、カーソルを表示
し、部分領域外をポインティングする時は、ポインタ光
を投射するように構成している。
【００３４】さらに、現実世界にある現実物がディスプ
レイ装置の表示領域と重なっている場合には、現実物の
位置を検出して現実物とディスプレイ装置の表示領域と
の境界を検知する境界検知センサを設け、その境界を境
に、ディスプレイ装置上をポインティングする時はカー
ソルを表示し、現実物をポインティングする時はポイン
タ光を投射するようにしている。
レイ装置の表示領域と重なっている場合には、現実物の
位置を検出して現実物とディスプレイ装置の表示領域と
の境界を検知する境界検知センサを設け、その境界を境
に、ディスプレイ装置上をポインティングする時はカー
ソルを表示し、現実物をポインティングする時はポイン
タ光を投射するようにしている。
【００３５】そして、境界検知センサにカメラを適用
し、現実物の位置姿勢を計測して、仮想世界と現実世界
の境界を、より正確に判定するようにした。
し、現実物の位置姿勢を計測して、仮想世界と現実世界
の境界を、より正確に判定するようにした。
【００３６】また、本発明の実施の形態においては、デ
ィスプレイ装置の表示領域とポインタ光を投射できる領
域である光ポインタ指示可能領域が物理的に離れている
場合、ディスプレイ装置の表示領域と光ポインタ指示可
能領域は仮想的に接しているかのようにポインティング
できるようにしている。
ィスプレイ装置の表示領域とポインタ光を投射できる領
域である光ポインタ指示可能領域が物理的に離れている
場合、ディスプレイ装置の表示領域と光ポインタ指示可
能領域は仮想的に接しているかのようにポインティング
できるようにしている。
【００３７】すなわち、ポインティングデバイスを操作
して、ポインティング位置をディスプレイ装置上から現
実物上へ移動させる場合には、ディスプレイ装置上でカ
ーソルがディスプレイ装置の表示領域の境界まで来ると
消滅し、同時に、光ポインタ指示可能領域の境界上にポ
インタ光が現れるように制御する。
して、ポインティング位置をディスプレイ装置上から現
実物上へ移動させる場合には、ディスプレイ装置上でカ
ーソルがディスプレイ装置の表示領域の境界まで来ると
消滅し、同時に、光ポインタ指示可能領域の境界上にポ
インタ光が現れるように制御する。
【００３８】逆に、ポインティング位置を現実物上から
ディスプレイ装置上へ移動させる場合には、光ポインタ
指示可能領域上でポインタ光が光ポインタ指示可能領域
の境界まで来ると消滅し、同時に、ディスプレイ装置の
表示領域の境界上にカーソルが現れるようにした。
ディスプレイ装置上へ移動させる場合には、光ポインタ
指示可能領域上でポインタ光が光ポインタ指示可能領域
の境界まで来ると消滅し、同時に、ディスプレイ装置の
表示領域の境界上にカーソルが現れるようにした。
【００３９】本発明のポインティング装置では、仮想世
界であるディスプレイの表示画面と書類などの現実世界
との境界を認識し、その境界を境に、仮想世界を指示し
ている時は指示位置にカーソルを表示し、現実世界を指
示している時は指示位置に光を投射する。以下実施例に
即して詳細に説明する。
界であるディスプレイの表示画面と書類などの現実世界
との境界を認識し、その境界を境に、仮想世界を指示し
ている時は指示位置にカーソルを表示し、現実世界を指
示している時は指示位置に光を投射する。以下実施例に
即して詳細に説明する。
【００４０】
【実施例】図１は、本発明の第１の実施例の構成を示す
図である。図１を参照すると、本発明の第１の実施例
は、現実世界にある現実物に対して所望の位置または方
向に所望の形状の光を投射できる光ポインタ１と、グラ
フィカルユーザインタフェースや電子情報などの仮想世
界を表示するディスプレイ２と、ユーザ１０３が操作し
て所望の位置をポインティングするためのポインティン
グデバイス３と、光ポインタ１を制御するための光ポイ
ンタ制御手段１０１と、光ポインタ制御手段１０１及び
ディスプレイ２及びポインティングデバイス３と所定の
インタフェースで接続されたコンピュータ１００と、を
備えて構成されている。
図である。図１を参照すると、本発明の第１の実施例
は、現実世界にある現実物に対して所望の位置または方
向に所望の形状の光を投射できる光ポインタ１と、グラ
フィカルユーザインタフェースや電子情報などの仮想世
界を表示するディスプレイ２と、ユーザ１０３が操作し
て所望の位置をポインティングするためのポインティン
グデバイス３と、光ポインタ１を制御するための光ポイ
ンタ制御手段１０１と、光ポインタ制御手段１０１及び
ディスプレイ２及びポインティングデバイス３と所定の
インタフェースで接続されたコンピュータ１００と、を
備えて構成されている。
【００４１】光ポインタ１は、被写体に対して所望の位
置または方向に所望の形状の光を投射できる。光の強度
は、使用者が被写体に投射された光を確認できる程度と
する。
置または方向に所望の形状の光を投射できる。光の強度
は、使用者が被写体に投射された光を確認できる程度と
する。
【００４２】図１では、スポット状のポインタ光がディ
スプレイ２と周辺部に投射されている様子が示されてい
る。光ポインタ１には、例えば透過型液晶デバイスを用
いた液晶プロジェクタや、プレゼンテーションなどで用
いるレーザポインタが適用できる。
スプレイ２と周辺部に投射されている様子が示されてい
る。光ポインタ１には、例えば透過型液晶デバイスを用
いた液晶プロジェクタや、プレゼンテーションなどで用
いるレーザポインタが適用できる。
【００４３】ただし、レーザポインタを用いる場合、所
望の形状の光を投射するためには、工夫が必要となる
が、この技術は、本発明の主題とは直接関係しないので
詳説しない。
望の形状の光を投射するためには、工夫が必要となる
が、この技術は、本発明の主題とは直接関係しないので
詳説しない。
【００４４】また、レーザポインタで所望の位置に光り
を投射する方法としては、例えば特開平６―１４９２０
２号公報（発明の名称、「ポインタ表示装置」）に開示
されている方法を用いることができる。すなわち、１軸
方向に回転駆動できる反射鏡を２つ用いて２次元走査を
実現できる。
を投射する方法としては、例えば特開平６―１４９２０
２号公報（発明の名称、「ポインタ表示装置」）に開示
されている方法を用いることができる。すなわち、１軸
方向に回転駆動できる反射鏡を２つ用いて２次元走査を
実現できる。
【００４５】ディスプレイ２は、コンピュータ１００が
創り出す仮想世界を表示できる。仮想世界とは、すなわ
ちグラフィカルユーザインタフェースを用いたオペレー
ティングシステムであったり、電子化された画像データ
であったり、ワープロ画面であったりする。ディスプレ
イ２には、通常のブラウン管を用いたＣＲＴ（陰極線
管）や液晶ディスプレイが適用できる他、プロジェクタ
によってイメージが投射されたスクリーンを用いてもよ
い。
創り出す仮想世界を表示できる。仮想世界とは、すなわ
ちグラフィカルユーザインタフェースを用いたオペレー
ティングシステムであったり、電子化された画像データ
であったり、ワープロ画面であったりする。ディスプレ
イ２には、通常のブラウン管を用いたＣＲＴ（陰極線
管）や液晶ディスプレイが適用できる他、プロジェクタ
によってイメージが投射されたスクリーンを用いてもよ
い。
【００４６】ポインティングデバイス３は、位置情報を
入力できる図示されていない位置入力手段と、所望の動
作を開始または終了することを決定するための図示され
ていない動作決定手段とから構成されており、ユーザの
操作に基づくポインティング情報を随時コンピュータ１
００に転送する。ポインティングデバイス３は、例えば
パーソナルコンピュータなどで使用されているマウス
や、ジョイスティックなどが適用できる。
入力できる図示されていない位置入力手段と、所望の動
作を開始または終了することを決定するための図示され
ていない動作決定手段とから構成されており、ユーザの
操作に基づくポインティング情報を随時コンピュータ１
００に転送する。ポインティングデバイス３は、例えば
パーソナルコンピュータなどで使用されているマウス
や、ジョイスティックなどが適用できる。
【００４７】コンピュータ１００は、ディスプレイ２に
表示する表示データを生成し、ディスプレイ２への転送
する。さらに、ポインティングデバイス３からのポイン
ティング情報を処理して光ポインティング情報に変換
し、光ポインタ制御手段１０１に転送する。
表示する表示データを生成し、ディスプレイ２への転送
する。さらに、ポインティングデバイス３からのポイン
ティング情報を処理して光ポインティング情報に変換
し、光ポインタ制御手段１０１に転送する。
【００４８】光ポインタ制御手段１０１は、コンピュー
タ１００から送られてくる光ポインティング情報を基
に、光ポインタ１から投射される光の強度、現実物に対
して投射する位置、方向、及び形状を制御する。
タ１００から送られてくる光ポインティング情報を基
に、光ポインタ１から投射される光の強度、現実物に対
して投射する位置、方向、及び形状を制御する。
【００４９】図２は、本発明の第一の実施例の動作を説
明するための模式図である。図２を参照して、本発明の
第一の実施例の動作を説明する。
明するための模式図である。図２を参照して、本発明の
第一の実施例の動作を説明する。
【００５０】ディスプレイ２にはコンピュータ１００か
ら送られてくる仮想世界情報とともにカーソルが表示さ
れている。ユーザがポインティングデバイス３を操作す
ると、それに応じてカーソルがディスプレイ２上で移動
する。したがって、ユーザはポインティングデバイス３
を操作してカーソルを移動させることで、ディスプレイ
２上の所望の位置をポインティングすることができる。
ら送られてくる仮想世界情報とともにカーソルが表示さ
れている。ユーザがポインティングデバイス３を操作す
ると、それに応じてカーソルがディスプレイ２上で移動
する。したがって、ユーザはポインティングデバイス３
を操作してカーソルを移動させることで、ディスプレイ
２上の所望の位置をポインティングすることができる。
【００５１】次に、ユーザがポインティングデバイスを
操作して、カーソルがディスプレイ２の表示領域の境界
に来ると、カーソルはディスプレイ２からは消え、代わ
りに光ポインタ１が、ディスプレイ２の表示境界外にポ
インタ光を投射する。
操作して、カーソルがディスプレイ２の表示領域の境界
に来ると、カーソルはディスプレイ２からは消え、代わ
りに光ポインタ１が、ディスプレイ２の表示境界外にポ
インタ光を投射する。
【００５２】光ポインタ１は、コンピュータ１００を介
してポインティングデバイス３からの指示情報を受け取
り、ポインティングデバイス３の動きに応じてポインタ
光を移動させる。
してポインティングデバイス３からの指示情報を受け取
り、ポインティングデバイス３の動きに応じてポインタ
光を移動させる。
【００５３】これにより、ユーザはポインティングデバ
イス３を操作して、ディスプレイ２の表示領域内では、
カーソルを、ディスプレイ２の表示領域外ではポインタ
光を見ながら、仮想世界と現実世界の両方の所望の位置
をポインティングすることができる。
イス３を操作して、ディスプレイ２の表示領域内では、
カーソルを、ディスプレイ２の表示領域外ではポインタ
光を見ながら、仮想世界と現実世界の両方の所望の位置
をポインティングすることができる。
【００５４】図３は、本発明の第二の実施例の構成を示
す図である。図３を参照すると、本発明の第二の実施例
では、ディスプレイ２の表示領域内に所望の部分領域
（部分領域の境界）を予め設定しておき、この部分領域
を境にカーソルとポインタ光が変化する。それ以外の構
成及び動作については、基本的に第一の実施例と同様で
ある。
す図である。図３を参照すると、本発明の第二の実施例
では、ディスプレイ２の表示領域内に所望の部分領域
（部分領域の境界）を予め設定しておき、この部分領域
を境にカーソルとポインタ光が変化する。それ以外の構
成及び動作については、基本的に第一の実施例と同様で
ある。
【００５５】図４は、本発明の第三の実施例の構成を示
す図である。図５は、本発明の第三の実施例において、
ポインティングの様子を示す図である。
す図である。図５は、本発明の第三の実施例において、
ポインティングの様子を示す図である。
【００５６】ディスプレイ２の表示画面と重なり合うよ
うに現実世界にある現実物が置かれている。図４では、
現実物の例として、文書原稿が示されている。
うに現実世界にある現実物が置かれている。図４では、
現実物の例として、文書原稿が示されている。
【００５７】境界検知センサ４は、現実物の位置を検知
し、ディスプレイ２の表示画面との境界を判定し、境界
情報をコンピュータ１００に転送する。コンピュータ１
００は、ポインティングデバイス３から送られてくるポ
インティング情報と、境界検知センサ４から送られてく
る境界情報に基づき、光ポインティング情報を生成し、
光ポインタ制御手段１０１に送る。光ポインタ制御手段
１０１は、コンピュータ１００から送られてきた光ポイ
ンティング情報に基づき、光ポインタ１を制御する。
し、ディスプレイ２の表示画面との境界を判定し、境界
情報をコンピュータ１００に転送する。コンピュータ１
００は、ポインティングデバイス３から送られてくるポ
インティング情報と、境界検知センサ４から送られてく
る境界情報に基づき、光ポインティング情報を生成し、
光ポインタ制御手段１０１に送る。光ポインタ制御手段
１０１は、コンピュータ１００から送られてきた光ポイ
ンティング情報に基づき、光ポインタ１を制御する。
【００５８】したがって、図５に示した矢印Ａの方向に
ポインティングデバイス３を操作した場合、境界検知セ
ンサ４で検知した境界を境にディスプレイ３上ではカー
ソルで、現実物上では、ポインタ光でポインティングす
ることが可能である。
ポインティングデバイス３を操作した場合、境界検知セ
ンサ４で検知した境界を境にディスプレイ３上ではカー
ソルで、現実物上では、ポインタ光でポインティングす
ることが可能である。
【００５９】また、矢印Ｂの方向にポインティングデバ
イス３を操作した場合、仮想世界と現実世界の境界は、
境界検知センサ４で検知した境界ではなく、ディスプレ
イ２の表示領域の境界になる。したがって、この場合、
前記した第一の実施例と同様に、ディスプレイ２の表示
領域の境界を境に、ディスプレイ２上ではカーソルで、
現実物上ではポインタ光でポインティングすることがで
きる。
イス３を操作した場合、仮想世界と現実世界の境界は、
境界検知センサ４で検知した境界ではなく、ディスプレ
イ２の表示領域の境界になる。したがって、この場合、
前記した第一の実施例と同様に、ディスプレイ２の表示
領域の境界を境に、ディスプレイ２上ではカーソルで、
現実物上ではポインタ光でポインティングすることがで
きる。
【００６０】境界検知センサ４は、検知する現実物によ
ってその検知方法が変わる。例えば図４または図５で示
したように、現実物が文書原稿などの場合、光電スイッ
チをディスプレイ２の枠部に備えておき、紙が置かれた
かどうかを検知すればよい。また、１次元または２次元
のイメージセンサを用いることができる。境界検知の方
式をどのようにするかは、本発明の主題とは直接関係し
ないので、詳細な説明はしない。
ってその検知方法が変わる。例えば図４または図５で示
したように、現実物が文書原稿などの場合、光電スイッ
チをディスプレイ２の枠部に備えておき、紙が置かれた
かどうかを検知すればよい。また、１次元または２次元
のイメージセンサを用いることができる。境界検知の方
式をどのようにするかは、本発明の主題とは直接関係し
ないので、詳細な説明はしない。
【００６１】図６は、本発明の第四の実施例の構成を示
す図である。図６を参照すると、本発明の第四の実施例
は、ユーザが作業する作業台上の所望の位置に所望の形
状のポインタ投射光を投射することができる光ポインタ
１と、作業台の作業面に埋め込まれた埋込型ディスプレ
イ１０と、光ポインタ１から投射されるポインタ投射光
と埋込型ディスプレイ１０のカーソルの位置を操作する
ためのポインティングデバイス３と、作業台上を監視す
ることができるカメラ１１と、作業台上に配置された反
射鏡１２と、光ポインタ１を制御するための光ポインタ
制御手段１０１と、カメラ１１からの画像データを基に
埋込型ディスプレイ１０の表示画面と作業台上にある文
書原稿などの現実物との境界を判定するための境界判定
手段１０２と、システム全体を制御するためのコンピュ
ータ１００と、を備えて構成されている。
す図である。図６を参照すると、本発明の第四の実施例
は、ユーザが作業する作業台上の所望の位置に所望の形
状のポインタ投射光を投射することができる光ポインタ
１と、作業台の作業面に埋め込まれた埋込型ディスプレ
イ１０と、光ポインタ１から投射されるポインタ投射光
と埋込型ディスプレイ１０のカーソルの位置を操作する
ためのポインティングデバイス３と、作業台上を監視す
ることができるカメラ１１と、作業台上に配置された反
射鏡１２と、光ポインタ１を制御するための光ポインタ
制御手段１０１と、カメラ１１からの画像データを基に
埋込型ディスプレイ１０の表示画面と作業台上にある文
書原稿などの現実物との境界を判定するための境界判定
手段１０２と、システム全体を制御するためのコンピュ
ータ１００と、を備えて構成されている。
【００６２】埋込型ディスプレイ１０には、例えば液晶
ディスプレイを用いてもよいし、投射型プロジェクタを
作業机に内蔵しておいてもよい。
ディスプレイを用いてもよいし、投射型プロジェクタを
作業机に内蔵しておいてもよい。
【００６３】本実施例の動作について説明する。カメラ
１１は、反射鏡１２を介して作業台上、特に埋込型ディ
スプレイ１０の表示領域上を撮像し、画像データを境界
位置判定手段１０２に転送する。境界位置判定手段１０
２は、カメラ１１から送られてきた画像データを処理す
る。埋込型ディスプレイ１０の表示領域上に文書原稿な
どの現実物が存在する場合は、その現実物の輪郭を抽出
し、埋込型ディスプレイ１０との境界を判定し、境界情
報をコンピュータ１００に転送する。
１１は、反射鏡１２を介して作業台上、特に埋込型ディ
スプレイ１０の表示領域上を撮像し、画像データを境界
位置判定手段１０２に転送する。境界位置判定手段１０
２は、カメラ１１から送られてきた画像データを処理す
る。埋込型ディスプレイ１０の表示領域上に文書原稿な
どの現実物が存在する場合は、その現実物の輪郭を抽出
し、埋込型ディスプレイ１０との境界を判定し、境界情
報をコンピュータ１００に転送する。
【００６４】コンピュータ１００は、ユーザ１０３に操
作されるポインティングデバイス３からのポインティン
グ情報に基づき指示位置を移動させる。同時に、境界判
定手段１０２からの境界情報に基づき、埋込型ディスプ
レイ１０の表示領域上が指示されている場合にはカーソ
ルを、現実物上を指示されている場合には、ポインタ投
射光を、指示位置に表示、または投射するように制御す
る。光ポインタ１による作業台上への光投射は、反射鏡
１２を介して行われる。
作されるポインティングデバイス３からのポインティン
グ情報に基づき指示位置を移動させる。同時に、境界判
定手段１０２からの境界情報に基づき、埋込型ディスプ
レイ１０の表示領域上が指示されている場合にはカーソ
ルを、現実物上を指示されている場合には、ポインタ投
射光を、指示位置に表示、または投射するように制御す
る。光ポインタ１による作業台上への光投射は、反射鏡
１２を介して行われる。
【００６５】境界位置判定手段１０２による現実物の輪
郭、すなわち埋込型ディスプレイ１０と現実物との境界
抽出の方式について説明する。境界抽出としては、例え
ば現実物に予めマークを付けておき、そのマークの位置
と姿勢を計測するという方法を用いてもよい。
郭、すなわち埋込型ディスプレイ１０と現実物との境界
抽出の方式について説明する。境界抽出としては、例え
ば現実物に予めマークを付けておき、そのマークの位置
と姿勢を計測するという方法を用いてもよい。
【００６６】また、コンピュータ１００は、埋込型ディ
スプレイ１０の表示を制御することができるので、カメ
ラ１１が撮像する時だけ、現実物の輪郭を画像抽出しや
すい表示にすることにより、正確な境界抽出を実現する
ようにしてもよい。
スプレイ１０の表示を制御することができるので、カメ
ラ１１が撮像する時だけ、現実物の輪郭を画像抽出しや
すい表示にすることにより、正確な境界抽出を実現する
ようにしてもよい。
【００６７】なお、境界位置判定手段１０２による境界
抽出としてどのような方式を用いるかは、本発明の主題
とは直接関係しないため、これ以上詳細な説明はしない
が、公知の技術を用いることができ、想定される現実物
を限定することにより、境界抽出ができるものであれば
よい。
抽出としてどのような方式を用いるかは、本発明の主題
とは直接関係しないため、これ以上詳細な説明はしない
が、公知の技術を用いることができ、想定される現実物
を限定することにより、境界抽出ができるものであれば
よい。
【００６８】なお、本実施例では、光ポインタ１による
光投射と、カメラ１１による作業台上撮像を、反射鏡１
２を介して実現するように構成したが、光ポインタ１と
カメラ１１を作業台の上方の適当な位置に適当な角度で
設置すれば必ずしも反射鏡は必要ではない。ただし、図
６に示すような構成にすれば光ポインタ１及びカメラ１
１を作業台に内蔵しておくことが可能となり、システム
として、コンパクトにすることが可能となる。
光投射と、カメラ１１による作業台上撮像を、反射鏡１
２を介して実現するように構成したが、光ポインタ１と
カメラ１１を作業台の上方の適当な位置に適当な角度で
設置すれば必ずしも反射鏡は必要ではない。ただし、図
６に示すような構成にすれば光ポインタ１及びカメラ１
１を作業台に内蔵しておくことが可能となり、システム
として、コンパクトにすることが可能となる。
【００６９】図７は、本発明の第五の実施例の構成及び
ポインティングの様子を示す図である。
ポインティングの様子を示す図である。
【００７０】図７を参照すると、本実施例は、仮想世界
の情報を表示するディスプレイ２の表示領域と、光ポイ
ンタ１がポインタ光を投射できる光ポインタ指示可能領
域とが物理的に離れている。
の情報を表示するディスプレイ２の表示領域と、光ポイ
ンタ１がポインタ光を投射できる光ポインタ指示可能領
域とが物理的に離れている。
【００７１】図７に示すように、ユーザが作業する作業
台の上に、ディスプレイ２とポインティングデバイス３
がある。光ポインタは、作業台上のある領域、すなわち
光ポインタ指示可能領域に対して光を投射することが可
能である。本実施例では、ディスプレイ２の表示領域と
光ポインタ指示可能領域は物理的に離れており、重なっ
ていないため、前記した第一乃至第四の実施例の境界検
知センサ４やカメラ１１を設けなくてもよい。
台の上に、ディスプレイ２とポインティングデバイス３
がある。光ポインタは、作業台上のある領域、すなわち
光ポインタ指示可能領域に対して光を投射することが可
能である。本実施例では、ディスプレイ２の表示領域と
光ポインタ指示可能領域は物理的に離れており、重なっ
ていないため、前記した第一乃至第四の実施例の境界検
知センサ４やカメラ１１を設けなくてもよい。
【００７２】次に、ユーザがポインティングデバイス３
を操作した時のカーソルとポインタ光の動作について説
明する。
を操作した時のカーソルとポインタ光の動作について説
明する。
【００７３】最初、ユーザがポインティングデバイスに
よって指示している場所がディスプレイ２の表示画面上
であるとする。この時、指示されている位置にはカーソ
ルが表示されている。ユーザがポインティングデバイス
３を操作して、指示位置を図７中において左方向に移動
させ、カーソルがディスプレイ２の表示領域の最左端ま
で来ると、カーソルは消滅する。それと同時に、光ポイ
ンタ指示可能領域の最右端にポインタ投射光が表れ、光
ポインタ指示可能領域内をポインティングデバイス３の
操作に応じて移動する。
よって指示している場所がディスプレイ２の表示画面上
であるとする。この時、指示されている位置にはカーソ
ルが表示されている。ユーザがポインティングデバイス
３を操作して、指示位置を図７中において左方向に移動
させ、カーソルがディスプレイ２の表示領域の最左端ま
で来ると、カーソルは消滅する。それと同時に、光ポイ
ンタ指示可能領域の最右端にポインタ投射光が表れ、光
ポインタ指示可能領域内をポインティングデバイス３の
操作に応じて移動する。
【００７４】逆に、ユーザがポインティングデバイス３
を操作して、指示位置を、図７中において右方向に移動
させ、カーソルが光ポインタ指示可能領域の最右端まで
来ると、ポインタ投射光は消滅する。それと同時に、デ
ィスプレイ２の表示領域の最左端にカーソルが表れ、デ
ィスプレイ２の表示領域内をポインティングデバイス３
の操作に応じて移動する。
を操作して、指示位置を、図７中において右方向に移動
させ、カーソルが光ポインタ指示可能領域の最右端まで
来ると、ポインタ投射光は消滅する。それと同時に、デ
ィスプレイ２の表示領域の最左端にカーソルが表れ、デ
ィスプレイ２の表示領域内をポインティングデバイス３
の操作に応じて移動する。
【００７５】このように、ディスプレイ２の表示領域と
光ポインタ指示可能領域が物理的に離れている場合で
も、両者が仮想的に接しているかのようにポインティン
グすることが可能となっている。
光ポインタ指示可能領域が物理的に離れている場合で
も、両者が仮想的に接しているかのようにポインティン
グすることが可能となっている。
【００７６】なお、図７では、光ポインタ指示可能領域
を矩形として示したが、この形状に限定されるものでな
く、例えば円形や楕円形などの他の形状でもよい。ただ
し、ディスプレイ２の表示領域は一般に矩形なので、デ
ィスプレイ２の表示領域と矩形以外の光ポインタ指示可
能領域が仮想的に接するという状態は、幾何学的に不可
能であるが、適当な変換処理によって、境界近傍でのカ
ーソルとポインタ投射光の振舞を予め決めておくこと
で、ユーザにとって分かりやすいポインティング作業を
実現することは可能である。
を矩形として示したが、この形状に限定されるものでな
く、例えば円形や楕円形などの他の形状でもよい。ただ
し、ディスプレイ２の表示領域は一般に矩形なので、デ
ィスプレイ２の表示領域と矩形以外の光ポインタ指示可
能領域が仮想的に接するという状態は、幾何学的に不可
能であるが、適当な変換処理によって、境界近傍でのカ
ーソルとポインタ投射光の振舞を予め決めておくこと
で、ユーザにとって分かりやすいポインティング作業を
実現することは可能である。
【００７７】
【発明の効果】以上説明したように、本発明によれば、
下記記載の効果を奏する。
下記記載の効果を奏する。
【００７８】本発明の第１の効果は、ディスプレイの表
示領域内外の対象物を一つのポインティングデバイスで
指示する構成としたことにより、仮想世界の情報を表示
したディスプレイと現実世界にある現実物の両方を一つ
のポインティングデバイスでポインティングすることが
できる、ということである。また、本発明によれば、仮
想世界と現実世界の両者を頻繁にポインティングする場
合でも、使用するポインティングデバイスが一つで済む
ので、比較的高速なポインティング作業を可能としてい
る。
示領域内外の対象物を一つのポインティングデバイスで
指示する構成としたことにより、仮想世界の情報を表示
したディスプレイと現実世界にある現実物の両方を一つ
のポインティングデバイスでポインティングすることが
できる、ということである。また、本発明によれば、仮
想世界と現実世界の両者を頻繁にポインティングする場
合でも、使用するポインティングデバイスが一つで済む
ので、比較的高速なポインティング作業を可能としてい
る。
【００７９】本発明の第２の効果は、境界検知センサや
カメラを用いたことにより、現実物がディスプレイと重
なった場合や、光ポインタ指示可能領域とディスプレイ
の表示領域が物理的に離れている場合であっても、正
確、かつ分かりやすいポインティングを実現でき、作業
の効率を向上する、ということである。
カメラを用いたことにより、現実物がディスプレイと重
なった場合や、光ポインタ指示可能領域とディスプレイ
の表示領域が物理的に離れている場合であっても、正
確、かつ分かりやすいポインティングを実現でき、作業
の効率を向上する、ということである。
【００８０】また、本発明の第３の効果は、一般に使用
されているパーソナルコンピュータやワークステーショ
ンなどの既存のシステム構成に、光ポインタ及びその制
御手段を付加するだけで済み、既存システムを追加改良
するだけで実施することができる、ということである。
本発明において、仮想世界内のみで行われるワープロな
どの作業は、従来通り行うことができることは勿論であ
る。
されているパーソナルコンピュータやワークステーショ
ンなどの既存のシステム構成に、光ポインタ及びその制
御手段を付加するだけで済み、既存システムを追加改良
するだけで実施することができる、ということである。
本発明において、仮想世界内のみで行われるワープロな
どの作業は、従来通り行うことができることは勿論であ
る。
【図１】本発明の第１の実施例の構成を示す図である。
【図２】本発明の第１の実施例におけるポインティング
の様子を示す図である。
の様子を示す図である。
【図３】本発明の第２の実施例の構成を示す図である。
【図４】本発明の第３の実施例の構成を示す図である
【図５】本発明の第３の実施例におけるポインティング
の様子を示す図である。
の様子を示す図である。
【図６】本発明の第４の実施例の構成を示す図である。
【図７】本発明の第５の実施例の構成とポインティング
の様子を示す図である。
の様子を示す図である。
【図８】Ｄｉｇｉｔａｌ Ｄｅｓｋの構成を示す図であ
る。
る。
【図９】ＩｎｔｅｒａｃｔｉｖｅＤＥＳＫの構成の概略
を示す図である。
を示す図である。
【図１０】特開平９−４６７７６号公報に記載されるシ
ステムの構成の一部を示す図である。
ステムの構成の一部を示す図である。
【図１１】特開平５−８３７０５号公報に記載されるシ
ステムの構成の一部を示す図である。
ステムの構成の一部を示す図である。
１ 光ポインタ ２ ディスプレイ ３ ポインティングデバイス ４ 境界検知センサ １０ 埋込型ディスプレイ １１ カメラ １２ 反射鏡 １００ コンピュータ １０１ 光ポインタ制御手段 １０２ 境界位置判定手段
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 3/00 601 - 680 G06F 3/14 - 3/153 G06F 3/033 - 3/037 G09G 5/00 - 5/40 G02B 27/20 H04N 7/10 H04N 7/14 - 7/173 H04N 7/20
Claims (6)
- 【請求項１】対象物上の任意の位置に所望の形状の光を
投射する光ポインタと、 所望の情報を表示するためのディスプレイ装置と、 前記ディスプレイ装置の表示画面上で所望の位置を指示
するためのポインティングデバイスと、 前記光ポインタと前記ディスプレイ装置と前記ポインテ
ィングデバイスとを制御する情報処理装置と、 を含み、 前記ポインティングデバイスが指示する位置が前記ディ
スプレイ装置の表示領域内にある時は、前記ディスプレ
イ装置の表示領域上の指示された位置に、カーソルを表
示し、前記ポインティングデバイスが指示する位置が前
記ディスプレイの表示領域外の時は、前記光ポインタを
制御して指示された位置に、所望の形状の光を投射し、 対象物の境界を検知する境界検知手段をさらに備え、 前記ポインティングデバイスが指示する位置が前記対象
物上にある時は、前記光ポインタを制御して、指示され
た位置に所望の形状の光を投射し、 前記ポインティングデバイスが指示する位置が前記対象
物上にはなく、かつ、前記ディスプレイ装置の表示領域
内にある時には、前記ディスプレイ装置の表示画面上の
指示された位置にカーソルを表示する、 ことを特徴とす
るポインティング装置。 - 【請求項２】前記境界検知手段が、対象物を撮像するカ
メラと、 前記カメラで取得された画像データを処理して前記対象
物の境界を認識する境界位置判定手段と、を備えたこと
を特徴とする請求項１記載のポインティング装置。 - 【請求項３】請求項１又は２に記載のポインティング装
置において、 前記ディスプレイ装置の表示画面と、ユーザが作業する
作業台の作業面とが同一面上にあるように配設されてい
る、ことを特徴とするポインティング装置。 - 【請求項４】請求項１から３のいずれか一に記載のポイ
ンティング装置において、 前記光ポインタが、光を投射して指示可能な領域である
光ポインタ指示可能領域と、前記ディスプレイ装置が情
報を表示できる領域であるディスプレイ表示領域とが、
物理的に離れている場合、前記光ポインタ指示可能領域
と前記ディスプレイ表示領域とが仮想的に接しているか
のように、前記ポインティングデバイスによる指示が行
われる、ことを特徴とするポインティング装置。 - 【請求項５】前記情報処理装置に接続され前記情報処理
装置から送られてくるポインティング情報を基に、前記
光ポインタから投射される光の強度、現実物に対して投
射する位置、方向、及び形状を制御する光ポインタ制御
手段を備えた請求項１乃至４のいずれか一に記載のポイ
ンティング装置。 - 【請求項６】ディスプレイ装置と、 前記ディスプレイ装置に接続され表示出力を制御する情
報処理装置と、 対象物上の任意の位置に所望の形状の光を投射する光ポ
インタと、 前記情報処理装置に接続され前記情報処理装置から送出
される情報を基に、前記光ポインタから投射される光の
強度、現実物に対して投射する位置、方向、及び形状を
制御する光ポインタ制御手段と、 前記情報処理装置に接続する入力手段であって前記ディ
スプレイ装置の表示画面上で所望の位置を指示するため
のポインティングデバイスと、対象物の境界を検知する境界検知手段と、 を備え、 前記ポインティングデバイスが指示する位置が前記ディ
スプレイ装置の所定の表示領域内にある時は、前記ディ
スプレイ装置の表示領域上の指示された位置にカーソル
を表示し、前記ポインティングデバイスが指示する位置
が前記ディスプレイの所定の表示領域端部を越えて該領
域外部に達したときは、前記ディスプレイの前記所定の
表示領域外部の前記ポインティングデバイスが指示する
位置に、前記光ポインタ制御手段により前記光ポインタ
からの光が投射され、前記ポインティングデバイスが指
示する位置が再び前記ディスプレイ装置の前記所定の表
示領域内に入った時は前記ディスプレイ装置の表示領域
上の指示された位置にカーソルを表示するように制御
し、前記ポインティングデバイスが指示する位置が前記対象
物上にある時は、前記光ポインタを制御して、指示され
た位置に所望の形状の光を投射し、前記ポインティング
デバイスが指示する位置が前記対象物上にはなく、か
つ、前記ディスプレイ装置の表示領域内にある時には、
前記ディスプレイ装置の表示画面上の指示された位置に
カーソルを表示する、 ことを特徴とするポインティング
装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22846498A JP3287312B2 (ja) | 1998-08-13 | 1998-08-13 | ポインティング装置 |
| US09/373,645 US6297804B1 (en) | 1998-08-13 | 1999-08-13 | Pointing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22846498A JP3287312B2 (ja) | 1998-08-13 | 1998-08-13 | ポインティング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000056896A JP2000056896A (ja) | 2000-02-25 |
| JP3287312B2 true JP3287312B2 (ja) | 2002-06-04 |
Family
ID=16876902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22846498A Expired - Fee Related JP3287312B2 (ja) | 1998-08-13 | 1998-08-13 | ポインティング装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6297804B1 (ja) |
| JP (1) | JP3287312B2 (ja) |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW528967B (en) | 2000-08-29 | 2003-04-21 | Ibm | System and method for locating on a physical document items referenced in an electronic document |
| US7190378B2 (en) * | 2001-08-16 | 2007-03-13 | Siemens Corporate Research, Inc. | User interface for augmented and virtual reality systems |
| US20030117378A1 (en) | 2001-12-21 | 2003-06-26 | International Business Machines Corporation | Device and system for retrieving and displaying handwritten annotations |
| US20040070616A1 (en) * | 2002-06-02 | 2004-04-15 | Hildebrandt Peter W. | Electronic whiteboard |
| WO2004034280A1 (en) | 2002-10-10 | 2004-04-22 | International Business Machines Corporation | System and method for selecting, ordering and accessing copyrighted information from physical documents |
| JP4306250B2 (ja) * | 2003-01-08 | 2009-07-29 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| US7038661B2 (en) * | 2003-06-13 | 2006-05-02 | Microsoft Corporation | Pointing device and cursor for use in intelligent computing environments |
| US7310779B2 (en) | 2003-06-26 | 2007-12-18 | International Business Machines Corporation | Method for creating and selecting active regions on physical documents |
| WO2005119356A2 (en) | 2004-05-28 | 2005-12-15 | Erik Jan Banning | Interactive direct-pointing system and calibration method |
| TR201819463T4 (tr) * | 2004-08-12 | 2019-01-21 | Koninklijke Philips Nv | Bir Sunum Ekranını Kontrol Etmek İçin Yöntem Ve Sistem |
| JP4434890B2 (ja) * | 2004-09-06 | 2010-03-17 | キヤノン株式会社 | 画像合成方法及び装置 |
| US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
| JP2008009572A (ja) * | 2006-06-27 | 2008-01-17 | Fuji Xerox Co Ltd | ドキュメント処理システム、ドキュメント処理方法及びプログラム |
| JP4777182B2 (ja) * | 2006-08-01 | 2011-09-21 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法、プログラム |
| US8089455B1 (en) | 2006-11-28 | 2012-01-03 | Wieder James W | Remote control with a single control button |
| JPWO2008066093A1 (ja) * | 2006-12-01 | 2010-03-11 | 日本電気株式会社 | 位置依存情報表現システム、位置依存情報表現制御装置および位置依存情報表現方法 |
| US20090066648A1 (en) * | 2007-09-07 | 2009-03-12 | Apple Inc. | Gui applications for use with 3d remote controller |
| US8884876B2 (en) * | 2008-10-27 | 2014-11-11 | Autodesk, Inc. | Spatially-aware projection pen interface |
| JP5158006B2 (ja) * | 2009-04-23 | 2013-03-06 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| JP5263049B2 (ja) | 2009-07-21 | 2013-08-14 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| JP5750104B2 (ja) * | 2009-08-10 | 2015-07-15 | コーニンクレッカ フィリップス エヌ ヴェ | スクリーン上のカーソルを移動させるシステム及び方法 |
| JP4679661B1 (ja) | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
| US20130328770A1 (en) | 2010-02-23 | 2013-12-12 | Muv Interactive Ltd. | System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith |
| US9880619B2 (en) | 2010-02-23 | 2018-01-30 | Muy Interactive Ltd. | Virtual reality system with a finger-wearable control |
| US9513716B2 (en) * | 2010-03-04 | 2016-12-06 | Autodesk, Inc. | Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector |
| US8376586B2 (en) * | 2010-03-26 | 2013-02-19 | Robert J. Abbatiello | Low-divergence light pointer apparatus for use through and against transparent surfaces |
| JP5598232B2 (ja) | 2010-10-04 | 2014-10-01 | ソニー株式会社 | 情報処理装置、情報処理システムおよび情報処理方法 |
| US9462210B2 (en) | 2011-11-04 | 2016-10-04 | Remote TelePointer, LLC | Method and system for user interface for interactive devices using a mobile device |
| JP2013149023A (ja) * | 2012-01-18 | 2013-08-01 | Nikon Corp | 表示システム、表示プログラム、および表示方法 |
| JP5427911B2 (ja) | 2012-04-11 | 2014-02-26 | Ｅｉｚｏ株式会社 | カーソル移動制御方法、コンピュータプログラム、カーソル移動制御装置及び画像表示システム |
| JP6172618B2 (ja) * | 2013-09-20 | 2017-08-02 | カシオ計算機株式会社 | 投影システム及びポインタ |
| ES2574617B1 (es) * | 2014-11-18 | 2017-04-05 | Ignacio FERRERO PERIS | Método, sistema y producto informático para interactuar con un puntero láser |
| US10139854B2 (en) | 2015-04-21 | 2018-11-27 | Dell Products L.P. | Dynamic display resolution management for an immersed information handling system environment |
| US9921644B2 (en) | 2015-04-21 | 2018-03-20 | Dell Products L.P. | Information handling system non-linear user interface |
| US11106314B2 (en) | 2015-04-21 | 2021-08-31 | Dell Products L.P. | Continuous calibration of an information handling system projected user interface |
| US9983717B2 (en) | 2015-04-21 | 2018-05-29 | Dell Products L.P. | Disambiguation of false touch inputs at an information handling system projected user interface |
| US9690400B2 (en) | 2015-04-21 | 2017-06-27 | Dell Products L.P. | Information handling system interactive totems |
| US9804733B2 (en) * | 2015-04-21 | 2017-10-31 | Dell Products L.P. | Dynamic cursor focus in a multi-display information handling system environment |
| US10139930B2 (en) | 2016-11-09 | 2018-11-27 | Dell Products L.P. | Information handling system capacitive touch totem management |
| US10146366B2 (en) | 2016-11-09 | 2018-12-04 | Dell Products L.P. | Information handling system capacitive touch totem with optical communication support |
| US10496216B2 (en) | 2016-11-09 | 2019-12-03 | Dell Products L.P. | Information handling system capacitive touch totem with optical communication support |
| US10139973B2 (en) | 2016-11-09 | 2018-11-27 | Dell Products L.P. | Information handling system totem tracking management |
| US10139951B2 (en) | 2016-11-09 | 2018-11-27 | Dell Products L.P. | Information handling system variable capacitance totem input management |
| JP2017191340A (ja) * | 2017-07-04 | 2017-10-19 | カシオ計算機株式会社 | 照射制御装置、照射制御方法、及びプログラム |
| CN107422857B (zh) * | 2017-07-21 | 2020-07-07 | 成都沃赢创投科技有限公司 | 一种基于多方位运动点捕捉的光学定位系统 |
| EP3518222B1 (en) | 2018-01-30 | 2020-08-19 | Alexander Swatek | Laser pointer |
| US10459528B2 (en) | 2018-02-28 | 2019-10-29 | Dell Products L.P. | Information handling system enhanced gesture management, control and detection |
| US10817077B2 (en) | 2018-06-28 | 2020-10-27 | Dell Products, L.P. | Information handling system touch device context aware input tracking |
| US10635199B2 (en) | 2018-06-28 | 2020-04-28 | Dell Products L.P. | Information handling system dynamic friction touch device for touchscreen interactions |
| US10761618B2 (en) | 2018-06-28 | 2020-09-01 | Dell Products L.P. | Information handling system touch device with automatically orienting visual display |
| US10664101B2 (en) | 2018-06-28 | 2020-05-26 | Dell Products L.P. | Information handling system touch device false touch detection and mitigation |
| US10852853B2 (en) | 2018-06-28 | 2020-12-01 | Dell Products L.P. | Information handling system touch device with visually interactive region |
| US10795502B2 (en) | 2018-06-28 | 2020-10-06 | Dell Products L.P. | Information handling system touch device with adaptive haptic response |
| TWI788644B (zh) * | 2020-03-24 | 2023-01-01 | 瑞軒科技股份有限公司 | 個人輸入裝置之驅動方法及使用該驅動方法之顯示裝置 |
| GB2598630B (en) * | 2020-09-08 | 2023-09-06 | Dyson Technology Ltd | Method and apparatus for providing feedback to a user input |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH083779B2 (ja) | 1985-09-27 | 1996-01-17 | オリンパス光学工業株式会社 | 座標指示装置 |
| JPS62129886A (ja) | 1985-11-30 | 1987-06-12 | 株式会社東芝 | 表示装置のカ−ソル制御方式 |
| JP2926410B2 (ja) | 1989-07-11 | 1999-07-28 | 株式会社日立製作所 | 画像表示制御方法及びその装置 |
| JP3096094B2 (ja) * | 1991-07-11 | 2000-10-10 | 花王株式会社 | 嵩高性シート及びその製造方法 |
| JPH0583705A (ja) * | 1991-09-20 | 1993-04-02 | Canon Inc | 静止画入力装置 |
| JPH05257637A (ja) * | 1992-03-10 | 1993-10-08 | Mitsubishi Heavy Ind Ltd | 統合表示装置における広域ポインタシステム |
| JPH06149202A (ja) | 1992-11-12 | 1994-05-27 | Nec Corp | ポインタ表示装置 |
| JP3378604B2 (ja) * | 1993-03-16 | 2003-02-17 | 株式会社日立製作所 | 情報処理装置 |
| EP0622722B1 (en) | 1993-04-30 | 2002-07-17 | Xerox Corporation | Interactive copying system |
| JP3128415B2 (ja) | 1993-11-26 | 2001-01-29 | 三洋電機株式会社 | カーソル制御方法 |
| US5712658A (en) * | 1993-12-28 | 1998-01-27 | Hitachi, Ltd. | Information presentation apparatus and information display apparatus |
| US5732227A (en) * | 1994-07-05 | 1998-03-24 | Hitachi, Ltd. | Interactive information processing system responsive to user manipulation of physical objects and displayed images |
| JPH08266576A (ja) * | 1995-03-30 | 1996-10-15 | Takesumi Doi | 眼球運動による意思伝達装置 |
| JPH0946776A (ja) * | 1995-07-26 | 1997-02-14 | Sony Corp | 遠隔指示装置および方法 |
| GB9521071D0 (en) | 1995-10-14 | 1995-12-20 | Rank Xerox Ltd | Clipboard for interactive desktop system |
| JPH09319556A (ja) | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | 情報処理装置 |
-
1998
- 1998-08-13 JP JP22846498A patent/JP3287312B2/ja not_active Expired - Fee Related
-
1999
- 1999-08-13 US US09/373,645 patent/US6297804B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6297804B1 (en) | 2001-10-02 |
| JP2000056896A (ja) | 2000-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3287312B2 (ja) | ポインティング装置 | |
| US7176881B2 (en) | Presentation system, material presenting device, and photographing device for presentation | |
| JP6153564B2 (ja) | カメラとマーク出力とによるポインティング装置 | |
| US7173605B2 (en) | Method and apparatus for providing projected user interface for computing device | |
| US9036043B2 (en) | System and method for generating and transmitting interactive coordinated presentations | |
| JP4627781B2 (ja) | 座標入力／検出装置および電子黒板システム | |
| US20130135199A1 (en) | System and method for user interaction with projected content | |
| US20040032398A1 (en) | Method for interacting with computer using a video camera image on screen and system thereof | |
| US9544556B2 (en) | Projection control apparatus and projection control method | |
| WO2001052230A1 (en) | Method and system for interacting with a display | |
| JP2005122696A (ja) | インタラクティブディスプレイシステムおよびインタラクティブディスプレイ方法 | |
| TW578031B (en) | Projection system with an image capturing device | |
| JP3355708B2 (ja) | コマンド処理装置 | |
| JP4728540B2 (ja) | 会議等支援用画像投影装置 | |
| JP3804302B2 (ja) | 表示装置及び情報記録媒体 | |
| JPH0895707A (ja) | コンピュータディスプレイシステム | |
| JP2010205105A (ja) | 電子ボードシステム、マウスイベント擬似発生方法及び入力座標補正方法 | |
| JP3525775B2 (ja) | 画像表示装置及びこのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
| JP5713401B2 (ja) | ポインタ映出用投影像信号を生成するユーザインタフェース装置、画像投影方法及びプログラム | |
| JP7342501B2 (ja) | 表示装置、表示方法、プログラム | |
| Beardsley et al. | Interactive projection. | |
| Ashdown et al. | High-resolution interactive displays | |
| JP6938308B2 (ja) | プロジェクタシステム及びプロジェクタシステム用プログラム | |
| Cotting et al. | Interactive visual workspaces with dynamic foveal areas and adaptive composite interfaces | |
| JP2023106171A (ja) | 名刺管理システム及び名刺管理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020212 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080315 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090315 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090315 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100315 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |