JP5014706B2 - ディスプレイ表面上にポインティングデバイスによって表示されるポインタの場所を制御するための方法 - Google Patents

ディスプレイ表面上にポインティングデバイスによって表示されるポインタの場所を制御するための方法 Download PDF

Info

Publication number
JP5014706B2
JP5014706B2 JP2006223269A JP2006223269A JP5014706B2 JP 5014706 B2 JP5014706 B2 JP 5014706B2 JP 2006223269 A JP2006223269 A JP 2006223269A JP 2006223269 A JP2006223269 A JP 2006223269A JP 5014706 B2 JP5014706 B2 JP 5014706B2
Authority
JP
Japan
Prior art keywords
pointer
pointing device
virtual
location
virtual pointer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006223269A
Other languages
English (en)
Other versions
JP2007052793A (ja
Inventor
クリフトン・エル・フォーラインズ
ラビン・バラクリシュナン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2007052793A publication Critical patent/JP2007052793A/ja
Application granted granted Critical
Publication of JP5014706B2 publication Critical patent/JP5014706B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Description

本発明は、包括的にはポインティングデバイスに関し、より詳細にはハンドヘルド直接ポインティングデバイスに関する。
ポインティングデバイス
インタラクティブアプリケーションのために、一般的に２つのタイプのポインティングデバイスが用いられる。マウス、タッチパッド及びジョイスティックのような間接ポインティングデバイスの場合、ディスプレイ表面上でのポインタの動きはポインティングデバイスの動きに対応しない。たとえば、マウスが水平方向に動くのに対して、ディスプレイ画面上のポインタ又はカーソルは垂直方向に動く。これにより、ユーザ、すなわちポインティングデバイスとアプリケーションとの間に知覚的な食い違いが生じる。レーザポインタ及びスタイラスのような直接ポインティングデバイスの場合、ポインタ、すなわち赤いドットの動きは、手の中にあるポインティングデバイスの動きに厳密に対応する。これにより、対話動作が大幅に高められる。しかしながら、直接ポインティングデバイスは手振れ（jitter）及び精度不足という問題を抱える。
投影デバイス
プロジェクタは、相対的に動きの少ない対象者に対して非対話形式でコンテンツを提供するための静止した出力専用デバイスとして従来から用いられてきた。しかしながら、最近になって投影技術が進歩した結果として、コスト、サイズ及び電力要件が大幅に緩和されてきた。この傾向は、今後も続くものと思われる。
今では、ユーザは、より対話性があり、且つ可動性のあるプロジェクタの用途を考えることができる。たとえば、プロジェクタが手持ちできるほど十分に小さく、且つ軽量であるときに生じる可能性について考える。この場合、いずれかの都合の良い表面を、コンピュータのように動作できるディスプレイとして用いることができる。携帯電話及び携帯情報端末（ＰＤＡ）等のポータブルコンピューティングデバイスで用いられる従来の小型のディスプレイ画面とは異なり、投影される画像は、２人以上が視認できるほど十分に大きい。
Raskar他は、プロジェクタを対話形式で使用することができる、ハンドヘルドプロジェクタのための複数のアプリケーション及び種々の興味深い方法を記述する。Raskar他著「iLamps: Geometrically Aware and Self-Configuring Projectors」（ACM Transactions on Graphics(TOG), ISSN: 0730-0301, vol. 22, issue 3, pp. 809-818, July 2003）及び（Mitsubishi Electric Research Laboratory(MERL) Technical Report, TR2003-023）、２００４年７月２０日にBeardsley他に対して発行された、「Projector as an input and output device」と題する米国特許第６，７６４，１８５号、及びRaskar他著「RFIG lamps: interacting with a self-describing world via photo-sensing wireless tags and projectors」（ACM Transactions on Graphics, 23(3), pp. 406-415, 2003）を参照されたい。
特に興味深いのは、キーストーン補正及び回転の問題に対する彼らの解決策である。ハンドヘルドプロジェクタとともにカメラを用いることによって、彼らはディスプレイ表面に対するプロジェクタの姿勢を判定し、その姿勢を用いて、歪み及び回転を補正し、さらにはプロジェクタの動きを抽出する。これにより、動的に更新される出力画像を、固定された場所及び向きにおいて安定して表示できるようになる。
ポインティングプロジェクタ
出力画像の中央にポインタ又はカーソルを表示することによって、プロジェクタを動かして、プロジェクタの出力画像内に描かれる安定化した領域にわたってポインタの動きを直に制御することができる。ポインタを直に制御し、且つプロジェクタ上のボタンを用いて、「ＷＩＭＰ」インターフェースの場合のように、全ての標準的な対話動作を実現することができる。この結果として、出力デバイス及び入力デバイスの役割を同時に果たすインタラクティブハンドヘルドプロジェクタが構成される。
さらに、ポインタが手の動きに直に追従するので、その対話動作は直にポインティングすることに似ており、マウス、タッチパッド、ローラボール又はジョイスティックを用いること等の他の間接ポインティングよりも間違いなく満足させることができる。
簡単であり、且つ直接ポインティングである点で訴えるものはあるが、この方式のインタラクティブハンドヘルドプロジェクタは、ポインタの動きの精度が不足していること、及び出力画像内の安定した画像の解像度が低いことに起因して、実用上の制約がある。
大画面の対話動作のための入力デバイスとしてレーザポインタを用いるいくつかの技法が知られている。C. Kirstein及びH. Muller著「Interaction with a projection screen using a camera tracked laser pointer」（Multimedia Modeling Conference., p. 191-192, 1998）、S. Matveyev及びM. Gobel著「The Optical Tweezers: multiple-point interaction technique」（Virtual Reality Software and Technology. p. 184-188, 2003）、S. Matveyev、M. Gobel及びP. Frolov著「Laser pointer interaction with hand tremor elimination」（HCI International, p. 376-740, 2003）、B. Myers、R. Bhatnagar、J. Nichols、C. H. Peck、D. Kong、R. Miller及びC. Long著「Interacting at a distance: measuring the performance of laser pointers and other devices」（ACM CHI Conference on Human Factors in Computing Systems, p. 33-40, 2002）、J.-Y. Oh及びW. Stuerzlinger著「Laser pointers as collaborative pointing devices」（Graphics Interface, p. 141-149, 2002）、D. R. Olsen及びT. Nielsen著「Laser pointer interaction」（ACM CHI Conference on Human Factors in Computing Systems, p. 17-22, 2001）、及びC. Peck著「Useful parameters for the design of laser pointer interaction techniques」（Extended Abstracts of the ACM CHI Conference on Human Factors in Computing Systems, p. 461-462, 2001）を参照されたい。
手振れ
レーザポインタによる対話動作は、インタラクティブハンドヘルドプロジェクションが直面するのと同じ手振れ（handheld jitter）問題によって妨げられる。Myers他は、ポインティング作業においてレーザポインタを他のデバイスと比較して、レーザポインタの動作が最低であり、予測フィルタリング後であっても、せいぜい４ピクセルの選択精度しかないという結果を得た。Oh他は、カルマンフィルタリングを用いるコンピュータ制御式レーザポインタを設計した。しかしながら、そのポインタでは、比較的大きな４０ピクセル径のターゲットを選択する際に、誤り率が依然として約４０％であった。Matveyev他は、手振れの影響を抑えるためのさらに複雑なモデルを記述するが、その手法の性能を測定するユーザデータを提供していない。Peckは、レーザポインタトラッキング偏差に対する著しい手振れの影響を記述する。Olsen他のレーザポインタ対話技法は、できる限り手振れを避けるように最適化される。
従来技術は、手振れの影響がデータフィルタリング技法によっては容易に解決されないことを示すように思われる。
遅延
さらに重要なのは、データフィルタリングを用いる技法が、目的通りに機能する場合であっても、著しい遅延を導入することである。遅延はユーザの対話動作を妨げる。すなわち、物理的なキューが知覚的なキューと一致しない。これは性能に悪影響を及ぼす。C. Ware及びR. Balakrishnan著「Reaching for objects in VR displays: Lag and frame rate」（ACM Transactions on Computer-Human Interaction, 1(4), pp. 331-356, 1994）を参照されたい。
ユーザ入力の速度に基づいてポインタの動き特性を変更する非線形伝達関数を用いること等の、標準的な遅延を引き起こすポインティング改善技法は、マウス、タッチパッド又はジョイスティックのような間接入力デバイスの場合には、それなりに良好に機能する。
しかしながら、それらの技法は、インタラクティブハンドヘルドプロジェクタ、スタイラス及びレーザポインタのような、デバイスの動きとポインタ制御とが一対一に直に対応する直接ポインティングデバイスには容易に適用することができない。それらのシナリオにおいて非線形伝達関数を用いると、デバイス位置とポインタ位置との間に動的に変化するオフセットが導入され、結果として、そのようなポインティング技法をそもそも非常に魅力のあるものにしている直接性そのものが失われる。さらに、オフセットがあまりにも大きくなる場合には、最終的には、ポインタがトラッキングエンベロープ（tracking envelope）から外れる可能性がある。
間接ポインティングを安定化させるために、ポインタ予測技法（pointer prediction technique）が巧みに利用されてきた。J. Baldwin、A. Basu及びH. Zhang著「Predictive windows for delay compensation in telepresence applications」（IEEE International Conference on Robotics & Automation, pp. 2884-2889, 1998）及びA. Murata著「Improvement of pointing time by predicting targets with a PC mouse」（International Journal of Human Computer Interaction, 10(1), pp. 23-32, 1998）を参照されたい。しかしながら、それらの技法は、実際のポインタ位置と、遅延が生じるときに予測されるポインタ位置との間に結果として生じる食い違いのために、直接絶対ポインティングに適用するのは難しい。
精度
画像内の対象とするエリアを探索するために、ズーミング技法及び拡大技法が用いられてきた。G. Furnas著「Generalized fisheye views」（ACM CHI Conference on Human Factors in Computing Systems. pp. 16-23, 1986）並びにM. Sarkar及びM. Brown著「Graphical fisheye views of graphs」（ACM CHI Conference on Human Factors in Computing Systems. pp. 83-91, 1992）を参照されたい。
種々のフォーカス・イン・コンテクスト（focus-in-context）技法も知られている。M. S. T. Carpendale及びC. A. Montagnese著「A framework for unifying presentation space」（ACM UIST Symposium on User Interface Software and Technology, pp. 61-70, 2001）、S. Carpendale著「A framework for elastic presentation space」（Department of Computer Science, Simon Fraser University, 1999）、J. Mackinlay、G, Robertson及びS. Card著「The perspective wall: Detail and context smoothly integrated」（ACM CHI Conference on Human Factors in Computing Systems. pp. 56-63, 1991）並びにC. Ware及びM. Lewis著「The DragMag image magnifier」（Extended Abstracts of the ACM CHI Conference on Human Factors in Computing Systems. pp. 407-408, 1995）を参照されたい。
別の技法はトラッキングメニューを利用する。G. Fitzmaurice、A. Khan、R. Pieke、B. Buxton及びG. Kurtenbach著「Tracking menus」（ACM UIST Symposium on User Interface Software and Technology, pp. 71-79, 2003）を参照されたい。その場合、ポインタは所定の領域内を自由に動くが、ポインタがその領域の境界を越えて動く際に、ポインタが動く方向に沿って、その領域がドラッグされる。
ハンドヘルドポインタの手振れ及び精度の問題を解決することが望ましい。
本発明の目的は、インタラクティブハンドヘルドポインティングデバイスで見られるいくつかの問題を解決することである。１つの問題は、画像及びポインタが、ハンドヘルドプロジェクタ、レーザポインタ又はスタイラスのような直接ポインティングデバイスによって表示されるときの手振れに起因する。この手振れによって、画像の細部を見ること、及び正確な入力を与えることが難しくなる。別の問題は、画像安定化及び画像ワーピング過程に起因して画像解像度が低下することである。
それゆえ、本発明は、出力画像内に表示されるポインタを安定化させるための方法を提供する。その方法によれば、ユーザは、出力画像内の選択されたエリアを拡大することもできる。これにより、ユーザは、出力画像内の対象とするエリアにおいて「ズーミング」できるようになり、且つ安定化したポインタを用いて正確な選択を行うことができる。
本発明の設計上の特徴によれば、大部分の従来の直接ポインティングデバイスでは不可能であった、ピクセル及びサブピクセルを正確にポインティングできるようになる。
本発明は、２Ｄポインタ及び３Ｄポインタの場合に良好に機能することができる。
ポインタ用語
物理ポインタは、ディスプレイ表面において直接ポインティングデバイスによって直に投影される光による、ディスプレイ表面上で視認可能な表示物である。それゆえ、物理ポインタの物理的な場所は、直接ポインティングデバイスの姿勢に直に対応する。たとえば、レーザポインタは常に、そのポインタが向けられるスポットにおいて、物理ポインタとして赤い点を表示する。同様に、スタイラスは接触する点において入力する。
仮想ポインタは、直接ポインティングデバイスによってディスプレイ表面上に間接的に投影される光による、ディスプレイ表面上で視認可能な表示物である。仮想ポインタは、ポインティングデバイスの姿勢に対応しても、しなくてもよい。仮想ポインタは、プロジェクタによって生成される出力画像内の１組のピクセルである。
ディスプレイ表面上のポインタの物理的な場所は、ポインティングデバイスの姿勢に厳密に対応する。仮想ポインタは、その物理的な場所において表示することができる。しかしながら、これは必要条件ではない。物理ポインタは常に、その物理的な場所において表示される。
ディスプレイ表面上のポインタの仮想的な場所は、物理的な場所から判定することができる。仮想的な場所は、直接ポインティングデバイスの手振れ、速度及び加速度、並びにアプリケーションの制約等の他の要因を考慮することもできる。
マウス、タッチパッド又はジョイスティックのような間接ポインティングデバイスの場合、デバイスの姿勢及びデバイスの動きは、ディスプレイ表面上のポインタの場所に間接的にしか関連付けられない。たとえば、マウスは典型的には水平方向の平面内を動くのに対して、ポインタは垂直方向の平面内を動く。
直接ポインティングデバイス
図１は、本発明の一実施形態によるハンドヘルド直接ポインティングデバイス２００を示す。本発明は、プロジェクタサブシステム２５０、姿勢サブシステム２１０及びユーザ制御部２９０を含む。そのポインティングデバイスは、ディスプレイ表面１０２上に、補正されていない出力画像１０１を表示することができる。出力画像１０１は、補正され、且つ安定化した領域１０３を含む。安定化した領域内に仮想ポインタ１０４を表示することができる。仮想ポインタ１０４は、ポインティングデバイス２００の動きに実質的に追従する。その動きは、手１０５又はいくつかの他の機械式プロジェクタプラットフォームによって制御することができる。
図２は、バス２４０によって接続される姿勢サブシステム２１０、プロジェクタサブシステム２５０、マイクロプロセッサ２１５、メモリ２２０及びＩ／Ｏインターフェース２３０を含み、全体として処理ユニットと呼ばれる、直接ポインティングデバイス２００の細部を示す。さらに細かい事柄は、参照によって本明細書に援用される米国特許第６，７６４，１８５号に記述される。
その処理ユニットは、その電子工学的な構造においては従来通りであるが、本明細書に記述される方法ステップを実行するときの動作に関しては従来とは異なる。ネットワークサブシステム２７０によって、そのプロジェクタは、他の類似のデバイス、若しくは他のコンピューティングデバイス及びメモリとローカル通信又はリモート通信できるようになる。それゆえ、そのネットワークシステムは、通信媒体に応じて、アンテナ又は赤外線トランシーバに接続することができる。ネットワーク接続は有線にすることもできる。制御部２９０を用いて、入力を与えることができる。
姿勢サブシステム２１０は、ディスプレイ表面１０２に対するプロジェクタの姿勢を判定する。さらに細かい事柄については、参照によって本明細書に援用される、２００４年１１月２日にRaskar他に対して発行された、「Geometrically Aware Projector」と題する米国特許第６，８１１，２６４号を参照されたい。姿勢は、３Ｄ位置及び３Ｄ向きを意味する。
姿勢サブシステムは、カメラサブシステム２０８、動き検出器、加速度計、傾斜センサ等２０９を含むことができる。
そのポインティングデバイスは、４つのレーザポインタ２１１も備えることができる。レーザポインタは、ディスプレイ表面上の実際の場所に、レーザドット１０７の形で物理ポインタを投影する。カメラサブシステム２０８は、ドット１０７の物理的な場所を観測し、ポインティングデバイスの姿勢を判定することができる。
別法では、ディスプレイ表面１０２は、参照によって本明細書に援用される、２００５年２月１０日にLee他によって出願された、「Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces」と題する米国特許出願第２００５／００３０４８６号に記述されるような機器を備えることができる。
別の方法では、ディスプレイ表面は、視角位置マーカ２１７を含む。上記の方法のいずれかを用いて、ディスプレイ表面に対するポインティングデバイスの３Ｄ姿勢、すなわち３Ｄ位置及び３Ｄ向きを判定することができる。その姿勢から、本方法は回転、動き及び歪みを補正して、安定した領域１０３を生成することができる。
ポインタに基づく対話動作は、補正されていない出力画像１０１の中央に仮想ポインタ１０４を投影することによって達成される。最終的に、出力画像内に安定した領域がもたらされ、ポインタが手１０５の動きに応じて動くようになる。
ポインタ手振れ
上記のような姿勢情報によって、手振れのある出力画像１０１内に安定した領域１０３を生成できるようになるが、出力画像の中央にマッピングされるポインタは、依然として手振れの影響を受けやすい。これにより、正確なポインティングが難しくなる。この問題は、物理ポインタを投影するにしても、仮想ポインタを投影するにしても、全ての直接フリーハンドポインティングデバイスに固有の問題である。
この問題は、従来技術のシステムに固有の遅延を生じることなく、ポインタ安定化方法を用いて補正される。
ピクセル損失
出力画像内に安定した領域を表示するための上記の技法は、補正されていない出力画像のいくつかのピクセルを無駄にする。図１に点描される、安定した領域１０３の外側にある全てのピクセルは基本的には無駄にされる。これは、歪んでいる可能性がある出力画像内に長方形の表示領域を描く必要があるという事実による。参照によって本明細書に援用される、２００４年５月４日にRaskar他に対して発行された、「Method for determining a largest inscribed rectangular image within a union of projected quadrilateral images」と題する米国特許第６，７２９，７３３号を参照されたい。
それに加えて、仮想ポインタ１０４の動きに対応するために、複数のピクセルが無駄にされる。たとえば、出力画像１０１の中央に表示される仮想ポインタが、最も直接的な一対一マッピングにおいて安定した画像１０３の全範囲を横断できるようにするためには、安定した領域１０３のピクセルの数は、出力画像１０１内のピクセルの数の約１／４未満でなければならない。安定した領域が含むピクセルが少ないので、安定した領域の解像度が低くなり、細部を視認し、ポインタを正確に位置付けることがさらに困難になる。
この問題は、画像拡大法で補正される。
ズーム・アンド・ピック（zoom-and-pick）
インタラクティブハンドヘルドプロジェクタの手振れ及び解像度の両方の制約を緩和するために、本発明は、遅延を導入することなく、ポインタの手振れを除去し、且つ出力の部分を選択的に拡大する方法を提供する。その方法によって、ユーザは、表示される画像内の対象とするエリアを拡大し、その後、高い精度で、且つ手振れを生じることなく対象とするエリア内のピクセルを指示できるようになる。
本方法は、インタラクティブハンドヘルドプロジェクタを参照しながら記述されるが、本方法は、直接レーザプロジェクタ、及び個別のポインティングデバイスとともに用いられる従来の静止したプロジェクタにも適用できることは理解されたい。
拡大
図３Ａは、チェッカーボードパターンとして安定した領域１０３のピクセル３００を概略的に示す。その概略図は、以下にさらに詳細に記述されるポインタスタビライザ（pointer stabilizer）４００も示す。その方法は、仮想ポインタ１０４を中心にして配置される、安定した画像１０３の第１の部分３０１を一様に拡大する。第２の部分３０２が徐々に拡大される。第２の部分の目的は、第１の拡大された部分と、出力画像の残りの拡大されていない部分との間の視覚的な連続性及びコンテクストを与えることである。
拡大のレベルは、以下に記述される「ズーム」機能を用いて調整することができる。拡大される部分３０１及び３０２は、仮想ポインタ１０４が動くときに、そのポインタに追従する。これにより、ポインタ付近の解像度を高めて表示することができ、正確に選択できるようになる。
図３Ｂは、１つの例示的なアプリケーションの部分的に拡大された出力画像を示す。
図４に示されるように、ポインタスタビライザ４００は、外側境界４１０及び内側境界４２０を含むように画定される。内側境界と外側境界との間のエリアは、ポインタスタビライザの縁４２５として示される。
黒色及び白色の「チェッカーボード」の桝目４４０はピクセルを表す。ポインタスタビライザの内側部分の差渡しは約５ピクセル又はそれ以下である。これは、避けられない手振れに起因するポインタ移動の典型的な量に相当する。
外側境界と内側境界との間の距離４３０は、ポインタのサンプリング速度に基づく。サンプリング速度が速い場合には、その距離は短くすることができ、サンプリング速度が遅い場合には、その距離は長くされる。ポインタスタビライザのためのサイズは個々のアプリケーションに合わせることができることに留意されたい。
ポインタスタビライザは表示される必要はないことに留意されたい。すなわち、ポインタスタビライザは、一定の特性を有する画定された領域として存在する。
ポインタスタビライザ
ポインタスタビライザ４００は、仮想ポインタ１０４を中心にして配置される。経路４５０は、本明細書において記述されるようにポインタが安定化していない場合の、ポインタの手振れによる動きを示す。その経路上の黒い点４５１は、手振れに起因するポインタの一連の瞬間的な実際の物理的位置を示すであろう。しかしながら、その経路が内側境界４２０内に留まる限り、仮想ポインタ１０４は、静止した仮想的な場所において、ポインタスタビライザ４００の中央に表示される。これにより、望ましくない短距離の手振れが除去される。すなわち、ポインティングデバイスの姿勢を反映するような物理ポインタの動きが第１の閾値、すなわち第１の境界までの距離より短い場合には、仮想ポインタ１０４は動かされることはなく、ポインタの仮想的な場所はポインタスタビライザの中央にある。
しかしながら、ユーザが内側境界及び外側境界を超えてプロジェクタを迅速に動かし、ポインタが物理的な場所４６０まで動くことになる場合には、ポインタスタビライザは、内側境界が物理的な場所４６０に接触するように、その動きの方向に動かされ、それに応じて、仮想ポインタ１０４の位置が、その新たな場所においてポインタスタビライザの中央に調整される。これにより、長距離の手振れの影響が除去される。
ユーザがポインタをゆっくり動かし、ポインタが外側境界と内側境界との間にある縁４２５上の或る場所４７０に存在することになる場合には、ポインタスタビライザは、ポインティングデバイスの方向の動き量だけ動かされる４７１。典型的には、その動き量はわずかな数のピクセルに等しい。たとえば、その動き量は約５ピクセル又はそれ以下である。これにより、ハンドヘルドポインタのためにピクセルレベルの精度を実現できるようになる。これは、マウスのような間接ポインティングデバイスの場合であっても達成するのが難しい。ポインタを位置付けるときにサブピクセルレベルの精度を実現できるようにするために、この動きをさらに小さくすることもできる。
実際の実施態様では、ポインタスタビライザは、ユーザに対して表示される必要はなく、意外なことに、それでもユーザは、ハンドヘルドプロジェクタを用いて、表示される画像とのより良好な対話動作を享受する。
ポインタスタビライザの内側境界と外側境界との間の距離は１ピクセルよりも大きいことが好ましいことに留意されたい。その距離が拡大の倍率（amount）及びポインタのサンプリング速度に比例する場合には、最良の結果が得られる。
ポインタの動き、すなわちハンドヘルドプロジェクタの揺れが個別にサンプリングされるので、本方法は良好に機能する。そのポインタは、ポインティングデバイスがサンプリング速度よりも速く動かされるときにのみ、ポインタスタビライザの外側境界を超えて動くことができる。
それゆえ、本発明は、拡大とともに、遅延を生じることなくポインタの細かい及び粗い位置付けを提供する。
ズーム
図５Ａに示されるように、ｘ方向５０１におけるポインタの動きは、プロジェクタを左右に動かすことによって、又は偏揺れさせることによって達成することができる。プロジェクタを上下に動かすこと、又は縦揺れさせることによって、ポインタはｙ方向５０２に沿って動かされる。光学軸又はｚ軸５１０を中心にしてプロジェクタを回転させること５０３（横揺れさせること）によって、拡大又はズームが制御される。その光学軸は、ディスプレイ表面１０２の平面に対して概ね垂直であるものと仮定される。従来のプロジェクタの場合、ズームは、レンズを回転させることだけによって制御される。対照的に、本発明の一実施形態によるポインティングデバイスは、デバイス全体を回転させることによって、ズーム又は拡大を制御する。その回転は、プロジェクタの姿勢から判定することができる。時計回りの回転は拡大の倍率を上げることができ、反時計回りの回転は、拡大の倍率を下げることができ、その逆も可能である。こうして、ユーザには、回転による拡大又はズームの効果が自然に見える。
図５Ｂに示されるように、この技法は、この技法を用いなければズーム機能を含まないデバイスの場合にも用いることができる。たとえば、本明細書において記述されるようにレーザ全体を回転させることによって、レーザポインタ５５０にズーム効果を与えることができる。
図５Ｃは、回転したポインティングデバイスの正面図である。
回転の角度量によって拡大効果をさらに助長することができる。ポインティングデバイス（プロジェクタ）がその標準的な向き、すなわち０°に保持される場合には、拡大されない。０°から５°まで回転する場合も、拡大への影響はない。拡大の全範囲は５°から約４５°まででもたらされる。手首は約１８０°まで難なく回転できることに留意されたい。最大の回転時には、倍率は約２５×の利得係数である。したがって、回転時の利得は、ユーザが扱いにくい位置にポインティングデバイスを保持することを要求しない。これは、最大の「ズーム」効果を得るために、何周も回転させることが必要な場合もある従来のズームレンズとは対照的である。
これは、ユーザが或る細部において迅速にズームし、ポインタで選択を行い、その後、ポインティングプロジェクタを標準的な位置に戻して、標準的な動作を再開するのに好都合である。
別の実施形態では、回転角を多数の区域に分割して、ズーミングに細かい粒状度及び粗い粒状度、並びに、おそらく無限のズーミング能力を与えることができ、表示される画像のサイズを、その標準的なフォームファクタをはるかに超えて増減することさえできるかもしれない。回転速度を用いて、ズーミングの量を制御することもできる。
別の実施形態では、「ラチェット」ズーミングが用いられる。たとえば、ポインティングデバイスを時計回りにゆっくり回転させ、その後、反時計回りにわずかな角度だけ迅速に反転させ、さらにその後、ゆっくりと時計回りに回転させることにより、ズーミング係数が実質的に連続して増加又は「クランクアップ」される。
図６に示されるように、ポインタスタビライザ領域の効果は精緻化することができる。代替の実施形態では、第１の境界と第２の境界との間の縁４２５が、異なる幅を有するセクタ６０１及び６０２に分割される。ポインタが太いセクタ６０１の中に動かされるとき、ポインタスタビライザ領域は、１ピクセルに相当する距離だけ動かされる。ポインタが広いセクタ６０２の中に動かされるとき、ポインタスタビライザ領域は「ドラッグ」される。
図７は代替の実施形態を示す。先に述べられたように、その縁は多数のセクタ、たとえばセクタ７１０及び７２０に分割される。各セクタはポインタに異なる作用を及ぼす。実際のポインタ７０１がセクタ７１０の中に動かされるとき、回転が拡大レベルの線形な位置制御にマッピングされる。セクタ７２０では、拡大の増加率が制御される。切り抜かれたセクタ７３０は「デッドゾーン」を指示しており、回転が何の作用も及ぼさない。したがって、ポインティングデバイスが概ね垂直な向きに保持される限り、拡大されない。回転範囲から外れたセクタ７４０も作用を及ぼさない。
ラチェット拡大が実施される場合には、点線７５０の方向に動かすことによりズームされ、破線７５１の方向に反転させることにより停止される（ratchet）。
安定化方法
図８は、本発明の一実施形態による安定化方法のステップを示す。最初に、仮想ポインタ１０４の現在の仮想的な場所と、姿勢サブシステム２１０によって判定されるような次の物理的な場所との間の距離ｄ１を判定する（８１０）。仮想ポインタはポインタスタビライザ４００の中央に表示される。次に、距離ｄ１が、内側境界４２０への径方向距離に等しい第１の閾値Ｔ１未満であるか否かを判定する。真である場合には、何も行わない（８３０）。すなわち、仮想ポインタ１０４は所定の位置に安定化したままであり、直接ポインティングデバイスの動きが手振れによるものと推定される。
そうではなく、偽である場合には、距離ｄ１が、外側境界４１０への径方向距離に等しい第２の閾値Ｔ２よりも大きいか否かを判定する（８４０）。真である場合には、仮想ポインタを物理的な場所に向かって量（ｄ１−Ｔ１）だけ動かす（８５０）。すなわち、仮想ポインタは、新たな仮想的な場所に動かされ、ポインタスタビライザが再び、その場所を中心にして配置される。
そうではなく、偽である場合には、仮想ポインタを物理的な場所に向かって動き量Ｍだけ動かす（８６０）。動き量Ｍは、所望の精度、たとえば１ピクセル、２ピクセルに等しい。この場合、ポインタは縁エリア４２５の中に動かされており、正確に動かすことが望ましい。これは、第２の閾値が第１の閾値よりも少なくとも量Ｍ、すなわちＴ２−Ｔ１＞Ｍだけ大きいことを意味する。
本発明の一実施形態では、上記の安定化方法は、３次元の位置入力を与える入力デバイスで用いるために拡張される。そのような３Ｄ入力デバイスは３Ｄディスプレイで用いることができ、たとえば、そのディスプレイ表面は曲面を成しており、すなわちドーム形である。別法では、ディスプレイ表面は依然として２次元であるが、バーチャルリアリティディスプレイの場合のように、その表面に表示される画像が３次元であるように見える。すなわち、それらの画像は遠近法に従う。こうして、ユーザは、ディスプレイ表面に対して前後にポインティングデバイスを動かすことによって、ポインタを深さ方向に位置付けることができる。
この実施形態では、ポインティングデバイスは、ディスプレイ表面上で３Ｄポインタの位置を制御し、ポインタスタビライザは２つの同心球、すなわち内側球及び外側球の形をとる。
この変形形態では、最初に、３Ｄ入力デバイスによって与えられる次の３Ｄの物理的な場所と、３Ｄポインタスタビライザの中央にある３Ｄポインタの現在の３Ｄの仮想的な場所との間の距離ｄ１が判定される。次に、距離ｄ１が、内側球の径方向距離に等しい第１の閾値Ｔ１未満であるか否かが判定される。真である場合には、何も行わない。すなわち、仮想３Ｄポインタは所定の位置に安定化したままであり、その動きは手振れによるものと推定される。
そうではなく、偽である場合には、距離ｄ１が、外側球への径方向距離に等しい第２の閾値Ｔ２よりも大きいか否かが判定される。真である場合には、仮想ポインタが物理的な場所に向かって量（ｄ１−Ｔ１）だけ動かされる。すなわち、仮想３Ｄポインタが新たな場所に動かされ、ポインタスタビライザが再び、その３Ｄの場所を中心にして配置される。
そうではなく、偽である場合には、仮想ポインタが物理的な場所に向かって動き量Ｍだけ動かされる。動き量Ｍは、所望の精度、たとえば１ピクセル、２ピクセルに等しい。この場合、ポインタは縁エリアの中に動かされており、正確に動かすことが望ましい。
本発明が好ましい実施形態を例示することにより記述されてきたが、種々の他の変形及び変更を本発明の精神及び範囲内で行うことができることは理解されたい。それゆえ、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入る、全てのそのような変形及び変更を網羅することである。
本発明の一実施形態によるハンドヘルド直接ポインティングプロジェクタの略図である。 図１のポインティングプロジェクタのブロック図である。 本発明の一実施形態による部分的に拡大された出力画像である。 本発明の一実施形態による部分的に拡大されたアプリケーション画像である。 本発明の一実施形態によるポインタスタビライザの動きの略図である。 本発明の一実施形態による回転式ポインタプロジェクタのブロック図である。 本発明の一実施形態による回転式ポインタのブロック図である。 本発明の一実施形態による回転式ポインティングプロジェクタの正面図である。 本発明の一実施形態による、セグメント化されたポインタスタビライザの略図である。 本発明の一実施形態による、セグメント化されたポインタスタビライザの略図である。 本発明の一実施形態による方法の流れ図である。

Claims (17)

  1. ポインティングデバイスによってディスプレイ表面上に表示される仮想ポインタの現在の仮想的な場所を判定すること、
    前記ポインティングデバイスの姿勢に応じて、前記仮想ポインタの次の物理的な場所を判定すること、
    前記現在の仮想的な場所と前記次の物理的な場所との間の距離を判定すること、
    前記距離を第１及び第２の閾値と比較すること、
    及び
    前記距離と前記第１及び第２の閾値との間の数値関係に基づいて前記仮想ポインタを動かすこと
    を含む、ディスプレイ表面上にポインティングデバイスによって表示されるポインタの場所を制御するための方法であって、
    前記第２の閾値が前記第１の閾値よりも大きい場合に、
    前記距離が前記第１の閾値未満であるときには、前記仮想ポインタは前記現在の仮想的な場所に留まり、
    前記距離が前記第２の閾値よりも大きいときには、前記仮想ポインタは前記第２の閾値から前記距離を引いた値に等しい量だけ前記次の物理的な場所に向かって動き、
    そうでない場合には、前記仮想ポインタを或る動き量だけ前記次の物理的な場所に向かって動かす方法。
  2. 前記動き量は、５ピクセル未満である
    請求項１記載の方法。
  3. 前記動き量は、１ピクセル未満である
    請求項１記載の方法。
  4. 前記ポインティングデバイスは、前記仮想ポインタを表示するように構成されるプロジェクタサブシステムを含む
    請求項１記載の方法。
  5. 前記ポインティングデバイスは、前記姿勢を判定するための姿勢サブシステムを含む
    請求項４記載の方法。
  6. 前記ポインティングデバイスは、直接ポインティングデバイスである
    請求項１記載の方法。
  7. 前記ポインティングデバイスは、前記ディスプレイ表面上に補正されていない出力画像を表示するように構成されるプロジェクタサブシステムを含み、前記出力画像は安定化した領域を含み、前記仮想ポインタは前記安定化した領域内に表示される
    請求項１記載の方法。
  8. 前記仮想ポインタは、前記ポインティングデバイスの動きに実質的に追従する
    請求項７記載の方法。
  9. 前記ディスプレイ表面上に出力画像を表示すること、
    及び
    前記出力画像の選択された領域を拡大することをさらに含む
    請求項１記載の方法。
  10. 前記仮想ポインタが動くのに応じて、前記選択された領域は前記仮想ポインタを中心にして配置される
    請求項９記載の方法。
  11. 前記仮想ポインタを中心にして配置されるポインタスタビライザを表示することをさらに含む
    請求項１記載の方法。
  12. 拡大の倍率は、前記ポインティングデバイスの光学軸を中心にして前記ポインティングデバイスを回転させることによって制御される
    請求項９記載の方法。
  13. 時計回りの回転は前記拡大の倍率を上げ、反時計回りの回転は前記拡大の倍率を下げる
    請求項１２記載の方法。
  14. 拡大の増加率が制御される
    請求項９記載の方法。
  15. 前記ポインティングデバイスは、レーザポインタである
    請求項１記載の方法。
  16. 前記ポインティングデバイスは、スタイラスである
    請求項１記載の方法。
  17. 前記物理的な場所は３次元の場所であり、前記仮想ポインタは３次元仮想ポインタである
    請求項１記載の方法。
JP2006223269A 2005-08-18 2006-08-18 ディスプレイ表面上にポインティングデバイスによって表示されるポインタの場所を制御するための方法 Expired - Fee Related JP5014706B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/207,129 US7486274B2 (en) 2005-08-18 2005-08-18 Method for stabilizing and precisely locating pointers generated by handheld direct pointing devices
US11/207,129 2005-08-18

Publications (2)

Publication Number Publication Date
JP2007052793A JP2007052793A (ja) 2007-03-01
JP5014706B2 true JP5014706B2 (ja) 2012-08-29

Family

ID=37766937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006223269A Expired - Fee Related JP5014706B2 (ja) 2005-08-18 2006-08-18 ディスプレイ表面上にポインティングデバイスによって表示されるポインタの場所を制御するための方法

Country Status (2)

Country Link
US (1) US7486274B2 (ja)
JP (1) JP5014706B2 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1936477A4 (en) * 2005-09-27 2010-11-17 Tamura Seisakusho Kk POSITION INFORMATION DETECTING DEVICE, POSITION INFORMATION DETECTING METHOD, AND POSITION INFORMATION DETECTING PROGRAM
US20110111849A1 (en) * 2005-12-06 2011-05-12 Microvision, Inc. Spatially Aware Mobile Projection
US20090046140A1 (en) * 2005-12-06 2009-02-19 Microvision, Inc. Mobile Virtual Reality Projector
US8250486B2 (en) * 2006-01-19 2012-08-21 International Business Machines Corporation Computer controlled user interactive display interface for accessing graphic tools with a minimum of display pointer movement
KR101261550B1 (ko) * 2006-02-01 2013-05-06 삼성전자주식회사 가상 영역을 이용한 포인팅 장치, 포인터 디스플레이 장치,포인팅 방법 및 포인터 디스플레이 방법
US7717569B2 (en) * 2006-04-13 2010-05-18 Nokia Corporation Projector screen with one or more markers
US20080040665A1 (en) * 2006-07-06 2008-02-14 Carsten Waldeck Method and system for displaying, locating and browsing data files
EP1883020B1 (en) * 2006-07-28 2013-05-22 Dassault Systèmes Method and system for navigating in a database of a computer system
US8578292B2 (en) * 2006-12-14 2013-11-05 Microsoft Corporation Simultaneous document zoom and centering adjustment
US20080256484A1 (en) * 2007-04-12 2008-10-16 Microsoft Corporation Techniques for aligning and positioning objects
US8144123B2 (en) * 2007-08-14 2012-03-27 Fuji Xerox Co., Ltd. Dynamically controlling a cursor on a screen when using a video camera as a pointing device
US8054332B2 (en) * 2007-09-19 2011-11-08 Fuji Xerox Co., Ltd. Advanced input controller for multimedia processing
US8020997B2 (en) * 2007-10-09 2011-09-20 Hewlett-Packard Development Company, L.P. Defining a bounding box for projected images
KR101416235B1 (ko) * 2008-02-12 2014-07-07 삼성전자주식회사 3차원 위치 입력 방법 및 장치
DE102008017846A1 (de) * 2008-04-08 2009-10-29 Siemens Aktiengesellschaft Verfahren und Benutzerschnittstelle für die grafische Darstellung von medizinischen Daten
US8955984B2 (en) * 2008-06-17 2015-02-17 The Invention Science Fund I, Llc Projection associated methods and systems
US8602564B2 (en) * 2008-06-17 2013-12-10 The Invention Science Fund I, Llc Methods and systems for projecting in response to position
US20090309826A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US20090310103A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for receiving information associated with the coordinated use of two or more user responsive projectors
US20090309828A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for transmitting instructions associated with user parameter responsive projection
US20100066689A1 (en) * 2008-06-17 2010-03-18 Jung Edward K Y Devices related to projection input surfaces
US8733952B2 (en) * 2008-06-17 2014-05-27 The Invention Science Fund I, Llc Methods and systems for coordinated use of two or more user responsive projectors
US20090313152A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems associated with projection billing
US20090313150A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods associated with projection billing
US20090310098A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for projecting in response to conformation
US8944608B2 (en) * 2008-06-17 2015-02-03 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US20090310039A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for user parameter responsive projection
US8936367B2 (en) * 2008-06-17 2015-01-20 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US20110176119A1 (en) * 2008-06-17 2011-07-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for projecting in response to conformation
US20090313151A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods associated with projection system billing
JP4962741B2 (ja) * 2008-09-29 2012-06-27 株式会社エクォス・リサーチ 端末装置
US8147071B2 (en) * 2009-04-29 2012-04-03 Nokia Corporation Processor for an apparatus, an apparatus and associated methods
DE102009023018A1 (de) * 2009-05-28 2010-12-02 T-Mobile International Ag Projektor
US8388151B2 (en) * 2009-07-23 2013-03-05 Kenneth J. Huebner Object aware, transformable projection system
WO2011018725A1 (en) * 2009-08-10 2011-02-17 Koninklijke Philips Electronics N.V. System and method for moving a cursor on a screen
US8398246B2 (en) * 2010-03-03 2013-03-19 Lenovo (Singapore) Pte. Ltd. Real-time projection management
US8376586B2 (en) * 2010-03-26 2013-02-19 Robert J. Abbatiello Low-divergence light pointer apparatus for use through and against transparent surfaces
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
JP5728866B2 (ja) * 2010-09-24 2015-06-03 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法およびコンピュータプログラム
US20120113329A1 (en) * 2010-11-09 2012-05-10 Cheng Uei Precision Industry Co., Ltd. Laser projector
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
JP5026604B2 (ja) 2011-02-24 2012-09-12 任天堂株式会社 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法
JP2011134343A (ja) 2011-02-24 2011-07-07 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP4967065B2 (ja) * 2011-02-24 2012-07-04 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP4989768B2 (ja) 2011-02-24 2012-08-01 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5178860B2 (ja) 2011-02-24 2013-04-10 任天堂株式会社 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法
JP5016723B2 (ja) 2011-02-24 2012-09-05 任天堂株式会社 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法
JP2014518465A (ja) 2011-06-03 2014-07-28 トムソン ライセンシング レーザー・プロジェクターにおける可変およびぎざぎざ付きのスキャン
BR112013030565A2 (pt) 2011-06-03 2021-05-11 Thomson Licensing digitalização variável e intercalada em projetores a laser
US9033516B2 (en) 2011-09-27 2015-05-19 Qualcomm Incorporated Determining motion of projection device
JP5768639B2 (ja) * 2011-09-30 2015-08-26 カシオ計算機株式会社 ポインタ制御装置、プロジェクタ及びプログラム
JP5427222B2 (ja) * 2011-10-27 2014-02-26 Ｗｉｔ株式会社 外観検査装置
KR101984504B1 (ko) 2012-02-29 2019-09-03 삼성전자주식회사 정밀한 3차원 위치 및 방향을 추정하는 시스템 및 방법
US20130249811A1 (en) * 2012-03-23 2013-09-26 Microsoft Corporation Controlling a device with visible light
US10341627B2 (en) * 2012-06-28 2019-07-02 Intermec Ip Corp. Single-handed floating display with selectable content
US8922486B2 (en) 2012-07-24 2014-12-30 Christie Digital Systems Usa, Inc. Method, system and apparatus for determining locations in a projected image
USD772239S1 (en) * 2013-01-04 2016-11-22 Samsung Electronics Co., Ltd. Portable electronic device with graphical user interface
JP2014219938A (ja) * 2013-05-10 2014-11-20 株式会社ゲッシュ 入力支援装置、入力支援方法、および、プログラム
JP6372487B2 (ja) * 2013-06-26 2018-08-15 ソニー株式会社 情報処理装置、制御方法、プログラム、および記憶媒体
TWI528253B (zh) 2013-07-03 2016-04-01 原相科技股份有限公司 觸控面板的物件定位方法
CN104281339B (zh) * 2013-07-11 2018-04-10 原相科技股份有限公司 触控面板的目标定位方法
US10191713B2 (en) * 2014-03-24 2019-01-29 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device
US20150319414A1 (en) * 2014-05-05 2015-11-05 Symbol Technologies, Inc. Method for controlling an alternative user interface in a device
JP2014241161A (ja) * 2014-08-28 2014-12-25 セイコーエプソン株式会社 入力装置およびデータ処理システム
USD795956S1 (en) * 2015-08-31 2017-08-29 S-Printing Solution Co., Ltd. Transfer film
KR102401641B1 (ko) * 2016-01-08 2022-05-25 엘지전자 주식회사 모바일 디바이스 및 모바일 디바이스의 제어방법
CN106657951A (zh) * 2016-10-20 2017-05-10 北京小米移动软件有限公司 投影控制方法及装置、移动设备、投影仪
US11157152B2 (en) * 2018-11-05 2021-10-26 Sap Se Interaction mechanisms for pointer control
CN113587904B (zh) * 2021-07-29 2022-05-20 中国科学院西安光学精密机械研究所 一种融合机器视觉和激光参照点信息的目标位姿测量方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4764885A (en) * 1986-04-25 1988-08-16 International Business Machines Corporaton Minimum parallax stylus detection subsystem for a display device
US6175801B1 (en) * 1998-06-19 2001-01-16 Magelan Dts, Inc. Navigation system map panning directional indicator
JP2001056729A (ja) * 1999-08-18 2001-02-27 Nec Corp 部分拡大表示制御装置
US6897853B2 (en) * 2000-11-10 2005-05-24 Microsoft Corp. Highlevel active pen matrix
JP2002222043A (ja) * 2001-01-29 2002-08-09 Nissan Motor Co Ltd カーソル制御装置
CA2468904C (en) * 2001-12-21 2009-06-30 British Telecommunications Public Limited Company Device and method for calculating a location on a display
US7089507B2 (en) * 2002-08-12 2006-08-08 International Business Machines Corporation System and method for display views using a single stroke control
US6764185B1 (en) * 2003-08-07 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. Projector as an input and output device
WO2005109215A2 (en) * 2004-04-30 2005-11-17 Hillcrest Laboratories, Inc. Methods and devices for removing unintentional movement in free space pointing devices
US20060227107A1 (en) * 2005-03-29 2006-10-12 Ko-Liang Ho Laser pointer with a cursor function

Also Published As

Publication number Publication date
JP2007052793A (ja) 2007-03-01
US20070040800A1 (en) 2007-02-22
US7486274B2 (en) 2009-02-03

Similar Documents

Publication Publication Date Title
JP5014706B2 (ja) ディスプレイ表面上にポインティングデバイスによって表示されるポインタの場所を制御するための方法
US20220100350A1 (en) Panning in a three dimensional environment on a mobile device
US7707516B2 (en) Embedded navigation interface
CN106803884B (zh) 图像处理装置
US9936168B2 (en) System and methods for controlling a surveying device
US9703288B1 (en) System and method for aerial system control
US20100171691A1 (en) Viewing images with tilt control on a hand-held device
TWI493388B (zh) 用於行動裝置的全三維互動的設備與方法、行動裝置及非暫時性電腦可讀取儲存媒體
KR20040007571A (ko) 디스플레이 장치에서의 정보 브라우징 방법 및 장치
US20150040073A1 (en) Zoom, Rotate, and Translate or Pan In A Single Gesture
CN115798384A (zh) 增强显示旋转
CN108604123B (zh) 虚拟现实中的位置仪
US20160334884A1 (en) Remote Sensitivity Adjustment in an Interactive Display System
JP2010092086A (ja) ユーザ入力装置、デジタルカメラ、入力制御方法、および入力制御プログラム
JP4493730B2 (ja) ３次元物体表示制御装置及びその方法
KR101794679B1 (ko) 3차원 객체 제어방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR20060027180A (ko) 휴대 단말기의 3차원 공간에서의 움직임을 영상 정보에반영하는 방법 및 휴대 단말기
CN113010005A (zh) 用于设置虚拟对象在空间中的位置的方法和电子设备
JP2024001476A (ja) 画像処理システム、画像処理方法、及びプログラム
CN115359229A (zh) 三维视图的控制方法、系统、设备、存储介质及云平台
Löchtefeld et al. Distributed Dynamic Peephole Interfaces for Mobile Map Navigation on Projector Phones

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5014706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees