JP4294093B2 - コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイス - Google Patents
コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイス Download PDFInfo
- Publication number
- JP4294093B2 JP4294093B2 JP50184598A JP50184598A JP4294093B2 JP 4294093 B2 JP4294093 B2 JP 4294093B2 JP 50184598 A JP50184598 A JP 50184598A JP 50184598 A JP50184598 A JP 50184598A JP 4294093 B2 JP4294093 B2 JP 4294093B2
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- graphic user
- camera
- field
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C17/00—Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
- G01C17/34—Sun- or astro-compasses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
- Y10S715/972—Inserted real-time video in operator interface
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Astronomy & Astrophysics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
分野
本発見および本発明は、一般にコンピュータシステムのグラフィック・ユーザ・インターフェイスに関し、特に、ときとしておよび本明細書において“Augmented RealityTM”コンピュータ・ビジョン・システムとして知られるコンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスに関する。本発明のグラフィック・ユーザ・インターフェイスは、高度に専門化されたコンピュータ・ビジョン・システムに関連する相互作用、応答性および機能において非常な新規性を見いだすものである。
コンピュータ・ビジョン・システムの明快で完全な説明は、出願番号08/119,360の米国特許係属出願に開示されている。さらに、特にコンピュータ・ビジョン・システムに関連するグラフィック・ユーザ・インターフェイスのいくつかの基本的および予備の説明は、出願番号08/307,360の米国特許係属出願の開示に見られる。さらに、グラフィック・ユーザ・インターフェイスに関連する他の概念および観念は、出願番号08/411,299の米国特許係属出願の開示において提示されている。これら3つの米国特許係属出願はそれぞれ、本発明に関連しているため、かなり有益な情報を含んでいると考えられる。したがって、これらの文書はそれぞれ、本発明に参照として組み込まれる。
米国特許法第120条における規定との合意において、この出願は一部継続出願である。1993年9月10日に出願された08/119,360から継続する、1995年3月27日に出願された08/411,299から継続し、両方ともその日付以後係属のままである。
従来技術
グラフィック・ユーザ・インターフェイスは、コンピュータが生成するグラフィックデバイスであり、これはコンピュータのユーザがコンピュータシステムに特定の挙動を起こさせるよう対話または命令するために用いられる。一般に認識されているグラフィック・ユーザ・インターフェイスは、「メニュー」として多くのコンピュータユーザに周知である。メニューの一例として、単一リストボックスに提示されるオプション選択のリストが挙げられる。ユーザは、ポインティング装置を介してカーソルでオプションを指し示すことによってオプションを選択できる。ポインティング装置としては、マウス、トラックボール、スクロールキー及び別の触覚を有する手段を挙げることができる。カーソルで選択するものを指し示したままの状態で、実行キーを押すか、またはマウスボタンを「クリック」することにより、選択したオプションに関連する機能を実行するようコンピュータに命令する。
様々なタイプのメニューが異なる方法でユーザと対話するよう構成されている。コンピュータで実行するアプリケーションに応じて、メニューの一タイプがときには他のタイプよりもよい機能を提供する場合もある。ここでは、2つの一般的なタイプを説明して、どのようにグラフィック・ユーザ・インターフェイスが特定のアプリケーションと優先的に対話するのかを説明する。
「ポップアップ」タイプおよび「ドロップダウン」タイプのメニューはそれぞれ異なるように動作し、コンピュータが実行しているアプリケーションに関して、特定の協調性をそれぞれ有している。
「ポップアップ」タイプのメニューは、コンピュータプログラムの特定のイベントにより起動される。それは、一般に正常なプログラムアクティビティを妨げる。たとえば、コンピュータエラーが発生した場合、「ポップアップ」メニューが表示画面の中央に現れ、ユーザに「継続」または「再開」のオプションを提供する。
比較すると、「ドロップダウン」メニューは一般に、ユーザの要求によって起動する。たとえば、「ツールバー」のアイコンは、共通の特徴に関連する一群のタスクを示す。アイコン上にカーソルを持ってくることによって、メニューボックスがアイコンから下方に表示される。メニューはユーザが選択可能な実行できるコマンドオプションのリストを有している。したがって「ポップアップ」タイプのメニューは、「ポップアップ」メニューを起動する内部のまたは自動のメカニズムとより協調し、「ドロップダウン」メニューはユーザが起動する機能により適している。これらは、コンピュータ・グラフィック・ユーザ・インターフェイス・デザインの分野で周知である多くの特徴のうちのわずかである。コンピュータが実行しているアプリケーションは、ときに特定のタイプのグラフィック・ユーザ・インターフェイスを示唆する。高度な特徴を有する、非常にエレガントに設計された「ドロップダウン」メニューは、洗練された描画プログラムとともに使用される。これを十分に示す例は、CorelDRAW!TMという描画ソフトウェアパッケージに用いられるメニューである。高度な描画ソフトウェアパッケージを使用した経験のある者は、アプリケーションの使いやすさおよび効率を、メニュー構成がいかに高めているかを理解するであろう。
簡易パーソナルコンピュータのディスプレイとコンピュータ・ビジョン・システムのディスプレイとの間には、基本的な違いが多く存在する。コンピュータ・ビジョン・システムは、リアルタイムで実際のシーンの補強イメージを公式化するため、電子カメラおよびコンピュータ・グラフィクス・ジェネレータを採用する。コンピュータ・ビジョン・システムのディスプレイに提示される合成イメージは、コンピュータが生成したグラフィクスを用いて修正または補強された光学的に得られたイメージを含む。コンピュータが生成したグラフィクスは、アドレス指定されるシーンで検出された(またはそうでなければ、コンピュータにより「知られて」いる)オブジェクトに関連している。特に、いくつかのオブジェクトはそれらの周知の配置によって認識される。オブジェクトは、「実在の」またはオブジェクトの光学的に得られたイメージによりグラフィックにシミュレートされ、またその上に重ね合わせられる。ユーザにとって、様々な機能を実行するようコンピュータ・ビジョン・システムに命令できることが望ましい。標準メニューまたは他のグラフィック・ユーザ・インターフェイスは、コンピュータ・ビジョン・システムに用いられて、ユーザ・インターフェイス機能を提供できる。しかし、コンピュータ・ビジョン・システムは一般のコンピュータシステムとはかなり異なって機能するため、コンピュータ・ビジョン・システムに最も有用であろうメニューは完全にわからない。
一般のコンピュータシステムには見られない、コンピュータ・ビジョン・システムに関係する特定の機能および特徴は、グラフィック・ユーザ・インターフェイスがそれらの専門化されたシステムに特定の機能および特徴と協調するよう独自に構成することを思い浮かばせる。本発明は、ここで、特にコンピュータ・ビジョン・システムに適用でき、非常に有益で価値のある、グラフィック・ユーザ・インターフェイスのいくつかの構成を発見した。これらの新しいグラフィック・ユーザ・インターフェイスは、これを採用するコンピュータ・ビジョン・システムのユーザに提供する利益を考慮すると、驚くべき成果をもたらす。グラフィック・ユーザ・インターフェイスは操作を容易にし、機能性を高め、イメージの解釈を改善し、シーンの理解度を向上させる。これらのグラフィック・ユーザ・インターフェイスは、従来システムでは使用されないおよびできない方法で動作する。
発明の概要
グラフィック・ユーザ・インターフェイス・システムは、コンピュータ・ビジョン・システムに特定の特徴および機能と対話するために考案されてきた。補強イメージを有するコンピュータ・ビジョン・システムは、景色の中に実在する対象物を認識するために現れるよう構成されたグラフィック・ユーザ・インターフェイスを有する。グラフィック・ユーザ・インターフェイスは、コンピュータ・ビジョン・システムのポインティング方向を認識するよう構成されてもよい。グラフィック・ユーザ・インターフェイスは、コンピュータ・ビジョン・システムが決定する位置および/または姿勢に応答することもできる。グラフィック・ユーザ・インターフェイスは、カメラの照準インジケータに対応するカーソルに応答することもできる。コンピュータ・ビジョン・システムに特定のグラフィック・ユーザ・インターフェイスの多くの構成が存在する。これらは以下のセクションで詳細に提示される。コンピュータ・ビジョン・システムがグラフィック・ユーザ・インターフェイス・デバイスを含む場合、システムの要素に関するグラフィック・ユーザ・インターフェイスの対話性は、いくつかの驚くべき成果をもたらす。本発明は、どのようにグラフィック・ユーザ・インターフェイスがコンピュータ・ビジョン・システムおよびその要素と対話するよう構成されるかに関する。
簡易コンピュータとの比較
簡易コンピュータとコンピュータ・ビジョン・システムの基本的な違いは、コンピュータ・ビジョン・システムでの表示されたイメージが実在する特定の景色に直接対応することである。イメージはリアルタイムでシーンに整列する。コンピュータ・ビジョン・システムは、カメラ軸がシーンの方を指しているため、シーンに向けられる。コンピュータ・ビジョン・システムはシーンといつでも結びついており、位置および姿勢は容易に測定できるため、コンピュータに「知られて」いる。結果として、表示されたイメージはコンピュータ・ビジョン・システムおよびユーザ位置の視点に対応する特定の遠近感を伴って提示される。簡易コンピュータで表示されたイメージは、一般に周囲の環境とは結びつかず、またいかなるシーンにも整列しない。
コンピュータ・ビジョン・システムのポインティング方向をインターフェイスポインタとして使用することの他に、グラフィック・ユーザ・インターフェイスは、照準がポインタとして動作していないときにコンピュータ・ビジョン・システムのポインティング方向に応答するよう構成される。グラフィック・ユーザ・インターフェイスは絶対的なポインティング方向に応答することもできる。
コンピュータ・ビジョン・システムの「ポインティング方向」は、よく理解すべきである重要な特徴である。ポインティング方向は、様々なグラフィック・ユーザ・インターフェイスとかなりの対話性を有している。ポインティング方向はときにインターフェイス・ポインティング・カーソルとして機能するだけでなく、絶対的なポインティング方向は特定のグラフィック・ユーザ・インターフェイスの挙動(behavior)に影響する。
本発明のグラフィック・ユーザ・インターフェイスは、新しいタイプのカーソルすなわち「ポインタ」に応答するようにすることもできる。「ポイント・アンド・クリック」および「ドラッグ・アンド・ドロップ」として知られる操作は、これまでは「マウス」、「トラックボール」、あるいは「パワーポイント」として知られるコンピュータ周辺ポインタで行われていた。これらの各装置により、ユーザはアイコンまたは「ポインタ」を指し示してディスプレイフィールドを横切ることができる。表示されたイメージにおいて何か興味のあるもの、たとえばオブジェクト、イメージまたは別のアイコンと一緒に置かれたとき、コンピュータプログラムが特定の挙動を開始することができる。コンピュータ・ビジョン・システムのポインタは、触覚刺激に応答して動く従来のポインタを含むこともでき、またはビジョンシステムの照準に対応するよう構成することもできる。コンピュータ・ビジョン・システムをいかなる方向にでも指し示することによって、ユーザが表示されたイメージの部分と共に照準を整列させる。コンピュータ・ビジョン・システムを興味あるオブジェクトに指し示すことにより、ユーザはコンピュータへの命令を示すこともできる。ビジョンシステム照準をポインタとして用いることは、完全に新しい概念であると考えられる。
たとえば、ドロップダウンメニューはシーン中のあるオブジェクトと関係づけられる、または「付け」られる。グラフィック・ユーザ・インターフェイスの位置はいつでもそのオブジェクトの明らかな位置に対応するようにさせられる。ビジョンシステムのポインティング方向が水平線を横切ってパンされるとき、シーン中のオブジェクトはディスプレイ上に現れて、横に動く。特定のオブジェクトに関連するメニューは、オブジェクトの横方向の動きを追うよう現せられることもでき、それによってグラフィック・ユーザ・インターフェイスが結びつくオブジェクトについていくことができる。オブジェクトがビジョンシステムの視界から消えた場合でさえ、ドロップダウンメニューも同様に消えることができる。再びオブジェクトがシステムによって獲得される(再び視界に入る)と、ドロップダウンメニューも獲得可能になる。この例は、グラフィック・ユーザ・インターフェイスがリアルタイムでコンピュータ・ビジョン・システムのポインティング方向と対話できること、すなわち、ポインティング方向が調節された場合、グラフィック・ユーザ・インターフェイスはその調整に応答することを示す。
さらに、コンピュータ・ビジョン・システムの絶対的な位置は特定のグラフィック・ユーザ・インターフェイスの挙動を指示する。コンピュータ・ビジョン・システムがパリにある場合、グラフィック・ユーザ・インターフェイスは自動的にフランス語で提示される。同様に、コンピュータ・ビジョン・システムがニューヨークにあると判断された場合、グラフィック・ユーザ・インターフェイスは自動的に英語で提示される。コンピュータ・ビジョン・システムの位置および姿勢の両方の組み合わせがグラフィック・ユーザ・インターフェイスの挙動に影響することもかなり可能である。さらに、ディスプレイフィールド周辺が、グラフィック・ユーザ・インターフェイス上で動作可能となるように作動させることも可能である。コンピュータ・ビジョン・システムに特定の特徴および機能は、有用性を向上させ、コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスの構成を示唆するために利用することができる。上記の例は、どのようにポインティング方向がグラフィック・ユーザ・インターフェイスに影響するかを示し、位置、位置と姿勢、拡大に向けられた例がここに手短に記述される。いくつかの具体例が続く。
位置
簡単な例により、グラフィック・ユーザ・インターフェイスのコンテンツおよびグラフィック・ユーザ・インターフェイスの挙動を、位置が単独でどのように指示するかを示す。グラフィック・ユーザ・インターフェイスは任意の形状のアイコンでもよいため、州の境界線の形状の小さな地図を、アドレス指定されるシーンのイメージとともに表示することが可能である。コンピュータ・ビジョン・システムが州から州へ移動するとき、地図は現在いる州に対応する形に変化できる。ユーザがミズーリ州のカンザスシティからカンザス州のカンザスシティへの境界を渡る際、ミズーリ州の形のアイコンは、カンザス州の形のアイコンになる。
位置および姿勢
ある状況下では、コンピュータ・ビジョン・システムの位置および姿勢の両方が、グラフィック・ユーザ・インターフェイスの特別版を作成するために使用される。シーンが、特定のオブジェクトたとえばビルボードを含む場合、ビルボードは、ビルボードが見えるすべての位置に関して異なる遠近で現れる。グラフィック・ユーザ・インターフェイスがビルボードと同じ遠近で現れることが望ましい。これを達成するために、コンピュータ・ビジョン・システムの位置および姿勢を決定することにより、コンピュータがビルボードを見ることができる、またはシステムがアドレス指定するあらゆる場所に関連する適切な遠近を計算できるようになる。グラフィック・ユーザ・インターフェイスはビルボードの遠近と同じ遠近で表示される。したがってコンピュータ・ビジョン・システムの位置および姿勢の両方は、本発明のグラフィック・ユーザ・インターフェイスの構成に影響する。
拡大
コンピュータ・ビジョン・システムは、非常に洗練されたズーム機能を有する。コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスはシステムのズームの的を操作する手助けとなる。グラフィック・ユーザ・インターフェイスはディスプレイフィールドが補強されていないイメージを含む一方で、コンテンツがアドレス指定されるシーンの補強イメージを含むよう、構成することもできる。
イメージ信号から
カメラによって生成される電子イメージ信号は特定の特徴を検出することが、コンピュータによって証明された。検出された特徴を理解しそれと対話するのを助けるため、この情報からグラフィック・ユーザ・インターフェイスが生成される。
本発明を完全に理解するためには、実際のシーンの補強イメージを生成するタイプのコンピュータ・ビジョン・システムを完全に理解すべきである。この文書中においてそれらシステムの完全な開示が行われ、参照され、および組み込まれてきた。手短な見直しが続くが、ここでのかなりの要素はそれらの提示において長きにわたって定義されているため、参照を完全に理解せずには本開示を完全に理解することは期待できない。したがって、組み込まれている文書の見直しをすることが強く推薦される。
コンピュータ・ビジョン・システムの概念の手短な見直し
コンピュータ・ビジョン・システムは、カメラ、コンピュータ、ディスプレイ、ならびに位置ならびに姿勢決定手段を含んでもよい。システムはシーンをアドレス指定し、その補強イメージをディスプレイに生成する。補強イメージは、2つのソースからのイメージ情報を含む。第一のイメージソースは、光学的にシーンのイメージを得て、電子イメージ信号を生成するカメラである。第二のソースは、コンピュータが生成したイメージソースである。位置ならびに姿勢測定から、コンピュータはシーンおよびその中のオブジェクトを認識する。コンピュータは、メモリから認識したオブジェクトに関連するモデルを呼び出し、リアルタイムでコンピュータ・ビジョン・システムの視点から、シーンの真の遠近に照合する遠近を有するコンピュータ生成イメージを組み立てる。光学的に得たイメージは、コンピュータが生成したイメージと組み合わされ、合成または「補強」イメージを形成する。補強イメージはアドレス指定されるシーンが並ぶディスプレイフィールドを有するディスプレイ上で、ユーザに提示される。ユーザは、コンピュータ・ビジョン・システムのディスプレイ上でユーザが見る「ウィンドウ」として現される「現実」の世界を見る。「ウィンドウ」は実際の大きさでおよび適切な遠近で現され、「現実」の世界についてのイメージ情報を含むため、ユーザは多大な恩恵を受ける。コンピュータが最終イメージの部分を生成するため、この情報は、さらに裸眼または電子カメラでは容易に見えないオブジェクトを含むこともできる。
発明の目的
本発明の主要な目的は、コンピュータシステムにグラフィック・インターフェイスを提供することである。
さらなる目的は、コンピュータ・ビジョン・システムにグラフィック・ユーザ・インターフェイスを提供することである。
さらなる目的は、新しいグラフィック・ユーザ・インターフェイスを提供することである。
本発明の目的は、グラフィック・ユーザ・インターフェイスに新しい機能を提供することである。
目的は、補強イメージ中のオブジェクトおよび特徴に応答するグラフィック・ユーザ・インターフェイスを提供することである。
目的は、コンピュータ・ビジョン・システムの機能、特徴およびプロパティに応答するグラフィック・ユーザ・インターフェイスを提供することである。
目的は、コンピュータ・ビジョン・システムの位置または姿勢、あるいは両方に応答するグラフィック・ユーザ・インターフェイスを提供することである。
これらの目的にしたがって、予期する最高の形態を含む特定の好ましい例が、以下に図面を参照する明快な説明とともに詳細に提供される。
【図面の簡単な説明】
図1は、各種タイプのオブジェクトをその内部に有するコンピュータ・ビジョン・システムによってアドレス指定可能な都市景観シーンの図である。
図2は、それぞれがコンピュータ・ビジョン・システムによって別個にアドレス指定可能な、図1のシーン内の対象の3フィールドである。
図3は、照準指標をその内部に有するコンピュータ・ビジョン・システムに対して現れるイメージである。
図4は、グラフィック・ユーザ・インターフェイスをその内部に有するコンピュータ・ビジョン・システムの合成イメージを示す。
図5は、図4と同様の、ただし都市景観シーンの異なる部分からのイメージを示す。
図6は、イメージ信号の分析から検出されるオブジェクトに関連するグラフィック・ユーザ・インターフェイスを図示する。
図7は、コンピュータ・ビジョン・システムからのイメージであって、これと関連づけられるグラフィック・ユーザ・インターフェイスを有する移動オブジェクトを示す。
図8は、イメージポイントにすでにロックされている照準指標とグラフィック・ユーザ・インターフェイスの間の関係を図示する。
図9は、インターフェイスが画面の端から出て現れるコンピュータ・ビジョン・システムのイメージフィールドにおいて、2つのグラフィック・ユーザ・インターフェイスがどのように見えるかを示す。
図10〜図12は、グラフィック・ユーザ・インターフェイスおよびイメージフィールド内でこれを位置決めする体系を図示する。
図13〜図14は、イメージフィールド内でグラフィック・ユーザ・インターフェイスを位置決めする別の体系に関連するイメージを含む。
図15は、グラフィック・ユーザ・インターフェイスを有するイメージであって、その位置がシーンに関連しているため、ユーザの位置に応答する。
図16は、コンピュータ・ビジョン・システム、シーンに関するグラフィック・ユーザ・インターフェイスのわかりやすい場所、さらにコンパスと関係するシーンの幾何学形を示す。
図17は、同様に、ポインティング方向における変位の幾何学形および結果を示す。
図18は、同様に、グラフィック・ユーザ・インターフェイスに関する大変位およびその結果を示す。
図19は、動的に位置決めされたグラフィック・ユーザ・インターフェイスに関連する幾何学形を示す。
図20は、画像処理されているシーンの幾何学構造を含む幾何学形、すなわち平面と、表示されてその平面上に現れるグラフィック・ユーザ・インターフェイスを示す。
図21は、グラフィック・ユーザ・インターフェイスがイメージの観察者に垂直に向かい合うように現れる特定の視点からのオブジェクトのイメージである。
図22は、グラフィック・ユーザ・インターフェイスがその第2視点からのシーンの観察者に垂直に向かい合うように現れる、異なるかつ直交する視点からの図21のオブジェクトの第2イメージである。
図23は、業務サービスを促進するパブリシティサインのイメージであり、前記サインは、そこからアドレス指定されている場所に特定の遠近感である。
図24は、ユーザの視点から見られるようにサインの遠近感と合致する遠近感において、グラフィック・ユーザ・インターフェイスをすでにイメージに追加したサインの第2イメージである。
図25は、第2グラフィック・ユーザ・インターフェイスが第1グラフィック・ユーザ・インターフェイスのサブフィールドとして提示されるサインの第3イメージである。
図26は、同様に、第2グラフィック・ユーザ・インターフェイスが第1グラフィック・ユーザ・インターフェイスのサブフィールドとして提示されるサインのイメージである。
図27は、グラフィック・ユーザ・インターフェイスとアドレス指定されているシーンとの間の空間的広がりにしたがって、ディスプレイフィールドに位置決めされる指標によって支援されるグラフィック・ユーザ・インターフェイスを有するイメージを示す。
図28は、同様に、グラフィック・ユーザ・インターフェイスの部分との空間的関係にもとづいて、イメージ内に指標を位置決めするグラフィック・ユーザ・インターフェイスを有するイメージを示す。
図29は、グラフィック・ユーザ・インターフェイスにおいて指標を用いて、コンピュータ・ビジョン・システムの物理的特性に関連づけた空間的情報を視覚形式に変換する体系を図示する。
図30は、グラフィック・ユーザ・インターフェイスに関連づけた拡大メカニズムを実証する。
図31は、ズームしたグラフィック・ユーザ・インターフェイスに関連づけた「ドロップ・アンド・ドラッグ」操作を示す。
図32は、グラフィック・ユーザ・インターフェイスのコンテンツが、アドレス指定されているシーンの一部の拡大イメージを含むグラフィック・ユーザ・インターフェイスを含むシーンのイメージである。
図33〜図36は、ディスプレイフィールドの限界(extremity)に応答する特殊化されたグラフィック・ユーザ・インターフェイスの一組の4枚イメージを含む。
図37は、ユーザの位置に対するその位置に関して他のグラフィック・ユーザ・インターフェイスのカタログ作成を行うグラフィック・ユーザ・インターフェイスを示す。
図38は、位置および遠近感に関して他のグラフィック・ユーザ・インターフェイスのカタログ作成を行う同様のグラフィック・ユーザ・インターフェイスを示す。
図39は、ある特定のグラフィック・ユーザ・インターフェイスの位置をさらに詳細に説明するためにマップを組み合わせた同様のグラフィック・ユーザ・インターフェイスを示す。
図40は、「周知の」オブジェクトに関するグラフィック・ユーザ・インターフェイスの位置がそこで使用される書体の濃淡に作用する体系を示す。
図41は、本発明の装置のブロック図である。
図42〜図44は、サイズまたは透明度において、ポインティング方向とグラフィック・ユーザ・インターフェイスの中心との間のズレに比例して応答するグラフィック・ユーザ・インターフェイスを有するイメージである。
図45〜図47は、複雑性において、ポインティング方向に応答するグラフィック・ユーザ・インターフェイスを示す。
図48〜図54は、グラフィック・ユーザ・インターフェイス可能コンピュータ・ビジョン・システムとコンピュータを有する受信局との対話を図示する一連のイメージを示す。
特定重要語の定義
この文書を通して使用される特定の用語および言葉は、それらに関連する特別な意味を有する。本発明を完全に理解するために、これらの用語の意味をよく理解することは重要である。したがって、これらの用語をさらに定義する助けとなるように以下を提示する。説明は、意図する意味を明確にするのを助けるべきであり、いかなる用語をも限定する試みに用いられるものではない。言い換えれば、定義は全体的な理解を与えることを目的とし、用語の範囲を記載または限定するよう意図したものではない。真のおよび完全な各用語の範囲は、とりわけ当分野での一般的な使用、その要素への明白な代替、類似分野でのよく似た使用を含む様々な手段によって決定される。リストはアルファベット順であり、最初にリストされる用語には特別な重要性があるわけではない。
補強イメージ
「補強イメージ」とは、少なくとも光学的に得た部分と、コンピュータが生成した部分とを含む合成イメージである。光学的に得た部分は、一般に電子カメラが生成したイメージである。コンピュータが生成した部分は、一般に位置ならびに姿勢決定に従って生成されたイメージまたはイメージの構成部分である。「補強イメージ」はさらに、グラフィック・ユーザ・インターフェイス・デバイスを含むこともある。
コンピュータ生成イメージ
「コンピュータ生成イメージ」とは、コンピュータイメージプロセッサが形成するイメージまたはイメージの構成部分である。プロセッサはイメージが蓄積されたメモリと連絡する。さらに、プロセッサは、位置及び姿勢決定手段と連絡する。この位置及び姿勢決定手段は、コンピュータ・ビジョン・システムの位置および姿勢に基づいて、プロセッサにアドレス指定されるシーンに関連する様々なイメージを生成する。「コンピュータ生成イメージ」はグラフィック・ユーザ・インターフェイス・デバイスを含んでもよい。
ディスプレイフィールド
「ディスプレイフィールド」とは、コンピュータ・ビジョン・システムにおいてイメージが表示される平面を言う。「ディスプレイフィールド」はほぼ平面であり、一般に四角形である。
ドラッグ・アンド・ドロップ
「ドラッグ・アンド・ドロップ」操作は、カーソルがフィールド上を動いている間、スイッチがずっと押されている手順をいう。
フィールド領域
「フィールド領域」とは、任意の境界を有する二次元エリアである。
グラフィック・ユーザ・インターフェイス
「グラフィック・ユーザ・インターフェイス」は、デバイスである。通常、イメージ中にフィールド領域として存在する。コンピュータまたは他のユーザ・インターフェイスの命令を、情報のグラフィック表示を介して容易にするよう機能する。
直角をなす整列
「直角をなす整列」とは、「直角をなす整列」をしているオブジェクト間に直交性を備える幾何学的な構築をいう。
光学軸
「光学軸」とは、カメラを有するコンピュータ・ビジョン・システムのポインティング方向を規定する、回転軸またはレンズの照準である。
光学的に得たイメージ
「光学的に得たイメージ」とは、カメラが形成する電子イメージである。通常、CCDタイプのイメージ検出器が、アドレス指定されるシーンの電子イメージ信号を形成する。イメージを赤外線または別のスペクトルから作ることも可能である。さらに、「光学的に得たイメージ」には、イメージ装置の一般的な他のフォームの中でもとりわけ、センサ、レーダー、超音波からのイメージが含まれる。
ポイント・アンド・クリック
「ポイント・アンド・クリック」操作は、カーソルをフィールド領域に位置決めするときに、同時にスイッチを押す手順をいう。
ポインティング方向
本発明のコンピュータ・ビジョン・システムは「ポインティング方向」に関係づけられている。一般に、「ポインティング方向」は、カメラレンズの回転軸によって規定され、それと同一線形順序に並んでいる。レンズを有するコンピュータ・ビジョン・システムは、必ず回転軸を有する。カメラレンズを様々な方向に向けることにより、コンピュータ・ビジョン・システムの「ポインティング方向」は変化する。シーンをアドレス指定するためには、カメラ(レンズ軸)をシーン中央の方向に向ける。コンピュータ・ビジョン・システムをカメラなしで有することも可能である。この場合、「ポインティング方向」を任意の基準方向に規定しなければならない。
位置及び姿勢決定手段
「位置及び姿勢決定手段」は、コンピュータ・ビジョン・システムの位置および姿勢を測定もしくは決定する設備である。位置はポインティング方向の線上にあり、コンピュータ・ビジョン・システムディスプレイのイメージ平面内のポイントを基準として決定される。姿勢はコンピュータ・ビジョン・システムのポインティング方向を基準として決定される。
‘実在’オブジェクト
‘実在’オブジェクトとは、コンピュータ・ビジョン・システムがアドレス指定可能なシーン内のオブジェクトである。典型的に、‘実在’オブジェクトは、車または建物等である。‘実在’オブジェクトは、「メニュー」または他の「イメージオブジェクト」などの抽象的なシーンに存在するオブジェクトと区別される。
‘実在’シーン
‘実在’シーンとは、実在オブジェクトからなるシーンをいう。芸術家により描かれる、空間に存在するオブジェクトに対応しない仮想シーンとは区別される。
サブフィールド領域
「サブフィールド領域」とは、フィールド内のまたはフィールドに囲まれた、任意の境界を有する二次元エリアである。
好適な実施例の詳細な説明
本発明のグラフィックユーザーインターフェイスは、このグラフィックユーザインターフェースを採用するシステムのポインティング方向と相互に作用し合う。また、システムの配置と相互に作用し合う。また、アドレス指定されたイメージの遠近感と相互に作用し合う。移動オブジェクトを含む描かれたオブジェクトと相互に作用し合う。現実世界の特定の場所と相互に作用し合う。コンピュータ・ビジョン・システムの外部にある同報通信システムと相互に作用し合う。アドレス指定されたシーンに関連する抽象的な幾何学的構造物と相互に作用し合う。これらの事実から、当技術分野の通常のグラフィック・ユーザ・インターフェイスとここで教示されるグラフィック・ユーザ・インターフェイスとの間の主要な相違を見い出すことができる。簡単なグラフィック・ユーザ・インターフェイスは単に情報をユーザに伝達できるにすぎないが、より複雑なグラフィック・ユーザ・インターフェイスならユーザがコンピュータを操作することができる相互作用メカニズムを提供することができる。
本発明の簡単なコンピュータ・ビジョン・システム
コンピュータ・ビジョン・システムは、カメラ、コンピュータ、位置ならびに姿勢決定手段、およびディスプレイで構成することができる。カメラは光学軸を持つレンズを有していてもよい。光学軸は、カメラ、ひいてはコンピュータ・ビジョン・システムのポインティング方向を画定する。コンピュータ・ビジョン・システムの「姿勢」とはカメラのポインティング方向のことをいう。ディスプレイ(典型的にはフラットパネルタイプの放射ディスプレイ装置)は、一般的に四角形のほぼ平坦なイメージフィールド、または簡単に言うと、「ディスプレイフィールド」を有している。このディスプレイフィールドは、それ自身が存在する平面と直交する「通常の」方向と関連している。「通常の」とは、ここでは一般的な意味「普通の」に対して幾何学的な意味で使用している。ディスプレイの直角方向は、システムのポインティング方向と一般的に整列している。一般化する目的のために、「整列」という用語の使用は以下に詳細に明確化される。ディスプレイフィールドが光学軸と直交する場合、それは整列しているといわれる。場合によっては、ディスプレイの直角方向とカメラのポインティング方向との間に角度的なずれが生じることがある。それでもディスプレイはカメラのポインティング方向と「整列している」と言われるが、これはそこに表示されたイメージがポインティング方向の変化または変位に反応する場合に限られる。カメラがシーンの方向を向いているとき、そのシーンはシステムによって表されていると言われる。この構成において、アドレス指定されたシーンの補強したイメージをディスプレイフィールドに表示できる。視覚的に取り込まれたイメージは、コンピュータで生成されたイメージと合成して合成イメージに形成される。コンピュータで生成されたイメージには、システムの位置及び姿勢の測定に基づいて、適当な遠近感を与えることができる。ユーザは、シーンのイメージを見ながらコンピュータに命令するのが望ましい場合があるため、グラフィック・ユーザ・インターフェイスを提供するという本システムの目的が役立つ。
本発明の簡単なグラフィック・ユーザ・インターフェイス
一般的なパーソナルコンピュータのディスプレイスクリーンに表示されるグラフィック・ユーザ・インターフェイスと同様に、グラフィック・ユーザ・インターフェイスをコンピュータ・ビジョン・システムの合成イメージに重ね合わせることが可能である。
本発明のグラフィック・ユーザ・インターフェイスは、フィールド領域を含んでいる。このフィールド領域はディスプレイフィールドの小数部を占める。フィールド領域は周辺部で境界を区切られている。フィールド領域の境界線はディスプレイフィールドの境界線と一致していてもよい。グラフィック・ユーザ・インターフェイスは、グラフィックおよびイメージを含む情報を有する構成にすることができる。
したがって、本発明は、
光学軸を備えたカメラと、コンピュータと、位置及び姿勢決定手段と、前記光学軸に直角をなして整列されたディスプレイフィールドを有するディスプレイとを有するコンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスにおいて、
フィールド領域と、
周辺部と、
を含み、
前記フィールド領域が、該ディスプレイフィールドのエリアの一部であり、前記周辺部に包含され、シーンが前記コンピュータ・ビジョン・システムによってアドレス指定されている場合にイメージおよびグラフィック情報を表示するために動作可能なグラフィック・ユーザ・インターフェイス
を提供する。
周辺部
簡単なグラフィック・ユーザ・インターフェイスには、フィールド領域の周辺部を形成する四辺によって境界を区切られるものがある。フィールド領域内部の情報は典型的にはグラフィック・ユーザ・インターフェイスに属している。フィールド領域外部の情報は、グラフィック・ユーザ・インターフェイスの操作からほとんど独立して、より一般的なコンピュータアプリケーション(通常はビジョンシステム)に属する。グラフィック・ユーザ・インターフェイス内の情報には、特にテキスト、映像、制御ボタン、メーター、指標、「透明」フィールド、グラフィック、マップ、カラー、デスクトップオブジェクトが含まれる。コンピュータ・ビジョン・システムにおいて、グラフィック・ユーザ・インターフェイス外部の情報には、アドレス指定されたシーンの補強したイメージが含まれる。
したがって、本発明は、さらに
前記周辺部が四角形の形状であり、イメージ形状の情報およびグラフィックスが表示されるエリアを包含し、前記イメージおよびグラフィックスはインターフェイスをコンピュータ・ビジョン・システムのユーザに提供する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
以下に述べるほとんどの説明は、情報を含む四角形のフィールドに関するものであるが、もちろん、複雑な周辺部形状を有するコンピュータユーザインターフェイスを構成することもできる。たとえば、文字列をイメージ上に表示することができる(上記で述べた参考の第08/307,360号の図19参照)。このようなグラフィックオブジェクトは、異なる文字列ごとに独自の周辺部を有することになる。本発明のグラフィックインターフェイスは、ウィンドウタイプの四角形のオブジェクトに限定されない。本発明のグラフィック・ユーザ・インターフェイスの多くの利用が、コンピュータイメージングシステムの独自の様態に関しているため、インターフェイスの形でイメージオブジェクトおよび特徴とやりとりを行う傾向がある。以下に示す例のいくつかによってこの概念がより詳細に説明される。
したがって、本発明は、さらに
前記周辺部は、任意の形状であり、かつ情報が表示されるエリアを包含し、該情報は、インターフェイスをコンピュータ・ビジョン・システムのユーザに提供する、上記記載のグラフィック・ユーザ・インターフェイスグラフィック・ユーザ・インターフェイス
を提供する。
グラフィック・ユーザ・インターフェイスのフィールド領域に表示されている情報は、静的または動的なものである。情報が変化する場合、その変化はいくつかのイベントまたは状況により引き起こされる。状況を監視したりイベントの発生を監視するよう操作可能である。さらに、特定の情報を与える手段を所望のプログラミングにより表示させる応答メカニズムが、コンピュータの一部として含まれている。無数の可能性が存在するが、ここでの説明は簡単なものについて述べる。いくつかの情報内容を有するフィールド領域を持つグラフィック・ユーザ・インターフェイス(GUI)は、カメラの姿勢またはポインティング方向に反応するように作成することが可能である。カメラが北を向いている場合、表示できる指標が表示される。カメラのポインティング方向が調整されると、指標はそれに応じて変化することができる。
したがって、本発明は、
前記フィールド領域と通信を行う応答メカニズムであって、フィールド領域の情報内容を変更するよう作動する応答メカニズムをさらに含む、上記記載のグラフィック・ユーザ・インターフェイス
を含む。
サブフィールド
バージョンによって、本発明のグラフィック・ユーザ・インターフェイスはさらに、フィールド領域内に完全に含まれるサブフィールド領域を含むことができる。サブフィールド領域は、サブフィールド領域の外部にあるフィールド領域部分に表示される情報から独立した情報を表示することができる。サブフィールド領域をアイコンにし、「ポイント・アンド・クリック」タイプの操作によってアイコンが刺激されると、コンピュータの機能を作動させるようにすることもできる。一般的に、これには二つのステップが含まれる。第一のステップで、ユーザはカーソルをサブフィールド位置上に移動させ、カーソルをサブフィールドと並べた状態にしてスイッチを押すことでコマンドを発生させる。当業者であればこれを「マウスクリック」と連想されるかもしれない。サブフィールドはカーソルに「反応する」と言われる。実際に「ポイント・アンド・クリック」操作に反応するのはコンピュータであるが、当業者ならサブフィールドが反応すると言ってこの問題を簡略化するかもしれない。マウスをクリックしてカーソルがサブフィールドと並んでいる状況を、コンピュータ論理プロセッサにおいてテストする。このサブフィールドは反応するように見えるが単なる視覚的装置である。
したがって、本発明は、さらに
少なくとも1つのサブフィールド領域をさらに含む、上記記載のグラフィック・ユーザ・インターフェイスと、
前記サブフィールドは、カーソルに応答する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
グラフィック・ユーザ・インターフェイスの基準点および指示する指標
本発明のグラフィック・ユーザ・インターフェイスは、かなり重要な空間的コンテンツを有するイメージと連携するように使用されることがあるため、グラフィック・ユーザ・インターフェイスと表示されるイメージにおける基準点とを関連づけることが有利な場合が多い。しかし、グラフィック・ユーザ・インターフェイスは必ず、多くのポイントを有する面積を占める二次元の広がりを有するフィールド領域でなければならない。どの一つのポイントも、おそらくほかのどのポイントよりも重要でない。特定のイメージポイントとグラフィック・ユーザ・インターフェイス全体とを関連づけるために、グラフィック・ユーザ・インターフェイスは、その関連を作り出すためのメカニズムを含むことができる。グラフィック・ユーザ・インターフェイスは、一つのポイントに対応するように、指標をグラフィック・ユーザ・インターフェイスに追加する。一つの例として、グラフィック・ユーザ・インターフェイスの上にポインティング用の矢印を取り付ける。矢印の先は基準点に対応させる。矢印の尾は、グラフィック・ユーザ・インターフェイスを基準点と関連づけるグラフィック・ユーザ・インターフェイスの周辺部に取り付ける。このように、グラフィック・ユーザ・インターフェイスは、フィールド領域、周辺部および指示用の指標で構成され、補強したイメージにおける一つのポイントと関連することができる。
したがって、本発明は、さらに
基準点を有し、該周辺部に接続される指標をさらに含む、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
カーソルとポインティング方向との関係
コンピュータ・ビジョン・システムに関連するきわめて独自の特徴に注目することはこのポイントにおいて非常に重要である。コンピュータ・ビジョン・システムに表示されるイメージは、カメラのポインティング方向に対して独自である。この特徴は、グラフィック・ユーザ・インターフェイスの操作と関連する向きと共に、ここで教示される多くのグラフィック・ユーザ・インターフェイスの重要な基礎を提供するものである。「ポイント・アンド・クリック」操作は一般的なコンピュータコマンド操作であるが、コンピュータ・ビジョン・システムの「ポインティングの」特徴は独自なものである。カメラの照準は、ディスプレイフィールドにおける指標によって表示される。この指標は、光学軸の交点によって定まるポイントおよびディスプレイフィールドが存在する平面に関連する。照準の指標は一般的なカーソルの使用方法と同様に使用することができる。違いは、アドレス指定されたシーンとカーソルとの間に深遠な関係が確立されるという点である。カメラ、ひいてはカーソル(照準インジケータ)のポインティング方向を操作することで、グラフィック・ユーザ・インターフェイスは現実世界のオブジェクトおよび建造物と関連付けられる。このことをさらに説明するための例を示す。コンピュータ・ビジョン・システムには姿勢決定手段が含まれているため、コンピュータには常にカメラのポインティング方向がわかっている。グラフィック・ユーザ・インターフェイスはコンパスのどのポイント(たとえば、真西方向)にも「固定している」ように見えるようにコンピュータで表示することができる。カメラが西を向くように調整して、ユーザはカーソルをグラフィック・ユーザ・インターフェイスと並べる。カメラのポインティング方向とディスプレイフィールド内でグラフィック・ユーザ・インターフェイスが表示される位置との間の関係によって、コンピュータ・ビジョン・システムに独自のグラフィック・ユーザ・インターフェイスを向上させる絶好の機会が提供される。表示されたイメージとカーソル位置との間の連携関係は、本開示にわたって教示されるグラフィック・ユーザ・インターフェイスシステムに優れた利点を与えるように示されている。ユーザはコンピュータ・ビジョン・システム内で「ポイント・アンド・クリック」操作を行うことができる。ユーザは、照準指標によって表示されるカメラのポインティング方向を、ポインティングカーソルとして使用することができる。照準指標がグラフィック・ユーザ・インターフェイスのフィールド領域内にあり、かつスイッチが押されている場合、コンピュータは状態を検索し、所望のコマンドに関するルーチンを送出して応答する。カメラのポインティング方向によって、ほとんどのグラフィック・ユーザ・インターフェイスのアプリケーションで使用されている優れたカーソルが与えられるとはいっても、照準カーソルの使用は本発明の必要条件ではない。実際に、二つ目のカーソルが「トラックボール」「マウス」「アイトラッカー」「パワーポイント」装置などの別の手段によって動かされるコンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスを提供することは可能である。
したがって、本発明は、さらに
該カメラの光学軸が該ディスプレイフィールド内のポイント、好ましくはその中心に対応し、前記コンピュータによって、前記ポイントおよびサブフィールドがスイッチの起動と同時に同一場所に配置される状態となる、上記記載のグラフィック・ユーザ・インターフェイス、
該カーソルが該カメラの照準である、上記記載のグラフィック・ユーザ・インターフェイス、
該光学軸が横たわるラインと、該ディスプレイフィールドが横たわる平面との交差点によって定まる該ディスプレイフィールド内のポイントと、
オン状態およびオフ状態を有するスイッチと、
前記コンピュータと通信を行い、前記ポイントが該フィールド領域内の任意のポイントと同一場所に配置されているかどうかを決定し、さらに前記スイッチの位置を決定する一致決定手段と、
を含み、前記コンピュータが一致の状態に応答する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
姿勢に反応するグラフィック・ユーザ・インターフェイスを有する例
グラフィック・ユーザ・インターフェイスは、姿勢決定手段によって決定されるシステムの姿勢に反応する。これを説明する簡単な例として、ディスプレイフィールドに対して位置を固定したグラフィック・ユーザ・インターフェイスは、カメラが常時向いているコンパスの方向の指示を単に表示することができる。西を向いていると、インジケータは「西」というテキストを示す。カメラを90度右に調整すると、インジケータは「北」を示す。このように、グラフィック・ユーザ・インターフェイスは、照準カーソルに関係なくシステムのポインティング方向に反応する。
したがって、本発明は、さらに
前記サブフィールドは当該システムの姿勢に応答する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
グラフィック・ユーザ・インターフェイスは位置に反応することができる
グラフィック・ユーザ・インターフェイスはさらに、位置決定手段によって決定されるシステムの位置に反応することができる。これを説明する簡単な例として、サブフィールドはシステムの緯度および経度に応じた数値を単に表示できる。これは世界的規模の利用に特に役立つ。もっと小さな規模では、別の位置装置を提供することできるだろう。倉庫にいると仮定すると、フィートまたはメートル単位のデカルト座標系が適切である。位置に反応するグラフィック・ユーザ・インターフェイスの第二の簡単な例は、状態のボーダーに応じた形を有するグラフィック・ユーザ・インターフェイスが示された、サマリーにおいて示されている。
したがって、本発明は、さらに
前記サブフィールドは、当該システムの位置に応答する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
このポイントに対する説明によって、コンピュータ・ビジョン・システムと連携するよう構成されたグラフィック・ユーザ・インターフェイスに関する簡単な概念を紹介する。以下に、コンピュータ・ビジョン・システムの目的をさらに発展させるためにグラフィック・ユーザ・インターフェイスをいかに構成するかに関する発展した概念のさらなる例および説明を示す。
グラフィック・ユーザ・インターフェイスは位置ならびに姿勢に反応することができる
基準点を有し、それに関連する指標を指し示すグラフィック・ユーザ・インターフェイスを再び考える。作動すると、そこに表示されるテキストは、表されているイメージに関する基準点の位置、より詳細にはシーンにおける特定のオブジェクトに反応する。これはちょっと見ただけでは大したことのようには見えないが、よく観察するとその真の能力を示すものである。コンピュータ・ビジョン・システムがシーンをアドレス指定しており、またディスプレイにおいてシーンの補強されたイメージを表示している場合、グラフィック・ユーザ・インターフェイスはシーンのオブジェクトと連携するよう動作する。シーンのオブジェクトは、記憶された情報を介してコンピュータへ「知られる」。位置及び姿勢の決定は、コンピュータによって使用され、どのオブジェクトが表されているかを正確に決定する。たとえば、西を向いているサンフランシスコのアルカトラズ島のコンピュータ・ビジョン・システムは、シーンにゴールデンゲートブリッジが含まれていることを「知って」いる。橋の記録されたイメージは橋の実像に重ね合わせることができる。ノースタワーに基準点を配置したグラフィック・ユーザ・インターフェイスは、グラフィック・ユーザ・インターフェイスフィールド領域において橋の表示を行うことができる。
したがって、コンピュータ・ビジョン・システムが公知のランドマークを含むシーンを表し、かつグラフィック・ユーザ・インターフェイス基準点がイメージ内のランドマークと対応するように位置されている場合、ランドマークに関するデータはグラフィック・ユーザ・インターフェイスのサブフィールドに表示することができる。グラフィック・ユーザ・インターフェイスの基準点を(グラフィック・ユーザ・インターフェイスを移動させる)異なるランドマークと一致させるだけで、サブフィールドを新しいランドマークに関する新しい情報に更新させる。
グラフィック・ユーザ・インターフェイスはイメージ信号に反応させることができる
コンピュータはカメラにより提供されるイメージ信号をピクセルごとに分析することができる。
テキストフィールドを有し、さらにそれと関連する基準点を有しているグラフィック・ユーザ・インターフェイスを考える。ポイントが、赤のイメージピクセルに対応する場合、そのテキストフィールドはそのポイントにおいてイメージの色を表示することができる。グラフィック・ユーザ・インターフェイスをイメージの別の場所に移動させた場合、その基準点は、おそらくは色の異なる新しいピクセルに関連する。グラフィック・ユーザ・インターフェイスのテキストフィールドは新しい色に応じて新しいテキストを表示することができる。この例は簡単であり、またユーティリティを必要とする傾向にあるが、強力なポイントを示している。グラフィック・ユーザ・インターフェイスは実際の時間においてイメージ信号と相互作用することができる。
したがって、本発明は、さらに
前記グラフィック・ユーザ・インターフェイスは、該カメラによって生成されるイメージ信号に応答する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
こうした新規の構成が本当に実用できればかなりの賛辞を得ることは確実である。グラフィック・ユーザ・インターフェイスのコンピュータ・ビジョン・システムとの賢明な結合、および特に姿勢(ポインティング方向)、位置、位置ならびに姿勢を含むこの特異な特徴により驚くべき結果が生み出される。徹底的かつ完全な開示を提供するために、次の実施形態を図を参照して示す。
図1を参照すると、いくつかのグラフィック・ユーザ・インターフェイス装置を示すための都市景観のシーンが興味深い。このシーンは特定のタイプのエンティティーまたはオブジェクトを含んでいる。このシーンは、a)ボート1、車2、および空を移動する雲または飛行機を含む移動性のまたは移動するオブジェクトと、b)建物3、地面、および水5を含む固定されたまたは静止したオブジェクトと、c)建物と同様静止する傾向にあるが時々移動することもある、クレーン4などの半静止/移動オブジェクトを含むことができる第三のタイプ、を含む。コンピュータ・ビジョン・システムは、異なる時間における都市景観全体の様々な部分を表すことができる。図1の都市景観を、それぞれコンピュータ・ビジョン・システムで別々に表すことができる一つのシーンを表示する。図2の三つの個々のシーン、21、22、23に分割することは下に表す例にとって役立つ。図3はコンピュータ・ビジョン・システムで表示可能な一つのイメージとしてシーン21を示す。カメラ照準のグラフィック表示は、イメージの中心の31で示される。コンピュータ・ビジョン・システムが右にパンすると、照準マークはディスプレイの中心にとどまっているが、イメージは一般的な電気カメラで見られるように普通左に移動するように見える。グラフィック・ユーザ・インターフェイスが図4に示される表示イメージで始まる場合、フィールド領域41、矢印指標42、基準点43、およびサブフィールド44を含むことができる。サブフィールド44は基準点43との関係(重ね合わせ)によってグラフィック・ユーザ・インターフェイスに関連する建物に特に関するデータを含むことができる。コンピュータは、コンピュータ・ビジョン・システムの位置ならびに姿勢を「知っている」ので、オペラハウスをイメージの照準において表示しなければならないことになる。したがって、コンピュータはグラフィック・ユーザ・インターフェイスにおいてオペラハウスに関するサブフィールド情報を表示する。この情報はコンピュータメモリ内に以前記録されていたものであってもよい。
都市景観のほかの目的もまた興味深い。スカイラインにおけるほかの建物を見るためにコンピュータ・ビジョン・システムが右側にパンされる場合、ユーザは新しいグラフィック・ユーザ・インターフェイスを要望できる。図5は位置及び姿勢の測定で判断されるコンピュータ・ビジョン・システムに対するその場所を通してコンピュータに知られる別の建物51を示している。グラフィック・ユーザ・インターフェイス52は、サブフィールド44で示されるものとは異なるサブフィールド53内に情報を有している。新しい情報は、新しいグラフィック・ユーザ・インターフェイス基準点54と関連する建物に特異のものである。
一時オブジェクトの中には、データベースの制限によりコンピュータに知られることができないものがある。たとえば、図6は、コンピュータが最後にデータをプログラミングされた時点より後にできたスカイラインにおけるクレーン61を示している。この場合、「知られていない」オブジェクトはイメージ信号において探知することが可能であるが思い起こすことのできる情報がない。サブフィールド62はこうした状況を反映する。この目的のために起動されたグラフィック・ユーザ・インターフェイスは、表示するデータを制限されることがある。このグラフィック・ユーザ・インターフェイスは、クレーンの高さ、色、ユーザからの範囲などに関する情報を、サブフィールド63に表示することができる。
移動するオブジェクトはコンピュータによって追跡可能である。範囲および角度の変化がわかれば、コンピュータは移動するオブジェクトについての情報を計算することができる。図7は、グラフィック・ユーザ・インターフェイス72が起動してから移動するオブジェクトと関連する場合のセイルボート71を示している。また、コンピュータデータベースがオブジェクトに関する詳細を知ることができる可能性は低い。しかし、サブフィールド73はオブジェクト、または速度や色などのオブジェクトのプロパティに関する情報を表示する。
例として、どのようにしてグラフィック・ユーザ・インターフェイスがディスプレイフィールドでの共存を通してシーンの特定のオブジェクトと関連することができるかを示す。従来の例においては、グラフィック・ユーザ・インターフェイスは照準ポイントのオブジェクトで始められた。グラフィック・ユーザ・インターフェイス基準点および照準は並んで示されていた。グラフィック・ユーザ・インターフェイスを照準から「解除し」、それをあるオブジェクトに残して、そのオブジェクトと関連させたままにすることが可能である。「解除」コマンドの際、コンピュータはグラフィック・ユーザ・インターフェイスが位置する場所を記憶し、カメラのポインティング方向へ更なる調整が行われたかどうかに関係なく、それをイメージ内のそのポイントと関連させた状態にさせる。始められてその後解除された図4のグラフィック・ユーザ・インターフェイスは、カメラがパンして離れた場合もオペラハウスに関連したままであり、照準はグラフィック・ユーザ・インターフェイスの基準点とは一致しなくなる。図8は、オペラハウスに特定のデータを有するサブフィールド82を持つ、オペラハウスに関連するグラフィック・ユーザ・インターフェイス81のイメージと、照準84に関連しないイメージの位置に配置されている基準点83とを示している。グラフィック・ユーザ・インターフェイスの現実世界のポイントに対する関連を維持するいくつかの技術的解決法がある。第一に、解除コマンドに独自の位置及び姿勢値をグラフィック・ユーザ・インターフェイス基準点に割り当てることである。第二に、イメージ信号を調べ、かつパターン認識技術を適用する体系が含まれる。使用可能な特定のメカニズムにかかわらず、コンピュータ・ビジョン・システムのイメージに対して固定されたグラフィック・ユーザ・インターフェイスは非常に新しいものであると考えられている。
グラフィック・ユーザ・インターフェイスは都市景観においていくつかの位置で「残す」ことができるため、これらの多くを様々なポイントで始めることができる。これはいつでもコンピュータ・ビジョン・システムの視野から消すことができるが、なお割り当てられたオブジェクトに関連したままになっている。コンピュータ・ビジョン・システムがオブジェクトを含むシーンを再び獲得すると、グラフィック・ユーザ・インターフェイスは再び現れる。図9は、オブジェクト上に置かれそれに「ロックされた」二つのグラフィック・ユーザ・インターフェイス91および92の一部を示している。この例において、ディスプレイフィールド境界線は、グラフィック・ユーザ・インターフェイス周辺部を一部占めるものと考えられている。グラフィック・ユーザ・インターフェイスの一部はこうした制限を越えて広がっているように見えることに注意する。
グラフィック・ユーザ・インターフェイス91および92間のわずかな相違に注意する。矢印指標は対向する低いコーナーにおいて配置されている。基準のポイントの位置をユーザが選択可能にすることは有用である。イメージは、好ましくはグラフィック・ユーザ・インターフェイスによってブロックされるべきではない特定の部分を含むことができるため、グラフィック・ユーザ・インターフェイスは調整可能な基準点および支持指標を有することができるようになっている。グラフィック・ユーザ・インターフェイスは、起動後に照準から解除されると、さらに操作することができる。特定のコンピュータルーチンの作動により、グラフィック・ユーザ・インターフェイスをその基準点を中心にしたアーチに沿って変換させることができる。たとえば、照準を使用して、そのフィールド領域のいずれのポイントにおいてもグラフィック・ユーザ・インターフェイスを「つかむ」ことができるようにする。カメラのポインティング方向をさらに調整すると、グラフィック・ユーザ・インターフェイスをその基準点を中心にしたアーチに沿って移動する。図10ないし図12はこれがどのような外観をしているかを示している。基準点101はそれに関連するアーチ102を有している。グラフィック・ユーザ・インターフェイス周辺部に「とりつけられている」矢印指標105は、その先端がイメージのポイントに固定されたままである間、その全体周辺部104にそって活動して移動可能である。このプロセスの間、矢印の尾113が、そこをスライドするように見える周辺部114でグラフィック・ユーザ・インターフェイスにとりつけられたままになる。最後に、図12は、新しい場所におけるグラフィック・ユーザ・インターフェイスを持つ完了された操作と、オペラハウスに対して同じ位置にある基準点121を示している。固定されたポイントを中心にするこの回転は有用である一方、アドレス指定されたシーンにおいてオブジェクトとの関係を維持しながらイメージを中心にグラフィック・ユーザ・インターフェイスを移動させる他の可能な体系があることに注目する。オペラハウスは実際にイメージの部分を占めることに注目する。事実、図10ないし図12の例に選択された抽出ポイントについて重要なことは何もない。図13は問題の建物によって占められるイメージを含むアウトライン131を示している。「ドラッグ・アンド・ドロップ」操作を使用して、グラフィック・ユーザ・インターフェイスおよびオペラハウスの間の関係を維持しながら図14に示されるイメージにおける新しい場所にグラフィック・ユーザ・インターフェイスを移動することができる。グラフィック・ユーザ・インターフェイス基準点が建物のどのポイントにおいても関連する限り、そこに表示される情報はその建物に対応するようアレンジされる。グラフィック・ユーザ・インターフェイスをドラッグ・アンド・ドロップすることはあるコンピュータプログラムにおいては一般的な操作であるが、カメラの照準がカーソルとして使用されている場合、こうしてできたイメージは非常に有用で独自の効果を提供し、かなり異った機能を有する。
グラフィック・ユーザ・インターフェイスはユーザが操作しなくても自動的に移動可能である。第一の例は、カメラのイメージ信号と検索動作とを調べることで追跡できる移動オブジェクトに関する。グラフィック・ユーザ・インターフェイスが移動オブジェクトに「固定」される場合、グラフィック・ユーザ・インターフェイスはオブジェクトが移動すると同時に移動する。これは、図7においてまず示されている。第二の例は、図15に示されている。このイメージは川151のシーンと山の範囲153とを含む。追跡した跡が補強イメージにおいてハイライトパス153で示されている。グラフィック・ユーザ・インターフェイス154は、一定の識別可能な大きさを維持しながら、パスをたどるように作成される。ユーザがパス沿いに進むとき、グラフィック・ユーザ・インターフェイスは同じ角度をもって、ユーザに先立ってパスに沿っているように見える。
上記の例は本発明のグラフィック・ユーザ・インターフェイスがコンピュータ・ビジョン・システムによって表示されたオブジェクトとどのように相互作用するかということを明確に示している。以下に、一般的なコンピュータ・ビジョン・システムのユーザ環境においてグラフィック・ユーザ・インターフェイスが有する関係について詳細な検討を示す。以下の説明において、ユーザの視点に関連づけることができる幾何学の概念を思い出していただくと理解しやすい。たとえば、北、南、東、および西のコンパスの方位が挙げられる。上記の部分と比較して、コンパスの方位は表されるシーンおよびその中のいずれの主題とも完全に独立したものである。さらに、カメラのポインティング方向に対する「平行な平面」または「斜めの平面」という考えは、現されているものまたはシーンによって影響されない。うまく設定されたバックグラウンドノートでは、以下のものが注目されるだろう。
コンパス161を参照すると、コンパス161が向いている方向163および視野164を有するコンピュータ・ビジョン・システムで説明されている。視野ではグラフィック・ユーザ・インターフェイスフィールド領域165を示すことができる。コンピュータはカメラのポインティング方向に関係なく西向きにグラフィック・ユーザ・インターフェイスを保持するようプログラミングすることができる。たとえば、カメラを少し右(北)にパンすると、グラフィック・ユーザ・インターフェイスは視野の左側に移動するように見える。図17はコンピュータ・ビジョン・システムのポインティング方向を少し調整した図16と同様の図である。カメラのポインティング方向174はもはや西を向いていない。視野172が右に移動する(必ずポインティング方向に移動する)と、コンピュータによって維持されている真西向きにされたままのグラフィック・ユーザ・インターフェイス173は、視野の左に移動したように見える。コンピュータ・ビジョン・システムが北を向いている場合、視野はもはやグラフィック・ユーザ・インターフェイスを含んでいない。グラフィック・ユーザ・インターフェイスは「消えて」しまい、ディスプレイフィールドに表示されない。図18は北を向いているカメラ182に対応する視野181を示している。グラフィック・ユーザ・インターフェイス184はユーザに対して西寄りの方位185に向いたままである。グラフィック・ユーザ・インターフェイスが表示されていなくても、コンピュータはグラフィック・ユーザ・インターフェイスの位置を記憶している。ユーザがポインティング方向を西に戻した場合、グラフィック・ユーザ・インターフェイスは再獲得される。コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスを、ユーザ環境の幾何学的またはトポロジ的特徴と連携させるよう構成することができることは今では明白である。もちろん、簡単なパーソナルコンピュータは、典型的に動的に移動可能なディスプレイスクリーンまたは「ポインティング方向」を有していないため、グラフィック・ユーザ・インターフェイスとポインティング方向との連携関係は全く知られていなかった。
さらに複雑な関係も存在する。たとえば、静的なオブジェクトの方向と一時的に向いている方向との結合により、視野に対するグラフィック・ユーザ・インターフェイスの配置の基礎を提供することができる。図19は、カメラが方向192によって示される姿勢と関連しているコンピュータ・ビジョン・システムのカメラ191を示している。公知のオブジェクト、またはこの場合における建物193は、カメラと建物との間のベクトルによって定義される方向194を有している。グラフィック・ユーザ・インターフェイス195は角度φ197をこうした方向で交差する(bisect)方向196に示すことができる。カメラのポインティング方向がΔφの量によって変化する場合、このグラフィック・ユーザ・インターフェイスは半分のΔφの量と等しい量によって変化する。グラフィック・ユーザ・インターフェイスはポインティング方向が変化すると「浮遊している」ように見える。
このポイントにおける変わった現象を理解される方はかなり専門に通じている。グラフィック・ユーザ・インターフェイス195は遠近感なしで表示されやすい。常に、方向196に対して整列されることが普通である。しかし、これは必要条件ではない。図20は、建物201,カメラ202,カメラのポインティング方向203,および上向きの方向204における地平線からのカメラの提案される回転を有する構造を示す。グラフィック・ユーザ・インターフェイスは、カメラの照準と同時に地平線と常に直交するように見えるように定義されている。グラフィック・ユーザ・インターフェイスは、平面206において示されるように見える。カメラを上方向にまっすぐ向けるか、または地平線から90度に向けると、ユーザは、ユーザの場所から見える、無限に離れた位置にグラフィック・ユーザ・インターフェイスを移動させる。これは、グラフィック・ユーザ・インターフェイスが、ユーザ環境の幾何学的構造物またはトポロジー的特徴と相互作用するように構成した多くの可能な構成の一つを示したものである。ほとんどのアプリケーションにおいて、グラフィック・ユーザ・インターフェイスは、カメラのポインティング方向に対して普通に見えることが期待される。これは、互いに直交する二つの方向から表される一つのオブジェクトを示す図21および図22において示されている。同じグラフィック・ユーザ・インターフェイスが、オブジェクトに対してその配置が回転しているように見えるイメージのそれぞれにおいて示されている。グラフィック・ユーザ・インターフェイスは両方の視点からカメラのポインティング方向に対して直交して見えるようにされている。
グラフィック・ユーザ・インターフェイスは、全く知られていなかった方法でカメラのポインティング方向と連携するように構成することができることが現在では容易に理解される。上記の説明は本発明のグラフィック・ユーザ・インターフェイスで達成することができるいくつかの大きな効果を示したものである。グラフィック・ユーザ・インターフェイスとコンピュータ・ビジョン・システムによって作成されたイメージとのさらに別の関係が存在する。これらは必ずしも第一の部分で説明されたオブジェクトの位置または第二の部分で示されたユーザ環境のトポロジ的および幾何学的構成に基づいているわけではないが、これらは表されているイメージの遠近感とより密接に関連している。つぎの部分ではグラフィック・ユーザ・インターフェイスとコンピュータ・ビジョン・システムとのさらなる新規の関係を紹介する。
グラフィック・ユーザ・インターフェイスの一般的な利用はほとんどメニュー選択に関するものである。装置の形に関する価値または機能は一般的にない。したがって、一般的なグラフィック・ユーザ・インターフェイスは典型的には矩形をしている。本発明のグラフィック・ユーザ・インターフェイスはアドレス指定されたシーンにおいて実際のオブジェクトと関連できることがあり、シーンのオブジェクトは一般的に三次元であるため、グラフィック・ユーザ・インターフェイスは三次元オブジェクト、特に遠近感の属性を有していることが好ましい。コンピュータ・ビジョン・システムが実際のオブジェクトのイメージを形成する場合、特定の遠近感を有する二次元の形として表示される。図23はボートクルーズサービスの会社の広告板を示す。実際のサイン231は矩形をしている。しかし、イメージは特定の視点、サインの下および左から取り込まれたため、このサインは遠近図的に表される。イメージの平面においてサインの境界線は四角形を形成する。同様に、テキスト232は視点からの遠近感をもたせて示される。広告板のイメージが作られるあらゆる場所について、独自の遠近感およびサインが2次元で表された形が存在する。
グラフィック・ユーザ・インターフェイスがこうしたオブジェクトと連携するようにされている場合、オブジェクトが対応する遠近感で表されると好ましい。たとえば、あるグラフィック・ユーザ・インターフェイスの機能が、サインの書かれた言語をコンピュータ・ビジョン・システムのユーザにわかるような言語に変換した場合、グラフィック・ユーザ・インターフェイスが新しい言葉と一致する遠近感をもって表示されることが役に立つ。図24は、四角形の周辺部を有し、かつコンピュータ・ビジョン・システムの視点から表示される実際の広告板の形と正確に一致した、グラフィック・ユーザ・インターフェイス241を示す。同様に変換テキスト242および243が適当な遠近感において表示されている。広告板は情報を読み手に中継する簡単な機能を有している。本発明のグラフィック・ユーザ・インターフェイスはユーザの相互作用をさらに提供することができる。表示された例において、特定のサブフィールド244は、仮想広告板として構成されているグラフィック・ユーザ・インターフェイスと相互作用するユーザのための機能を示すよう構成されている。このように、今度はユーザは問題のサブフィールドにおいて「クリック」することでサインと相互作用する。ドイツ語「KURS」を有している図25のサブフィールド251は、新しいグラフィック・ユーザ・インターフェイス252を表示するように作動することができる。グラフィック・ユーザ・インターフェイス252に表示されているイメージは、シーンのどのオブジェクトとも対応しないマップであるため、遠近感なしで最も良く表示することができる。コース262はボートクルーズが向かう場所を示すマップにおいて示されている。図26のサブフィールド262は第二の機能に関している。そのサブフィールドを「クリック」することにより、ユーザはドイツ通貨とアメリカ通貨との変換メカニズムが含まれる旅行費用を知ることができる。グラフィック・ユーザ・インターフェイス261はシーンのどのオブジェクトとも直接関連しないため、簡単な矩形で表示される。コンピュータ・ビジョン・システムを新しい場所に移動すると、シーンのオブジェクトは新しい形を取るように見える(遠近感は視点により変化する)。遠近法のオブジェクトの形をとるグラフィック・ユーザ・インターフェイスは視点ごとに、同様にその形を変えることができる。これは、コンピュータに「知られている」いずれのオブジェクトの遠近感を計算するのに使用できる位置及び姿勢情報を、コンピュータがコンスタントに更新することにより可能になっている。
本発明は、
前記周辺部は、該コンピュータ・ビジョン・システムの視点から遠近感を伴って現れる前記シーンにおける三次元物体に形状的に対応する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
広告板は、遠近図内のオブジェクトをかなり正確に説明するが、それは容易に関知できる奥行きのオブジェクトを考慮する際に観察される効果を説明するものではない。たとえば、六面を有する立方体形を有する広告板がある。さまざまな遠近感からこうした広告板を表す場合、各面を見ることができる。このように、奥行きのあるe次元のオブジェクトを表示するグラフィック・ユーザ・インターフェイスを提供することができる。
本発明の簡単なグラフィック・ユーザ・インターフェイスと同様に、適切な遠近感で表示されるグラフィック・ユーザ・インターフェイスは様々な目的でサブフィールドを組み込むことができる。このサブフィールドは、簡単な矩形または複雑な形にすることができ、いくつかのオブジェクトの遠近感に対応することができる。これらはカーソルおよび「ポイント・アンド・クリック」操作に反応する「プッシュボタン」としてはたらくよう構成することができる。
したがって、本発明は、また
前記フィールド領域は、それぞれが前記グラフィック・ユーザ・インターフェイスの周辺部内に全体的に含まれる複数のサブフィールドを包含する、上記記載のグラフィック・ユーザ・インターフェイス
および、さらに
前記複数のサブフィールドは、該コンピュータ・ビジョン・システムの視点から遠近感を伴って現れる、アドレス指定されている前記シーンにおける三次元物体に形状的に対応する少なくとも1個のサブフィールドを含む、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
グラフィック・ユーザ・インターフェイスは、情報を含んでもよいが、遠近感を伴って提示されるときほど有用ではない。しかしながら、この情報は、アドレス指定されているシーンの物理局面にも関連づけてもよい。これは、マップを含むグラフィック・ユーザ・インターフェイスの場合である。グラフィック・ユーザ・インターフェイスにおいて表示されるマップ情報は本質であるため、遠近法により歪みが全くなく最もよく理解される。マップは、遠近法によってマップのエリア全体で大きさが変わってしまうため、遠近法を用いない場合に最もよく提示される。しかし、ユーザがそのシーンを見る方向から遠近感を伴ってどのようにシーンと関連づけているがわかる場合には、マップはより有用となる。わかりやすくするために、グラフィック・ユーザ・インターフェイスを矩形形状で生成し、これをある指標と結合させて、シーンにおいてマップの境界線が現れる場所を示す正角マッピング体系を与えることが可能である。したがって、図27に示すように、矩形形状のグラフィック・ユーザ・インターフェイスにおいてマップを表示させるようにグラフィック・ユーザ・インターフェイスを構成することができる。次に、このマップのグラフィック・ユーザ・インターフェイス273を、マップの4辺を表すライン271の形状の指標と結合させることができる。正角変換によって、指標は、2辺のディスプレイフィールドを含む6辺を有する形状となる。この指標の一部は、グラフィック・ユーザ・インターフェイスがディスプレイフィールドにおいて位置決めされている場所に応じて、グラフィック・ユーザ・インターフェイスそれ自体の背後に「隠れ」ていてもよい。
したがって、本発明のグラフィック・ユーザ・インターフェイスは、
少なくとも3辺を有する多角形形状の指標をさらに含み、該多角形の各辺が、該フィールド領域の周辺部の辺または該ディスプレイフィールドの境界線に対応し、該フィールド領域の周辺部が、該コンピュータ・ビジョン・システムの視点から現れると、アドレス指定されている前記シーンの一部の物理的特徴に対応する、上記記載のグラフィック・ユーザ・インターフェイスを含む。
グラフィック・ユーザ・インターフェイスの矩形の周辺部とこの矩形とを遠近感を伴って表示する、指標ラインの間の変換ガイドを示すことは有用である。矩形の各角をシーンにおける適切なポイントと結びつける指標272を表示することによって、マップと現実世界との間の変換を行うことが視覚的に容易である。
したがって、
前記グラフィック・ユーザ・インターフェイスの周辺部上にある対応するポイントと、互いに関連づけ合った指標の多角形上のポイントとの接続によって視覚的変換を提供する変換ライン形状の指標をさらに含む、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
上記記載のマップのグラフィック・ユーザ・インターフェイスは、このシーンのイメージに対して適正な遠近感に変換されることになるエリアを備えている。これは、常に、変換されることが望ましいエリアであるとは限らず、場合によっては、ライン、パスまたはルートである。図28は、1つの遠近感(すなわち、一般的に上から)でのルート281を有するマップを示しているが、同一のルートが異なる遠近感でシーンに現れている。グラフィック・ユーザ・インターフェイスのルートと結合した指標282は、ユーザに対していずれの視点からルートがどのように現れるかを理解するための手段を呈している。
本発明は、
それぞれのパスが、一連のポイントからなり、
前記フィールド領域内にある第1パスと、
前記ディスプレイフィールド内にあって、前記第1パスに対応し、アドレス指定されている前記シーンのものと対応する遠近感に前記第1パスの遠近感からすでに変換されている遠近感で示される第2パスと、
少なくとも2個のパスを形成する指標をさらに含む、請求の範囲第1項に記載のグラフィック・ユーザ・インターフェイス
を含むものである。
図27の例は、イメージを変形してマップ境界線を示す場合を提示している。同様に、マップを変形して、コンピュータ・ビジョン・システムの境界線を示すことが可能である。カメラの視野は、円錐である。2次元では、三角形状をとる。図29は、カメラの視野の度合いを示すために、グラフィック・ユーザ・インターフェイスのマップ上に表示された指標291を示している。もちろん、レンズがズーム機能を実行することになった場合、グラフィックスの頂点角度は、その変化に応じる。視野を表す円錐は無限に広がっているため、マップ境界線においてグラフィックスを制限する必要がある。マップのグラフィック・ユーザ・インターフェイスにおける視野を表す指標は、典型的には4辺または3辺の多角形である。
したがって、
その2辺が前記カメラの視野の境界線に対応する、少なくとも3辺を有するサブフィールド領域をさらに含む、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
グラフィック・ユーザ・インターフェイスは、提示したように形状的に動的であるだけでなく、サイズにおいても同様に動的であってもよい。グラフィック・ユーザ・インターフェイスのフィールド領域がディスプレイフィールドの部分集合である限り、実用上の制限を設けることなくあらゆるサイズであってよい。図30は、テキスト文字「t」を含む小規模なグラフィック・ユーザ・インターフェイス301を示しており、拡大したグラフィック・ユーザ・インターフェイス302は同一の文字303を有している。大規模なグラフィック・ユーザ・インターフェイスは、ディスプレイフィールドのより広域な部分を占めており、シーンのイメージの多くをブロックしている。単一グラフィック・ユーザ・インターフェイスが小規模なサイズから大規模なサイズに、およびその逆に切り換えることができる使用に、ある特定の用途を見い出すことができる。グラフィック・ユーザ・インターフェイスが小規模な場合、シーンでは詳細な説明を最大に図ることができる。グラフィック・ユーザ・インターフェイスとの対話が望まれる場合、これを「呼出」すことができる。呼出すと、対話を容易に行うために拡大することができる。使用後、その小規模な非干渉サイズに戻すことができる。「呼出」と「戻す」のズームタイプ機能をコンピュータイメージジェネレータのルーチンにインストールすることができる。
追加のタイプのグラフィック・ユーザ・インターフェイスは、別の拡大特徴を包含する。アドレス指定されているシーンの選択箇所の拡大イメージを提供するために、グラフィック・ユーザ・インターフェイスが構成される。ユーザは、「クリック・アンド・ドラッグ」操作によってイメージと対話し、拡大すべき領域を定義できる。これは、都市景観311のシーンをアドレス指定している図31に図示される。カーソルをスタートポイント313に位置決めする。ボタンを押したまま、カーソルを矢印の方向にストップポイント313までドラッグしていき、そこでボタンを「解除」する。選択されたエリアは、拡大すべきイメージ領域を示している。このエリアの定義に応じて、コンピュータは、拡大イメージをその中に示す新規フィールドを提供する。図32は、大都市の港を示している。ディスプレイフィールドのエリア321には、「クリック・アンド・ドラッグ」によって拡大操作を定義する。第2フィールド322には、エリアの拡大イメージが含まれている。
ポインティング方向との対話を有するグラフィック・ユーザ・インターフェイスの多数の例を提示してきた。コンピュータ・ビジョン・システムの別の構成要素では、ある種のグラフィック・ユーザ・インターフェイスとの対話を行うように構成することができる。ディスプレイフィールドの境界線を活動化させて、視野内の境界線の位置に影響を与えるようにグラフィック・ユーザ・インターフェイスに作用させてもよい。この特殊化されたタイプのグラフィック・ユーザ・インターフェイスは、ポインティング方向の変位によって、グラフィック・ユーザ・インターフェイスの周辺部の一部がディスプレイフィールドの境界線と同一場所に配置されるようになるまで、イメージにおける特定のポイントと関連づけられたものを含む。周辺部の一部をディスプレイフィールドの端と同一場所に配置すると、グラフィック・ユーザ・インターフェイスは、その固定位置から解除され、ポインティング方向の次の変位が止むまでシーンを横切って移動する。そのとき、グラフィック・ユーザ・インターフェイスを「ドロップ」またはイメージ内の新規ポイントと関連づけて、ディスプレイフィールドおよびグラフィック・ユーザ・インターフェイスの端が再び同一場所に配置されるまで、そこに固定させたままにする。このようにして、ポインティング方向の変化の程度に関係なくディスプレイフィールド内で継続して残存するように、グラフィック・ユーザ・インターフェイスを作成する。
図33は、中国の万里の長城333およびテキスト情報「万里の長城」を含むグラフィック・ユーザ・インターフェイス332のシーンを図示する。アドレス指定されているシーン中のオブジェクトと関連づけられたポイント333に、グラフィック・ユーザ・インターフェイスを固定してもよい。ユーザの左へのポインティング方向の変位によって、オブジェクトおよびこの結果グラフィック・ユーザ・インターフェイスが右にシフトして現れるようになる。図34は、コンピュータ・ビジョン・システムのポインティング方向が数度シフトして、これによって、グラフィック・ユーザ・インターフェイス341が、実際のオブジェクト342に関連づけられたポイントに固定された状態のディスプレイフィールドの中心よりに移動しているイメージを示す。この場所では、グラフィック・ユーザ・インターフェイスの端は、ディスプレイフィールドの端から離れている。しかしながら、大規模な変位がなされても、これらの端は、最終的にこれと同一場所に配置される。図35は、右への大規模な変位によって、ディスプレイフィールド351の端がグラフィック・ユーザ・インターフェイス352を「獲得」し、これを関連づけられたポイント(図示せず)から「アンロック」してしまったイメージを示す。右への連続変位によって、グラフィック・ユーザ・インターフェイスは、ポインティング方向の変位が再び左に変化するまで、シーンに対して移動する。左への変位によって、グラフィック・ユーザ・インターフェイスは、シーンにおける新規ポイントに「ロック」される。図36は、グラフィック・ユーザ・インターフェイス361が端をこれ以上追従しないが、シーンにおける新規ポイント362に「ロック」されているイメージを示す。このタイプのグラフィック・ユーザ・インターフェイスは、ユーザがグラフィック・ユーザ・インターフェイスを垂直にディスプレイフィールドに提示させたい一方で、照準ではこれを望んでいない場合に特に有用である。
次に、様々なタイプのグラフィック・ユーザ・インターフェイス、たとえばアドレス指定されているシーンのオブジェクトに関連づけたグラフィック・ユーザ・インターフェイス,周囲の幾何学構造と対話するグラフィック・ユーザ・インターフェイス,拡大体系を提供するグラフィック・ユーザ・インターフェイス,ディスプレイフィールド限界と対話するグラフィック・ユーザ・インターフェイス等を説明する。さらに新規のタイプのグラフィック・ユーザ・インターフェイスが提供される。グラフィック・ユーザ・インターフェイスを操作して、コンピュータ・ビジョン・システムにおいて使用される他のグラフィック・ユーザ・インターフェイスをカタログ作成し、追跡する。これらの特殊化されたグラフィック・ユーザ・インターフェイスは、他のグラフィック・ユーザ・インターフェイスについての位置情報を含んでもよい。たとえば、シーンが空間全体に分布される複数のグラフィック・ユーザ・インターフェイスを含む場合、グラフィック・ユーザ・インターフェイスを位置ダイアグラムにおいてカタログ作成することが有用である。システムユーザの位置がダイアグラムの中心に対応するダイアグラムを作成してもよい。各グラフィック・ユーザ・インターフェイスの位置をこれに関連づけて示すことができる。さらに、現在視野内にはないが、以前ある場所に「配置」されていたグラフィック・ユーザ・インターフェイスでは、ダイアグラムは、これらのグラフィック・ユーザ・インターフェイスの再獲得を容易に行うために、視野に対するその位置を示すことができる。図37は、4つのグラフィック・ユーザ・インターフェイスをその内部に有するイメージを示す。ポインティング指標を有する第1グラフィック・ユーザ・インターフェイス371は、特定の場所をシーン内でマークする。第2グラフィック・ユーザ・インターフェイス372をオブジェクト(フクロウ山)に「付け」ると、グラフィック・ユーザ・インターフェイスは単なる場所ラベルとなる。第3グラフィック・ユーザ・インターフェイス373は、更新日ならびに時刻を連続して含み、環境条件および即時的なコンピュータ・ビジョン・システムに特定の情報、たとえば位置、ポインティング方向および温度に応答する。ユーザに対するこれらの位置は、第4グラフィック・ユーザ・インターフェイス374においてグラフィック的に表されることがある。円形周辺部を有するグラフィック・ユーザ・インターフェイス374もまた、視野の程度を示す2本の半径状の線を有する。グラフィック・ユーザ・インターフェイスの中心は、ユーザの位置を表す。グラフィック・ユーザ・インターフェイスを中心に分布する短いラインセグメントは、コンピュータ・ビジョン・システムによって現在アドレス指定可能なグラフィック・ユーザ・インターフェイスに対応する。3つは、視野内の少なくとも一部にあり、他の3つは、視野外にある。
図38の図は、観察方向に対して直角をなして整列しているグラフィック・ユーザ・インターフェイス381と、シーンに対して正確に遠近感を伴って表示される第2グラフィック・ユーザ・インターフェイス382を示す。グラフィック・ユーザ・インターフェイス383は、着手され、使用されているあらゆるグラフィック・ユーザ・インターフェイスを追跡し、かつカタログ作成する「レーダ」グラフィック・ユーザ・インターフェイスである。また、場所および遠近感を表すことができる。ラインセグメント指標384は、直角をなして整列されるグラフィック・ユーザ・インターフェイス381を表し、ラインセグメント指標385は、遠近感を伴って表示されるグラフィック・ユーザ・インターフェイス382を表している。場合によっては、レーダ・グラフィック・ユーザ・インターフェイスをマップ背景で補うことがさらに有用である。図39は、マップ背景を有するレーダ・グラフィック・ユーザ・インターフェイスを示す。
当該オブジェクトに近接するシーンにおけるオブジェクトに応答するようにグラフィック・ユーザ・インターフェイスを構成することができる。近さの程度を示すために、グラフィック・ユーザ・インターフェイスのテキストは、グラフィック・ユーザ・インターフェイスが関連づけられたオブジェクトに対する近さの程度に比例して濃淡をつけることができる。さらに、新規オブジェクトに近づくにしたがってそのコンテンツを全体的に変化させてもよい。図40は、周知の山脈を含む風景シーンを示す。そのポインティング指標が「カナリア山頂」にあるように、すでに位置決めされているグラフィック・ユーザ・インターフェイス401は、太字のテキストを有する。グラフィック・ユーザ・インターフェイスがカナリア山頂近くの、ただし直接的にはそこにない場所にいずれにおいても再度位置決めされると、グラフィック・ユーザ・インターフェイス402におけるテキストは、濃さの淡い活字へとフェードし始める。グラフィック・ユーザ・インターフェイスがイメージにおける周知のポイントから離れるにしたがって、テキストは淡くなる。グラフィック・ユーザ・インターフェイス403は、わずかに読むことができるテキストを有し、これによってその位置がカナリア山頂から離れていることを反映している。連続変位によって、グラフィック・ユーザ・インターフェイスは、第2の周知ポイントにより近くなっていく。グラフィック・ユーザ・インターフェイスがカナリア山頂とフクロウ山の間の中間点を交差すると、グラフィック・ユーザ・インターフェイスのテキストのコンテンツは変化して、それを反映する。グラフィック・ユーザ・インターフェイス404は、「フクロウ山」を淡いテキストで示し、グラフィック・ユーザ・インターフェイスがフクロウ山から離れているが、これに近づいていることを示す。グラフィック・ユーザ・インターフェイスが周知のポイントにより近くなるように再度位置決めされると、新規テキストは、ますます濃い活字で提示される(グラフィック・ユーザ・インターフェイス405および406)。最後に、グラフィック・ユーザ・インターフェイス407の位置が周知のポイントの正確な位置に直接対応するとき、可能な最も濃いテキストが表示される。
同様の、ただし特異なグラフィック・ユーザ・インターフェイスは、当該システムが特定のオブジェクトをポイントしている程度とほぼ同程度に応答する挙動を有してもよい。図42は、有名な「トランスアメリカ」のビルを含むサンフランシスコのイメージを示す。このビルに貼り付けられたグラフィック・ユーザ・インターフェイス421は、当該システムのポインティング方向とビルに対する方向の間のズレに比例してゆっくりと消えるように作成される。たとえば、当該ビジョン・システムのカメラが離れてパンするにしたがって、グラフィック・ユーザ・インターフェイスはさらに透明になっていき、この背後のシーンが透けて見える。図43は、フェードしてポインティング方向を反映するグラフィック・ユーザ・インターフェイス431を含むイメージが、オブジェクト/グラフィック・ユーザ・インターフェイスの方向に対応していないことを示す。ほぼ同一のメカニズムによって、グラフィック・ユーザ・インターフェイスのサイズが縮小される。図44は、「トランスアメリカ」のビルから離れたポインティング方向の変位の状態を反映するために、421よりも小さく表したグラフィック・ユーザ・インターフェイス441を示す。同様のシステムによって、グラフィック・ユーザ・インターフェイスにおいて提示される「詳細な情報」が、ポインティング方向がオブジェクトとより近く対応するように変化する。図45は、ユーザの位置及び姿勢の変化に応じて移動するマップ452と、ビルの内部を示すビデオフィールド453と、情報/対話をさらに見い出すように起動できるプッシュボタンサブフィールド454とを含むかなり詳細な説明を有するグラフィック・ユーザ・インターフェイス451を示す。ポインティング方向が「トランスアメリカ」のビルから離れてパンされると、対話があまり望まれなくなることが予測される。したがって、グラフィック・ユーザ・インターフェイスは、少ない情報を表示させることによって応答する。図46は、グラフィック・ユーザ・インターフェイス461が、都市景観の他の部分に対応する新規のポインティング方向に応答して、複雑性および詳細を減退させるイメージを示す。最後に、図47は、大規模な変位によって、グラフィック・ユーザ・インターフェイス471が最も簡易な形式に縮小されることを示す。
本発明のグラフィック・ユーザ・インターフェイスのうち特殊化されたものには、受信機システムとの対話型のものがある。電磁信号(無線、IR等)を伝送設備から受け取って、これに信号を戻すように、コンピュータ・ビジョン・システムを構成してもよい。このタイプのリンクアップによって、コンピュータ・ビジョン・システムは、遠隔に配置されているシステムと通信することができる。アポイントメントを予定することを含むサービスの購入等単純な目的を進めるための方法において、データおよび情報をコンピュータ・ビジョン・システムと受信機システムの間で交換してもよい。コンピュータ・ビジョン・システムに特定のグラフィック・ユーザ・インターフェイスとして、人間であるユーザとコンピュータ・ビジョン・システム/受信機システムとの間の対話を提供することができる。このような構成の例を以下に挙げる。
図48のイメージは、サービスプロバイダ事業のファサードの一部である。ファサードは、ビルの一部として固定してある。その場所は、同報通信および受信設備を備えたコンピュータを収容している。受信機コンピュータは、補完として通信プロトコルを介して複数のコンピュータ・ビジョン・システムと通信するように構成されてもよい。同様に、コンピュータ・ビジョン・システムは、これと通信を行う各種ファサードを訪れてもよい。ファサードがコンピュータ・ビジョン・システムによってアドレス指定されると、グラフィック・ユーザ・インターフェイスは、ファサードとのユーザ対話のための設備を提供する。これには、各種のタイプの対話が多数含まれるが、一例をここに図示する。
図49は、英語を話すコンピュータ・ビジョン・システムのユーザをファサードがどのように監視するかを示す。当初中国語で書かれたサインを英語の単語「Acupuncture(鍼)」および「Massage(マッサージ)」にグラフィック・ユーザ・インターフェイス491で変換する。さらに、命令を含む挨拶をグラフィック・ユーザ・インターフェイス492を介して提供する。一方のグラフィック・ユーザ・インターフェイス491をクリックすることによって、追加入力を与える応答は影響を受ける。図50は、45ドルの全身マッサージと予約設定用のプッシュボタンメカニズムを提供するグラフィック・ユーザ・インターフェイス501を有するファサードのイメージを示している。グラフィック・ユーザ・インターフェイス502は、先行の選択を確認して、その他の挨拶または命令を提供しうる。図51は、プッシュボタン503の起動に応答して、グラフィック・ユーザ・インターフェイス511がどのようにして提示されるかを示す。サブフィールド512に関連づけられた情報は、マッサージ施術室の予約を動的にスケジューリングし、他人が予約をするにしたがって時々刻々と変化することが予期される。同報通信設備のコンピュータは、予約され、可能な面会のみを提供するので、時間による予約に応答する。このようにして、ファサードに後に着手するコンピュータ・ビジョン・システムのうちユーザのものは、そのグラフィック・ユーザ・インターフェイスに適切に応答される。このことは、コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスに提示されるデータが同報通信システムに応答しうることを明らかに示している。さらに、これらの同報通信システムは、コンピュータ・ビジョン・システムからの伝送に応答しうる。
図52は、タイムスロット午後4時〜午後5時と関連づけられるサブフィールド522を選択した結果を表示するグラフィック・ユーザ・インターフェイスを示す。この作用によって、追加のグラフィック・ユーザ・インターフェイス523が、予約の確認を問い合わせる。グラフィック・ユーザ・インターフェイス524は、テキストによってさらに命令を与える。グラフィック・ユーザ・インターフェイス523をクリックすることによって予約を確認すると、ビルのコンピュータをコンピュータ・ビジョン・システムのユーザが操作することができる。ユーザは、必要なプロトコルによって受信局を操作する他機関にアプローチして、同一のコンピュータ・ビジョン・システムを有するこれらの事業と対話してもよい。
図53は、口座情報に対応する3つのサブフィールド532を有するグラフィック・ユーザ・インターフェイス531を示す。口座情報は、受信局によって使用され、本発明のグラフィック・ユーザ・インターフェイスとのユーザ対話に応答して送金が受け取られる。グラフィック・ユーザ・インターフェイス532は、購入を確認し、さらに命令を与える。図54は、同様のサマリーの注釈を追加の挨拶とともに提供するグラフィック・ユーザ・インターフェイス542を有する最終イメージを示す。
受信局とコンピュータ・ビジョン・システムの結合は、発明を定義するという目的で単一装置として予想されうるが、予め定義されたプロトコルを有し、かつグラフィック・ユーザ・インターフェイス能によって可能となるコンピュータ・ビジョン・システムもまたスタンドアロンとして完成された装置と考えられる。
位置及び姿勢決定に様々な方法で応答するように、グラフィック・ユーザ・インターフェイスを構成できることを明確に示してきた。ここに提示される数例が、位置及び姿勢応答メカニズムを各種グラフィック・ユーザ・インターフェイス装置に組み込むための方法を単に何千も表しているのみであることを理解することは重要である。本発明の要旨と考えられることは、コンピュータ・ビジョン・システムのためのグラフィック・ユーザ・インターフェイスである。
図41は、互いに関連づけ合ういくつかのシステム要素のブロック図を示す。特に、ディスプレイフィールド410は、発光パターンを生成するために動作可能な平面領域である。フィールド領域411は、イメージ情報をその内部に有するディスプレイフィールドの一部である。サブフィールド領域412は、フィールド領域の一部であり、同様にイメージ情報をその内部に有する。カメラ413は、イメージプロセッサ415を有するコンピュータ414に電子イメージを伝送する。位置及び姿勢決定手段416および417は、イメージプロセッサに対する出力を有するコンピュータメモリ418を駆動する信号をそれぞれ生成する。位置及び姿勢信号と情報とは、さらに相互接続419を介してグラフィック・ユーザ・インターフェイス・ジェネレータ4111の応答メカニズム4110に伝送される。オプショナルに獲得された情報、コンピュータ生成イメージ情報および最終的にグラフィック・ユーザ・インターフェイスからなる合成イメージは、通信線4112に沿ってディスプレイに伝送され、そこで合成イメージはディスプレイフィールド内に表示される。
スタンドアロンであるが、グラフィック・ユーザ・インターフェイスが装置であることは確実に理解されるであろうが、一方、信号装置としてグラフィック・ユーザ・インターフェイスとコンピュータ・ビジョン・システムとの結合を予想することは有益でありうる。これは、コンピュータ・ビジョン・システムの要素が、グラフィック・ユーザ・インターフェイスの要素と複雑に関連づけられているという事実によるものである。実際に、一部の要素を共有しているため、これらが別個であると言うことは困難である。たとえば、カメラのポインティング方向は、「ポイント・アンド・クリック」操作のためのグラフィック・ユーザ・インターフェイスのポインタとして機能できる。グラフィック・ユーザ・インターフェイスのフィールド領域は、常に、ディスプレイの平面イメージフィールドの部分集合およびこれと同一面である。コンピュータ・ビジョン・システムとグラフィック・ユーザ・インターフェイスとの接続は、緊密なものであるため、この結合を単一の装置として提示することもある。したがって、本発明は、
コンピュータ・ビジョン・システムとグラフィック・ユーザ・インターフェイスとの結合を含み、
カメラと、
ディスプレイと、
姿勢決定手段と、
位置決定手段と、
コンピュータと、
グラフィック・ユーザ・インターフェイスと、
を備えた装置において、
前記カメラは、光学軸とイメージ平面とを有し、これによって、該コンピュータ・ビジョン・システムによってアドレス指定されているシーンのイメージは、該光学軸が該シーンの方向に指し示されると、該イメージ平面内に形成され、
前記ディスプレイは、互いに関連づけ合う垂直方向を有する平面イメージフィールドを有し、該垂直方向は、前記カメラの光学軸と整列されるか、あるいは角度のズレに整列され、
前記姿勢決定手段は、前記カメラの光学軸と同一線状の基準点を有し、
前記位置決定手段は、該平面イメージフィールドと該姿勢決定手段の基準方向の交差点と同一場所に配置される基準点を有し、
前記コンピュータは、前記カメラ、前記ディスプレイ、前記姿勢決定手段および前記位置決定手段と電気的に接続されており、
前記グラフィック・ユーザ・インターフェイスは、該ディスプレイの平面イメージフィールドの一部であるフィールド領域および該フィールド領域に境界を接する周辺部を有する、装置
を提供する。
グラフィック・ユーザ・インターフェイスとコンピュータ・ビジョン・システムの要素の関係をさらに以下のように定義することができる。
サブフィールド領域と、カーソルと、スイッチと、をさらに含み、
前記サブフィールド領域は、前記フィールド領域の一部であり、周辺部および内部エリアを有し、
前記カーソルは、該フィールド領域および該グラフィック・ユーザ・インターフェイスのサブフィールド領域を含む前記ディスプレイの平面イメージフィールドを中心に可動する指標であり、
前記スイッチは、前記コンピュータと電気的に接続しているオン状態およびオフ状態を有し、前記カーソルを該ディスプレイフィールドにおけるサブフィールドの内部エリアと同一場所に配置した状態で該スイッチがオン状態にある場合、動作起動の際により可能であり、これによって該コンピュータが「ポイント・アンド・クリック」操作に応答可能である、上記記載のコンピュータ・ビジョン・システム。
明白かつ簡潔な文言によって、また本発明者によって予測される最良の形態を含むそのある好適なものを参照して、本発明をかなり詳細に説明してきたが、その他のものも可能である。したがって、添付の請求の範囲の精神およびその範囲は、これに含まれる好適な形態の記載によって限定されるものではない。
Claims (36)
- 光学軸の方向のシーンを撮るカメラと、
前記光学軸に対して垂直に、または所定の角度だけ斜めに配置され、前記カメラと共に移動可能であり、前記シーンを表示するディスプレイフィールドを含むディスプレイと、
コンパスを含み、前記コンパスを用いて前記カメラの姿勢を決定する姿勢決定手段と、
前記カメラの緯度及び経度から前記カメラの位置を決定する位置決定手段と、
前記カメラ、前記ディスプレイ、前記姿勢決定手段、及び前記位置決定手段に接続されたコンピュータと、
を有するコンピュータ・ビジョン・システムにおいて、
前記ディスプレイフィールドの一部であり、イメージ及びグラフィックスで情報を表示するフィールド領域と、
前記フィールド領域を囲む周辺部と、
を有するグラフィック・ユーザ・インターフェイスを、前記コンピュータによって前記ディスプレイフィールドに生成する装置であり、
前記コンピュータによって前記シーンが前記ディスプレイフィールドに表示されるとき、前記姿勢決定手段から提供される前記カメラの姿勢に関する情報、及び、前記位置決定手段から提供される前記カメラの位置に関する情報に応じて、前記フィールド領域の少なくとも一部又は前記周辺部に表示される情報の内容又は形状を変化させる、グラフィック・ユーザ・インターフェイス生成装置。 - 前記姿勢決定手段及び前記位置決定手段と電気的に接続され、前記姿勢決定手段及び前記位置決定手段から提供される情報に応じて、前記フィールド領域に表示される情報の内容を変更する応答メカニズムをさらに含む、請求項1に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記グラフィック・ユーザ・インターフェイスは、カーソルに応答するサブフィールド領域をさらに含む、請求項1に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記カーソルは、前記カメラの照準に対応する指標である、請求項3に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記グラフィック・ユーザ・インターフェイスは、前記カメラの姿勢に応答するサブフィールド領域をさらに含む、請求項1に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記グラフィック・ユーザ・インターフェイスは、前記カメラの位置に応答するサブフィールド領域をさらに含む、請求項1に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記グラフィック・ユーザ・インターフェイスは、基準点を備えたポインティング指標をさらに含む、請求項1に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記グラフィック・ユーザ・インターフェイスは、前記シーンに含まれるイメージに対する前記基準点の場所に応答するサブフィールド領域をさらに含む、請求項7に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記グラフィック・ユーザ・インターフェイスは、前記シーンに含まれるイメージに対する前記基準点の場所に応答する指標をさらに含む、請求項7に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記周辺部の形状は、前記シーンに含まれる三次元物体を前記カメラから見たときの形状と一致する、請求項1に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記フィールド領域は複数のサブフィールド領域を含み、前記複数のサブフィールド領域のそれぞれの全体が前記周辺部の内側に含まれる、請求項1に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記複数のサブフィールド領域のうち少なくとも一つの形状は、前記シーンに含まれる三次元物体を前記カメラから見たときの形状と一致する、請求項11に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記グラフィック・ユーザ・インターフェイスは、少なくとも三つの辺を有する多角形形状の指標をさらに含み、前記多角形形状の指標の各辺が前記周辺部の辺または前記ディスプレイフィールドの境界線に対応し、前記周辺部は前記カメラから見たときの前記シーンに物理的特徴が対応する、請求項1に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記グラフィック・ユーザ・インターフェイスは、前記周辺部上の点と前記多角形形状の指標上の点との間を接続して互いの対応関係を視覚的に示す線状の指標をさらに含む、請求項13に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記グラフィック・ユーザ・インターフェイスは、少なくとも三つの辺を含むサブフィールド領域を更に含み、前記サブフィールド領域では前記辺のうち少なくとも二つが前記カメラの視野の境界線に対応する、請求項1に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記グラフィック・ユーザ・インターフェイスは、それぞれ一連の点から成り、所定の対応関係を満たす第1パスと第2パスとの対を少なくとも一つ形成する指標を更に含み、
前記第1パスを前記フィールド領域内に形成し、
前記第2パスを前記ディスプレイフィールド内に、前記シーンの遠近感に一致するように立体的に形成する、
請求項1に記載のグラフィック・ユーザ・インターフェイス生成装置。 - 前記グラフィック・ユーザ・インターフェイスは、前記フィールド領域内の情報に関連するイメージ情報を含む第2フィールド領域をさらに含む、請求項1に記載のグラフィック・ユーザ・インターフェイス生成装置。
- 前記第2フィールド領域は、そこで表示される情報が関連する前記フィールド領域の一部を示す変換ラインを有する、請求項17に記載のグラフィック・ユーザ・インターフェイス生成装置。
- コンピュータ・ビジョン・システムとグラフィック・ユーザ・インターフェイス生成装置との組み合わせを含む装置であり、
前記コンピュータ・ビジョン・システムは、
光学軸の方向のシーンを撮るカメラと、
前記カメラの光学軸に対して垂直に、または所定の角度だけ斜めに配置され、前記カメラと共に移動可能であり、前記シーンを表示するディスプレイフィールドを含むディスプレイと、
コンパスを含み、前記コンパスを用いて前記カメラの姿勢を決定する姿勢決定手段と、
前記カメラの緯度及び経度から前記カメラの位置を決定する位置決定手段と、
前記カメラ、前記ディスプレイ、前記姿勢決定手段、及び前記位置決定手段に接続されたコンピュータと、
を備え、
前記グラフィック・ユーザ・インターフェイス生成装置は、
前記ディスプレイフィールドの一部であり、イメージ及びグラフィックスで情報を表示するフィールド領域と、
前記フィールド領域を囲む周辺部と、
を有するグラフィック・ユーザ・インターフェイスを、前記コンピュータによって前記ディスプレイフィールドに生成し、
前記コンピュータによって前記シーンが前記ディスプレイフィールドに表示されるとき、前記姿勢決定手段から提供される前記カメラの姿勢に関する情報、及び、前記位置決定手段から提供される前記カメラの位置に関する情報に応じて、前記フィールド領域の少なくとも一部又は前記周辺部に表示される情報の内容又は形状を変化させる、装置。 - 前記グラフィック・ユーザ・インターフェイスは、
前記フィールド領域の一部であるサブフィールド領域と、
前記フィールド領域及び前記サブフィールド領域を含む前記ディスプレイフィールドを移動可能な指標であるカーソルと、
を更に含み、
前記グラフィック・ユーザ・インターフェイス生成装置は、
通信によってオン状態とオフ状態とを前記コンピュータに伝えるスイッチであり、前記カーソルが前記サブフィールド領域の内部と同じ場所に配置されている期間にオン状態になったとき、前記コンピュータにポイント・アンド・クリック操作を実行させるスイッチ、
を備えている、
請求項19に記載の装置。 - 光学軸の方向のシーンを撮るカメラと、
前記光学軸に対して垂直に、または所定の角度だけ斜めに配置され、前記カメラと共に移動可能であり、前記シーンを表示するディスプレイフィールドを含むディスプレイと、
コンパスを含み、前記コンパスを用いて前記カメラの姿勢を決定する姿勢決定手段と、
前記カメラの緯度及び経度から前記カメラの位置を決定する位置決定手段と、
前記カメラ、前記ディスプレイ、前記姿勢決定手段、及び前記位置決定手段に接続されたコンピュータと、
を有するコンピュータ・ビジョン・システムにおいて、グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールドに表示する方法であり、
前記グラフィック・ユーザ・インターフェイスは、
前記ディスプレイフィールドの一部であり、イメージ及びグラフィックスで情報を表示するフィールド領域と、
前記フィールド領域を囲む周辺部と、
を備え、
前記カメラでシーンを撮るステップと、
前記コンピュータによって前記シーンのイメージを形成するステップと、
前記コンピュータによって前記グラフィック・ユーザ・インターフェイスを生成するステップと、
前記コンピュータによって前記シーンのイメージを前記グラフィック・ユーザ・インターフェイスと結合して合成イメージを形成するステップと、
前記コンピュータによって前記合成イメージを前記ディスプレイフィールドに表示するステップと、
を含み、
前記合成イメージを形成するステップでは、前記姿勢決定手段から提供される前記カメラの姿勢に関する情報、及び、前記位置決定手段から提供される前記カメラの位置に関する情報に応じて、前記フィールド領域の少なくとも一部又は前記周辺部に表示される情報の内容又はそれらの形状を変化させる方法。 - 前記グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールド内で移動させるステップを含む、請求項21に記載の方法。
- 前記グラフィック・ユーザ・インターフェイスを移動させるステップは、
前記グラフィック・ユーザ・インターフェイスをカーソルと連動させるステップと、
スイッチのオン状態を検出するステップと、
前記スイッチがオン状態を保つ間、前記グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールド内でドラッグするステップと、
前記スイッチのオフ状態を検出するステップと、
をさらに含む、請求項22に記載の方法。 - 前記スイッチのオフ状態を検出するステップでは、前記グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールド内の関連する位置にロックする、請求項23に記載の方法。
- 前記スイッチのオフ状態を検出するステップでは、前記グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールド内で、前記コンパスの示す所定の方角に対応する位置にロックする、請求項23に記載の方法。
- 前記合成イメージを形成するステップでは、
前記カメラの照準を変化させる間、前記グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールドの中心から外れた位置に維持する、
請求項21に記載の方法。 - 前記グラフィック・ユーザ・インターフェイスを生成するステップでは、前記シーンに表示される看板の言語を、ユーザによって選択された言語に翻訳する、請求項21に記載の方法。
- 前記グラフィック・ユーザ・インターフェイスを生成するステップでは、前記グラフィック・ユーザ・インターフェイスを含む平面の法線方向を、前記カメラの照準に関わらず、前記コンパスの示す一定の方角に固定する、請求項21に記載の方法。
- 前記グラフィック・ユーザ・インターフェイスを移動させるステップは、
基準点をイメージ内の点にロックするステップと、
前記グラフィック・ユーザ・インターフェイスをカーソルと連動させることによって、前記グラフィック・ユーザ・インターフェイスの内部領域を前記カーソルと同じ場所に配置するステップと、
スイッチのオン状態を検出して、前記カーソルを前記グラフィック・ユーザ・インターフェイスのフィールド領域にロックするステップと、
前記カーソルの移動に合わせて、前記フィールド領域を前記基準点の周りで移動させるステップと、
前記スイッチのオフ状態を検出して、前記カーソルを前記フィールド領域から解放するステップと、
を含む、請求項22に記載の方法。 - 前記グラフィック・ユーザ・インターフェイスを移動させるステップは、
前記グラフィック・ユーザ・インターフェイスをカーソルと連動させることによって、前記グラフィック・ユーザ・インターフェイスのフィールド領域を前記カーソルと同じ場所に配置するステップと、
スイッチのオン状態を検出して、前記カーソルを前記フィールド領域にロックするステップと、
前記ディスプレイフィールドの所定の領域内での前記カーソルの移動に合わせて、前記フィールド領域を前記所定の領域内で移動させるステップと、
前記スイッチのオフ状態を検出して、前記カーソルを前記フィールド領域から解放するステップと、
を含む、請求項22に記載の方法。 - 前記グラフィック・ユーザ・インターフェイスを移動させるステップは、
前記シーン内を移動する物体を追跡するステップと、
前記物体に対する前記グラフィック・ユーザ・インターフェイスの位置を維持するステップと、
を含む、請求項22に記載の方法。 - 前記グラフィック・ユーザ・インターフェイスを移動させるステップでは、前記グラフィック・ユーザ・インターフェイスを前記カメラの照準と基準方向との中間の方向に表示する、請求項22に記載の方法。
- 前記グラフィック・ユーザ・インターフェイスを移動させるステップでは、前記カメラの光学軸のパンに合わせて前記グラフィック・ユーザ・インターフェイスを前記シーン内の平面上で移動させ、パンの角度が90度に近いほど前記グラフィック・ユーザ・インターフェイスを傾斜させて表示する、請求項22に記載の方法。
- 背後のイメージを同じサイズに維持したまま、前記周辺部のサイズを増大させる、請求項21に記載の方法。
- 前記周辺部のサイズを適切なサイズで一定に維持する、請求項21に記載の方法。
- 前記周辺部をドラッグ・アンド・ドロップ操作に応じて定める、請求項21に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/662,219 US6037936A (en) | 1993-09-10 | 1996-06-12 | Computer vision system with a graphic user interface and remote camera control |
US08/662,219 | 1996-06-12 | ||
PCT/US1997/010268 WO1997048037A1 (en) | 1996-06-12 | 1997-06-12 | Graphical user interfaces for computer vision systems |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000512781A JP2000512781A (ja) | 2000-09-26 |
JP4294093B2 true JP4294093B2 (ja) | 2009-07-08 |
Family
ID=24656867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP50184598A Expired - Lifetime JP4294093B2 (ja) | 1996-06-12 | 1997-06-12 | コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイス |
Country Status (8)
Country | Link |
---|---|
US (2) | US6037936A (ja) |
EP (1) | EP0979443A4 (ja) |
JP (1) | JP4294093B2 (ja) |
KR (1) | KR20000016604A (ja) |
AU (1) | AU726106B2 (ja) |
CA (1) | CA2258025C (ja) |
NZ (1) | NZ333362A (ja) |
WO (1) | WO1997048037A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2418605A2 (en) | 2010-08-09 | 2012-02-15 | NEC Magnus Communications, Ltd. | Local Search Device and Local Search Method |
US9083891B2 (en) | 2010-12-15 | 2015-07-14 | Hitachi, Ltd. | Video monitoring apparatus |
Families Citing this family (219)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020091850A1 (en) | 1992-10-23 | 2002-07-11 | Cybex Corporation | System and method for remote monitoring and operation of personal computers |
US7301536B2 (en) * | 1993-09-10 | 2007-11-27 | Geovector Corporation | Electro-optic vision systems |
US6037936A (en) * | 1993-09-10 | 2000-03-14 | Criticom Corp. | Computer vision system with a graphic user interface and remote camera control |
EP0807352A1 (en) | 1995-01-31 | 1997-11-19 | Transcenic, Inc | Spatial referenced photography |
US5721842A (en) * | 1995-08-25 | 1998-02-24 | Apex Pc Solutions, Inc. | Interconnection system for viewing and controlling remotely connected computers with on-screen video overlay for controlling of the interconnection switch |
JP3679487B2 (ja) * | 1996-01-30 | 2005-08-03 | キヤノン株式会社 | 通信装置及び通信方法 |
JPH1056609A (ja) * | 1996-04-15 | 1998-02-24 | Canon Inc | 画像記録方法、通信方法、画像記録装置、通信装置及び媒体 |
JPH09289606A (ja) * | 1996-04-23 | 1997-11-04 | Canon Inc | 画像表示装置およびカメラ制御装置 |
US7297856B2 (en) * | 1996-07-10 | 2007-11-20 | Sitrick David H | System and methodology for coordinating musical communication and display |
US7989689B2 (en) | 1996-07-10 | 2011-08-02 | Bassilic Technologies Llc | Electronic music stand performer subsystems and music communication methodologies |
US6654060B1 (en) * | 1997-01-07 | 2003-11-25 | Canon Kabushiki Kaisha | Video-image control apparatus and method and storage medium |
JP4332231B2 (ja) | 1997-04-21 | 2009-09-16 | ソニー株式会社 | 撮像装置コントローラおよび撮像システム |
FR2775803B1 (fr) * | 1998-03-04 | 2003-05-02 | France Telecom | Simulation d'une souris dans un terminal d'affichage |
US6100871A (en) * | 1998-04-29 | 2000-08-08 | Multitude, Inc. | Dynamic pointer having time-dependent informational content |
US7120592B1 (en) * | 1998-06-24 | 2006-10-10 | Morris Edward Lewis | Method, apparatus and processed for real time interactive online ordering and reordering and over the counter purchasing with rebate, saving, and investing processes |
US6633905B1 (en) * | 1998-09-22 | 2003-10-14 | Avocent Huntsville Corporation | System and method for accessing and operating personal computers remotely |
JP2000112342A (ja) * | 1998-09-30 | 2000-04-21 | Pioneer Electronic Corp | 地図情報の処理方法 |
JP2000194726A (ja) * | 1998-10-19 | 2000-07-14 | Sony Corp | 情報処理装置及び方法、情報処理システム並びに提供媒体 |
JP3350901B2 (ja) * | 1998-10-30 | 2002-11-25 | インターナショナル・ビジネス・マシーンズ・コーポレーション | デジタル情報交換のためのシステム及びその方法 |
US6317141B1 (en) * | 1998-12-31 | 2001-11-13 | Flashpoint Technology, Inc. | Method and apparatus for editing heterogeneous media objects in a digital imaging device |
US6473101B1 (en) * | 1999-02-01 | 2002-10-29 | Gordon F. Grigor | Single surface multi-view panning system and method for multiple displays |
US6353450B1 (en) | 1999-02-16 | 2002-03-05 | Intel Corporation | Placing and monitoring transparent user interface elements in a live video stream as a method for user input |
JP4878409B2 (ja) * | 1999-03-23 | 2012-02-15 | キヤノン株式会社 | 情報制御装置及び情報制御方法及び記憶媒体 |
JP3902904B2 (ja) | 1999-03-23 | 2007-04-11 | キヤノン株式会社 | 情報提示装置、方法、カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体 |
US6396475B1 (en) * | 1999-08-27 | 2002-05-28 | Geo Vector Corp. | Apparatus and methods of the remote address of objects |
EP1085431A3 (en) * | 1999-09-20 | 2006-06-07 | NCR International, Inc. | Information retrieval and display |
EP1085432B1 (en) | 1999-09-20 | 2008-12-03 | NCR International, Inc. | Information retrieval and display |
US7917397B1 (en) | 1999-10-14 | 2011-03-29 | Jarbridge, Inc. | Merging private images for gifting |
US7418407B2 (en) * | 1999-10-14 | 2008-08-26 | Jarbridge, Inc. | Method for electronic gifting using merging images |
US6903756B1 (en) * | 1999-10-14 | 2005-06-07 | Jarbridge, Inc. | Merged images viewed via a virtual storage closet |
US6935562B2 (en) * | 1999-12-06 | 2005-08-30 | Xerox Corporation | Operations on images having glyph carpets |
US6880755B2 (en) * | 1999-12-06 | 2005-04-19 | Xerox Coporation | Method and apparatus for display of spatially registered information using embedded data |
US6678425B1 (en) | 1999-12-06 | 2004-01-13 | Xerox Corporation | Method and apparatus for decoding angular orientation of lattice codes |
US7178162B2 (en) * | 2000-02-10 | 2007-02-13 | Chyron Corporation | Incorporating graphics and interactive triggers in a video stream |
EP1266282B1 (en) | 2000-03-17 | 2010-04-21 | Microsoft Corporation | System and method for non-uniform scaled mapping |
JP2004507803A (ja) * | 2000-04-03 | 2004-03-11 | ザ ピューグリーズ カンパニー | 品物及びサービスを表示して販売するためのシステム及び方法 |
JP3908437B2 (ja) * | 2000-04-14 | 2007-04-25 | アルパイン株式会社 | ナビゲーションシステム |
US6515687B1 (en) * | 2000-05-25 | 2003-02-04 | International Business Machines Corporation | Virtual joystick graphical user interface control with one and two dimensional operation |
US6657661B1 (en) * | 2000-06-20 | 2003-12-02 | Hewlett-Packard Development Company, L.P. | Digital camera with GPS enabled file management and a device to determine direction |
US20020152462A1 (en) * | 2000-08-29 | 2002-10-17 | Michael Hoch | Method and apparatus for a frame work for structured overlay of real time graphics |
JP2002092012A (ja) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | 特定地域内情報表示システム |
US7135961B1 (en) * | 2000-09-29 | 2006-11-14 | International Business Machines Corporation | Method and system for providing directions for driving |
US7101988B2 (en) * | 2000-10-12 | 2006-09-05 | Marical, Inc. | Polyvalent cation-sensing receptor in Atlantic salmon |
US8817045B2 (en) | 2000-11-06 | 2014-08-26 | Nant Holdings Ip, Llc | Interactivity via mobile image recognition |
US20120154438A1 (en) * | 2000-11-06 | 2012-06-21 | Nant Holdings Ip, Llc | Interactivity Via Mobile Image Recognition |
US7680324B2 (en) | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
US7565008B2 (en) | 2000-11-06 | 2009-07-21 | Evryx Technologies, Inc. | Data capture and identification system and process |
US8224078B2 (en) | 2000-11-06 | 2012-07-17 | Nant Holdings Ip, Llc | Image capture and identification system and process |
US9310892B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Object information derived from object images |
US8218873B2 (en) * | 2000-11-06 | 2012-07-10 | Nant Holdings Ip, Llc | Object information derived from object images |
US7899243B2 (en) | 2000-11-06 | 2011-03-01 | Evryx Technologies, Inc. | Image capture and identification system and process |
JP4882151B2 (ja) * | 2000-12-27 | 2012-02-22 | ソニー株式会社 | 情報処理装置、情報処理方法、記録媒体および画像処理装置 |
US20020113872A1 (en) * | 2001-02-16 | 2002-08-22 | Naoto Kinjo | Information transmitting system |
EP1403761B1 (en) | 2001-06-27 | 2008-06-04 | Sony Corporation | Integrated circuit device, information processing device, information recording device memory management method, mobile terminal device, semiconductor integrated circuit device, and communication method using mobile terminal device |
TW509873B (en) * | 2001-07-18 | 2002-11-11 | Flashants Inc | Generation method for dynamic user interface with arbitrary shape |
US20030030658A1 (en) * | 2001-08-10 | 2003-02-13 | Simon Gibbs | System and method for mixed reality broadcast |
US7173672B2 (en) * | 2001-08-10 | 2007-02-06 | Sony Corporation | System and method for transitioning between real images and virtual images |
US7339609B2 (en) * | 2001-08-10 | 2008-03-04 | Sony Corporation | System and method for enhancing real-time data feeds |
US7091989B2 (en) | 2001-08-10 | 2006-08-15 | Sony Corporation | System and method for data assisted chroma-keying |
US7134088B2 (en) * | 2001-09-24 | 2006-11-07 | Tactical Survey Group, Inc. | Method and system for providing tactical information during crisis situations |
US7102643B2 (en) | 2001-11-09 | 2006-09-05 | Vibe Solutions Group, Inc. | Method and apparatus for controlling the visual presentation of data |
DE10155549A1 (de) * | 2001-11-12 | 2003-05-28 | Harman Becker Automotive Sys | Verfahren zur Navigation mittels eines Navigationsgerätes und Navigationsgerät |
US20030095681A1 (en) * | 2001-11-21 | 2003-05-22 | Bernard Burg | Context-aware imaging device |
US7430723B2 (en) * | 2001-11-29 | 2008-09-30 | Gse Advanced Industrial Technologies, Gmbh | System and method for implementing a three-dimensional graphic user interface |
WO2003049424A1 (fr) | 2001-12-03 | 2003-06-12 | Nikon Corporation | Appareil electronique, camera electronique, dispositif electronique, appareil d'affichage d'image et systeme de transmission d'image |
EP1466300A1 (en) * | 2002-01-15 | 2004-10-13 | Information Decision Technologies LLC | Method and system to display both visible and invisible hazards and hazard information |
CA2478259A1 (en) * | 2002-03-06 | 2003-09-18 | The Sidereus Group, Llc | User controllable computer presentation of interfaces and information selectively provided via a network |
US20030187820A1 (en) | 2002-03-29 | 2003-10-02 | Michael Kohut | Media management system and process |
US7827507B2 (en) * | 2002-05-03 | 2010-11-02 | Pixearth Corporation | System to navigate within images spatially referenced to a computed space |
JP4092976B2 (ja) * | 2002-08-05 | 2008-05-28 | ソニー株式会社 | ガイドシステム、コンテンツサーバ、及び情報処理プログラム |
US7002551B2 (en) * | 2002-09-25 | 2006-02-21 | Hrl Laboratories, Llc | Optical see-through augmented reality modified-scale display |
US20070035562A1 (en) * | 2002-09-25 | 2007-02-15 | Azuma Ronald T | Method and apparatus for image enhancement |
US20040066391A1 (en) * | 2002-10-02 | 2004-04-08 | Mike Daily | Method and apparatus for static image enhancement |
US20040068758A1 (en) * | 2002-10-02 | 2004-04-08 | Mike Daily | Dynamic video annotation |
US20040257340A1 (en) * | 2002-10-07 | 2004-12-23 | Bjorn Jawerth | Method and software for navigation of data on a device display |
JP3849645B2 (ja) * | 2003-01-20 | 2006-11-22 | ソニー株式会社 | 監視装置 |
US20060123428A1 (en) * | 2003-05-15 | 2006-06-08 | Nantasket Software, Inc. | Network management system permitting remote management of systems by users with limited skills |
US20050168588A1 (en) * | 2004-02-04 | 2005-08-04 | Clay Fisher | Methods and apparatuses for broadcasting information |
CA2566453C (en) * | 2004-05-12 | 2012-07-10 | Redsky Mobile Inc. | Navigation of an n-dimensional hierarchical structure using a 2-dimensional controller |
JP5254612B2 (ja) * | 2004-05-21 | 2013-08-07 | プレスコ テクノロジー インコーポレーテッド | グラフィック再検査ユーザ設定インタフェース |
US7460953B2 (en) * | 2004-06-30 | 2008-12-02 | Navteq North America, Llc | Method of operating a navigation system using images |
US8751156B2 (en) | 2004-06-30 | 2014-06-10 | HERE North America LLC | Method of operating a navigation system using images |
US20060002590A1 (en) * | 2004-06-30 | 2006-01-05 | Borak Jason M | Method of collecting information for a geographic database for use with a navigation system |
US7456847B2 (en) * | 2004-08-12 | 2008-11-25 | Russell Steven Krajec | Video with map overlay |
US8207964B1 (en) * | 2008-02-22 | 2012-06-26 | Meadow William D | Methods and apparatus for generating three-dimensional image data models |
US8469824B1 (en) | 2004-09-27 | 2013-06-25 | Hasbro, Inc. | Device and method for an electronic tag game |
JP4581924B2 (ja) * | 2004-09-29 | 2010-11-17 | 株式会社ニコン | 画像再生装置、および画像再生プログラム |
US20060072009A1 (en) * | 2004-10-01 | 2006-04-06 | International Business Machines Corporation | Flexible interaction-based computer interfacing using visible artifacts |
EP1814101A1 (en) * | 2004-11-19 | 2007-08-01 | Daem Interactive, Sl | Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method |
US8301159B2 (en) * | 2004-12-31 | 2012-10-30 | Nokia Corporation | Displaying network objects in mobile devices based on geolocation |
US7720436B2 (en) * | 2006-01-09 | 2010-05-18 | Nokia Corporation | Displaying network objects in mobile devices based on geolocation |
US7796116B2 (en) | 2005-01-12 | 2010-09-14 | Thinkoptics, Inc. | Electronic equipment for handheld vision based absolute pointing system |
JP3908249B2 (ja) * | 2005-01-21 | 2007-04-25 | 松下電器産業株式会社 | 表示制御装置 |
US7479967B2 (en) * | 2005-04-11 | 2009-01-20 | Systems Technology Inc. | System for combining virtual and real-time environments |
DE102005019953A1 (de) | 2005-04-28 | 2006-11-02 | Beiersdorf Ag | Transferresistente Lippenpflegeprodukte |
FI117576B (fi) * | 2005-04-29 | 2006-11-30 | Tracker Oy | Menetelmä paikannettavien kohteiden esittämiseksi paikannuslaitteen näytöllä, paikannuslaite ja sovellus |
US7451041B2 (en) | 2005-05-06 | 2008-11-11 | Facet Technology Corporation | Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route |
HUP0500483A2 (en) * | 2005-05-12 | 2006-12-28 | Mta Sztaki Szamitastechnikai E | Method and equipment for matching virtual images to the real environment |
US7689704B2 (en) | 2005-08-05 | 2010-03-30 | Global Serv Inc. | Methods and arrangements for managing automated switching |
US7546374B2 (en) | 2005-08-05 | 2009-06-09 | Global Serv Inc. | Methods and arrangements for managing and maintaining a switch environment |
EP1929430A4 (en) * | 2005-08-29 | 2011-06-29 | Evryx Technologies Inc | INTERACTIVITY OF MOBILITY RECOGNITION |
ATE409307T1 (de) * | 2006-03-31 | 2008-10-15 | Research In Motion Ltd | Benutzerschnittstellenverfahren und vorrichtung zur steuerung der visuellen anzeige von karten mit auswählbaren kartenelementen bei mobilen kommunikationsvorrichtungen |
TW200739125A (en) * | 2006-04-14 | 2007-10-16 | Quarton Inc | Target searching device and image displaying method thereof |
US8913003B2 (en) * | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
US10102597B1 (en) * | 2006-10-30 | 2018-10-16 | The MLSOnline.com, Inc. | Internet based interactive graphical interface for real estate listings |
JP2008131217A (ja) * | 2006-11-20 | 2008-06-05 | Funai Electric Co Ltd | 携帯機器 |
US20080122839A1 (en) * | 2006-11-28 | 2008-05-29 | Microsoft Corporation | Interacting with 2D content on 3D surfaces |
US8212805B1 (en) | 2007-01-05 | 2012-07-03 | Kenneth Banschick | System and method for parametric display of modular aesthetic designs |
JP5162928B2 (ja) * | 2007-03-12 | 2013-03-13 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理システム |
US9176598B2 (en) * | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
US9037599B1 (en) * | 2007-05-29 | 2015-05-19 | Google Inc. | Registering photos in a geographic information system, and applications thereof |
US8994851B2 (en) * | 2007-08-07 | 2015-03-31 | Qualcomm Incorporated | Displaying image data and geographic element data |
US9329052B2 (en) * | 2007-08-07 | 2016-05-03 | Qualcomm Incorporated | Displaying image data and geographic element data |
DE102007045835B4 (de) | 2007-09-25 | 2012-12-20 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
DE102007045834B4 (de) | 2007-09-25 | 2012-01-26 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
US20090094188A1 (en) * | 2007-10-03 | 2009-04-09 | Edward Covannon | Facilitating identification of an object recorded in digital content records |
US8180396B2 (en) | 2007-10-18 | 2012-05-15 | Yahoo! Inc. | User augmented reality for camera-enabled mobile devices |
US7885145B2 (en) * | 2007-10-26 | 2011-02-08 | Samsung Electronics Co. Ltd. | System and method for selection of an object of interest during physical browsing by finger pointing and snapping |
US8073198B2 (en) * | 2007-10-26 | 2011-12-06 | Samsung Electronics Co., Ltd. | System and method for selection of an object of interest during physical browsing by finger framing |
JP4618291B2 (ja) * | 2007-11-30 | 2011-01-26 | ソニー株式会社 | 送信装置、受信装置および受信装置における操作情報送信方法 |
US9582937B2 (en) * | 2008-01-02 | 2017-02-28 | Nokia Technologies Oy | Method, apparatus and computer program product for displaying an indication of an object within a current field of view |
US20090289955A1 (en) * | 2008-05-22 | 2009-11-26 | Yahoo! Inc. | Reality overlay device |
US8711176B2 (en) * | 2008-05-22 | 2014-04-29 | Yahoo! Inc. | Virtual billboards |
US10095375B2 (en) * | 2008-07-09 | 2018-10-09 | Apple Inc. | Adding a contact to a home screen |
US9191238B2 (en) * | 2008-07-23 | 2015-11-17 | Yahoo! Inc. | Virtual notes in a reality overlay |
TWI661723B (zh) | 2008-08-08 | 2019-06-01 | 日商尼康股份有限公司 | 攜帶資訊機器及資訊取得系統 |
US8780131B2 (en) * | 2008-12-19 | 2014-07-15 | Xerox Corporation | Systems and methods for text-based personalization of images |
JP5328810B2 (ja) * | 2008-12-25 | 2013-10-30 | パナソニック株式会社 | 情報表示装置および情報表示方法 |
US8264379B2 (en) * | 2009-03-10 | 2012-09-11 | Honeywell International Inc. | Methods and systems for correlating data sources for vehicle displays |
JP5347673B2 (ja) * | 2009-04-14 | 2013-11-20 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP5338498B2 (ja) | 2009-06-09 | 2013-11-13 | ソニー株式会社 | 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム |
US8427508B2 (en) * | 2009-06-25 | 2013-04-23 | Nokia Corporation | Method and apparatus for an augmented reality user interface |
US8818274B2 (en) * | 2009-07-17 | 2014-08-26 | Qualcomm Incorporated | Automatic interfacing between a master device and object device |
DE102009037835B4 (de) | 2009-08-18 | 2012-12-06 | Metaio Gmbh | Verfahren zur Darstellung von virtueller Information in einer realen Umgebung |
US8755815B2 (en) | 2010-08-31 | 2014-06-17 | Qualcomm Incorporated | Use of wireless access point ID for position determination |
US8395547B2 (en) * | 2009-08-27 | 2013-03-12 | Hewlett-Packard Development Company, L.P. | Location tracking for mobile computing device |
US8416262B2 (en) * | 2009-09-16 | 2013-04-09 | Research In Motion Limited | Methods and devices for displaying an overlay on a device display screen |
US20110090253A1 (en) * | 2009-10-19 | 2011-04-21 | Quest Visual, Inc. | Augmented reality language translation system and method |
US20110099507A1 (en) | 2009-10-28 | 2011-04-28 | Google Inc. | Displaying a collection of interactive elements that trigger actions directed to an item |
US9001252B2 (en) * | 2009-11-02 | 2015-04-07 | Empire Technology Development Llc | Image matching to augment reality |
US20110115671A1 (en) * | 2009-11-17 | 2011-05-19 | Qualcomm Incorporated | Determination of elevation of mobile station |
KR20110118421A (ko) * | 2010-04-23 | 2011-10-31 | 엘지전자 주식회사 | 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템 |
KR101657565B1 (ko) * | 2010-04-21 | 2016-09-19 | 엘지전자 주식회사 | 증강 원격제어장치 및 그 동작 방법 |
KR101694159B1 (ko) * | 2010-04-21 | 2017-01-09 | 엘지전자 주식회사 | 증강 원격제어장치 및 그 동작 방법 |
US8812990B2 (en) | 2009-12-11 | 2014-08-19 | Nokia Corporation | Method and apparatus for presenting a first person world view of content |
US8543917B2 (en) * | 2009-12-11 | 2013-09-24 | Nokia Corporation | Method and apparatus for presenting a first-person world view of content |
TW201122711A (en) * | 2009-12-23 | 2011-07-01 | Altek Corp | System and method for generating an image appended with landscape information |
US8400548B2 (en) | 2010-01-05 | 2013-03-19 | Apple Inc. | Synchronized, interactive augmented reality displays for multifunction devices |
US20110196598A1 (en) * | 2010-02-09 | 2011-08-11 | Honeywell International Inc. | System and methods for rendering taxiway and runway signage in a synthetic display of an airport field |
EP2539883A1 (en) | 2010-02-24 | 2013-01-02 | Ipplex Holdings Corporation | Augmented reality panorama supporting visually impaired individuals |
JP2011199750A (ja) * | 2010-03-23 | 2011-10-06 | Olympus Corp | 撮像端末、外部端末、撮像システム、及び撮像方法 |
JP2011203823A (ja) * | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US20110248877A1 (en) * | 2010-04-12 | 2011-10-13 | Jeyhan Karaoguz | System and method providing remote user selection of a device |
KR101572892B1 (ko) * | 2010-05-06 | 2015-11-30 | 엘지전자 주식회사 | 이동 단말기 및 이것의 영상 디스플레이 방법 |
KR101357262B1 (ko) * | 2010-08-13 | 2014-01-29 | 주식회사 팬택 | 필터 정보를 이용한 객체 인식 장치 및 방법 |
US8655881B2 (en) | 2010-09-16 | 2014-02-18 | Alcatel Lucent | Method and apparatus for automatically tagging content |
US8533192B2 (en) | 2010-09-16 | 2013-09-10 | Alcatel Lucent | Content capture device and methods for automatically tagging content |
US8666978B2 (en) | 2010-09-16 | 2014-03-04 | Alcatel Lucent | Method and apparatus for managing content tagging and tagged content |
US20120067954A1 (en) * | 2010-09-16 | 2012-03-22 | Madhav Moganti | Sensors, scanners, and methods for automatically tagging content |
JP5814532B2 (ja) * | 2010-09-24 | 2015-11-17 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法 |
EP4344257A3 (en) | 2010-09-29 | 2024-06-05 | QUALCOMM Incorporated | Location tracking for mobile computing device |
KR101788046B1 (ko) * | 2010-11-03 | 2017-10-19 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US9955008B2 (en) * | 2010-11-15 | 2018-04-24 | Genesys Telecommunications Laboratories, Inc. | Method for interacting with a multimedia presentation served by an interactive response unit |
US8913171B2 (en) * | 2010-11-17 | 2014-12-16 | Verizon Patent And Licensing Inc. | Methods and systems for dynamically presenting enhanced content during a presentation of a media content instance |
US8265866B2 (en) | 2010-12-15 | 2012-09-11 | The Boeing Company | Methods and systems for augmented navigation |
WO2012094564A1 (en) * | 2011-01-06 | 2012-07-12 | Veveo, Inc. | Methods of and systems for content search based on environment sampling |
US8805056B2 (en) * | 2011-01-24 | 2014-08-12 | Xerox Corporation | Automatic detection and grouping of straight lines in images for personalization |
US11412998B2 (en) | 2011-02-10 | 2022-08-16 | Karl Storz Imaging, Inc. | Multi-source medical display |
US10674968B2 (en) * | 2011-02-10 | 2020-06-09 | Karl Storz Imaging, Inc. | Adjustable overlay patterns for medical display |
US10631712B2 (en) * | 2011-02-10 | 2020-04-28 | Karl Storz Imaging, Inc. | Surgeon's aid for medical display |
US20120221552A1 (en) * | 2011-02-28 | 2012-08-30 | Nokia Corporation | Method and apparatus for providing an active search user interface element |
US20120242572A1 (en) * | 2011-03-21 | 2012-09-27 | Electronics And Telecommunications Research Institute | System and method for transaction of sensory information |
US8810598B2 (en) | 2011-04-08 | 2014-08-19 | Nant Holdings Ip, Llc | Interference based augmented reality hosting platforms |
JP6316186B2 (ja) * | 2011-05-06 | 2018-04-25 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 広範囲同時遠隔ディジタル提示世界 |
IL213506A (en) * | 2011-06-13 | 2016-04-21 | Israel Aerospace Ind Ltd | Pursuing a goal |
US9024843B2 (en) * | 2011-06-30 | 2015-05-05 | Google Inc. | Wearable computer with curved display and navigation tool |
US9215383B2 (en) | 2011-08-05 | 2015-12-15 | Sportsvision, Inc. | System for enhancing video from a mobile camera |
US20130061147A1 (en) * | 2011-09-07 | 2013-03-07 | Nokia Corporation | Method and apparatus for determining directions and navigating to geo-referenced places within images and videos |
WO2013097227A1 (en) * | 2011-12-31 | 2013-07-04 | Nokia Corporation | Causing elements to be displayed |
US9684374B2 (en) | 2012-01-06 | 2017-06-20 | Google Inc. | Eye reflection image analysis |
JP5891843B2 (ja) * | 2012-02-24 | 2016-03-23 | ソニー株式会社 | クライアント端末、サーバ、およびプログラム |
US10354004B2 (en) | 2012-06-07 | 2019-07-16 | Apple Inc. | Intelligent presentation of documents |
US9646522B2 (en) * | 2012-06-29 | 2017-05-09 | Intel Corporation | Enhanced information delivery using a transparent display |
TWI526041B (zh) * | 2012-07-17 | 2016-03-11 | 廣達電腦股份有限公司 | 互動系統及互動方法 |
KR20180035243A (ko) * | 2012-08-24 | 2018-04-05 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 가상 현실 어플리케이션 |
US9607436B2 (en) | 2012-08-27 | 2017-03-28 | Empire Technology Development Llc | Generating augmented reality exemplars |
KR101382703B1 (ko) * | 2012-08-28 | 2014-04-08 | 인하대학교 산학협력단 | 증강현실 기술과 대용량 데이터의 통합을 위한 상호작용 방법 및 장치 |
US9330431B2 (en) * | 2012-12-19 | 2016-05-03 | Jeffrey Huang | System and method for synchronizing, merging, and utilizing multiple data sets for augmented reality application |
CN110084878B (zh) * | 2012-12-21 | 2023-07-07 | 苹果公司 | 用于在真实环境中表示虚拟信息的方法 |
EP2946361B1 (en) | 2013-01-15 | 2018-01-03 | Israel Aerospace Industries Ltd. | Remote tracking of objects |
EP2775408A1 (en) * | 2013-03-07 | 2014-09-10 | ABB Technology AG | Mobile device for identifying devices for technical maintenance |
US20140285519A1 (en) * | 2013-03-22 | 2014-09-25 | Nokia Corporation | Method and apparatus for providing local synchronization of information for augmented reality objects |
JP2015002423A (ja) * | 2013-06-14 | 2015-01-05 | ソニー株式会社 | 画像処理装置、サーバ及び記憶媒体 |
US20140372907A1 (en) * | 2013-06-17 | 2014-12-18 | Industry-Academic Cooperation Foundation, Yonsei University | Gesture-based construction project collaboration system |
CN103453901B (zh) * | 2013-06-27 | 2016-09-28 | 展讯通信(上海)有限公司 | 一种位置指引系统及位置指引方法 |
US9761053B2 (en) | 2013-08-21 | 2017-09-12 | Nantmobile, Llc | Chroma key content management systems and methods |
US9582516B2 (en) | 2013-10-17 | 2017-02-28 | Nant Holdings Ip, Llc | Wide area augmented reality location-based services |
US10365804B1 (en) * | 2014-02-20 | 2019-07-30 | Google Llc | Manipulation of maps as documents |
WO2015126098A1 (en) * | 2014-02-24 | 2015-08-27 | Samsung Electronics Co., Ltd. | Method and apparatus for displaying content using proximity information |
US10930038B2 (en) | 2014-06-10 | 2021-02-23 | Lab Of Misfits Ar, Inc. | Dynamic location based digital element |
US12008697B2 (en) | 2014-06-10 | 2024-06-11 | Ripple, Inc. Of Delaware | Dynamic location based digital element |
US10026226B1 (en) | 2014-06-10 | 2018-07-17 | Ripple Inc | Rendering an augmented reality object |
US10225506B2 (en) * | 2014-08-01 | 2019-03-05 | Sony Corporation | Information processing apparatus and information processing method |
USD763919S1 (en) * | 2014-12-18 | 2016-08-16 | Rockwell Automation Technologies, Inc. | Portion of a display screen with icon |
USD799498S1 (en) * | 2015-01-20 | 2017-10-10 | Ricoh Company, Ltd. | Portion of display screen with graphical user interface |
US10133931B2 (en) * | 2015-08-04 | 2018-11-20 | Fmr Llc | Alert notification based on field of view |
KR101747841B1 (ko) * | 2015-12-01 | 2017-06-14 | 주식회사 아이디스 | 카메라 팬틸트줌 제어 장치 |
DE102016119071A1 (de) | 2016-10-07 | 2018-04-12 | pixolus GmbH | Bilderfassung |
US20180198983A1 (en) * | 2017-01-06 | 2018-07-12 | Olympus Corporation | Image pickup apparatus, image pickup system, image pickup method, image pickup program, and display apparatus for image pickup |
WO2019097740A1 (ja) * | 2017-11-17 | 2019-05-23 | 株式会社Nttドコモ | 情報処理装置及び情報処理方法 |
US11164380B2 (en) * | 2017-12-05 | 2021-11-02 | Samsung Electronics Co., Ltd. | System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality |
US10453263B2 (en) | 2018-02-27 | 2019-10-22 | Verizon Patent And Licensing Inc. | Methods and systems for displaying augmented reality content associated with a media content instance |
US10803610B2 (en) | 2018-03-06 | 2020-10-13 | At&T Intellectual Property I, L.P. | Collaborative visual enhancement devices |
US11321411B1 (en) * | 2018-12-28 | 2022-05-03 | Meta Platforms, Inc. | Systems and methods for providing content |
US11163434B2 (en) * | 2019-01-24 | 2021-11-02 | Ademco Inc. | Systems and methods for using augmenting reality to control a connected home system |
USD949890S1 (en) * | 2019-09-05 | 2022-04-26 | Hoffmann-La Roche Inc. | Portion of a display screen with a graphical user interface |
USD921655S1 (en) * | 2020-01-13 | 2021-06-08 | Stryker European Operations Limited | Display screen with animated graphical user interface |
USD1030772S1 (en) * | 2020-09-11 | 2024-06-11 | Google Llc | Display screen or portion thereof with a transitional graphical user interface |
US11175791B1 (en) * | 2020-09-29 | 2021-11-16 | International Business Machines Corporation | Augmented reality system for control boundary modification |
Family Cites Families (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2994971A (en) | 1959-01-28 | 1961-08-08 | Gilbert Co A C | Instructional sky scanner |
US3769894A (en) | 1967-11-22 | 1973-11-06 | Brunswich Corp | Golf game |
US3729315A (en) | 1970-10-01 | 1973-04-24 | Brunswick Corp | Method of making scenes for a golf game |
USRE28847E (en) | 1972-06-28 | 1976-06-08 | Honeywell Inc. | Inside helmet sight display apparatus |
US3923370A (en) | 1974-10-15 | 1975-12-02 | Honeywell Inc | Head mounted displays |
FR2391619A1 (fr) * | 1977-05-18 | 1978-12-15 | Aerospatiale | Procede de telecommande d'un ensemble video avionable applique a la surveillance d'activites au sol, et ensemble video avionable destine a la mise en oeuvre dudit procede |
US4425581A (en) | 1981-04-17 | 1984-01-10 | Corporation For Public Broadcasting | System for overlaying a computer generated video signal on an NTSC video signal |
US4489389A (en) | 1981-10-02 | 1984-12-18 | Harris Corporation | Real time video perspective digital map display |
JPS58121091A (ja) | 1982-01-14 | 1983-07-19 | 池上通信機株式会社 | 立体感表示方式 |
US4835532A (en) | 1982-07-30 | 1989-05-30 | Honeywell Inc. | Nonaliasing real-time spatial transform image processing system |
US4645459A (en) | 1982-07-30 | 1987-02-24 | Honeywell Inc. | Computer generated synthesized imagery |
US4684990A (en) | 1985-04-12 | 1987-08-04 | Ampex Corporation | Method and apparatus for combining multiple video images in three dimensions |
US4736306A (en) | 1985-04-29 | 1988-04-05 | The United States Of America As Represented By The United States Department Of Energy | System for conversion between the boundary representation model and a constructive solid geometry model of an object |
FR2610752B1 (fr) | 1987-02-10 | 1989-07-21 | Sagem | Procede de representation de l'image en perspective d'un terrain et systeme pour sa mise en oeuvre |
US5566294A (en) * | 1989-09-29 | 1996-10-15 | Hitachi, Ltd. | Method for visual programming with aid of animation |
US4855822A (en) | 1988-01-26 | 1989-08-08 | Honeywell, Inc. | Human engineered remote driving system |
US5072218A (en) | 1988-02-24 | 1991-12-10 | Spero Robert E | Contact-analog headup display method and apparatus |
US4970666A (en) | 1988-03-30 | 1990-11-13 | Land Development Laboratory, Inc. | Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment |
EP0355172B1 (de) * | 1988-08-06 | 1994-07-20 | Deutsche ITT Industries GmbH | Fernbedienungssystem |
GB8826550D0 (en) | 1988-11-14 | 1989-05-17 | Smiths Industries Plc | Image processing apparatus and methods |
NL8901695A (nl) | 1989-07-04 | 1991-02-01 | Koninkl Philips Electronics Nv | Werkwijze voor het weergeven van navigatiegegevens voor een voertuig in een omgevingsbeeld van het voertuig, navigatiesysteem voor het uitvoeren van de werkwijze, alsmede voertuig voorzien van een navigatiesysteem. |
US5410649A (en) | 1989-11-17 | 1995-04-25 | Texas Instruments Incorporated | Imaging computer system and network |
US5572317A (en) * | 1990-05-31 | 1996-11-05 | Parkervision, Inc. | Remote-controlled tracking system for tracking a remote control unit and positioning and operating a camera and method |
US5528232A (en) | 1990-06-15 | 1996-06-18 | Savi Technology, Inc. | Method and apparatus for locating items |
US5467444A (en) | 1990-11-07 | 1995-11-14 | Hitachi, Ltd. | Method of three-dimensional display of object-oriented figure information and system thereof |
CA2060406C (en) | 1991-04-22 | 1998-12-01 | Bruce Edward Hamilton | Helicopter virtual image display system incorporating structural outlines |
FR2675977B1 (fr) | 1991-04-26 | 1997-09-12 | Inst Nat Audiovisuel | Procede de modelisation d'un systeme de prise de vues et procede et systeme de realisation de combinaisons d'images reelles et d'images de synthese. |
US5182641A (en) | 1991-06-17 | 1993-01-26 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Composite video and graphics display for camera viewing systems in robotics and teleoperation |
DE69131384T2 (de) * | 1991-07-19 | 2000-04-06 | Princeton Video Image, Inc. | Fernsehanzeigen mit ausgewählten eingeblendeten zeichen |
US5237408A (en) * | 1991-08-02 | 1993-08-17 | Presearch Incorporated | Retrofitting digital video surveillance system |
US5164827A (en) * | 1991-08-22 | 1992-11-17 | Sensormatic Electronics Corporation | Surveillance system with master camera control of slave cameras |
GB9121707D0 (en) | 1991-10-12 | 1991-11-27 | British Aerospace | Improvements in computer-generated imagery |
FR2683918B1 (fr) | 1991-11-19 | 1994-09-09 | Thomson Csf | Materiau constitutif d'une lunette de visee et arme utilisant cette lunette. |
US5252950A (en) | 1991-12-20 | 1993-10-12 | Apple Computer, Inc. | Display with rangefinder |
US5396287A (en) * | 1992-02-25 | 1995-03-07 | Fuji Photo Optical Co., Ltd. | TV camera work control apparatus using tripod head |
JPH0644339A (ja) * | 1992-03-06 | 1994-02-18 | Hewlett Packard Co <Hp> | 図形オブジェクト操作システム及び方法 |
JP2597802B2 (ja) * | 1992-08-04 | 1997-04-09 | インターナショナル・ビジネス・マシーンズ・コーポレイション | イメージ・キャプチャ装置を制御するための方法、イメージ・キャプチャ装置及びユーザ・インターフェース |
JP3382276B2 (ja) * | 1993-01-07 | 2003-03-04 | キヤノン株式会社 | 電子機器及びその制御方法 |
JP3297914B2 (ja) * | 1993-01-08 | 2002-07-02 | ソニー株式会社 | テレビジョン受像機 |
US5311203A (en) | 1993-01-29 | 1994-05-10 | Norton M Kent | Viewing and display apparatus |
US5815411A (en) * | 1993-09-10 | 1998-09-29 | Criticom Corporation | Electro-optic vision system which exploits position and attitude |
US5450140A (en) * | 1993-04-21 | 1995-09-12 | Washino; Kinya | Personal-computer-based video production system |
DE69430967T2 (de) * | 1993-04-30 | 2002-11-07 | Xerox Corp | Interaktives Kopiersystem |
US5625765A (en) * | 1993-09-03 | 1997-04-29 | Criticom Corp. | Vision systems including devices and methods for combining images for extended magnification schemes |
US6037936A (en) * | 1993-09-10 | 2000-03-14 | Criticom Corp. | Computer vision system with a graphic user interface and remote camera control |
US5754808A (en) * | 1993-09-29 | 1998-05-19 | Hitachi Software Engineering Co., Ltd | Method for implementing a program for an object-oriented programming system using graphics |
SG67927A1 (en) * | 1993-10-20 | 1999-10-19 | Videoconferencing Sys Inc | Adaptive videoconferencing system |
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
US5675753A (en) * | 1995-04-24 | 1997-10-07 | U.S. West Technologies, Inc. | Method and system for presenting an electronic user-interface specification |
US6044181A (en) * | 1997-08-01 | 2000-03-28 | Microsoft Corporation | Focal length estimation method and apparatus for construction of panoramic mosaic images |
-
1996
- 1996-06-12 US US08/662,219 patent/US6037936A/en not_active Expired - Lifetime
-
1997
- 1997-06-12 JP JP50184598A patent/JP4294093B2/ja not_active Expired - Lifetime
- 1997-06-12 EP EP97931159A patent/EP0979443A4/en not_active Withdrawn
- 1997-06-12 CA CA2258025A patent/CA2258025C/en not_active Expired - Lifetime
- 1997-06-12 WO PCT/US1997/010268 patent/WO1997048037A1/en not_active Application Discontinuation
- 1997-06-12 NZ NZ333362A patent/NZ333362A/xx unknown
- 1997-06-12 AU AU34864/97A patent/AU726106B2/en not_active Ceased
- 1997-06-12 KR KR1019980710200A patent/KR20000016604A/ko not_active Application Discontinuation
-
1998
- 1998-09-04 US US09/146,820 patent/US6414696B1/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2418605A2 (en) | 2010-08-09 | 2012-02-15 | NEC Magnus Communications, Ltd. | Local Search Device and Local Search Method |
JP2012038153A (ja) * | 2010-08-09 | 2012-02-23 | Nec Magnus Communications Ltd | 周囲情報検索装置及び周囲情報検索方法 |
US9083891B2 (en) | 2010-12-15 | 2015-07-14 | Hitachi, Ltd. | Video monitoring apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO1997048037A1 (en) | 1997-12-18 |
EP0979443A1 (en) | 2000-02-16 |
AU726106B2 (en) | 2000-11-02 |
JP2000512781A (ja) | 2000-09-26 |
KR20000016604A (ko) | 2000-03-25 |
US6414696B1 (en) | 2002-07-02 |
CA2258025C (en) | 2011-08-23 |
NZ333362A (en) | 2000-09-29 |
CA2258025A1 (en) | 1997-12-18 |
EP0979443A4 (en) | 2007-09-26 |
AU3486497A (en) | 1998-01-07 |
US6037936A (en) | 2000-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4294093B2 (ja) | コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイス | |
AU2020202551B2 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
Reitmayr et al. | Location based applications for mobile augmented reality | |
Hubenschmid et al. | Stream: Exploring the combination of spatially-aware tablets with augmented reality head-mounted displays for immersive analytics | |
US8464181B1 (en) | Floor selection on an interactive digital map | |
US9996982B2 (en) | Information processing device, authoring method, and program | |
Biocca et al. | Attention funnel: omnidirectional 3D cursor for mobile augmented reality platforms | |
EP1369822B1 (en) | Apparatus and method for controlling the shift of the viewpoint in a virtual space | |
Jo et al. | Aroundplot: Focus+ context interface for off-screen objects in 3D environments | |
EP2672459B1 (en) | Apparatus and method for providing augmented reality information using three dimension map | |
US5835692A (en) | System and method for providing mapping notation in interactive video displays | |
EP2201446B1 (en) | Method and apparatus for a holographic user interface | |
CN102538802B (zh) | 三维导航显示方法以及相关装置 | |
Klinker et al. | Augmented reality for exterior construction applications | |
Schmalstieg et al. | The world as a user interface: Augmented reality for ubiquitous computing | |
Veas et al. | Extended overview techniques for outdoor augmented reality | |
Tatzgern et al. | Exploring real world points of interest: Design and evaluation of object-centric exploration techniques for augmented reality | |
KR20120038316A (ko) | Ar 서비스를 제공하기 위한 사용자 단말기 및 그 방법 | |
JP2007093661A (ja) | ナビゲーション装置及び地図表示装置 | |
Ayyanchira et al. | Toward cross-platform immersive visualization for indoor navigation and collaboration with augmented reality | |
Schmalstieg et al. | Augmented reality as a medium for cartography | |
CN105138130A (zh) | 异地同场景内信息交流指示方法及系统 | |
Tatzgern et al. | Exploring Distant Objects with Augmented Reality. | |
Muthalif et al. | Resolving perceptual challenges of visualizing underground utilities in mixed reality | |
JP2002351309A (ja) | 都市vr地図連動情報表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070213 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070528 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070827 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080709 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090310 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090408 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
S202 | Request for registration of non-exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R315201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140417 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |