JP6818847B2 - 多次元画像空間を通したナビゲーション - Google Patents

多次元画像空間を通したナビゲーション Download PDF

Info

Publication number
JP6818847B2
JP6818847B2 JP2019201543A JP2019201543A JP6818847B2 JP 6818847 B2 JP6818847 B2 JP 6818847B2 JP 2019201543 A JP2019201543 A JP 2019201543A JP 2019201543 A JP2019201543 A JP 2019201543A JP 6818847 B2 JP6818847 B2 JP 6818847B2
Authority
JP
Japan
Prior art keywords
image
display
swipe
processors
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019201543A
Other languages
English (en)
Other versions
JP2020053058A (ja
Inventor
スコット・エドワード・ディラード
ハンバート・カスタニーダ
ス・チュイン・レオン
マイケル・キャメロン・ジョーンズ
クリストファー・グレイ
エヴァン・ハーデスティ・パーカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020053058A publication Critical patent/JP2020053058A/ja
Application granted granted Critical
Publication of JP6818847B2 publication Critical patent/JP6818847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)

Description

関連技術の相互参照
本出願は、その開示がここで参照により本明細書に組み込まれる、2015年12月17日に出願された米国特許出願第14/972,843号の継続出願である。
ユーザが時間的または空間的になどで順番に画像を見ることを様々なシステムが可能にする。いくつかの例では、これらのシステムは、離れた場所または興味深い場所で、ナビゲーション経験を提供することができる。いくつかのシステムは、パノラマの表示された部分の縁部上でクリックすること、およびパノラマをクリックした縁部の方向に「動く」ように見せることによって、仮想世界内でユーザが回転しているようにユーザに感じさせることを可能にする。
本開示の一態様は、多次元空間をナビゲーションする、コンピュータ実装される方法を提供する。本方法は、1つまたは複数のプロセッサによって、クライアントコンピューティングデバイスのディスプレイ上で表示するための多次元空間の第1の画像、第1の画像の一部にわたって延び、かつ多次元空間が第1の画像へと延びる方向を示すオーバーレイラインを提供するステップであって、それによって第2の画像が前記第1の画像に前記オーバーレイラインの方向に沿って接続される、ステップと、1つまたは複数のプロセッサによって、ディスプレイの一部にわたるスワイプを示すユーザ入力を受け取るステップであって、スワイプがディスプレイの開始画素および終了画素によって規定される、ステップと、1つまたは複数のコンピューティングデバイスによって、開始画素および終了画素に基づいて、第1の画像の少なくとも部分的に相互作用ゾーン内でスワイプが発生したことを決定するステップであって、相互作用ゾーンが、ユーザが多次元空間と相互作用できるオーバーレイラインの周りのエリアを規定する、ステップと、スワイプが少なくとも部分的に相互作用ゾーン内で発生したときに、1つまたは複数のプロセッサによって、第1の画像と異なる画像を表示する要求をスワイプが示すことを決定するステップと、第1の画像と異なる画像を表示する要求をスワイプが示すときに、1つまたは複数のコンピューティングデバイスによって、スワイプの開始点、スワイプの終了点、およびオーバーレイラインの方向に沿った第1の画像と第2の画像を接続する接続グラフに基づいて第2の画像を選択するステップと、1つまたは複数のコンピューティングデバイスによって、多次元空間中の動きの感覚を提供するために、ディスプレイ上に表示するための第2の画像を提供するステップとを含む。
一例では、本方法はまた、第1の画像と第2の画像との間で表示するための遷移画像を提供するステップであって、遷移画像が、第1の画像および第2の画像よりも詳細ではないサムネイル画像として提供されるステップを含む。別の例では、本方法はまた、オーバーレイラインとのユーザのアクションなしに閾値の時間期間が経過した後、オーバーレイラインをフェードアウトさせる命令を提供するステップを含む。この例では、オーバーレイラインをフェードアウトさせた後に、本方法は、ディスプレイ上の第2のユーザ入力を受け取るステップと、第2のユーザ入力に応答してオーバーレイラインを再表示する命令を提供するステップとを含む。別の例では、本方法はまた、スワイプの開始画素およびスワイプの終了画素に基づいてスワイプの方向および大きさを決定するステップを含み、第2の画像を選択するステップが、方向および大きさにさらに基づく。
別の例では、本方法はまた、第2の画像の一部にわたって延び、かつ多次元空間が第2の画像へと延びる方向を示す第2のオーバーレイラインを第2の画像に提供するステップであって、それによって第3の画像が第2の画像に接続グラフ中の第2のオーバーレイラインの方向に沿って接続される、ステップを含む。この例では、本方法は、第2のスワイプを示す第2のユーザ入力を受け取るステップと、多次元空間が第2の画像へと延びる方向に垂直な閾値角度内に第2のスワイプがあるかを判定するステップと、多次元空間が第2の画像へと延びる方向に垂直な閾値角度内に第2のスワイプがあるときに、第2の画像の多次元空間にわたってパンするステップとを含む。あるいは、本方法はまた、第2のスワイプを示す第2のユーザ入力を受け取るステップと、多次元空間が第2の画像へと延びる方向に垂直な閾値角度内に第2のスワイプがあるかを判定するステップと、多次元空間が第2の画像へと延びる方向に垂直な閾値角度内に第2のスワイプがあるときに、第2の画像内で向きを変えるステップとを含む。別の代替形態では、本方法はまた、第2のスワイプを示す第2のユーザ入力を受け取るステップと、多次元空間が第2の画像へと延びる方向に垂直な閾値角度内に第2のスワイプがあるかを判定するステップと、多次元空間が第2の画像へと延びる方向に垂直な閾値角度内に第2のスワイプがあるときに、第2の画像から接続グラフに隣接する第2の接続グラフ上に位置する第3の画像に切り替えるステップであって、第2の画像と第3の画像が接続グラフ中に方向接続を有さないステップとを含む。この例では、本方法はまた、第2の画像での表示が、第3のオーバーレイラインであるステップを証明するステップであって、第3のオーバーレイラインが第2の画像の現在のビューに最も近い第2のナビゲーション経路を表し、第3のオーバーレイラインと第2のオーバーレイラインが、第2の画像と表示されるときに互いに交差するように第3のオーバーレイラインが提供されるステップを含む。加えて、本方法は、第2のオーバーレイラインに沿った画像から第3のオーバーレイラインに沿った画像への遷移の要求を示す第3のオーバーレイラインに沿った第2のユーザ入力を受け取るステップと、第2のユーザ入力に応答して、表示する第3の画像を提供するステップとを含み、第3の画像が接続グラフ中の第3のオーバーレイラインに沿って配置される。さらに、本方法は、接続グラフ中の画像間の接続に基づいて、第2の画像と第3の画像との間の遷移として連続して表示するための画像のセットを選択するステップと、画像のセットをディスプレイ上に表示するために提供するステップとを含む。加えて、本方法はまた、画像のセットを提供する前に、第1の接続グラフと異なる第2の接続グラフ中の画像のセットのうちの2つの画像間の接続に基づいて、少なくとも1つの画像を除去するために、画像のセットをフィルタリングするステップであって、第2の画像と第3の画像との間の遷移として表示するためフィルタリングされた画像のセットが提供されるステップを含む。
本開示の別の態様は、システムを提供する。本システムは、各々が1つまたは複数のプロセッサを有する、1つまたは複数のコンピューティングデバイスを含む。1つまたは複数のコンピューティングデバイスは、クライアントコンピューティングデバイスのディスプレイ上で表示するための多次元空間の第1の画像、およびオーバーレイラインの方向に沿って第1の画像に第2の画像が接続されるような、第1の画像の一部にわたって延び、かつ多次元空間が第1の画像へと延びる方向を示すオーバーレイラインを提供し、ディスプレイの一部にわたるスワイプを示すユーザ入力を受け取り、スワイプがディスプレイの開始画素および終了画素によって規定され、開始画素および終了画素に基づいて、第1の画像の少なくとも部分的に相互作用ゾーン内でスワイプが発生したことを決定し、相互作用ゾーンが、ユーザが多次元空間と相互作用できるオーバーレイラインの周りのエリアを規定し、スワイプが少なくとも部分的に相互作用ゾーン内で発生したときに、第1の画像と異なる画像を表示する要求をスワイプが示すことを決定し、第1の画像と異なる画像を表示する要求をスワイプが示すときに、スワイプの開始点、スワイプの終了点、およびオーバーレイラインの方向に沿った第1の画像と第2の画像を接続する接続グラフに基づいて第2の画像を選択し、多次元空間中の動きの感覚を提供するために、ディスプレイ上に表示するための第2の画像を提供するように構成される。
一例では、1つまたは複数のコンピューティングデバイスは、第1の画像と第2の画像との間で表示するための遷移画像を提供するようにさらに構成され、遷移画像が、第1の画像および第2の画像よりも詳細ではないサムネイル画像として提供される。別の例では、1つまたは複数のコンピューティングデバイスは、オーバーレイラインとのユーザのアクションなしに閾値の時間期間が経過した後、オーバーレイラインをフェードアウトさせる命令を提供するようにさらに構成される。この例では、オーバーレイラインをフェードアウトさせた後に、1つまたは複数のコンピューティングデバイスが、ディスプレイ上の第2のユーザ入力を受け取り、第2のユーザ入力に応答してオーバーレイラインを再表示する命令を提供するようにさらに構成される。別の例では、1つまたは複数のコンピューティングデバイスが、スワイプの開始画素およびスワイプの終了画素に基づいてスワイプの方向および大きさを決定するようにさらに構成され、第2の画像を選択することが、方向および大きさにさらに基づく。別の例では、1つまたは複数のコンピューティングデバイスが、第2の画像の一部にわたって延び、かつ多次元空間が第2の画像へと延びる方向を示す第2のオーバーレイラインを第2の画像に提供するようにさらに構成され、それによって第3の画像が第2の画像に接続グラフ中の第2のオーバーレイラインの方向に沿って接続される。
本開示のさらなる態様は、プログラムのコンピュータ可読命令が記憶される、非一時的コンピュータ可読記憶デバイスを提供する。命令は、1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに方法を実施させる。本方法は、クライアントコンピューティングデバイスのディスプレイ上で表示するための多次元空間の第1の画像、および第1の画像の一部にわたって延び、かつ多次元空間が第1の画像へと延びる方向を示すオーバーレイラインを提供するステップであって、それによって第2の画像が第1の画像にオーバーレイラインの方向に沿って接続される、ステップと、ディスプレイの一部にわたるスワイプを示すユーザ入力を受け取るステップであって、スワイプがディスプレイの開始画素および終了画素によって規定される、ステップと、開始画素および終了画素に基づいて、第1の画像の少なくとも部分的に相互作用ゾーン内でスワイプが発生したことを決定するステップであって、相互作用ゾーンが、ユーザが多次元空間と相互作用できるオーバーレイラインの周りのエリアを規定する、ステップと、スワイプが少なくとも部分的に相互作用ゾーン内で発生したときに、第1の画像と異なる画像を表示する要求をスワイプが示すことを決定するステップと、第1の画像と異なる画像を表示する要求をスワイプが示すときに、スワイプの開始点、スワイプの終了点、およびオーバーレイラインの方向に沿った第1の画像と第2の画像を接続する接続グラフに基づいて第2の画像を選択するステップと、多次元空間中の動きの感覚を提供するために、ディスプレイ上に表示するための第2の画像を提供するステップとを含む。
本開示の態様による例示的なシステムの機能図である。 図1の例示的なシステムの実体図である。 本開示の態様による画像およびデータの例示的な表現である。 本開示の態様による例示的な画像グラフの表現である。 本開示の態様による例示的なクライアントコンピューティングデバイスおよびスクリーンショットである。 本開示の態様による例示的なクライアントコンピューティングデバイス、スクリーンショット、およびデータの表現である。 本開示の態様による例示的なクライアントコンピューティングデバイスおよびデータの表現である。 本開示の態様によるユーザ入力の例である。 本開示の態様によるユーザ入力の例である。 本開示の態様による例示のデータの表現である。 本開示の態様による別の例示的なクライアントコンピューティングデバイスおよびスクリーンショットである。 本開示の態様によるさらに例示的なクライアントコンピューティングデバイスおよびスクリーンショットである。 本開示の態様によるさらに別の例示的なクライアントコンピューティングデバイスおよびスクリーンショットである。 本開示の態様による別の例示のデータの表現である。 本開示の態様によるさらなる例示のデータの表現である。 本開示の態様による別の例示的なクライアントコンピューティングデバイスおよびスクリーンショットである。 本開示の態様による画像グラフの例示的な表現である。 本開示の態様による流れ図である。
概略
本技術は、ユーザが第一者または第三者のビューにおける多次元環境内でナビゲーションすることを可能にするインターフェースに関する。いくつかの実施形態では、環境は、モデルに画像をマッピングすることによりレンダリングされる3次元モデル、またはこれらの画像の互いの2次元または3次元の関係を識別する情報を有する、一連の緯度経度を調べた(たとえば、向きおよび場所情報を関連付けた)画像を含む場合がある。
多次元空間中の「臨場感のある」動きを実現するために、インターフェースは、連続的な動き、直感的な回転、シーンを見回すこと、および前後への動きを可能にしてもよい。たとえば、タッチ制御および/または動き制御を使用して多次元空間中でユーザが「移動」してもよい方向をユーザに指示するため、参照線を表示してもよい。線に対して異なる方向にスワイプすることによって、ユーザが単に向きを変えて見回すことを試みているときと比較して、ユーザが動こうとしているときおよび方向をインターフェースが容易に認識してもよい。
インターフェースを提供するため、複数の緯度経度を調べた画像が利用可能でなければならない。緯度経度情報と関連付けることに加えて、画像は、1つまたは複数の画像グラフ中で互いに接続されてもよい。グラフは、画像間の場所および距離に基づく手動および自動リンク、カメラが沿って動いたときカメラによって画像が取り込まれるなどの画像が取り込まれる方式、および画像中の任意の所与の点または向きに接続するための画像のセット中の最良の画像を識別する他の方法を含む様々な技法を使用して生成されてもよい。
ユーザに表示するための画像を提供するため、1つまたは複数のサーバコンピューティングデバイスが、これらの1つまたは複数のグラフにアクセスしてもよい。たとえば、ユーザのクライアントコンピューティングデバイスが、場所を識別する画像の要求を送信してもよい。1つまたは複数のサーバコンピューティングデバイスは、場所に対応する画像を識別するために、1つまたは複数の画像グラフにアクセスしてもよい。この画像は、次いで、ユーザのクライアントコンピューティングデバイスに提供されてもよい。
画像を提供することに加えて、1つまたは複数のサーバコンピューティングデバイスは、クライアントコンピューティングデバイスに、ナビゲーション用オーバーレイを表示するための命令を提供してもよい。このオーバーレイは、画像によって表される多次元空間中でユーザが動くことができる方向をユーザに示す線として表されてもよい。線自体は、実際には、ユーザが現在見ている画像と、1つまたは複数の画像グラフ中の他の画像との間の接続に対応してもよい。例として、この線は、画像グラフ中で識別される画像を取り込むためにカメラが動いた道路に対応してもよい。
ユーザはここで、多次元空間を通してナビゲーションするため、線を使用してもよい。たとえば、線は、画像から1つまたは複数の画像グラフ中の異なる画像に動くための相互作用ゾーンをユーザに示唆するために使用されてもよい。ユーザが線の相互作用ゾーン内および線に対してほぼ平行または線に対して何らかの小さい角度だけ異なってスワイプする場合、ユーザのクライアントコンピューティングデバイスは、スワイプおよび画像グラフの特性にしたがう新しい画像に遷移することによって、多次元空間中で「動き」まわってもよい。他の例では、スワイプは、現在の画像内のビューを回転する、または現在の画像中でパンする要求として識別されてもよい。
方向、大きさ、および速度を含むスワイプの特性は、どのようにビューが変わることになるのかを規定するために使用することができる。スワイプの大きさまたは画素での長さは、ビューを前後にどれだけ遠くに動かすかを決定するために使用することができる。加えて、ビューが多次元空間を通してどれだけ速く動いて見えるかを決定するために、スワイプの速度(画素/秒)、およびスワイプの加速度さえも使用されてもよい。
方向は、正規化デバイス座標(NDC)で、y=z平面上に、現在のスクリーン座標および以前のスクリーン座標を逆投影(unprojecting)(2次元から3次元への変換)すること、次いでグラウンド面へと再度投影することによって決定されてもよい。このことによって、シーンの幾何学的配置または地平線と独立した予測可能な方法で、垂直なディスプレイの動きを多次元空間中の前方への動きにマッピングすることが可能となり、水平なディスプレイの動きは、多次元空間中の横方向への動きへのマップにマッピングする。
例として、ユーザがクライアントコンピューティングデバイスのディスプレイ上に表されるビューをタップすると、線が現れてもよい。ユーザは、次いで、ディスプレイの一部に沿ってスワイプしてもよい。スワイプの最初の場所または画素およびスワイプに沿った他の場所を使用して、スワイプの速度が決定されてもよい。スワイプが完了した、またはユーザの指がディスプレイを離れたら、新しい画像への遷移のために、新しい画像へのズームおよびフェードなどの遷移アニメーションが表示される。
スワイプの特性に基づいて識別される画像に到達するため、典型的にはビューが複数の画像を移動するので、これらの複数の画像の最大の解像度は、実際には表示されなくてもよい。サムネイル画像など、代わりのより低い解像度のバージョンの画像が、現在の画像と識別される画像との間の遷移の部分として表示されてもよい。実際に識別される画像が表示されるとき、この画像は、最大の解像度で表示されてもよい。このことが時間および処理電力を節約する場合がある。
線の不透明度、幅、色、および場所などの特性は、多次元空間をナビゲーションすることをユーザがより容易に理解することを可能にするために変えられてもよい。加えて、線と多次元空間のユーザの探査の干渉をさらに減らすために、ユーザがインターフェースと相互作用していないとき、線は示されなくてもよい。例として、ユーザがディスプレイと相互作用しているのかに基づいて、必要に応じて、線が、フェードイン、フェードアウトされてもよい。
いくつかの例では、2つの道路の交差点、というよりむしろ、1つまたは複数の画像グラフにおける交差部分がある場合など、接続グラフは分岐してもよい。オーバーレイを簡単で理解しやすく保つために、現在の視点から短い距離内の現在の線に直接接続される線だけが、像上にオーバーレイされて見えてもよい。1つより多い道路が互いに交差する交差点などの、これらの分岐エリアでは、ユーザは、1つの線から別のものに変えることを望む場合がある。もちろん、前に移動して、交差点の中央で90度回転するのは、不自然を感じることがある。この点に関して、2つの線との間の遷移として、いずれかの線上にない画像を表示することによって、2つの線との間の交差点のコーナーを横切るために、1つまたは複数の画像グラフが使用されてもよい。
本明細書に記載される特徴によって、ユーザが探査をし、一方それと同時に多次元空間の内側の特定の所定の動き経路をたどり、一方それと同時にユーザが「スタック」すること、または無効な方法で動くことを防止することを可能にする。加えて、システムは、ユーザが動こうとしているときとユーザが見回そうとしているときの違いを認識することできる。他のシステムは、これらの動きのタイプを区別するために、複数のタイプの入力を必要とする。これらのシステムは、その場所に向かって動くため、ユーザが特定の場所を指すことを必要とする場合もある。これは、多次元空間中で動くために、ユーザがスワイプすることを可能にするよりもはるかに直観的でなく、ユーザは、動きたいたびに矢印上でタップまたはクリックしなければならないために、連続的な動きを可能にしない。
以下の実施形態の記載および添付図面を参照して考えると、本開示のさらなる態様、特徴、および利点が理解されよう。異なる図面中の同じ参照番号が、同じまたは同様の要素を識別する場合がある。さらに、以下の記載は、限定的ではなく、本技術の範囲は、添付の請求項および等価物によって規定される。例示的な実施形態にしたがう特定のプロセスが、線形な様式で起こると図には示されるが、これは、本明細書で明示的に言及されない限り、必要条件ではない。異なるプロセスが、異なる順番で、または同時に実施されてもよい。別段に言及されない限り、ステップが追加または省略されてもよい。
例示的なシステム
図1および図2は、上で記載された特徴が実施される場合がある、例示的なシステム100を含む。例示的なシステム100は、本開示の範囲を限定するものとして、または本明細書に記載される特徴の有用性として考えられるべきではない。この例では、システム100は、コンピューティングデバイス110、120、130、および140、ならびに記憶システム150を含むことができる。コンピューティングデバイス110の各々は、1つまたは複数のプロセッサ112、メモリ114、および汎用コンピューティングデバイス中に一般的に存在する他の構成要素を含有することができる。コンピューティングデバイス110、120、130、および140の各々のメモリ114は、1つまたは複数のプロセッサ112によって実行することができる命令116を含む、1つまたは複数のプロセッサ112によってアクセス可能な情報を記憶することができる。
メモリは、プロセッサによって取り出し、操作し、または記憶することができるデータ118を含むこともできる。メモリは、ハードドライブ、メモリカード、ROM、RAM、DVD、CD-ROM、書き込み可能、および読取り専用メモリなどの、プロセッサによってアクセス可能な情報を記憶することができる任意の非一時的なタイプであることができる。
命令116は、1つまたは複数のプロセッサにより、機械コードなどの直接実行される、またはスクリプトなどとの間接的に実行される命令の任意のセットであることができる。この点に関し、「命令」、「アプリケーション」、「ステップ」、および「プログラム」という用語は、本明細書では交換可能に使用することができる。命令は、プロセッサによる直接処理のためのオブジェクトコード形式で、または要求に応じて解釈されるもしくは事前にコンパイルされるスクリプトもしくは独立したソースコードモジュールの集合を含む任意の他のコンピューティングデバイス用言語で記憶することができる。命令の機能、方法、およびルーチンは、下でより詳細に説明される。
データ118は、命令116にしたがって、1つまたは複数のプロセッサ112によって、取り出し、記憶、または変更することができる。たとえば、本明細書に記載される主題は任意の特定のデータ構造によって制限されないが、データは、コンピュータのレジスタに、多くの異なるフィールドおよびレコードを有する表としてリレーショナルデータベースに、またはXML文書に、記憶することができる。データは、限定しないが、2進数値、ASCII、またはユニコードなどの任意のコンピューティングデバイス可読形式でフォーマットすることもできる。さらに、データは、数、説明テキスト、所有権のあるコード、ポインタ、他のネットワーク上の場所など他のメモリ中に記憶されるデータへの参照、または関連するデータを計算する機能により使用される情報など、関連する情報を識別するのに十分な任意の情報を含むことができる。
1つまたは複数のプロセッサ112は、市販のCPUなどの任意の従来型のプロセッサであることができる。あるいは、プロセッサは、特定用途向け集積回路("ASIC")または他のハードウェアベースのプロセッサなどの専用構成要素であることができる。必要ではないが、コンピューティングデバイス110のうちの1つまたは複数が、ビデオをデコードすること、画像にビデオフレームを一致させること、ビデオを変形させること、変形したビデオをエンコードすることなどの特定のコンピューティングプロセスをより速くより効率的に実施する専用ハードウェア構成要素を含んでもよい。
図1は、コンピューティングデバイス110のプロセッサ、メモリ、および他の要素を同じブロック内にあるように機能的に図示するが、プロセッサ、コンピュータ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に収納してもしなくてもよい、複数のプロセッサ、コンピュータ、コンピューティングデバイス、またはメモリを備えることができる。たとえば、メモリは、コンピューティングデバイス110のものと異なる筐体中に配置される、ハードドライブまたは他の記憶媒体であることができる。したがって、プロセッサ、コンピュータ、コンピューティングデバイス、またはメモリへの言及は、並列で動作してもしなくてもよい、プロセッサ、コンピュータ、コンピューティングデバイス、またはメモリの集合への言及を含むと理解されよう。たとえば、コンピューティングデバイス110は、負荷バランスしたサーバファーム、分散システムなどとして動作するサーバコンピューティングデバイスを含んでもよい。さらにまた、下に記載されるいくつかの機能は、単一のプロセッサを有する単一のコンピューティングデバイス上で行われるとして示されるが、本明細書に記載される主題の様々な態様は、たとえば、ネットワーク160にわたって情報を通信する複数のコンピューティングデバイスによって実施することができる。
コンピューティングデバイス110の各々は、ネットワーク160の異なるノードであることができ、ネットワーク160の他のノードと直接的および間接的に通信することができる。図1〜図2には少数のコンピューティングデバイスだけが描かれているが、典型的なシステムは、多数の接続されたコンピューティングデバイスを含み、各異なるコンピューティングデバイスは、ネットワーク160の異なるノードにあることができることを理解されたい。本明細書に記載されるネットワーク160および介在するノードは、様々なプロトコルおよびシステムを使用して相互接続することができ、それによって、ネットワークが、インターネット、ワールドワイドウェブ、専用イントラネット、ワイドエリアネットワーク、またはローカルネットワークの部分であることができる。ネットワークは、イーサネット(登録商標)、WiFiおよびHTTP、1つまたは複数の企業に所有権のあるプロトコル、ならびに上記の様々な組合せなどの標準的な通信プロトコルを利用することができる。上で言及したように情報が送受信されるとある種の利点が得られるが、本明細書に記載される主題の他の態様は、情報の送信の任意の特定の方式に限定されない。
例として、コンピューティングデバイス110の各々が、ネットワークを介して記憶システム150ならびにコンピューティングデバイス120、130、および140と通信できるウェブサーバを含むことができる。たとえば、サーバコンピューティングデバイス110のうちの1つまたは複数がネットワーク160を使用して、ユーザ220、230、または240などのユーザに、コンピューティングデバイス120、130、または140のディスプレイ122、132、または142などのディスプレイ上で情報を送信および提示してもよい。この点に関して、コンピューティングデバイス120、130、および140は、クライアントコンピューティングデバイスと考えてもよく、本明細書に記載される特徴のすべてまたは一部を実施してもよい。
クライアントコンピューティングデバイス120、130、および140の各々は、上に記載されるように、1つまたは複数のプロセッサ、メモリ、および命令で、サーバコンピューティングデバイス110と同様に構成してもよい。各クライアントコンピューティングデバイス120、130、または140は、ユーザ220、230、240が使用することを意図した個人用コンピューティングデバイスであってもよく、中央処理装置(CPU)、データおよび命令を記憶するメモリ(たとえば、RAMおよび内蔵ハードドライブ)、ディスプレイ122、132、または142などのディスプレイ(たとえば、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、テレビジョン、または情報を表示するように動作可能な他のデバイス)、およびユーザ入力デバイス124(たとえば、マウス、キーボード、タッチスクリーン、またはマイクロフォン)などの、個人用コンピューティングデバイスに関連して通常使用される構成要素のすべてを有してもよい。クライアントコンピューティングデバイスは、ビデオストリームを記録するためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用される構成要素のすべてを含むこともできる。
クライアントコンピューティングデバイス120、130、および140が、各々、フルサイズの個人用コンピューティングデバイスを備えてもよいが、その代わりに、インターネットなどのネットワークを介してサーバとデータをワイヤレスで交換することが可能なモバイルコンピューティングデバイスを備えてもよい。単に例として、クライアントコンピューティングデバイス120は、モバイルフォン、またはインターネットを介して情報を得ることが可能な、ワイヤレス使用可能なPDA、タブレットPC、もしくはネットブックなどのデバイスであってもよい。別の例では、クライアントコンピューティングデバイス130は、ヘッドマウントコンピューティングシステムであってもよい。例として、ユーザは、小さいキーボード、キーパッド、マイクロフォンを使用して、カメラまたはタッチスクリーンで視覚信号を使用して、情報を入力してもよい。
メモリ114と同様に、記憶システム150は、ハードドライブ、メモリカード、ROM、RAM、DVD、CD-ROM、書き込み可能、および読取り専用メモリなどの、サーバコンピューティングデバイス110によってアクセス可能な情報を記憶することができる任意のタイプのコンピュータ化した記憶装置であることができる。加えて、記憶システム150は、同じまたは異なる地理的な場所に物理的に配置されてもよい、複数の異なる記憶デバイス上にデータが記憶される分散記憶システムを含んでもよい。記憶システム150は、図1に示されるようなネットワーク160を介してコンピューティングデバイスに接続されてもよく、および/または、コンピューティングデバイス110、120、130、および140(図示せず)のいずれかに直接接続されてもよい。
記憶システム150は、画像、ならびに、画像識別子、画像の向きおよび場所、画像を取り込んだカメラの向きおよび場所、ならびに固有のカメラ設定(焦点距離、ズームなど)などの関連情報を記憶してもよい。向きおよび場所情報と関連付けることに加えて、画像は、1つまたは複数の画像グラフ中で互いに接続されてもよい。言い換えると、任意の所与の画像から、これらの画像グラフは、その画像にどの他の画像が接続され、どの方向かを示してもよい。
グラフは、場所および画像間の距離に基づく手動および自動リンク、カメラが沿って動いたときカメラによって画像が取り込まれる場所などの画像が取り込まれる方式、および画像中の任意の所与の点または向きに接続するための画像のセット中の最良の画像を識別する他の方法を含む様々な技法を使用して生成されてもよい。たとえば、図3の例300に示されるように、画像は、道路302に沿って車両を操縦することによって取り込まれてもよい。この例では、道路は、複数の車線304、306、308を含む。あるとき、車線304の中で運転される車両が、とりわけ、道路302ならびに建造物330、332、334、336、338などの車両の環境における特徴を含む一連の画像310を取り込む。別のときに、車線306の中で運転され(後で、画像340と画像342との間で車線308に切り替える)同じまたは異なる車両が、一連の画像320を取り込む。一連の画像を取り込む1つまたは複数のカメラが沿って動かされたため、一連の画像が、各画像を画像が取り込まれたときのカメラの場所、画像が取り込まれたときのカメラの(たとえば、向き指示器360に対する)向き、画像が取り込まれた日時を示すタイムスタンプ情報などについての情報と関連付けてもよい。経時的で一連の画像に沿ったカメラの位置の変化は、線350、352によって、画像の対を一緒に「リンク」するために使用されてもよい。さらに、このリンク形成は、カメラの場所および向きならびに画像のタイムスタンプ情報を使用し、経時的なカメラの位置の変化に基づいて、手動または自動的に実施されてもよい。リンク形成によって、こうして、画像グラフの接続、または各隣接する画像の対間の相対的な向きを記述する情報が作られる。この例では、リンク形成の結果は、一連の画像310および画像320に対応する2つの画像グラフ、ならびに画像間の接続である。
グラフ自体が、異なる画像および接続を有してもよい。図4は、一連の画像グラフ410、420、450の例である。この例では、画像グラフ410および420は、道、または道路、経路などに対応する地図グリッドに沿った画像だけを表す画像および接続から、より複雑なグラフをグリッドを含むそれらの画像および接続のみのセットに分けることによって、生成されてもよい。たとえば、画像グラフ410および420は、一連の画像310および320から上で議論したように生成されてもよい。画像グラフ420は、実際には、道路302またはマップ中の道路のグリッドに関係する画像402〜画像430だけを含む。他の接続性グラフは、ここで、第1のグラフ中の画像から、第1のグラフ中のものを超える画像への接続を識別してもよい。たとえば、画像グラフ450は、画像320のシリーズの画像402、404、406、および408と、画像322のシリーズの画像442、444、446、および448との間の接続を含む。加えて、画像グラフ450は、建造物330内からの画像であってもよいが、画像320または322のいずれのシリーズにも含まれない、画像452および545との接続を含む。さらに、これらの接続は、上で議論したように、手動または自動的に描かれてもよい。
例示的な方法
以前に議論したように、以下の動作は、下に記載される正確な順番で実施される必要はない。むしろ、上で述べたように、様々な動作は、異なる順番で、または同時に処理されてよく、動作は、加えられても省略されてもよい。
例として、クライアントコンピューティングデバイスは、ユーザに画像ナビゲーション経験を提供してもよい。クライアントコンピューティングデバイスは、画像を取り出して表示するために、1つまたは複数のサーバコンピューティングデバイスと通信することによってそうしてもよい。1つまたは複数のサーバコンピューティングデバイスは、ユーザへ表示するための画像を提供するために、これらの1つまたは複数のグラフにアクセスしてもよい。たとえば、ユーザのクライアントコンピューティングデバイスが、場所を識別する画像の要求を送信してもよい。1つまたは複数のサーバコンピューティングデバイスは、場所に対応する画像を識別するために、1つまたは複数の画像グラフにアクセスしてもよい。この画像は、次いで、ユーザのクライアントコンピューティングデバイスに提供されてもよい。
画像を提供することに加えて、1つまたは複数のサーバコンピューティングデバイスは、クライアントコンピューティングデバイスに、ナビゲーション用オーバーレイを表示するための命令を提供してもよい。このオーバーレイは、多次元空間中でユーザが動くことができる方向をユーザに示す線として表されてもよい。たとえば、図5は、コンピューティングデバイス120のディスプレイ122上で表示される画像グラフ310の画像444の例示的なビュー500である。ここで、ユーザが動くことができる画像444への方向を示すオーバーレイライン502が提供される。線自体は、実際には、ユーザが現在見ている画像444と、画像グラフ310中の他の画像との間の接続に対応してもよい。例の中に見ることができるように、画像444は、建造物332、334、336、および338の部分を含む。
ユーザは、ここで、多次元空間を通してナビゲーションするため、線を使用してもよい。たとえば、線は、画像から1つまたは複数の画像グラフ中の異なる画像に動くための相互作用ゾーンをユーザに示唆するために使用されてもよい。図6の例600に示されるように、相互作用ゾーン602は、線502の外縁を超えて延びる。相互作用ゾーン602は、図6中のディスプレイ122上に表示されるが、この相互作用ゾーンは、実際には、ユーザに表示される必要はなく、ディスプレイ上の混雑を減らすために「隠され」てもよい。相互作用ゾーン602が線の外縁を超えて延びるために、このことは、ユーザが、彼または彼女の指(またはスタイラス)をスワイプすることを試みるときの誤差について、ある程度の余地を許容してもよい。たとえば、図7の例700を参照すると、エリア702がディスプレイ122に対応する。この例では、エリア702とは、相互作用ゾーン602の外側であるディスプレイ122のエリアのことをいう。さらに、これらのエリアは、必ずしもユーザに表示されなくてもよく、図7は、下の例をより明瞭に図示する目的で使用される。
ユーザが、線の相互作用ゾーン内で、線にほぼ平行または線に対して何らかの小さい角度差内でスワイプする場合、クライアントコンピューティングデバイスは、多次元空間中で、「動き」まわってもよい。たとえば、図8Aおよび図8Bの例800Aおよび例800Bで示されるように、ユーザは、矢印804または806の方向に、線502とほぼ平行にスワイプすることによって指(またはスタイラス)を使用して線の相互作用ゾーン602と相互作用してもよい。図9の例900に示されるように、スワイプは、線502に対して正確に平行な可能性が低いため、相互作用ゾーン602内の線502の方向からの、10度または15度などの小さい角度差(θ1)が無視され、「ほぼ」平行であると考えられてもよい。
図8Aに戻って、ユーザが矢印804の方向にスワイプすると、多次元空間内でユーザを動かすように見える新しい画像が表示されてもよい。たとえば、ユーザが、線502に対してほぼ平行に相互作用ゾーン602内でスワイプすることに応じて、ディスプレイが、画像グラフ310の別の画像に遷移してもよい。図10の例1000に示されるように、ディスプレイは、画像グラフ310の画像470に遷移する。この例では、ディスプレイは、ユーザを線502にほぼ沿って線304をさらに下って動かしたように見え、それによって建造物336はもはや見えない。これは、また、ユーザが、彼または彼女が2次元画像を通して見ている3次元空間内で、彼または彼女が動いているという感覚を可能にする。表示される画像の選択は、下で議論されるスワイプおよび1つまたは複数の画像グラフの特性に依存してもよい。
ユーザが、この相互作用ゾーン602の外側で、またはむしろ、線502から極めて多くの画素離れて、または、線に対して何らかの指定された角度差(たとえば、θ1より大きいが90-θ1未満)内でスワイプする場合に、新しい画像に遷移するよりむしろ、ユーザのクライアントコンピューティングデバイスが、現在の画像のビューの向きを変える、またはむしろ、現在の画像内のビューを回転してもよい。たとえば、ユーザが、θ1よりも大きいが90-θ1未満の角度で、ディスプレイ122の左側からディスプレイ122の右側に向かって例600のディスプレイにわたって彼または彼女の指をスワイプした場合、線502にほぼ沿って動くのではなく、ディスプレイが、画像444内で回転してもよい。図11の例1100に示されるように、ディスプレイは、画像444内の例600の位置から回転し、建造物332のより多くを表示する。これは、ユーザに、多次元空間内で前後に動くのとは反対に、彼もしくは彼女が回転した、または彼もしくは彼女の向きを変えたという感覚を与える。こうして、相互作用ゾーンは、クライアントコンピューティングデバイスに、動きまわる(すなわち、前後に動く)要求と、ユーザの向きを変える要求との間を区別することを可能にする。
加えて、ユーザが、相互作用ゾーン内または相互作用ゾーンの外側で、線502の方向にほぼ垂直に、または垂直から小さい角度差θ1内で(または線502の方向に平行から90-θ1未満で)スワイプする場合、これは、ユーザが、現在の画像中でパンする(横方向に動く)ことを望むことを示してもよい。たとえば、ユーザが、線502の方向に平行に90-θ1よりも大きい角度で、ディスプレイ122の左側からディスプレイ122の右側に向かって例600のディスプレイにわたって彼または彼女の指をスワイプした場合、線502にほぼ沿って動く、または画像444内で回転するのではなく、ディスプレイが、現在の画像内で、パンしてもよい。この点に関して、1つまたは複数の画像グラフにしたがって1つより多い線が存在する場合、この動きは、ビューを異なる線に実際に「ジャンプ」させてもよい。たとえば、画像444から、図12の例1200中に示されるような画像グラフ420の画像404にジャンプしてもよい。ここで、ユーザには、画像444と画像402との間で動くことによって車線304内の点から車線306内の点にパンしたように見える。この点において、画像グラフ420に対応する新しいオーバーレイ1202が、画像404と表示するために提供されてもよい。
方向、大きさ、および速度を含むスワイプの特性は、どのようにビューが変わることになるのかを規定するために使用することができる。たとえば、線が表示される際に、ユーザが相互作用ゾーンに沿ってスワイプする場合、その結果は、(画像グラフ内の)スワイプが開始した点に向かう方向への動きであってもよい。この点に関して、図8Aに示されるように下向きにドラッグすることによってビューを前方へと進め、図8Bに示されるように上向きにドラッグすることによってビューを後方へと進める。
スワイプの大きさまたは画素での長さは、ビューを前後にどれだけ遠くに動かすかを決定するために使用することができる。たとえば、スワイプが閾値の画素最小数を超えない場合、その結果、動かなくてもよい。スワイプが閾値の画素最小数を満たす場合、多次元における動きは、スワイプが超えた画素数に対応してもよい。しかし、ビューは奥行きを有するために、線が現れる平面が画像中の消滅点に向かって傾斜することになるため、画素での距離と多次元での距離の関係は、(線形とは反対に)指数関数であってもよい。この点に関して、画素での距離は、多次元空間での距離に変換されてもよい。元の画像からの多次元空間での距離に最も近い1つまたは複数の画像グラフにしたがう線に沿った画像が、ビューが遷移する画像として識別されてもよい。
加えて、ビューが多次元を通してどれだけ速く動いて見えるかを決定するために、スワイプの速度(画素/秒)、およびスワイプの加速度さえも使用されてもよい。たとえば、動きは、最初にスワイプの速度に対応してもよいが、この速度は、遅くなり、スワイプの大きさにしたがって識別される画像において停止してもよい。スワイプの大きさに基づいて決定される距離が2つの画像との間である場合、スワイプの速度(または加速度)が使用されて、どちらの画像をビューが遷移する画像として識別するかを決定してもよい。たとえば、速度(または加速度)が比較的速い、または何らかの閾値の速度(または加速度)よりも速い場合、元の画像からより遠い画像が選択されてもよい。同時に、速度(または加速度)が比較的遅い、または閾値の速度(または加速度)よりも遅い場合、元の画像により近い画像が選択されてもよい。さらに別の例では、速度(または加速度)が何らかの他の閾値を満たすと、それに応じて、ユーザがディスプレイをタップするまで、スワイプの速度にしたがって、1つまたは複数の画像グラフ中の線に沿った画像間を遷移することによってビューが多次元空間を通って連続的に動くように見えてもよい。このタップが、動きを停止するまで減速させても、または現在の画像もしくは1つまたは複数の画像グラフにしたがう次の画像上で直ちに停止させてもよい。さらに別の例では、線にほぼ垂直になされたスワイプの速度は、多次元を通して、線にほぼ平行になされたスワイプの同じ速度よりも遅い動きに変換されてもよい。またさらに、スワイプの速度は、どこでスワイプが起こったのかに基づいて決定されてもよい。この点に関して、速度は、これがスワイプの「平均的」スクリーン位置であるという直感にしたがって、スクリーンの底部と地平線との間のスクリーン途中の点における、メートル/画素を測定することによって決定されてもよい。そのため、ユーザが正確にこの点の上で彼または彼女の指をドラッグする場合、グラウンド面上の画素は、ユーザの指と同じ速度で動くことになる。
方向は、正規化デバイス座標(NDC)で、y=z平面上に、現在のスクリーン座標および以前のスクリーン座標を逆投影(unprojecting)(2次元から3次元への変換)すること、次いでグラウンド面へと再度投影することによって決定されてもよい。たとえば、図13の例1300は、グラウンド面1306に対するコンピューティングデバイス120のスクリーン1304の平面の(矢印1302により示される)相対的な方向を示す図である。これら2つの平面との間には、NDC平面1308がある。図14の例1400は、グラウンド面1306に沿った矢印1406により示される動きに対する、スクリーン1304の平面上の矢印1404により示される指のスワイプの方向を描く。ここで、ユーザの指は、スクリーン1304上の点Aでスワイプを始め、スクリーン上の点Bでスワイプを終了する。これらの点は、NDC平面1308上の対応する点B'およびA'に変換される。NDC平面から、点がグラウンド面1306上の点CおよびDに投影される。このことによって、シーンの幾何学的配置または地平線と独立した予測可能な方法で、垂直なディスプレイの動きを多次元空間中の前方への動きにマッピングし、水平なディスプレイの動きを多次元空間中の横方向への動きへのマップにマッピングすることが可能になる。
例として、ユーザがクライアントコンピューティングデバイスのディスプレイ上に表さ
れるビューをタップすると、線が現れてもよい。ユーザは、次いで、ディスプレイの一部に沿ってスワイプしてもよい。スワイプの最初の場所または画素およびスワイプに沿った他の場所を使用して、スワイプの速度が決定されてもよい。スワイプが完了した、またはユーザの指がディスプレイを離れたら、新しい画像への遷移のために、新しい画像へのズームおよびフェードなどの遷移アニメーションが表示される。例として、速度が閾値よりも遅いまたは閾値未満である場合、線に沿った次の画像が新しい画像として表示されてもよい。速度が閾値よりも速い場合、スワイプの終了時間およびディスプレイ上の位置が決定される。1つまたは複数の画像グラフにしたがう線に沿ったこの位置に最も近い画像が、目標の画像として識別される。この例では、目標の画像に到達するまで、線に沿った画像間の遷移アニメーションが続く。いくつかの例では、遷移アニメーションの期間に表示される画像および目標の画像は、ローカルメモリから実時間で、または、場所情報を証明すること、および遷移アニメーションが再生されているときに1つまたは複数のサーバコンピューティングデバイスから画像を要求することによって取り出されてもよい。
スワイプの特性に基づいて識別される画像に到達するため、典型的にはビューが複数の画像を移動するので、これらの複数の画像の最大の解像度は、実際には表示されなくてもよい。サムネイル画像など、代わりのより低い解像度のバージョンの画像が、現在の画像と識別される画像との間の遷移の部分として表示されてもよい。実際に識別される画像が表示されるとき、この画像は、最大の解像度で表示されてもよい。このことが時間および処理電力を節約する場合がある。
線の特性は、ユーザが多次元をより容易に理解しナビゲーションすることを可能にするために変えられてもよい。たとえば、線の不透明度は、ユーザが線の下の特徴をより多くまたは少なく見ることを可能にするために調整され、したがって多次元を視覚的に探査するユーザの能力についての線の影響を減少させてもよい。この点に関して、線の幅は、線がオーバーレイされる道路の幅に対応してもよい。同様に、線の幅および相互作用ゾーンは、線が、ディスプレイをあまりに広く取り過ぎることを防止する一方、同時にユーザが、彼または彼女の指を使用して線と相互作用することを可能にするのに十分なだけ線を太くするために、調整されてもよい。たとえば青といった線の色は、現在のビューを補完するため、または線が現在のビューから目立つことを可能にするために選択されてもよい。
線の場所は、1つまたは複数の画像グラフ中の接続線と常に同一である必要はない。たとえば、線が道路の幅に対応して表示される場合、1つまたは複数の画像グラフ中の対応する接続は、実際には、道路の中央を通らない場合があり、それによって、線は、1つまたは複数の画像グラフに完全には対応しない。接続線の幾何形状がジグザクであるエリアでは、接続線は、実際には、オーバーレイとしてより直線的な線に適合される場合がある。この点に関して、線は、各画像の中心を通過しない場合があるが、ビュー上にオーバーレイされたときに平滑な外観を有する場合がある。
いくつかの例では、2つの道路の交差点というよりむしろ、1つまたは複数の画像グラフにおける交差部分がある場合など、接続グラフは分岐してもよい。図15の例1500Aは、2つの線1502と1504が互いに交差する分岐エリアの例を描く。この例では、ユーザが一方または他方へと進むためにスワイプする場合、結果として得られる動きは、1つまたは複数の画像グラフにしたがったその所望の分岐をたどり、ビューは、ユーザが線に沿って前を向き続けるように調整する。複数の分岐を示すことによって、利用可能な動きの方向がユーザに直ちに明らかとなる。しかし、オーバーレイを簡単で理解しやすく保つために、現在の視点から短い距離内の現在の線に直接接続される線だけが像上にオーバーレイされて見えてもよい。所定の距離内のユーザが移動できる方向を指す線を使用することによって、ユーザが多次元空間中で進むことができる情報をユーザが矛盾に感じるまたは混乱することを防止してもよい。これは、複雑な幾何学的エリア、または複雑なナビゲーション選択において特に重要である。
1つより多い道路が互いに交差する交差点などの、これらの分岐エリアでは、ユーザは、1つの線から別のものに変えることを望む場合がある。もちろん、前に移動して、交差点の中央で90度回転するのは、不自然を感じることがある。この点に関して、遷移として、両方の線上にない画像を表示することによって、2つの線との間の交差点のコーナーを横切るために、1つまたは複数の画像グラフが使用されてもよい。図15Bは、線1512および1514が、それぞれ線1504および1502に対応する画像グラフ1500Bを描く。ここで、図15Aの例では、ディスプレイ122は、画像Gの方向における画像Eの画像を表示している。ユーザが、1502の周りの相互作用ゾーン内をスワイプした場合、これは、画像グラフ1500B上の画像Hの場所に対応することになる。この例では、分岐エリアのために、画像F、次いで画像Hではなく画像Gに遷移する代わりに、ディスプレイは、画像Eから経路1516に沿って画像Hに直接遷移して見えてもよい。あるいは、ただ1つの画像が間引かれてもよく、ディスプレイは、経路1518に沿って、画像Eから画像F、次いで画像Hへと遷移して見えてもよい。
線と、多次元のユーザの探査の干渉をさらに減らすために、ユーザがインターフェースと相互作用していないとき、線は示されなくてもよい。このことによって、ユーザが、すべての3Dシーンを見ることが可能になる。例として、線が見えていないときに、ユーザが、シーン中のどこかでタップしてドラッグする(または、クリックしてドラッグする、または動いてドラッグする)場合、彼または彼女は、シーンを見回すことになる。ユーザが画像上で1回タップすると、線が現れてもよい。きらめき、線の明滅、線の太さを太くし次いで細くする、または急速に線の不透明さを増減させ次いで正常の不透明さに戻すなどの効果を使用して、ユーザに線のインタラクティブな性質を示してもよい。ユーザが相互作用ゾーン内でドラッグ動作をする場合、線が見えていないときでさえも、線が現れ、画像が現れて線に沿って遷移してもよい。2秒または2秒より長いもしくは短いなどの、ディスプレイ上でクライアントコンピューティングデバイスによって受信される入力がない場合、またはディスプレイ上の単一のタップ後の1/2秒または1/2秒より長いもしくは短いなど、何らかの予め規定された時間期間後に、線は、再び消えるまでフェードされて、画像上の線の影響を減少させてもよい。
インターフェースは、グリッドに対応する、線に沿った画像間に加えて、他のタイプのナビゲーションをもうけてもよい。たとえば、上で言及したように、単一のタップが線を現れさせてもよい。この例では、単一のタップは、ビューを変化させなくてもよく、むしろ、ビューは、静止したままで見えてもよい。同時に、ダブルタップによって、ダブルタップの点、またはダブルタップの点近くの現在の画像に1つまたは複数の画像グラフ中で接続される画像へと、ユーザを進めてもよい。さらに、ユーザが現在、線にほとんど垂直に面していて、ユーザが線にほぼ垂直にスワイプする場合、ビューが、線に垂直のまま現れて、ユーザが道路に沿って「機銃掃射する(strafe)」ことを可能にしてもよい。加えて、挟むジェスチャーによって、実際には新しい画像へ遷移させることなく、特定の画像をズームインまたはズームアウトしてもよい。
上の例は、線に関係するが、多次元中のナビゲーション可能エリアの指示をユーザに提供するために、様々な他のオーバーレイが使用されてもよい。たとえば、ユーザに対し、彼または彼女が多次元を通して動くときに視覚的フィードバックを提供するために、見回すこと(向きを変えること)と多次元を通して動くこととの間で切り替えるため、トグルスイッチに加えて、またはトグルスイッチとともに、複数のスクロールバーがマップ上に配置されてもよい。別の例では、有限の線ではなく、ビューの中に横方向に溶け込むように見えるより広い線が使用されてもよい。さらに別の代替実施形態では、必ずしもシーンの中の遠くに延びるように見えない、ディスクまたは短い矢印型の指示が使用されて、相互作用ゾーンを示唆することができる。
図16は、サーバコンピューティングデバイス110などの1つまたは複数のサーバコンピューティングデバイスによって実施されてもよい、上に記載された様々な態様の、例示的な流れ図1600である。この例では、ブロック1602で、多次元空間の第1の画像が、クライアントコンピューティングデバイスのディスプレイ上で表示するために提供される。第1の画像は、第1の画像の一部にわたって延び、かつ多次元空間が第1の画像へと延びる方向を示すオーバーレイラインを備え、それによって第2の画像が第1の画像にオーバーレイラインの方向に沿って接続される。ブロック1604で、ディスプレイの一部にわたるスワイプを示すユーザ入力が受け取られる。スワイプは、ディスプレイの開始画素および終了画素によって規定される。ブロック1606で、開始画素および終了画素に基づいて、第1の画像の少なくとも部分的に相互作用ゾーン内でスワイプが発生したことを決定する。相互作用ゾーンは、ユーザが3次元空間と相互作用できるオーバーレイラインの周りのエリアを規定する。ブロック1608で、スワイプが少なくとも部分的に相互作用ゾーン内で発生したときに、第1の画像と異なる画像を表示する要求をスワイプが示すことを決定する。ブロック1610で、第1の画像と異なる画像を表示する要求をスワイプが示すときに、スワイプの開始点、スワイプの終了点、およびオーバーレイラインの方向に沿った第1の画像と第2の画像を接続する接続グラフに基づいて第2の画像が選択される。ブロック1612で、多次元空間中の動きの感覚を提供するために、ディスプレイ上に表示するための第2の画像が提供される。
上記の代替例の多くは相互に排他的ではないが、固有の利点を達成するために、様々な組合せで実装されてもよい。上に議論した特徴の、これらおよび他の変形および組合せは、請求項により規定される主題から逸脱することなく利用することができるために、実施形態の上の記載は、請求項により規定される主題の制限としてではなく、むしろ説明として考えられるべきである。例として、上述の動作は、上に記載された正確な順番で実施される必要はない。むしろ、様々なステップは、異なる順番で、または同時に処理することができる。ステップは、別段に記載されていない限り、省略することもできる。加えて、本明細書に記載される例の提供、ならびに、「〜など」、「〜を含む」などと表現される語句は、請求項の主題を特定の例に限定するものと解釈されるべきではなく、むしろ、例は、多くの可能な実施形態のうちのただ1つを説明することが意図される。さらに、異なる図面中の同じ参照番号は、同じまたは同様の要素を識別することができる。
本技術は、限定するものではないが、ユーザが第一者または第三者のビューにおける多次元環境内でナビゲーションすることを可能にするためのインターフェースを含む、広い産業上の利用可能性を享受する。
100 システム
110 コンピューティングデバイス、サーバコンピュータ
112 プロセッサ
114 メモリ
116 命令
118 データ
120 コンピューティングデバイス、クライアントコンピューティングデバイス
122 ディスプレイ
124 ユーザ入力デバイス、ユーザ入力
126 カメラ
130 コンピューティングデバイス、クライアントコンピューティングデバイス
132 ディスプレイ
140 コンピューティングデバイス、クライアントコンピューティングデバイス
142 ディスプレイ
150 記憶システム
160 ネットワーク、収集デバイス
162 カメラ
164 位置決めシステム
166 レーザ
220 ユーザ
230 ユーザ
240 ユーザ
300 例
302 道路
304 車線、線
306 車線
308 車線
310 画像、画像グラフ
320 画像
322 画像
330 建造物
332 建造物
334 建造物
336 建造物
338 建造物
340 画像
342 画像
350 線
352 線
360 向き指示器
402 画像
404 画像
406 画像
408 画像
410 画像グラフ
420 画像グラフ
430 画像
442 画像
444 画像
446 画像
448 画像
450 画像グラフ
452 画像
470 画像
500 ビュー
502 オーバーレイライン、線
545 画像
600 例
602 相互作用ゾーン
700 例
702 エリア
800A 例
800B 例
804 矢印
806 矢印
900 例
1000 例
1100 例
1200 例
1202 オーバーレイ
1300 例
1302 矢印
1304 スクリーン
1306 グラウンド面
1308 NDC平面
1400 例
1404 矢印、指
1406 矢印、動き
1500A 例
1500B 画像グラフ
1502 線
1504 線
1512 線
1514 線
1516 経路
1518 経路
1600 流れ図

Claims (20)

  1. 多次元空間をナビゲーションする方法であって、
    1つまたは複数のプロセッサによって、クライアントコンピューティングデバイスのディスプレイ上で表示するための多次元空間の第1の画像の第1の方向と、前記第1の画像の一部におけるオーバーレイシェイプとを提供するステップと、
    前記1つまたは複数のプロセッサによって、前記ディスプレイ上でスワイプ入力を受け取るステップであって、前記スワイプ入力が前記ディスプレイの開始画素および終了画素によって規定される、ステップと、
    前記1つまたは複数のプロセッサによって、前記開始画素および前記終了画素に基づいて、前記スワイプ入力が、相互作用ゾーンの少なくとも部分的に外側である前記ディスプレイ上で受け取られたと決定するステップであって、前記相互作用ゾーンが、前記オーバーレイシェイプの周りのエリアを規定する、ステップと、
    前記1つまたは複数のプロセッサによって、前記開始画素の位置および前記終了画素の位置に基づいて、前記第1の画像の第2の方向を選択するステップであって、前記第2の方向が前記第1の方向とは異なる、ステップと、
    前記1つまたは複数のプロセッサによって、前記クライアントコンピューティングデバイスの前記ディスプレイ上で表示するための前記第1の画像の前記第2の方向を提供するステップと
    を含む、方法。
  2. 前記スワイプ入力が、前記第1の画像とは異なる方向を表示するための要求を示すと決定するステップをさらに含む、請求項1に記載の方法。
  3. 前記スワイプの前記開始画素および前記スワイプの前記終了画素に基づいて、前記スワイプ入力の向き、速度、および大きさのうちの少なくとも1つを決定するステップをさらに含み、
    前記第2の方向を選択するステップが、前記向き、速度、および大きさのうちの少なくとも1つにさらに基づく、請求項1に記載の方法。
  4. 前記オーバーレイシェイプが、前記多次元空間が前記第1の画像へと延びる方向を示す、請求項1に記載の方法。
  5. 前記オーバーレイシェイプが、ライン、ディスク、および矢印のうちの1つである、請求項1に記載の方法。
  6. 前記オーバーレイシェイプが、オーバーレイラインであり、
    前記開始画素および前記終了画素に基づいて、前記スワイプ入力が、前記オーバーレイラインに垂直な閾値角度内にあると決定するステップをさらに含む、請求項5に記載の方法。
  7. 前記第2の方向が、前記第1の画像の、前記第1の方向から回転またはパンされたビューのうちの少なくとも1つである、請求項1に記載の方法。
  8. 前記第2の方向が、前記第1の画像の前記パンされたビューであり、前記オーバーレイシェイプが、前記ディスプレイ上の中心にあり、
    前記方法が、
    前記第1の画像上で表示するために第2のオーバーレイシェイプを提供するステップと、
    前記ディスプレイ上で第2のオーバーレイシェイプを中心とするステップと
    をさらに含む、請求項7に記載の方法。
  9. 前記相互作用ゾーンの少なくとも部分的に内側にある前記クライアントコンピューティングデバイスの前記ディスプレイ上でタップ入力を受け取るステップと、
    前記クライアントコンピューティングデバイスの前記ディスプレイ上で第2の画像を提供するステップと
    をさらに含む、請求項1に記載の方法。
  10. 表示のために前記第1の画像と前記第2の画像との間の遷移画像を提供するステップをさらに含み、前記遷移画像が、前記第1の画像および前記第2の画像よりも詳細ではないサムネイル画像として提供される、請求項9に記載の方法。
  11. 少なくとも１つの命令またはデータを記録するように構成されたメモリと、
    前記メモリに動作可能に結合された1つまたは複数のプロセッサと
    を備え、前記1つまたは複数のプロセッサが、
    クライアントコンピューティングデバイスのディスプレイ上で表示するための多次元空間の第1の画像の第1の方向と、前記第1の画像の一部におけるオーバーレイシェイプとを提供することと、
    前記ディスプレイ上でスワイプ入力を受け取ることであって、前記スワイプ入力が前記ディスプレイの開始画素および終了画素によって規定される、受け取ることと、
    前記開始画素および前記終了画素に基づいて、前記スワイプ入力が、相互作用ゾーンの少なくとも部分的に外側である前記ディスプレイ上で受け取られたと決定することであって、前記相互作用ゾーンが、前記オーバーレイシェイプの周りのエリアを規定する、決定することと、
    前記開始画素の位置および前記終了画素の位置に基づいて、前記第1の画像の第2の方向を選択することであって、前記第2の方向が前記第1の方向とは異なる、選択することと、
    前記クライアントコンピューティングデバイスの前記ディスプレイ上で表示するための前記第1の画像の前記第2の方向を提供することと
    を行うように構成される、システム。
  12. 前記1つまたは複数のプロセッサは、前記スワイプ入力が、前記第1の画像とは異なる方向を表示するための要求を示すと決定するようにさらに構成される、請求項11に記載のシステム。
  13. 前記1つまたは複数のプロセッサは、前記スワイプの前記開始画素および前記スワイプの前記終了画素に基づいて、前記スワイプ入力の向き、速度、および大きさのうちの少なくとも1つを決定するようにさらに構成され、
    前記第2の方向を選択することが、前記向き、速度、および大きさのうちの少なくとも1つにさらに基づく、請求項11に記載のシステム。
  14. 前記オーバーレイシェイプが、前記多次元空間が前記第1の画像へと延びる方向を示す、請求項11に記載のシステム。
  15. 前記第2の方向が、前記第1の画像の、前記第1の方向から回転またはパンされたビューのうちの少なくとも1つである、請求項11に記載のシステム。
  16. 前記1つまたは複数のプロセッサは、
    前記相互作用ゾーンの少なくとも部分的に内側にある前記クライアントコンピューティングデバイスの前記ディスプレイ上でタップ入力を受け取ることと、
    前記クライアントコンピューティングデバイスの前記ディスプレイ上で第2の画像を提供することと
    をさらに行うように構成される、請求項11に記載のシステム。
  17. 前記1つまたは複数のプロセッサは、表示のために前記第1の画像と前記第2の画像との間の遷移画像を提供するようにさらに構成され、前記遷移画像が、前記第1の画像および前記第2の画像よりも詳細ではないサムネイル画像として提供される、請求項16に記載のシステム。
  18. 命令を記録した非一時的コンピュータ可読記録媒体であって、
    前記命令は、1つまたは複数のプロセッサによって実行されたときに、前記1つまたは複数のプロセッサに、
    クライアントコンピューティングデバイスのディスプレイ上で表示するための多次元空間の第1の画像の第1の方向と、前記第1の画像の一部におけるオーバーレイシェイプとを提供することと、
    前記ディスプレイ上でスワイプ入力を受け取ることであって、前記スワイプ入力が前記ディスプレイの開始画素および終了画素によって規定される、受け取ることと、
    前記開始画素および前記終了画素に基づいて、前記スワイプ入力が、相互作用ゾーンの少なくとも部分的に外側である前記ディスプレイ上で受け取られたと決定することであって、前記相互作用ゾーンが、前記オーバーレイシェイプの周りのエリアを規定する、決定することと、
    前記開始画素の位置および前記終了画素の位置に基づいて、前記第1の画像の第2の方向を選択することであって、前記第2の方向が前記第1の方向とは異なる、選択することと、
    前記クライアントコンピューティングデバイスの前記ディスプレイ上で表示するための前記第1の画像の前記第2の方向を提供することと
    を行わせる、非一時的コンピュータ可読記録媒体。
  19. 前記命令は、前記1つまたは複数のプロセッサによって実行されたときに、前記1つまたは複数のプロセッサに、
    前記スワイプ入力が、前記第1の画像とは異なる方向を表示するための要求を示すと決定することをさらに行わせる、請求項18に記載の非一時的コンピュータ可読記録媒体。
  20. 前記第2の方向が、前記第1の画像の、前記第1の方向から回転またはパンされたビューのうちの少なくとも1つである、請求項18に記載の非一時的コンピュータ可読記録媒体。
JP2019201543A 2015-12-17 2019-11-06 多次元画像空間を通したナビゲーション Active JP6818847B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/972,843 2015-12-17
US14/972,843 US10217283B2 (en) 2015-12-17 2015-12-17 Navigation through multidimensional images spaces

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018513519A Division JP6615988B2 (ja) 2015-12-17 2016-12-13 多次元画像空間を通したナビゲーション

Publications (2)

Publication Number Publication Date
JP2020053058A JP2020053058A (ja) 2020-04-02
JP6818847B2 true JP6818847B2 (ja) 2021-01-20

Family

ID=58765892

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018513519A Active JP6615988B2 (ja) 2015-12-17 2016-12-13 多次元画像空間を通したナビゲーション
JP2019201543A Active JP6818847B2 (ja) 2015-12-17 2019-11-06 多次元画像空間を通したナビゲーション

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018513519A Active JP6615988B2 (ja) 2015-12-17 2016-12-13 多次元画像空間を通したナビゲーション

Country Status (8)

Country Link
US (1) US10217283B2 (ja)
EP (1) EP3338057A2 (ja)
JP (2) JP6615988B2 (ja)
KR (2) KR102230738B1 (ja)
CN (1) CN108450035B (ja)
DE (1) DE112016004195T5 (ja)
GB (1) GB2557142B (ja)
WO (1) WO2017106170A2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2548085C (en) * 2003-12-11 2014-04-29 International Business Machines Corporation Data transfer error checking
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
WO2018198634A1 (ja) * 2017-04-28 2018-11-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
RU2740445C2 (ru) * 2018-09-14 2021-01-14 Общество с ограниченной ответственностью "НАВИГАТОРСПАС" Способ конвертации преобразования перевода 2D-изображений в формат 3D
WO2020068054A1 (en) * 2018-09-25 2020-04-02 Google Llc Dynamic restyling of digital maps
CN109821237B (zh) * 2019-01-24 2022-04-22 腾讯科技（深圳）有限公司 视角转动的方法、装置、设备及存储介质
US11675494B2 (en) * 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface

Family Cites Families (163)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2040273C (en) * 1990-04-13 1995-07-18 Kazu Horiuchi Image displaying system
JP2900632B2 (ja) 1991-04-19 1999-06-02 株式会社日立製作所 ディジタル地図処理装置及びディジタル地図の表示方法
US5247356A (en) 1992-02-14 1993-09-21 Ciampa John A Method and apparatus for mapping and measuring land
US5396583A (en) 1992-10-13 1995-03-07 Apple Computer, Inc. Cylindrical to planar image mapping using scanline coherence
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5559707A (en) 1994-06-24 1996-09-24 Delorme Publishing Company Computer aided routing system
WO1996024216A1 (en) 1995-01-31 1996-08-08 Transcenic, Inc. Spatial referenced photography
US6097393A (en) 1996-09-03 2000-08-01 The Takshele Corporation Computer-executed, three-dimensional graphical resource management process and system
US6199015B1 (en) 1996-10-10 2001-03-06 Ames Maps, L.L.C. Map-based navigation system with overlays
JP4332231B2 (ja) 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6597818B2 (en) 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US6285317B1 (en) 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
JP4119529B2 (ja) 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
US6687753B2 (en) 1998-06-25 2004-02-03 International Business Machines Corporation Method and system for providing three-dimensional graphics over computer networks
US6477268B1 (en) 1998-11-17 2002-11-05 Industrial Technology Research Institute Producing transitions between vistas
FR2788617B1 (fr) 1999-01-15 2001-03-02 Za Production Procede de selection et d'affichage d'un element de type fichier numerique, image fixe ou images animees, sur un ecran d'affichage
US6346938B1 (en) 1999-04-27 2002-02-12 Harris Corporation Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model
US6611615B1 (en) 1999-06-25 2003-08-26 University Of Iowa Research Foundation Method and apparatus for generating consistent image registration
US6609128B1 (en) 1999-07-30 2003-08-19 Accenture Llp Codes table framework design in an E-commerce architecture
US7574381B1 (en) 1999-08-06 2009-08-11 Catherine Lin-Hendel System and method for constructing and displaying active virtual reality cyber malls, show rooms, galleries, stores, museums, and objects within
US6563529B1 (en) 1999-10-08 2003-05-13 Jerry Jongerius Interactive system for displaying detailed view and direction in panoramic images
US6542812B1 (en) 1999-10-19 2003-04-01 American Calcar Inc. Technique for effective navigation based on user preferences
US6515664B1 (en) 1999-11-12 2003-02-04 Pixaround.Com Pte Ltd Fast single-pass cylindrical to planar projection
US6885392B1 (en) 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
US6717608B1 (en) 1999-12-31 2004-04-06 Stmicroelectronics, Inc. Motion estimation for panoramic digital camera
US6771304B1 (en) 1999-12-31 2004-08-03 Stmicroelectronics, Inc. Perspective correction device for panoramic digital camera
US20020010734A1 (en) 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US6606091B2 (en) 2000-02-07 2003-08-12 Siemens Corporate Research, Inc. System for interactive 3D object extraction from slice-based medical images
US20030210228A1 (en) 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US6895126B2 (en) 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
US20020063725A1 (en) 2000-11-30 2002-05-30 Virtuallylisted Llc Method and apparatus for capturing and presenting panoramic images for websites
US7006707B2 (en) 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
JP2003006680A (ja) 2001-06-20 2003-01-10 Zenrin Co Ltd ３次元電子地図データの生成方法
US7509241B2 (en) 2001-07-06 2009-03-24 Sarnoff Corporation Method and apparatus for automatically generating a site model
WO2003023737A1 (en) 2001-09-07 2003-03-20 The General Hospital Corporation Medical procedure training system
US7096428B2 (en) 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
US7274380B2 (en) 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4610156B2 (ja) 2001-11-13 2011-01-12 アルスロン株式会社 パノラマ画像による道路や河川、鉄道の空間把握システム
JP2003172899A (ja) 2001-12-05 2003-06-20 Fujitsu Ltd 表示装置
US20030110185A1 (en) 2001-12-10 2003-06-12 Rhoads Geoffrey B. Geographically-based databases and methods
US7411594B2 (en) 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
CN1162806C (zh) 2002-03-07 2004-08-18 上海交通大学 路途全景图像带的摄取、生成、传输和显示方法
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
JP4487775B2 (ja) 2002-10-15 2010-06-23 セイコーエプソン株式会社 複数の画像データのパノラマ合成処理
US7424133B2 (en) 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
US6836723B2 (en) 2002-11-29 2004-12-28 Alpine Electronics, Inc Navigation method and system
KR100464342B1 (ko) 2003-04-14 2005-01-03 삼성전자주식회사 티오-캔 구조의 광 모듈
US7526718B2 (en) 2003-04-30 2009-04-28 Hewlett-Packard Development Company, L.P. Apparatus and method for recording “path-enhanced” multimedia
US6968973B2 (en) 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
KR100703444B1 (ko) 2003-06-03 2007-04-03 삼성전자주식회사 네비게이션 시스템에서 위치 정보에 관련된 영상의 다운로드 및 표시 장치 및 방법
JP4321128B2 (ja) 2003-06-12 2009-08-26 株式会社デンソー 画像サーバ、画像収集装置、および画像表示端末
US7197170B2 (en) 2003-11-10 2007-03-27 M2S, Inc. Anatomical visualization and measurement system
JP2005149409A (ja) 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
CA2455359C (en) 2004-01-16 2013-01-08 Geotango International Corp. System, computer program and method for 3d object measurement, modeling and mapping from single imagery
JP4437677B2 (ja) 2004-03-01 2010-03-24 三菱電機株式会社 景観表示装置
US20050195096A1 (en) 2004-03-05 2005-09-08 Ward Derek K. Rapid mobility analysis and vehicular route planning from overhead imagery
US20060098010A1 (en) 2004-03-09 2006-05-11 Jeff Dwyer Anatomical visualization and measurement system
CN103398719B (zh) 2004-03-23 2017-04-12 咕果公司 数字地图描绘系统
DE102004020861B4 (de) 2004-04-28 2009-10-01 Siemens Ag Verfahren zur Rekonstruktion von Projektionsdatensätzen bei Dosis-reduzierter abschnittsweiser spiralförmiger Abtastung in der Computertomographie
US7746376B2 (en) 2004-06-16 2010-06-29 Felipe Mendoza Method and apparatus for accessing multi-dimensional mapping and information
US20060002590A1 (en) 2004-06-30 2006-01-05 Borak Jason M Method of collecting information for a geographic database for use with a navigation system
US7460953B2 (en) 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
US20080189031A1 (en) 2007-02-06 2008-08-07 Meadow William D Methods and apparatus for presenting a continuum of image data
JP4130428B2 (ja) 2004-09-02 2008-08-06 ザイオソフト株式会社 画像処理方法及び画像処理プログラム
WO2006035755A1 (ja) 2004-09-28 2006-04-06 National University Corporation Kumamoto University 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP2006105640A (ja) 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
US7529552B2 (en) 2004-10-05 2009-05-05 Isee Media Inc. Interactive imaging for cellular phones
US20060132482A1 (en) 2004-11-12 2006-06-22 Oh Byong M Method for inter-scene transitions
FR2879791B1 (fr) 2004-12-16 2007-03-16 Cnes Epic Procede de traitement d'images mettant en oeuvre le georeferencement automatique d'images issues d'un couple d'images pris dans le meme plan focal
US7369136B1 (en) * 2004-12-17 2008-05-06 Nvidia Corporation Computing anisotropic texture mapping parameters
US7580952B2 (en) 2005-02-28 2009-08-25 Microsoft Corporation Automatic digital image grouping using criteria based on image metadata and spatial information
US7391899B2 (en) 2005-03-31 2008-06-24 Harris Corporation System and method for three dimensional change detection and measurement of a scene using change analysis
US7777648B2 (en) 2005-04-21 2010-08-17 Microsoft Corporation Mode information displayed in a mapping application
US7466244B2 (en) 2005-04-21 2008-12-16 Microsoft Corporation Virtual earth rooftop overlay and bounding
US8850011B2 (en) 2005-04-21 2014-09-30 Microsoft Corporation Obtaining and displaying virtual earth images
US8103445B2 (en) 2005-04-21 2012-01-24 Microsoft Corporation Dynamic map rendering as a function of a user parameter
US20070210937A1 (en) 2005-04-21 2007-09-13 Microsoft Corporation Dynamic rendering of map information
US8044996B2 (en) 2005-05-11 2011-10-25 Xenogen Corporation Surface construction using combined photographic and structured light information
US7554539B2 (en) 2005-07-27 2009-06-30 Balfour Technologies Llc System for viewing a collection of oblique imagery in a three or four dimensional virtual scene
US20070035563A1 (en) 2005-08-12 2007-02-15 The Board Of Trustees Of Michigan State University Augmented reality spatial interaction and navigational system
WO2007027847A2 (en) 2005-09-01 2007-03-08 Geosim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
JP4853149B2 (ja) 2005-09-14 2012-01-11 ソニー株式会社 画像処理装置、画像表示装置、画像処理方法、プログラムおよび記録媒体
WO2007032553A1 (ja) 2005-09-14 2007-03-22 Sony Corporation 視聴覚システム
US8160400B2 (en) 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
US8081827B2 (en) 2006-02-28 2011-12-20 Ricoh Co., Ltd. Compressed data image object feature extraction, ordering, and delivery
US7778491B2 (en) 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
US10042927B2 (en) 2006-04-24 2018-08-07 Yeildbot Inc. Interest keyword identification
US7310606B2 (en) 2006-05-12 2007-12-18 Harris Corporation Method and system for generating an image-textured digital surface model (DSM) for a geographical area of interest
US7643673B2 (en) 2006-06-12 2010-01-05 Google Inc. Markup language for interactive geographic information system
US7712052B2 (en) 2006-07-31 2010-05-04 Microsoft Corporation Applications of three-dimensional environments constructed from images
US20080027985A1 (en) 2006-07-31 2008-01-31 Microsoft Corporation Generating spatial multimedia indices for multimedia corpuses
US20080043020A1 (en) * 2006-08-18 2008-02-21 Microsoft Corporation User interface for viewing street side imagery
US8611673B2 (en) 2006-09-14 2013-12-17 Parham Aarabi Method, system and computer program for interactive spatial link-based image searching, sorting and/or displaying
US8041730B1 (en) 2006-10-24 2011-10-18 Google Inc. Using geographic data to identify correlated geographic synonyms
US8498497B2 (en) 2006-11-17 2013-07-30 Microsoft Corporation Swarm imaging
US8542884B1 (en) 2006-11-17 2013-09-24 Corelogic Solutions, Llc Systems and methods for flood area change detection
AU2006350960B2 (en) 2006-11-20 2013-09-12 Satori Pharmaceuticals, Inc. Compounds useful for treating neurodegenerative disorders
US20080143709A1 (en) 2006-12-14 2008-06-19 Earthmine, Inc. System and method for accessing three dimensional information from a panoramic image
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8593518B2 (en) 2007-02-01 2013-11-26 Pictometry International Corp. Computer system for continuous oblique panning
US20080309668A1 (en) 2007-05-17 2008-12-18 Igor Borovikov Image processing method and apparatus
US7990394B2 (en) 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
EP3471053B1 (en) * 2007-05-25 2020-07-08 Google LLC Rendering, viewing and annotating panoramic images, and applications thereof
JP4678534B2 (ja) * 2007-06-07 2011-04-27 ソニー株式会社 ナビゲーション装置及び地図スクロール処理方法
KR100837283B1 (ko) * 2007-09-10 2008-06-11 (주)익스트라스탠다드 터치스크린을 구비한 휴대용 단말기
US8326048B2 (en) 2007-10-04 2012-12-04 Microsoft Corporation Geo-relevance for images
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
KR100979910B1 (ko) 2008-01-29 2010-09-06 (주)멜파스 분할 투명 전극 구조를 갖는 터치스크린 패널
RU2460187C2 (ru) 2008-02-01 2012-08-27 Рокстек Аб Переходная рама с встроенным прижимным устройством
CA2707246C (en) 2009-07-07 2015-12-29 Certusview Technologies, Llc Automatic assessment of a productivity and/or a competence of a locate technician with respect to a locate and marking operation
US20090210277A1 (en) * 2008-02-14 2009-08-20 Hardin H Wesley System and method for managing a geographically-expansive construction project
JP5039922B2 (ja) 2008-03-21 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム
US8350850B2 (en) 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
US20090327024A1 (en) 2008-06-27 2009-12-31 Certusview Technologies, Llc Methods and apparatus for quality assessment of a field service operation
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
JP2010086230A (ja) 2008-09-30 2010-04-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20100085350A1 (en) 2008-10-02 2010-04-08 Microsoft Corporation Oblique display with additional detail
US20100100548A1 (en) 2008-10-16 2010-04-22 Curators Of The University Of Missouri Storing change features detected from high-resolution, remotely sensed imagery
US8457387B2 (en) 2009-03-13 2013-06-04 Disney Enterprises, Inc. System and method for interactive environments presented by video playback devices
US9189124B2 (en) * 2009-04-15 2015-11-17 Wyse Technology L.L.C. Custom pointer features for touch-screen on remote client devices
KR20100122383A (ko) 2009-05-12 2010-11-22 삼성전자주식회사 좌표 예측을 통한 이미지의 출력 속도 향상 방법 및 장치
US8274571B2 (en) 2009-05-21 2012-09-25 Google Inc. Image zooming using pre-existing imaging information
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
US9146119B2 (en) * 2009-06-05 2015-09-29 Microsoft Technology Licensing, Llc Scrubbing variable content paths
US9213780B2 (en) 2009-06-26 2015-12-15 Microsoft Technology Licensing Llc Cache and index refreshing strategies for variably dynamic items and accesses
JP5513806B2 (ja) * 2009-08-07 2014-06-04 株式会社 ミックウェア 連携表示装置、連携表示方法、及びプログラム
CA2754159C (en) 2009-08-11 2012-05-15 Certusview Technologies, Llc Systems and methods for complex event processing of vehicle-related information
US20110082846A1 (en) 2009-10-07 2011-04-07 International Business Machines Corporation Selective processing of location-sensitive data streams
US8159524B2 (en) 2009-11-09 2012-04-17 Google Inc. Orthorectifying stitched oblique imagery to a nadir view, and applications thereof
US8566020B2 (en) * 2009-12-01 2013-10-22 Nokia Corporation Method and apparatus for transforming three-dimensional map objects to present navigation information
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US8824997B2 (en) * 2010-03-12 2014-09-02 Telefonaktiebolaget L M Ericsson (Publ) Cellular network based assistant for vehicles
US8660355B2 (en) 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US8640020B2 (en) * 2010-06-02 2014-01-28 Microsoft Corporation Adjustable and progressive mobile device street view
US20110310088A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Personalized navigation through virtual 3d environments
US8488040B2 (en) 2010-06-18 2013-07-16 Microsoft Corporation Mobile and server-side computational photography
CN102985942B (zh) 2010-06-30 2016-09-14 皇家飞利浦电子股份有限公司 放大显示的图像
JP5514038B2 (ja) * 2010-08-16 2014-06-04 株式会社 ミックウェア ストリートビュー自動出力装置、地図自動出力装置、ストリートビュー自動出力方法、地図自動出力方法、およびプログラム
JP5732218B2 (ja) 2010-09-21 2015-06-10 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US8669976B1 (en) * 2010-10-12 2014-03-11 Google Inc. Selecting and verifying textures in image-based three-dimensional modeling, and applications thereof
US8577177B2 (en) 2010-11-11 2013-11-05 Siemens Aktiengesellschaft Symmetric and inverse-consistent deformable registration
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US8941685B1 (en) * 2011-03-08 2015-01-27 Google Inc. Showing geo-located information in a 3D geographical space
US8612465B1 (en) 2011-04-08 2013-12-17 Google Inc. Image reacquisition
JP2012222674A (ja) 2011-04-12 2012-11-12 Sony Corp 画像処理装置、画像処理方法、プログラム
AU2011202609B2 (en) 2011-05-24 2013-05-16 Canon Kabushiki Kaisha Image clustering method
US20120320057A1 (en) * 2011-06-15 2012-12-20 Harris Corporation Communications system including data server storing 3d geospatial model and mobile electronic device to display 2d images based upon the 3d geospatial model
JP5800386B2 (ja) * 2011-07-08 2015-10-28 株式会社 ミックウェア 地図表示装置、地図表示方法、およびプログラム
US8817067B1 (en) * 2011-07-29 2014-08-26 Google Inc. Interface for applying a photogrammetry algorithm to panoramic photographic images
CA2843772C (en) 2011-08-02 2014-12-23 Viewsiq Inc. Apparatus and method for digital microscopy imaging
US9153062B2 (en) 2012-02-29 2015-10-06 Yale University Systems and methods for sketching and imaging
KR101339570B1 (ko) 2012-05-30 2013-12-10 삼성전기주식회사 터치 감지 방법 및 장치
US9052197B2 (en) * 2012-06-05 2015-06-09 Apple Inc. Providing navigation instructions while device is in locked mode
US9418672B2 (en) * 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
US10156455B2 (en) * 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
WO2014014806A1 (en) * 2012-07-15 2014-01-23 Apple Inc. Disambiguation of multitouch gesture recognition for 3d interaction
JP6030935B2 (ja) * 2012-12-04 2016-11-24 任天堂株式会社 情報処理プログラム、表示制御装置、表示システム及び表示方法
CN103150759B (zh) * 2013-03-05 2015-11-25 腾讯科技（深圳）有限公司 一种对街景图像进行动态增强的方法和装置
US9046996B2 (en) 2013-10-17 2015-06-02 Google Inc. Techniques for navigation among multiple images
US8984445B1 (en) * 2014-01-31 2015-03-17 Google Inc. System and method for geo-locating images
KR20150099255A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 정보 표시 방법 및 이를 이용하는 전자 장치

Also Published As

Publication number Publication date
KR20200083680A (ko) 2020-07-08
KR102230738B1 (ko) 2021-03-22
GB2557142B (en) 2022-02-23
US10217283B2 (en) 2019-02-26
KR102131822B1 (ko) 2020-07-08
JP2018538588A (ja) 2018-12-27
CN108450035A (zh) 2018-08-24
WO2017106170A2 (en) 2017-06-22
JP2020053058A (ja) 2020-04-02
DE112016004195T5 (de) 2018-08-02
KR20180038503A (ko) 2018-04-16
JP6615988B2 (ja) 2019-12-04
WO2017106170A3 (en) 2017-08-17
CN108450035B (zh) 2023-01-03
GB201803712D0 (en) 2018-04-25
US20170178404A1 (en) 2017-06-22
EP3338057A2 (en) 2018-06-27
GB2557142A (en) 2018-06-13

Similar Documents

Publication Publication Date Title
JP6818847B2 (ja) 多次元画像空間を通したナビゲーション
US11099654B2 (en) Facilitate user manipulation of a virtual reality environment view using a computing device with a touch sensitive surface
US20230298285A1 (en) Augmented and virtual reality
US10755485B2 (en) Augmented reality product preview
EP2732436B1 (en) Simulating three-dimensional features
US10950040B2 (en) Labeling for three-dimensional occluded shapes
US20130321461A1 (en) Method and System for Navigation to Interior View Imagery from Street Level Imagery
JP2014504384A (ja) ２次元画像からの３次元バーチャルツアーの生成
CN112232900A (zh) 一种信息的展示方法和装置
Tatzgern et al. Exploring real world points of interest: Design and evaluation of object-centric exploration techniques for augmented reality
US9025007B1 (en) Configuring stereo cameras
US20180032536A1 (en) Method of and system for advertising real estate within a defined geo-targeted audience
CN104599310A (zh) 三维场景动画录制方法及装置
CN113892129A (zh) 创建三维外观的虚拟视差
US20070038945A1 (en) System and method allowing one computer system user to guide another computer system user through a remote environment
US10489965B1 (en) Systems and methods for positioning a virtual camera
Tatzgern et al. Exploring Distant Objects with Augmented Reality.
CN110709839A (zh) 用于呈现媒体内容预览的方法、系统和介质
US20230319426A1 (en) Traveling in time and space continuum

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191212

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201228

R150 Certificate of patent or registration of utility model

Ref document number: 6818847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250