KR102230738B1 - 다차원 이미지 공간을 통한 네비게이션 - Google Patents

다차원 이미지 공간을 통한 네비게이션 Download PDF

Info

Publication number
KR102230738B1
KR102230738B1 KR1020207019086A KR20207019086A KR102230738B1 KR 102230738 B1 KR102230738 B1 KR 102230738B1 KR 1020207019086 A KR1020207019086 A KR 1020207019086A KR 20207019086 A KR20207019086 A KR 20207019086A KR 102230738 B1 KR102230738 B1 KR 102230738B1
Authority
KR
South Korea
Prior art keywords
image
display
swipe
line
user
Prior art date
Application number
KR1020207019086A
Other languages
English (en)
Other versions
KR20200083680A (ko
Inventor
스코트 에드워드 딜라드
험베르토 카스타네다
수 쯔인 렁
미카엘 카메론 존스
크리스토퍼 그레이
에반 하데스티 파커
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20200083680A publication Critical patent/KR20200083680A/ko
Application granted granted Critical
Publication of KR102230738B1 publication Critical patent/KR102230738B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)

Abstract

본 발명의 양태들은 일반적으로 사용자에게 이미지 네비게이션 경험을 제공하는 것에 관한 것이다. 예를 들어, 다차원 공간의 제1이미지(332)는 제2이미지가 오버레이 라인의 방향을 따라 제1이미지에 연결되도록 공간이 제1이미지 내로 연장되는 방향을 나타내는 오버레이 라인(502)을 구비한다. 디스플레이의 일부를 통한 스와이프를 나타내는 사용자 입력이 수신된다. 스와이프가 사용자가 공간과 상호 작용할 수 있는 오버레이 라인 주위의 영역을 정의하는 인터랙션 영역(602) 내에서 적어도 부분적으로 발생하면, 스와이프는 제1이미지와 다른 이미지를 디스플레이하기 위한 요청을 나타낸다. 제2이미지는 스와이프 및 오버레이 라인의 방향을 따라 제1이미지와 제2이미지를 연결하는 연결 그래프에 기초하여 디스플레이를 위해 선택되고 제공된다.

Description

다차원 이미지 공간을 통한 네비게이션{NAVIGATION THROUGH MULTIDIMENSIONAL IMAGES SPACES}
본 출원은 2015년 12월 17일에 출원된 미국 특허 출원 제14/972,843호의 계속 출원으로, 그 개시 내용은 본 출원에 참고로 통합된다.
다양한 시스템들은 사용자들이 시간 또는 공간과 같은 시퀀스로 이미지를 볼 수 있게 해 준다. 일부 예들에서, 이들 시스템은 원격 또는 관심 위치에서 네비게이션 경험을 제공할 수 있다. 일부 시스템들은 사용자들이 파노라마의 표시된 부분의 에지들을 클릭함으로써 그들이 가상 세계 내에서 회전하고 상기 클릭된 에지 방향으로 파노라마가 "이동"하는 것처럼 느끼게 해 준다.
본 발명의 일 양태는 다차원 공간들을 네비게이션하는 컴퓨터 구현 방법을 제공한다.
본 발명의 일 양태에 따른 상기 방법은 하나 이상의 프로세서에 의해, 클라이언트 컴퓨팅 디바이스의 디스플레이에 디스플레이하기 위한 다차원 공간의 제1이미지 및 상기 제1이미지의 일부를 통해(across) 연장되고 제2이미지가 오버레이 라인의 방향을 따라 제1이미지에 연결되도록 상기 다차원 공간이 제1이미지로 연장되는 방향을 나타내는 오버레이 라인을 제공하는 단계; 상기 하나 이상의 프로세서에 의해, 상기 디스플레이의 일부를 통해 스와이프를 나타내는 사용자 입력을 수신하는 단계, 상기 스와이프는 디스플레이의 시작 픽셀 및 종료 픽셀에 의해 정의되고; 상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 시작 픽셀 및 종료 픽셀에 기초하여, 상기 스와이프가 제1이미지의 인터랙션 영역(interaction zone) 내에서 적어도 부분적으로 발생했음을 결정하는 단계, 상기 인터랙션 영역은 사용자가 다차원 공간과 상호 작용할 수 있는 오버레이 라인 주위의 영역을 정의하고; 상기 스와이프가 인터랙션 영역 내에서 적어도 부분적으로 발생했을 때, 상기 하나 이상의 프로세서에 의해, 상기 스와이프가 제1이미지와 상이한 이미지를 디스플레이하라는 요청을 나타내는지 결정하는 단계; 상기 스와이프가 제1이미지와 상이한 이미지를 디스플레이하라는 요청을 나타낼 때, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 스와이프의 시작점, 상기 스와이프의 종료점 및 상기 오버레이 라인의 방향을 따라 상기 제1이미지와 제2이미지를 연결하는 연결 그래프에 기초하여 상기 제2이미지를 선택하는 단계; 및 상기 하나 이상의 컴퓨팅 디바이스에 의해, 다차원 공간에서 이동의 느낌을 제공하기 위해 상기 디스플레이 상에 디스플레이하기 위한 상기 제2이미지를 제공하는 단계를 포함한다.
일 예에서, 상기 방법은 제1이미지와 제2이미지 사이에 디스플레이용 전환 이미지(transition image)를 제공하는 단계를 또한 포함하며, 상기 전환 이미지는 제1이미지 및 제2이미지 보다 덜 상세한 썸네일 이미지로서 제공된다. 다른 예에서, 상기 방법은 또한 오버레이 라인과의 임의의 사용자 액션 없이 임계 시간이 경과한 후에 상기 오버레이 라인을 페이드 아웃(fade out)하기 위한 명령을 제공하는 단계를 또한 포함한다. 이 예에서, 상기 오버레이 라인을 페이드 아웃한 후, 상기 방법은 디스플레이 상에서 제2사용자 입력을 수신하는 단계 및 상기 제2사용자 입력에 응답하여 상기 오버레이 라인을 다시 디스플레이하기 위한 명령들을 제공하는 단계를 포함한다. 다른 예에서, 상기 방법은 스와이프의 시작 픽셀 및 스와이프의 종료 픽셀에 기초하여 상기 스와이프의 방향 및 크기를 결정하는 단계를 또한 포함하며, 상기 제2이미지를 선택하는 단계는 상기 방향 및 크기에 추가로 기초한다.
다른 예에서, 상기 방법은 제2이미지의 일부를 통해 연장되고 상기 제3이미지가 연결 그래프에서 제2오버레이 라인의 방향을 따라 상기 제2이미지에 연결되도록 상기 다차원 공간이 제2이미지로 연장되는 방향을 나타내는 제2오버레이 라인을 갖는 제2이미지를 제공하는 단계를 또한 포함한다. 이 예에서, 상기 방법은 제2스와이프를 나타내는 제2사용자 입력을 수신하는 단계; 상기 제2스와이프가 상기 다차원 공간이 제2이미지로 연장되는 방향에 수직인 임계 각도 내에 있는지 결정하는 단계; 및 상기 제2스와이프가 상기 다차원 공간이 제2이미지로 연장되는 방향에 수직인 임계 각도 내에 있을 때 제2이미지의 다차원 공간을 가로질러 패닝(panning)하는 단계를 포함한다. 대안적으로, 상기 방법은 제2스와이프를 나타내는 제2 사용자 입력을 수신하는 단계; 상기 제2스와이프가 상기 다차원 공간이 제2 이미지로 연장되는 방향에 수직인 임계 각도 내에 있는지 결정하는 단계; 및 상기 제2스와이프가 상기 다차원 공간이 제2 이미지로 연장되는 방향에 수직인 임계 각도 내에 있을 때, 상기 제2 이미지 내의 방향을 변경하는 단계를 또한 포함한다. 다른 대안적으로, 상기 방법은 제2스와이프를 나타내는 제2 사용자 입력을 수신하는 단계; 상기 제2스와이프가 상기 다차원 공간이 제2 이미지로 연장되는 방향에 수직인 임계 각도 내에 있는지 결정하는 단계; 및 상기 제2스와이프가 상기 다차원 공간이 제2 이미지로 확장되는 방향에 수직인 임계각 내에 있을 때, 상기 제2 이미지를 상기 연결 그래프에 인접한 제2 연결 그래프 상에 위치한 제3 이미지로 스위칭하는 단계를 또한 포함하고, 상기 제2이미지 및 제3이미지는 연결 그래프에서 방향 연결을 갖지 않는다. 이 예에서, 상기 방법은 상기 제2 이미지와의 디스플레이를 위해 제3 오버레이 라인을 검증(proving)하는 단계를 또한 포함하고, 상기 제3 오버레이 라인은 상기 제2 이미지의 현재 뷰에 근접한 제2 네비게이션 경로를 나타내고, 상기 제3 오버레이 라인은 제3 오버레이 라인과 제2 오버레이 라인이 상기 제2 이미지와 디스플레이될 때 서로 교차하도록 제공된다. 이에 더하여, 상기 방법은 제2 오버레이 라인에 따른 이미지로부터 상기 제3 오버레이 라인에 따른 이미지로 전환하라는 요청을 나타내는 상기 제3 오버레이 라인에 따른 제2 사용자 입력을 수신하는 단계; 및 상기 제2 사용자 입력에 응답하여, 디스플레이를 위한 제3이미지를 제공하는 단계를 더 포함하며, 상기 제3 이미지는 상기 연결 그래프에서 제3 오버레이 라인을 따라 배치된다. 게다가, 상기 방법은 연결 그래프내의 이미지들간 연결에 기초하여 제2 이미지와 제3 이미지 간 전환으로서 직렬 디스플레이를 위한 이미지 세트를 선택하는 단계; 및 디스플레이 상에 디스플레이를 위한 이미지 세트를 제공하는 단계를 포함한다. 또한, 이미지 세트를 제공하기 전에, 상기 방법은 제1연결 그래프와 다른 제2연결 그래프에서 상기 이미지 세트의 2개의 이미지들 간 연결에 기초하여 적어도 하나의 이미지를 제거하여, 상기 필터링된 이미지 세트가 제2이미지와 제3이미지 사이의 전환으로서 디스플레이를 위해 제공되도록 상기 이미지 세트를 필터링하는 단계를 또한 포함한다.
본 발명의 다른 양태는 시스템을 제공한다. 상기 시스템은 각각 하나 이상의 프로세서를 갖는 하나 이상의 컴퓨팅 디바이스를 포함한다. 상기 하나 이상의 컴퓨팅 디바이스는, 클라이언트 컴퓨팅 디바이스의 디스플레이에 디스플레이하기 위한 다차원 공간의 제1이미지 및 상기 제1이미지의 일부를 통해(across) 연장되고 제2이미지가 오버레이 라인의 방향을 따라 제1이미지에 연결되도록 상기 다차원 공간이 제1이미지로 연장되는 방향을 나타내는 오버레이 라인을 제공하고, 상기 디스플레이의 일부를 통해 스와이프를 나타내는 사용자 입력을 수신하는 단계, 상기 스와이프는 디스플레이의 시작 픽셀 및 종료 픽셀에 의해 정의되고, 상기 시작 픽셀 및 상기 종료 픽셀에 기초하여, 상기 스와이프가 상기 제1 이미지의 인터랙션 영역 내에서 적어도 부분적으로 발생했음을 결정하는 단계, 상기 인터랙션 영역은 사용자가 상기 다차원 공간과 상호 작용할 수 있는 오버레이 라인 주위의 영역을 정의하고, 상기 스와이프가 인터랙션 영역 내에서 적어도 부분적으로 발생하였을 때, 상기 스와이프가 상기 제1이미지와 상이한 이미지를 디스플레이하라는 요구를 나타내는지 결정하며, 상기 스와이프가 상기 제1이미지와 상이한 이미지를 디스플레이하라는 요청을 나타낼 때, 상기 스와이프의 시작점, 상기 스와이프의 종료점 및 상기 오버레이 라인의 방향을 따라 상기 제1이미지와 제2이미지를 연결하는 연결 그래프에 기초하여 상기 제2이미지를 선택하고, 그리고 상기 다차원 공간에서 이동의 느낌을 제공하기 위해 상기 디스플레이 상에 디스플레이하기 위한 제2이미지를 제공하도록 구성된다. 일 예에서, 상기 하나 이상의 컴퓨팅 디바이스는 제1이미지와 제2이미지 사이에 디스플레이하기 위한 전환 이미지(transition image)를 제공하도록 더 구성되며, 상기 전환 이미지는 제1이미지 및 제2이미지 보다 덜 세부적인 썸네일 이미지로서 제공된다. 다른 예에서, 상기 하나 이상의 컴퓨팅 디바이스는 오버레이 라인과의 임의의 사용자 액션 없이 임계 시간이 경과한 후에 오버레이 라인을 페이드 아웃(fade out)하기 위한 명령을 제공하도록 더 구성된다. 이 예에서, 상기 하나 이상의 컴퓨팅 디바이스는 상기 오버레이 라인을 페이드 아웃한 후 디스플레이 상에서 제2사용자 입력을 수신하고, 상기 제2사용자 입력에 응답하여 오버레이 라인을 다시 디스플레이하기 위한 명령들을 제공하도록 더 구성된다. 다른 예에서, 상기 하나 이상의 컴퓨팅 디바이스는 스와이프의 시작 픽셀 및 스와이프의 종료 픽셀에 기초하여 스와이프의 방향 및 크기를 결정하고, 상기 방향 및 크기에 더 기초하여 제2이미지를 선택하도록 더 구성된다. 다른 예에서, 상기 하나 이상의 컴퓨팅 디바이스는 제2이미지의 일부를 통해 연장되고 상기 제3이미지가 연결 그래프에서 제2오버레이 라인의 방향을 따라 상기 제2이미지에 연결되도록 상기 다차원 공간이 제2이미지로 연장되는 방향을 나타내는 제2오버레이 라인을 갖는 제2이미지를 제공하도록 더 구성된다.
본 발명의 또 다른 양태는 프로그램의 컴퓨터 판독 가능 명령들이 저장되는 비 일시적 컴퓨터 판독 가능 저장 디바이스를 제공한다. 상기 명령들은 하나 이상의 프로세서들에 의해 실행될 때 하나 이상의 프로세서들로 하여금 방법을 수행하게 한다. 상기 방법은 클라이언트 컴퓨팅 디바이스의 디스플레이에 디스플레이하기 위한 다차원 공간의 제1이미지 및 상기 제1이미지의 일부를 통해(across) 연장되고 제2이미지가 오버레이 라인의 방향을 따라 제1이미지에 연결되도록 상기 다차원 공간이 제1이미지로 연장되는 방향을 나타내는 오버레이 라인을 제공하는 단계; 상기 디스플레이의 일부를 통해 스와이프를 나타내는 사용자 입력을 수신하는 단계, 상기 스와이프는 디스플레이의 시작 픽셀 및 종료 픽셀에 의해 정의되고; 상기 시작 픽셀 및 종료 픽셀에 기초하여, 상기 스와이프가 제1이미지의 인터랙션 영역 내에서 적어도 부분적으로 발생했음을 결정하는 단계, 상기 인터랙션 영역은 사용자가 다차원 공간과 상호 작용할 수 있는 오버레이 라인 주위의 영역을 정의하고; 상기 스와이프가 인터랙션 영역 내에서 적어도 부분적으로 발생했을 때, 상기 하나 이상의 프로세서에 의해, 상기 스와이프가 제1이미지와 상이한 이미지를 디스플레이하라는 요청을 나타내는지 결정하는 단계; 상기 스와이프가 제1이미지와 상이한 이미지를 디스플레이하라는 요청을 나타낼 때, 상기 스와이프의 시작점, 상기 스와이프의 종료점 및 상기 오버레이 라인의 방향을 따라 제1이미지와 제2이미지를 연결하는 연결 그래프에 기초하여 상기 제2이미지를 선택하는 단계; 및 상기 하나 이상의 컴퓨팅 디바이스에 의해, 다차원 공간에서 이동의 느낌을 제공하기 위해 상기 디스플레이 상에 디스플레이하기 위한 상기 제2이미지를 제공하는 단계를 포함한다.
도 1은 본 발명의 양상에 따른 예시적인 시스템의 기능적 다이어그램이다.
도 2는도 1의 예시적인 시스템의 도면이다.
도 3은 본 발명의 양태에 따른 이미지 및데이터의 예시적인 표현이다.
도 4는 본 발명의 양상에 따른 예시적인 이미지 그래프의 표현이다.
도 5는 본 발명의 양태에 따른 예시적인 클라이언트 컴퓨팅 디바이스 및 스크린 샷이다.
도 6은 본 발명의 양태에 따른 예시적인 클라이언트 컴퓨팅 디바이스, 스크린 샷 및데이터 표현이다.
도 7은 본 발명의 양태에 따른 예시적인 클라이언트 컴퓨팅 디바이스 및데이터 표현이다.
도 8a 및도 8b는 본 발명의 양상에 따른 사용자 입력의 예이다.
도 9는 본 발명의 양태에 따른 예시적인데이터의 표현이다.
도 10은 본 발명의 양태에 따른 다른 예시적인 클라이언트 컴퓨팅 디바이스 및 스크린 샷이다.
도 11은 본 발명의 양상에 따른 클라이언트 컴퓨팅 디바이스 및 스크린 샷의 또 다른 예이다.
도 12는 본 발명의 양태에 따른 또 다른 예시적인 클라이언트 컴퓨팅 디바이스 및 스크린 샷이다.
도 13은 본 발명의 양태에 따른 예시적인데이터의 또 다른 표현이다.
도 14는 본 발명의 양태에 따른 예시적인데이터의 또 다른 표현이다.
도 15a는 본 발명의 양태에 따른 또 다른 클라이언트 컴퓨팅 디바이스 및 스크린 샷이다
도 15B는 본 발명의 양상에 따른 이미지 그래프의 예시적인 표현이다.
도 16은 본 발명의 양태에 따른 흐름도이다.
개요
본 기술(technology)은 사용자가 제1 또는 제3자 뷰(person view)의 다차원 환경(multidimensional environment) 내에서 네비게이션할 수 있게 하는 인터페이스에 관한 것이다. 일부 예에서, 환경은 모델에 이미지를 맵핑함으로써 렌더링된 3차원 모델 또는 이들 이미지의 2차원 또는 3차원 관계를 식별하는 정보를 갖는 일련의 지리 위치의(geolocated) (예컨대, 방향 및 위치 정보와 연관되기 시작하는) 이미지들을 포함할 수 있다.
다차원 공간에서 "사실적인(realistic)" 모션을 제공하기 위해, 인터페이스는 연속 모션(continuous motion), 직관적 회전(intuitive turning), 장면 주위를 바라보고 그리고 전방 및 후방 이동을 가능하게 한다. 예를 들어, 사용자가 터치 및/또는 모션 제어들을 사용하여 다차원 공간에서 "횡단(traverse)"할 수 있는 방향을 사용자에게 나타내도록 기준 라인(reference line)이 표시될 수 있다. 상기 라인을 기준으로 상이한 방향으로 스와이핑(swiping)함으로써, 인터페이스는 사용자가 단순히 방향을 바꾸고 주변을 둘러 보려고할 때와 비교하여 사용자가 이동하려고 하는 때 및 방향을 쉽게 인식할 수 있다.
인터페이스를 제공하기 위해, 복수의 지리 위치의 이미지가 이용 가능해야 한다. 지리 위치(geolocation) 정보와 관련되는 것 이외에 이미지들은 하나 이상의 이미지 그래프로 서로 연결될 수 있다. 상기 그래프들은 이미지 간 위치 및 거리에 기초한 수동 및 자동 링크(linking), 카메라가 움직일 때 카메라에 의해 이미지가 캡처되는 것처럼 이미지가 캡처되는 방식, 및 이미지의 임의의 특정 포인트(give point)나 방향에 연결하기 위한 이미지들의 세트에서 베스트(best)의 이미지를 식별하는 방법을 포함하는 다양한 기법들(techniques)을 사용하여 생성될 수 있다.
하나 이상의 서버 컴퓨팅 디바이스는 사용자에게 디스플레이하기 위한 이미지들을 제공하기 위해 이들 하나 이상의 그래프에 액세스할 수 있다. 예를 들어, 사용자의 클라이언트 컴퓨팅 디바이스는 위치를 식별하는 이미지들에 대한 요청을 전송할 수 있다. 하나 이상의 서버 컴퓨팅 디바이스는 상기 위치에 대응하는 이미지를 식별하기 위해 하나 이상의 이미지 그래프에 액세스할 수 있다. 그런 다음 이 이미지는 사용자의 클라이언트 컴퓨팅 디바이스로 제공될 수 있다.
이미지를 제공하는 것에 부가하여, 하나 이상의 서버 컴퓨팅 디바이스는 네비게이션 오버레이를 디스플레이하기 위한 명령들을 클라이언트 컴퓨팅 디바이스로 제공할 수 있다. 이 오버레이는 이미지에 의해 표현되는(represented ) 다차원 공간에서 사용자가 이동할 수 있는 방향을 사용자에게 알려주는 라인으로 표현될 수 있다. 상기 라인 자체는 실제로 사용자가 현재 보고 있는 이미지와 상기 하나 이상의 이미지 그래프에 있는 다른 이미지들 간의 연결(connection)에 해당할 수 있다. 예를 들어, 이 라인은 이미지 그래프에서 식별된 이미지들을 캡처하기 위해 카메라가 따라 이동한 도로에 해당할 수 있다.
이어서, 사용자는 다차원 공간을 통해 네비게이션하기 위해 라인을 이용할 수 있다. 예를 들어, 라인은 하나 이상의 이미지 그래프에서 하나의 이미지로부터 다른 이미지로 이동하기 위한 인터랙션 영역(interaction zone)을 사용자에게 제안하는데 사용될 수 있다. 만약 사용자가 라인의 인터랙션 영역 내에서 일반적으로 평행하게 또는 라인과 약간의(some small) 각도 차이 내에서 스와이프하면, 사용자의 클라이언트 컴퓨팅 디바이스는 스와이프 및 이미지 그래프의 특성 (chacteristics)에 따라 새로운 이미지로 전환(transitioning)함으로써 다차원 공간에서 "이동(move)"할 수 있다. 다른 예들에서, 스와이프는 현재 이미지에서 뷰를 회전시키기거나 현재 이미지에서 팬(pan)하기 위한 요청으로서 식별될 수 있다.
방향, 크기 및 속도를 포함하는 스와이프의 특성은 뷰가 어떻게 변화할 것인지를 정의하는데 사용될 수 있다. 스와이프의 크기 또는 픽셀 단위의 길이는 뷰를 앞으로 또는 뒤로 이동할 거리를 결정하는데 사용될 수 있다. 또한, 스와이프의 속도(초당 픽셀 수) 및 스와이프의 가속도는 뷰가 다차원 공간을 통해 이동하는 속도를 결정하는데 사용될 수 있다.
방향은 정규화된 디바이스 좌표(NDC)에서 y=z평면 상에 현재 및 이전 스크린 좌표를 투영하지 않은(2차원에서 3차원으로 변환) 후 다시 그라운드 평면에 투영함으로써 결정될 수 있다. 이를 통해 수직 디스플레이 이동을 다차원 공간의 전방 이동(forward movement)에 매핑하고 수평 디스플레이 이동 맵들을 스크린 지오메트리(screen geometry) 또는 수평 라인과 독립적인 예측 가능한 방식으로 다차원 공간의 측면 이동에 매핑할 수 있다.
예를 들어, 사용자가 클라이언트 컴퓨팅 디바이스의 디스플레이 상에 표시된 뷰를 탭(tap)하면 라인이 나타날 수 있다. 이어서 사용자는 디스플레이의 일부를 따라 스와이프할 수 있다. 스와이프의 초기 위치 또는 픽셀(들) 및 스와이프에 따른 다른 위치들을 사용하여 스와이프의 속도가 결정될 수 있다. 스와이프가 완료되거나 사용자의 손가락이 디스플레이를 떠나면, 새로운 이미지로 전환하기 위해 줌잉 및 새로운 이미지로의 페이딩과 같은 전환 애니메이션이 표시된다.
일반적으로, 뷰는 스와이프의 특성에 기초하여 식별된 이미지에 도달하기 위해 복수의 이미지를 트래버스(traverse)하므로, 이들 복수의 이미지의 전체 해상도는 실제로 디스플레이되지 않을 수 있다. 대신 현재 이미지와 식별된 이미지 간의 전환의 일부로서 썸네일 이미지와 같은 이미지의 저해상도 버전이 표시될 수 있다. 실제 식별된 이미지가 표시되면 이 이미지는 최대 해상도로 표시될 수 있다. 이렇게하면 시간과 처리 능력을 절약할 수 있다.
라인의 불투명도(opacity), 폭, 색상 및 위치와 같은 특성은 사용자가 다차원 공간 네비게이션을 보다 쉽게 이해할 수 있도록 하기 위해 변경될 수 있다. 또한, 사용자가 다차원 공간을 탐색할 때 라인의 간섭을 더욱 줄이기 위해 사용자가 인터페이스와 상호 작용하지 않을 때 라인이 표시되지 않을 수 있다. 예를 들어, 사용자가 디스플레이와 상호 작용하는지 여부에 기초하여 필요에 따라 라인이 바깥으로 희미해질 수 있다.
일부 예들에서, 연결 그래프는 2개의 도로들의 교차점 또는 하나 이상의 이미지 그래프들 내의 교차점이 있는 곳과 같이 분기될 수 있다. 오버레이를 간단하고 이해하기 쉽게 하기 위하여 현재의 시점(point of view)에서 짧은 거리 내에 있는 현재 라인에 직접 연결된 라인들 만이 이미지 위에 겹쳐서 나타날 수 있다. 하나 이상의 도로가 서로 교차하는 교통 교차로와 같은 이들 분기 영역에서 사용자는 한 라인에서 다른 라인으로 변경하고자 할 수 있다. 물론, 앞으로 나아가고 교차점 중앙에서 90도 회전하는 것은 부자연스러울 수 있다. 이와 관련하여, 하나 이상의 이미지 그래프는 2개의 라인 사이의 전환으로서 어느 하나의 라인 상에 있지 않은 이미지를 디스플레이함으로써 2개의 라인의 교차점의 모서리들을 가로 질러 절단하는데 사용될 수 있다.
본 명세서에서 설명된 특징들은 사용자가 다차원 공간 내의 특정의 사전 결정된 모션 경로(motion path)를 따르는 동안 탐색하는 것을 허용하는 동시에 사용자가 "멈추(stuck)거나" 무효한(invalid) 방법으로 움직이는 것을 방지할 수 있게 한다. 또한 시스템은 사용자가 이동하려고 할 때와 사용자가 주변을 둘러 보려고 할 때의 차이를 인식할 수 있다. 다른 시스템들은 이러한 유형의 움직임을 구별하기 위해 여러 유형의 입력을 필요로 한다. 이러한 시스템은 또한 사용자가 특정 위치를 가리키도록 요구할 수도 있다. 이것은 다차원 공간에서 움직이기 위해 사용자가 스와이프할 수 있게 하는 것보다 훨씬 덜 직관적이며 사용자가 이동하려고 할 때마다 화살표를 탭하거나 클릭해야하기 때문에 연속 동작이 허용되지 않는다.
본 발명의 다른 양태, 특징 및 이점은 실시예 및 첨부 도면에 대한 다음의 설명을 참조하여 고려될 때 인식될 것이다. 상이한 도면에서 동일한 참조 번호는 동일하거나 유사한 요소들을 식별할 수 있다. 게다가, 다음의 설명은 제한하지 않으며, 본 발명의 범위는 첨부된 청구 범위 및 등가물에 의해 한정된다. 예시적인 실시예에 따른 특정 프로세스가 라인형 방식으로 발생하는 것으로 도면에 도시되어 있지만, 본 명세서에 명시적으로 언급되지 않는 한 이것은 요구 사항이 아니다. 다른 프로세스가 다른 순서로 또는 동시에 수행될 수 있다. 별도로 명시하지 않는 한 단계들이 추가되거나 생략될 수도 있다.
예시적인 시스템들
도 1 및 도 2는 상술한 특징들이 구현될 수 있는 예시적인 시스템(100)을 포함한다. 이는 본 명세서에 기술된 특징의 개시 또는 유용성의 범위를 제한하는 것으로 간주되어서는 안된다. 이 예에서, 시스템(100)은 컴퓨팅 시스템(110, 120, 130 및 140) 뿐만 아니라 저장 시스템(150)을 포함할 수 있다. 각각의 컴퓨팅 디바이스(110)는 하나 이상의 프로세서(112), 메모리(114) 및 일반적으로 범용 컴퓨팅 디바이스들에 존재하는 다른 구성 요소들(components)을 포함할 수 있다. 각각의 컴퓨팅 디바이스(110, 120, 130 및 140)의 메모리(114)는 하나 이상의 프로세서(112)에 의해 실행될 수 있는 명령들(116)을 포함하여 하나 이상의 프로세서 (112)에 의해 액세스 가능한 정보를 저장할 수 있다.
메모리는 또한 프로세서에 의해 검색, 조작 또는 저장될 수 있는 데이터 (118)를 포함할 수 있다. 메모리는 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기록 가능(write-capable) 및 판독 전용(read-only) 메모리와 같이 프로세서가 액세스할 수 있는 정보를 저장할 수 있는 비-일시적인(non-transitory) 유형이 될 수 있다.
명령들(116)은 하나 이상의 프로세서에 의해, 기계 코드와 같이 직접적으로 또는 스크립트와 같은 간접적으로 실행될 임의의 세트의 명령들일 수 있다. 이와 관련하여, "명령", "애플리케이션", "단계" 및 "프로그램"이라는 용어는 본 명세서에서 상호 교환되어 사용될 수 있다. 명령들은 프로세서에 의한 직접 처리를 위한 오브젝트 코드 포맷으로 저장될 수 있으며, 필요에 따라 해석되거나 미리 컴파일된 독립 소스 코드 모듈의 스크립트 또는 콜렉션을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 명령의 기능, 방법 및 루틴은 아래에서 보다 자세히 설명된다.
데이터(118)는 명령(116)에 따라 하나 이상의 프로세서(112)에 의해 검색, 저장 또는 수정될 수 있다. 예를 들어, 본 명세서에 기술된 요지가 특정 데이터 구조에 의해 제한되지는 않지만, 데이터는 컴퓨터 레지스터, 많은 다른 필드 및 레코드 또는 XML 문서를 갖는 테이블로서 관계형 데이터베이스에 저장될 수 있다. 이데이터는 이진값, ASCII 또는 유니 코드와 같은 컴퓨팅 디바이스가 읽을 수 있는 형식으로 포맷될 수도 있다. 또한, 데이터는 숫자, 설명 텍스트, 독점 코드, 포인터, 다른 네트워크 위치와 같은 다른 메모리에 저장된 데이터에 대한 참조 또는 관련 데이터를 계산하기 의한 함수에 의해 사용되는 정보와 같은, 관련 정보를 식별하기에 충분한 임의의 정보를 포함할 수 있다.
하나 이상의 프로세서(112)는 상업적으로 이용 가능한 CPU와 같은 임의의 종래 프로세서들일 수 있다. 대안적으로, 프로세서는 주문형 집적 회로("ASIC") 또는 다른 하드웨어 기반 프로세서와 같은 전용 구성 요소일 수 있다. 필수적이지는 않지만, 하나 이상의 컴퓨팅 디바이스(110)는 비디오 디코딩, 비디오 프레임을 이미지와 매칭, 비디오 왜곡, 왜곡된 비디오 인코딩 등과 같은 특정 컴퓨팅 프로세스를보다 신속하게 또는 보다 효율적으로 수행하기 위한 특정 하드웨어 구성 요소들을 포함할 수 있다.
도 1은 컴퓨팅 디바이스(110)의 프로세서, 메모리 및 다른 요소를 동일한 블록 내에 기능적으로 도시하지만, 프로세서, 컴퓨터, 컴퓨팅 디바이스 또는 메모리는 실제로 다중 프로세서, 컴퓨터, 컴퓨팅 디바이스, 또는 동일한 물리적 하우징내에 저장될 수도 있고 그렇지 않을 수도 있는 메모리를 포함할 수 있다. 예를 들어, 메모리는 컴퓨팅 디바이스(110)의 하우징과 다른 하우징에 위치한 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서, 컴퓨터, 컴퓨팅 디바이스 또는 메모리에 대한 참조들은 병렬로 동작할 수도 있고 그렇지 않을 수도 있는 프로세서, 컴퓨터, 컴퓨팅 디바이스 또는 메모리의 집합(collection)에 대한 참조를 포함하는 것으로 이해될 것이다. 예를 들어, 컴퓨팅 디바이스(110)는 로드 밸런싱 서버 팜, 분산 시스템 등으로서 동작하는 서버 컴퓨팅 디바이스를 포함할 수 있다. 또한, 이하에서 설명되는 일부 기능들이 단일 프로세서를 갖는 단일 컴퓨팅 디바이스상에서 발생하는 것으로 나타내지만, 본 명세서에서 설명된 요지의 다양한 양태들은 예를 들어 네트워크(160)를 통해 정보를 통신하는 복수의 컴퓨팅 디바이스들에 의해 구현될 수 있다.
각각의 컴퓨팅 디바이스(110)는 네트워크(160)의 상이한 노드에 존재할 수 있고 네트워크(160)의 다른 노드와 직접 및 간접적으로 통신할 수 있다. 비록 소수의 컴퓨팅 디바이스 만 도 1 내지 도 2에 도시되어 있지만, 전형적인 시스템은 다수의 연결된 컴퓨팅 디바이스를 포함할 수 있고, 각각의 상이한 컴퓨팅 디바이스는 네트워크(160)의 다른 노드에 위치할 수 있음을 이해해야 한다. 여기에 기술된 네트워크(160) 및 개재(intervening) 노드는 네트워크가 인터넷, 월드 와이드 웹, 특정 인트라넷, 광역 네트워크 또는 로컬 네트워크의 일부가 될 수 있도록 다양한 프로토콜 및 시스템을 사용하여 상호 접속될 수 있다. 네트워크는 이더넷, WiFi 및 HTTP와 같은 표준 통신 프로토콜, 하나 이상의 회사가 독점적으로 사용하는 프로토콜 및 전술한 다양한 조합을 활용할 수 있다. 전술한 바와 같이 정보가 전송 또는 수신될 때 소정 이점들을 얻을 수 있지만, 본 명세서에서 기술된 요지의 다른 양상은 정보의 특정 전송 방식으로 제한되지 않는다.
예로서, 각 컴퓨팅 디바이스(110)는 네트워크를 통해 컴퓨팅 디바이스(120, 130 및 140) 뿐만 아니라 저장 시스템(150)과 통신할 수 있는 웹 서버를 포함할 수 있다. 예를 들어, 하나 이상의 서버 컴퓨팅 디바이스(110)는 네트워크(160)를 사용하여 컴퓨팅 디바이스(120, 130 또는 140)의 디스플레이(122, 132 또는 142)와 같은 디스플레이상의 사용자(220, 230 또는 240)와 같은 사용자에게 정보를 송신 및 제공할 수 있다. 이와 관련하여, 컴퓨팅 디바이스들(120, 130 및 140)은 클라이언트 컴퓨팅 디바이스들로서 고려될 수 있으며 본 명세서에서 설명된 특징들의 전부 또는 일부를 수행할 수 있다.
클라이언트 컴퓨팅 디바이스들(120, 130 및 140) 각각은 전술한 바와 같은 하나 이상의 프로세서, 메모리 및 명령들을 갖는 서버 컴퓨팅 디바이스들(110)과 유사하게 구성될 수 있다. 각 클라이언트 컴퓨팅 디바이스(120, 130 또는 140)는 사용자(220, 230, 240)에 의한 사용을 의도한 개인용 컴퓨팅 디바이스일 수 있고, 중앙 처리 장치(CPU ), 데이터 및 명령을 저장하는 메모리(예컨대, RAM 및 내부 하드 드라이브), 디스플레이(122, 132 또는 142)(예컨대, 스크린, 터치 스크린, 프로젝터, 텔레비전 또는 기타 정보를 디스플레이할 수 있는 장치), 및 사용자 입력 장치(124)(예컨대, 마우스, 키보드, 터치 스크린 또는 마이크로폰)를 포함할 수 있다. 클라이언트 컴퓨팅 디바이스는 또한 비디오 스트림들을 기록하기 위한 카메라, 스피커, 네트워크 인터페이스 디바이스 및 이들 요소를 서로 연결하기 위해 사용되는 모든 구성 요소들을 포함할 수 있다.
클라이언트 컴퓨팅 디바이스(120, 130 및 140) 각각은 풀 사이즈 개인용 컴퓨팅 디바이스를 각각 포함할 수 있지만, 대안적으로 인터넷과 같은 네트워크를 통해 서버와 무라인으로 데이터를 교환할 수 있는 모바일 컴퓨팅 디바이스를 포함할 수 있다. 예로서만, 클라이언트 컴퓨팅 디바이스(120)는 무라인 가능 PDA, 태블릿 PC 또는 인터넷을 통해 정보를 획득할 수 있는 넷북과 같은 모바일 전화 또는 디바이스일 수 있다. 다른 예에서, 클라이언트 컴퓨팅 디바이스(130)는 헤드 장착 컴퓨팅 시스템일 수 있다. 예로서, 사용자는 소형 키보드, 키패드, 마이크로폰, 카메라로 시각 신호를 사용하는 정보 또는 터치 스크린을 사용하여 정보를 입력할 수 있다.
메모리(114)에서와 같이, 저장 시스템(150)은 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기록 가능 및 판독 전용 메모리들 등과 같은 서버 컴퓨팅 디바이스들(110)에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형의 컴퓨터 저장 장치일 수 있다. 또한, 저장 시스템(150)은 데이터가 동일하거나 상이한 지리적 위치들에 물리적으로 위치할 수 있는 복수의 상이한 저장 디바이스들 상에 저장되는 분산 저장 시스템을 포함할 수 있다. 저장 시스템(150)은 도 1에 도시된 바와 같이 네트워크(160)를 통해 컴퓨팅 디바이스들에 접속될 수 있고/있거나 컴퓨팅 디바이스들(110, 120, 130 및 140) 중 임의의 것에 직접 연결될 수 있다.
저장 시스템(150)은 이미지 식별자, 이미지의 방향 및 위치, 이미지를 캡처한 카메라의 방향 및 위치뿐만 아니라 내재된(intrinsic) 카메라 설정(초점 거리, 줌 등)과 같은 이미지 및 관련 정보를 저장할 수 있다. 방향 및 위치 정보와 관련된 것 외에도, 이미지는 하나 이상의 이미지 그래프로 서로 연결될 수 있다. 즉, 임의의 주어진 이미지로부터, 이들 이미지 그래프는 어느 이미지가 어느 이미지에 연결되어 있는지를 나타낼 수 있다. 그래프는 이미지들 간 위치 및 거리에 기초한 수동 및 자동 링크, 카메라가 이동될 때 카메라에 의해 이미지가 캡처되는 것과 같이 이미지가 캡처되는 방식 및 이미지의 특정 포인트나 방향에 연결하기 위한 이미지들의 세트에서 베스트 이미지를 식별하는 다른 방법을 포함하는 다양한 기법을 이용하여 생성될 수 있다. 예를 들어, 도 3의 예시(300)에 도시된 바와 같이, 이미지는 도로(302)를 따라 차량을 운행함으로써 캡처될 수 있다. 이 예에서, 도로는 복수의 차선(304, 306, 308)을 포함한다. 한 번에, 차선(304)에서 운행되는 차량은 특히 도로(302)뿐만 아니라 빌딩(330, 332, 334, 336, 338)과 같은 차량의 환경 내의 특징들을 포함하는 일련의 이미지들(310)을 캡처한다. 다른 시간에, 차선(306)에서 운행되는 동일하거나 다른 차량(그리고 후에 이미지(340 및 342)사이에서 차선(308)으로 전환되는)은 일련의 이미지들(320)를 캡처한다. 일련의 이미지를 캡처하는 카메라 또는 카메라들의 이동에 따라, 이들 각각은 이미지가 캡처되었을 때의 카메라 위치에 대한 정보, 이미지가 캡처되었을 때의 카메라의 방향(예를 들어, 방향 지시기(360)와 관련하여), 이미지가 캡처된 날짜 및 시간을 나타내는 타임 스탬프 정보에 각각의 이미지를 연관시킬 수 있다. 카메라 오버타임 및 일련의 이미지 위치의 변화는 라인(350, 352)을 통해 이미지 쌍을 함께 "링킹(linking)"시키는데 사용될 수 있다. 다시 말하면, 이 링킹은 이미지의 타임 스탬프 정보뿐만 아니라 카메라의 위치 및 방향을 사용하여 시간 경과에 따른 카메라의 위치 변화에 기초하여 수동 또는 자동으로 수행될 수 있다. 그런 다음 링킹을 통해 이미지 그래프의 연결을 생성하거나 인접한 각 이미지쌍 간의 상대적인 방향을 기술하는 정보를 생성한다. 이 예에서, 링킹의 결과는 일련의 이미지들(310 및 320) 및 이미지들 간의 연결들에 대응하는 2개의 이미지 그래프이다.
그래프 그 자체는 상이한 이미지들 및 연결을 가질 수 있다. 도 4는 일련의 이미지 그래프(410, 420, 450)의 예이다. 이 예에서, 이미지 그래프(410 및 420)는 도로들 및 경로들 등에 대응하는 거리 또는 지도 그리드(map grid)를 따른 이미지만을 나타내는 이미지들 및 연결들로부터 생성될 수 있거나 그리드를 포함하는 이미지들 및 연결들에만 더 복잡한 그래프를 페어링함으로써 생성될 수 있다. 예를 들어, 이미지 그래프(410 및 420)는 일련의 이미지(310 및 320)로부터 상술한 바와 같이 생성될 수 있다. 이미지 그래프(420)는 실제로 지도에서 도로(302) 또는 도로의 그리드와 관련된 이미지(402-430)만을 포함한다. 이어서 다른 연결 그래프들은 첫 번째 그래프의 이미지에서 첫 번째 그래프의 이미지를 넘어서는 이미지들까지의 연결들을 식별할 수 있다. 예를 들어, 이미지 그래프(450)는 일련의 이미지(320)의 이미지(402, 404, 406, 408)와 일련의 이미지(322)의 이미지(442, 444, 446 및 448) 사이의 연결을 포함한다. 또한, 이미지 그래프(450)는 빌딩(330) 내부로부터의 이미지들일 수 있지만 일련의 이미지(320 또는 322) 중 어느 것에도 포함되지 않은 이미지(452 및 454)와의 연결을 포함한다. 다시 말하면, 이러한 연결들은 상술한 바와같이 수동 또는 자동으로 그려질 수 있다.
예시적인 방법들
전술한 바와 같이, 이하의 동작들은 이하에서 설명되는 정확한 순서로 수행될 필요는 없다. 오히려, 상술한 바와 같이, 다양한 동작들이 상이한 순서 또는 동시에 처리될 수 있고, 동작들이 추가되거나 생략될 수 있다. 예로서, 클라이언트 컴퓨팅 디바이스는 사용자에게 이미지 네비게이션 경험을 제공할 수 있다. 클라이언트 컴퓨팅 디바이스는 이미지를 검색하고 디스플레이하기 위해 하나 이상의 서버 컴퓨팅 디바이스와 통신함으로써 사용자에게 이미지 네비게이션 경험을 제공할 수 있다. 하나 이상의 서버 컴퓨팅 디바이스는 사용자에게 디스플레이하기 위한 이미지를 제공하기 위해 하나 이상의 그래프에 액세스할 수 있다. 예를 들어, 사용자의 클라이언트 컴퓨팅 디바이스는 위치를 식별하는 이미지들에 대한 요청을 전송할 수 있다. 하나 이상의 서버 컴퓨팅 디바이스는 그 위치에 대응하는 이미지를 식별하기 위해 하나 이상의 이미지 그래프에 액세스할 수 있다. 그런 다음 이 이미지는 사용자의 클라이언트 컴퓨팅 디바이스로 제공될 수 있다.
이미지를 제공하는 것 이외에, 하나 이상의 서버 컴퓨팅 디바이스는 클라이언트 컴퓨팅 디바이스에게 네비게이션 오버레이(navigational overlay)를 디스플레이하기 위한 명령을 제공할 수 있다. 이 오버레이는 사용자가 다차원 공간에서 이동할 수 있는 방향을 사용자에게 알려주는 라인으로 표현될 수 있다. 예를 들어,도 5는 컴퓨팅 디바이스(120)의 디스플레이(122) 상에 디스플레이된 이미지 그래프 (310)의 이미지(444)의 예시적인 도면(500)이다. 여기서, 사용자가 이동할 수 있는 이미지(444)로의 방향을 나타내는 오버레이 라인(502)이 제공된다. 상기 라인 자체는 실제로 사용자가 현재 보고 있는 이미지(444)와 이미지 그래프(310) 내의 다른 이미지들 간의 연결에 대응할 수 있다. 이 예에서 알 수 있는 바와 같이, 이미지 (444)는 빌딩(332, 334, 336 및 338)의 부분들을 포함한다.
그런 다음, 사용자는 라인을 사용하여 다차원 공간을 네비게이션할 수 있다. 예를 들어, 라인은 하나 이상의 이미지 그래프들에서 이미지에서 다른 이미지로 이동하기 위한 인터랙션 영역을 사용자에게 제안하는데 사용될 수 있다. 도 6의 예시(600)에 도시된 바와 같이, 인터랙션 영역(602)은 라인(502)의 외측 에지(outer edges)를 지나 연장된다. 인터랙션 영역(602)이 도 6의 디스플레이(122) 상에 디스플레이되어 있지만, 이 인터랙션 영역은 실제로 디스플레이될 필요가 없으며, 디스플레이상의 클러터(clutter)를 감소시키기 위해 "은닉(hidden)"될 수 있다. 상기 인터랙션 영역(602)은 라인의 외측 에지들을 지나 연장되기 때문에, 사용자가 그의 손가락(또는 스타일러스)을 스와이프하려고 시도할 때 약간의 오차를 허용할 수 있다. 예를 들어, 도 7의 예시(700)를 참조하면, 영역(702)은 디스플레이(122)에 대응한다. 이 예에서, 영역(704)은 인터랙션 영역(602)의 외부에 있는 디스플레이(122)의 영역을 지칭한다. 다시 말하면, 이들 영역은 반드시 사용자에게 표시될 필요는 없으며, 도 7은 아래의 예를 보다 명확하게 설명하기 위해 사용된다.
사용자가 라인의 인터랙션 영역 내에서 그리고 일반적으로 라인에 평행하게 또는 라인에 대한 약간의 작은 각도 차이 내에서 스와이프하면 클라이언트 컴퓨팅 디바이스가 다차원 공간에서 "이동(move)"할 수 있다. 예를 들어, 도 8A 및 8B의 예들 800A 및 800B에 도시된 바와 같이, 사용자는 손가락(또는 스타일러스)을 사용하여 화살표(804) 방향으로 라인(502)과 대체로 평행하게 스와이프함으로써 라인의 인터랙션 영역(602) 806)과 상호 작용할 수 있다. 도 9의 예시(900)에 도시된 바와 같이, 스와이프는 라인(502)과 정확히 평행하지는 않을 수 있기 때문에, 인터랙션 영역(602) 내의 라인(502)의 방향으로부터 10°또는 15°와 같은 작은 각도 차이(θ1)는 무시되거나 "일반적으로 "평행한 것으로 간주될 수 있다.
도 8A로 돌아가서, 사용자가 화살표(804)의 방향으로 스와이프한 경우, 다차원 공간 내에서 사용자를 이동시키는 것처럼 보이는 새로운 이미지가 디스플레이될 수 있다. 예를 들어, 인터랙션 영역(602) 내에서 라인(502)에 대체로 평행한 사용자의 스와이프에 응답하여, 디스플레이는 이미지 그래프(310)의 다른 이미지로 전환할 수 있다. 도 10의 예시(1000)에 도시된 바와 같이, 디스플레이는 이미지 그래프(310)의 이미지(470)로 전환한다. 이 예에서, 상기 디스플레이는 빌딩(336)이 더 이상 보이지 않도록 사용자를 차선(304) 아래로 그리고 라인(502)을 따라 더 이동시킨 것처럼 보인다. 즉, 이것은 사용자가 2차원 이미지를 보고 있지만 3차원 공간 내에서 사용자가 움직이고 있다는 느낌을 준다. 표시될 이미지의 선택은 스와이프의 특성 및 아래에 설명된 하나 이상의 이미지 그래프들에 따라 달라질 수 있다.
사용자가 인터랙션 영역(602) 외부 또는 라인(502)으로부터 멀리 떨어져 있거나 또는 라인에 대해 일부 특정 각도 거리(예컨대, θ1보다 크지만 90-θ1보다 작은) 내에서 스와이프하면, 사용자의 클라이언트 컴퓨팅 디바이스는 새로운 이미지로 전환하는 것이 아니라 현재 이미지의 뷰의 방향을 변경하거나 현재 이미지 내의 뷰를 회전시킬 수 있다. 예를 들어, 사용자가 디스플레이(122)의 좌측으로부터 디스플레이(122)의 우측을 향해 예시(600)의 디스플레이를 가로 질러 그의 손가락을 θ1보다 크지만 90-θ1보다 작은 각도로 스와이프하면 라인(502)를 따라 이동하는 것이 아니라 디스플레이는 이미지(444)내에서 회전할 수 있다. 도 11의 예시 (1100)에 도시된 바와 같이, 디스플레이는 이미지(444) 내의 예시(600)의 위치로부터 회전하여 빌딩(332)의 더 많은 것을 디스플레이한다. 이것은 다차원 공간 내에서 앞뒤로 움직이는 것과는 대조적으로 사용자가 자신의 방향을 돌리거나 변경한 느낌을 사용자에게 준다. 따라서, 인터랙션 영역은 클라이언트 컴퓨팅 디바이스로 하여금 이동 요청(즉, 전방 또는 후방으로 이동)과 사용자의 방향 변경 요청을 구별할 수 있게 한다.
또한, 사용자가 인터랙션 영역 내측 또는 외측에서 라인(502)의 방향에 수직한 방향으로부터 일반적으로 수직방향으로 또는 작은 각(θ1)(또는 라인(502)의 방향에 평행한 90-θ1 미만) 내로 스와이프하면, 이는 사용자가 현재 이미지에서 패닝(좌우 이동)하기를 원한다는 것을 나타낼 수 있다. 예를 들어, 사용자가 디스플레이(122)의 좌측으로부터 디스플레이(122)의 우측을 향해 라인의 방향에 평행한 90-θ1보다 큰 각도로 그의 손가락을 예시(600)의 디스플레이를 가로 질러 스와이프하면, 일반적으로 라인(502)를 따라 이동하거나 이미지(444) 내에서 회전하는 것이 아니라, 디스플레이는 현재 이미지 내에서 처리(pay)할 수 있다. 이와 관련하여 하나 이상의 이미지 그래프에 따라 둘 이상의 라인이 있는 경우 이 이동은 뷰가 실제로 다른 라인으로 "점프"할 수 있도록 해 준다. 예를 들어, 이미지(444)로부터, 디스플레이는 도 12의 예시(1200)에 도시된 바와 같이 이미지 그래프(420)의 이미지(404)로 점프할 수 있다. 여기서, 사용자는 이미지(444)와 이미지(402) 사이를 이동함으로써 차선(304) 내의 일 포인트로부터 차선(306) 내의 일 포인트로 패닝한 것처럼 보인다. 이 포인트에서, 이미지 그래프(420)에 대응하는 새로운 오버레이(1202)가 이미지(404)와의 디스플레이를 위해 제공될 수 있다.
방향, 크기 및 속도를 포함하는 스와이프의 특성은 뷰가 어떻게 변할지를 정의하는데 사용될 수 있다. 예를 들어, 라인이 표시되는 동안 사용자가 인터랙션 영역을 따라 스와이프하면, 결과는 스와이프가 시작된 포인트를 향하는 방향(이미지 그래프 내에서)으로 이동할 수 있다. 이와 관련하여,도 8A에 도시된 바와 같이 아래로 드래그하면 뷰가 전방으로 진행하고, 도 8B에 도시된 바와 같이 위쪽으로 드래그하면 뷰가 후방으로 이동한다.
스와이프의 크기 또는 픽셀들의 길이는 뷰를 앞으로 또는 뒤로 이동할 거리를 결정하는데 사용될 수 있다. 예를 들어, 스와이프가 임계 최소 픽셀 수를 넘지 않으면 결과가 이동되지 않을 수 있다. 만약 스와이프가 임계 최소 픽셀 수를 충족하면 다차원에서의 이동은 스와이프가 교차하는 픽셀 수에 상응할 수 있다. 그러나, 뷰에는 원근감(perspective)이 있기 때문에 픽셀들의 거리와 다차원의 거리 간의 관계는 라인이 나타나는 평면이 이미지의 소실점(vanishing point)을 향하여 기울어질수록 지수 함수가 될 수 있다(라인형과 반대로). 이와 관련하여, 픽셀 단위의 거리는 다차원 공간에서의 거리로 변환될 수 있다. 오리지날 이미지로부터 다차원 공간의 거리에 가장 가까운 하나 이상의 이미지 그래프에 따른 라인을 따르는 이미지가 뷰가 전환될 이미지로서 식별될 수 있다.
또한, 스와이프의 속도(초당 픽셀 수) 및 스와이프의 가속도는 뷰가 다차원을 통해 얼마나 빨리 이동하는지를 결정하는데 사용될 수 있다. 예를 들어, 이동은 처음에는 스와이프의 속도에 해당하지만, 이 속도는 스와이프의 크기에 따라 식별된 이미지에서 느려지고 멈출 수 있다. 스와이프의 크기에 기초하여 결정된 거리가 2개의 이미지 사이에 있는 경우, 스와이프의 속도(또는 가속도)는 어떤 이미지가 상기 뷰가 전환될 이미지로 식별되는지 결정하는데 사용될 수 있다. 예를 들어, 속도(또는 가속도)가 어떤 임계 속도(또는 가속도)보다 상대적으로 높거나 더 크면 오리지날 이미지에서 더 먼 이미지가 선택될 수 있다. 동시에 속도(또는 가속도)가 임계 속도(또는 가속도)보다 상대적으로 낮거나 더 적으면 원본 이미지에 더 가까운 이미지가 선택될 수 있다. 응답으로 속도(또는 가속도)가 소정의 다른 임계값을 만족시키는 또 다른 예에서, 뷰는 사용자가 디스플레이를 탭할 때까지 스와이프의 속도에 따라 하나 이상의 이미지 그래프에서 라인을 따라 이미지들 사이를 전환함으로써 다차원 공간을 통해 연속적으로 이동하는 것처럼 보일 수 있다. 이 탭은 하나 이상의 이미지 그래프에 따라 상기 이동이 멈추는 속도가 느려지거나 현재 또는 다음 이미지에서 즉시 멈출 수 있게 해준다. 또 다른 예에서, 일반적으로 라인에 수직으로 만들어진 스와이프의 속도는 스와이프의 동일한 속도가 일반적으로 라인에 평행하게 될 때보다 다차원을 통해 보다 느린 이동으로 변환될 수 있다. 또한, 스와이프의 속도는 스와이프가 발생하는 위치에 기초하여 결정될 수 있다. 이와 관련하여, 속도는 화면 하단과 수평 라인사이의 화면 중간의 일 포인트에서 픽셀 당 미터를 측정하여 이것이 스와이프의 "평균" 화면 위치라는 직감에 따라 결정될 수 있다. 따라서, 사용자가 손가락을 이 포인트 위로 정확히 드래그하면 지면의 픽셀이 사용자의 손가락과 같은 속도로 이동된다.
상기 방향은 정규화된 디바이스 좌표(NDC)에서 y=z 평면에 현재 및 이전의 화면 좌표를 투영하지 않고(2차원에서 3차원으로 변환) 다시 그라운드 평면에 투영함으로써 결정될 수 있다. 예를 들어, 도 13의 예시(1300)는 그라운드 평면(1306)에 대한 컴퓨팅 디바이스(120)의 화면(1304)의 평면의 상대적인 방향(화살표 1302로 표시됨)을 나타내는 다이어그램이다. 이 두 평면 사이에는 NDC 평면(1308)이 있다. 도 14의 예시(1400)는 그라운드 평면(1306)을 따라 화살표(1406)로 도시된 이동에 대해 화면(1304)의 평면 상에 화살표(1404)로 도시된 손가락 스와이프의 방향을 도시한다. 여기서, 사용자의 손가락은 화면(1304)상의 포인트 A에서 스와이프를 시작하고 화면의 포인트 B에서 스와이프를 종료한다. 이들 점은 NDC 평면(1308)상의 대응하는 포인트 B' 및 포인트 A'로 변환된다. NDC 평면으로부터, 상기 포인트들은 접지면(1306)의 포인트 C 및 포인트 D로 투영된다. 이를 통해 수직 디스플레이 동작은 다차원 공간의 전방 이동에 맵핑할 수 있고 수평 디스플레이 이동 맵은 장면 지오메트리 또는 수평라인과 독립적인 예측 가능한 방식으로 상기 다차원 공간의 측면 이동(lateral movement)에 매핑할 수 있다.
일 예로서, 사용자가 클라이언트 컴퓨팅 디바이스의 디스플레이 상에 표시된 뷰를 탭하면 라인이 나타날 수 있다. 그런 다음 사용자는 디스플레이의 일부를 따라 스와이프할 수 있다. 스와이프의 초기 위치 또는 픽셀(들) 및 스와이프에 따른 다른 위치를 사용하여 스와이프의 속도가 결정될 수 있다. 스와이프가 완료되거나 사용자의 손가락이 디스플레이에서 떨어지면 새로운 이미지로 전환하기 위해 줌잉 및 새 이미지로 페이딩과 같은 전환 애니메이션이 표시된다. 일 예로, 속도가 임계 값보다 작거나 적은 경우, 라인을 따라 다음 이미지가 새로운 뷰로 표시될 수 있다. 만약 속도가 임계 값보다 큰 경우, 스와이프의 디스플레이 상의 종료 시간 및 위치가 결정된다. 하나 이상의 이미지 그래프에 따라 상기 라인을 따라 이 위치에 가장 가까운 이미지가 타겟 이미지로서 식별된다. 이 예에서, 상기 라인을 따라 이미지간의 전환 애니메이션이 타겟 이미지에 도달할 때까지 계속된다. 일부 예들에서, 전환 애니메이션동안 디스플레이된 이미지 및 상기 타겟 이미지는 로컬 메모리로부터 또는 상기 전환 애니메이션이 재생되는 동안에 위치 정보를 검증(proving)하고 하나 이상의 서버 컴퓨팅 디바이스로부터 이미지를 요청함으로써 실시간으로 검색될 수 있다.
전형적으로, 뷰는 스와이프의 특성에 기초하여 식별된 이미지에 도달하기 위해 복수의 이미지를 가로지를 것이므로, 이들 복수의 이미지의 전체 해상도는 실제로 디스플레이되지 않을 수 있다. 대신 썸네일 이미지들과 같은 상기 이미지들의 저 해상도 버전들이 상기 현재 이미지와 식별된 이미지 간의 전환의 일부로서 디스플레이될 수 있다. 실제 식별된 이미지가 표시될 때 이 이미지가 최대 해상도로 표시될 수 있다. 이렇게 하면 시간과 처리 능력을 절약할 수 있다.
라인의 특성은 사용자가 다차원 네비게이션을 보다 쉽게 이해할 수 있도록 하기 위해 변경될 수 있다. 예를 들어 라인의 불투명도를 조정하여 사용자가 라인 아래의 기능을 더 많이 또는 더 적게 볼 수 있도록 하여 다차원을 시각적으로 탐색할 수 있는 사용자의 능력에 대한 라인의 영향(impact)을 줄일 수 있다. 이와 관련하여, 라인의 폭은 라인이 겹쳐지는 도로의 폭에 대응할 수 있다. 유사하게, 라인의 폭과 인터랙션 영역은 사용자가 손가락을 사용하여 라인과 상호 작용할 수 있을 정도로 라인을 두껍게 만드는 동시에 라인이 지나치게 많이 디스플레이를 차지하는 것을 방지하기 위해 조정될 수 있다. 라인의 색상(예컨대, 파란색)은 현재 뷰를 보완하거나 현재 뷰에서 라인을 돋보이게 할 수 있도록 선택될 수 있다.
라인의 위치는 하나 이상의 이미지 그래프 내의 연결 라인과 항상 동일할 필요는 없다. 예를 들어, 라인이 도로의 폭에 해당하도록 표시되는 경우, 하나 이상의 이미지 그래프 내의 대응하는 연결들은 라인이 실제로 하나 이상의 그래프에 완전히 일치하지 않도록 도로의 중간에서 실제로 움직이지 않을 수 있다. 연결 라인들의 지오매트리가 지그재그인 영역들에서 연결 라인들은 실제로 오버레이로서 직선이 적합할 수 있다(fit with). 이 점에서, 라인은 각 이미지의 중심을 통과하지 못할 수도 있지만 뷰에 오버레이될 때 매끄러운 모양을 가질 수 있다. 이와 관련하여, 라인은 각 이미지의 중심을 통과하지 않을 수도 있지만 뷰에 오버레이될 때 매끄러운 모양(appearance)을 가질 수 있다.
일부 예들에서, 연결 그래프는 2개의 도로들의 교차점이 있거나 또는 하나 이상의 이미지 그래프들 내의 교차점이 있는 곳과 같이 분기될 수 있다. 도 15의 예시(1500A)는 2개의 라인(1502 및 1504)이 서로 교차하는 분기 영역의 예를 나타낸다. 이 예에서 사용자가 한 방향으로 또는 다른 방향으로 가기 위해 스와이프하면, 생성되는 모션은 하나 이상의 이미지 그래프에 따라 원하는 분기를 따르고 상기 뷰는 사용자가 라인을 따라 앞으로 향하도록 조정된다. 다수의 뷰를 보여줌으로써 이용 가능한 이동 방향들이 사용자에게 즉시 명백해진다. 그러나, 오버레이를 간단하고 이해하기 쉽도록 유지하기 위해, 뷰의 현재 포인트와 짧은 거리내에 있는 현재 라인에 직접 연결된 라인들 만 이미지 위에 중첩되어 나타날 수 있다. 사용자가 미리 결정된 거리 내에서 이동할 수 있는 방향을 가리키는 라인을 사용하는 것은 사용자가 다차원 공간에서 어디로 갈 수 있는 지에 대한 상충하는 또는 혼동스러운 정보를 사용자에게 제공하는 것을 방지할 수 있다. 이것은 복잡한 기하학적 영역이나 복잡한 네비게이션 섹션들에서 특히 중요하다.
하나 이상의 도로가 서로 교차하는 교통 교차로와 같은 분기 영역들에서, 사용자는 한 라인에서 다른 라인으로 변경하기를 원할 수 있다. 물론, 앞으로 나아가고 교차점 중간에서 90°회전하는 것은 부자연스러울 수 있다. 이와 관련하여, 하나 이상의 이미지 그래프는 전환으로서 어느 한 라인에 있지 않은 이미지를 디스플레이함으로써 두 라인 사이의 교차점 에지를 가로 질러 절단하는데 사용될 수 있다. 도 15B는 라인(1512 및 1514)이 각각 라인(1504 및 1502)에 대응하는 이미지 그래프(1500B)를 도시한다. 따라서,도 15A의 예에서, 디스플레이(122)는 이미지 G의 방향으로 이미지(E)의 이미지를 디스플레이하고 있다. 사용자가 라인(1502) 주위의 인터랙션 영역 내에서 스와이프하면, 이는 이미지 그래프(1500B)상의 이미지(H)의 위치에 대응할 것이다. 이 예에서, 분기 영역 때문에 이미지(F), 이미지(G), 이미지(F)로 전환하는 대신에, 디스플레이는 경로(1516)를 따라 이미지(E)에서 이미지(H)로 직접 전환하는 것처럼 보일 수 있다. 대안적으로, 단일 이미지만이 스킵될 수 있으며, 디스플레이는 이미지(E)에서 이미지(F)로 전환한 다음 경로(1518)를 따라 이미지(H)로 전환하는 것처럼 보일 수 있다.
사용자가 다차원을 탐색할 때 라인의 간섭을 더 줄이기 위하여, 사용자가 인터페이스와 상호 작용하지 않을 때 라인이 도시되지 않을 수 있다. 이를 통해 사용자는 전체 3D 장면을 볼 수 있다. 예를 들어, 사용자가 장면의 아무 곳이나 탭하고드래그(또는 주위를 클릭 및 드래그하거나 모션을 취하고 주위를 드래그)하면, 라인이 보이지 않는 동안 사용자는 망면 주위를 둘러 볼 것이다. 사용자가 이미지를한 번 탭하면 라인이 나타날 수 있다.
반짝임(shimmer), 라인을 밝게 한 후 흐리게 하기(brightening then dulling of the line), 라인을 두껍한 후 얇게 하기(thickening then thinning of the line), 빠르게 더 많은 라인 만들기 또는 덜 불투명한 후 정상 불투명으로 되돌리는 것과 같은 효과들이 사용자에 대한 라인의 상호 작용 특성(nature)을 나타내기 위해 사용될 수 있다. 사용자가 인터랙션 영역 내에서 드래그 모션을 하면 라인이 보이지 않을 때에도 라인이 나타나고 이미지가 라인을 따라 전환하는 것처럼 보일 수 있다. 디스플레이상의 클라이언트 컴퓨팅 디바이스에 의해 수신된 입력이 없거나 또는 디스플레이상의 싱글 탭 이후에 0.5 초 또는 그 이하의 소정의 소정 기간, 예를 들어 2초 또는 그 이하와 같이, 라인은 이미지에 라인이 미치는 영향을 줄이기 위해 사라질 때까지 희미해져야 한다.
인터페이스는 또한 그리드에 대응하는 라인을 따른 이미지들 이외에 다른 유형의 네비게이션을 제공할 수 있다. 예를 들어, 위에서 언급한 것처럼 싱글 탭으로 인해 라인이 나타날 수 있다. 이 예에서 싱글 탭으로 인해 뷰가 변경되지는 않지만뷰가 고정된 것처럼 보일 수 있다. 동시에, 더블 탭은 하나 이상의 이미지 그래프에 연결된 이미지를 더블 탭의 포인트 또는 그 근처의 현재의 이미지로 가져갈 수 있다. 게다가, 사용자가 현재 라인에 대해 거의 수직을 향하고 있고, 사용자가 라인에 일반적으로 수직으로 스와이프하는 경우, 뷰는 라인에 수직을 유지되는 것처럼 보일 수 있으며, 사용자가 도로를 따라 '스트라페(strafe)'할 수 있게 해준다. 또한, 핀칭(pinching) 제스처는 실제로 새 이미지로 전환하지 않고 특정 이미지를 줌인 또는 줌 아웃할 수 있다.
위의 예는 라인들과 관련이 있지만, 다차원에서 네비게이션 가능 영역의 표시(indication)를 사용자에게 제공하기 위해 다양한 다른 오버레이가 사용될 수 있다. 예를 들어, 사용자가 다차원을 통해 이동할 때 사용자에게 시각적 피드백을 제공하기 위해, 둘러보기 및 다차원을 통한 이동 사이를 전환하기 위한 토글 스위치에 추가하여 또는 그와 함께 지도 상에 복수의 스크롤 바가 배치될 수 있다. 다른 예에서, 유한 라인이 아닌, 뷰에 측면으로 혼합(blend)되는 것처럼 보이는 더 넓은 라인이 사용될 수 있다. 또 다른 대안으로, 장면 내로 멀리 확장된 것처럼 보이지 않는 원반 또는 짧은 화살표 유형의 표시가 인터랙션 영역을 제안하는데 사용될 수 있다.
도 16은 서버 컴퓨팅 디바이스(110)와 같은 하나 이상의 서버 컴퓨팅 디바이스에 의해 수행될 수 있는 전술한 다양한 양태의 예시적인 흐름도(1600)이다. 이 예에서, 블록(1602)에서 다차원 공간의 제1 이미지가 클라이언트 컴퓨팅 디바이스의 디스플레이 상에 디스플레이하기 위해 제공된다. 제1이미지에는 제1이미지의 일부를 통해(across) 연장되고 오버레이 라인의 방향을 따라 제2이미지가 제1이미지에 연결되도록 상기 다차원 공간이 제1이미지로 연장되는 방향을 나타내는 오버레이 라인이 제공된다. 디스플레이의 일부를 통해 스와이프를 나타내는 사용자 입력이 블록(1604)에서 수신된다. 스와이프는 디스플레이의 시작 픽셀 및 종료 픽셀에 의해 정의된다. 시작 픽셀 및 종료 픽셀에 기초하여, 블록(1606)에서 스와이프가 제1이미지의 인터랙션 영역 내에서 적어도 부분적으로 발생했다고 결정된다. 상기 인터랙션 영역은 사용자가 3차원 공간과 상호 작용할 수 있는 오버레이 라인 주변의 영역을 정의한다. 스와이프가 인터랙션 영역 내에서 적어도 부분적으로 발생하면, 스와이프는 블록(1608)에서 제1이미지와 다른 이미지를 디스플레이하기 위한 요청을 나타내는 것으로 결정된다. 상기 스와이프가 제1이미지와 상이한 이미지를 디스플레이하기 위한 요청을 나타낼 때, 블록(1610)에서 상기 스와이프의 시작점, 스와이프의 종료점 및 오버레이 라인의 방향을 따라 제1이미지와 제2이미지를 연결하는 연결 그래프에 기초하여 제2이미지가 선택된다. 제2이미지는 블록(1612)에서 다차원 공간에서 이동의 느낌을 제공하기 위해 디스플레이 상의 디스플레이를 위해 제공된다.
전술한 대체 예시들의 대부분은 상호 배타적인 것이 아니며, 고유한 이점을 얻기 위해 다양한 조합으로 구현될 수 있다. 위에서 기술된 특징들 및 다른 변형 및 조합이 청구 범위에 의해 정의된 요지로부터 벗어나지 않고 이용될 수 있으므로, 실시예들의 전술한 설명은 청구범위에 의해 정의된 요지의 제한이 아닌 예시로서 취해져야 한다. 예를 들어, 전술한 동작들은 위에 개시된 정확한 순서로 수행될 필요는 없다. 오히려 다양한 단계가 다른 순서 또는 동시에 처리될 수 있다. 별도로 명시하지 않는 한 단계를 생략할 수도 있다. 게다가, 본 명세서에 기술된 예들 및 "와 같은", "포함하는" 등의 구절을 제공하는 것은 청구범위의 요지를 특정 예들로 한정하는 것으로 해석되어서는 안되며, 오히려, 상기 예들은 많은 가능한 실시예들 중 단지 하나를 설명하기 위한 것이다. 또한, 상이한 도면에서 동일한 참조 번호는 동일하거나 유사한 요소를 식별할 수 있다.
산업상 이용 가능성
본 기술은 사용자가 제1 또는 제3자 뷰의 다차원 환경 내에서 네비게이션할 수 있게 하는 인터페이스를 포함하지만 이에 국한되지 않는 광범위한 산업 적용성을 갖는다.

Claims (20)

  1. 다차원 공간을 네비게이션하는 방법으로서,
    하나 이상의 프로세서에 의해, 클라이언트 컴퓨팅 디바이스의 디스플레이에 디스플레이하기 위한 다차원 공간의 제1 이미지의 제1 방향(orientation) 및 제1 이미지의 일부에 오버레이 형상을 제공하는 단계;
    하나 이상의 프로세서에 의해, 디스플레이의 시작 픽셀과 종료 픽셀에 의해 정의되는 디스플레이상의 스와이프 입력을 수신하는 단계;
    하나 이상의 프로세서에 의해, 시작 픽셀과 종료 픽셀에 기초하여, 스와이프 입력이 적어도 부분적으로 인터랙션 영역(interaction zone) 외부의 디스플레이상에서 수신되었다고 결정하는 단계, 상기 인터랙션 영역은 오버레이 형상 주위의 영역을 정의하고;
    하나 이상의 프로세서에 의해, 시작 픽셀의 위치와 종료 픽셀의 위치에 기초하여 제1 방향과 상이한 제1 이미지의 제2 방향을 선택하는 단계, 및
    하나 이상의 프로세서에 의해, 클라이언트 컴퓨팅 디바이스의 디스플레이에 디스플레이하기 위해 제1 이미지의 제2 방향을 제공하는 단계를 포함하는 것을 특징으로 하는 다차원 공간을 네비게이션하는 방법.
  2. 제1항에 있어서,
    스와이프 입력이 제1 이미지와 다른 방향을 디스플레이하라는 요청을 나타내는 것으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 다차원 공간을 네비게이션하는 방법.
  3. 제1항에 있어서,
    스와이프의 시작 픽셀 및 스와이프의 종료 픽셀에 기초하여 스와이프 입력의 방향, 속도 및 크기 중 적어도 하나를 결정하는 단계를 더 포함하고; 그리고
    제2 방향을 선택하는 단계는 방향(direction), 속도 및 크기 중 적어도 하나에 더 기초하는 것을 특징으로 하는 다차원 공간을 네비게이션하는 방법.
  4. 제1항에 있어서,
    오버레이 형상은 다차원 공간이 제1 이미지로 연장되는 방향을 나타내는 것을 특징으로 하는 다차원 공간을 네비게이션하는 방법.
  5. 제1항에 있어서,
    오버레이 형상은 라인, 디스크(disc) 또는 화살표 중 하나인 것을 특징으로 하는 다차원 공간을 네비게이션하는 방법.
  6. 제5항에 있어서,
    오버레이 형상은 오버레이 라인이고, 상기 방법은,
    시작 픽셀과 종료 픽셀에 기초하여, 스와이프 입력이 오버레이 라인에 수직 인 임계 각도 내에 있는지 결정하는 단계를 더 포함하는 것을 특징으로 하는 다차원 공간을 네비게이션하는 방법.
  7. 제1항에 있어서,
    제2 방향은 제1 방향으로부터 제1 이미지의 회전 또는 패닝된(panned) 뷰 중 적어도 하나인 것을 특징으로 하는 다차원 공간을 네비게이션하는 방법.
  8. 제7항에 있어서,
    제2 방향은 제1 이미지의 패닝 뷰이고, 오버레이 형상은 디스플레이의 중앙에 배치되며, 상기 방법은,
    제1 이미지 상의 디스플레이를 위해 제2 오버레이 형상을 제공하는 단계; 및
    제2 오버레이 형상을 디스플레이 중앙에 배치하는 단계를 더 포함하는 것을 특징으로 하는 다차원 공간을 네비게이션하는 방법.
  9. 제1항에 있어서,
    인터랙션 영역 내에서 적어도 부분적으로 클라이언트 디바이스의 디스플레이상의 탭 입력을 수신하는 단계; 및
    클라이언트 디바이스의 디스플레이에 디스플레이하기 위한 제2 이미지를 제공하는 단계를 더 포함하는 것을 특징으로 하는 다차원 공간을 네비게이션하는 방법.
  10. 제9항에 있어서,
    제1 이미지와 제2 이미지 사이에 디스플레이하기 위한 전환 이미지를 더 포함하고, 그 전환 이미지는 제1 이미지 및 제2 이미지보다 덜 상세하게 썸네일 이미지로서 제공되는 것을 특징으로 하는 다차원 공간을 네비게이션하는 방법.
  11. 시스템으로서,
    명령 또는 데이터 중 적어도 하나를 저장하도록 구성된 메모리; 및
    메모리에 동작 가능하게 연결된 하나 이상의 프로세서를 포함하고, 하나 이상의 프로세서는,
    클라이언트 컴퓨팅 디바이스의 디스플레이에 디스플레이하기 위한 다차원 공간의 제1 이미지의 제1 방향 및 제1 이미지의 일부에 오버레이 형상을 제공하고;
    디스플레이의 시작 픽셀과 종료 픽셀에 의해 정의되는 디스플레이상의 스와이프 입력을 수신하고;
    시작 픽셀과 종료 픽셀에 기초하여, 스와이프 입력이 적어도 부분적으로 인터랙션 영역 외부의 디스플레이상에서 수신되었다고 결정하고, 상기 인터랙션 영역은 오버레이 형상 주위의 영역을 정의하고;
    시작 픽셀의 위치와 종료 픽셀의 위치에 기초하여 제1 방향과 상이한 제1 이미지의 제2 방향을 선택하고; 그리고
    클라이언트 컴퓨팅 디바이스의 디스플레이에 디스플레이하기 위해 제1 이미지의 제2 방향을 제공하는 것을 특징으로 하는 시스템.
  12. 제11항에 있어서,
    스와이프 입력이 제1 이미지와 다른 방향을 디스플레이하라는 요청을 나타내는 것으로 결정하는 것을 더 포함하는 것을 특징으로 하는 시스템.
  13. 제11항에 있어서,
    스와이프의 시작 픽셀과 스와이프의 종료 픽셀에 기초하여 스와이프 입력의 방향, 속도 및 크기 중 적어도 하나를 결정하는 것을 더 포함하고; 그리고
    제2 방향을 선택하는 것은 방향, 속도 및 크기 중 적어도 하나에 더 기초하는 것을 특징으로 하는 시스템.
  14. 제11항에 있어서,
    오버레이 형상은 다차원 공간이 제1 이미지로 연장되는 방향을 나타내는 것을 특징으로 하는 시스템.
  15. 제11항에 있어서,
    제2 방향은 제1 방향으로부터 제1 이미지의 회전 또는 패닝된 뷰 중 적어도 하나인 것을 특징으로 하는 시스템.
  16. 제11항에 있어서,
    인터랙션 영역 내에서 적어도 부분적으로 클라이언트 디바이스의 디스플레이상의 탭 입력을 수신하고; 그리고
    클라이언트 디바이스의 디스플레이에 디스플레이하기 위한 제2 이미지를 제공하는 것을 더 포함하는 것을 특징으로 하는 시스템.
  17. 제16항에 있어서,
    제1 이미지와 제2 이미지 사이에 디스플레이하기 위한 전환 이미지를 더 포함하고, 그 전환 이미지는 제1 이미지 및 제2 이미지보다 덜 상세하게 썸네일 이미지로서 제공되는 것을 특징으로 하는 시스템.
  18. 명령들을 저장하는 비-일시적 컴퓨터 판독 가능 매체로서, 상기 명령들은 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서로 하여금:
    클라이언트 컴퓨팅 디바이스의 디스플레이에 디스플레이하기 위한 다차원 공간의 제1 이미지의 제1 방향 및 제1 이미지의 일부에 오버레이 형상을 제공하고;
    디스플레이의 시작 픽셀과 종료 픽셀에 의해 정의되는 디스플레이상의 스와이프 입력을 수신하고;
    시작 픽셀과 종료 픽셀에 기초하여, 스와이프 입력이 적어도 부분적으로 인터랙션 영역 외부의 디스플레이상에서 수신되었다고 결정하고, 상기 인터랙션 영역은 오버레이 형상 주위의 영역을 정의하고;
    시작 픽셀의 위치와 종료 픽셀의 위치에 기초하여 제1 방향과 상이한 제1 이미지의 제2 방향을 선택하고; 그리고
    클라이언트 컴퓨팅 디바이스의 디스플레이에 디스플레이하기 위해 제1 이미지의 제2 방향을 제공하도록 하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  19. 제18항에 있어서,
    스와이프 입력이 제1 이미지와 다른 방향을 디스플레이하라는 요청을 나타내는 것으로 결정하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  20. 제18항에 있어서,
    제2 방향은 제1 방향으로부터 제1 이미지의 회전 또는 패닝된 뷰 중 적어도 하나인 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
KR1020207019086A 2015-12-17 2016-12-13 다차원 이미지 공간을 통한 네비게이션 KR102230738B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/972,843 2015-12-17
US14/972,843 US10217283B2 (en) 2015-12-17 2015-12-17 Navigation through multidimensional images spaces
PCT/US2016/066342 WO2017106170A2 (en) 2015-12-17 2016-12-13 Navigation through multidimensional images spaces

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187006522A Division KR102131822B1 (ko) 2015-12-17 2016-12-13 다차원 이미지 공간을 통한 네비게이션

Publications (2)

Publication Number Publication Date
KR20200083680A KR20200083680A (ko) 2020-07-08
KR102230738B1 true KR102230738B1 (ko) 2021-03-22

Family

ID=58765892

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207019086A KR102230738B1 (ko) 2015-12-17 2016-12-13 다차원 이미지 공간을 통한 네비게이션
KR1020187006522A KR102131822B1 (ko) 2015-12-17 2016-12-13 다차원 이미지 공간을 통한 네비게이션

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187006522A KR102131822B1 (ko) 2015-12-17 2016-12-13 다차원 이미지 공간을 통한 네비게이션

Country Status (8)

Country Link
US (1) US10217283B2 (ko)
EP (1) EP3338057A2 (ko)
JP (2) JP6615988B2 (ko)
KR (2) KR102230738B1 (ko)
CN (1) CN108450035B (ko)
DE (1) DE112016004195T5 (ko)
GB (1) GB2557142B (ko)
WO (1) WO2017106170A2 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2548085C (en) * 2003-12-11 2014-04-29 International Business Machines Corporation Data transfer error checking
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
WO2018198634A1 (ja) * 2017-04-28 2018-11-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
RU2740445C2 (ru) * 2018-09-14 2021-01-14 Общество с ограниченной ответственностью "НАВИГАТОРСПАС" Способ конвертации преобразования перевода 2D-изображений в формат 3D
WO2020068054A1 (en) * 2018-09-25 2020-04-02 Google Llc Dynamic restyling of digital maps
CN109821237B (zh) * 2019-01-24 2022-04-22 腾讯科技（深圳）有限公司 视角转动的方法、装置、设备及存储介质
US11675494B2 (en) * 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019917A1 (en) * 1999-01-25 2014-01-16 Apple Inc. Disambiguation of multitouch gesture recognition for 3d interaction

Family Cites Families (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2040273C (en) * 1990-04-13 1995-07-18 Kazu Horiuchi Image displaying system
JP2900632B2 (ja) 1991-04-19 1999-06-02 株式会社日立製作所 ディジタル地図処理装置及びディジタル地図の表示方法
US5247356A (en) 1992-02-14 1993-09-21 Ciampa John A Method and apparatus for mapping and measuring land
US5396583A (en) 1992-10-13 1995-03-07 Apple Computer, Inc. Cylindrical to planar image mapping using scanline coherence
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5559707A (en) 1994-06-24 1996-09-24 Delorme Publishing Company Computer aided routing system
WO1996024216A1 (en) 1995-01-31 1996-08-08 Transcenic, Inc. Spatial referenced photography
US6097393A (en) 1996-09-03 2000-08-01 The Takshele Corporation Computer-executed, three-dimensional graphical resource management process and system
US6199015B1 (en) 1996-10-10 2001-03-06 Ames Maps, L.L.C. Map-based navigation system with overlays
JP4332231B2 (ja) 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6597818B2 (en) 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US6285317B1 (en) 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
JP4119529B2 (ja) 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
US6687753B2 (en) 1998-06-25 2004-02-03 International Business Machines Corporation Method and system for providing three-dimensional graphics over computer networks
US6477268B1 (en) 1998-11-17 2002-11-05 Industrial Technology Research Institute Producing transitions between vistas
FR2788617B1 (fr) 1999-01-15 2001-03-02 Za Production Procede de selection et d'affichage d'un element de type fichier numerique, image fixe ou images animees, sur un ecran d'affichage
US6346938B1 (en) 1999-04-27 2002-02-12 Harris Corporation Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model
US6611615B1 (en) 1999-06-25 2003-08-26 University Of Iowa Research Foundation Method and apparatus for generating consistent image registration
US6609128B1 (en) 1999-07-30 2003-08-19 Accenture Llp Codes table framework design in an E-commerce architecture
US7574381B1 (en) 1999-08-06 2009-08-11 Catherine Lin-Hendel System and method for constructing and displaying active virtual reality cyber malls, show rooms, galleries, stores, museums, and objects within
US6563529B1 (en) 1999-10-08 2003-05-13 Jerry Jongerius Interactive system for displaying detailed view and direction in panoramic images
US6542812B1 (en) 1999-10-19 2003-04-01 American Calcar Inc. Technique for effective navigation based on user preferences
US6515664B1 (en) 1999-11-12 2003-02-04 Pixaround.Com Pte Ltd Fast single-pass cylindrical to planar projection
US6885392B1 (en) 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
US6717608B1 (en) 1999-12-31 2004-04-06 Stmicroelectronics, Inc. Motion estimation for panoramic digital camera
US6771304B1 (en) 1999-12-31 2004-08-03 Stmicroelectronics, Inc. Perspective correction device for panoramic digital camera
US20020010734A1 (en) 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US6606091B2 (en) 2000-02-07 2003-08-12 Siemens Corporate Research, Inc. System for interactive 3D object extraction from slice-based medical images
US20030210228A1 (en) 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US6895126B2 (en) 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
US20020063725A1 (en) 2000-11-30 2002-05-30 Virtuallylisted Llc Method and apparatus for capturing and presenting panoramic images for websites
US7006707B2 (en) 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
JP2003006680A (ja) 2001-06-20 2003-01-10 Zenrin Co Ltd ３次元電子地図データの生成方法
US7509241B2 (en) 2001-07-06 2009-03-24 Sarnoff Corporation Method and apparatus for automatically generating a site model
WO2003023737A1 (en) 2001-09-07 2003-03-20 The General Hospital Corporation Medical procedure training system
US7096428B2 (en) 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
US7274380B2 (en) 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4610156B2 (ja) 2001-11-13 2011-01-12 アルスロン株式会社 パノラマ画像による道路や河川、鉄道の空間把握システム
JP2003172899A (ja) 2001-12-05 2003-06-20 Fujitsu Ltd 表示装置
US20030110185A1 (en) 2001-12-10 2003-06-12 Rhoads Geoffrey B. Geographically-based databases and methods
US7411594B2 (en) 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
CN1162806C (zh) 2002-03-07 2004-08-18 上海交通大学 路途全景图像带的摄取、生成、传输和显示方法
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
JP4487775B2 (ja) 2002-10-15 2010-06-23 セイコーエプソン株式会社 複数の画像データのパノラマ合成処理
US7424133B2 (en) 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
US6836723B2 (en) 2002-11-29 2004-12-28 Alpine Electronics, Inc Navigation method and system
KR100464342B1 (ko) 2003-04-14 2005-01-03 삼성전자주식회사 티오-캔 구조의 광 모듈
US7526718B2 (en) 2003-04-30 2009-04-28 Hewlett-Packard Development Company, L.P. Apparatus and method for recording “path-enhanced” multimedia
US6968973B2 (en) 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
KR100703444B1 (ko) 2003-06-03 2007-04-03 삼성전자주식회사 네비게이션 시스템에서 위치 정보에 관련된 영상의 다운로드 및 표시 장치 및 방법
JP4321128B2 (ja) 2003-06-12 2009-08-26 株式会社デンソー 画像サーバ、画像収集装置、および画像表示端末
US7197170B2 (en) 2003-11-10 2007-03-27 M2S, Inc. Anatomical visualization and measurement system
JP2005149409A (ja) 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
CA2455359C (en) 2004-01-16 2013-01-08 Geotango International Corp. System, computer program and method for 3d object measurement, modeling and mapping from single imagery
JP4437677B2 (ja) 2004-03-01 2010-03-24 三菱電機株式会社 景観表示装置
US20050195096A1 (en) 2004-03-05 2005-09-08 Ward Derek K. Rapid mobility analysis and vehicular route planning from overhead imagery
US20060098010A1 (en) 2004-03-09 2006-05-11 Jeff Dwyer Anatomical visualization and measurement system
CN103398719B (zh) 2004-03-23 2017-04-12 咕果公司 数字地图描绘系统
DE102004020861B4 (de) 2004-04-28 2009-10-01 Siemens Ag Verfahren zur Rekonstruktion von Projektionsdatensätzen bei Dosis-reduzierter abschnittsweiser spiralförmiger Abtastung in der Computertomographie
US7746376B2 (en) 2004-06-16 2010-06-29 Felipe Mendoza Method and apparatus for accessing multi-dimensional mapping and information
US20060002590A1 (en) 2004-06-30 2006-01-05 Borak Jason M Method of collecting information for a geographic database for use with a navigation system
US7460953B2 (en) 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
US20080189031A1 (en) 2007-02-06 2008-08-07 Meadow William D Methods and apparatus for presenting a continuum of image data
JP4130428B2 (ja) 2004-09-02 2008-08-06 ザイオソフト株式会社 画像処理方法及び画像処理プログラム
WO2006035755A1 (ja) 2004-09-28 2006-04-06 National University Corporation Kumamoto University 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP2006105640A (ja) 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
US7529552B2 (en) 2004-10-05 2009-05-05 Isee Media Inc. Interactive imaging for cellular phones
US20060132482A1 (en) 2004-11-12 2006-06-22 Oh Byong M Method for inter-scene transitions
FR2879791B1 (fr) 2004-12-16 2007-03-16 Cnes Epic Procede de traitement d'images mettant en oeuvre le georeferencement automatique d'images issues d'un couple d'images pris dans le meme plan focal
US7369136B1 (en) * 2004-12-17 2008-05-06 Nvidia Corporation Computing anisotropic texture mapping parameters
US7580952B2 (en) 2005-02-28 2009-08-25 Microsoft Corporation Automatic digital image grouping using criteria based on image metadata and spatial information
US7391899B2 (en) 2005-03-31 2008-06-24 Harris Corporation System and method for three dimensional change detection and measurement of a scene using change analysis
US7777648B2 (en) 2005-04-21 2010-08-17 Microsoft Corporation Mode information displayed in a mapping application
US7466244B2 (en) 2005-04-21 2008-12-16 Microsoft Corporation Virtual earth rooftop overlay and bounding
US8850011B2 (en) 2005-04-21 2014-09-30 Microsoft Corporation Obtaining and displaying virtual earth images
US8103445B2 (en) 2005-04-21 2012-01-24 Microsoft Corporation Dynamic map rendering as a function of a user parameter
US20070210937A1 (en) 2005-04-21 2007-09-13 Microsoft Corporation Dynamic rendering of map information
US8044996B2 (en) 2005-05-11 2011-10-25 Xenogen Corporation Surface construction using combined photographic and structured light information
US7554539B2 (en) 2005-07-27 2009-06-30 Balfour Technologies Llc System for viewing a collection of oblique imagery in a three or four dimensional virtual scene
US20070035563A1 (en) 2005-08-12 2007-02-15 The Board Of Trustees Of Michigan State University Augmented reality spatial interaction and navigational system
WO2007027847A2 (en) 2005-09-01 2007-03-08 Geosim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
JP4853149B2 (ja) 2005-09-14 2012-01-11 ソニー株式会社 画像処理装置、画像表示装置、画像処理方法、プログラムおよび記録媒体
WO2007032553A1 (ja) 2005-09-14 2007-03-22 Sony Corporation 視聴覚システム
US8160400B2 (en) 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
US8081827B2 (en) 2006-02-28 2011-12-20 Ricoh Co., Ltd. Compressed data image object feature extraction, ordering, and delivery
US7778491B2 (en) 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
US10042927B2 (en) 2006-04-24 2018-08-07 Yeildbot Inc. Interest keyword identification
US7310606B2 (en) 2006-05-12 2007-12-18 Harris Corporation Method and system for generating an image-textured digital surface model (DSM) for a geographical area of interest
US7643673B2 (en) 2006-06-12 2010-01-05 Google Inc. Markup language for interactive geographic information system
US7712052B2 (en) 2006-07-31 2010-05-04 Microsoft Corporation Applications of three-dimensional environments constructed from images
US20080027985A1 (en) 2006-07-31 2008-01-31 Microsoft Corporation Generating spatial multimedia indices for multimedia corpuses
US20080043020A1 (en) * 2006-08-18 2008-02-21 Microsoft Corporation User interface for viewing street side imagery
US8611673B2 (en) 2006-09-14 2013-12-17 Parham Aarabi Method, system and computer program for interactive spatial link-based image searching, sorting and/or displaying
US8041730B1 (en) 2006-10-24 2011-10-18 Google Inc. Using geographic data to identify correlated geographic synonyms
US8498497B2 (en) 2006-11-17 2013-07-30 Microsoft Corporation Swarm imaging
US8542884B1 (en) 2006-11-17 2013-09-24 Corelogic Solutions, Llc Systems and methods for flood area change detection
AU2006350960B2 (en) 2006-11-20 2013-09-12 Satori Pharmaceuticals, Inc. Compounds useful for treating neurodegenerative disorders
US20080143709A1 (en) 2006-12-14 2008-06-19 Earthmine, Inc. System and method for accessing three dimensional information from a panoramic image
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8593518B2 (en) 2007-02-01 2013-11-26 Pictometry International Corp. Computer system for continuous oblique panning
US20080309668A1 (en) 2007-05-17 2008-12-18 Igor Borovikov Image processing method and apparatus
US7990394B2 (en) 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
EP3471053B1 (en) * 2007-05-25 2020-07-08 Google LLC Rendering, viewing and annotating panoramic images, and applications thereof
JP4678534B2 (ja) * 2007-06-07 2011-04-27 ソニー株式会社 ナビゲーション装置及び地図スクロール処理方法
KR100837283B1 (ko) * 2007-09-10 2008-06-11 (주)익스트라스탠다드 터치스크린을 구비한 휴대용 단말기
US8326048B2 (en) 2007-10-04 2012-12-04 Microsoft Corporation Geo-relevance for images
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
KR100979910B1 (ko) 2008-01-29 2010-09-06 (주)멜파스 분할 투명 전극 구조를 갖는 터치스크린 패널
RU2460187C2 (ru) 2008-02-01 2012-08-27 Рокстек Аб Переходная рама с встроенным прижимным устройством
CA2707246C (en) 2009-07-07 2015-12-29 Certusview Technologies, Llc Automatic assessment of a productivity and/or a competence of a locate technician with respect to a locate and marking operation
US20090210277A1 (en) * 2008-02-14 2009-08-20 Hardin H Wesley System and method for managing a geographically-expansive construction project
JP5039922B2 (ja) 2008-03-21 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム
US8350850B2 (en) 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
US20090327024A1 (en) 2008-06-27 2009-12-31 Certusview Technologies, Llc Methods and apparatus for quality assessment of a field service operation
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
JP2010086230A (ja) 2008-09-30 2010-04-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20100085350A1 (en) 2008-10-02 2010-04-08 Microsoft Corporation Oblique display with additional detail
US20100100548A1 (en) 2008-10-16 2010-04-22 Curators Of The University Of Missouri Storing change features detected from high-resolution, remotely sensed imagery
US8457387B2 (en) 2009-03-13 2013-06-04 Disney Enterprises, Inc. System and method for interactive environments presented by video playback devices
US9189124B2 (en) * 2009-04-15 2015-11-17 Wyse Technology L.L.C. Custom pointer features for touch-screen on remote client devices
KR20100122383A (ko) 2009-05-12 2010-11-22 삼성전자주식회사 좌표 예측을 통한 이미지의 출력 속도 향상 방법 및 장치
US8274571B2 (en) 2009-05-21 2012-09-25 Google Inc. Image zooming using pre-existing imaging information
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
US9146119B2 (en) * 2009-06-05 2015-09-29 Microsoft Technology Licensing, Llc Scrubbing variable content paths
US9213780B2 (en) 2009-06-26 2015-12-15 Microsoft Technology Licensing Llc Cache and index refreshing strategies for variably dynamic items and accesses
JP5513806B2 (ja) * 2009-08-07 2014-06-04 株式会社 ミックウェア 連携表示装置、連携表示方法、及びプログラム
CA2754159C (en) 2009-08-11 2012-05-15 Certusview Technologies, Llc Systems and methods for complex event processing of vehicle-related information
US20110082846A1 (en) 2009-10-07 2011-04-07 International Business Machines Corporation Selective processing of location-sensitive data streams
US8159524B2 (en) 2009-11-09 2012-04-17 Google Inc. Orthorectifying stitched oblique imagery to a nadir view, and applications thereof
US8566020B2 (en) * 2009-12-01 2013-10-22 Nokia Corporation Method and apparatus for transforming three-dimensional map objects to present navigation information
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US8824997B2 (en) * 2010-03-12 2014-09-02 Telefonaktiebolaget L M Ericsson (Publ) Cellular network based assistant for vehicles
US8660355B2 (en) 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US8640020B2 (en) * 2010-06-02 2014-01-28 Microsoft Corporation Adjustable and progressive mobile device street view
US20110310088A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Personalized navigation through virtual 3d environments
US8488040B2 (en) 2010-06-18 2013-07-16 Microsoft Corporation Mobile and server-side computational photography
CN102985942B (zh) 2010-06-30 2016-09-14 皇家飞利浦电子股份有限公司 放大显示的图像
JP5514038B2 (ja) * 2010-08-16 2014-06-04 株式会社 ミックウェア ストリートビュー自動出力装置、地図自動出力装置、ストリートビュー自動出力方法、地図自動出力方法、およびプログラム
JP5732218B2 (ja) 2010-09-21 2015-06-10 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US8669976B1 (en) * 2010-10-12 2014-03-11 Google Inc. Selecting and verifying textures in image-based three-dimensional modeling, and applications thereof
US8577177B2 (en) 2010-11-11 2013-11-05 Siemens Aktiengesellschaft Symmetric and inverse-consistent deformable registration
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US8941685B1 (en) * 2011-03-08 2015-01-27 Google Inc. Showing geo-located information in a 3D geographical space
US8612465B1 (en) 2011-04-08 2013-12-17 Google Inc. Image reacquisition
JP2012222674A (ja) 2011-04-12 2012-11-12 Sony Corp 画像処理装置、画像処理方法、プログラム
AU2011202609B2 (en) 2011-05-24 2013-05-16 Canon Kabushiki Kaisha Image clustering method
US20120320057A1 (en) * 2011-06-15 2012-12-20 Harris Corporation Communications system including data server storing 3d geospatial model and mobile electronic device to display 2d images based upon the 3d geospatial model
JP5800386B2 (ja) * 2011-07-08 2015-10-28 株式会社 ミックウェア 地図表示装置、地図表示方法、およびプログラム
US8817067B1 (en) * 2011-07-29 2014-08-26 Google Inc. Interface for applying a photogrammetry algorithm to panoramic photographic images
CA2843772C (en) 2011-08-02 2014-12-23 Viewsiq Inc. Apparatus and method for digital microscopy imaging
US9153062B2 (en) 2012-02-29 2015-10-06 Yale University Systems and methods for sketching and imaging
KR101339570B1 (ko) 2012-05-30 2013-12-10 삼성전기주식회사 터치 감지 방법 및 장치
US9052197B2 (en) * 2012-06-05 2015-06-09 Apple Inc. Providing navigation instructions while device is in locked mode
US9418672B2 (en) * 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
US10156455B2 (en) * 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
JP6030935B2 (ja) * 2012-12-04 2016-11-24 任天堂株式会社 情報処理プログラム、表示制御装置、表示システム及び表示方法
CN103150759B (zh) * 2013-03-05 2015-11-25 腾讯科技（深圳）有限公司 一种对街景图像进行动态增强的方法和装置
US9046996B2 (en) 2013-10-17 2015-06-02 Google Inc. Techniques for navigation among multiple images
US8984445B1 (en) * 2014-01-31 2015-03-17 Google Inc. System and method for geo-locating images
KR20150099255A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 정보 표시 방법 및 이를 이용하는 전자 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019917A1 (en) * 1999-01-25 2014-01-16 Apple Inc. Disambiguation of multitouch gesture recognition for 3d interaction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
유투브, "Smart Navigation for Street View", 2009.5.30. 게시, 인터넷 URL: https://www.youtube.com/watch?v=yx7arHbQkKA*

Also Published As

Publication number Publication date
KR20200083680A (ko) 2020-07-08
GB2557142B (en) 2022-02-23
US10217283B2 (en) 2019-02-26
KR102131822B1 (ko) 2020-07-08
JP2018538588A (ja) 2018-12-27
CN108450035A (zh) 2018-08-24
WO2017106170A2 (en) 2017-06-22
JP2020053058A (ja) 2020-04-02
DE112016004195T5 (de) 2018-08-02
KR20180038503A (ko) 2018-04-16
JP6818847B2 (ja) 2021-01-20
JP6615988B2 (ja) 2019-12-04
WO2017106170A3 (en) 2017-08-17
CN108450035B (zh) 2023-01-03
GB201803712D0 (en) 2018-04-25
US20170178404A1 (en) 2017-06-22
EP3338057A2 (en) 2018-06-27
GB2557142A (en) 2018-06-13

Similar Documents

Publication Publication Date Title
KR102230738B1 (ko) 다차원 이미지 공간을 통한 네비게이션
US11099654B2 (en) Facilitate user manipulation of a virtual reality environment view using a computing device with a touch sensitive surface
US20230306688A1 (en) Selecting two-dimensional imagery data for display within a three-dimensional model
US11216170B2 (en) Facilitating editing of spherical panorama videos using a virtual-reality headset
EP2643822B1 (en) Guided navigation through geo-located panoramas
US20140248950A1 (en) System and method of interaction for mobile devices
US9025007B1 (en) Configuring stereo cameras
EP2936442A1 (en) Method and apparatus for adding annotations to a plenoptic light field
US9881419B1 (en) Technique for providing an initial pose for a 3-D model
Tatzgern et al. Exploring Distant Objects with Augmented Reality.
US20220206669A1 (en) Information processing apparatus, information processing method, and program
JP2014120042A (ja) 映像出力装置、映像出力方法、及びプログラム
CN117555468A (zh) 游戏中的虚拟地图显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant