KR101817452B1 - 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스 - Google Patents

모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스 Download PDF

Info

Publication number
KR101817452B1
KR101817452B1 KR1020167010182A KR20167010182A KR101817452B1 KR 101817452 B1 KR101817452 B1 KR 101817452B1 KR 1020167010182 A KR1020167010182 A KR 1020167010182A KR 20167010182 A KR20167010182 A KR 20167010182A KR 101817452 B1 KR101817452 B1 KR 101817452B1
Authority
KR
South Korea
Prior art keywords
screen
computer
interest
image
point
Prior art date
Application number
KR1020167010182A
Other languages
English (en)
Other versions
KR20160062056A (ko
Inventor
안톤 페도소프
스테판 미슬링거
페터 마이어
Original Assignee
메타이오 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49304906&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101817452(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 메타이오 게엠베하 filed Critical 메타이오 게엠베하
Publication of KR20160062056A publication Critical patent/KR20160062056A/ko
Application granted granted Critical
Publication of KR101817452B1 publication Critical patent/KR101817452B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3611—Destination input or retrieval using character input or menus, e.g. menus of POIs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H04L29/06034—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Abstract

사용자와의 상호작용을 위한 기능을 구비한 모바일 디바이스의 스크린 상에 표시되는 실제 환경의 뷰에서 관심 지점을 표시하기 위한 방법 및 모바일 디바이스가 개시되고, 이는 다음의 단계들을 포함한다: 카메라를 이용하여 실제 환경 또는 실제 환경의 일부분의 이미지를 캡쳐하는 단계, 실제 환경에 관련된 적어도 하나의 관심 지점을 결정하는 단계, 이미지에서 적어도 하나의 관심 지점의 이미지 위치를 결정하는 단계, 스크린의 적어도 일부분 상에 이미지의 적어도 일부분을 표시하는 단계, 적어도 하나의 관심 지점의 이미지 위치에 따른 스크린 위치에서 스크린 상의 이미지의 적어도 일부분과 컴퓨터생성 표지를 중첩하는 단계, 컴퓨터생성 표지의 스크린 위치에 따라 결정되고, 스크린의 하부 에지에 인접한 스크린 위치에서 스크린 상의 적어도 하나의 관심 지점에 관련된 컴퓨터생성 가상 객체를 표시하는 단계, 및 컴퓨터생성 가상 객체와 컴퓨터생성 표지 사이의 관계를 나타내는 시각적으로 인지가능한 관계 표시를 표시하는 단계를 포함한다. 스크린 상에 표시되는 컴퓨터생성 가상 객체의 적어도 일부분이 터치되는 경우, 모바일 디바이스는 적어도 하나의 관심 지점에 관련된 동작을 수행할 수 있다.

Description

모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스{METHOD FOR REPRESENTING POINTS OF INTEREST IN A VIEW OF A REAL ENVIRONMENT ON A MOBILE DEVICE AND MOBILE DEVICE THEREFOR}
본 개시내용은 사용자와의 상호작용을 위한 기능을 구비한 모바일 디바이스의 스크린 상의 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법에 관한 것이다. 본 개시내용은 추가로 그러한 방법을 수행하도록 구성되는 소프트웨어 코드 섹션들을 포함하는 모바일 디바이스 및 컴퓨터 프로그램 제품에 관한 것이다.
증강 현실(AR) 시스템이 컴퓨터생성 가상 정보를 실제 환경 또는 실제 환경의 일부분의 뷰와 중첩하는 시각화를 제공함으로써 실제 환경의 정보를 강화할 수 있다는 것이 알려져 있다. 가상 정보는 임의의 유형의 시각적으로 인지가능한 데이터, 예컨대 객체, 텍스트, 드로잉, 비디오, 또는 그것들의 조합일 수 있다. 실제 환경 또는 실제 환경의 일부분의 뷰가 사용자의 눈에 의해 시각적 인상으로서 인식되고/되거나 사용자가 소지하거나 또는 사용자가 소지한 디바이스 상에 부착된 카메라에 의해 캡쳐된 하나 이상의 이미지로서 획득될 수도 있다.
관심 지점(point of interest)(보통 "POI"로 지칭됨)은 해당 기술에서 실제 환경에서의 장소 또는 실제 객체(예를 들어, 빌딩, 주요 지형지물, 이동 차량)를 나타내는 것으로 알려져 있다. POI는 종종 장소 또는 실제 객체에 관련된 디지털 콘텐츠와 연관된다. 디지털 콘텐츠는, 예를 들어, 오디오 정보, 비디오 정보, 사진, 텍스트 정보, 3D 표현 또는 그것들의 조합일 수 있다.
실제 환경의 뷰에서 관심 지점(POI)을 나타내는 것은 특히 장소기반(모바일) 증강 현실 애플리케이션들, 예컨대 도시 환경을 탐색하기 위한 여행 안내에 유용하고 대중적이며, 참조문헌 [1, 2]를 참조한다. 예를 들어, 사용자들이 낯선 장소에 있거나 또는 그들이 보는 것들에 관한 정보를 얻고 싶을 때, 증강 현실을 이용하여 실제 환경의 뷰와 중첩되는 POI들에 관련된 시각적 정보를 볼 수 있다.
증강 현실 시스템은 POI들을 사용자에게 더 유용하게 표시하기 위한 중대한 과제에 직면해 있다. 모바일 디바이스, 예를 들어, 핸드 헬드 디바이스 또는 착용가능 디바이스의 스크린 상에서 실제 환경의 이미지와 POI들을 중첩하는 것은 특히 더 어려운 일일 수 있는데, 그 이유는 스크린이 보통 크기가 매우 제한적이고 POI들이 스크린 상의 이미지 정보의 일부를 가로막을 수 있기 때문이다. 또한, 특히 디바이스의 입력 역량이 한정된 경우, 사용자들이 스크린 상에 표시되는 POI들과 직관적으로 상호작용하도록 하는 것은 또 다른 과제이다.
예를 들어, 모바일 디바이스의 터치스크린은 사용자와 터치스크린 상에 표시되는 POI들 사이에 직접적인 인터페이스를 제공할 수도 있다. 예를 들어, 사용자는 스크린 상에 POI에 관련된 정보를 더 많이 보여주기 위하여 스크린 상의 POI를 터치할 수도 있다. 그러나, 핸드 헬드 디바이스, 예를 들어 모바일 전화기, 또는 태블릿의 터치스크린 상에는 접근이 용이한 영역과 접근이 어려운 영역이 존재하고, 참조문헌 [1,2,7]을 참조한다. 사용자가 디바이스를 소지하면서, 통상적으로 사용자의 손가락은 접근이 어려운 영역에 닿는 것이 불편하다. 사용자가 스크린 상의 POI들을 터치하는 동안, 손가락들이 또한 터치스크린 상의 일부 이미지 정보를 가로막을 수 있다. 따라서, 편한 사용자 상호작용 및 정보 가시성을 위하여 핸드 헬드 디바이스의 터치스크린 상에 POI들을 나타내는 것을 최적화하는 것이 바람직하다.
요브체바 등(Yovcheva et al.)은 참조문헌 [5]에서 모바일 디바이스의 스크린 상의 실제 세상의 이미지에서 POI를 나타내는 하나의 AR 애플리케이션을 보여준다. 컴퓨터생성 아이콘이 스크린 상의 POI의 이미지 위치에 중첩된다. 아이콘은 주석이 POI에 관한 추가적인 정보를 보여주는 스크린의 사이드바에 선으로 연결된다.
그라셋 등(Grasset et al.)은 참조문헌 [6]에서 실제 세상의 이미지에서의 가상 객체들의 최적의 배치를 연구하였고, 이미지 위치에 POI의 컴퓨터생성 주석을 중첩하여, 이미지에서 중요한 이미지 정보가 가리지 않도록 하는 방법을 제안했다.
로즈 등(Rose et al.)은 참조문헌 [11]에서 카메라에 의해 캡쳐된 이미지에서 실제 객체 또는 실제 객체의 부분들에 주석을 다는 시스템 및 방법을 발표했다. 우선, 예를 들어, 실제 객체의 3D 모델에 기초하여 실제 객체에 대한 이미지의 카메라 자세를 계산하고, 이어서 이미지에서 실제 객체의 주석이 달리는 부분까지 그려지는 컴퓨터생성 선과 함께 컴퓨터생성 텍스트를 중첩한다.
우시탈로 등(Uusitalo et al.)은 참조문헌 [8]에서 실제 환경의 구획화에 기초하여 POI 정보를 표시하기 위한 방법을 개시하였다. 상기 방법은 실제 환경의 뷰의 하나 이상의 구획에 기초하여 하나 이상의 POI 를 중첩하도록 결정한다. 빌딩의 평면도(floor plan) 또는 높이에 대한 지식을 활용하여 빌딩을 구획들로 구분하는 단계 및 빌딩들의 이미지에서 대응하는 구획들에 POI 정보를 중첩하는 단계를 교시한다.
POI들의 시선 방향이 동일하면, POI들은 서로 앞뒤로 배열되어 증강 현실 애플리케이션들에서 표시된다. 이와 관련하여, POI들 중 일부는 보이지 않을 수 있는데, 다른 POI 뒤에 숨을 수 있기 때문이다. 이에 대하여, 샌드버그(Sandberg)는 참조문헌 [9]에서 동일한 시선 방향을 갖는 POI들을 그룹화하고, 이어서 가시적인 방식으로 그룹화된 POI들을 표시하는 단계를 주제로 삼았다.
마이어 등(Meier et al.)은 참조문헌 [10]에서 각 영역들에서 관찰 지점까지의 거리에 기초하여 실제 환경의 뷰를 복수의 영역으로 세분화함으로써, 증강 현실 시스템에서 POI들의 인체공학적 표시를 성취하기 위한 방법을 개시한다.
모바일 디바이스의 스크린 상에 표시되는 실제 환경의 이미지에서 POI들을 나타내기 위하여, 어떠한 종래 기술도, 접근이 어려운 영역에 의해 야기되는 스크린 상에 표시되는 POI들과의 사용자 상호작용이 불편한 문제점, 및 사용자 상호작용 중에, 예를 들어 스크린 상의 POI를 터치할 때 사용자의 손가락에 의해 이미지 정보가 가려지는 문제에 대한 해결책을 제안하지 못했다.
사용자와의 상호작용을 위한 기능을 구비한 모바일 디바이스의 스크린 상에 표시되는 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법을 제공하는 것이 본 발명의 목적이고, 이는 편한 사용자 상호작용 및 정보 가시성의 개선된 방법을 제공할 수 있다.
제1 양태에 따르면, 사용자와의 상호작용을 위한 기능을 구비한 모바일 디바이스의 스크린 상에 표시되는 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법이 제공되고, 이는 다음의 단계들을 포함한다: 카메라를 이용하여 실제 환경 또는 실제 환경의 일부분의 이미지를 캡쳐하는 단계, 실제 환경에 관련된 적어도 하나의 관심 지점을 결정하는 단계, 이미지에서 적어도 하나의 관심 지점의 이미지 위치를 결정하는 단계, 스크린의 적어도 일부분 상에 이미지의 적어도 일부분을 표시하는 단계, 적어도 하나의 관심 지점의 이미지 위치에 따른 스크린 위치에서 스크린 상의 이미지의 적어도 일부분과 컴퓨터생성 표지(computer-generated indicator)를 중첩하는 단계, 컴퓨터생성 표지의 스크린 위치에 따라 결정되고 스크린의 하부 에지에 인접한 스크린 위치에서 스크린 상의 적어도 하나의 관심 지점에 관련된 컴퓨터생성 가상 객체를 표시하는 단계, 및 컴퓨터생성 가상 객체와 컴퓨터생성 표지 사이의 관계를 나타내는 시각적으로 인지가능한 관계 표시를 표시하는 단계를 포함한다. 스크린 상에 표시되는 컴퓨터생성 가상 객체의 적어도 일부분이 터치되는 경우, 가급적, 모바일 디바이스는 적어도 하나의 관심 지점에 관련된 동작을 수행할 수 있다.
제1 양태에 따르면, 실제 환경 또는 실제 환경의 일부분의 이미지를 캡쳐하는데 적당한 카메라, 스크린의 적어도 일부분 상에 이미지의 적어도 일부분을 표시하도록 구성되는 스크린, 및 스크린 상에 표시될 때 실제 환경의 이미지에 관심 지점을 표시하도록 구성되는 프로세싱 디바이스를 포함하는 모바일 디바이스가 또한 제공된다. 프로세싱 디바이스는 실제 환경에 관련된 적어도 하나의 관심 지점을 결정, 이미지에서 적어도 하나의 관심 지점의 이미지 위치를 결정, 적어도 하나의 관심 지점의 이미지 위치에 따른 스크린 위치에서 스크린 상의 이미지의 적어도 일부분과 컴퓨터생성 표지를 중첩, 컴퓨터생성 표지의 스크린 위치에 따라 결정되고, 스크린의 하부 에지에 인접한 스크린 위치에서 스크린 상의 적어도 하나의 관심 지점에 관련된 컴퓨터생성 가상 객체를 표시, 및 컴퓨터생성 가상 객체와 컴퓨터생성 표지 사이의 관계를 나타내는 시각적으로 인지가능한 관계 표시를 표시하도록 추가로 구성된다. 가급적, 스크린 상에 표시되는 컴퓨터생성 가상 객체의 적어도 일부분이, 예를 들어 사용자의 손가락 또는 사용자가 들고 있는 디바이스에 의해 터치되는 경우, 프로세싱 디바이스는 적어도 하나의 관심 지점에 관련된 동작, 예컨대 모바일 디바이스에서 실행되는 적어도 하나의 관심 지점에 관련된 애플리케이션의 기능 또는 서비스를 수행하도록 추가로 구성될 수 있다.
실시예에 따라, 스크린은 터치스크린 또는 터치 기능이 없는 스크린일 수 있다. 실시예에 따라, 스크린은 터치스크린이고, 스크린은 사용자의 손가락 또는 사용자가 들고 있는 디바이스에 의해 터치된다.
다른 실시예에 따라, 스크린 상에 표시되는 컴퓨터생성 가상 객체의 적어도 일부분은 이미지에서 사용자의 손가락 또는 사용자가 들고 있는 디바이스의 이미지 위치를 검출함으로써 터치됨이 결정된다.
특히, 모바일 디바이스의 카메라를 이용하여 사용자의 손가락 또는 사용자가 들고 있는 디바이스를 검출할 수 있다. 따라서, 실제 환경 또는 실제 환경의 일부분의 이미지에서 사용자의 손가락 또는 사용자가 들고 있는 디바이스의 이미지 위치는 카메라에 의해 캡쳐된 이미지에 기초하여 검출될 수 있다. 이미지에 대하여 스크린 상에 표시되는 컴퓨터생성 가상 객체의 위치는 스크린 상에 표시되는 이미지의 적어도 일부분의 스크린 위치에 따라 결정될 수 있다.
사용자의 손가락 또는 사용자가 들고 있는 디바이스의 이미지 위치 및 이미지에 대한 컴퓨터생성 가상 객체의 위치에 따라, 모바일 디바이스는 적어도 하나의 관심 지점에 관련된 동작, 예컨대 적어도 하나의 관심 지점에 관련된 모바일 디바이스에서 실행되는 애플리케이션의 기능 또는 서비스를 수행하도록 트리거될 수 있다. 예를 들어, 스크린 상에 표시되는 컴퓨터생성 가상 객체의 적어도 일부분이 사용자의 손가락과 겹치는 경우, 모바일 디바이스는 동작을 수행하도록 트리거된다. 사용자의 손가락과 중첩하는 컴퓨터생성 가상 객체의 적어도 일부분은 스크린 상에 표시되는 컴퓨터생성 가상 객체의 적어도 일부분이 사용자의 손가락에 의해 터치되는 것에 상응할 수 있다.
이 실시예는 카메라 및 스크린을 포함하는 머리장착형 디스플레이를 이용할 때 특히 유용하다. 예를 들어, 머리장착형 디스플레이는 비디오-시스루(see-through) 머리장착형 디스플레이(HMD)이다. 통상적으로 사용자가 터치스크린과 같은 방식으로 머리장착형 스크린을 터치하는 것은 불가능하다. 그러나, 실제 환경의 이미지를 캡쳐하는 카메라를 이용하여 또한 이미지에서 사용자의 손가락의 이미지 위치들을 검출할 수 있다. 사용자의 손가락의 이미지 위치들은 터치스크린 상에 사용자의 손가락에 의해 터치되는 터치 지점들에 상응할 수 있다.
제2 양태에 따라, 사용자와의 상호작용을 위한 기능을 구비한 모바일 디바이스의 반투명 스크린 상의 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법이 제공되고, 방법은, 실제 환경에 관련된 적어도 하나의 관심 지점을 결정하는 단계, 뷰에 대한 적어도 하나의 관심 지점의 위치를 결정하는 단계, 뷰에 대한 적어도 하나의 관심 지점의 위치에 따른 스크린 위치에서 반투명 스크린 상에 뷰의 적어도 일부분에 컴퓨터생성 표지를 혼합하는 단계, 컴퓨터생성 표지의 스크린 위치에 따라 결정되고 반투명 스크린의 하부 에지에 인접하는 스크린 위치에서 반투명 스크린 상의 적어도 하나의 관심 지점에 관련된 컴퓨터생성 가상 객체를 혼합하는 단계, 및 컴퓨터생성 가상 객체와 컴퓨터생성 표지 사이의 관계를 나타내는 시각적으로 인지가능한 관계 표시를 혼합하는 단계를 포함한다. 가급적, 반투명 스크린 상에 혼합된 컴퓨터생성 가상 객체의 적어도 일부분이 사용자의 손가락 또는 사용자가 들고 있는 디바이스에 의해 중첩되는 경우, 모바일 디바이스는 적어도 하나의 관심 지점에 관련된 동작을 수행할 수 있다.
제2 양태에 따라, 실제 환경의 뷰를 제공하고 뷰에서 관심 지점을 나타내도록 구성되는 반투명 스크린, 및 반투명 스크린 상에 제공되는 실제 환경의 뷰에서 관심 지점을 표시하도록 구성된 프로세싱 디바이스를 포함하는 모바일 디바이스가 또한 제공된다. 프로세싱 디바이스는 추가로, 실제 환경에 관련된 적어도 하나의 관심 지점을 결정, 뷰에 대한 적어도 하나의 관심 지점의 위치를 결정, 뷰에 대한 적어도 하나의 관심 지점의 위치에 따른 스크린 위치에서 반투명 스크린 상에 뷰의 적어도 일부분에 컴퓨터생성 표지를 혼합, 컴퓨터생성 표지의 스크린 위치에 따라 결정되고 반투명 스크린의 하부 에지에 인접한 스크린 위치에서 반투명 스크린 상의 적어도 하나의 관심 지점에 관련된 컴퓨터생성 가상 객체를 혼합, 컴퓨터생성 가상 객체와 컴퓨터생성 표지 사이의 관계를 나타내는 시각적으로 인지가능한 관계 표시를 혼합하도록 구성된다. 가급적, 반투명 스크린 상에 혼합된 컴퓨터생성 가상 객체의 적어도 일부분이 사용자의 손가락 또는 사용자가 들고 있는 디바이스에 의해 중첩되는 경우, 프로세싱 디바이스는 적어도 하나의 관심 지점에 관련된 동작, 예컨대 적어도 하나의 관심 지점에 관련된 모바일 디바이스에서 실행되는 애플리케이션의 기능 또는 서비스를 수행하도록 추가로 구성될 수 있다.
예를 들어, 반투명 스크린은 머리장착형 디스플레이의 일부분, 특히 광학적 시스루 머리장착형 디스플레이(HMD)의 일부분이다.
관심 지점이 터치스크린과 같은 모바일 디바이스의 스크린 상에 표시되는 실제 환경의 뷰에서 나타나는 것에 관련된 제1 양태에 대하여 다음에 기재된 본 발명의 양태 및 실시예들은 또한 관심 지점이 모바일 디바이스의 반투명 스크린 상의 실제 환경의 뷰에서 나타나는 제2 양태의 조합에 동등하게 적용될 수 있다. 따라서, 본 명세서에 기재되는 모든 실시예 및 양태들은 위에서 기재한 제1 양태 및 제2 양태 둘 모두의 특징부들과 조합 및 적용될 수 있다.
추가적인 양태에 따라, 모바일 디바이스의 내부 메모리 내에 로딩 시, 본 명세서에 기재되는 바와 같이 본 발명에 따라 방법을 수행하도록 구성되는 소프트웨어 코드 섹션들을 포함하는 컴퓨터 프로그램 제품이 제공된다. 특히, 컴퓨터 프로그램 제품은 비일시적이다.
본 발명에 따라, 편한 사용자 상호작용 및 정보 가시성의 개선된 방법이 제공되고, 개선된 상호작용 및 시각화 설계는 일반적으로 비교, 탐구 및 문제 해결을 용이하게 한다. 본 발명은 특정 실제 환경에서 사용자를 둘러싼 실제 객체들(예를 들어 주요 지형지물 또는 빌딩)에 관한 정보를 탐색, 시각화 및 상호작용하는 사용자 경험을 상당히 개선한다. 본 발명은 설계 원리 피드백, 가시성 및 어포던스를 염두한 해결책의 발굴에 기여한다:
모바일 디바이스는 핸드 헬드 디바이스, 예컨대 모바일 전화기 또는 태블릿 컴퓨터일 수 있다. 모바일 디바이스는 또한 착용가능 디바이스, 예컨대 시계 또는 안경일 수 있다.
카메라는 이미지를 제공하는 임의의 캡쳐링 디바이스일 수 있다. RGB 포맷의 컬러 이미지를 제공하는 카메라에 제한되지 않는다. 그것은 또한 임의의 다른 컬러 포맷에 적용될 수 있고, 흑백 이미지가, 예를 들어, 그레이스케일 포맷의 이미지를 제공하는 카메라에 또한 적용될 수 있다. 카메라는 추가로 심도 데이터를 구비한 이미지를 제공할 수 있다. 심도 데이터는 (컬러/그레이스케일) 이미지와 동일한 해상도로 제공될 필요는 없다. 심도 데이터를 구비한 이미지를 제공하는 카메라는 종종 RGB-D 카메라로 불린다. RGB-D 카메라 시스템은 비행시간(time of flight; TOF) 카메라 시스템일 수 있다. 콜브 등(Kolb et al.)은 참조문헌 [4]에서 비행시간 카메라 센서 및 애플리케이션에 관한 해당 기술 상에 관하여 개괄하였다.
모바일 디바이스의 스크린은 평면 다각형(예컨대 다음의 도면들에 도시된 바와 같은 스크린)을 가질 수 있고, 터치스크린일 수 있다. 스크린은 LCD 또는 LED 스크린일 수 있다.
광축과 스크린의 법선 방향 사이의 알려진 공간적 관계를 가질 필요는 없다. 그러나, 광축과 스크린의 법선 방향 사이의 공간적 관계가 제공되거나 또는 결정될 수 있다. 예를 들어, 카메라의 광축의 방향은 고정적으로 스크린의 법선 방향과 동일하거나 또는 반대이다. 카메라는 스크린에 대하여 회전가능하거나 또는 병진가능할 수 있다. 카메라와 스크린 사이의 공간적 관계는 카메라 및/또는 스크린을 연결하는 인코딩된 모터에 의해 측정될 수 있다. 카메라와 스크린의 공간적 관계를 측정하기 위하여 그것들 각각에 위치 및/또는 배향 센서를 부착하는 것이 또한 가능하다.
적어도 하나의 관심 지점(POI)은 실제 환경에서 장소 또는 실제 객체(예를 들어 빌딩, 주요 지형지물, 이동 차량)를 나타내고, 장소 또는 실제 객체에 관련된 디지털 콘텐츠를 포함할 수 있다. 적어도 하나의 관심 지점에 관련된 임의의 디지털 콘텐츠, 예컨대 이름, 설명, 이미지, 비디오, 또는 웹 주소 및 그것들의 조합이 제공될 수 있다. 실제 환경은 실제 세상의 임의의 실제 풍경, 예컨대 자연의 풍경, 실내 환경 모습, 또는 도시 풍경일 수 있다. 실제 환경은 하나 이상의 실제 객체 및/또는 장소를 포함한다.
적어도 하나의 관심 지점은 실제 환경에서 알려진 장소를 가질 수 있다. 예를 들어, 빌딩 또는 주요 지형지물은 보통 글로벌 좌표계, 예컨대 지리적 위치정보 좌표(예를 들어 지리적 위치정보 좌표는 경도 및 위도의 2D 좌표, 또는 경도, 위도 및 고도의 3D 좌표를 포함할 수 있음) 및/또는 주소(예를 들어 층 수, 거리, 우편번호, 국가)를 갖는 좌표계의 알려진 장소를 갖는다. 주소 및 글로벌 장소는 서로 변환될 수 있다. 또한, 적어도 하나의 관심 지점은 실제 환경에서 알려진 배향을 가질 수 있다.
본 명세서에 기재되는 자세는 객체의 위치 및 좌표계 또는 객체에 대한 배향을 기재한다.
실제 환경에 대한 카메라 자세는 하나 이상의 장소 또는 배향 센서를 이용하여 결정될 수 있다. 예를 들어, 글로벌 포지셔닝 시스템(GPS)을 이용하여 캡쳐 디바이스(카메라)의 글로벌 장소, 예를 들어 지리적 좌표, 예컨대 경도 및 위도의 2D 좌표, 또는 경도, 위도 및 고도의 3D 좌표를 결정할 수 있다. 다양한 배향 센서들, 예컨대 나침반 및/또는 중력 센서가 글로벌 좌표계에 대한 배향을 측정할 수 있다. 고정장치의 알려진 장소들에 기초한 실내 포지셔닝 시스템은, 다양한 광학, 무선, 및/또는 음향 기술들을 이용하는 시스템들로, 카메라 자세를 결정하는 데 또한 사용될 수 있다.
적어도 하나의 관심 지점에 대한 이미지의 카메라 자세(즉, 이미지를 캡쳐할 때의 카메라 자세)는 실제 환경에 대한 적어도 하나의 POI 및 카메라의 위치, 예를 들어 글로벌 좌표계에 기초하여 연산될 수 있다.
적어도 하나의 관심 지점에 대한 이미지의 카메라 자세는 또한 컴퓨터 비전 방식을 이용하여 연산될 수 있다. 예를 들어, 적어도 하나의 관심 지점에 연관된 실제 객체가 이미지에서 보이고 알려진 기하학적 크기를 갖는다면, 적어도 하나의 관심 지점에 대한 카메라 자세는 이미지에서 실제 객체 상의 3D 지점과들 실제 객체의 2D 이미지 지점들 사이의 관련성에 따라 결정될 수 있다.
이미지에서 적어도 하나의 POI의 이미지 위치는 적어도 하나의 POI에 대한 이미지의 카메라 자세에 기초하여 연산될 수 있다. 예를 들어, 이미지 위치는 카메라의 이미지 평면으로의 적어도 하나의 POI 또는 적어도 하나의 POI의 일부분의 투사이다.
적어도 하나의 POI의 이미지 위치는 이미지에서의 이미지 특징부들을 분석함으로써, 예를 들어 이미지 픽셀 값들 또는 템플릿 매칭에 따라 또한 결정될 수 있다. 예를 들어, 실제 객체의 적어도 일부분이 이미지에서 보이면, 실제 객체의 이미지 템플릿을 이미지 또는 이미지의 일부분과 매칭함으로써 실제 객체의 적어도 일부분의 이미지 영역이 결정될 수 있다. 이어서, 실제 객체의 적어도 일부분의 이미지 영역 내의 임의의 하나 또는 다수의 이미지 지점들이 적어도 하나의 관심 지점의 이미지 위치에 따라 선택될 수 있다.
카메라에 의해 캡쳐된 이미지는 완전히 표시되고 스크린 전체를 차지할 수 있다. 이미지의 일부분만을 표시하는 것도 가능하다. 표시되는 이미지 또는 이미지의 일부분은 또한 스크린 전체 대신에 스크린의 일부분을 차지할 수 있다.
컴퓨터생성 표지(예를 들어, 도면들에 도시된 가상 풍선 또는 가상 원)는 임의의 컴퓨터생성 시각적 정보, 예컨대 아이콘, 점, 글자 또는 그것들의 조합일 수 있다. 컴퓨터생성 표지는 스크린 상의 적어도 하나의 관심 지점의 이미지 위치에 있는 또는 그 근처(미리 결정된 거리 내에 있음) 이미지의 적어도 일부분과 중첩될 수 있다.
컴퓨터생성 가상 객체(예를 들어, 도면들에 도시된 직사각형 박스들)는 임의의 컴퓨터생성 시각적 객체, 예컨대 아이콘, 텍스트, 그림, 비디오 또는 그것들의 조합일 수 있다. 컴퓨터생성 가상 객체는 적어도 하나의 관심 지점에 관련된다. 예를 들어, 컴퓨터생성 가상 객체는 적어도 하나의 관심 지점에 대한 주석, 이름 및/또는 설명일 수 있다.
실시예에 따라, 컴퓨터생성 가상 객체는, 표시되는 컴퓨터생성 표지보다, 특히 스크린 상에서 수직 방향으로 낮은 스크린 위치에서 표시된다.
수직 방향은 스크린의 하부 에지에 직교하는 방향일 수 있다. 수직 방향은 또한 중력 방향을 스크린 평면으로 투사함으로써 정의될 수 있다.
실시예에 따라, 시각적으로 인지가능한 관계 표시는 컴퓨터생성 가상 객체와 컴퓨터생성 표지를 연결하는 컴퓨터생성 선분이다. 예를 들어, 선분은 스크린의 하부 에지에 직교하는 방향을 따라 연장된다. 다른 실시예에 따라, 선분은 스크린 평면으로 중력 방향을 투사함으로써 정의되는 방향을 따라 연장될 수 있다.
실시예에 따라, 다수의 관심 지점의 각각에 관련된 다수의 컴퓨터생성 가상 객체들이 스크린 상에 표시되면, 컴퓨터생성 가상 객체들은 각각 스크린의 하부에 배치되거나 또는 하나 위에 다른 하나가 적층되는 방식으로 배치된다.
실시예에 따라, 이미지를 캡쳐할 때, 적어도 하나의 관심 지점은 실제 환경에서 적어도 하나의 관심 지점의 장소 및 실제 환경에서 카메라의 장소에 따라 결정된다.
추가적인 실시예에 따라, 이미지를 캡쳐할 때, 이미지에서 적어도 하나의 관심 지점의 이미지 위치는 적어도 하나의 관심 지점에 대한 카메라의 배향에 기초하여 결정된다.
다른 실시예에 따라, 적어도 하나의 관심 지점 및/또는 적어도 하나의 관심 지점의 이미지 위치는 이미지의 적어도 일부분을 분석함으로써 결정된다.
실시예에 따라, 방법은 추가로 중력 방향과 스크린의 법선 방향 사이의 각도로서 중력 각도를 결정하는 단계, 및 결정된 중력 각도가 미리 결정된 임계치를 초과하는 경우, 터치스크린 상에 적어도 하나의 관심 지점에 관련된 가상의 시각적 정보를 표시하는 단계를 포함할 수 있고, 카메라에 의해 캡쳐되는 임의의 이미지는 표시되지 않는다.
위에서 개시된 예들은 비디오-시스루 디바이스를 이용하여 실제 환경의 뷰에서 관심 지점을 나타내는 방법을 설명한다. 예를 들어, 비디오-시스루 디바이스는 스크린 및 카메라를 포함한다. 실제 환경 또는 실제 환경의 일부분이 카메라에 의해 이미지로서 캡쳐된다. 컴퓨터생성 가상 객체, 컴퓨터생성 표지 및 이미지의 적어도 일부분이 스크린 상에서 사용자에게 도시된다.
위에서 기재한 바와 같이, 본 발명은 광학적 시스루 디바이스를 이용하여 실제 환경의 뷰에서 관심 지점을 나타내는 것에 적용될 수도 있다. 예를 들어, 광학적 시스루 디바이스는 반투명 스크린, 예컨대 반투명 스펙타클(spectacle) 또는 안경을 갖는다. 사람 눈이 실제 환경 또는 실제 환경의 일부분의 뷰를 캡쳐하기 위한 캡쳐 디바이스(카메라에 상응함)이다. 눈에 의해 캡쳐된 뷰가 카메라에 의해 캡쳐된 이미지에 상응한다. 이어서, 사용자는 반투명 스크린을 통해 실제 환경 및 스크린 상의 뷰에 혼합된 컴퓨터생성 가상 객체 및 컴퓨터생성 표지를 보게 된다.
본 발명의 양태 및 실시예들이 이제 도면들에 대하여 기재될 것이다.
도 1a는 야외 풍경을 보여줄 때의 본 발명의 실시예를 도시한다.
도 1b는 야외 풍경을 보여줄 때의 본 발명의 다른 실시예를 도시한다.
도 2는 차량의 내부 실제 환경을 보여줄 때의 본 발명의 실시예를 도시한다.
도 3은 직사각 형상을 갖는 디스플레이 디바이스, 예컨대 터치스크린의 하부 에지의 예시적인 결정에 대한 시각화를 도시한다.
도 4는 스크린의 법선이 중력 방향에 평행하도록 모바일 디바이스의 스크린이 배치될 때의 본 발명의 실시예를 도시한다.
도 5는 디바이스의 진행 방향의 예시적인 결정에 대한 시각화를 도시한다.
도 6은 디바이스의 진행각의 예시적인 결정에 대한 시각화를 도시한다.
도 7a는 모바일 디바이스, 예컨대 모바일 전화기를 수직 자세로 들고 있는 것에 따른 묘사(좌측), 및 모바일 디바이스의 터치스크린 상에 표시되는 예시적인 뷰의 묘사(우측)를 도시한다.
도 7b는 모바일 디바이스, 예컨대 모바일 전화기를 수직 자세로부터 자연스럽게 기울여 들고 있는 것에 따른 묘사(좌측), 및 모바일 디바이스의 터치스크린 상에 표시되는 예시적인 뷰의 묘사(우측)를 도시한다.
도 8은 카메라가 장착된 모바일 전화기와 같은 모바일 디바이스의 터치스크린 상에 하나 이상의 POI를 나타내는 본 발명의 실시예의 흐름도를 도시한다.
도 9는 표시된 컴퓨터생성 가상 객체, 예컨대 주석을 터치할 때, 모바일 디바이스에 의해 수행되는 동작의 예시적인 트리거링을 예시하기 위한 본 발명의 실시예를 도시한다.
도 10a는 머리장착형 디스플레이의 반투명 스크린 상의 실제 환경의 뷰에서 POI들을 나타내기 위한 해당 기술의 예시적인 상태를 도시한다.
도 10b는 머리장착형 디스플레이의 반투명 스크린 상의 실제 환경의 뷰에서 POI들을 나타내기 위한 본 발명의 실시예를 도시한다.
다음의 설명에서, 도 1 내지 도 10b의 도면들이 참조되는데, 본 발명의 양태 및 실시예들을 설명하는데 적절해 보이기 때문이다. 본 명세서에 기재되는 모든 예시 및 실시예들은 도 1 내지 도 9에 도시된 바와 같은 장치 또는 도 10b에 도시된 바와 같은 장치에 동등하게 적용될 수 있다. 따라서, 도 1 내지 도 9의 실시예들에서 사용자에 표시되는 이미지를 참조할 때, 도 10b에 도시되는 바와 같은 실시예에 적용될 때의 뷰(반투명 스크린을 통해 사용자에 의해 캡쳐됨)로 교체될 수 있다.
본 발명는 모바일 디바이스, 예를 들어, 스마트폰 또는 태블릿 컴퓨터와 같은 핸드 헬드 디바이스에 이용되는 데 가장 적합하다.
제1 실시예에 따르면, 모바일 디바이스, 예컨대 도 1a의 모바일 디바이스(1a01)는 본 발명의 목적을 위하여, 실제 환경 또는 실제 환경의 일부분의 이미지를 캡쳐하도록 구성되는 카메라를 포함한다. 카메라는 도면에 명백하게 도시되지 않지만, 해당 기술에서 모바일 전화기로 알려진 모바일 디바이스의 후면 상에 제공될 수 있고, 도 1a 및 도 7a에서 카메라를 지시하는 참조 번호(1a08)로 표시된다. 모바일 디바이스(1a01)는 추가로 터치스크린(1a02)을 포함하고, 이는 터치스크린의 적어도 일부분 상에 이미지의 적어도 일부분을 표시하도록 구성된다. 모바일 디바이스(1a01)는 또한 프로세싱 디바이스, 예컨대 마이크로프로세서 및 해당 기술에서 보통 사용되는 관련 회로를 포함하고, 도면들에서 보이진 않는데, 모바일 디바이스의 내부에 있기 때문이다. 내부 프로세싱 디바이스는 도 1a에서 참조 번호(1a09)로 표시된다.
해당 기술에서 보통 사용되고 적용되는 본 발명에 관한 기타 태스크들 중에서, 실제 환경의 뷰가 터치스크린(1a02) 상에 표시될 때, 프로세싱 디바이스(1a09)는 실제 환경의 이미지에서 이미지 및 관심 지점들을 표시하도록 구성된다. 프로세싱 디바이스(1a09)는 추가로 본 발명과 관련되어 본 명세서에 기재되는 태스크들 및 단계들을 수행하도록 구성되며, 예컨대 도 8을 참조하여 기재되는 단계들과 같다.
도 1a 및 도 1b는 카메라가 장착된 모바일 전화기와 같은 모바일 디바이스의 스크린 상에 하나 이상의 POI를 나타내는 실시예를 도시한다. 스크린은 터치스크린이고, 직사각 형상이다. 카메라의 광축의 방향은 스크린의 법선 방향에 반대 및 평행하거나 또는 대략 평행하다. 해당 기술에서 보통 알려진 바와 같이, 스크린이 위를 향할 때 스크린의 법선 방향은 위를 가리킨다. 본 모바일 전화기는 또한 GPS 센서, 중력 센서 및 나침반 센서가 장착된다.
도 8은 사용자와의 상호작용을 위한 기능이 구비된 모바일 디바이스의 터치스크린 상에 표시되는 실제 환경의 뷰에서 관심 지점을 표시하기 위한 방법의 실시예의 흐름도를 도시한다.
제1 단계(8001)에서, 모바일 디바이스의 카메라로 실제 환경의 이미지를 캡쳐하고, 이미지의 적어도 일부분을 터치스크린 상에 표시한다. 다음 단계(8002)는 예를 들어, GPS 센서로부터 실제 환경에서 모바일 디바이스의 장소를 입수하는 단계를 포함한다. 단계(8003)는 예를 들어, 나침반 센서(아래에 더 자세히 기재됨)가 제공하는 데이터에 따라, 실제 환경에서 모바일 디바이스의 진행 방향을 결정한다. 단계(8004)는 실제 환경에서 그것들의 장소를 갖는 POI들을 제공한다. POI들은 원격 서버 또는 모바일 디바이스 상에 저장될 수 있다. 단계(8005)는 제공된 POI들로부터 적절한 POI들을 선택한다. 적절한 POI들은 실제 환경의 뷰에서 표시되기에 적절할 수 있는 POI들이다. 단계(8006)는 적절한 POI들로부터 증강되는 POI들을 선택한다. 증강되는 POI들은 추가적인 정보, 예컨대 그래픽 객체, 이름 등이 증강되는 POI들이다. 단계(8007)는 이미지에서 적절한 POI들의 이미지 위치를 결정한다.
단계(8008)에서, 터치스크린 상의 적절한 POI들을 위한 컴퓨터생성 표지들(도 1a: 1a04; 여기서: 원)의 스크린 위치를 적절한 POI들의 이미지 위치들에 따라 결정한다. 컴퓨터생성 표지들은 표지 내의 영역 또는 표지 옆의 영역에서 관련 POI를 나타내도록 계획되고, 이러한 목적을 위하여, 임의의 적절한 형상의 그래픽 요소를 가질 수 있다. 예를 들어, POI들은 실제 환경의 뷰에서 도시되는 각각의 표시된 원(1a04)의 중심에(또는 그 뒤에) 있을 수 있다.
단계(8009)는 터치스크린의 하부에 인접한 스크린 위치에서 적어도 하나의 증강되는 POI에 대한 컴퓨터생성 가상 객체(도 1a: 1a05; 여기서: 직사각형)를 표시한다. 컴퓨터생성 가상 객체(1a05)는 사용자 상호작용 기능을 제공하도록 계획되고, 이는 아래에 더 자세히 기재되는 바와 같다. 아래에 더 상세히 추가로 기재되는 바와 같이, 컴퓨터생성 가상 객체(1a05)의 스크린 위치는 대응하는 컴퓨터생성 표지(1a04)의 스크린 위치에 따라 결정된다. 단계(8010)에서, 컴퓨터생성 표지(1a04)들을 터치스크린 상의 이미지의 적어도 일부분에 중첩한다. 단계(8011)는 터치스크린 상의 컴퓨터생성 가상 객체(1a05)와 대응하는 컴퓨터생성 표지(1a04)를 연결하는 시각적으로 인지가능한 관계 표시(도 1a: 1a06; 여기서: 선분)를 표시한다. 이렇게 하여, 컴퓨터생성 가상 객체(1a05)를 누르거나 터치하면, 대응하는 관심 지점에 관련된 동작이 모바일 디바이스에 의해 수행될 수 있다는 것을 사용자에게 나타낸다. 사용자는 터치스크린 상의 컴퓨터생성 가상 객체(1a05)의 적어도 일부분을 터치하여, 도 9에 대하여 예시에서 기재된 바와 같은, 모바일 디바이스의 동작을 트리거할 수 있다(단계(8012)).
터치스크린 상에 표시되는 컴퓨터생성 가상 객체(1a05)는 스크린의 하부 에지에 인접한 스크린 위치(도1a에서 스크린(1a02)의 하부 에지인 스크린 경계(1a07) 참조) 상에 표시되는 것을 선호한다. 컴퓨터생성 가상 객체(1a05)의 스크린 위치는 컴퓨터생성 표지(1a04)의 스크린 위치에 따라 결정된다. 예를 들어, 컴퓨터생성 표지(1a04)의 스크린 위치가 모바일 디바이스 및 표시되는 뷰의 움직임에 따라 좌측으로 이동하는 경우, 컴퓨터생성 가상 객체(1a05) 또한 그에 따라 좌측으로 이동된다. 예를 들어, 컴퓨터생성 가상 객체(1a05)가 컴퓨터생성 표지(1a04) 수직으로 아래에 표시되는 방식으로 이루어질 수 있고, 본 명세서에 기재되는 바와 같이, 컴퓨터생성 표지(1a04)가 이동하는 경우도 마찬가지다.
스크린의 하부 에지 또는 하부를 결정하기 위하여, 스크린의 낮은 에지를 우선 결정할 수 있다. 스크린의 에지들 중에서 소정 에지의 적어도 일부분이 지면까지의 거리가 가장 짧은 경우, 상기 스크린의 에지가 스크린의 낮은 에지로 결정된다. 그러한 경우에, 중력 방향에 대한 낮은 에지의 각도가 중력 방향에 대한 모든 낮은 에지들의 각도 중에서 가장 작은 각인 경우, 상기 스크린의 낮은 에지가 스크린의 하부 에지 또는 하부로 결정된다.
도 3에 따라, 예시적인 스크린(3001)은 직사각 형상이고 4 개의 에지(3002, 3003, 3004, 3005)를 갖는다. 참조 번호(3010)는 도3에서 스크린(3001)에 대하여 중력 방향(G)을 나타낸다. 두 에지(3004, 3005)는 스크린(3001)의 에지들 중에서 지면까지의 거리가 가장 짧은 부분(여기서: 코너(3020))을 갖는다. 중력 방향(3010)에 대한 에지(3005)의 각도는 각도(α)이고, 중력 방향(3010)에 대한 에지(3004)의 각도는 각도(δ)이다. 이 예에서, 각도(α)는 각도(δ)보다 작고, 따라서 에지(3005)가 스크린(3001)의 하부 에지로 결정된다.
하부 에지의 기준을 충족하는 에지 후보가 둘 이상 있는 경우, 바로 이전의 스크린 위치에서 하부 에지였던 에지 후보가 하부 에지로 결정될 수 있다. 에지 후보들 중 어느 것도 바로 이전의 스크린 위치에서 하부 에지가 아닌 경우, 임의의 에지 후보가 하부 에지로서 선택될 수 있다. 스크린 평면이 중력 방향에 직교인 경우, 스크린의 하부 에지가 정의되지 않고, 하부 에지는 없다.
실시예에 따라, 수직 방향을 따라 컴퓨터생성 표지(예컨대 1a04)를 지나는 선분(예컨대 1a06)이 스크린 상의 컴퓨터생성 가상 객체(예컨대 1a05)와 교차하도록, 컴퓨터생성 가상 객체가 스크린 위치에 표시된다.
컴퓨터생성 가상 객체와 컴퓨터생성 표지는 스크린 상의 시각적으로 인지가능한 관계 표시에 의해 연관된다. 예를 들어, (예를 들어, 파선 또는 실선의) 선, 선분(도 1a, 도 1b의 1a06, 1b06 및 도 2의 2006)은 스크린 상의 각각의 컴퓨터생성 가상 객체 및 컴퓨터생성 표지를 지나도록 그려질 수 있다.
스크린 상의 컴퓨터생성 가상 객체(예컨대 1a05, 1b05, 2005)를 터치함으로써 모바일 디바이스에 의해 수행되는 동작을 트리거하는 것이 가능하다. 이것은, 예를 들어, 손가락이 디스플레이의 각각의 영역에서 터치스크린을 터치함으로써 실현될 수 있다. 트리거된 동작은 스크린 상의 적어도 하나의 관련 관심 지점에 관한 웹 페이지, 비디오, 및/또는 임의의 상세한 정보를 표시할 수 있다. 동작은 또한 일부 사운드, 예를 들어 음악을 생성할 수 있다.
터치스크린의 법선 방향은, 스크린 평면에 수직이고 스크린의 정면을 향하는 방향으로 정의된다. 중력 방향은 중력을 따라 땅을 향하는 방향으로 정의된다. 스크린의 중력 각도는 중력 방향과 스크린의 법선 방향 사이의 각도이다. 예를 들어, 스크린이 수직으로 유지되면, 중력 각도는 약 90 도이다. 예를 들어, 스크린이 수평하게 유지되면, 중력 각도는 약 180 도이다.
중력 각도는 모바일 디바이스와 연관된 중력 센서에 의해 결정될 수 있다. 중력 각도는 또한, 카메라를 이용하여 중력에 대하여 알려진 배향을 갖는 실제 객체를 캡쳐함으로써 결정될 수 있다.
중력 각도가 미리 결정된 임계치를 초과하는 경우, 적어도 하나의 관심 지점에 관련된 가상의 시각적 정보가 스크린 상에 표시될 수 있고, 카메라에 의해 캡쳐된 임의의 이미지는 표시되지 않는다. 이와 관련하여, 도 4는 컴퓨터생성 가상 객체들(예를 들어 4001) 및 컴퓨터생성 표지들(예를 들어 4002), 예컨대 컴퓨터생성 가상 객체들에 관련된 방향 표지들이 스크린(4010) 상에 표시되는 실시예를 도시한다. 가상의 시각적 정보는 컴퓨터생성 가상 객체(4001) 또는 유사물을 포함하고, 모바일 디바이스에서 적어도 하나의 관심 지점으로의 방향을 나타내는 정보를 추가로 포함할 수 있고, 이는 도 4에서 각각의 방향 표지에 의하여 표시된 바와 같다. 방향은, 모바일 디바이스에 장착된 나침반 디바이스에 기초하여 또는 카메라에 의해 캡쳐된 이미지에 기초하여 계산될 수 있다.
실시예에 따라, POI들은 모바일 디바이스로부터 원격 및 분리된 서버에 저장된다. 모바일 디바이스는 무선 네트워크를 통해 서버와 통신할 수 있다. 서버는 추가적으로 POI들과 연관된 정보, 예컨대 장소, 이름, 설명, 이미지 및 보충 정보를 저장한다. POI들의 장소는 위도 및 경도를 갖는 2D 좌표를 가질 수 있고, 이는 지구의 표면 상의 그것들 각각의 위치, 즉 실제 환경에 대한 위치를 결정한다. 위도 및 경도를 사용하는 것이 합리적인데, 그 이유는 POI들이 나타내는 대부분의 실제 객체들이 지표면 상에 서 있기 때문이다. 그러나, 본 발명을 위하여 경도, 위도 및 고도를 갖는 3D 좌표를 이용하는 것 또한 가능하다. 이것은 땅 위, 예를 들어, 산에 위치하는 POI들을 나타내는 데 특히 유용하다.
그러나, 주의할 점은 위에서 언급한 POI들에 관한 모든 정보는 모바일 디바이스에도 저장될 수 있다는 것이다. 이런 경우에, 모바일 디바이스가 서버와 통신하여 POI들 및 관련 정보를 서버로부터 입수할 필요가 없다.
실제 환경 또는 실제 환경의 일부분의 이미지가 카메라에 의해 캡쳐된다. 예를 들어, 모바일 디바이스의 지리적 위치정보(geo-location)가 연관된 GPS 센서로부터 획득된다. 지리적 위치정보는 실제 환경에서 이미지의 카메라 위치(즉 이미지를 캡쳐할 때 카메라의 위치)로서 사용될 수 있다. 지표면 상에 서있는 사용자에 의해 모바일 디바이스가 위치설정할 때, 위도 및 경도 좌표를 이용하는 것이 합리적이다.
모바일 디바이스의 진행 방향이 지면 내의 방향을 정의하고, 나침반 센서로부터 판독될 수 있다. 예를 들어, 도 5를 참조하면, 모바일 디바이스(5001)의 진행 방향(5003)은 스크린의 법선 방향 및 Y 축에 의해 정의되는 평면을 따라 스크린(5002)의 법선 방향의 반대 방향을 지면(5004) 상으로 투사함으로써 결정될 수 있다. 모바일 디바이스의 진행각은 진행 방향과, 모바일 디바이스에서 기준계(frame of reference), 예컨대 북쪽으로의 방향 사이의 각도로 정의될 수 있다. 예를 들어, 도 6을 따라, 모바일 디바이스(6001)의 진행각(β)(6004)은 진행 방향(6002)과 북쪽 방향(6003) 사이의 각도이다.
실시예에 따라, 모바일 디바이스의 터치스크린 상에 표시되는 이미지에 관련된 POI들은 예를 들어 서버에 저장된 POI들로부터 선택된다(도 8의 단계(8005) 참조). 이에 대하여, 모바일 디바이스는 자신의 지리적 위치정보를 서버에 전송할 수 있다. 서버는 POI들 또는 POI들의 일부분에서 모바일 디바이스까지 거리를 계산한다. POI의 방향은 모바일 디바이스의 지리적 위치정보에서 각각의 POI의 장소를 가리키는 방향에 의해 결정된다. POI의 방향 각도는 기준계, 예컨대 북쪽에 대한 POI의 방향의 각도이다.
예를 들어, POI들은 모바일 디바이스까지의 자신들의 거리(실제 세상) 및/또는 모바일 디바이스의 진행각과 자신의 방향 각도 사이의 각도 차이에 기초하여, 복수의 POI 중에서 적절한 POI들로서 선택된다. 예를 들어, 모바일 디바이스까지의 거리가 특정 임계치 미만인 POI들만이 선택된다. 풍선 또는 원(1b08, 1b04)은 선택된 적절한 POI들을 나타낸다(도 1b 참조). 실시예에 따라, 적절한 POI들은 스크린 상의 컴퓨터생성 표지들에 의해 나타날 것이다.
적절한 POI들을 선택하기 위하여, POI들 또는 POI들의 일부분 및 연관된 정보를 서버에서 모바일 디바이스로 전송하고, 모바일 디바이스 상에서 임의의 선택 동작들을 수행하는 것이 또한 가능하다.
추가적인 프로세스에서, 이미지에서 적절한 POI들의 이미지 위치들을 계산한다(도 8의 단계(8007) 참조). 일 실시예에서, 이미지 위치들은 카메라의 이미지 평면과 POI에서 카메라로 이어지는 선 사이의 교차점들로부터 획득될 수도 있다. 이어서, 실시예에 따라, 컴퓨터생성 표지들, 예를 들어 풍선 또는 원(1b04, 1b08)은 스크린 상에서 적절한 POI들의 이미지 위치에 있는 이미지와 중첩된다(도 1b 참조). 컴퓨터생성 표지들은 2D 또는 3D 모델일 수도 있다.
다수의 적절한 POI들이 있는 경우, 스크린 상에서 시각적 정보의 중첩을 피하기 위하여, 한정된 수의 적절한 POI들에 대하여 추가적인 정보를 표시하는 것을 선호한다.
또한, 적절한 POI들 중에서 하나 이상의 POI를 증강되는 POI들로서 결정하고(단계(8006) 참조), 각각 증강되는 POI들에 관련된 컴퓨터생성 가상 객체들을 스크린 상에 표시한다(단계(8009)). 예를 들어, 적절한 POI들 중에서 모바일 디바이스로의 방향과 모바일 디바이스의 진행 방향 사이의 각도가 가장 작은 경우, 증강되는 POI들이 선택될 수 있다. 각도는 모바일 디바이스의 진행각 및 적절한 POI들의 방향 각도에 기초하여 연산될 수도 있다. 도 1b에서, 풍선 또는 원(1b04)은 그러한 증강되는 POI들을 나타낸다.
또한, 증강되는 POI들에 대한 컴퓨터생성 가상 객체들이 생성 및 표시된다. 증강되는 POI는 하나 이상의 컴퓨터생성 가상 객체를 가질 수 있다. 도 1b에 도시된 일 예에서, 컴퓨터생성 가상 객체들은 증강되는 POI(1b04)들의 이름 및 실제 세상에서 모바일 디바이스와 증강되는 POI들 사이의 거리를 포함하는 주석(1b05)들이다. 컴퓨터생성 가상 객체들은 또한 POI에 관한 이미지 정보를 포함할 수도 있다.
본 실시예에서, 각각의 주석은 직사각형 상자로 나타낸다. 스크린 크기가 약 10 내지 15 cm(대각선) 사이인 경우, 증강 현실(AR) 장면의 산만함을 감소시키고 사용자 주의를 AR 경험 자체에 집중하도록 증강되는 POI들의 최대 수는 3 개가 선호된다. 따라서, POI들에 대한 추가적인 정보에, 컴퓨터생성 가상 객체들이, 예를 들어 주석들을 통해, 방해하지 않는 방식으로 제공된다.
주석, 즉 일반적으로 컴퓨터생성 가상 객체들은 가급적 주석들이 스크린 상의 이미지 정보에 어떠한 가로막음도 가하지 않도록, 터치스크린 상의 위치들에 배치되어야 한다. 최근 터치스크린들은 사용자가 각각의 POI에 관련된 하나 이상의 동작을 트리거하기 위하여 스크린 상의 주석을 터치하도록 한다. 따라서, 주석들의 배치는 추가로 사용자가 모바일 디바이스를 들고있을 때 사용자의 손가락에 의해 용이하게 도달되도록 하여야 한다.
본 명세서를 참조한 바와 같이 종래 기술은 스크린 상의 POI들의 이미지 위치에서 주석을 배치하는 것을 제안한다. POI들의 이미지 위치는 POI들에 대한 각각의 카메라 자세에 따라 달라진다. 이는 POI들의 이미지 위치는 사용자가 들고있는 모바일 디바이스의 배향에 따라 달라진다는 것을 의미한다. 대부분의 경우에, POI들 및 모바일 디바이스는 지표면 상에 있다. 따라서, 모바일 디바이스가 수직으로 유지되면, 즉 모바일 디바이스(7a01)의 스크린의 법선(7a02)이 중력 방향(7010)에 수직이고, POI들의 이미지 위치는 통상적으로 대략 이미지의 중간의 수평선에 있다(도 7a의 우측 도면 참조). 이 예에서, 풍선(7a05)들(주석(7a06)들을 가짐)이 대략 모바일 디바이스(7a01)의 스크린의 중간의 수평선 주위에 표시된다.
다시 말하면, 본 발명의 실시예에 따라, 모바일 디바이스가 더 자연스럽게 유지되고 수직 자세로부터 기울면, 즉 모바일 디바이스(7b01)의 스크린의 법선(7b02)과 중력 방향(7010) 사이가 둔각이면, POI들의 이미지 위치는 이미지의 중간보다 위의 수평선에 있다(도 7b의 우측 도면 참조). 이 예에서, 풍선(일반적으로 표지들)(7b05)들은 모바일 디바이스(7b01)의 스크린의 상부 영역에 표시되지만, 주석(7b06)들(일반적으로 가상 객체들)은 계속 스크린의 하부에 도시된다. 이 예에서, 본 발명에 의해 성취되는 사용자 상호작용의 편안함 및 정보 가시성의 개선은 명확하고 분명한데, 그 이유는 모바일 디바이스와의 상호작용을 트리거하는 주석(7b06)들은 사용자의 손의 엄지 손가락에 의해 편안하게 터치될 수 있기 때문이다.
사용자들은 통상적으로 대부분의 경우에 모바일 디바이스를 수직보다는 기울여서 들기를 선호한다. 디바이스를 기울여서 들고 있으면, 사용자가 스크린 상의 중간 또는 상부 영역에 표시된 POI들의 주석을 터치하는 데 문제가 발생한다. 예를 들어, 손으로 모바일 디바이스를 들고 손의 엄지 손가락으로 POI들을 터치할 때, 엄지 손가락이 스크린 상에 표시되는 이미지 정보를 가릴 수 있다. 또한, 참조문헌 [1,2,7]에서 개시된 바와 같이, 모바일 핸드 헬드 디바이스, 예컨대 전화기 및 태블릿에서, 그것들의 스크린의 상부 영역은 엄지 손가락이 도달하는 데 불편하다.
본 발명에 따른 개선은, 위에서 기재한 바와 같이, 디스플레이 상에 POI를 나타내기 위하여 POI의 이미지 위치에 또는 그에 가깝게 표지를 배치하고, POI 아래에, 예를 들어 스크린의 하부에, POI의 이미지 위치로부터 떨어져서, POI 관련 사용자 상호작용을 위한 관련 컴퓨터생성 가상 객체, 예컨대 주석을 배치하는 것에서 비롯된다. 이것은 POI의 가시성 및 접근성 및 그것의 연관된 기능들을 최적화한다. 사용자들이 한 손을 이용하여 모바일 디바이스를 들고서 동일한 손의 엄지 손가락으로 임의의 사용자 상호작용을 위하여 스크린 상의 POI에 관련된 컴퓨터생성 가상 객체를 터치하는 경우에 특히 유익하다. 보통, 스크린의 하부 영역은 편리하게 또는 용이하게 접근가능한 영역이고, 참조문헌 [1,2,7]에 개시된 바와 같고, 또한 엄지 손가락이 하부 영역을 터치할 때 주요 이미지 정보를 가리지 않을 것이다.
도면들의 실시예에 도시된 바와 같이, 주석들은 스크린 상의 POI들에 대한 각각의 표시된 컴퓨터생성 표지보다 낮게 표시된다. 특히, 주석들을 스크린의 하부에 인접하게 표시되는 것을 선호한다. 스크린 상에 표시되는 주석들은 스크린의 하부에 직접 닿지 않고, 스크린의 하부로부터 작은 간격을 가질 수 있다. 작은 간격의 영역은 스크린의 표시 영역에 따라 정의될 수 있다. 예를 들어, 작은 간격의 높이(즉 스크린의 하부와 주석의 아래 경계 사이의 거리)는 스크린의 하부와 스크린의 상부 사이의 높이의 약 1/10보다 작은 것으로 정의된다.
게다가, 표시되는 둘 이상의 주석이 있는 경우, 주석들은 각각 스크린의 하부 상에 배치될 수 있거나, 또는 스택 모드, 즉 하나의 주석이 다른 주석의 상부 위에 배치되는 식으로 배치될 수 있다(도 7a 및 도 7b 참조). 주석들의 스크린 위치는 대응하는 POI들의 표지의 스크린 위치에 따라 추가로 결정된다.
실시예에 따라, 스크린의 하부 에지에 직교하는 방향을 따라 대응하는 표지를 지나는 선이 스크린 상의 주석과 교차하도록, 주석이 스크린 위치에 표시된다.
사용자가 시각적으로 표시되는 주석들과 증강되는 POI들 간의 관계를 인식하도록 하기 위하여, 스크린 상에 선분을 그려 주석과 동일한 증강되는 POI에 관련된 표지를 연결할 수 있다.
사용자는 스크린 상에 표시되는 주석 또는 주석의 일부를 터치하여, 예를 들어, 터치되는 주석에 관련된 대응하는 POI에 관한 웹 페이지, 비디오, 또는 충분한 설명을 표시하는 동작을 트리거할 수 있도록 한다. 도 9는 주석을 터치함으로써 동작을 트리거하는 실시예를 도시한다. 참조 번호(9001)는 본 발명의 실시예에 따라 실제 환경의 이미지와 중첩되는 주석 및 표지들의 AR 뷰를 도시한다. (9004)는 표지(9006)와 연관되는 POI "마리엔광장(Marienplatz)"의 주석(9005) 상의, 사용자의 엄지 손가락에 의해 터치되는, 터치-지점을 나타낸다. 이 터치는 스크린의 상부 위에 있는 POI "마리엔광장"의 설명(9007)을 표시하는 동작을 트리거하고, 이는 뷰(9002)에 도시된 바와 같다. 사용자는 추가로 터치-지점(9008)에서 스크린을 터치할 수도 있다. 그러면, 이 터치는 추가로 POI "마리엔광장"의 물리적 장소까지의 경로를 표시하는 동작을 트리거할 수 있고, 여기서 뷰(9003)에서 구부러진 파선(9009)이 카메라 이미지와 중첩되는 것으로 도시된다. 구부러진 파선은 POI의 장소에서 끝난다.
실시예에 따라, 증강되는 POI들이 모바일 디바이스의 진행 방향에 기초하여 선택되기 때문에, 사용자는 POI들을 선택하여 POI들의 주석이 스크린의 하부에 표시되도록 모바일 디바이스를 상이한 진행 방향으로 회전할 수 있다. 예를 들어, 도 1b를 참조하면, 모바일 디바이스가 좌측으로 회전되어, 3 개의 표지(좌측)(1b08)에 대한 주석들이 나타나고, 표지(1b04)들에 대한 현재 표시되는 주석(1b05)이 사라지도록 할 수 있다. 따라서, 현재 상황에서 사용자 주위의 POI들을 선택하는 데 추가적인(터치) 사용자 입력이 요구되지 않는다.
스크린, 예를 들어 모바일 디바이스가, 디바이스의 진행 방향을 바꾸지 않고 기울어지기만 하는 경우, 표지들의 이미지 위치는 그에 따라 변하겠지만, 표시되는 주석들은 스크린 상에서 실질적으로 동일한 위치에 머물 것이다(도 7a 및 도 7b 참조). 이것은 사용자가 들고 있는 모바일 디바이스의 스크린 상에 표시되는 실제 환경의 이미지들과 POI 정보를 중첩하는 것의 유용성을 개선한다. 이것은 한 손 또는 두 손으로 모바일 디바이스를 드는 편한 방법은 통상적으로 대부분의 경우에 수직으로 드는 것과 대조적으로 기울여 드는 것이라는 사실을 설명한다.
모바일 디바이스가 다른 진행 방향으로 이동되고 제2 이미지를 캡쳐하면, 제2 이미지에서 표지들의 이미지 위치가 그에 따라 변할 것이고, 주석들 또한 원래(제1) 이미지와 제2 이미지에서의 표지들의 이미지 위치 사이의 변화에 따라 스크린 상에서 이동할 것이다.
게다가, 실시예에 따라, 레이더 뷰가 스크린 상에 표시될 수 있다. 적절한 POI들 또는 적절한 POI들의 일부 및 모바일 디바이스는 실제 환경에서 그것들의 장소 및 배향에 따라 레이더 뷰에서 표시될 수 있다.
스크린의 중력 각도, 즉, 중력 방향과 스크린의 법선 방향 사이의 각도는 모바일 디바이스와 연관된 중력 센서에 의해 결정될 수 있다. 예를 들어, 스크린의 중력 각도가 미리 결정된 임계치를 초과하는 경우, 적절한 POI들 또는 그것들의 일부분에 관련된 정보가 스크린 상에 표시되지만, 카메라에 의해 캡쳐된 어떠한 이미지도 표시되지 않는다. POI들과 모바일 디바이스 사이의 상대적인 장소 및 방향에 기초하여 서버 상에 저장된 POI들 중에서 적절한 POI들이 결정된다.
POI의 정보는 이미지 정보, 또는 텍스트 정보 또는 유사물을 포함하는 직사각형 상자(예를 들어 4001)일 수 있고, 모바일 디바이스에서 POI로의 방향 정보를 추가로 포함할 수 있다. 방향은 모바일 디바이스의 일부분인 나침반 디바이스에 기초하여 연산될 수도 있다. 스크린이 수평하게 배치되면, POI를 나타내는 직사각형 상자들의 리스트가 도 4에 도시된 바와 같이, 즉 하나의 박스가 다른 박스 위에 배치되게 스크린 상에 표시된다. 각각의 박스(예를 들어 4001)는 박스가 나타내는 POI의 실제 장소 방향을 가리키는 방향 표지(예를 들어 4002)를 가질 수 있다.
위의 예에서, POI들이 나타내는 실제 객체들이 카메라 이미지에 보일 필요는 없다. POI들의 이미지 위치는 공통 좌표계, 예를 들어 글로벌 좌표계에서의 POI들의 알려진 장소 및 카메라의 자세에 기초하여 연산될 수도 있다.
이미지에서 POI까지의 경로에 관한 정보를 중첩하기 위하여, 사용자는 선택된 POI의 물리적 장소로 인도될 수 있는 가상 경로를 보여주는 옵션을 선택할 수 있다. 각각의 프레임에서 카메라-이미지 상에 중첩되는 곡선으로서 가상 경로가 그려질 수 있다. 선은 현재 사용자 장소에서 시작하여 POI의 장소에서 끝난다.
다른 예에서, POI들의 이미지 위치는 카메라 이미지에서 이미지 특징부들을 분석함으로써 결정될 수 있다. 이것은 POI들이 나타내는 실제 객체들이 카메라 이미지에서 보일 것이 요구된다. 임의의 알려진 이미지 템플릿 매칭 방법은 실제 객체들의 하나 이상의 이미지 템플릿을 이용하여 이미지에서 실제 객체들을 검출하는 데 사용될 수 있다.
추가적인 본 발명의 실시예에 따라, 도 2는 모바일 디바이스의 스크린 상의 컴퓨터생성 가상 객체들(여기서: 주석들)이 자동차의 제어 패널의 이미지에 중첩된 것을 도시한다. 이미지는 모바일 디바이스의 카메라에 의해 캡쳐된다. 이미지의 적어도 일부분과 시각적 템플릿들을 비교함으로써 시각적 템플릿 매칭에 기초하여 제어 패널의 여러 객체들이 이미지에서 검출될 수 있다. 예를 들어, 시각적 템플릿들이 서버에 저장되고, 서버는 템플릿들을 모바일 디바이스에 무선 연결로 전송한다. 시각적 템플릿들은 또한 모바일 디바이스에 저장될 수도 있다. 본 발명의 맥락에서, 제어 패널 상의 객체들 중 일부가 관심 지점들이다.
예를 들어, 컴퓨터생성 표지(여기서: 원)(2004)가 각각의 이미지 위치에 배치되어 이미지에서 POI의 장소를 가리킨다. POI 이름을 나타내는 컴퓨터생성 가상 객체(여기서: 주석)(2005)가 원 아래에 표시되고 선(2006)으로 원에 연결된다. 이 예에서, POI들마다 주석에 의해 증강되는 것은 아니어서, 예를 들어, 원(2011)들은 주석들과 연관되지 않고, 주석들을 표시하지 않는다. 이미지에 표시된 POI들 중에서 증강되는 POI들을 결정하는 것은 그것들의 이미지 위치에 기초하거나 또는 수동으로 할 수 있다. 예를 들어, 이미지 위치가 이미지의 중간 또는 중간 근처인 POI들이 증강되는 POI들로서 선택될 수 있다.
개시된 방법은 광학적 시스루 디바이스와 같은 모바일 디바이스를 이용하여 실제 환경의 뷰에서 관심 지점을 나타내는 것에 적용될 수도 있다. 예를 들어, 광학적 시스루 디바이스는 반투명 스크린을 포함하는 머리장착형 디스플레이를 포함한다. 사람 눈이 실제 환경 또는 실제 환경의 일부분의 뷰를 캡쳐하기 위한 캡쳐 디바이스(카메라에 상응함)이다. 눈에 의해 캡쳐된 뷰가 카메라에 의해 캡쳐된 이미지에 상응하고, 이는 위에서 기재한 바와 같다. 이어서, 사용자는 반투명 스크린을 통해 실제 환경 및 반투명 스크린 상의 뷰에서 혼합된 컴퓨터생성 가상 객체 및 컴퓨터생성 표지를 보게 된다.
머리장착형 디스플레이는 추가로 위치파악 센서(예컨대 GPS) 및 배향 센서(예컨대 나침반 센서)가 장착될 수 있다. 위치파악 센서는 실제 환경에 대한 뷰의 관찰 지점의 위치를 결정할 수도 있다. 배향 센서는 실제 환경에 대한 뷰의 뷰 배향을 결정할 수도 있다. 실제 환경에 대한 적어도 하나의 관심 지점의 장소가 제공될 수 있다.
뷰에 대한 적어도 하나의 관심 지점의 위치는 관찰 지점의 위치, 적어도 하나의 관심 지점의 뷰 배향 및 장소에 따라 결정될 수 있다.
실시예에 따라, 머리장착형 디스플레이에는 카메라가 장착될 수 있다. 뷰에 대한 적어도 하나의 관심 지점의 위치는 또한 카메라에 의해 캡쳐된 실제 환경의 적어도 일부분의 하나 이상의 이미지에 따라 결정될 수도 있다.
컴퓨터생성 표지(예를 들어 풍선)는 뷰에 대한 적어도 하나의 관심 지점의 위치에 따른 스크린 위치에서 반투명 스크린 상의 뷰의 적어도 일부분과 혼합될 수도 있다.
적어도 하나의 관심 지점에 관련된 컴퓨터생성 가상 객체(예를 들어 주석)는 컴퓨터생성 표지의 스크린 위치에 따라 결정되고 반투명 스크린의 하부 에지에 인접하는 스크린 위치에서 반투명 스크린 상에 혼합된다.
예를 들어, 컴퓨터생성 가상 객체와 컴퓨터생성 표지 사이의 선분이 반투명 스크린 상에서 혼합된다.
반투명 스크린 상의 혼합된 컴퓨터생성 가상 객체의 적어도 일부분이 사용자의 손가락 또는 사용자가 들고 있는 디바이스에 의해 겹쳐지는 경우, 머리장착형 디스플레이는 적어도 하나의 관심 지점에 관련된 동작을 수행한다. 이것은 반투명 스크린에 대한 사용자의 손가락 또는 사용자가 들고 있는 디바이스의 위치를 검출하도록, 즉 반투명 스크린 상에서 사용자의 손가락 또는 사용자가 들고 있는 디바이스의 스크린 위치를 결정하도록 요구한다.
일 실시예에서, 사용자의 손가락 또는 사용자가 들고 있는 디바이스의 스크린 위치를 결정하기 위하여 사용자의 손가락 또는 사용자가 들고 있는 디바이스에 위치 센서가 부착될 수 있다. 위치 센서는 GPS 및 가속도계와 같은 것일 수도 있지만, 이에 한정되지 않는다.
다른 실시예에서, 머리장착형 디스플레이의 카메라를 이용하여 사용자의 손가락 또는 사용자가 들고 있는 디바이스를 검출할 수 있다. 사용자의 손가락 또는 사용자가 들고 있는 디바이스의 이미지 위치는 이미지에 기초하여 검출될 수 있다. 카메라는 반투명 스크린에 대하여 알려진 위치를 가질 수 있다. 따라서, 반투명 스크린 상에서 사용자의 손가락 또는 사용자가 들고 있는 디바이스의 스크린 위치가 이미지에서 그것의 이미지 위치에 따라 결정될 수 있다.
도 10a 및 도 10b는 머리장착형 디스플레이(10a03)의 반투명 스크린(10a02)을 통해 실제 환경의 뷰(10a01) 및 반투명 스크린(10a02) 상에서 뷰(10a01)에서 혼합된 POI들에 관련된 풍선(10a11, 10a12 또는 10a13) 및 주석(10a21, 10a22 또는 10a23)을 보는 사용자(10a04)를 도시한다.
도 10a는 머리장착형 디스플레이(10a03)의 반투명 스크린(10a02) 상의 실제 환경의 뷰(10a01)에 3 개의 POI를 나타내기 위한 해당 기술의 상태의 예를 도시한다. 머리장착형 디스플레이(10a03)를 사용자(10a04)가 착용한다. 이 실시예에서, 3 개의 POI는 연관된 표지(즉 풍선)(10a11, 10a12 또는 10a13) 및 주석(10a21, 10a22 또는 10a23)을 갖는다. 3 개의 POI 각각에 대하여, 대응하는 풍선 및 주석은 뷰에서 동일한 위치에서 혼합된다.
대응하는 POI와의 상호작용하기 위하여, 예컨대 머리장착형 디스플레이(10a03)에서 실행되는, 대응하는 POI에 관련된 프로그램을 트리거하기 위하여 사용자의 손가락이 반투명 스크린(10a02) 상의 뷰에서 혼합된 주석(10a23)과 겹칠 수 있도록, 사용자(10a04)는 자신의 손(10a06)을 위로 옮겨야 한다. 한가지 문제는 사용자의 손(10a06)이 뷰의 특정 부분을 가린다는 점이다. 또한, 사용자가 자신의 손을 너무 높게 이동시키는 것은 불편하다.
도 10b는 머리장착형 디스플레이(10a03)의 반투명 스크린(10a02) 상의 실제 환경의 뷰(10a01)에 3 개의 POI를 나타내기 위한 본 발명의 실시예를 도시한다. 위에서 기재한 모바일 디바이스의 터치스크린에 관련된 다른 실시예들과 유사하게, 머리장착형 디스플레이(10a03)는 또한 프로세싱 디바이스, 예컨대 마이크로프로세서 및 해당 기술에서 보통 사용되는 관련 회로를 포함하고, 이것들은 도면에서 보이지 않는데, 디바이스의 내부에 있기 때문이다. 내부 프로세싱 디바이스는 도 10b에서 참조 번호(10a09)로 표시된다.
해당 기술에서 보통 사용되고 적용되는 바와 같은 다른 태스크 중에서, 본 발명에 관하여 프로세싱 디바이스(10a09)는 머리장착형 디스플레이(10a03)의 반투명 스크린(10a02) 상의 관심 지점, 즉 반투명 스크린 상에 제공되는 실제 환경의 뷰에서의 관심 지점을 표시하도록 구성된다. 프로세싱 디바이스(10a09)는 추가로 본 발명과 관련되어 본 명세서에 기재되는 태스크 및 단계들을 수행하도록 구성되며, 예컨대 도 8을 참조하여 기재되거나 유사한 단계들과 같다.
POI들은 그것들의 대응하는 반투명 스크린 상에서 혼합되는 주석(10a21, 10a22, 10a23)을 갖고, 주석(10a23)은 스크린의 하부 에지(10a05)에 인접하지만, 대응하는 표지(풍선)(10a11, 10a12, 10a13)는 반투명 스크린 상의 POI들의 위치에서 혼합된다. 풍선 및 주석들이 반투명 스크린 상에서 혼합된 선들에 의해 연결된다. 뷰(10a01)를 가리지 않고 대응하는 POI와의 상호작용하기 위하여 사용자의 손가락이 뷰에서 혼합된 주석(10a23)과 겹쳐질 수 있도록, 사용자(10a04)는 자신의 손(10a06)을 이동시킬 수 있다. 이 움직임은 도 10a에 도시된 바와 같은 움직임과 상이하고, 더 유리한데, 그 이유는 사용자가 대응하는 POI와의 상호작용하기 위하여 자신의 손을 뷰에서 더 아래에 놓기 충분하고, 따라서 뷰를 가리지 않게 되기 때문이다. 또한, 사용자가 자신의 손을 더 자연스럽게, 특히 도 10a에서와 같이 높지 않게 움직이는 것이 더 편안하다.
참조문헌:
1. http://blog.utest.com/how-mobile-users-hold-devices/2013/03/
2. http://www.uxmatters.com/mt/archives/2013/02/how-do-users-really-hold-mobile-devices.php
3. Du Preez, Victor, et al. "Human-computer interaction on touch screen tablets for highly interactive computational simulations." Proc. International Conference on Human-Computer Interaction. 2011.
4. Andreas Kolb, Erhardt Barth, Reinhard Koch, Rasmus Larsen: Time-of-Flight Sensors in Computer Graphics. Eurographics 2009.
5. Yovchevaa et al., Overview of Smartphone Augmented Reality Applications for Tourism
http://ertr.tamu.edu/files/2012/11/eRTR_SI_V10i2_Yovcheva_Buhalis_Gatzidis_63-66.pdf
6. Grasset, Raphael, et al. "Image-driven view management for augmented reality browsers." Mixed and Augmented Reality (ISMAR), 2012 IEEE International Symposium on. IEEE, 2012.
7. http://www.lukew.com/ff/entry.asp?1649
8. US 2012/0113138 A1
9. US 2012/0075341 A1
10. US 2012/0176410 A1
11. Rose, Eric, et al. "Annotating real-world objects using augmented reality." Computer graphics: developments in virtual environments, Academic Press Ltd., London, UK (1995).

Claims (21)

  1. 컴퓨터 판독가능 코드를 포함하는 컴퓨터 판독가능 매체로서, 상기 컴퓨터 판독가능 코드는 하나 이상의 프로세서에 의해 실행시, 상기 하나 이상의 프로세서로 하여금,
    카메라로부터 실제 환경의 이미지를 입수하고,
    상기 실제 환경에 관련된 적어도 하나의 관심 지점을 결정하고,
    상기 이미지에서 상기 적어도 하나의 관심 지점의 이미지 위치를 결정하고,
    스크린의 적어도 일부분 상에 상기 이미지의 적어도 일부분을 표시하고,
    상기 적어도 하나의 관심 지점의 상기 이미지 위치에 따른 스크린 위치에서, 상기 스크린 상의 상기 이미지의 상기 적어도 일부분과 컴퓨터생성 표지(computer-generated indicator)를 중첩하고,
    상기 컴퓨터생성 표지의 상기 스크린 위치에 따라 결정되는 스크린 위치에서, 상기 스크린 상에 상기 적어도 하나의 관심 지점에 관련된 컴퓨터생성 가상 객체를 표시하도록 하고,
    상기 적어도 하나의 관심 지점의 상기 이미지 위치의 변화는 상기 대응하는 컴퓨터생성 표지 및 상기 컴퓨터생성 가상 객체의 상기 스크린 위치의 변화를 트리거하는, 컴퓨터 판독가능 매체.
  2. 제1항에 있어서, 상기 가상 객체는 상기 스크린의 하부 에지에 인접하게 표시되는, 컴퓨터 판독가능 매체.
  3. 제1항에 있어서, 실행 시, 하나 이상의 프로세서로 하여금,
    컴퓨터생성 가상 객체에서 입력을 검출하고,
    상기 컴퓨터생성 가상 객체에서 입력을 검출한 것에 응답하여, 상기 컴퓨터생성 가상 객체와 연관된 상기 적어도 하나의 관심 지점에 관련된 동작을 수행하도록 하는 컴퓨터 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  4. 제1항에 있어서, 실행 시, 하나 이상의 프로세서로 하여금,
    상기 컴퓨터생성 가상 객체와 상기 컴퓨터생성 표지 사이의 관계를 나타내는 시각적으로 인지가능한 관계 표시를 표시하도록 하는 컴퓨터 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  5. 제4항에 있어서, 상기 시각적으로 인지가능한 관계 표시는 상기 컴퓨터생성 가상 객체와 상기 컴퓨터생성 표지를 연결하는 컴퓨터생성 선분(line segment)인, 컴퓨터 판독가능 매체.
  6. 제5항에 있어서, 상기 선분은 상기 스크린의 하부 에지에 직교하는 방향을 따라 연장되는, 컴퓨터 판독가능 매체.
  7. 제5항에 있어서, 상기 선분은 중력 방향을 상기 스크린의 평면으로 투사함으로써 정의되는 방향을 따라 연장되는, 컴퓨터 판독가능 매체.
  8. 제1항에 있어서, 상기 스크린 상의 다수의 관심 지점의 각각에 관련된 다수의 컴퓨터생성 가상 객체를 표시할 때, 상기 컴퓨터생성 가상 객체들은 각각 하나 위에 다른 하나가 적층되는 방식으로 배치되는, 컴퓨터 판독가능 매체.
  9. 제1항에 있어서, 상기 컴퓨터생성 가상 객체는 상기 적어도 하나의 관심 지점의 아이콘, 그래픽 객체, 텍스트, 그림, 비디오, 주석, 이름, 및 설명 또는 이들의 조합 중 적어도 하나를 포함하는, 컴퓨터 판독가능 매체.
  10. 제1항에 있어서, 상기 적어도 하나의 관심 지점은 상기 이미지를 캡쳐할 때 상기 실제 환경에서의 상기 적어도 하나의 관심 지점의 장소 및 상기 실제 환경에서의 상기 카메라의 장소에 따라 결정되는, 컴퓨터 판독가능 매체.
  11. 제1항에 있어서, 상기 이미지에서 상기 적어도 하나의 관심 지점의 상기 이미지 위치는 상기 이미지를 캡쳐할 때 상기 적어도 하나의 관심 지점에 대한 상기 카메라의 배향에 기초하여 결정되는, 컴퓨터 판독가능 매체.
  12. 제1항에 있어서, 상기 적어도 하나의 관심 지점 및 상기 적어도 하나의 관심 지점의 상기 이미지 위치는 상기 이미지의 상기 적어도 일부분을 분석함으로써 결정되는, 컴퓨터 판독가능 매체.
  13. 제1항에 있어서, 실행 시, 하나 이상의 프로세서로 하여금,
    중력 방향과 상기 스크린의 법선 방향 사이의 중력 각도를 결정하고,
    상기 결정된 중력 각도가 미리 결정된 임계치를 초과하는 경우, 상기 스크린 상에 상기 적어도 하나의 관심 지점에 관련된 가상의 시각적 정보를 표시하도록 하는 컴퓨터 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  14. 모바일 디바이스의 반투명 스크린 상의 실제 환경의 뷰에서 관심 지점들을 나타내기 위한 방법으로서,
    상기 실제 환경에 관련된 적어도 하나의 관심 지점을 결정하는 단계;
    상기 실제 환경의 뷰에 대한 상기 적어도 하나의 관심 지점의 위치를 결정하는 단계;
    상기 뷰에 대한 상기 적어도 하나의 관심 지점의 상기 위치에 따른 스크린 위치에서, 상기 반투명 스크린 상의 상기 뷰의 적어도 일부분에 컴퓨터생성 표지를 혼합하는 단계;
    상기 컴퓨터생성 표지의 상기 스크린 위치에 따라 결정되는 스크린 위치에서, 상기 반투명 스크린 상에 상기 적어도 하나의 관심 지점에 관련된 컴퓨터생성 가상 객체를 혼합하는 단계; 및
    상기 컴퓨터생성 가상 객체와 상기 컴퓨터생성 표지 사이의 관계를 나타내는 시각적으로 인지가능한 관계 표시를 혼합하는 단계
    를 포함하는, 방법.
  15. 제14항에 있어서,
    상기 컴퓨터생성 가상 객체에서 입력을 수신하는 단계; 및
    상기 수신된 입력에 응답하여, 상기 모바일 디바이스에 의해, 상기 컴퓨터생성 가상 객체와 연관된 상기 적어도 하나의 관심 지점에 관련된 동작을 수행하는 단계를 추가로 포함하는, 방법.
  16. 제14항에 있어서, 상기 가상 객체는 상기 반투명 스크린의 하부 에지에 인접하게 표시되는, 방법.
  17. 제14항에 있어서, 상기 스크린 상에 다수의 관심 지점의 각각에 관련된 다수의 컴퓨터생성 가상 객체를 혼합하는 단계에서, 상기 컴퓨터생성 가상 객체들은 각각 하나 위에 다른 하나가 적층되는 방식으로 배치되는, 방법.
  18. 제14항에 있어서, 상기 뷰에 대한 상기 적어도 하나의 관심 지점의 상기 위치는 상기 적어도 하나의 관심 지점에 대한 상기 모바일 디바이스의 배향에 기초하여 결정되는, 방법.
  19. 모바일 디바이스로서,
    카메라;
    디스플레이 스크린;
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행가능한 컴퓨터 코드를 포함하는 메모리
    를 포함하고, 상기 하나 이상의 프로세서는,
    상기 카메라로부터 실제 환경의 이미지를 입수하고,
    상기 실제 환경에 관련된 적어도 하나의 관심 지점을 결정하고,
    상기 이미지에서 상기 적어도 하나의 관심 지점의 이미지 위치를 결정하고,
    상기 스크린의 적어도 일부분 상에 상기 이미지의 적어도 일부분을 표시하고,
    상기 적어도 하나의 관심 지점의 상기 이미지 위치에 따른 스크린 위치에서, 상기 스크린 상의 상기 이미지의 상기 적어도 일부분과 컴퓨터생성 표지를 중첩하고,
    상기 컴퓨터생성 표지의 상기 스크린 위치에 따라 결정되는 스크린 위치에서, 상기 스크린 상에 상기 적어도 하나의 관심 지점에 관련된 컴퓨터생성 가상 객체를 표시하도록 하고,
    상기 적어도 하나의 관심 지점의 상기 이미지 위치의 변화는 상기 대응하는 컴퓨터생성 표지 및 상기 컴퓨터생성 가상 객체의 상기 스크린 위치의 변화를 트리거하는, 모바일 디바이스.
  20. 제19항에 있어서, 상기 메모리는 실행 시 하나 이상의 프로세서로 하여금,
    컴퓨터생성 가상 객체에서 입력을 검출하고,
    상기 검출된 입력에 응답하여, 상기 컴퓨터생성 가상 객체와 연관된 상기 적어도 하나의 관심 지점에 관련된 동작을 수행하도록 하는 컴퓨터 코드를 추가로 포함하는, 모바일 디바이스.
  21. 삭제
KR1020167010182A 2013-09-24 2013-09-24 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스 KR101817452B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2013/069844 WO2015043620A1 (en) 2013-09-24 2013-09-24 Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor

Publications (2)

Publication Number Publication Date
KR20160062056A KR20160062056A (ko) 2016-06-01
KR101817452B1 true KR101817452B1 (ko) 2018-01-11

Family

ID=49304906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167010182A KR101817452B1 (ko) 2013-09-24 2013-09-24 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스

Country Status (6)

Country Link
US (3) US9646422B2 (ko)
EP (2) EP3742405A3 (ko)
KR (1) KR101817452B1 (ko)
CN (2) CN105659295B (ko)
AU (3) AU2013401486A1 (ko)
WO (1) WO2015043620A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154299A1 (ko) * 2021-01-12 2022-07-21 엘지전자 주식회사 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US10380799B2 (en) 2013-07-31 2019-08-13 Splunk Inc. Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
EP3742405A3 (en) * 2013-09-24 2021-01-13 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
CN104596523B (zh) * 2014-06-05 2019-05-07 腾讯科技（深圳）有限公司 一种街景目的地引导方法和设备
US20160012160A1 (en) * 2014-07-11 2016-01-14 Graphisoft Building model user interface and method of use
EP3037784B1 (en) * 2014-12-23 2019-05-01 Nokia Technologies OY Causation of display of supplemental map information
KR20160125674A (ko) * 2015-04-22 2016-11-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10799792B2 (en) * 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US11263461B2 (en) * 2015-10-05 2022-03-01 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
JP6724653B2 (ja) * 2015-12-21 2020-07-15 株式会社Ｊｖｃケンウッド 車両用表示装置、表示方法および表示プログラム
EP3306572A1 (en) * 2016-10-07 2018-04-11 Schneider Electric Industries SAS Method for 3d mapping of 2d point of interest
US10853651B2 (en) * 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
US10698475B2 (en) 2016-10-26 2020-06-30 Htc Corporation Virtual reality interaction method, apparatus and system
EP3559785B1 (en) 2016-12-21 2021-02-03 PCMS Holdings, Inc. Systems and methods for selecting spheres of relevance for presenting augmented reality information
CN110268448B (zh) 2017-02-20 2023-11-24 交互数字Vc控股公司 动态呈现增强现实信息以减少峰值认知需求
US11118930B2 (en) * 2017-07-14 2021-09-14 Lyft, Inc. Providing information to users of a transportation system using augmented reality elements
US10904449B2 (en) 2017-07-31 2021-01-26 Disney Enterprises, Inc. Intrinsic color camera
CN107656961B (zh) * 2017-08-04 2020-03-27 阿里巴巴集团控股有限公司 一种信息显示方法及装置
US10532814B2 (en) * 2017-09-11 2020-01-14 Disney Enterprises, Inc. Augmented reality travel route planning
US10922889B2 (en) * 2017-11-20 2021-02-16 Google Llc Directing user attention
CN108090134B (zh) * 2017-11-24 2020-07-24 重庆英卡电子有限公司 基于虚实poi树的管理地图表达方法
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
US10460431B2 (en) 2018-01-15 2019-10-29 Otis Elevator Company Part recognition and damage characterization using deep learning
CN108920476B (zh) * 2018-03-30 2022-03-08 斑马网络技术有限公司 地图检索算路引擎测试系统及其测试方法
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US20190378334A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
CN108898678B (zh) * 2018-07-09 2020-02-21 百度在线网络技术（北京）有限公司 增强现实方法和装置
US10977867B2 (en) 2018-08-14 2021-04-13 Goodrich Corporation Augmented reality-based aircraft cargo monitoring and control system
US10846933B2 (en) * 2018-09-14 2020-11-24 Advanced Geosciences, Inc. Geophysical sensor positioning system
US11733684B2 (en) * 2018-09-27 2023-08-22 Hewlett-Packard Development Company, L.P. Overlaying production data on rendered 3D printed object
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
EP3848909A4 (en) 2018-09-30 2021-12-29 Huawei Technologies Co., Ltd. Information prompt method and electronic device
US11218639B1 (en) * 2018-10-12 2022-01-04 Staples, Inc. Mobile interface for marking and organizing images
GB201816733D0 (en) * 2018-10-15 2018-11-28 Snoww Ltd Location method, portable device and system
JP2020086472A (ja) * 2018-11-14 2020-06-04 Ｄｇｓｈａｐｅ株式会社 図形データ作成プログラム
KR102539579B1 (ko) 2018-12-18 2023-06-05 삼성전자주식회사 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
EP3690627A1 (en) * 2019-01-30 2020-08-05 Schneider Electric Industries SAS Graphical user interface for indicating off-screen points of interest
US11049072B1 (en) * 2019-04-26 2021-06-29 State Farm Mutual Automobile Insurance Company Asynchronous virtual collaboration environments
CN111913639B (zh) * 2019-05-07 2022-01-28 广东虚拟现实科技有限公司 虚拟内容的交互方法、装置、系统、终端设备及存储介质
US11227446B2 (en) * 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11232587B2 (en) * 2019-11-06 2022-01-25 Google Llc Use of image sensors to query real world for geo-reference information
US11080879B1 (en) 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
CN111492409B (zh) * 2020-03-16 2023-05-02 香港应用科技研究院有限公司 用于增强现实远程协助的三维交互的装置和方法
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US20220178713A1 (en) * 2020-07-06 2022-06-09 Google Llc Stable Orientation Cues for Augmented Reality (AR)
US20220198771A1 (en) * 2020-08-10 2022-06-23 Google Llc Discovery, Management And Processing Of Virtual Real Estate Content
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
CN115544390A (zh) * 2021-06-30 2022-12-30 华为技术有限公司 一种poi的显示方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101285360B1 (ko) * 2007-01-25 2013-07-11 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
FR2775814B1 (fr) * 1998-03-06 2001-01-19 Rasterland Sa Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel
US6992659B2 (en) * 2001-05-22 2006-01-31 Palmone, Inc. High transparency integrated enclosure touch screen assembly for a portable hand held device
JP4532856B2 (ja) * 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
KR101387479B1 (ko) * 2007-03-16 2014-04-21 엘지전자 주식회사 이동통신 단말기의 화상 처리방법 및 이동통신 단말기
KR101526970B1 (ko) * 2008-05-29 2015-06-16 엘지전자 주식회사 단말기 및 그 제어 방법
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
KR101572892B1 (ko) * 2010-05-06 2015-11-30 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
CN102714743B (zh) * 2010-05-27 2016-08-03 任天堂株式会社 便携式电子设备
EP2393056A1 (en) * 2010-06-02 2011-12-07 Layar B.V. Acquiring, ranking and displaying points of interest for use in an augmented reality service provisioning system and graphical user interface for displaying such ranked points of interests
US8963954B2 (en) * 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US8952983B2 (en) 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
CN102629183B (zh) * 2012-02-29 2014-12-03 华为终端有限公司 一种终端屏幕控制方法及装置
CN102695034A (zh) * 2012-05-30 2012-09-26 青岛海信移动通信技术股份有限公司 在可视通话中调整视频图像在对端显示的方法及装置
CN103034416B (zh) * 2012-12-25 2015-09-09 珠海金山办公软件有限公司 一种通过摇动使设备屏幕显示转到重力方向的方法
CN103092344A (zh) * 2013-01-11 2013-05-08 深圳市金立通信设备有限公司 一种控制终端屏幕画面旋转的方法及终端
CN103139354B (zh) * 2013-01-31 2016-03-02 广东欧珀移动通信有限公司 一种手机解锁方法及装置
CN103246431B (zh) * 2013-04-27 2016-12-28 深圳市金立通信设备有限公司 一种调节屏幕显示方向方法、装置及系统
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
KR102065408B1 (ko) * 2013-08-16 2020-01-13 엘지전자 주식회사 이동 단말기
EP3742405A3 (en) * 2013-09-24 2021-01-13 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9740296B2 (en) * 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
WO2015090421A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
KR20150092560A (ko) * 2014-02-05 2015-08-13 엘지전자 주식회사 이동단말기 및 그 제어방법
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10728767B2 (en) * 2015-04-14 2020-07-28 ETAK Systems, LLC Systems and methods for augmented reality add-in of equipment and structures at a telecommunications site
US10354441B2 (en) * 2016-05-20 2019-07-16 ETAK Systems, LLC Augmented reality systems and methods for telecommunications site modeling
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US20170337744A1 (en) * 2016-05-23 2017-11-23 tagSpace Pty Ltd Media tags - location-anchored digital media for augmented reality and virtual reality environments
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
GB2554914B (en) * 2016-10-14 2022-07-20 Vr Chitect Ltd Virtual reality system and method
US10527849B2 (en) * 2017-07-18 2020-01-07 Toyota Jidosha Kabushiki Kaisha Augmented reality vehicular assistance for color blindness
DK201870346A1 (en) * 2018-01-24 2019-09-12 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101285360B1 (ko) * 2007-01-25 2013-07-11 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154299A1 (ko) * 2021-01-12 2022-07-21 엘지전자 주식회사 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템
WO2022154436A1 (ko) * 2021-01-12 2022-07-21 엘지전자 주식회사 증강현실 서비스를 제공하는 ar 서비스 플랫폼
WO2022154437A1 (ko) * 2021-01-12 2022-07-21 엘지전자 주식회사 증강현실 서비스를 제공하는 ar 서비스 플랫폼
WO2022154323A1 (ko) * 2021-01-12 2022-07-21 엘지전자 주식회사 차량과 연동된 디스플레이 장치 및 그것의 동작방법

Also Published As

Publication number Publication date
EP3742405A3 (en) 2021-01-13
US20160240011A1 (en) 2016-08-18
AU2020202551B2 (en) 2021-09-23
CN105659295B (zh) 2019-07-26
US20170213393A1 (en) 2017-07-27
EP3050030B1 (en) 2020-06-24
AU2020202551A1 (en) 2020-05-07
US9646422B2 (en) 2017-05-09
CN110379019A (zh) 2019-10-25
AU2017261608A1 (en) 2017-12-07
KR20160062056A (ko) 2016-06-01
CN105659295A (zh) 2016-06-08
AU2013401486A1 (en) 2016-04-14
WO2015043620A1 (en) 2015-04-02
US20190180512A1 (en) 2019-06-13
EP3050030A1 (en) 2016-08-03
EP3742405A2 (en) 2020-11-25
US10217288B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
KR101817452B1 (ko) 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스
US9223408B2 (en) System and method for transitioning between interface modes in virtual and augmented reality applications
EP2769363B1 (en) Depth cursor and depth measurement in images
CN102473324B (zh) 用于在真实环境中表示虚拟信息的方法
US9525964B2 (en) Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
US8466894B2 (en) Apparatus and method for displaying information
US20120139915A1 (en) Object selecting device, computer-readable recording medium, and object selecting method
US20130185673A1 (en) Electronic Device, Displaying Method And File Saving Method
US20130176337A1 (en) Device and Method For Information Processing
JP2012068481A (ja) 拡張現実表現システムおよび方法
US9965140B2 (en) Method and apparatus of a marking objects in images displayed on a portable unit
KR20150026375A (ko) 포터블 디바이스 및 그 제어 방법
US10229543B2 (en) Information processing device, information superimposed image display device, non-transitory computer readable medium recorded with marker display program, non-transitory computer readable medium recorded with information superimposed image display program, marker display method, and information-superimposed image display method
US10984242B1 (en) Virtual proximity compass for navigating artificial reality environments
US20140152562A1 (en) Display controller, display system, storage medium and method
Schmalstieg et al. Augmented reality as a medium for cartography
KR101659089B1 (ko) 위치 정보를 이용한 증강 현실 장치
CN115115812A (zh) 虚拟场景的显示方法、装置及存储介质
JP6849331B2 (ja) デバイス及びコンピュータプログラム
KR101153127B1 (ko) 스마트 폰의 지리정보 표시장치
JP6050615B2 (ja) 地図表示装置、地図表示方法および地図表示用プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant