KR102421862B1 - 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품 - Google Patents

현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품 Download PDF

Info

Publication number
KR102421862B1
KR102421862B1 KR1020217005166A KR20217005166A KR102421862B1 KR 102421862 B1 KR102421862 B1 KR 102421862B1 KR 1020217005166 A KR1020217005166 A KR 1020217005166A KR 20217005166 A KR20217005166 A KR 20217005166A KR 102421862 B1 KR102421862 B1 KR 102421862B1
Authority
KR
South Korea
Prior art keywords
real
image
user
world
unit
Prior art date
Application number
KR1020217005166A
Other languages
English (en)
Other versions
KR20210024204A (ko
Inventor
모나 싱
Original Assignee
피씨엠에스 홀딩스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 피씨엠에스 홀딩스, 인크. filed Critical 피씨엠에스 홀딩스, 인크.
Publication of KR20210024204A publication Critical patent/KR20210024204A/ko
Application granted granted Critical
Publication of KR102421862B1 publication Critical patent/KR102421862B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Abstract

현실 세계 장소 및/또는 현실 세계 장소를 포함한 현실 세계 장면과 관련하여 현실감을 증강하는 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품이 제공된다. 상기 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품 중에서 디바이스를 통해 현실감을 증강하는 방법이 있다. 이 방법은 현실 세계 장소를 포함한 현실 세계 뷰를 포착하는 단계와, 현실 세계 장소를 식별하는 단계와, 현실 세계 뷰를 보는 디바이스 사용자에게 친숙한 현실 세계 장소와 연관된 이미지를 결정하는 단계와, 및/또는 현실 세계 장소를 포함한 현실 세계 뷰를 현실 세계 뷰를 보는 사용자에게 친숙한 현실 세계 장소의 이미지로 증강하는 단계를 포함할 수 있다.

Description

현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품{METHODS, APPARATUS, SYSTEMS, DEVICES, AND COMPUTER PROGRAM PRODUCTS FOR AUGMENTING REALITY IN CONNECTION WITH THE REAL WORLD PLACES}
이 출원은 2014년 1월 24일자 출원된 미국 가특허 출원 제61/931,225호를 우선권 주장하며, 이 우선권 출원의 내용은 인용에 의해 그 전부가 본원에 통합된다.
증강 현실(AR, augmented reality)은 전형적으로 엔드 유저에게 실시간으로 또는 거의 실시간으로 디스플레이하기 위해 예컨대 증강 정보와 현실 세계 장면(footage)을 혼합함으로써 현실 세계와 컴퓨터 생성 데이터를 결합하는데 초점을 둔다. AR의 범위는 몇 가지만 예를 들자면 광고, 내비게이션 및 오락과 같은 광범위한 응용 영역에까지 확장되었다. 증강 정보를 현실 세계 장면에 끊김 없이 통합하는 것에 대하여 관심이 증가하고 있다.
그러나 AR은 엔드 유저 경험, 특히 웨어러블 디바이스 또는 컴퓨터, 내비게이션 디바이스, 스마트폰 등과 함께 사용하는 것 및/또는 이러한 디바이스와 연관된 디스플레이 풋프린트 제한을 고려할 때 증강 정보를 적절히 디스플레이하는 것에 대한 새로운 난제와 같은 난제들을 나타낼 수 있다. 또한, 불행하게도 상기 디바이스에서 데이터를 디스플레이하기 위한 현재의 방법 또는 기술들은 적합하지 않거나 용의주도하지 않을 수 있다. 예를 들면, 증강 정보를 디스플레이하기 위한 현재의 방법 또는 기술들은 다수의 이미지가 모바일폰 또는 디바이스, 웨어러블 디바이스, 컴퓨터 등과 같은 디바이스에서 애플리케이션의 사용자에게 이용 가능으로 될 수 있기 때문에 특히 문제가 될 수 있다. 불행하게도 디바이스의 사용자들은 인식 능력이 제한되며 이용 가능한 이미지들을 처리할 수 없다.
더 자세한 이해는 첨부 도면과 함께 예로서 제공되는 이하의 상세한 설명으로부터 얻을 수 있다. 그러한 도면에서의 그림들은 상세한 설명과 마찬가지로 예를 보인 것이다. 그러므로 그림 및 상세한 설명은 제한하는 것으로 생각하여서는 안되고 다른 동일하게 효과적인 예도 가능하다. 또한, 도면에서의 동일한 참조 번호들은 동일한 요소를 표시한다.
도 1a 및 도 1b는 현실 세계 장소를 포함한 현실 세계 뷰를 현실 세계 장소에 친숙한 이미지로 증강하는 예를 보인 도이다.
도 2a 및 도 2b는 현실 세계 장소를 포함한 현실 세계 뷰를 현실 세계 장소에 친숙한 이미지로 증강하는 예를 보인 도이다.
도 3은 증강 현실 시스템의 예를 보인 블록도이다.
도 4는 프리젠테이션 유닛을 통해 현실감을 증강하는 것과 관련된 예시적인 흐름을 보인 흐름도이다.
도 5는 증강 현실 시스템의 예를 보인 블록도이다.
도 6 내지 도 9는 프리젠테이션 유닛을 통해 현실감을 증강하는 것과 관련된 예시적인 흐름을 보인 흐름도이다.
도 10a는 하나 이상의 본 발명의 실시형태가 구현될 수 있는 예시적인 통신 시스템의 계통도이다.
도 10b는 도 10a에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 계통도이다.
도 10c, 도 10d 및 도 10e는 도 10a에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 접속 네트워크 및 예시적인 코어 네트워크의 계통도이다.
이하의 상세한 설명에 있어서, 많은 특정 세부들은 여기에서 설명하는 실시형태 및/또는 실시예의 완전한 이해를 제공하기 위해 제시된다. 그러나 그러한 실시형태 및 실시예들은 여기에서 제시되는 특정 세부의 일부 또는 전부가 없이도 실시될 수 있다는 것을 이해할 것이다. 다른 예로서, 잘 알려진 방법, 절차, 컴포넌트 및 회로들은 이하의 설명을 불명료하게 하지 않도록 구체적으로 설명하지 않았다. 또한, 여기에서 특별히 설명하지 않은 실시형태 및 실시예들도 여기에서 명시적으로, 암시적으로 및/또는 본질적으로 설명되거나 개시되거나 다른 방식으로 제공된 실시형태 및 다른 실시예 대신에 또는 그러한 실시형태 및 다른 실시예와 결합하여 실시될 수 있다.
여기에서 개시되는 실시예들은 증강 현실과 관련된 방법, 장치, 시스템, 디바이스, 및/또는 컴퓨터 프로그램 제품을 포함 및/또는 제공할 수 있다. 일 예로서, 방법, 장치, 시스템, 디바이스, 및/또는 컴퓨터 프로그램 제품은 현실 세계 장소, 및/또는 현실 세계 장소를 포함하는 현실 세계 뷰와 관련하여 현실감을 증강하는 것과 관련될 수 있다(예를 들면, 증강 현실 프리젠테이션 및/또는 사용자 인터페이스에 의해). 현실 세계 장소는 예를 들면 경계표(landmark), 관심 지점(point of interest, POI), 건물 등일 수 있다. 현실 세계 장소는 고정 위치(예를 들면, 경계표), 또는 (예컨대 시간에 따라) 변경 가능한 위치일 수 있다. 현실 세계 장소는 루트, 경로를 따라 위치될 수 있고, 또는 루트, 경로와 관련하여 다른 방식으로 배치될 수 있으며, 및/또는 실시예에 따라 내비게이트 및/또는 관통될 수 있다.
여기에서 설명하는 실시예에 따르면, 뷰 및/또는 현실 세계 뷰(예를 들면, 집합적으로 현실 세계 뷰라고 부를 수 있음)는 물리적 장소의 뷰를 포함하거나 그러한 뷰일 수 있다. 현실 세계 뷰는 프리젠테이션 유닛(예를 들면, 디스플레이)에 의해(예를 들면, 프리젠테이션 유닛에서, 프리젠테이션 유닛을 통해서 등) 디바이스에서 볼 수 있거나 다른 방식으로 인식할 수 있다. 현실 세계 뷰는 하나 이상의 현실 세계 장소 및/또는 임의의 현실 세계 장소와 관련하여 제시되는 증강 정보를 포함할 수 있다. 증강 정보는 예를 들면 증강 정보가 물리적 공간 내에 위치되거나 다른 방식으로 배치되는 것으로 나타날 수 있도록 프리젠테이션 유닛에 의해 제시, 연출 및/또는 디스플레이될 수 있다. 예를 들면 증강 정보는 (예컨대 홀로그래픽 기술 등을 이용해서) 물리적 공간에 투영될 수 있다. 대안적으로 및/또는 추가적으로, 증강 정보는 증강 정보가 프리젠테이션 유닛에 의해 디바이스의 디스플레이 화면에 위치 또는 다른 방식으로 배치되는 것으로 제공 및/또는 나타날 수 있도록 제시(예를 들면, 디스플레이)될 수 있다. 각종 실시예에서, 증강 정보의 일부는 물리적 공간에 투영(또는 물리적 공간에 나타나도록 다른 방식으로 디스플레이)될 수 있고, 증강 정보의 일부는 증강 정보가 디스플레이 화면에 위치 또는 다른 방식으로 배치되는 것으로 제공 및/또는 나타날 수 있도록 제시(예를 들면, 연출 또는 디스플레이)될 수 있다.
방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 (예를 들면, 디바이스 및/또는 디바이스 내의 프리젠테이션 유닛에 의해) 현실감을 증강하는 것과 관련된 방법을 포함할 수 있다. 이 방법은 디바이스에 의해 현실 세계 뷰를 포착하는 단계와, 현실 세계 뷰의 현실 세계 장소를 식별하는 단계와, 사용자에게 친숙한 현실 세계 장소와 연관된 이미지를 결정하는 단계와, 및/또는 현실 세계 뷰를 보고 있는 및/또는 현실 세계 뷰를 보는 것으로 예상되는 사용자 또는 뷰어에게 친숙한 현실 세계 장소의 이미지로 현실 세계 장소를 포함한 현실 세계 뷰를 증강하는 단계(예를 들면, 여기에서 현실 세계 뷰는 여기에서 설명하는 현실 세계 장소에서, 현실 세계 장소 위에서 또는 현실 세계 장소 부근에서 이미지를 디스플레이 또는 연출함으로써 증강될 수 있다) 중의 하나 이상을 포함할 수 있다. 예를 들면, 사용자 또는 뷰어에게 친숙할 수 있는 현실 세계 장소는 뷰어에게 친숙하게 나타나게 할 수 있다. (예를 들면, 친숙한 이미지일 수 있는) 뷰어에게 친숙한 현실 세계 장소의 이미지는 사용자가 다른 방식으로 인식하지 못하는 현실 세계 장소를 뷰어가 인식하게 할 수 있다. 예를 들면, 현실 세계 뷰에서 묘사될 수 있는 현실 세계 장소는 야간 시간 중에 발생하는 현실 세계 장소에의 현재 방문, 및/또는 주간 시간 중에 발생하는 현실 세계 장소에의 예전 방문(및/또는 현실 세계 장소의 예전 뷰)에 기인하여 사용자 또는 뷰어에게 친숙하게 보이지 않을 수 있다. 대안적으로 및/또는 추가적으로, 현실 세계 뷰에서 묘사되는 현실 세계 장소는 긴 시구간 동안 현실 세계 장소를 방문하지(및/또는 보지) 않았기 때문에, 및/또는 그 시구간 동안 현실 세계 장소 및/또는 그 주변이 (예를 들면, 사용자 또는 뷰어의 인지 수준을 넘어서) 변경되었기 때문에 뷰어에게 친숙하게 보이지 않을 수 있다.
이미지(예를 들면, 친숙한 이미지)는 예를 들면 현실 세계 장소를 예전에 방문하는 동안(예를 들면 현실 세계 장소에 또는 그 부근에 있는 동안) 뷰어의 디바이스로 이미지를 포착한 결과로서 및/또는 이미지를 포착한 것에 응답하여 뷰어에게 직접 친숙한 것과 같이 친숙할 수 있다. 이미지는 자율적으로(예를 들면, 자동으로 및/또는 사용자 상호작용 또는 동작 없이) 및/또는 뷰어의 명시적 동작에 의한 것과 같은 사용자 상호작용을 통해 포착될 수 있다. 실시예에 따르면, 친숙한 이미지는 뷰어의 사교 서클의 멤버가 예전에 현실 세계 장소를 방문하는 동안 자신의 디바이스로 이미지를 포착한 다른 사람과의 (예를 들면, 온라인) 사회적 관계의 결과로서 뷰어에게 간접적으로 친숙할 수 있다. 이미지는 뷰어의 사교 서클 멤버의 디바이스에 의해 자율적으로 및/또는 여기에서 설명하는 것처럼 뷰어의 사교 서클 멤버의 명시적 동작에 의해 포착될 수 있다.
일부 실시예에 있어서, 현실 세계 뷰의 증강은 현실 세계 장소와 관련된 이미지의 제시 및/또는 제공(예를 들면, 디스플레이 및/또는 연출)을 포함할 수 있다. 이미지의 제시 및/또는 제공은 예를 들면 현실 세계 장소 부근에 정착 또는 위치된 것과 같이 현실 세계 장소와 관련하여 콜아웃(call out)(예를 들면 가상 물체)으로 이미지를 제시하는 것을 포함할 수 있다. 대안적으로 및/또는 추가적으로, 이미지의 제시는 이미지를 현실 세계 뷰에 투영 및/또는 중첩시키는 것을 포함할 수 있다. 이미지의 중첩은 이미지를 현실 세계 장소(예를 들면, 현실 세계 장소의 적어도 일부)에 오버레이하는 것, 및/또는 이미지가 현실 세계 장소를 대체하는 것으로 나타나게 하는 것을 포함할 수 있다.
실시예에 있어서, 방법은 복수의 이미지(예를 들면, 복수의 친숙한 이미지)로 현실 세계 뷰를 증강하는 단계를 포함할 수 있다. 실시예에 따르면, 이미지는 슬라이드 쇼와 유사한 형태로 제시 및/또는 제공될 수 있다. 예를 들면, 이미지 중의 하나가 제시 및/또는 제공되고, 그 다음에 타이머의 만료 및/또는 뷰어로부터의 입력에 응답하여 친숙한 이미지 중의 다른 하나로 교체될 수 있다.
여기에서 제공되는 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 실시예에 따라 다음과 같이 구현될 수 있다. 예를 들면, 디바이스의 사용자(예를 들면 앨리스)는 비오는 겨울 저녁에 친구가 있는 장소로 운전을 할 계획을 갖고 있을 수 있다. 그 또는 그녀의 친구가 있는 장소는 특정 지역, 위치 또는 시 및/또는 그 일부(예를 들면, 인근 도시의 중심지)에 있을 수 있다. 실시예에 있어서, 중심지는 재생 중에 있고 추가의 주민들을 늘리는 중일 수 있다. 앨리스는 또한 동일 지역 내 작은 와인 상점과 같은 상점에서 음료수, 식품 및/또는 다른 것(예를 들면, 와인)의 상품을 사려고 계획할 수 있다. 사용자가 출발할 때쯤, 어두워지기 시작하고 비가 약해지지 않고 계속될 수 있다. 비록 사용자가 친구의 집에 몇 달 전에 방문한 적이 있다 하더라도, 사용자는 상기 상점에 전에 방문한 적이 없을 수 있다. 사용자는 내비게이션 시스템을 이용할 수 있다. 사용자의 내비게이션 시스템은 언뜻 보기에 정확한 방향일 수 있는 방향을 사용자에게 제공할 수 있지만, 이웃하고는 친숙하지 않을 수 있다. 비록 사용자가 전에 그곳에 간 적이 있다 하더라도, 그러한 이웃에 대한 사용자의 예전 방문은 맑은 봄날 오후에 이루어졌을 수 있다. 더욱이 그 지역에 새로운 구조물이 있을 수 있다. 그래서 사용자가 회전을 하기 위해 사용하였던 친구의 장소 및/또는 경계표(예를 들면, 식품점의 주차장, 도로 코너 중 하나에 있는 큰 바위, 및/또는 임의의 다른 경계표)가 친숙하지 않거나 친숙하게 보이지 않을 수 있다.
여기에서의 실시예에 있어서, 상기 와인 상점과 같은 상점은 친구의 주거지까지 가는 루트를 따르는 중간 목적지로서 식별될 수도 있고 식별되지 않을 수도 있다. 상기 상점은 실시예에 따르면 낮은 건물의 상층에 있는 작은 회사(outfit)이고 길게 늘어선 작은 가족형 점포(mom and pop store)의 중간에 있을 수 있다. 상점은 또한 도로 높이(street level)에서 좁은 입구를 가질 수 있다.
여기에서의 예에서 사용자가 상점에 접근할 때, 동일 상점의 이미지 및 다른 사람에 의해 취해진 그 입구가 획득되어 여기에서 설명하는 바와 같이 사용자가 사용 중인 디바이스, 예를 들면, 모바일 폰 또는 디바이스, 내비게이션 디바이스, 웨어러블 디바이스 등에서 디스플레이될 수 있다. 상기 이미지는 그 지역에 살고 있는 앨리스의 친구 및/또는 그 지역으로 여행하거나 상기 상점을 방문한 다른 사람과 같은 사람에 의해 취해진 일부 이미지를 포함할 수 있다. 일 예로서, 특히 사용자의 친구에 의해 취해진 이미지(예를 들면, 친숙한 이미지)는 그의 친구가 전에 그곳에 있었다는 것을 그에게 표시할 수 있고, 그래서 상점에 접근하는 사용자의 편안함 정도를 증가시킬 수 있다(예를 들면, 어두울 때 또는 하루 중의 특정 시간에).
상점이 사용자의 시야에 나타나면, 그 상점은 뷰 내에서 식별될 수 있다(예를 들면, 뷰 내의 다른 물체로부터 구별되거나 다른 방식으로 차별화될 수 있다). 이것은 예를 들면 상점 입구의 윤곽 결정을 포함할 수 있다. 상점 입구를 식별한 후에, 사용자의 친구 등의 사람에 의해 전에 포착된 입구의 이미지는 현재 뷰에서 나타나는 입구를 대체하거나 입구 부근에 놓여질 수 있다(또는 사용자의 디바이스에서 다른 방식으로 디스플레이 또는 연출될 수 있다). 친숙할 수 있는 이미지(예를 들면, 이미지 중의 일부는 낮 시간에 및/또는 다른 계절 중에 취한 것일 수 있음)를 디바이스에서 보는 것은 사용자가 이웃 상점들로부터 당해 상점의 입구를 식별하는 데 도움을 줄 수 있다. 또한, 실시예에 따르면, 디바이스에서 더 밝은 이미지를 보는 것은 당해 상점에 들어가는 사용자의 편안함 정도를 증가시킬 수 있다.
사용자가 루트를 따라서 진행할 때, 사용자 친구의 장소 또는 위치는 루트를 따르는 목적지로서 인식 또는 식별될 수 있다. 하나 이상의 이미지(예를 들면, 사용자의 주시 또는 예전에 방문했을 때 사진을 찍은 사용자에 기초하여, 사용자 또는 다른 사람에 의해 예전에 포착한 사용자 친구 집에 친숙할 수 있는 이미지)는 실시예에 따라서 프리젠테이션 유닛을 통해 디바이스에서 획득 및/또는 디스플레이 또는 연출될 수 있다.
사용자 친구의 장소(예를 들면, 사용자 친구의 집과 같은 위치 또는 주택)가 사용자의 시야에 나타날 때(예를 들면, 디바이스에서), 사용자 친구의 장소는 뷰 내에서 인식 및/또는 식별될 수 있다(예를 들면, 뷰 내의 다른 물체들로부터 구별 또는 다른 방식으로 차별화될 수 있다). 이것은 실시예에서 친구의 장소의 윤곽을 결정하는 것을 포함할 수 있다. 사용자 친구의 집을 식별한 후에 사용자 친구의 집의 이미지는 사용자가 상호작용하는 또는 사용하는 디바이스의 현재 뷰에 나타나는 친구의 집을 대체할 수 있다. 도 1a 및 도 1b는 사용자 친구의 집(현실 세계 장소)을 포함하는 현실 세계 뷰를 동일한 것에 친숙할 수 있는 이미지(예를 들면, 사용자가 예전에 포착 및/또는 인식한 이미지 또는 사용자의 친구와 같은 사람 또는 다른 사용자가 제공한 이미지)로 증강하는 예를 보인 도이다. 이미지(즉, 예전의 어느 봄날 오후에 포착된 이미지)를 보면 사용자가 그의 친구의 집 또는 위치를 인식할 수 있다. 도 1a에 나타낸 바와 같이, 예컨대 디바이스에 의해 포착된 현실 세계 뷰(2)는 그 안에 현실 세계 장소(4)를 갖고 있을 수 있다. 실시예에 따르면(예를 들면, 도 1b에 나타낸 바와 같이), 이미지(6)는 사용자가 현실 세계 뷰(2) 내의 현실 세계 장소(4)를 인식할 수 있게끔 여기에서 설명하는 바와 같이 사용자가 그에게 친숙한 방식으로 이미지(6)를 통해 현실 세계 장소(4)를 볼 수 있도록 현실 세계 뷰(2) 내의 현실 세계 장소(4)에 오버레이될 수 있다. 게다가, 이미지를 보는 것은 사용자가 주차할 진입로 또는 다른 위치(예를 들면, 사용자가 주차하도록 지시받은 위치. 예를 들면 화살표(7)로 표시되어 있음)를 찾는 것을 또한 쉽게 할 수 있다.
다른 실시예에 따르면, 사용자(예를 들면, 존)는 다른 위치로부터(예를 들면, 노스캐롤라이나로부터) 어떤 도시 내의 인기 있는 위치(예를 들면, 뉴욕시(맨하탄)의 타임 스퀘어)를 방문하는 중일 수 있다. 이것은 사용자가 그 도시로의 첫번째 여행일 수 있다. 방문하는 동안 사용자는 그 지역에 살고 있는 한 그룹의 친구들을 만나기 원할 수 있다. 상기 그룹은 특정 식당(예를 들면, 토니의 이탈리안 식당)에서 1달에 한번씩 만날 수 있다. 사용자는 그 식당의 사진을 소셜 미디어 애플리케이션 또는 사이트(예를 들면, 페이스북, 트위터, 인스타그램 등)에서 보았을 수 있고, 다른 사람들이 그 식당에 대하여 이야기 했을 수 있다. 불행하게도 사용자는 그 식당을 찾는 데에 고생을 하고 어려운 시간을 가질 수 있다.
도 2a 및 도 2b는 현실 세계 장소(즉, 식당)를 포함한 현실 세계 뷰를 동일한 현실 세계 장소를 나타내는 이미지로 증강하는 다른 예를 보인 것이다. 상기 위치(예를 들면, 타임 스퀘어)의 실시간 또는 현실 세계 뷰(6)는 도 2a에 도시되어 있다(예를 들면, 이 뷰는 사용자의 디바이스에서 나타날 수 있다). 도 2b에 도시된 바와 같이, 상기 위치의 실시간 또는 현실 세계 뷰(8)는 사용자에게 친숙할 수 있는 이미지(9)(즉, 친구가 찍어서 소셜 미디어 사이트에 포스팅한 식당의 이미지)로 (예를 들면, 사용자의 디바이스에서) 증강될 수 있다. 사용자는 이미지(9)를 보았을 수 있고, 이것은 사용자가 인식하기 쉽게 하며, 그에 따라서 사용자의 디바이스를 이용하여 상기 식당을 찾는 것을 쉽게 할 수 있다.
도 3은 여기에서 설명하는 적어도 일부 실시형태에 따른 증강 현실 시스템(10)의 일 예를 보인 블록도이다. 증강 현실 시스템(10)은 디바이스에서 사용 및/또는 구현될 수 있다. 디바이스는 정보를 수신, 처리 및 제시(예를 들면, 디스플레이)할 수 있는 디바이스일 수 있다. 여기에서 설명하는 실시예에서, 디바이스는 웨어러블 컴퓨터; 스마트폰; 예컨대 도 10a-10e를 참조하면서 설명하는 무선 송수신 유닛(WTRU)(뒤에서 설명함); 다른 유형의 사용자 장비(UE) 등일 수 있다. 디바이스의 다른 예로는 모바일 장치, 개인용 정보 단말기(PDA), 셀룰러폰, 휴대용 멀티미디어 플레이어(PMP), 디지털 카메라, 노트북, 태블릿 컴퓨터, 차량용 내비게이션 컴퓨터(예를 들면, 헤드업 디스플레이를 갖는 것)가 있다. 실시예에서, 디바이스는 적당한 운영체제로 동작할 수 있고 및/또는 여기에서 설명하는 방법 및/또는 시스템을 실행할 수 있는 프로세서 기반 플랫폼, 예컨대 상기 방법 및/또는 시스템을 포함한 소프트웨어를 포함할 수 있다.
증강 현실 시스템(10)은 이미지 포착 유닛(100), 물체 식별 유닛(110), 증강 현실 유닛(120), 프리젠테이션 제어기(130) 및 프리젠테이션 유닛(140)을 포함할 수 있다. 이미지 포착 유닛(100)은 현실 세계 뷰를 포착(예를 들면 또는 수신)하고, 및/또는 예컨대 물체 식별 유닛(110) 및/또는 증강 현실 유닛(120)을 포함한 증강 현실 시스템의 다른 엘리먼트에 상기 포착된 현실 세계 뷰를 제공 또는 전송한다. 이미지 포착 유닛(100)은 디지털 카메라, 모바일 장치 등의 디바이스에 매립된 카메라, 머리 장착형 디스플레이(HMD), 광학 센서, 전자 센서 등 중의 하나 이상일 수 있고, 또는 하나 이상을 포함할 수 있다.
물체 식별 유닛(110)은 이미지 포착 유닛(100)으로부터 상기 포착된 현실 세계 뷰를 수신하고, 상기 포착된 현실 세계 뷰에 배치된 현실 세계 장소를 식별, 인식 및/또는 결정(예를 들면, 식별, 결정 및/또는 인식하기 위해 방법, 프로세스 또는 루틴을 실행)할 수 있다. 물체 식별 유닛(110)은 물체 인식 유닛(112)과 공간 결정 유닛(114)을 포함할 수 있다. 물체 인식 유닛(112) 및/또는 공간 결정 유닛(114)은 현실 세계 장소의 식별을 촉진할 수 있다.
물체 인식 유닛(112)은 현실 세계 뷰에서 물체 검출을 수행할 수 있다(예를 들면, 경계표, 물체, 위치 등을 결정 및/또는 검출할 수 있다). 물체 검출을 이용해서, 물체 인식 유닛(112)은 현실 세계 장소 또는 위치를 현실 세계 뷰 내에 배치된 다른 물체로부터 검출 및/또는 구별할 수 있다. 물체 인식 유닛(112)은 예를 들면 에지 검출, 원시 스케치, 보는 방향의 변화, 광도 및 색의 변화 등을 포함한 물체 검출을 수행하는 각종의 공지된 기술적 방법 중 임의의 방법을 이용할 수 있다.
공간 결정 유닛(114)은 검출 또는 결정된 현실 세계 장소에 대한 현실 세계 및/또는 국소화 지도 위치를 결정할 수 있다. 공간 결정 유닛(114)은 위치 인식 알고리즘(예를 들면, 방법 및/또는 기술)을 이용할 수 있다. 사용되는 위치 인식 알고리즘은 병렬 추적 및 맵핑(Parallel Tracking and Mapping, PTAM)법 및/또는 동시 국소화 및 맵핑(Simultaneous Localization and Mapping, SLAM)법, 및/또는 임의의 다른 적당한 방법 또는 알고리즘(예를 들면, 업계에 잘 알려져 있는 것)을 포함할 수 있다. 공간 결정 유닛(114)은 검출된 현실 세계 장소에 대한 현실 세계 및/또는 국소화 지도 위치를 결정하기 위한 위치 정보(예를 들면, 위도, 경도, 자세(attitude) 등)를 획득 및 이용할 수 있다. 위치 정보는 증강 현실 시스템(10), 물체 식별 유닛(110) 및/또는 공간 결정 유닛(114)에 통신적으로 결합된 글로벌 위치확인 시스템(GPS) 수신기(도시 생략됨)로부터, 및/또는 네트워크 보조에 의해(예를 들면, 네트워크 또는 인터페이스(자기 조직형 또는 다른 방식)의 임의 유형의 네트워크 노드로부터) 획득될 수 있다.
프리젠테이션 제어기(130) 및/또는 프리젠테이션 유닛(140)과 접속된 증강 현실 유닛(120)은 현실 세계 뷰를 증강할 수 있다(예를 들면, 여기에서 설명하는 것처럼 현실 세계 뷰에서 현실 세계 장소와 연관된 이미지를 디스플레이 및/또는 연출할 수 있다). 예를 들면, 프리젠테이션 제어기(130) 및/또는 프리젠테이션 유닛(140)과 접속된 증강 현실 유닛(120)은 하나 이상의 이미지(예를 들면, 현실 세계 뷰를 보는 및/또는 현실 세계 뷰를 볼 것으로 예상되는 뷰어에게 친숙할 수 있는 이미지)로 현실 세계 뷰를 증강할 수 있다. 증강 현실 유닛(120)은 이미지를 포착하는 카메라, 소셜 미디어 사이트 또는 애플리케이션, 디바이스의 애플리케이션 등과 같은 이미지 포착 유닛(100)으로부터 이미지를 획득 및/또는 수신할 수 있다. 예를 들면, 이미지는 왓츠앱(WhatsApp), 페이스북, 인스타그램, 트위터 등과 같은 애플리케이션을 통해 수신될 수 있다. 일부 실시예에서, 이미지는 역시 사용자에게 친숙할 수 있는 인터넷에서의 이미지를 포함할 수 있고 또는 그러한 이미지일 수 있다. 상기 사용자에게 친숙할 수 있는 인터넷에서의 이미지의 예는 사용자가 읽은 뉴스 아이템의 이미지일 수 있다. 증강 현실 유닛(120)은 예를 들면 디바이스의 디스플레이에서 이미지를 포맷팅하고 이미지의 프리젠테이션을 발생하기 위한 구성 정보(예를 들면, 파라미터)를 발생할 수 있다. 포맷팅은 전체 뷰 또는 뷰 중의 일부를 증강하는 것을 포함할 수 있다. 예를 들면, 포맷팅은 사이즈, 형상, 밝기 및 정렬을 결정한다. 증강 현실 유닛(120)은 이미지 및 대응하는 구성 정보를 프리젠테이션 제어기(130)에 제공 또는 전송할 수 있다. 프리젠테이션 제어기(130)는 이미지 및 대응하는 구성 정보를 증강 현실 유닛(120)으로부터 획득 또는 수신할 수 있다. 프리젠테이션 제어기(130)는 적어도 부분적으로 상기 구성 정보에 기초하여 프리젠테이션 유닛(140)을 통해 제시하기 위해 친숙한 이미지를 수정할 수 있다. 프리젠테이션 제어기(130)는 변환된 이미지를 프리젠테이션 유닛(140)에 제공 또는 전송할 수 있다.
프리젠테이션 유닛(140)은 시각적 및/또는 청각적 프리젠테이션을 제시하기 위한 임의 유형의 디바이스일 수 있다. 프리젠테이션 유닛(140)은 디바이스의 화면 및/또는 스피커 또는 오디오 출력을 포함할 수 있다. 프리젠테이션 유닛(140)은 예를 들면 윈드실드 디스플레이, 웨어러블 디바이스(예를 들면, 안경), 스마트폰 화면, 내비게이션 시스템 등을 포함한 임의 유형의 디스플레이이거나 그러한 디스플레이를 포함할 수 있다. 하나 이상의 사용자 입력이 프리젠테이션 유닛(140)과의 사용자 상호작용에 의해, 상호작용을 통하여 및/또는 상호작용과 관련하여 수신될 수 있다. 예를 들면, 사용자는 프리젠테이션 유닛(140)을 통해 제시된(예를 들면, 증강된 또는 다른 방식으로 제시된) 현실 세계 뷰와 관련한 터치하기, 클릭하기, 끌어놓기, 응시하기, 음성 인식 및/또는 다른 상호작용에 의해 및/또는 이러한 상호작용을 통하여 사용자 입력 또는 선택을 입력할 수 있다.
프리젠테이션 유닛(140)은 프리젠테이션 제어기(130)로부터 이미지를 수신할 수 있다. 프리젠테이션 유닛(140)은 친숙한 이미지를 현실 세계 뷰에 적용(예를 들면, 투영, 중첩, 오버레이 등)할 수 있다.
도 4는 여기에서의 실시예에 따라 (예를 들면, 프리젠테이션 유닛을 통해) 디바이스에서 현실감을 증강하기 위한 예시적인 방법(200)을 나타내는 흐름도이다. 방법(200)은 도 3의 증강 현실 시스템에서 구현될 수 있고, 및/또는 그 시스템을 참조하면서 설명될 수 있다. 방법(200)은 다른 아키텍처를 이용하여 또한 실행될 수 있다.
202에서, 디바이스(예를 들면, 디바이스에서 구현되는 도 3의 시스템의 물체 식별 유닛(110))는 현실 세계 장소를 식별할 수 있다. 실시예에 따르면, 현실 세계 장소는 내비게이트되는 및/또는 관통되는 루트, 경로 등을 따라서 및/또는 루트, 경로 등과 관련하여 배치될 수 있다. 204에서, 디바이스(예를 들면, 디바이스에서 구현되는 프리젠테이션 제어기(130) 및/또는 프리젠테이션 유닛(140)과 접속된 증강 현실 유닛(120))는 현실 세계 장소를 포함한 현실 세계 뷰를 친숙할 수 있는 이미지로 증강할 수 있다.
디바이스는, 예를 들면 프리젠테이션 유닛(140)을 매개로 하여, 일부 실시예에서 현실 세계 장소와 관련된 (예를 들면, 친숙할 수 있는) 이미지를 제시(예를 들면, 디스플레이 및/또는 연출)할 수 있다. 실시예에 따르면, 프리젠테이션 유닛(140)을 매개로 하는 디바이스는 예를 들면 현실 세계 장소에 고정되거나 및/또는 근접 배치된 현실 세계 장소와 관련된 콜아웃으로 이미지를 제시할 수 있다. 대안적으로 및/또는 추가적으로, 프리젠테이션 유닛(140)을 매개로 하는 디바이스는 이미지를 현실 세계 뷰에 투영 및/또는 중첩할 수 있다. 프리젠테이션 유닛(140)을 매개로 하는 디바이스는 친숙한 이미지를 현실 세계 장소(의 적어도 일부)에 오버레이할 수 있고, 및/또는 친숙한 이미지가 현실 세계 장소의 대체물로서 나타나게 할 수 있다.
비록 도시를 생략하였지만, 예를 들어서 프리젠테이션 유닛(140)을 매개로 하는 디바이스는 (예를 들면, 친숙할 수 있는) 이미지를 하나 이상의 저장소(repository)로부터 획득 및/또는 수신할 수 있다. 이러한 저장소는 (예를 들면, 도 3의 증강 현실 시스템을 구현하는 또는 증강 현실 시스템을 포함하는) 디바이스에 국부적으로 또는 디바이스로부터 원격에 위치될 수 있다. 실시예에 따르면, 증강 현실 유닛(120)은 어떤 이미지가 현실 세계 뷰에서 증강될 수 있는지 결정할 수 있다. 예를 들면, 증강 현실 유닛(120)은 (예를 들면, 저장소로부터) 획득 및/또는 수신될 수 있는 이미지가 현실 세계 뷰 내에 현실 세계 장소를 포함하는지 여부 및/또는 이미지가 (예를 들면, 여기에서 설명하는 것처럼 그 위에서 연출 및/또는 디스플레이되는) 현실 세계 뷰 내의 현실 세계 장소의 뷰에서 증강되어야 하는지 여부를 결정하기 위해 계량(metric) 또는 점수(score)를 이용할 수 있다. 일 예로서, 이미지는 친숙도의 양, 정도 및/또는 수준(예를 들면, 친숙도 점수)을 반영 및/또는 표현하는 계량 또는 점수에 기초하여 획득 및/또는 수신될 수 있다. 예를 들면, 사용자에게 친숙할 수 있는 이미지는 이미지를 선택함으로써 및/또는 이미지가 역치 이상의 친숙도 점수를 가질 때에 하나 이상의 저장소로부터 획득 및/또는 수신될 수 있다. 친숙도 점수는 급히 결정(예를 들면, 산출)될 수 있고, 및/또는 이미지와 관련하여(예를 들면, 이미지에 대한 인덱스로서) 저장될 수 있다. 일부 실시예에서, 친숙한 이미지는 그 산출된 친숙도 점수와 관련하여 메모리에 저장될 수 있고, 및/또는 이미지가 현실 세계 장소와 연관되는지 및/또는 현실 세계 뷰에서(예를 들면, 현실 세계 장소에서) 증강될 수 있는지에 대한 결정이 이루어질 수 있다.
친숙도 점수는 하나 이상의 요소에 기초를 둘 수 있다(예를 들면, 하나 이상의 요소에 기초하여 산출될 수 있다). 일부 실시예에서, 친숙도 점수는, 적어도 부분적으로, 뷰어가 예전에 현실 세계 장소를 방문한 동안 포착된 이미지(예를 들면, 사용자에게 친숙할 수 있는 이미지 또는 친숙도 이미지) 및/또는 현실 세계 장소와 유사한 이미지에 기초를 둘 수 있다. 그러한 이미지의 포착은 자율적으로(예를 들면, 자동으로 또는 사용자 또는 뷰어로부터의 상호작용 없이), 또는 사용자 또는 뷰어의 명시적인 동작(예를 들면, 이미지를 명시적으로 취하는 것)에 따라서 이루어질 수 있다. 일부 실시예에서, 친숙도 점수는, 적어도 부분적으로, 자신의 디바이스로 이미지를 포착한 사람과 사용자 간의 사회적 관계에 기초를 둘 수 있다(예를 들면, 자신의 디바이스로 이미지를 포착한 사람과 사용자는 소셜 미디어 사이트 등에서 친구일 수 있다).
친숙도 점수는, 적어도 부분적으로, 사용자가 이미지를 본 횟수 및/또는 경우의 수에 기초를 둘 수 있다. 또한, 일 실시예에서, 친숙도 점수는, 적어도 부분적으로, 사용자가 이미지를 보면서 소비한 시간량에 기초를 둘 수 있다. 친숙도 점수는, 적어도 부분적으로, 사용자가 이미지와 상호작용한 횟수 및/또는 경우의 수에 기초를 둘 수 있다. 친숙도 점수는, 적어도 부분적으로, 사용자가 이미지와 상호작용하면서 소비한 시간량에 기초를 둘 수 있다. 친숙도 점수는, 적어도 부분적으로, 사용자가 이미지와 연관된 및/또는 이미지를 디스플레이하는 미디어와 상호작용한 횟수 및/또는 경우의 수에 기초를 둘 수 있다. 친숙도 점수는, 적어도 부분적으로, 사용자가 이미지와 연관된 및/또는 이미지를 디스플레이하는 미디어와 상호작용하면서 소비한 시간량에 기초를 둘 수 있다. 친숙도 점수는, 적어도 부분적으로, 사용자가 이미지를 본 후에 그 이미지와 연관된 미디어와 상호작용한 횟수 및/또는 경우의 수에 기초를 둘 수 있다. 친숙도 점수는, 적어도 부분적으로, 사용자가 이미지를 본 후에 그 이미지와 연관된 미디어와 상호작용하면서 소비한 시간량에 기초를 둘 수 있다.
친숙도 점수는, 적어도 부분적으로, 이미지가 실시예에 따라서 포착될 때 발생하는 하나 이상의 환경 조건에 기초를 둘 수 있다. 이미지가 포착되는 동안 또는 포착된 때 발생하는 환경 조건은 채광, 날씨, 하루 중의 시간, 계절 등 중 하나 이상을 포함할 수 있다. 친숙도 점수는, 적어도 부분적으로, 이미지가 포착된 때 발생하는 하나 이상의 환경 조건 및 사용자가 현실 세계 뷰를 볼 때 발생하는 하나 이상의 환경 조건에 기초를 둘 수 있다. 예를 들면, 친숙도 점수는, 적어도 부분적으로, 친숙한 이미지가 포착된 때 발생하는 하나 이상의 환경 조건들 간의 차(또는 유사성)에 및 뷰어가 현실 세계 뷰를 볼 때 발생하는 하나 이상의 환경 조건에 기초를 둘 수 있다. 뷰어가 현실 세계 뷰를 볼 때 발생하는 하나 이상의 환경 조건은 채광, 날씨, 하루 중의 시간, 계절 등 중 하나 이상을 포함할 수 있다.
친숙도 점수는, 적어도 부분적으로, 이미지(예를 들면, 친숙할 수 있는 이미지 또는 친숙한 이미지)의 하나 이상의 품질에 기초를 둘 수 있다. 상기 품질은 주관적 품질(예를 들면, 선예도(sharpness))과 객관적 품질(예를 들면, 콘트라스트) 중 하나 이상을 포함할 수 있다. 상기 품질은 예를 들면 노이즈(예를 들면, 신호 대 잡음비로 측정될 수 있는 노이즈), 콘트라스트(예를 들면, 광학 밀도(흑화 정도(degree of blackening)) 및/또는 휘도(밝기)), 선예도(또는 비선예도), 해상도, 색도 등과 같은 하나 이상의 이미지 특성을 포함할 수 있다.
이미지를 획득 또는 수신한 후에, 증강 현실 유닛(120)은 이미지를 포맷팅 및 이미지의 프리젠테이션을 발생하기 위한 구성 정보(예를 들면, 파라미터)를 발생할 수 있다. 구성 정보는 예를 들면 현실 세계 장소에 고정, 근접 배치 및/또는 인접한 것과 같이 현실 세계 장소와 관련된 콜아웃(예를 들면, 가상 물체)으로 이미지를 제시하기 위한 명령어를 포함할 수 있다.
대안적으로 및/또는 추가적으로, 구성 정보는 친숙한 이미지를 현실 세계 뷰에 투영 및/또는 중첩하기 위한 명령어를 포함할 수 있다. 구성 정보는 예를 들면 이미지를 현실 세계 뷰에 투영 및/또는 중첩하는 것과 관련하여 친숙한 이미지를 사이징(또는 리사이징) 및/또는 위치 지정하기 위한 명령어를 포함할 수 있다. 이러한 명령어는 적어도 부분적으로 현실 세계 뷰에 배치된 현실 세계 장소를 식별하는 물체 식별 유닛(110)에 따라 물체 식별 유닛(110)으로부터 수신 또는 획득될 수 있는 정보에 기초를 둘 수 있다.
증강 현실 유닛(120)은 이미지 및 대응하는 구성 정보를 프리젠테이션 제어기(130)에 제공할 수 있다. 프리젠테이션 제어기(130)는 이미지(예를 들면, 이미지 포착 유닛(110)으로부터의 이미지) 및 대응하는 구성 정보를 증강 현실 유닛(120)으로부터 획득 및 수신할 수 있다. 프리젠테이션 제어기(130)는 적어도 부분적으로 구성 정보에 기초하여, 프리젠테이션 유닛(140)을 통해 프리젠테이션하기 위해 이미지를 크기, 형상, 선예도 등과 관련하여 수정할 수 있다. 프리젠테이션 제어기(130)는 변환된 이미지를 프리젠테이션 유닛(140)에 제공 또는 전송할 수 있다. 프리젠테이션 유닛(140)은 프리젠테이션 제어기(130)로부터 이미지를 수신할 수 있다. 프리젠테이션 유닛(140)은 이미지를 현실 세계 뷰에 적용, 제공 및/또는 출력(예를 들면, 투영, 중첩 등)할 수 있다.
비록 도시되지 않았지만, 증강 현실 시스템(10)은 시야 결정 유닛을 포함할 수 있다. 시야 결정 유닛은 이미지 포착 유닛(100) 및/또는 사용자 추적 유닛과 인터페이스하여 현실 세계 뷰에 배치된 현실 세계 장소가 사용자의 시야 내에 있는지를 결정할 수 있다. 사용자 추적 유닛은 예를 들면 눈 추적 유닛일 수 있다.
실시예에 따르면, 눈 추적 유닛은 눈 추적 기술을 이용하여 하나 이상의 광학 센서로부터 눈 움직임에 대한 데이터를 수집하고, 사용자가 응시하는 곳을 추적하며, 및/또는 각종의 눈 움직임 행동에 기초하여 사용자 입력 결정을 행할 수 있다. 눈 추적 유닛은 사용자의 눈 움직임을 모니터링 및 추적하기 위해 각종의 공지된 기술 중의 임의의 기술을 이용할 수 있다.
눈 추적 유닛은 예를 들면 이미지 포착 유닛(100), 사용자가 프리젠테이션 유닛(140)을 볼 때 눈 움직임을 모니터링할 수 있는 카메라(도시 생략됨) 등과 같이 사용자에 대면하는 광학 센서로부터 입력을 수신할 수 있다. 눈 추적 유닛은 사용자의 눈 위치 및 각 눈의 홍채의 움직임을 검출할 수 있다. 홍채의 움직임에 기초하여, 눈 추적 유닛은 사용자의 응시에 대한 각종 관측을 행할 수 있다. 예를 들면, 눈 추적 유닛은 단속적 눈 움직임(예를 들면, 사용자 눈의 빠른 움직임) 및/또는 고정(예를 들면, 소정의 시간량 동안 특정 지점 또는 영역에서 눈 움직임의 정지)를 관측 및/또는 결정할 수 있다.
눈 추적 유닛은 프리젠테이션 유닛(140)의 화면상의 소정 지점 또는 영역(집합적으로 "초점 영역"이라고 함)에서의 고정이 초점 영역 아래에 있는 현실 세계 뷰의 일부에서의 관심을 표시할 수 있다는 추론을 이용하여 하나 이상의 입력을 발생할 수 있다. 눈 추적 유닛은 예를 들면 프리젠테이션 유닛(140)의 화면상의 초점 영역에서의 고정을 검출하고 상기 초점 영역에서의 고정이 현실 세계 장소의 목적지에 대한 사용자 표시일 수 있다는 추론에 기초하여 시야를 발생할 수 있다.
일 실시예에 있어서, 눈 추적 유닛은 가상 물체 중 하나를 향한 사용자의 시선 및/또는 가상 물체 중 하나에 대응하는 초점 영역에서의 고정이 대응 가상 물체에서의 사용자 관심(또는 사용자의 관심 표현)을 표시한다는 추론을 이용하여 하나 이상의 입력을 발생할 수 있다. 현실 세계 장소에서의 관심을 표시하는 입력은 현실 세계뷰와 연관된 위치(예를 들면, 하나 이상의 좌표 집합)를 포함할 수 있다.
다시 도 4를 참조하면, (예컨대 프리젠테이션 제어기(130) 및/또는 프리젠테이션 유닛(140)과 접속된) 증강 현실 유닛(120)을 통해 증강 현실 시스템(10)을 구현할 수 있는 디바이스는 현실 세계 장소가 시야 내에 있다는 조건에서 현실 세계 뷰를 증강할 수 있다. 대안적으로 또는 추가적으로, (예컨대 프리젠테이션 제어기(130) 및/또는 프리젠테이션 유닛(140)과 접속된) 증강 현실 유닛(120)에 의한 디바이스는 사용자 입력으로부터 및/또는 사용자 입력에 기초하여 결정할 수 있는 시야에 대하여 현실 세계 뷰를 증강할 수 있다. 각종 실시예에서, 예컨대 (프리젠테이션 제어기(130) 및/또는 프리젠테이션 유닛(140)과 접속된) 증강 현실 유닛(120)을 이용하는 디바이스는 사용자 시선과 연관된 입력으로부터 및/또는 그러한 입력에 기초하여 결정할 수 있는 시야에 대하여 현실 세계 뷰를 증강할 수 있다.
도 5는 여기에서 설명하는 적어도 일부 실시형태에 따른 증강 현실 시스템(20)의 예를 보인 블록도이다. 증강 현실 시스템(20)은 컴퓨팅 장치에서 사용 및/또는 구현될 수 있다. 도 5의 증강 현실 시스템(20)은 (여기에서 설명한 것을 제외하고) 도 3의 증강 현실 시스템(10)과 유사할 수 있다. 증강 현실 시스템(20)은 이미지 포착 유닛(100), 내비게이션 유닛(500), 물체 식별 유닛(110), 증강 현실 유닛(120), 프리젠테이션 제어기(130) 및 프리젠테이션 유닛(140)을 포함할 수 있다.
내비게이션 유닛(500)은 내비게이트할 루트에 대한 방향 및/또는 내비게이션 명령(예를 들면, 내비게이션 명령)을 발생할 수 있다. 이 내비게이션 유닛은 루트를 따르는 진행을 추적할 수 있고, 및/또는 루트에 대한 조정을 행할 수 있다. 루트에 대한 조정은 현재 위치, 교통 환경 조건(예를 들면, 강설, 강우 등), 루트의 지식에 대하여 수신된 업데이트(예를 들면, 목적지 또는 다른 중간 지점), 및/또는 임의의 다른 적당한 조건 및/또는 파라미터에 기초를 둘 수 있고, 및/또는 그러한 파라미터에 좌우될 수 있다. 내비게이션 유닛(500)은 물체 식별 유닛(110) 및/또는 증강 현실 유닛(120)에 내비게이션 명령어를 제공할 수 있다. 물체 식별 유닛(110)은 적어도 부분적으로 내비게이션 유닛(500)으로부터 획득된 내비게이션 명령에 기초하여 내비게이트할 루트와 연관된 하나 이상의 현실 세계 장소(예를 들면, 현실 세계 장소의 집합 및/또는 리스트)를 수신 또는 획득할 수 있다. 물체 식별 유닛(110)은 저장소(도시 생략됨)를 이용하여 내비게이트할 루트와 연관된 현실 세계 장소를 식별할 수 있다. 물체 식별 유닛(110)은 예를 들면 내비게이션 명령어를 이용하여 저장소에 질의(query)할 수 있다. 저장소는 내비게이트할 루트에 연관된 현실 세계 장소의 아이덴티티를 상기 질의에 응답하여 물체 식별 유닛(110)에게 제공 또는 전송할 수 있다.
실시예에 따르면, 저장소는 일반적으로 지구의 하나 이상의 공간적 지역과 관련하여 배치된 현실 세계 장소에 대한 지오레퍼런스(geo-reference)(예를 들면, 현실 세계 장소의 위치 및/또는 현실 세계의 지리적 지점) 및/또는 그 세부를 포함하는 임의의 저장소 또는 저장소들의 임의의 집합이거나 그러한 집합을 포함할 수 있다. 각종 실시예에서, 저장소는 임의의 포인트 클라우드, 포인트 클라우드 라이브러리 등이거나 이들을 포함할 수 있고; 이들 중의 임의의 것 또는 각각은 지구의 하나 이상의 공간적 지역과 관련하여 배치된 현실 세계 장소에 대한 지리적 기준 및/또는 그 세부를 포함할 수 있다.
현실 세계 장소의 세부는 예를 들면 현실 세계 장소가 그 장소에 대한 특정의 지오레퍼런스에 존재한다는 표시; 예를 들면 장소의 특정 유형을 표시하는 코드와 같은 장소의 유형의 표시 등을 포함할 수 있다. 일부 실시예에서, 현실 세계 장소의 세부는 현실 세계 장소가 그 장소에 대한 특정의 지오레퍼런스에 존재한다는 표시로 제한될 수 있다. 그러한 실시예에서, 현실 세계 장소의 추가적인 세부는 부호 저장소(sign repository) 내의 다른 데이터 및/또는 대응하는 지오레퍼런스에 기초하여 결정(예를 들면, 다른 데이터 및/또는 대응하는 지오레퍼런스로부터 추론)될 수 있다. 예를 들면, 현실 세계 장소의 하나 이상의 세부는 2개의 도로로 이루어진 사거리의 코너, 고속도로 출구, 고속도로 입구 등에 가까운(예를 들면, 매우 근접한) 현실 세계 장소에 대한 지오레퍼런스로부터; 및/또는 특정 관할구역(예를 들면, 국가, 자치 도시 등) 내에 있는 현실 세계 장소에 대한 지오레퍼런스로부터 추론될 수 있다. 대안적으로 및/또는 추가적으로, 현실 세계 장소의 추가적인 세부는 그 안에 상주(populate)되는 현실 세계 장소의 세부를 가진 하나 이상의 저장소로부터 획득 또는 수신될 수 있다. 상기 세부들은 예를 들면 부호(sign)에 대한 지오레퍼런스에 대응하는 위치 및/또는 현실 세계 지리적 포지션의 예전의 내비게이션 및/또는 관통 중에 또는 다른 방식으로 관계있는 현실 세계를 인식하는 것(예를 들면, 물체 식별 유닛(110))에 응답하여 상기 저장소에 상주될 수 있다. 대안적으로 및/또는 추가적으로, 상기 세부들은 사용자 입력에 응답하여 상기 저장소에 상주될 수 있다. 사용자 입력은 부호에 대한 지오레퍼런스에 대응하는 위치 및/또는 현실 세계 지리적 포지션의 예전의 내비게이션 및/또는 관통과 관련하여 입력될 수 있다. 실시예에 따르면, 사용자 입력은 하나 이상의 이미지에서 현실 세계 장소를 보는 것에 응답하여 입력될 수 있다. 또한, 일 실시예에서, 세부들은 하나 이상의 이미지에 묘사된 현실 세계 장소를 인식하는 것에 응답해서, 및/또는 세부들을 모으는 하나 이상의 소스(예를 들면, 웹 페이지)로부터 상기 저장소에 상주될 수 있다.
저장소는 컴퓨팅 장치의 메모리에 국부적으로 저장될 수 있고, 컴퓨팅 장치의 프로세서에 대하여 접근(예를 들면, 프로세서에 의해 판독 및/또는 기록) 가능하다. 대안적으로 및/또는 추가적으로, 저장소는 예를 들면 컴퓨팅 장치로부터 원격에 위치된 서버와 관련하여 컴퓨팅 장치로부터 원격에 저장될 수 있다. 그러한 서버는 유선 및/또는 무선 통신에 의해 컴퓨팅 장치에 대하여 가용 및/또는 접근될 수 있고, 서버는 내비게이트되는 루트와 연관된 현실 세계 장소에 대하여 소용될 수 있다(예를 들면, 이러한 현실 세계 장소를 획득하기 위한 웹 서비스를 제공할 수 있다). 서버는 또한 컴퓨팅 장치(예를 들면, 물체 식별 유닛(110))로부터 수신할 수 있고, 및/또는 현실 세계 장소의 세부를 저장소에 상주시킬 수 있다.
물체 식별 유닛(110)은 저장소로부터 획득된 내비게이트할 루트와 연관된 현실 세계 장소의 아이덴티티를 증강 현실 유닛(120)으로 전달할 수 있다. 증강 현실 유닛(120)은 물체 식별 유닛(110)으로부터 내비게이트 대상 루트와 연관된 현실 세계 장소의 아이덴티티를 획득 또는 수신(예를 들면, 또는 결정)할 수 있다.
증강 현실 유닛(120)은 루트와 연관된 현실 세계 장소의 이미지(예를 들면, 이것은 친숙할 수 있는 이미지 또는 친숙한 이미지임)를 하나 이상의 저장소로부터 획득 또는 수신할 수 있다. 그러한 저장소는 증강 현실 시스템(30)에 국부적으로 또는 증강 현실 시스템(30)으로부터 원격에 위치될 수 있다. 이미지는 예를 들면 여기에서 설명하는 것처럼 각각의 친숙도 점수에 기초하여 획득 또는 수신될 수 있다.
물체 식별 유닛(110)은 이미지 포착 유닛(100)으로부터 포착된 현실 세계 뷰를 수신하고, 및/또는 상기 포착된 현실 세계 뷰에 현재 배치된 루트와 연관된 현실 세계 장소를 식별할 수 있다. 프리젠테이션 제어기(130) 및/또는 프리젠테이션 유닛(140)에 접속된 증강 현실 유닛(120)은 루트와 연관되고 상기 포착된 현실 세계 뷰에 현재 배치된 현실 세계 장소와 관련하여 획득된 하나 이상의 이미지로 현실 세계 뷰를 증강할 수 있다. 증강 현실 유닛(120)은 이미지를 포맷팅하고 이미지의 프리젠테이션을 발생하기 위한 구성 정보(예를 들면, 파라미터)를 “u생할 수 있다. 증강 현실 유닛(120)은 이미지 및 대응하는 구성 정보를 프리젠테이션 제어기(130)에 제공 또는 전송할 수 있다. 프리젠테이션 제어기(130)는 이미지 및 대응하는 구성 정보를 증강 현실 유닛(120)으로부터 획득 또는 수신할 수 있다. 프리젠테이션 제어기(130)는 적어도 부분적으로 상기 구성 정보에 기초하여, 프리젠테이션 유닛(140)을 통해 프리젠테이션하기 위해 이미지를 변환할 수 있다. 프리젠테이션 제어기(130)는 수정된 이미지를 프리젠테이션 유닛(140)에 제공할 수 있다. 프리젠테이션 유닛(140)은 프리젠테이션 제어기(130)로부터 친숙한 이미지를 획득 또는 수신할 수 있다. 프리젠테이션 유닛(140)은 이미지를 현실 세계 뷰에 적용, 제공 또는 출력(예를 들면, 투영, 중첩, 연출, 제시 등)할 수 있다.
도 6은 실시형태에 따라서 프리젠테이션 유닛을 통해 현실감을 증강하는 것과 관련된 예시적인 방법(600)을 보인 흐름도이다. 방법(600)은 도 5의 증강 현실 시스템(20)을 참조하면서 설명할 수 있다. 방법(600)은 또한 다른 아키텍처(예를 들면, 각각 도 3 또는 도 9의 증강 현실 시스템(10 또는 30))를 이용하여 실시될 수 있다.
602에서, 예컨대 물체 식별 유닛(110)을 통해 증강 현실 시스템(20)을 구현할 수 있는 디바이스는 내비게이트할 루트에 대한 내비게이션 명령어를 획득 또는 수신할 수 있다. 예컨대 물체 식별 유닛(110)을 이용하거나 물체 식별 유닛(110)을 매개로 하는 디바이스는 예를 들면 내비게이션 유닛(500)으로부터 내비게이션 명령어를 획득 또는 수신할 수 있다. 604에서, 물체 식별 유닛(110)은, 적어도 부분적으로 상기 내비게이션 명령에 기초하여, 내비게이트할 루트와 연관된 현실 세계 장소를 획득 또는 수신할 수 있다. 예를 들어서 물체 식별 유닛(110)을 매개로 하는 디바이스는 상기 내비게이트할 루트와 연관된 현실 세계 장소의 아이덴티티를 저장소로부터 수신 또는 획득할 수 있다.
606에서, 일 실시예에 있어서, 예컨대 증강 현실 유닛(120)을 매개로 하는 디바이스는 루트와 연관된 현실 세계 장소의 이미지(예를 들면, 이것은 친숙할 수 있는 이미지 또는 친숙한 이미지임)를 수신 또는 획득할 수 있다. 이미지는 (예를 들면, 여기에서 설명하는 바와 같이) 대응하는 친숙도 점수에 기초하여 수신 또는 획득될 수 있다. 608에서, 예컨대 물체 식별 유닛(110)을 매개로 하는 디바이스는 루트가 내비게이트될 때 그 루트를 따르는 현실 세계 장소를 식별할 수 있다. 예컨대 물체 식별 유닛(110)을 매개로 하는 디바이스는 관련된 현실 세계 장소가 아닌 다른 현실 세계 장소를 또한 인식할 수 있다(예를 들면, 608에서). 실시예에 따르면, (예컨대 물체 식별 유닛(110)을 매개로 하는) 디바이스는 인식된 관련 현실 세계 장소를 포함한 인식된 현실 세계 장소를 저장을 위해 부호 저장소에 제공할 수 있다.
610에서, 예를 들어서 프리젠테이션 제어기(130)에 접속된 증강 현실 유닛(120) 및/또는 프리젠테이션 유닛(140)을 매개로 하는 디바이스는 여기에서 설명한 것처럼 루트와 연관되고 상기 포착된 현실 세계 뷰에 현재 배치된 현실 세계 장소와 관련하여 수신 또는 획득된 이미지로 현실 세계 뷰를 증강할 수 있다.
도 7은 실시형태에 따라서 프리젠테이션 유닛을 통해 현실감을 증강하는 것과 관련된 예시적인 방법(700)을 보인 흐름도이다. 방법(700)은 도 5의 증강 현실 시스템(20)을 참조하면서 설명할 수 있다. 방법(700)은 또한 다른 아키텍처(예를 들면, 각각 도 3 및 도 9의 증강 현실 시스템(10 및/또는 30))를 이용하여 실시될 수 있다. 무선 접속 네트워크의 방법(700)은 704에 나타낸 바와 같이 예컨대 물체 식별 유닛(110)을 매개로 하는 디바이스가 적어도 부분적으로 내비게이션 명령에 기초해서, 내비게이트할 루트를 따라 배치될 것으로 기대되는, 또는 내비게이트할 루트와 연결되는 현실 세계 장소를 수신 또는 획득할 수 있다는 것을 제외하면 도 6의 방법(600)과 유사할 수 있다.
도 8은 실시형태에 따라서 프리젠테이션 유닛을 통해 현실감을 증강하는 것과 관련된 예시적인 방법(800)을 보인 흐름도이다. 방법(800)은 도 5의 증강 현실 시스템(20)을 참조하면서 설명할 수 있다. 방법(800)은 또한 다른 아키텍처(예를 들면, 각각 도 3 및 도 9의 증강 현실 시스템(10 및/또는 30))를 이용하여 실시될 수 있다. 도 8의 방법(800)은 804에 나타낸 바와 같이 물체 식별 유닛(110)이 적어도 부분적으로 내비게이션 명령에 기초해서, 내비게이트할 루트와 연관된(예를 들면, 내비게이트할 루트를 따라 배치될 것으로 기대되는, 또는 내비게이트할 루트와 연결되는) 현실 세계 장소의 예상 위치를 수신 또는 획득할 수 있다는 것을 제외하면 무선 접속 네트워크의 방법(700)과 유사할 수 있다.
도 9는 여기에서 설명하는 적어도 일부 실시예에 따른 증강 현실 시스템(30)의 일 예를 보인 블록도이다. 증강 현실 시스템(30)은 여기에서 설명하는 바와 같이 디바이스에서 사용 및/또는 구현될 수 있다(예를 들면, 디바이스에서 구현될 수 있는 증강 현실 시스템(10 및/또는 20)과 유사할 수 있다). 증강 현실 시스템(30)은 이미지 포착 유닛(100), 내비게이션 유닛(502), 관측 유닛(902), 저장소 유닛(904), 사용자 추적 유닛(906), 증강 현실 유닛(120), 프리젠테이션 제어기(130) 및 프리젠테이션 유닛(140)을 포함할 수 있다. 도 9의 증강 현실 시스템(30)은 (예를 들면, 여기에서 설명하는 것을 제외하고) 도 5의 증강 현실 시스템(20)과 유사할 수 있다.
도 9의 증강 현실 시스템(30)과 관련하여 실시될 수 있는 동작 또는 방법(예를 들면, 200, 600, 700 및/또는 800의 방법)은 다음과 같이 여기에서 설명된다. 여기에서 설명한 것을 포함한 다른 동작 또는 방법도 역시 도 9의 증강 현실 시스템(30)에 의해 실시될 수 있다.
각종 실시예에서, 이미지 포착 유닛(100)과 접속된 사용자 추적 유닛(906)(예를 들면, 눈 추적 유닛이거나 눈 추적 유닛을 포함할 수 있음)은 현실 세계 뷰에 나타나는 현실 세계 장소를 결정할 수 있다. 예를 들면 이미지 포착 유닛(100)과 접속된 사용자 추적 유닛(906)은 사용자의 위치가 주어진 수(예를 들면, 10 또는 임의의 다른 적당한 수)의 미터만큼 변화한 때 및/또는 매 초마다 그러한 결정을 행할 수 있다.
관측 유닛(902)은 장면을 보고 있는 하나 이상의 카메라로부터 이미지를 포착할 수 있다. 관측 유닛(902)은 추가적인 센서, 자동차 서비스, 웹 서비스 등으로부터 관련 메타데이터를 포착할 수 있다. 사용자 추적 유닛(904)으로부터의 입력에 기초해서, 관측 유닛(902)은 사용자의 시야에 나타나는 이미지를 식별할 수 있다. 관측 유닛(902)은 내비게이션 유닛(904)에 의해(또는 물체 식별 유닛(도시 생략됨)을 통해) 발행된 내비게이션 명령으로부터 제공 또는 전송될 수 있는 현실 세계 장소의 아이덴티티를 수신 또는 획득할 수 있다. 관측 유닛(902)은 사용자의 시야에 대응하는 이미지를 비롯해서 장면으로 향한 이미지 포착 유닛(100)으로부터 획득한 이미지와 함께 현실 세계 장소에 대한 정보(예를 들면, 메타데이터)를 연합시킬 수 있다.
저장소 유닛(904)은 관측 유닛(902)에 의해 제공된 이미지(및/또는 연관된 메타데이터)를 수신 또는 획득하고 그 이미지를 적당한 데이터베이스에 저장할 수 있다. 일 실시예에서, 상기 데이터베이스는 웹 서비스를 통해 접근되도록 국소적으로 배치되거나(예를 들면, 차량 내에) 또는 원격에 배치될 수 있다. 저장소 유닛(904)은 사용자의 사교 서클의 멤버일 수 있는 사용자(의 관측 유닛)에 의해 포착된 이미지와 함께 공공 이미지에 접근할 수 있다. 저장소 유닛(904)은 사용자가 참여하는 온라인 소셜 네트워크에 접근할 수 있다(및/또는 온라인 소셜 네트워크의 사생활 설정과 호환될 수 있다).
증강 현실 유닛(120)은 선택 유닛과 질의 유닛(도시 생략됨)을 포함할 수 있다. 질의 유닛은 이미지(예를 들면, 사용자 저장형, 공공 또는 소셜)를 수신 또는 획득하기 위해 저장소 유닛(904)에게 질의할 수 있다. 질의 유닛은 위치에 대응하는 이미지 및 기타의 현재 메타데이터를 검색하기 위해 증강 현실 유닛(120) 및/또는 내비게이션 유닛(502)으로부터의 요청에 기초하여 질의(query)를 발생할 수 있다. 저장소 유닛(904)으로부터 검색된 이미지는 연관된 메타데이터와 함께 수신될 수 있다. 질의 유닛은 이러한 정보를 선택 유닛에 제공 또는 전송할 수 있다.
선택 유닛은 내비게이션 유닛(502)에 의해(또는 물체 식별 유닛(도시 생략됨)을 통해) 발행된 내비게이션 명령으로부터 제공된 현실 세계 장소의 아이덴티티 및/또는 이미지의 친숙도 점수를 이용하여 질의 유닛에 의해 실행된 질의 결과에 의해 저장소 유닛(904)으로부터 이미지를 획득할 수 있다. 선택 유닛은 적어도 부분적으로 이미지(예를 들면, 역치 이상의 친숙도 점수를 가진 이미지)의 친숙도 점수에 기초하여 저장소 유닛(904)으로부터 제공된 이미지 중에서 하나 이상의 친숙한 이미지를 선택할 수 있다.
프리젠테이션 제어기(130) 및/또는 프리젠테이션 유닛(140)에 접속된 증강 현실 유닛(120)은 하나 이상의 선택된 이미지(예를 들면, 친숙할 수 있는 이미지 또는 친숙한 이미지)를 이용하여 (예를 들면, 시야 내의) 현실 세계 장소를 포함하는 현실 세계 뷰를 증강할 수 있다. 여기에서 설명하는 실시예에 따르면, 증강 현실 유닛(120), 프리젠테이션 제어기(130) 및 프리젠테이션 유닛(140)은 새로운 현실 세계 장소가 검출되고 시야 내에서 현실 세계 장소의 투영 위치가 크게(예를 들면, 주어진 수(예를 들면, 5 및/또는 임의의 다른 적당한 수)의 각도만큼) 변경될 때마다 현실 세계 장소의 하나 이상의 친숙한 이미지로 현실 세계 뷰를 증강할 수 있다. 증강의 실행을 촉진하기 위해, 증강 현실 유닛(120), 프리젠테이션 제어기(130) 및/또는 프리젠테이션 유닛(140)은 예를 들면 (i) 사용자 안경의 특정 부품 및/또는 (ii) 사용자가 운전하는 차량 윈드실드의 특정 부품 중의 하나 이상을 포함하여, 시야 내에서 현실 세계 장소가 나타나는 곳을 사용자 눈 시선의 추적 또는 카메라의 사진 또는 위치와 같은 다른 입력 및/또는 위치 또는 사진에 기초한 사용자의 시선에 기초하여 결정할 수 있다.
실시예에 있어서, 도 9의 증강 현실 시스템(30)과 관련하여 실행될 수 있는 각종 절차는 기록 절차 및 프리젠테이션 방법 또는 절차를 포함할 수 있다.
기록 방법 또는 절차에 따라서, 관측 유닛(902)은 사용자가 여행하는 현실 세계 장소의 이미지들을 포착할 수 있다. 관측 유닛(902)은 현재 진행중인 것 기반(ongoing basis)으로 상기 이미지들을 포착할 수 있다. 예로서, 관측 유닛(902)은 사용자의 위치 및/또는 사용자의 시선이 크게 변화할 때(예를 들면, 크게 및/또는 만일 위치가 10미터만큼 변하고 시선 각도가 10도만큼 변하면) 이미지를 포착할 수 있다. 대안적으로 또는 추가적으로, 관측 유닛(902)은 사용자로부터 요청이 있을 때 이미지를 포착할 수 있다. 관측 유닛(902)은 이미지에 대응하는 메타데이터를 수신 및/또는 획득할 수 있다. 상기 메타데이터는 예를 들면 사용자의 위치 및 시선의 방위를 포함할 수 있다. 저장소 유닛(904)은 상기 이미지를 메타데이터와 함께 저장할 수 있다.
실시예에 따르면(예를 들면, 프리젠테이션 방법 또는 절차에 따라서), 현실 세계 장소가 식별될 수 있다. 식별은 예를 들면 내비게이션 유닛(502)이 충분히 큰 위치 변화(예를 들면, 10미터)를 표시할 때, 또는 대안적으로 사용자로부터 요청이 있을 때 발생할 수 있다. 현실 세계 장소의 식별을 촉진하기 위해, 내비게이션 유닛(502)은 사용자의 현재 위치를 결정할 수 있고, 내비게이션 유닛(502)은 증강 현실 유닛(120)과 함께 현재 위치가 현재 활성인 방향 점(예를 들면, 여기에서 사용자는 일부 방향을 따를 수 있다) 또는 목적지, 및/또는 사용자 및/또는 사용자 사교 서클의 멤버가 예전에 방문한 적이 있는 현실 세계 장소의 특정 거리 내에 있는지 결정할 수 있다.
실시예에 있어서, (예를 들면, 현실 세계 장소가 식별된 때) 증강 현실 유닛(102)은 질의 유닛 및 저장소 유닛(904)에 따라서 상기 식별된 현실 세계 장소의 이미지(또는 이미지에 대한 링크)를 수신 또는 획득할 수 있다. 획득된 이미지는 사용자에 의해, 사용자 사교 서클의 멤버에 의해 및/또는 공공 소스로부터 저장된 이미지를 포함할 수 있다.
실시예에 따르면, 선택 유닛은 하나 이상의 수신된 또는 획득된 이미지를 선택할 수 있고, 적어도 부분적으로, 여기에서 설명하는 바와 같이 각각의 친숙도 점수에 기초하여 그렇게 할 수 있다. 선택 유닛은 다수의 인수에 기초하여 각각의 친숙도 점수를 결정(예를 들면, 산출)할 수 있다. 실시예에 있어서, 선택 유닛은 가중 인수들의 합 또는 집합에 기초하여 각 이미지에 대한 친숙도 점수를 계산할 수 있다. 인수들(예를 들면, 상이한 값으로 가중될 수 있고 및/또는 인수들의 합 또는 집합에 기초하여 친숙도 점수를 계산 또는 산출하기 위해 사용할 수 있는 인수들)은 하기의 것들 중 하나 이상을 포함할 수 있다: (i) 이미지가 현실 세계 장소의 예전 방문 중에 사용자의 디바이스에 의해 포착된 것인지 여부; (ii) 이미지가 현실 세계 장소의 예전 방문 중에 사용자의 명시적 동작에 의해(예를 들면, 카메라를 클릭함으로써) 포착된 것인지 여부; (iii) 사용자가 자신의 디바이스로 이미지를 포착한 사람과 사회적 관계를 갖는지 여부; (iv) 사용자가 이미지를 본 횟수/경우의 수; (v) 사용자가 이미지를 보는데 소요된 시간량; (vi) 사용자가 이미지와 상호작용한 횟수/경우의 수; (vii) 사용자가 이미지와 상호작용하는데 소요된 시간량; (viii) 사용자가 이미지와 연관된 및/또는 이미지를 디스플레이하는 미디어와 상호작용한 횟수/경우의 수; (ix) 사용자가 이미지와 연관된 및/또는 이미지를 디스플레이하는 미디어와 상호작용하는데 소요된 시간량; (x) 사용자가 이미지를 본 후 이미지와 연관된 미디어와 상호작용한 횟수/경우의 수; (xi) 사용자가 이미지를 본 후 이미지와 연관된 미디어와 상호작용하는데 소요된 시간량; (xii) 이미지가 포착된 때 발생하는 하나 이상의 환경 조건; (xiii) 이미지가 포착된 때 발생하는 하나 이상의 환경 조건들 간의 차(또는 환경 조건들의 유사성) 및 (예를 들면, 사용자가 현실 세계 뷰를 보고 있을 때) 발생하는 하나 이상의 환경 조건; (xiv) 이미지의 하나 이상의 품질 등.
실시예에 있어서, 선택 유닛은 하기의 것들 중 하나 이상에 따라서 친숙도 점수를 계산할 수 있다: (i) 이미지가 현실 세계 장소의 예전 방문 중에 사용자의 디바이스에 의해 포착된 것이면 가중치는 1이고(예를 들면, 1이 주어지거나 지정되고) 그렇지 않으면 가중치는 0일 수 있다; (ii) 이미지가 예전 방문시에 사용자의 명시적 동작에 의해(예를 들면, 카메라를 클릭함으로써) 포착된 것이면 가중치는 1이고(예를 들면, 1이 주어지거나 지정되고) 그렇지 않으면 가중치는 0일 수 있다; (iii) 사용자가 자신의 디바이스로 이미지를 포착한 사람과 사회적 관계를 갖고 있으면, 인수는 0부터 1까지 범위의 가중치가 주어질 수 있다(예를 들면, 친구관계(0부터 1까지 가중됨), 최종 통신의 최근성(0부터 1까지 가중됨), 현재 관련 있는 소셜 이벤트에의 초대(0부터 1까지 가중됨), 최종의 핵심 기간(예를 들면, 1달) 중의 통신량(0부터 1까지 가중됨) 등과 같은 고려사항의 평균 또는 고려사항에 적용될 수 있는 다른 명목 함수에 기초해서); (iv) 사용자가 이미지를 본 횟수/경우의 수에 기초한 0부터 1까지 범위의 가중치(예를 들면, 사용자가 이미지를 보는 또는 본 더 많은 횟수/경우의 수로 상향 조정됨); (v) 예를 들면 사용자가 이미지를 보는데 소요된 시간량에 기초한 0부터 1까지 범위의 가중치(예를 들면, 사용자가 이미지를 보는데 소요되는 더 많은 시간량으로 상향 조정됨); (vi) 예를 들면 사용자가 이미지와 상호작용한 횟수/경우의 수에 기초한 0부터 1까지 범위의 가중치(예를 들면, 사용자가 이미지와 상호작용한 더 많은 횟수/경우의 수로 상향 조정됨); (vii) 예를 들면 사용자가 이미지와 상호작용하는데 소요된 시간량에 기초한 0부터 1까지 범위의 가중치(예를 들면, 사용자가 이미지와 상호작용하는데 소요된 더 많은 시간으로 상향 조정됨); (viii) 예를 들면 사용자가 이미지와 연관된 및/또는 이미지를 디스플레이하는 미디어와 상호작용한 횟수/경우의 수에 기초한 0부터 1까지 범위의 가중치(예를 들면, 사용자가 미디어와 상호작용한 더 많은 횟수/경우의 수로 상향 조정됨); (ix) 예를 들면 사용자가 이미지와 연관된 및/또는 이미지를 디스플레이하는 미디어와 상호작용하는데 소요된 시간량에 기초한 0부터 1까지 범위의 가중치(예를 들면, 사용자가 미디어와 상호작용하는데 소요된 더 많은 시간으로 상향 조정됨); (x) 예를 들면 사용자가 이미지를 본 후 이미지와 연관된 미디어와 상호작용한 횟수/경우의 수에 기초한 0부터 1까지 범위의 가중치(예를 들면, 사용자가 이미지와 상호작용하는데 소요된 더 많은 시간으로 상향 조정됨); (xi) 예를 들면 사용자가 이미지를 본 후 이미지와 연관된 미디어와 상호작용하는데 소요된 시간량에 기초한 0부터 1까지 범위의 가중치(예를 들면, 사용자가 이미지와 상호작용하는데 소요된 더 많은 시간으로 상향 조정됨); (xii) 예를 들면 이미지가 포착된 때 발생하는 하나 이상의 환경 조건에 기초한, 예를 들면 채광(0부터 1까지 가중됨), 날씨(0부터 1까지 가중됨), 하루중의 시간(0부터 1까지 가중됨), 계절(0부터 1까지 가중됨) 등과 같은 고려사항의 평균 또는 고려사항에 적용되는 다른 명목 함수에 기초한 0부터 1까지 범위의 가중치; (xiii) 예를 들면 이미지가 포착된 때 발생하는 하나 이상의 환경 조건들 간의 차(또는 환경 조건들의 유사성) 및 및 사용자가 현실 세계 뷰를 보고 있을 때 발생하는 하나 이상의 환경 조건에 기초한 0부터 1까지 범위의 가중치; 및/또는 (xiv) 명도, 선예도, 색 품질 등과 같은 이미지의 하나 이상의 품질에 기초한 0부터 1까지 범위의 가중치 등.
친숙한 이미지를 선택한 후, 사용자 추적 유닛(906)과 접속된 증강 현실 유닛(120)은 선택된 친숙한 이미지를 제시하기 위한 프리젠테이션 유닛에서의 위치를 결정할 수 있다. 증강 현실 유닛(120)은 사용자의 시야에서 (현재 볼 수 있는) 현실 세계 장소의 윤곽에 기초하여 위치를 결정할 수 있다. 일부 실시형태에 있어서, 증강 현실 유닛(120)은 친숙한 이미지를 제시하기 위한 근사적 위치를 식별할 수 있다.
프리젠테이션 제어기(130)는 적당한 때 상기 선택된 친숙한 이미지를 변환할 수 있다. 사용자 추적 유닛(906)과 접속된 프리젠테이션 제어기(130)(및/또는 증강 현실 유닛(120))은 사용자 눈 시선의 현재 방위를 결정할 수 있다. 프리젠테이션 제어기(130)(및/또는 증강 현실 유닛(120))은 각각의 선택된 이미지(예를 들면, 친숙할 수 있는 이미지 또는 친숙한 이미지)가 포착된 방위를 결정할 수 있다. 프리젠테이션 제어기(130)(및/또는 증강 현실 유닛(120))은 각각의 선택된 이미지를 현재 방위 및 크기에 근사하도록 변환할 수 있다.
프리젠테이션 유닛(140)은 현실 세계 뷰 및/또는 현실 세계 장소와 관련된 하나 이상의 선택된 이미지(예를 들면, 친숙할 수 있는 이미지 또는 친숙한 이미지)를 제시(예를 들면, 디스플레이 또는 연출)할 수 있다. 프리젠테이션 유닛(140)은 예를 들면 현실 세계 장소에 고정된, 근접 배치된 및/또는 인접한 현실 세계 장소와 관련된 콜아웃(예를 들면, 가상 물체)으로 이미지를 제시할 수 있다. 대안적으로 또는 추가적으로, 프리젠테이션 유닛(140)은 이미지를 현실 세계 뷰에 투영 및/또는 중첩할 수 있다. 이미지를 중첩하는 것은 프리젠테이션 유닛(140)이 친숙한 이미지를 현실 세계 장소(의 적어도 일부)에 오버레이하는 것 및/또는 친숙한 이미지가 현실 세계 장소에 대한 대체물로서 나타나게 하는 것을 포함할 수 있다(도 1b 및 도 2b에 도시되고 여기에서 설명한 것처럼).
일부 실시형태에 있어서, 프리젠테이션 제어기(130) 및/또는 프리젠테이션 유닛(140)과 접속된 증강 현실 유닛(120)은 2개 이상의 선택된 이미지로 현실 세계 뷰를 증강할 수 있다. 이러한 복수의 이미지는 슬라이드 쇼와 유사한 형태로 제시 또는 디스플레이 또는 연출될 수 있다. 예를 들면, 친숙한 이미지 중의 하나가 제시되고, 그 다음에 타이머의 만료 및/또는 뷰어로부터의 입력에 응답하여 친숙한 이미지 중의 다른 하나로 교체될 수 있다. 예를 들면, 복수의 친숙한 이미지들이 각각 미리 설정된 지속기간 동안(예를 들면, 3초) 제시되고(예를 들면, 친숙도 점수에 기초한 우선순위순으로), 실시예에 따라서 이미지들을 순환시킬 수 있다. 대안적으로 또는 추가적으로, 복수의 친숙한 이미지들은 각각 사용자가 다음 이미지를 요청할 때까지 (예를 들면, 친숙도 점수에 기초한 우선순위순으로) 제시될 수 있다.
여기에서 제공되는 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 유선 및 무선 네트워크 둘 다를 수반하는 통신에 잘 적합된다. 유선 네트워크는 잘 알려져 있다. 각종 유형의 무선 디바이스 및 기반구조의 개관은 도 10a-10e와 관련하여 제공되고, 여기에서 네트워크의 각종 요소는 여기에서 제공되는 방법, 장치 및 시스템에 따라서 활용, 수행 및 배열되고, 및/또는 여기에서 제공되는 방법, 장치 및 시스템용으로 적응 및/또는 구성될 수 있다.
도 10a-10e(집합적으로 도 10이라고 함)는 하나 이상의 본 발명의 실시형태를 구현할 수 있는 예시적인 통신 시스템(1000)을 보인 블록도이다. 일반적으로 통신 시스템(1000)은 복수의 무선 사용자가 음성, 데이터, 영상, 메시지, 방송 등과 같은 콘텐츠를 액세스 및/또는 교환(예를 들면, 전송 및/또는 수신)할 수 있게 하는 다중 접속 시스템을 지원하는 아키텍처를 규정한다. 아키텍처는 또한 2개 이상의 다중 접속 시스템이 상이한 접속 기술을 사용하고 및/또는 상이한 접속 기술에 따라 구성되는 것을 지원한다. 이 방법으로 통신 시스템(1000)은 단일 접속 기술을 이용할 수 있는 무선 사용자, 및 다중 접속 기술을 이용할 수 있는 무선 사용자 모두에게 서비스할 수 있다.
다중 접속 시스템은 각각의 액세스를 포함할 수 있고, 각각의 액세스는 예를 들면 액세스 네트워크, 액세스 포인트 등일 수 있다. 각종 실시형태에 있어서, 모든 다중 접속은 동일한 무선 접속 기술("RAT")로 구성될 수 있고, 및/또는 동일한 RAT를 사용할 수 있다. 그러한 액세스("단일-RAT 액세스)의 일부 또는 전부는 (i)단일 모바일 네트워크 운영자 및/또는 캐리어(집합적으로 "MNO"라고 함) 또는 (ii) 복수의 MNO에 의해 소유, 관리, 제어, 운영 등이 될 수 있다. 각종 실시형태에 있어서, 복수의 액세스의 일부 또는 전부는 상이한 RAT에 의해 구성될 수 있고 및/또는 상이한 RAT를 이용할 수 있다. 이러한 복수의 액세스("다중-RAT 액세스")는 단일 MNO 또는 복수의 MNO에 의해 소유, 관리, 제어, 운영 등이 될 수 있다.
통신 시스템(1000)은 복수의 무선 사용자들이 무선 대역폭을 포함한 시스템 자원을 공유함으로써 상기 콘텐츠에 액세스할 수 있게 한다. 예를 들면, 통신 시스템(1000)은 코드 분할 다중 접속(CDMA), 시분할 다중 접속(TDMA), 주파수 분할 다중 접속(FDMA), 직교 FDMA(OFDMA), 단일 캐리어 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 접속 방법을 이용할 수 있다.
도 10a에 도시된 것처럼, 통신 시스템(1000)은 무선 송수신 유닛(wireless transmit/receive unit, WTRU)(1002a, 1002b, 1002c, 1002d), 무선 접속 네트워크(radio access network; RAN)(1004), 코어 네트워크(1006), 공중 교환식 전화망(public switched telephone network; PSTN)(1008), 인터넷(1010) 및 기타의 네트워크(1012)를 포함하고 있지만, 본 발명의 실시형태는 임의 수의 WTRU, 기지국, 네트워크 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다. 각각의 WTRU(1002a, 1002b, 1002c, 1002d)는 무선 환경에서 동작 및/또는 통신하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, WTRU(1002a, 1002b, 1002c, 1002d)는 무선 신호를 송신 및/또는 수신하도록 구성될 수 있고, 사용자 장비(UE), 이동국, 고정식 또는 이동식 가입자 유닛, 페이저, 셀룰러 전화기, 개인 정보 단말기(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 퍼스널 컴퓨터, 무선 센서, 가전제품, 또는 압축 영상 통신을 수신 및 처리할 수 있는 단말 또는 유사 유형의 디바이스, 또는 유사 유형의 디바이스를 포함할 수 있다.
통신 시스템(1000)은 기지국(1014a)과 기지국(1014b)을 또한 포함할 수 있다. 각각의 기지국(1014a, 1014b)은 적어도 하나의 WTRU(1002a, 1002b, 1002c, 1002d)와 무선으로 인터페이스 접속하여 코어 네트워크(1006), 인터넷(1010) 및/또는 네트워크(1012)와 같은 하나 이상의 통신 네트워크에 접속하도록 구성된 임의 유형의 디바이스일 수 있다. 예를 들면, 기지국(1014a, 1014b)은 기지국 트랜시버(base transceiver station; BTS), 노드-B(NB), 이벌브드 NB(eNB), 홈 NB(HNB), 홈 eNB(HeNB), 기업 NB("ENT-NB"), 기업 eNB("ENT-eNB"), 사이트 제어기, 액세스 포인트(access point; AP), 무선 라우터, 미디어 인지 네트워크 요소(media aware network element, MANE) 등일 수 있다. 비록 기지국(1014a, 1014b)이 각각 단일 요소로서 도시되어 있지만, 기지국(1014a, 1014b)은 임의 수의 상호접속된 기지국 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다.
기지국(1014a)은 RAN(1004)의 일부일 수 있고, RAN(1004)은 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 릴레이 노드 등과 같은 다른 기지국 및/또는 네트워크 요소(도시 생략됨)를 또한 포함할 수 있다. 기지국(1014a) 및/또는 기지국(1014b)은 셀(도시 생략됨)이라고도 부르는 특정의 지리적 영역 내에서 무선 신호를 송신 및/또는 수신하도록 구성될 수 있다. 셀은 복수의 셀 섹터로 세분될 수 있다. 예를 들면, 기지국(1014a)과 관련된 셀은 3개의 섹터로 나누어질 수 있다. 따라서, 일 실시형태에 있어서, 기지국(1014a)은 셀의 각 섹터마다 하나씩 3개의 트랜시버를 포함할 수 있다. 다른 실시형태에 있어서, 기지국(1014a)은 다중입력 다중출력(MIMO) 기술을 사용할 수 있고, 따라서 셀의 각 섹터마다 복수의 트랜시버를 사용할 수 있다.
기지국(1014a, 1014b)은 임의의 적당한 무선 통신 링크(예를 들면, 라디오 주파수(RF), 마이크로파, 적외선(IR), 자외선(UV), 가시광선 등)일 수 있는 무선 인터페이스(1016)를 통하여 하나 이상의 WTRU(1002a, 1002b, 1002c, 1002d)와 통신할 수 있다. 무선 인터페이스(1016)는 임의의 적당한 무선 접속 기술(radio access technology; RAT)을 이용하여 확립될 수 있다.
더 구체적으로, 위에서 언급한 것처럼, 통신 시스템(1000)은 다중 접속 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 접속 방식을 이용할 수 있다. 예를 들면, RAN(1004) 내의 기지국(1014a)과 WTRU(1002a, 1002b, 1002c)는 광대역 CDMA(WCDMA)를 이용하여 무선 인터페이스(1016)를 확립하는 범용 이동통신 시스템(UMTS) 지상 라디오 액세스(UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 접속(HSPA) 및/또는 이벌브드 HSPA(HSPA+)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 고속 다운링크 패킷 접속(HSDPA) 및/또는 고속 업링크 패킷 접속(HSUPA)을 포함할 수 있다.
다른 실시형태에 있어서, 기지국(1014a)과 WTRU(1002a, 1002b, 1002c)는 롱텀 에볼루션(LTE) 및/또는 LTE-어드반스드(LTE-A)를 이용하여 무선 인터페이스(1016)를 확립하는 이벌브드 UMTS 지상 라디오 액세스(E-UTRA)와 같은 무선 기술을 구현할 수 있다.
다른 실시형태에 있어서, 기지국(1014a)과 WTRU(1002a, 1002b, 1002c)는 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 글로벌 이동통신 시스템(GSM), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등과 같은 무선 기술을 구현할 수 있다.
도 10a의 기지국(1014b)은 예를 들면 무선 라우터, 홈 노드 B, 홈 e노드 B, 또는 액세스 포인트일 수 있고, 사업장, 홈, 자동차, 캠퍼스 등과 같은 국소 지역에서 무선 접속을 가능하게 하는 임의의 적당한 RAT를 이용할 수 있다. 일 실시형태에 있어서, 기지국(1014b)과 WTRU(1002c, 1002d)는 IEEE 802.11과 같은 무선 기술을 구현하여 무선 근거리 통신망(WLAN)을 확립할 수 있다. 다른 실시형태에 있어서, 기지국(1014b)과 WTRU(1002c, 1002d)는 IEEE 802.15와 같은 무선 기술을 구현하여 무선 개인 통신망(WPAN)을 확립할 수 있다. 또 다른 실시형태에 있어서, 기지국(1014b)과 WTRU(1002c, 1002d)는 셀룰러 기반 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 이용하여 피코셀 또는 펨토셀을 확립할 수 있다. 도 10a에 도시된 바와 같이, 기지국(1014b)은 인터넷(1010)에 직접 접속될 수 있다. 그러므로, 기지국(1014b)은 코어 네트워크(1006)를 통해 인터넷(1010)에 접속할 필요가 없다.
RAN(1004)은 코어 네트워크(1006)와 통신하고, 코어 네트워크(1006)는 하나 이상의 WTRU(1002a, 1002b, 1002c, 1002d)에게 음성, 데이터, 애플리케이션 및/또는 인터넷을 통한 음성 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성된 임의 유형의 네트워크일 수 있다. 예를 들면, 코어 네트워크(1006)는 호출 제어, 빌링(billing) 서비스, 모바일 위치 기반 서비스, 선불 통화, 인터넷 접속, 영상 분배 등을 제공할 수 있고, 및/또는 사용자 인증과 같은 고급 보안 기능을 수행할 수 있다. 비록 도 10a에 도시되어 있지 않지만, RAN(1004) 및/또는 코어 네트워크(1006)는 RAN(1004)과 동일한 RAT 또는 다른 RAT를 이용하는 다른 RAN과 직접 또는 간접 통신을 할 수 있다는 것을 이해할 것이다. 예를 들면, E-UTRA 무선 기술을 이용하여 RAN(1004)에 접속하는 것 외에, 코어 네트워크(1006)는 GSM 무선 기술을 이용하여 다른 RAN(도시 생략됨)과도 또한 통신할 수 있다.
코어 네트워크(1006)는 WTRU(1002a, 1002b, 1002c, 1002d)가 PSTN(1008), 인터넷(1010) 및/또는 기타 네트워크(1012)에 접속하게 하는 게이트웨이로서 또한 기능할 수 있다. PSTN(1008)은 재래식 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환식 전화망을 포함할 수 있다. 인터넷(1010)은 TCP/IP 인터넷 프로토콜 스위트(suite)에서 전송 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및 인터넷 프로토콜(IP)과 같은 공통의 통신 프로토콜을 이용하는 상호접속된 컴퓨터 네트워크 및 디바이스의 글로벌 시스템을 포함할 수 있다. 네트워크(1012)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 유선 또는 무선 통신 네트워크를 포함할 수 있다. 예를 들면, 네트워크(1012)는 RAN(1004)과 동일한 RAT 또는 다른 RAT를 이용하여 하나 이상의 RAN에 접속된 다른 코어 네트워크를 포함할 수 있다.
통신 시스템(1000)의 WTRU(1002a, 1002b, 1002c, 1002d)의 일부 또는 전부는 다중 모드 능력을 구비할 수 있다. 즉, WTRU(1002a, 1002b, 1002c, 1002d)는 다른 무선 링크를 통하여 다른 무선 네트워크와 통신하기 위한 복수의 트랜시버를 포함할 수 있다. 예를 들면, 도 10a에 도시된 WTRU(1002c)는 셀룰러 기반 무선 기술을 이용하는 기지국(1014a)과 통신하고, IEEE 802 무선 기술을 이용하는 기지국(1014b)과 통신하도록 구성될 수 있다.
도 10b는 예시적인 WTRU(1002)의 계통도이다. 도 10b에 도시된 바와 같이, WTRU(1002)는 프로세서(1018), 트랜시버(1020), 송수신 엘리먼트(1022), 스피커/마이크로폰(1024), 키패드(1026), 프리젠테이션 유닛(예를 들면, 디스플레이/터치패드)(1028), 비분리형 메모리(1030), 분리형 메모리(1032), 전원(1034), 글로벌 위치확인 시스템(GPS) 칩세트(1036) 및 기타 주변장치(1038)(예를 들면, 카메라 또는 다른 광학적 포착 디바이스)를 포함할 수 있다. WTRU(1002)는 실시형태의 일관성을 유지하면서 전술한 요소들의 임의의 부조합(sub-combination)을 포함할 수 있다는 것을 이해할 것이다.
프로세서(1018)는 범용 프로세서, 특수 용도 프로세서, 전통적 프로세서, 디지털 신호 프로세서(DSP), 그래픽 처리 유닛(GPU), 복수의 마이크로프로세서, DSP 코어와 연합하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 용도 지정 집적회로(ASIC), 현장 프로그램가능 게이트 어레이(FPGA) 회로, 임의의 다른 유형의 집적회로(IC), 상태 기계 등일 수 있다. 프로세서(1018)는 신호 코딩, 데이터 처리, 전력 제어, 입력/출력 처리, 및/또는 WTRU(1002)가 무선 환경에서 동작하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(1018)는 트랜시버(1020)에 결합되고, 트랜시버(1020)는 송수신 엘리먼트(1022)에 결합될 수 있다. 비록 도 10b에서는 프로세서(1018)와 트랜시버(1020)가 별도의 구성요소로서 도시되어 있지만, 프로세서(1018)와 트랜시버(1020)는 전자 패키지 또는 칩으로 함께 통합될 수 있음을 이해할 것이다.
송수신 엘리먼트(1022)는 무선 인터페이스(1016)를 통하여 기지국(예를 들면 기지국(1014a))에 신호를 송신하거나 기지국으로부터 신호를 수신하도록 구성될 수 있다. 예를 들면, 일 실시형태에 있어서, 송수신 엘리먼트(1022)는 RF 신호를 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 다른 실시형태에 있어서, 송수신 엘리먼트(1022)는 예를 들면, IR, UV 또는 가시광 신호를 송신 및/또는 수신하도록 구성된 에미터/검지기일 수 있다. 또 다른 실시형태에 있어서, 송수신 엘리먼트(1022)는 RF 신호와 광신호 둘 다를 송신 및 수신하도록 구성될 수 있다. 송수신 엘리먼트(1022)는 임의의 무선 신호 조합을 송신 및/또는 수신하도록 구성될 수 있다는 것을 이해할 것이다.
또한, 비록 송수신 엘리먼트(1022)가 도 10b에서 단일 엘리먼트로서 도시되어 있지만, WTRU(1002)는 임의 수의 송수신 엘리먼트(1022)를 포함할 수 있다. 더 구체적으로, WTRU(1002)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시형태에 있어서, WTRU(1002)는 무선 인터페이스(1016)를 통해 무선 신호를 송신 및 수신하는 2개 이상의 송수신 엘리먼트(1022)(예를 들면, 다중 안테나)를 포함할 수 있다.
트랜시버(1020)는 송수신 엘리먼트(1022)에 의해 송신할 신호들을 변조하고 송수신 엘리먼트(1022)에 의해 수신된 신호를 복조하도록 구성될 수 있다. 전술한 바와 같이, WTRU(1002)는 다중 모드 능력을 구비할 수 있다. 따라서, 트랜시버(1020)는 WTRU(1002)가 예를 들면 UTRA 및 IEEE 802.11과 같은 복수의 RAT를 통하여 통신하게 하는 복수의 트랜시버를 포함할 수 있다.
WTRU(1002)의 프로세서(1018)는 스피커/마이크로폰(1024), 키패드(1026), 및/또는 프리젠테이션 유닛(1028)(예를 들면, 액정 디스플레이(LCD) 표시 장치 또는 유기 발광 다이오드(OLED) 표시 장치)에 결합되어 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(1018)는 또한 스피커/마이크로폰(1024), 키패드(1026), 및/또는 프리젠테이션 유닛(1028)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(1018)는 비분리형 메모리(1030) 및/또는 분리형 메모리(1032)와 같은 임의 유형의 적당한 메모리로부터의 정보에 접근하고 상기 적당한 메모리에 데이터를 저장할 수 있다. 비분리형 메모리(1030)는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 하드 디스크 또는 임의의 다른 유형의 메모리 기억장치를 포함할 수 있다. 분리형 메모리(1032)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수 있다. 다른 실시형태에 있어서, 프로세서(1018)는 서버 또는 홈 컴퓨터(도시 생략됨)와 같은 WTRU(1002)에 물리적으로 위치되어 있지 않은 메모리로부터의 정보에 접근하고 그러한 메모리에 데이터를 저장할 수 있다.
프로세서(1018)는 전원(1034)으로부터 전력을 수신하고, WTRU(1002)의 각종 구성요소에 대하여 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(1034)은 WTRU(1002)에 전력을 공급하는 임의의 적당한 장치일 수 있다. 예를 들면, 전원(1034)은 하나 이상의 건전지 배터리(예를 들면, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 하이드라이드(NiMH), 리튬-이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(1018)는 WTRU(1002)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성된 GPS 칩세트(1036)에 또한 결합될 수 있다. GPS 칩세트(1036)로부터의 정보에 추가해서 또는 그 대신으로, WTRU(1002)는 기지국(예를 들면 기지국(1014a, 1014b))으로부터 무선 인터페이스(1016)를 통해 위치 정보를 수신하고, 및/또는 2개 이상의 인근 기지국으로부터 신호가 수신되는 타이밍에 기초하여 그 위치를 결정할 수 있다. WTRU(1002)는 실시형태의 일관성을 유지하면서 임의의 적당한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것을 이해할 것이다.
프로세서(1018)는 추가의 특징, 기능 및/또는 유선 또는 무선 접속을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함한 기타 주변 장치(1038)에 또한 결합될 수 있다. 예를 들면, 주변 장치(1038)는 가속도계, e-콤파스, 위성 트랜시버, 디지털 카메라(사진용 또는 영상용), 범용 직렬 버스(USB) 포트, 진동 장치, 텔레비전 트랜시버, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(FM) 라디오 장치, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.
도 10c는 일 실시형태에 따른 RAN(1004) 및 코어 네트워크(1006)의 계통도이다. 전술한 바와 같이, RAN(1004)은 UTRA 무선 기술을 이용하여 무선 인터페이스(1016)를 통해 WTRU(1002a, 1002b, 1002c)와 통신할 수 있다. RAN(1004)은 코어 네트워크(1006)와 또한 통신할 수 있다. 도 10c에 도시된 것처럼, RAN(1004)은 노드-B(1040a, 1040b, 1040c)를 포함하고, 노드-B(1040a, 1040b, 1040c)는 무선 인터페이스(1016)를 통하여 WTRU(1002a, 1002b, 1002c)와 통신하는 하나 이상의 트랜시버를 각각 포함할 수 있다. 노드-B(1040a, 1040b, 1040c)는 RAN(1004) 내의 특정 셀(도시 생략됨)과 각각 연합될 수 있다. RAN(1004)은 또한 RNC(1042a, 1042b)를 포함할 수 있다. RAN(1004)은 실시형태의 일관성을 유지하면서 임의 수의 노드-B 및 RNC를 포함할 수 있다는 것을 이해할 것이다.
도 10c에 도시된 것처럼, 노드-B(1040a, 1040b)는 RNC(1042a)와 통신할 수 있다. 또한, 노드-B(1040c)는 RNC(1042b)와 통신할 수 있다. 노드-B(1040a, 1040b, 1040c)는 Iub 인터페이스를 통해 각각의 RNC(1042a, 1042b)와 통신할 수 있다. RNC(1042a, 1042b)는 Iur 인터페이스를 통해 서로 통신할 수 있다. 각각의 RNC(1042a, 1042b)는 이들이 접속된 각각의 노드-B(1040a, 1040b, 1040c)를 제어하도록 구성될 수 있다. 또한, 각각의 RNC(1042a, 1042b)는 외부 루프 전력 제어, 부하 제어, 허가 제어, 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등과 같은 다른 기능을 실행 또는 지원하도록 구성될 수 있다.
도 10c에 도시된 코어 네트워크(1006)는 미디어 게이트웨이(MGW)(1044), 모바일 스위칭 센터(MSC)(1046), 서빙 GPRS 지원 노드(SGSN)(1048) 및/또는 게이트웨이 GPRS 지원 노드(GGSN)(1050)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(1006)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
RAN(1004)에 있는 RNC(1042a)는 IuCS 인터페이스를 통해 코어 네트워크(1006) 내의 MSC(1046)에 접속될 수 있다. MSC(1046)는 MGW(1044)에 접속될 수 있다. MSC(1046)와 MGW(1044)는 PSTN(1008)과 같은 회선 교환식 네트워크에 대한 접속을 WTRU(1002a, 1002b, 1002c)에게 제공하여 WTRU(1002a, 1002b, 1002c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다.
RAN(1004)에 있는 RNC(1042a)는 IuPS 인터페이스를 통해 코어 네트워크(1006) 내의 SGSN(1048)에 또한 접속될 수 있다. SGSN(1048)은 GGSN(1050)에 접속될 수 있다. SGSN(1048)과 GGSN(1050)은 인터넷(1010)과 같은 패킷 교환식 네트워크에 대한 접속을 WTRU(1002a, 1002b, 1002c)에게 제공하여 WTRU(1002a, 1002b, 1002c)와 IP-인에이블 장치 간의 통신을 가능하게 한다.
전술한 바와 같이, 코어 네트워크(1006)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(1012)에 또한 접속될 수 있다.
도 10d는 다른 실시형태에 따른 RAN(1004) 및 코어 네트워크(1006)의 계통도이다. 전술한 바와 같이, RAN(1004)은 E-UTRA 무선 기술을 이용하여 무선 인터페이스(1016)를 통해 WTRU(1002a, 1002b, 1002c)와 통신할 수 있다. RAN(1004)은 코어 네트워크(1006)와 또한 통신할 수 있다.
RAN(1004)이 e노드-B(1060a, 1060b, 1060c)를 포함하고 있지만, RAN(1004)은 실시형태의 일관성을 유지하면서 임의 수의 e노드-B를 포함할 수 있다는 것을 이해할 것이다. e노드-B(1060a, 1060b, 1060c)는 무선 인터페이스(1016)를 통하여 WTRU(1002a, 1002b, 1002c)와 통신하는 하나 이상의 트랜시버를 각각 포함할 수 있다. 일 실시형태에 있어서, e노드-B(1060a, 1060b, 1060c)는 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 e노드-B(1060a)는 복수의 안테나를 사용하여 WTRU(1002a)에게 무선 신호를 송신하고 WTRU(1002a)로부터 무선 신호를 수신할 수 있다.
각각의 e노드-B(1060a, 1060b, 1060c)는 특정 셀(도시 생략됨)과 연합될 수 있고, 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서 사용자의 스케줄링 등을 취급하도록 구성될 수 있다. 도 10d에 도시된 바와 같이, e노드-B(1060a, 1060b, 1060c)는 X2 인터페이스를 통해 서로 통신할 수 있다.
도 10d에 도시된 코어 네트워크(1006)는 이동성 관리 게이트웨이(MME)(1062), 서빙 게이트웨이(SGW)(1064) 및 패킷 데이터 네트워크(PDN) 게이트웨이(PGW)(1066)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(1006)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MME(1062)는 S1 인터페이스를 통해 RAN(1004) 내의 각각의 e노드-B(1060a, 1060b, 1060c)에 접속될 수 있고, 제어 노드로서 기능할 수 있다. 예를 들면, MME(1062)는 WTRU(1002a, 1002b, 1002c)의 사용자를 인증하고, 베어러를 활성화/비활성화하고, WTRU(1002a, 1002b, 1002c)의 초기 부착 중에 특정의 SGW를 선택하는 등의 임무를 수행할 수 있다. MME(1062)는 또한 GSM 또는 WCDMA와 같은 다른 무선 기술을 이용하는 다른 RAN(도시 생략됨)과 RAN(1004) 간의 전환을 위한 제어 평면 기능(control plane function)을 제공할 수 있다.
SGW(1064)는 RAN(1004) 내의 각각의 e노드-B(1060a, 1060b, 1060c)에 S1 인터페이스를 통해 접속될 수 있다. SGW(1064)는 일반적으로 WTRU(1002a, 1002b, 1002c)로/로부터 사용자 데이터 패킷을 라우트 및 회송할 수 있다. SGW(1064)는 또한 e노드-B 간의 핸드오버 중에 사용자 평면(user plane)을 앵커링(anchoring)하는 것, 다운링크 데이터가 WTRU(1002a, 1002b, 1002c)에 이용할 수 있을 때 페이징을 트리거하는 것, WTRU(1002a, 1002b, 1002c)의 콘텍스트를 관리 및 저장하는 것 등의 다른 기능을 수행할 수 있다.
SGW(1064)는 PGW(1066)에 또한 접속될 수 있고, PGW(1066)는 WTRU(1002a, 1002b, 1002c)와 IP-인에이블 장치 간의 통신을 돕도록 인터넷(1010) 등의 패킷 교환식 네트워크에 대한 접속을 WTRU(1002a, 1002b, 1002c)에게 제공할 수 있다.
코어 네트워크(1006)는 다른 네트워크와의 통신을 가능하게 한다. 예를 들면, 코어 네트워크(1006)는 WTRU(1002a, 1002b, 1002c)와 전통적인 지상선(land-line) 통신 장치 간의 통신이 가능하도록, PSTN(1008) 등의 회선 교환식 네트워크에 대한 접속을 WTRU(1002a, 1002b, 1002c)에게 제공할 수 있다. 예를 들면, 코어 네트워크(1006)는 코어 네트워크(1006)와 PSTN(1008) 간의 인터페이스로서 기능하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나 그러한 IP 게이트웨이와 통신할 수 있다. 또한, 코어 네트워크(1006)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(1012)에 대한 접속을 WTRU(1002a, 1002b, 1002c)에게 제공할 수 있다.
도 10e는 다른 실시형태에 따른 RAN(1004) 및 코어 네트워크(1006)의 계통도이다. RAN(1004)은 IEEE 802.16 무선 기술을 이용하여 무선 인터페이스(1016)를 통해 WTRU(1002a, 1002b, 1002c)와 통신하는 접속 서비스 네트워크(ASN)일 수 있다. 뒤에서 더 자세히 설명하는 것처럼, WTRU(1002a, 1002b, 1002c), RAN(1004) 및 코어 네트워크(1006)의 다른 기능 엔티티들 간의 통신 링크는 기준점(reference point)으로서 정의될 수 있다.
도 10e에 도시된 것처럼, RAN(1004)이 기지국(1070a, 1070b, 1070c)과 ASN 게이트웨이(1072)를 포함하고 있지만, RAN(1004)은 실시형태의 일관성을 유지하면서 임의 수의 기지국 및 ASN 게이트웨이를 포함할 수 있다는 것을 이해할 것이다. 기지국(1070a, 1070b, 1070c)은 RAN(1004) 내의 특정 셀(도시 생략됨)과 각각 연합될 수 있고, 무선 인터페이스(1016)를 통하여 WTRU(1002a, 1002b, 1002c)와 통신하는 하나 이상의 트랜시버를 각각 포함할 수 있다. 일 실시형태에 있어서, 기지국(1070a, 1070b, 1070c)은 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 기지국(1070a)은 복수의 안테나를 사용하여 WTRU(1002a)에게 무선 신호를 송신하고 WTRU(1002a)로부터 무선 신호를 수신할 수 있다. 기지국(1070a, 1070b, 1070c)은 핸드오프 트리거링, 터널 확립, 무선 자원 관리, 트래픽 분류, 서비스 품질(QoS) 정책 강화 등과 같은 이동성 관리 기능을 또한 제공할 수 있다. ASN 게이트웨이(1072)는 트래픽 집성점으로서 기능할 수 있고, 페이징, 가입자 프로필의 캐싱, 코어 네트워크(1006)로의 라우팅 등의 임무를 수행할 수 있다.
WTRU(1002a, 1002b, 1002c)와 RAN(1004) 간의 무선 인터페이스(1016)는 IEEE 802.16 사양을 구현하는 R1 기준점으로서 규정될 수 있다. 또한, 각각의 WTRU(1002a, 1002b, 1002c)는 코어 네트워크(1006)와 논리 인터페이스(도시 생략됨)를 확립할 수 있다. WTRU(1002a, 1002b, 1002c)와 코어 네트워크(1006) 간의 논리 인터페이스는 R2 기준점으로서 규정될 수 있고, 이것은 인증(authentication), 권한부여(authorization), IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수 있다.
각각의 기지국(1070a, 1070b, 1070c)들 간의 통신 링크는 WTRU 핸드오버 및 기지국들 간의 데이터 전송을 가능하게 하는 프로토콜을 포함한 R8 기준점으로서 규정될 수 있다. 기지국(1070a, 1070b, 1070c)과 ASN 게이트웨이(1072) 간의 통신 링크는 R6 기준점으로서 규정될 수 있다. R6 기준점은 각각의 WTRU(1002a, 1002b, 1002c)와 연관된 이동성 이벤트에 기초하여 이동성 관리를 가능하게 하는 프로토콜을 포함할 수 있다.
도 10e에 도시된 것처럼, RAN(1004)은 코어 네트워크(1006)에 접속될 수 있다. RAN(1004)과 코어 네트워크(1006) 간의 통신 링크는 예를 들면 데이터 전송 및 이동성 관리 능력을 가능하게 하는 프로토콜을 포함한 R3 기준점으로서 규정될 수 있다. 코어 네트워크(1006)는 모바일 IP 홈 에이전트(MIP-HA)(1074), 인증, 권한부여, 계정(AAA) 서버(1076), 및 게이트웨이(1078)를 포함할 수 있다. 비록 전술한 요소들이 각각 코어 네트워크(1006)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MIP-HA(1074)는 IP 어드레스 관리의 임무를 가질 수 있고, WTRU(1002a, 1002b, 1002c)가 다른 ASN 및/또는 다른 코어 네트워크들 사이에서 로밍하게 할 수 있다. MIP-HA(1074)는 인터넷(1010)과 같은 패킷 교환식 네트워크에 대한 접속을 WTRU(1002a, 1002b, 1002c)에게 제공하여 WTRU(1002a, 1002b, 1002c)와 IP-인에이블 장치 간의 통신을 가능하게 한다. AAA 서버(1076)는 사용자 인증 및 사용자 서비스 지원의 임무를 가질 수 있다. 게이트웨이(1078)는 다른 네트워크들과의 상호연동을 가능하게 한다. 예를 들면, 게이트웨이(1078)는 PSTN(1008)과 같은 회선 교환식 네트워크에 대한 접속을 WTRU(1002a, 1002b, 1002c)에게 제공하여 WTRU(1002a, 1002b, 1002c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다. 또한, 게이트웨이(1078)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함한 네트워크(1012)에 대한 접속을 WTRU(1002a, 1002b, 1002c)에게 제공할 수 있다.
비록 도 10e에는 도시되지 않았지만, RAN(1004)은 다른 ASN에 접속될 수 있고 코어 네트워크(1006)는 다른 코어 네트워크에 접속될 수 있다는 것을 이해할 것이다. RAN(1004)과 다른 ASN 간의 통신 링크는 R4 기준점으로서 규정될 수 있고, R4 기준점은 RAN(1004)과 다른 ASN 사이에서 WTRU(1002a, 1002b, 1002c)의 이동성을 조정하는 프로토콜을 포함할 수 있다. 코어 네트워크(1006)와 다른 코어 네트워크 간의 통신 링크는 R5 기준점으로서 규정될 수 있고, R5 기준점은 홈 코어 네트워크와 방문 코어 네트워크 간의 상호연동을 가능하게 하는 프로토콜을 포함할 수 있다.
현실 세계 물체(예를 들면, 부호들) 및/또는 (예를 들면, 증강 현실 프리젠테이션 및/또는 사용자 인터페이스에 의해) 현실 세계 물체를 포함한 현실 세계 장면과 관련하여 증강 현실과 관련된 각종의 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품이 제공 및/또는 이용될 수 있다. 그러한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 현실 세계 장소 및/또는 (예를 들면, 용어 현실 세계 부호 대신에 용어 현실 세계 장소를 사용함으로써) 현실 세계 장소를 포함한 현실 세계 장면과 관련하여 증강 현실을 다루도록 수정될 수 있다.
예를 들면, 여기에서 제공된 실시예들 중에서, 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품은 디바이스를 통해(예를 들면, 프리젠테이션 유닛을 이용해서 또는 프리젠테이션 유닛을 통하여) 증강 현실을 다루는 방법을 포함할 수 있다. 각종 실시예에서, 방법은 (예를 들면, 내비게이트되는 및/또는 관통되는 루트를 따르는) 현실 세계 장소를 식별하는 단계와; 현실 세계 장소를 포함하는 현실 세계 뷰를 증강함으로써 현실 세계 장소의 출현("현실 세계 장소 출현")을 적응시키는 단계 중의 임의의 단계를 포함할 수 있다.
각종 실시예에서, 상기 현실 세계 장소 출현을 적응시키는 단계는 현실 세계 장소 출현을 강조하는(emphasizing) 단계 또는 강조를 줄이는(de-emphasizing) 단계를 포함할 수 있다. 현실 세계 장소 출현을 강조하는 단계 및 강조를 줄이는 단계는 현실 세계 장소 및/또는 현실 세계 장면(예를 들면, 현실 세계 장소에 이웃하는 부분)과 연관된, 또는 다른 방식으로 연관성을 가진 하나 이상의 현실 세계 뷰의 부분을 증강함으로써 실시될 수 있다. 현실 세계 장소 출현을 강조하는 단계는 현실 세계 장소 및/또는 현실 세계 장소의 일부에 대하여 주의를 끈다. 현실 세계 장소 출현의 강조를 줄이는 단계는 현실 세계 장소를 불명료하게 한다(예를 들면, 현실 세계 장소를 눈에 띄지 않게 하거나 뚜렷하지 않게 한다).
또한, 제공된 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품을 수정함으로써 여기에서 제공되는 실시예들 중에는 프리젠테이션 유닛을 통해 증강 현실을 다루는 방법을 포함하고, 이 방법은, 각종 실시형태에 있어서, (예를 들면, 내비게이트되는 및/또는 관통되는 루트를 따르는) 현실 세계 장소를 식별하는 단계와; 현실 세계 장소가 관련 있는 것인지 및/또는 친숙한 것인지 결정하는 단계("관련성/친숙도 결정")와; 적어도 부분적으로 상기 관련성/친숙도 결정에 기초하여 현실 세계 장소를 포함하는 현실 세계 뷰를 증강함으로써 현실 세계 장소 출현을 적응시키는 단계 중의 임의의 단계를 포함할 수 있다.
실시예에 있어서, 상기 현실 세계 장소 출현을 적응시키는 단계는 관련된 및/또는 친숙한(관련된 및/또는 친숙한 것으로 결정된) 현실 세계 장소에 기초를 두거나 좌우될 수 있다. 다른 각종 실시예에서, 상기 현실 세계 장소 출현을 적응시키는 단계는 관련되지 않은 및/또는 친숙하지 않은(관련되지 않은 및/또는 친숙하지 않은 것으로 결정된) 현실 세계 장소에 기초를 두거나 좌우될 수 있다. 상기 현실 세계 장소 출현을 적응시키는 각종 방법 중에는 현실 세계 장소 출현을 강조하는 것 또는 강조를 줄이는 것이 있다. 예를 들면, 가능한 실시형태 중에서 현실 세계 장소 출현은 (i) 관련 있는 현실 세계 장소에 기초 및/또는 좌우되어 강조가 줄여지거나, 및/또는 (ii) 관련 없는 현실 세계 장소에 기초 및/또는 좌우되어 강조될 수 있다.
각종 특징 및 요소들이 특정 실시형태와 관련하여 위에서 제공되었지만, 당업자라면 각각의 특징 또는 요소는 단독으로 사용될 수도 있고 다른 특징 및 요소들과 함께 임의의 조합으로 사용될 수도 있다는 것을 이해할 것이다. 본 발명은 각종 양태를 예로서 나타내는 본 명세서에서 설명한 특정 실시형태로 제한되지 않는다. 당업자에게는 명백한 바와 같이, 발명의 정신 및 범위로부터 벗어나지 않고 많은 수정 및 변형이 이루어질 수 있다. 본 명세서의 설명에서 사용된 요소, 동작 또는 명령어는 명백히 그렇다고 제시하지 않는 한 발명에 임계적인 것 또는 본질적인 것으로 해석되지 않는다. 여기에서 설명한 것 외에 발명의 범위 내에 있는 기능적으로 등가인 방법 및 장치들이 전술한 설명에 비추어 당업자에게는 명백할 것이다. 그러한 수정 및 변형은 첨부된 특허 청구범위 내에 있는 것으로 의도된다. 본 발명은 특허 청구범위에 의해 부여되는 완전한 균등물 범위와 함께, 첨부된 특허 청구범위에 의해서만 제한된다. 본 발명은 특정의 방법 또는 시스템으로 제한되지 않는다는 것을 이해하여야 한다.
또한, 여기에서 설명한 방법들은 컴퓨터 또는 프로세서에 의해 실행되는 컴퓨터 판독가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 매체의 예로는 전자 신호(유선 또는 무선 접속을 통해 전송된 것) 및/또는 컴퓨터 판독가능 기억 매체가 있다. 컴퓨터 판독가능 기억 매체의 비제한적인 예로는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 소자, 내부 하드 디스크 및 착탈식 디스크와 같은 자기 매체, 자기 광학 매체, 및 CD-ROM 디스크 및/또는 디지털 다기능 디스크(DVD)와 같은 광학 매체가 있다. 프로세서는 소프트웨어와 연합해서 WTRU, UE, 단말기, 기지국, RNC 또는 임의의 호스트 컴퓨터에서 사용되는 라디오 주파수 트랜시버를 구현하기 위해 사용될 수 있다.

Claims (20)

  1. 사용자의 뷰(view) 내의 현실 세계 장면을 증강하는 디바이스에 있어서,
    프로세서를 포함하고, 상기 프로세서는,
    상기 사용자가 상기 디바이스를 통해 상기 현실 세계 장면을 인식할 수 있게 하고,
    상기 사용자의 위치를 결정하고,
    상기 결정된 위치에 기초하여 제1 이미지를 결정하고,
    상기 사용자가 상기 제1 이미지와 연관된 미디어와 상호작용한 인스턴스(instance)의 양에 기초하여, 상기 사용자가 상기 제1 이미지와 얼마나 친숙한지에 대한 친숙도 점수를 결정하고,
    상기 친숙도 점수가 역치(threshold)보다 큰지 여부를 결정하고,
    상기 결정된 위치 및 상기 친숙도 점수가 상기 역치보다 큰 것에 기초하여, 상기 현실 세계 장면의 적어도 일부 위에 상기 제1 이미지를 오버레이(overlay)하도록 결정하고,
    상기 디바이스 상에, 상기 현실 세계 장면의 적어도 일부 위에 오버레이된 상기 제1 이미지를 디스플레이하도록 구성된 것인 디바이스.
  2. 제1항에 있어서, 상기 친숙도 점수는 또한, 상기 사용자가 상기 제1 이미지를 본 횟수 또는 경우의 수, 상기 제1 이미지를 자신의 디바이스로 포착(capture)한 사람과 상기 사용자 간의 사회적 관계, 상기 사용자가 상기 제1 이미지와 상호작용한 횟수, 또는 상기 사용자가 상기 제1 이미지를 본 후 상기 제1 이미지와 연관된 미디어와 상호작용한 횟수 중 적어도 하나에 기초하는 것인 디바이스.
  3. 제1항에 있어서, 상기 친숙도 점수는 또한, 상기 사용자가 상기 제1 이미지를 보는데 소비한 시간량, 상기 사용자가 상기 제1 이미지와 연관된 미디어로 소비한 시간량, 또는 상기 사용자가 상기 제1 이미지를 본 후 상기 제1 이미지와 연관된 미디어로 소비한 시간량 중 하나 이상에 기초하는 것인 디바이스.
  4. 제1항에 있어서, 상기 친숙도 점수는 또한, 하나 이상의 환경 조건에 기초하는 것인 디바이스.
  5. 제4항에 있어서, 상기 하나 이상의 환경 조건은, 채광, 날씨, 하루 중의 시간 및 계절 중 하나 이상을 포함하는 것인 디바이스.
  6. 삭제
  7. 제1항에 있어서, 상기 프로세서는 또한, 상기 제1 이미지와의 사용자 상호작용의 양 및 상기 사용자가 상기 제1 이미지와 연관된 미디어와 상호작용한 인스턴스의 양에 가중치를 지정(assign)하는 것에 기초하여, 상기 친숙도 점수를 결정하도록 구성되는 것인 디바이스.
  8. 제1항에 있어서, 상기 친숙도 점수는 또한, 상기 제1 이미지의 하나 이상의 품질에 기초하는 것인 디바이스.
  9. 내비게이트할 루트에 대한 방향 또는 내비게이션 명령을 따르는 사용자의 뷰 내의 현실 세계 장면을 증강하는 디바이스에 있어서,
    프로세서를 포함하고, 상기 프로세서는,
    상기 사용자가 상기 루트에 대한 방향 또는 내비게이션 명령을 따를 때, 상기 사용자가 상기 디바이스를 통해 상기 현실 세계 장면을 인식할 수 있게 하고,
    상기 사용자의 위치를 결정하고,
    상기 결정된 위치에 기초하여 제1 이미지를 결정하고,
    상기 사용자가 상기 제1 이미지와 연관된 미디어와 상호작용한 인스턴스의 양에 기초하여, 상기 사용자가 상기 제1 이미지와 얼마나 친숙한지에 대한 친숙도 점수를 결정하고,
    상기 친숙도 점수가 역치보다 큰지 여부를 결정하고,
    상기 결정된 위치 및 상기 친숙도 점수가 상기 역치보다 큰 것에 기초하여, 상기 현실 세계 장면의 적어도 일부 위에 상기 제1 이미지를 오버레이하도록 결정하고,
    상기 디바이스 상에, 상기 현실 세계 장면의 적어도 일부 위에 오버레이된 상기 제1 이미지를 디스플레이하도록 구성된 것인 디바이스.
  10. 제1항에 있어서, 상기 프로세서는 또한 상기 결정된 위치에 기초하여 상기 현실 세계 장면 내의 현실 세계 장소를 결정하도록 구성되며, 상기 제1 이미지는 상기 현실 세계 장소의 이미지이고, 상기 현실 세계 장면의 상기 일부는 적어도 상기 현실 세계 장소의 일부인 것인 디바이스.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020217005166A 2014-01-24 2015-01-24 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품 KR102421862B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461931225P 2014-01-24 2014-01-24
US61/931,225 2014-01-24
PCT/US2015/012797 WO2015112926A1 (en) 2014-01-24 2015-01-24 Methods, apparatus, systems, devices, and computer program products for augmenting reality in connection with the real world places
KR1020187002932A KR20180014246A (ko) 2014-01-24 2015-01-24 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187002932A Division KR20180014246A (ko) 2014-01-24 2015-01-24 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품

Publications (2)

Publication Number Publication Date
KR20210024204A KR20210024204A (ko) 2021-03-04
KR102421862B1 true KR102421862B1 (ko) 2022-07-18

Family

ID=52469920

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217005166A KR102421862B1 (ko) 2014-01-24 2015-01-24 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
KR1020187002932A KR20180014246A (ko) 2014-01-24 2015-01-24 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
KR1020167023231A KR101826290B1 (ko) 2014-01-24 2015-01-24 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020187002932A KR20180014246A (ko) 2014-01-24 2015-01-24 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
KR1020167023231A KR101826290B1 (ko) 2014-01-24 2015-01-24 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품

Country Status (5)

Country Link
US (1) US11854130B2 (ko)
EP (1) EP3097474A1 (ko)
JP (2) JP2017508200A (ko)
KR (3) KR102421862B1 (ko)
WO (1) WO2015112926A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102494832B1 (ko) * 2016-10-17 2023-02-02 엘지전자 주식회사 가전 기기의 제빙 상태를 표시하는 방법을 수행하는 이동 단말기 및 그를 수행하는 프로그램이 기록된 기록 매체
KR102494566B1 (ko) * 2016-10-24 2023-02-02 엘지전자 주식회사 실내 공간의 채광을 표시하는 이동 단말기 및 그의 제어 방법
US10515390B2 (en) * 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
US10732989B2 (en) * 2017-02-09 2020-08-04 Yanir NULMAN Method for managing data, imaging, and information computing in smart devices
US10796408B2 (en) * 2018-08-02 2020-10-06 International Business Machines Corporation Variable resolution rendering of objects based on user familiarity
JP2021184115A (ja) 2018-08-28 2021-12-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003015626A (ja) 2001-07-04 2003-01-17 Konica Corp 画像表示方法及び画像表示装置
JP3732168B2 (ja) * 2001-12-18 2006-01-05 株式会社ソニー・コンピュータエンタテインメント 仮想世界におけるオブジェクトの表示装置、表示システム及び表示方法、ならびにそれらを利用可能な仮想世界における地価及び広告料の設定方法
US6901411B2 (en) * 2002-02-11 2005-05-31 Microsoft Corporation Statistical bigram correlation model for image retrieval
JP2003242178A (ja) * 2002-02-20 2003-08-29 Fuji Photo Film Co Ltd フォルダ・アイコン表示制御装置
US7082573B2 (en) * 2003-07-30 2006-07-25 America Online, Inc. Method and system for managing digital assets
US7395260B2 (en) * 2004-08-04 2008-07-01 International Business Machines Corporation Method for providing graphical representations of search results in multiple related histograms
US7738684B2 (en) * 2004-11-24 2010-06-15 General Electric Company System and method for displaying images on a PACS workstation based on level of significance
JP2006259788A (ja) 2005-03-15 2006-09-28 Seiko Epson Corp 画像出力装置
US8732175B2 (en) * 2005-04-21 2014-05-20 Yahoo! Inc. Interestingness ranking of media objects
US20070255754A1 (en) * 2006-04-28 2007-11-01 James Gheel Recording, generation, storage and visual presentation of user activity metadata for web page documents
US20080046175A1 (en) * 2006-07-31 2008-02-21 Nissan Technical Center North America, Inc. Vehicle navigation system
US8144920B2 (en) * 2007-03-15 2012-03-27 Microsoft Corporation Automated location estimation using image analysis
JP5101989B2 (ja) 2007-03-30 2012-12-19 株式会社デンソーアイティーラボラトリ 情報提供支援方法及び情報提供支援装置
CN101796865B (zh) * 2007-07-13 2013-05-01 北方电讯网络有限公司 多跳无线通信环境中的服务质量控制
US20090237328A1 (en) 2008-03-20 2009-09-24 Motorola, Inc. Mobile virtual and augmented reality system
JP5223768B2 (ja) 2009-04-24 2013-06-26 株式会社デンソー 車両用表示装置
JP2011022662A (ja) 2009-07-13 2011-02-03 Sony Ericsson Mobile Communications Ab 携帯電話端末及び情報処理システム
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
JP5616622B2 (ja) 2009-12-18 2014-10-29 アプリックスＩｐホールディングス株式会社 拡張現実感提供方法及び拡張現実感提供システム
JP5521621B2 (ja) * 2010-02-19 2014-06-18 日本電気株式会社 携帯端末、拡張現実システム、及び拡張現実情報表示方法
JP4995934B2 (ja) 2010-03-26 2012-08-08 株式会社コナミデジタルエンタテインメント 拡張現実システム、マーカ端末、撮影端末、拡張現実方法、ならびに、情報記録媒体
US9122707B2 (en) 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
US8743145B1 (en) * 2010-08-26 2014-06-03 Amazon Technologies, Inc. Visual overlay for augmenting reality
US8890896B1 (en) * 2010-11-02 2014-11-18 Google Inc. Image recognition in an augmented reality application
KR101726227B1 (ko) * 2010-11-08 2017-04-13 엘지전자 주식회사 증강현실을 이용한 위치 기반 서비스 제공 방법 및 그 단말기
KR101338818B1 (ko) * 2010-11-29 2013-12-06 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
JP5674441B2 (ja) 2010-12-02 2015-02-25 新日鉄住金ソリューションズ株式会社 情報処理システム、その制御方法及びプログラム
US8922657B2 (en) * 2011-03-08 2014-12-30 Bank Of America Corporation Real-time video image analysis for providing security
KR20130000160A (ko) * 2011-06-22 2013-01-02 광주과학기술원 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법
JP5967794B2 (ja) 2011-10-06 2016-08-10 Kddi株式会社 閲覧者と被写体人物との関係に応じて表示サイズを決定する画面出力装置、プログラム及び方法
US20130110666A1 (en) 2011-10-28 2013-05-02 Adidas Ag Interactive retail system
JP2013109469A (ja) 2011-11-18 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、方法、及びプログラム
US9230367B2 (en) 2011-12-13 2016-01-05 Here Global B.V. Augmented reality personalization
US20150153933A1 (en) * 2012-03-16 2015-06-04 Google Inc. Navigating Discrete Photos and Panoramas
JP2013217808A (ja) 2012-04-10 2013-10-24 Alpine Electronics Inc 車載機器
US9066200B1 (en) * 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
US20130339868A1 (en) * 2012-05-30 2013-12-19 Hearts On Fire Company, Llc Social network
US20140002643A1 (en) * 2012-06-27 2014-01-02 International Business Machines Corporation Presentation of augmented reality images on mobile computing devices
WO2014098033A1 (ja) 2012-12-17 2014-06-26 Iwata Haruyuki 携帯型移動支援装置
US20140247281A1 (en) * 2013-03-03 2014-09-04 Geovector Corp. Dynamic Augmented Reality Vision Systems
JP2014232922A (ja) 2013-05-28 2014-12-11 日本電信電話株式会社 映像通信装置、プログラム及び方法

Also Published As

Publication number Publication date
US11854130B2 (en) 2023-12-26
WO2015112926A1 (en) 2015-07-30
JP2017508200A (ja) 2017-03-23
KR20160114114A (ko) 2016-10-04
JP6823035B2 (ja) 2021-01-27
US20170011538A1 (en) 2017-01-12
EP3097474A1 (en) 2016-11-30
KR20210024204A (ko) 2021-03-04
JP2019067418A (ja) 2019-04-25
KR20180014246A (ko) 2018-02-07
KR101826290B1 (ko) 2018-02-06

Similar Documents

Publication Publication Date Title
KR102421862B1 (ko) 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
US20220092308A1 (en) Gaze-driven augmented reality
KR101873127B1 (ko) 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품
US10165179B2 (en) Method, system, and computer program product for gamifying the process of obtaining panoramic images
US9723203B1 (en) Method, system, and computer program product for providing a target user interface for capturing panoramic images
JP5869140B2 (ja) 無線通信デバイスのためのハンズ・フリー拡張現実感
US8963957B2 (en) Systems and methods for an augmented reality platform
US9619138B2 (en) Method and apparatus for conveying location based images based on a field-of-view
US11166050B2 (en) Methods, systems, and devices for identifying viewed action of a live event and adjusting a group of resources to augment presentation of the action of the live event
WO2015077766A1 (en) Systems and methods for providing augmenting reality information associated with signage
US20160379094A1 (en) Method and apparatus for providing classification of quality characteristics of images
US20170322017A1 (en) Information processing device, information processing method, and program
US20160255322A1 (en) User adaptive 3d video rendering and delivery
EP3427233B1 (en) Method and apparatus for providing augmented reality services
US20210027483A1 (en) Collaborative visual enhancement devices
US20170132843A1 (en) A Method and Technical Equipment for Determining a Pose of a Device
US9596404B2 (en) Method and apparatus for generating a media capture request using camera pose information
TW201621274A (zh) 雲端影像定位導航方法與系統

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant