KR20140102232A - 저장된 콘텐츠 및 ar 통신의 로컬 센서 증강 - Google Patents

Abstract

로컬 센서 및 AR 통신을 갖는 저장된 콘텐츠의 증강이 설명된다. 일 예에서, 방법은 로컬 디바이스의 로컬 센서로부터 위치에 관한 데이터를 수집하는 단계, 원격 이미지 저장부로부터의 기록 보관 이미지를 로컬 디바이스에 수신하는 단계, 수집된 데이터를 사용하여 기록 보관 이미지를 증강하는 단계, 및 로컬 디바이스 상에 증강된 기록 보관 이미지를 표시하는 단계를 포함한다.

Description

저장된 콘텐츠 및 AR 통신의 로컬 센서 증강{LOCAL SENSOR AUGMENTATION OF STORED CONTENT AND AR COMMUNICATION}

모바일 증강 현실(Mobile Augmented Reality: MAR)은 현존하는 맵에 게임을 적용하는데 사용될 수 있는 기술이다. MAR에서, 맵 또는 위성 이미지가 플레잉 필드로서 사용될 수 있고, 다른 플레이어, 장애물, 타겟 및 상대자가 맵에 추가된다. 네비게이션 디바이스 및 애플리케이션이 또한 심벌 또는 아이콘을 사용하여 맵 상에 사용자의 위치를 나타낸다. 맵 상의 특정 위치에 숨김장소(cache) 또는 단서를 나타내는 지오캐싱(geocaching) 및 보물 찾기 게임이 또한 개발되어 왔다.

이들 기술은 모두 원격 맵핑, 로케이팅 또는 이미징 서비스로부터 검색된 맵을 사용한다. 몇몇 경우에, 맵은 사진 촬영되거나 도표로 나타낸 실제 장소를 나타내고, 반면에 다른 경우에 맵은 허구 장소의 맵일 수 있다. 저장된 맵은 현재가 아닐 수도 있고, 현재 상태를 반영하지 않을 수도 있다. 이는 특히 맵 상에 나타낸 위치에 있는 사용자에 대해, 증강 현실 제시를 비현실적이게 할 수 있다.

본 발명의 실시예는 유사한 도면 부호가 유사한 요소를 나타내고 있는 첨부 도면에 한정으로서가 아니라, 예로서 도시되어 있다.
도 1은 본 발명의 실시예에 따른 AR 표현을 위해 적합한 원격 이미지 저장부로부터 실제 장면의 다이어그램이다.
도 2는 본 발명의 실시예에 따른 수신된 이미지를 증강하는 실제 물체를 도시하는 도 1의 실제 장면의 다이어그램이다.
도 3은 본 발명의 실시예에 따른 AR 기술에 의해 향상된 실제 물체를 도시하는 도 1의 실제 장면의 다이어그램이다.
도 4는 본 발명의 실시예에 따른 사용자에 의해 제어된 가상 물체를 도시하는 도 1의 실제 장면의 다이어그램이다.
도 5는 본 발명의 실시예에 따른 사용자에 의해 제어된 가상 물체 및 사용자의 뷰를 도시하는 도 4의 실제 장면의 다이어그램이다.
도 6은 본 발명의 실시예에 따른 가상 물체를 갖는 기록 보관 이미지(archival image)를 증강하는 프로세스 흐름도이다.
도 7a는 본 발명의 다른 실시예에 따른 가상 물체로 증강된 원격 이미지 저장부로부터 실제 장면의 다이어그램이다.
도 7b는 본 발명의 다른 실시예에 따른 가상 물체 및 다른 사용자의 아바타로 증강된 원격 이미지 저장부로부터 실제 장면의 다이어그램이다.
도 8은 본 발명의 실시예에 따른 본 발명의 프로세스를 구현하기 위해 적합한 컴퓨터 시스템의 블록 다이어그램이다.
도 9는 본 발명의 실시예에 따른 본 발명의 프로세스를 구현하기 위해 적합한 도 8의 컴퓨터 시스템의 대안적인 뷰의 블록 다이어그램이다.

휴대폰 및 휴대용 미디어 플레이어와 같은 휴대용 디바이스는 주위 환경에 대한 정보를 수집하는데 사용될 수 있는 다수의 상이한 유형의 센서를 제공한다. 현재 이들 센서는 포지셔닝 시스템 위성 수신기, 카메라, 시계 및 나침반을 포함하고, 부가의 센서들이 머지 않아 추가될 수도 있다. 이들 센서는 디바이스가 환경에 대한 상황 인식을 갖게 한다. 디바이스는 또한 사용자와 통신하는 다른 사용자의 날씨 상태, 운송 스케쥴 및 존재를 포함하는 다른 로컬 정보에 액세스하는 것을 가능하게 할 수도 있다.

로컬 디바이스로부터의 이 데이터는 이전에 생성되었던 맵 또는 위성 이미지 상에 업데이트된 표현을 행하는데 사용될 수 있다. 실제 맵 자체는 현재 상태를 반영하도록 변경될 수 있다.

일 예에서, 위성 이미지를 갖는 MAR 게임은 사용자들이 자기 자신 및 게임을 플레이할 때 나타나는 것과 동일한 방식으로 위성 이미지 상에 표현된 이들의 로컬 환경을 보게 함으로써 더 몰입형이 된다. 위성 이미지 이외의 저장된 이미지를 갖는 다른 게임은 또한 더 몰입형이 될 수도 있다.

위성 이미지와 같은 저장된 이미지 또는 기록 보관 이미지 또는 다른 위치로부터 유도된 다른 저장된 데이터는 현재 보이는 이미지의 새로운 버전을 생성하기 위해 로컬 센서 데이터로 증강될 수도 있다. 사용될 수 있는 다양한 증강이 존재한다. 그 위치 또는 이동 차량에 실제로 있는 사람이 예를 들어 표시될 수도 있다. 이들 사람 및 물건들의 뷰는 상이한 관점, 기록 보관 이미지의 관점으로부터 이들을 표시하도록 센서 버전으로부터 수정될 수도 있다.

일 예에서, 예를 들어 Google Earth^TM로부터의 위성 이미지가 사용자의 GPS(Global Positioning System: 글로벌 포지셔닝 시스템) 위치에 기초하여 다운로드될 수도 있다. 다운로드된 이미지는 이어서 사용자의 스마트폰으로 수집된 센서 데이터로 변환될 수도 있다. 위성 이미지 및 로컬 센서 데이터는 사용자의 전화기에 표시되는 게임 내에 실제 또는 양식화된 장면을 생성하도록 함께 모아질 수도 있다. 전화기의 카메라는 다른 사람들, 이들의 의복의 색상, 조명, 구름 및 가까이에 있는 차량을 취득할 수 있다. 그 결과, 게임 내에서, 사용자는 위성으로부터 가상으로 줌 다운(zoom down)할 수 있고 이들의 로컬 데이터를 공유하는 그 자신 또는 그녀 자신 또는 친구의 초상을 볼 수 있다.

도 1은 외부 소스로부터 다운로드된 위성 이미지의 예의 다이어그램이다. Google Inc.는 다수의 다른 인터넷 소스가 행하는 것과 같이 이러한 이미지를 제공한다. 이미지는 필요에 따라 검색되거나 미리 검색되고 이어서 로컬 저장 장치로부터 판독될 수 있다. 게임에 대해, 게임 공급자는 이미지를 제공하거나 게임을 위해 가장 양호하게 적합화될 수 있는 이미지의 대안 소스로의 링크 또는 접속을 제공할 수 있다. 이 이미지는 영국 런던의 중심 근방의 웨스트민스터 브리지 로드(12)와 웨스트민스터 대성당 근방의 빅토리아 제방(14)과의 교차로를 나타내고 있다. 템즈강(16)의 물이 다리의 일 측에 밀레니엄 선착장(18)이 있고 다리의 다른 측에 국회의사당(20)에 있는 상태로 다리 아래에 놓인다. 이 이미지는 대낮에 그리고 최근 5년 내의 또는 심지어 10년일 수도 있는 임의의 계절의 어떤날일 수 있는, 위성 이미지가 촬영되었던 때의 상태를 나타낼 것이다.

도 2는 몇몇 향상을 갖는 도 1에 도시된 바와 동일한 위성 이미지의 다이어그램이다. 먼저, 템즈강의 물은 바람부는 날인 것을 나타내기 위해 물결을 갖고 증강되어 있다. 시각을 나타내기 위한 라이트 또는 어둠 및 태양의 위치를 지시하기 위한 다리 타워 및 다른 구조물, 나무 및 심지어 사람들을 따른 그림자와 같은 도면에 도시하는 것이 곤란한 다른 환경적 향상이 존재할 수도 있다. 계절은 녹색 또는 낙엽 색상 또는 나무의 헐벗음에 의해 지시될 수도 있다. 눈 또는 비가 지면에 또는 공중에 표시될 수도 있지만, 눈은 런던의 이 특정예에서는 통상적이지 않다.

도 2에서, 도면은 투어 버스(24)로 증강되어 있다. 이들 버스는 사용자의 스마트폰 또는 다른 디바이스에 의해 캡처되고 이어서 실제 장면 내의 실제 물체로서 렌더링되어 있을 수 있다. 이들 버스는 증강된 현실 물체로서 색상, 라벨 등과 같은 부가의 특징으로 증강되어 있을 수 있다. 대안적으로, 버스는 프로그램 또는 디스플레이의 몇몇 목적으로 로컬 디바이스에 의해 생성되어 있을 수도 있다. 간단한 예에서, 투어 버스는 버스가 취하는 노선을 표시하기 위해 디스플레이 상에 생성될 수도 있다. 이는 사용자가 버스에서 투어를 구매하는지 여부를 판정하는 것을 보조할 수 있다. 게다가, 버스는 외부가 어둡거나 또는 어두워지는 것을 지시하기 위해 밝은 헤드라이트 빔을 갖고 표시되어 있다. 선박(22)이 또한 도면에 추가되어 있다. 선박은 관광 또는 다른 정보를 제공하기 위해 또는 임의의 다른 목적으로 게임 플레이에 유용할 수 있다.

버스, 선박 및 물은 또한 로컬 디바이스의 스피커를 통해 재생되는 사운드 효과를 수반할 수도 있다. 사운드는 디바이스 상의 메모리로부터 취해지거나 원격 서버를 통해 수신될 수도 있다. 사운드 효과는 물의 물결, 버스 및 선박 엔진, 타이어 및 경적(horn) 및 심지어 깃발 펄럭임, 사람 이동 및 대화의 보편화된 사운드 등을 포함할 수 있다.

도 3은 다른 증강을 표시하는 동일한 위성맵의 다이어그램이다. 동일한 장면이 도면을 간단화하기 위해 도 2의 증강 없이 도시되어 있지만, 본 명세서에 설명된 모든 증강은 조합될 수도 있다. 이미지는 맵 상의 물체들의 일부를 위한 라벨을 표시한다. 이들은 웨스트민스터 브리지 로드로서 도로에 라벨 34, 밀레니엄 선착장에 라벨 32 및 빅토리아 제방 및 국회의사당에 라벨 33을 포함한다. 이들 라벨들은 기록 보관 이미지의 부분일 수도 있고 또는 로컬 디바이스에 의해 추가될 수도 있다.

게다가, 사람들(36)이 이미지에 추가되어 있다. 이들 사람들은 로컬 디바이스에 의해 또는 게임 소프트웨어에 의해 생성될 수도 있다. 게다가, 사람들은 디바이스 상의 카메라에 의해 관찰될 수 있고, 이어서 이미지, 아바타 또는 다른 표현이 기록 보관 이미지를 증강하도록 생성될 수 있다. 부가의 3명의 사람들이 조(Joe)(38), 밥(Bob)(39) 및 샘(Sam)(40)으로서 도면에 표기되어 있다. 이들 사람들은 다른 사람들과 동일한 방식으로 생성될 수 있다. 이들은 로컬 디바이스 상의 카메라에 의해 관찰되고, 이미지, 아바타 또는 다른 유형의 표현으로서 장면에 추가되고, 이어서 라벨 표기될 수 있다. 로컬 디바이스는 얼굴 인식, 사용자 입력을 사용하여 또는 몇몇 다른 방식으로 이들 사람들을 인식할 수 있다.

대안으로서, 이들 식별된 사람들은 이들의 신분을 지시하는 자신의 스마트폰으로부터 메시지를 송신할 수 있다. 이는 이어서 관찰된 사람들에 링크될 수도 있다. 다른 사용자들이 또한 위치 정보를 송신할 수도 있어, 로컬 디바이스가 식별된 위치에서 기록 보관 이미지에 이들을 추가하게 된다. 게다가, 다른 사용자들은 로컬 디바이스가 식별된 사람들(38, 39, 40)을 렌더링하고 라벨 표기하는데 사용할 수 있는 아바타, 표현, 감정, 메시지 또는 임의의 다른 정보를 송신할 수 있다. 로컬 카메라가 이들 사람들을 볼 때 또는 송신된 위치가 식별될 때, 시스템은 이어서 이미지 상의 적절한 위치에 렌더링을 추가할 수 있다. 부가의 실제 또는 관찰된 사람, 물체 및 물건이 또한 추가될 수 있다. 예를 들어, 증강된 실제 캐릭터는 또한 게임 상대자, 리소스 또는 타겟과 같은 이미지에 추가될 수 있다.

도 4는 가상 게임 캐릭터(42)로 증강된 도 1의 동일한 기록 보관 이미지의 다이어그램을 도시한다. 도 4의 다이어그램에서, 증강된 현실 가상 물체가 생성되고 기록 보관된 이미지에 적용된다. 물체들은 이미지의 좌측에서 제어 패널로부터 선택된다. 사용자는 상이한 가능한 캐릭터(44, 46), 이 경우에 우산을 든 배우로부터 선택하고, 이어서 이들을 버스(24), 선박(22) 또는 다양한 건물과 같은 다양한 물체 상으로 드롭한다. 로컬 디바이스는 이들의 궤적, 상이한 물체에 착륙하는 작용 및 다른 효과를 표시함으로써 가상 물체(42)를 증강할 수 있다. 궤적은 실제 날씨 상태에 의해 또는 디바이스에 의해 생성된 가상 상태에 의해 영향을 받을 수 있다. 로컬 디바이스는 또한 낙하, 착륙 및 착륙 후의 이동과 연계된 사운드 효과로 가상 물체를 증강할 수도 있다.

도 5는 도 4의 다이어그램에 기초하여 다이어그램에서 게임 플레이의 부가의 요소를 도시한다. 이 뷰에서, 사용자는 게임 플레이 요소로서 장면 위의 하늘에 그의 손(50)을 본다. 이 게임에서, 사용자는 아래의 다리 위에 물체를 드롭한다. 사용자는 실제로 다리 위에 있을 수도 있고, 따라서 사용자의 전화기 상의 카메라는 버스를 검출하고 있다. 추가의 변형예에서, 사용자는 더 줌 다운할 수 있고 자신의 초상 및 그 주위의 사람들을 볼 수 있다.

도 6은 일 예에 따른 전술된 바와 같은 기록 보관 맵을 증강하는 프로세스 흐름도이다. 61에서, 로컬 센서 데이터가 클라이언트 디바이스에 의해 수집된다. 이 데이터는 위치 정보, 사용자에 대한 데이터, 다른 가까이 있는 사용자에 대한 데이터, 환경 상태에 대한 데이터 및 주위 구조물, 물체 및 사람들에 대한 데이터를 포함할 수 있다. 데이터는 로컬 디바이스 상의 센서가 수집하는 것이 가능할 수 있는 나침반 배향, 자세(attitude) 및 다른 데이터를 포함할 수도 있다.

62에서, 이미지 저장부는 기록 보관 이미지를 얻기 위해 액세스된다. 일 예에서, 로컬 디바이스는 GPS 또는 로컬 Wi-Fi 액세스 포인트를 사용하여 그 위치를 결정하고, 이어서 그 위치에 대응하는 이미지를 검색한다. 다른 예에서, 로컬 디바이스는 그 위치에서 랜드마크를 관찰하고, 적절한 이미지를 얻는다. 도 1의 예에서, 웨스트민스터 브리지 및 국회의사당이 모두 구별 가능 구조물이다. 로컬 디바이스 또는 원격 서버는 이들 구조물들 중 하나 또는 모두의 이미지를 수신하고, 이들을 식별하고, 이어서 그 위치를 위한 적절한 기록 보관 이미지를 리턴할 수도 있다. 사용자는 또한 이미지를 검색하기 위해 위치 정보를 입력하거나 위치 정보를 보정할 수 있다.

63에서, 얻어진 이미지는 로컬 디바이스 상의 센서로부터 데이터를 사용하여 증강된다. 전술된 바와 같이, 증강은 시간, 날짜, 계절, 날씨 상태 및 관점에 대한 수정을 포함할 수 있다. 이미지는 또한 로컬 디바이스에 의해 관찰된 물체 및 실제 사람들, 뿐만 아니라 디바이스에 의해 생성되거나 다른 사용자 또는 소프트웨어 소스로부터 디바이스로 송신된 가상 사람들 및 물체들을 추가함으로써 증강될 수 있다. 이미지는 또한 소리로 증강될 수도 있다. 부가의 AR 기술이 이미지 또는 로컬 디바이스 카메라 뷰에 대한 라벨 및 메타데이터를 제공하는데 사용될 수 있다.

64에서, 증강된 기록 보관 이미지는 로컬 디바이스 상에 표시되고, 사운드가 스피커 상에서 재생된다. 증강된 이미지는 또한 이들 사용자가 이미지를 또한 볼 수 있도록 디스플레이를 위해 다른 사용자의 디바이스로 송신될 수도 있다. 이는 지오캐싱 및 보물 찾기 유형의 게임을 포함하는 다양한 유형의 게임 플레이에 대해 흥미있는 추가를 제공할 수 있다. 65에서, 사용자는 증강된 이미지와 상호 작용하여 부가의 변화들을 유발한다. 이 상호 작용의 몇몇 예가 도 4 및 도 5에 도시되어 있지만, 광범위한 다른 상호 작용이 또한 가능하다.

도 7a는 로컬 디바이스에 의해 증강된 기록 보관 이미지의 다른 예를 도시한다. 본 예에서, 메시지(72)는 밥(Bob)으로부터 제나(Jenna)에 송신된다. 밥은 그의 위치의 지시를 제나에게 송신하였고, 이 위치는 밥의 위치를 포함하는 도시 영역의 기록 보관 이미지를 검색하는데 사용되고 있다. 밥의 위치는 벌룬(71)에 의해 지시된다. 벌룬은 로컬 디바이스에 의해 또는 이미지의 소스에 의해 제공될 수 있다. 도 1에서와 같이, 이미지는 거리 및 다른 중첩된 정보를 갖는 위성 이미지이다. 밥의 위치의 표현은 밥의 사진, 아바타, 화살표 심벌 또는 임의의 다른 방식으로 렌더링될 수 있다. 위치 표현의 실제 위치는 밥이 이동되었다는 정보를 송신하면 또는 로컬 디바이스 카메라가 밥의 위치를 이동하는 것으로서 관찰하면 변경될 수도 있다.

기록 보관 이미지 및 밥의 표현에 추가하여, 로컬 디바이스는 종이비행기로서 도시되었지만 대신에 다수의 다른 방식으로 표현될 수도 있는 가상 물체(72)를 추가하였다. 본 예에서 가상 물체는 메시지를 표현하지만, 이는 대신에 다수의 다른 물체들을 표현할 수도 있다. 게임 플레이를 위해, 예로서, 물체는 정보, 부가의 군수품, 정찰 프로브, 무기 또는 보조물일 수도 있다. 가상 물체는 제나로부터 밥으로 증강된 이미지를 가로질러 이동하는 것으로 표시된다. 비행기로서, 이는 위성 이미지 위에서 비행한다. 메시지가 사람 또는 육상 차량으로서 지시되어 있으면, 이는 이미지의 거리를 따라 이동하는 것으로서 표현될 수도 있다. 이미지의 뷰는 그 진행을 표시하기 위해 가상 물체가 이동함에 따라 패닝되고(panned), 주밍되고(zoomed) 또는 회전될 수 있다. 이미지는 또한 이동함에 따라 종이비행기 또는 다른 물체의 사운드 효과로 증강될 수도 있다.

도 7b에서, 이미지는 메시지가 그 타겟에 가까워짐에 따라 주밍되어 있다. 이 경우에, 밥은 아바타(73)를 사용하여 표현되고, 메시지(72)를 받을 준비가 된 것으로서 도시되어 있다. 비행기를 받고 밥이 음성 응답을 행하는 사운드 효과가 밥이 메시지를 수신하였다는 것을 지시하기 위해 재생될 수도 있다. 이전과 같이, 밥은 다양한 상이한 현실적 또는 공상적 방식들 중 임의의 방식으로 표현될 수 있다. 기록 보관 이미지는 줌인된 위성 맵 또는 본 예에서와 같이 밥의 위치와 일치하는 포장된 공원 영역의 사진일 수도 있다. 사진은 공원을 설명하는 웹사이트와 같은 상이한 소스로부터 올 수 있다. 이미지는 또한 밥의 스마트폰 또는 유사한 디바이스로부터 올 수도 있다. 밥은 그의 위치의 몇몇 사진을 촬영하여 이들을 제나에 송신할 수도 있다. 제나의 디바이스는 밥에 의해 증강된 것들 및 메시지를 표시할 수 있다. 이미지는 가상 및 실제의 모두로 다른 캐릭터 또는 물체로 더 향상될 수 있다.

전술된 바와 같이, 본 발명의 실시예는 사용자에 로컬인 디바이스에 의해 취득된 거의 실시간 데이터를 갖는 위성 이미지 또는 임의의 다른 저장된 이미지를 증강하는 것을 제공한다. 이 증강은 아이콘 또는 아바타 또는 더 현실적인 표현에 의해 표현된 임의의 수의 실제 또는 가상 물체를 포함할 수 있다.

사용자의 디바이스 상의 로컬 센서는 임의의 수의 부가의 상세를 갖고 위성 이미지를 업데이트하는데 사용된다. 이들 부가의 상세는 나무 및 덤불의 색상 및 크기와, 자동차, 버스, 건물 등과 같은 다른 주변 물체의 존재 및 위치를 포함할 수 있다. 정보를 공유하는 것을 선택한 다른 사람들의 신분 뿐만 아니라, GPS 위치, 사용자가 소지하고 있는 디바이스의 기울기 및 임의의 다른 인자가 표시될 수 있다.

가까이 있는 사람들은 로컬 디바이스에 의해 검출된 바와 같이 표현되고, 이어서 이미지를 증강하는데 사용될 수 있다. 게다가, 도시된 간단한 표현으로, 사람들의 표현은 높이, 크기 및 의복, 제스처 및 얼굴 표정 및 다른 특징을 표시함으로써 향상될 수 있다. 이는 디바이스의 카메라 또는 다른 센서로부터 올 수 있고, 사람들 자신에 의해 제공된 정보와 조합될 수 있다. 양 종단의 사용자들은 거의 실시간 표현 및 제스처의 표현을 갖고 표시된 아바타 상에 표현될 수 있다.

기록 보관 이미지는 도시된 바와 같이 위성 맵 및 로컬 사진, 뿐만 아니라 맵 및 이미지 데이터의 다른 저장부일 수도 있다. 예로서, 건물 내부의 내부 맵 또는 이미지는 위성 맵 대신에 또는 위성 맵과 함께 사용될 수 있다. 이들은 이미지의 성질 및 건물에 따라 공용 또는 개인 소스로부터 올 수 있다. 이미지들은 또한 패닝, 주밍 및 타일 효과를 사용하여 그리고 이미지를 보강하는 가상 및 실제 물체들을 이동시킴으로써 위치의 비디오를 시뮬레이션하도록 증강될 수 있다.

도 8은 전술된 동작들을 지원하는 것이 가능한 컴퓨팅 환경의 블록 다이어그램이다. 모듈 및 시스템은 도 9에 도시된 것을 포함하는 다양한 상이한 하드웨어 아키텍처 및 폼팩터로 구현될 수 있다.

명령어 실행 모듈(801)은 명령어를 캐시하고 실행하고 도시된 다른 모듈 및 시스템 중에 작업을 분배하기 위한 중앙 처리 유닛을 포함한다. 이는 인스트럭션 스택, 중간 및 최종 결과를 저장하기 위한 캐시 메모리, 및 애플리케이션 및 운영 체제를 저장하기 위한 대용량 메모리를 포함할 수도 있다. 명령어 실행 모듈은 또한 시스템을 위한 중앙 조정 및 작업 할당 유닛으로서 기능할 수 있다.

스크린 렌더링 모듈(821)이 사용자가 보기 위한 로컬 디바이스의 하나 이상의 스크린 상에 물체를 묘사한다. 이 스크린 렌더링 모듈은 후술되는 가상 물체 거동 모듈(804)로부터 데이터를 수신하고, 적절한 스크린 또는 스크린들 상에 가상 물체 및 임의의 다른 물체들을 렌더링하도록 적용될 수 있다. 따라서, 가상 물체 거동 모듈로부터의 데이터는 예를 들어 가상 물체 및 연계된 제스처 및 물체의 위치 및 동역학을 결정할 것이고, 스크린 렌더링 모듈은 이에 따라 스크린 상의 가상물체 및 연계된 물체 및 환경을 묘사할 것이다.

사용자 입력 및 제스처 인식 시스템(822)은 사용자의 손 및 손상 제스처를 포함하는 명령어 및 사용자 입력을 인식하도록 적용될 수 있다. 이러한 모듈은 손, 손가락, 손가락 제스처, 손 이동 및 디스플레이에 대한 손의 위치를 인식하는데 사용될 수 있다. 예를 들어, 물체 및 제스처 인식 모듈은 예를 들어 사용자가 다양한 위치에서 증강된 이미지 상에 가상 물체를 낙하하거나 투척하기 위한 제스처를 행하는 것으로 결정할 수 있다. 사용자 입력 및 제스처 인식 시스템은 카메라 또는 카메라 어레이, 마이크로폰 또는 마이크로폰 어레이, 터치스크린 또는 터치면, 또는 포인팅 디바이스, 또는 이들 아이템들의 몇몇 조합에 결합될 수도 있어 사용자로부터 제스처 및 명령어를 검출한다.

로컬 센서(823)는 로컬 디바이스 상에 제공되거나 이용 가능할 수 있는 전술된 임의의 센서를 포함할 수 있다. 이들은 전방 및 후방 카메라, 마이크로폰, 포지셔닝 시스템, Wi-Fi 및 FM 안테나, 가속도계 및 나침반과 같은 스마트폰에서 통상적으로 이용 가능한 것들을 포함할 수 있다. 이들 센서는 위치 인식을 제공할 뿐만 아니라, 로컬 디바이스가 장면을 관찰할 때 그 배향 및 이동을 결정하게 한다. 로컬 센서 데이터는 기록 보관 이미지를 선택하는데 사용을 위해 그리고 그 이미지를 증강하기 위해 명령어 실행 모듈에 제공된다.

데이터 통신 모듈(825)은 시스템 내의 모든 디바이스가 통신하게 하는 유선 또는 무선 데이터 인터페이스를 포함한다. 각각의 디바이스와의 다중 인터페이스가 존재할 수 있다. 일 예에서, AR 디스플레이는 AR 캐릭터에 관한 상세한 파라미터를 송신하도록 Wi-Fi를 통해 통신한다. 이 AR 디스플레이는 또한 사용자 명령어를 송신하고 AR 디스플레이 디바이스를 통해 재생을 위해 오디오를 수신하기 위해 블루투스를 통해 통신한다. 임의의 적합한 유선 또는 무선 디바이스 통신 프로토콜이 사용될 수 있다.

가상 물체 거동 모듈(804)은 다른 모듈로부터의 입력을 수신하고 이러한 입력을 생성되어 디스플레이에 표시되고 있는 가상 물체에 적용하도록 적용된다. 따라서, 예를 들어 사용자 입력 및 제스처 인식 시스템은 사용자 제스처를 해석할 것이고, 사용자의 손의 캡처된 이동을 인식된 이동에 맵핑함으로서, 가상 물체 거동 모듈은 가상 물체의 위치 및 이동을 사용자 입력에 연계하여 사용자 입력에 대응하도록 가상 물체의 이동을 지시할 데이터를 생성할 것이다.

결합 모듈(806)은 클라이언트 디바이스 상의 로컬 센서(823)에 의해 수집된 정보를 추가하기 위해 위성 맵 또는 다른 이미지와 같은 기록 보관 이미지를 변경한다. 이 모듈은 클라이언트 디바이스 또는 "클라우드" 서버 상에 상주할 수도 있다. 결합 모듈은 물체 및 사람 식별 모듈(807)로부터 오는 데이터를 사용하고, 이미지 소스로부터 이미지에 데이터를 추가한다. 물체 및 사람은 현존하는 이미지에 추가된다. 사람은 아바타 표현 또는 더 현실적인 표현일 수 있다.

결합 모듈(806)은 위성 맵을 변경하기 위해 휴리스틱(heuristics)을 사용할 수 있다. 예를 들어, 지면의 사람 또는 캐릭터의 아바타에 폭탄 투하하려고 시도하는 레이싱 항공기 오버헤드를 허용하는 게임에서, 로컬 디바이스는 GPS 위치, 머리색, 의복, 주변 차량, 조명 상태 및 구름량을 포함하는 정보를 수집한다. 이 정보는 이어서 위성 맵 상에 가시화될 플레이어의 아바타, 주변 물체 및 환경 상태를 구성하는데 사용될 수 있다. 예를 들어, 사용자는 저장된 위성 이미지에 추가되었던 실제 구름 뒤에 가상 비행기를 비행할 수 있다.

물체 및 아바타 표현 모듈(808)은 물체 및 사람 식별 모듈(807)로부터 정보를 수신하고, 이 정보를 물체 및 아바타로서 표현한다. 모듈은 물체의 현실적 표현으로서 또는 아바타로서 임의의 실제 물체를 표현하는데 사용될 수 있다. 아바타 정보는 다른 사용자 또는 아바타 정보의 중앙 데이터베이스로부터 수신될 수 있다.

물체 및 사람 식별 모듈은 특정 실제 물체 및 사람을 식별하기 위해 수신된 카메라 데이터를 사용한다. 버스 및 자동차와 같은 대형 물체는 물체를 식별하기 위해 이미지 라이브러리에 비교될 수 있다. 사람들은 얼굴 인식 기술을 사용하여 또는 개인, 로컬 또는 셀룰러 네트워크를 통해 식별된 사람과 연계된 디바이스로부터 데이터를 수신함으로써 식별될 수 있다. 물체 및 사람을 식별하면, 신분이 이어서 다른 데이터에 적용되고 물체 및 아바타 표현 모듈에 제공될 수 있어 표시를 위해 물체 및 사람의 적합한 표현을 생성한다.

위치 및 배향 모듈(803)은 로컬 디바이스의 위치 및 배향을 결정하기 위해 로컬 센서(823)를 사용한다. 이 정보는 기록 보관 이미지를 선택하고 그 이미지의 적합한 뷰를 제공하는데 사용된다. 정보는 또한 물체 및 사람 식별을 보충하는데 사용될 수 있다. 예로서, 사용자 디바이스가 웨스트민스터 브리지 상에 위치되고 동쪽으로 배향되면, 카메라에 의해 관찰된 물체는 다리 위에 위치된다. 물체 및 아바타 표현 모듈(808)은 그 정보를 사용하여, 이어서 다리 위에 있는 것으로서 이들 물체를 표현할 수 있고, 결합 모듈은 다리의 뷰에 물체들을 추가함으로써 이미지를 증강하기 위해 그 정보를 사용할 수 있다.

게이밍 모듈(802)은 부가의 상호 작용 및 효과를 제공한다. 게이밍 모듈은 증강된 이미지를 추가하기 위해 가상 캐릭터 및 가상 물체를 생성할 수 있다. 이 게이밍 모듈은 또한 실제 물체 또는 아바타와의 가상 상호 작용으로서 또는 가상 물체로 임의의 수의 게이밍 효과를 제공할 수 있다. 도 4, 도 7a 및 도 7b의 게임 플레이는 모두 게이밍 모듈에 의해 제공될 수 있다.

3D 이미지 상호 작용 및 효과 모듈(805)은 증강된 이미지 내의 실제 및 가상 물체와 사용자 상호 작용을 트래킹하고, z-축에서(스크린의 평면을 향해 그리고 이격하여) 물체의 영향을 결정한다. 이는 3차원에서 서로에 대한 물체들의 상대적인 영향과 함께 이들 효과를 제공하기 위해 부가의 프로세싱 소스를 제공한다. 예를 들어, 사용자 제스처에 의해 투척된 물체는, 물체가 이동함에 따라 날씨, 가상 및 실제 물체 및 증강된 이미지의 전경 내의, 예를 들어 하늘의 다른 인자에 의해 영향을 받을 수 있다.

도 9는 퍼스널 컴퓨터, 게이밍 콘솔, 스마트폰 또는 휴대용 게임기와 같은 컴퓨터 시스템의 블록 다이어그램이다. 컴퓨터 시스템(900)은 정보를 통신하기 위한 버스 또는 다른 통신 수단(901)과, 정보를 프로세싱하기 위해 버스(901)와 결합된 마이크로프로세서(902)와 같은 프로세싱 수단을 포함한다. 컴퓨터 시스템은 특히 평행 파이프라인을 통해 그래픽을 렌더링하기 위해 그래픽 프로세서(903) 및 전술된 바와 같이 물리 상호 작용을 계산하기 위해 물리 프로세서(905)로 증강될 수 있다. 이들 프로세서는 중앙 프로세서(902) 내에 합체되거나 하나 이상의 개별 프로세서로서 제공될 수 있다.

컴퓨터 시스템(900)은 프로세서(902)에 의해 실행될 정보 및 인스트럭션을 저장하기 위해 버스(901)에 결합된 랜덤 액세스 메모리(RAM) 또는 다른 동적 데이터 저장 디바이스와 같은 메인 메모리(904)를 더 포함한다. 메인 메모리는 또한 프로세서에 의한 인스트럭션의 실행 중에 시간 변수 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 컴퓨터 시스템은 프로세서를 위한 정적 정보 및 인스트럭션을 저장하기 위해 버스에 결합된 판독 전용 메모리(ROM) 또는 다른 정적 데이터 저장 디바이스와 같은 비휘발성 메모리(906)를 또한 포함할 수 있다.

자기 디스크, 광학 디스크 또는 고체 상태 어레이 및 그 대응 드라이브와 같은 대용량 메모리(907)가 또한 정보 및 인스트럭션을 저장하기 위해 컴퓨터 시스템의 버스에 결합될 수 있다. 컴퓨터 시스템은 또한 정보를 사용자에게 표시하기 위해, 액정 디스플레이(LCD) 또는 유기 발광 다이오드(OLED) 어레이와 같은 디스플레이 디바이스 또는 모니터(921)를 거쳐 결합될 수 있다. 예를 들어, 설치 상태, 동작 상태 및 다른 정보의 그래픽 및 텍스트 지시가 전술된 다양한 뷰 및 사용자 상호 작용에 추가하여, 디스플레이 디바이스 상에서 사용자에 제시될 수 있다.

통상적으로, 문자숫자키, 펑션키 및 다른 키와 같은 사용자 입력 디바이스(922)가 정보 및 명령어 선택을 프로세서에 통신하기 위해 버스에 결합될 수 있다. 부가의 사용자 입력 디바이스는 마우스, 트랙볼, 트랙 패드와 같은 커서 입력 디바이스를 포함할 수 있고, 또는 커서 방향키가 방향 정보 및 명령어 선택을 프로세서에 통신하고 디스플레이(921) 상의 커서 이동을 제어하기 위해 버스에 결합될 수 있다.

카메라 및 마이크로폰 어레이(923)는 제스처를 관찰하고, 오디오 및 비디오를 레코딩하고, 전술된 바와 같이 시각적 및 오디오 명령어를 검색하도록 버스에 결합된다.

명령어 인터페이스(925)는 또한 버스(901)에 결합된다. 명령어 인터페이스는 모뎀, 네트워크 인터페이스 카드 또는 예를 들어 근거리 또는 원거리 통신망(LAN 또는 WAN)을 지원하기 위해 통신 링크를 제공하는 목적으로 이더넷, 토큰링 또는 다른 유형의 물리적 유선 또는 무선 부속품에 결합을 위해 사용된 것들과 같은 다른 공지의 인터페이스 디바이스를 포함할 수 있다. 이 방식으로, 컴퓨터 시스템은 또한 예를 들어 인트라넷 또는 인터넷을 포함하는 종래의 네트워크 인프라구조를 거쳐 다수의 주변 디바이스, 클라이언트, 제어면, 콘솔 또는 서버에 결합될 수 있다.

전술된 예보다 적거나 많은 장비된 시스템은 특정 구현예에 대해 적합할 수 있다는 것이 이해되어야 한다. 따라서, 예시적인 시스템(800, 900)의 구성은 가격 제약, 성능 요구, 기술적 개선 또는 다른 상황과 같은 수많은 인자에 따라 구현예마다 다양할 것이다.

실시예는 마더보드를 사용하여 상호 접속된 하나 이상의 마이크로칩 또는 집적 회로, 유선 로직, 메모리 디바이스에 의해 저장되고 마이크로프로세서에 의해 실행되는 소프트웨어, 펌웨어, 응용 주문형 집적 회로(ASIC) 및/또는 필드 프로그램가능 게이트 어레이(FPGA) 중 임의의 하나 또는 조합으로서 구현될 수 있다. 용어 "로직"은 예로서 소프트웨어 또는 하드웨어 및/또는 소프트웨어와 하드웨어의 조합을 포함할 수 있다.

실시예는 예를 들어 컴퓨터, 컴퓨터의 네트워크 또는 다른 전자 디바이스와 같은 하나 이상의 머신에 의해 실행될 때, 하나 이상의 머신이 본 발명의 실시예에 따른 동작을 수행하게 할 수 있는 머신-실행가능 인스트럭션이 저장되어 있는 하나 이상의 머신-판독가능 매체를 포함할 수 있는 컴퓨터 프로그램 제품으로서 제공될 수 있다. 머신-판독가능 매체는 플로피 디스켓, 광학 디스크, CD-ROM(콤팩트 디스크-판독 전용 메모리) 및 자기-광학 디스크, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), EPROM(소거가능 프로그램가능 판독 전용 메모리), EEPROM(전기 소거가능 프로그램가능 판독 전용 메모리), 자기 또는 광학 카드, 플래시 메모리 또는 머신-실행가능 인스트럭션을 저장하기에 적합한 다른 유형의 매체/머신-판독가능 매체를 포함할 수 있지만, 이들에 한정되는 것은 아니다.

더욱이, 실시예는 컴퓨터 프로그램 제품으로서 다운로드될 수 있고, 프로그램은 통신 링크(예를 들어, 모뎀 및/또는 네트워크 접속)를 거쳐 반송파 또는 다른 전파 매체에 구체화되고 그리고/또는 변조되는 하나 이상의 데이터 신호를 경유하여 원격 컴퓨터(예를 들어, 서버)로부터 요청 컴퓨터(예를 들어, 클라이언트)로 전송될 수 있다. 이에 따라, 본 명세서에 사용될 때, 머신-판독가능 매체는 이러한 반송파를 포함하지만, 필수적인 것은 아니다.

"일 실시예", "실시예", "예시적인 실시예", "다양한 실시예" 등의 언급은 이와 같이 설명된 본 발명의 실시예(들)가 특정 특징, 구조 또는 특성을 포함할 수 있지만, 모든 실시예가 반드시 특정 특징, 구조 또는 특성을 포함하는 것은 아니라는 것을 지시한다. 또한, 몇몇 실시예는 다른 실시예에 대해 설명된 일부, 모든 특징을 갖거나 갖지 않을 수도 있다.

이하의 설명 및 청구범위에서, 용어 "결합된"은 그 파생어와 함께 사용될 수 있다. "결합된"은 2개 이상의 요소가 서로 협동하거나 상호 작용하는 것을 지시하는데 사용되지만, 이들 요소는 이들 사이에 개입하는 물리적 또는 전기적 구성요소를 가질 수도 있고 갖지 않을 수도 있다.

청구범위에 사용될 때, 달리 지시되지 않으면, 공통 요소를 설명하기 위한 서수 형용사 "제 1", "제 2", "제 3" 등의 사용은, 단지 유사한 요소의 상이한 경우들이 언급되는 것을 지시하고 이와 같이 설명된 요소가 소정의 순서, 시간적, 공간적, 순위 또는 임의의 다른 방식으로 제공되어야 하는 것을 암시하도록 의도된 것은 아니다.

도면 및 상기 설명은 실시예의 예를 제공한다. 당 기술 분야의 숙련자들은 설명된 요소들 중 하나 이상이 단일 기능 요소로 양호하게 조합될 수 있다는 것을 이해할 수 있을 것이다. 대안적으로, 특정 요소는 다수의 기능 요소로 분할될 수 있다. 일 실시예로부터의 요소는 다른 실시예에 추가될 수 있다. 예를 들어, 본 명세서에 설명된 프로세스의 순서는 변경될 수 있고 본 명세서에 설명된 방식에 한정되는 것은 아니다. 더욱이, 임의의 흐름도의 동작은 도시된 순서로 구현될 필요는 없고, 또한 모든 동작이 반드시 수행될 필요도 없다. 또한, 다른 동작에 의존하지 않는 이들 동작은 다른 동작과 병행하여 수행될 수도 있다. 실시예의 범주는 결코 이들 특정예에 의해 한정되지 않는다. 명세서에 명시적으로 제공되어 있건 또는 제공되어 있지 않건간에, 구조, 치수 및 재료의 사용의 차이와 같은 수많은 변형이 가능하다. 실시예의 범주는 적어도 이하의 청구범위에 의해 제공된 바와 같다.

Claims (25)

1. 로컬 디바이스의 로컬 센서로부터 위치에 관한 데이터를 수집하는 단계와,
   원격 이미지 저장부로부터의 기록 보관 이미지(an archival image)를 상기 로컬 디바이스에 수신하는 단계와,
   수집된 데이터를 사용하여 상기 기록 보관 이미지를 증강하는(augmenting) 단계와,
   상기 로컬 디바이스 상에 증강된 기록 보관 이미지를 표시하는 단계를 포함하는
   방법.
   
2. 제 1 항에 있어서,
   상기 데이터를 수집하는 단계는 위치 및 현재 시간을 결정하는 단계를 포함하고, 상기 증강하는 단계는 상기 현재 시간에 대응하도록 이미지를 수정하는 단계를 포함하는
   방법.
   
3. 제 2 항에 있어서,
   상기 현재 시간은 날짜 및 시각(time of day)를 포함하고, 상기 이미지를 수정하는 단계는 현재 날짜 및 시각에 대응하게 나타나도록 이미지의 조명 및 계절 효과를 수정하는 단계를 포함하는
   방법.
   
4. 제 1 항에 있어서,
   상기 데이터를 수집하는 단계는 위치에 현존하는 물체의 이미지를 캡처하는 단계를 포함하고, 상기 증강 단계는 기록 보관 이미지에 상기 물체의 이미지를 추가하는 단계를 포함하는
   방법.
   
5. 제 4 항에 있어서,
   현존하는 물체는 가까이 있는 사람을 포함하고, 상기 이미지를 추가하는 단계는 가까이 있는 사람의 용모를 표현하는 아바타를 생성하는 단계 및 생성된 아바타를 상기 기록 보관 이미지에 추가하는 단계를 포함하는
   방법.
   
6. 제 4 항에 있어서,
   상기 아바타를 생성하는 단계는 가까이 있는 사람 중에서 사람을 식별하는 단계 및 식별된 사람으로부터 수신된 아바타 정보에 기초하여 아바타를 생성하는 단계를 포함하는
   방법.
   
7. 제 4 항에 있어서,
   상기 아바타를 생성하는 단계는 가까이 있는 사람의 얼굴 표정을 표현하는 단계를 포함하는
   방법.
   
8. 제 1 항에 있어서,
   상기 데이터를 수집하는 단계는 현재 날씨 상태 데이터를 수집하는 단계를 포함하고, 상기 증강하는 단계는 현재 날씨 상태에 대응하도록 상기 기록 보관 이미지를 수정하는 단계를 포함하는
   방법.
   
9. 제 1 항에 있어서,
   상기 기록 보관 이미지는 위성 이미지, 거리맵 이미지, 건물 계획 이미지 및 사진 중 적어도 하나인
   방법.
   
10. 제 1 항에 있어서,
    가상 물체를 생성하는 단계를 더 포함하고, 상기 증강하는 단계는 생성된 가상 물체를 상기 기록 보관 이미지에 추가하는 단계를 포함하는
    방법.
    
11. 제 1 항에 있어서,
    원격 사용자로부터 가상 물체 데이터를 수신하는 단계를 더 포함하고, 생성하는 단계는 수신된 가상 물체 데이터를 사용하여 가상 물체를 생성하는 단계를 포함하는
    방법.
    
12. 제 11 항에 있어서,
    상기 가상 물체는 상기 원격 사용자로부터 상기 로컬 디바이스로 송신된 메시지에 대응하는
    방법.
    
13. 제 10 항에 있어서,
    상기 가상 물체와 상호 작용하도록 상기 로컬 디바이스에서 사용자 입력을 수신하는 단계와, 상기 로컬 디바이스 상의 증강된 기록 보관 이미지 상에 상호 작용을 표시하는 단계를 더 포함하는
    방법.
    
14. 제 10 항에 있어서,
    날씨 상태에 응답하여 추가된 가상 물체의 거동을 수정하는 단계를 더 포함하는
    방법.
    
15. 제 14 항에 있어서,
    상기 날씨 상태는 원격 서버로부터 수신된 현재 날씨 상태인
    방법.
16. 로컬 디바이스의 위치에 관한 데이터를 수집하기 위한 로컬 센서와,
    원격 이미지 센서로부터의 기록 보관 이미지를 상기 로컬 디바이스에 수신하기 위한 통신 인터페이스와,
    수집된 데이터를 사용하여 상기 기록 보관 이미지를 증강하기 위한 결합 모듈과,
    상기 로컬 디바이스 상에 증강된 기록 보관 이미지를 표시하기 위한 스크린 렌더링 모듈을 포함하는
    장치.
    
17. 제 16 항에 있어서,
    상기 결합 모듈은 또한 기록 보관 이미지를 증강하기 위한 환경 상태를 구성하기 위한 것인
    장치.
    
18. 제 17 항에 있어서,
    상기 환경 상태는 구름, 조명 상태, 시각 및 날짜를 포함하는
    장치.
    
19. 제 16 항에 있어서,
    사람의 아바타를 구성하고 상기 아바타를 상기 결합 모듈에 제공하여 기록 보관 이미지를 증강하기 위한 표현 모듈을 더 포함하는
    장치.
    
20. 제 19 항에 있어서,
    상기 아바타는 상기 로컬 센서에 의해 관찰된 사람들에 관해 로컬 센서에 의해 수집된 데이터를 사용하여 생성되는
    장치.
    
21. 제 19 항에 있어서,
    상기 로컬 디바이스는 다중사용자 게임을 실행하고, 상기 아바타는 상기 다중사용자 게임의 다른 플레이어에 의해 제공된 정보에 기초하여 생성되는
    장치.
    
    
22. 제 16 항에 있어서,
    사용자가 디스플레이 상에 제시된 가상 물체와 상호 작용하게 하기 위한 사용자 입력 시스템을 더 포함하고, 상기 스크린 렌더링 모듈은 상기 로컬 디바이스 상의 증강된 기록 보관 이미지 상에 상호 작용을 표시하는
    장치.
    
23. 로컬 디바이스의 위치에 관한 데이터를 수집하기 위한 카메라와,
    원격 이미지 센서로부터의 기록 보관 이미지를 상기 로컬 디바이스에 수신하기 위한 네트워크 무선장치(a network radio)와,
    수집된 데이터를 사용하여 상기 기록 보관 이미지를 증강하기 위한 결합 모듈과 상기 로컬 디바이스 상의 증강된 기록 보관 이미지의 디스플레이를 생성하기 위한 스크린 렌더링 모듈을 갖는 프로세서와,
    상기 증강된 기록 보관 이미지를 사용자에 표시하기 위한 디스플레이를 포함하는
    장치.
    
24. 제 24 항에 있어서,
    위치 및 현재 시간을 결정하기 위한 포지셔닝 무선 신호 수신기를 더 포함하고, 상기 결합 모듈은 이미지의 조명 및 계절 효과를 포함하는 현재 시간에 대응하도록 이미지를 수정하는
    장치.
    
25. 제 24 항에 있어서,
    상기 디스플레이 상에 표시된 가상 물체에 대한 사용자 명령어를 수신하기 위해 상기 디스플레이와 연계된 터치 인터페이스를 더 포함하고, 상기 프로세서는 사용자 명령어에 응답하여 상기 디스플레이와 연계된 가상 물체의 거동을 결정하기 위한 가상 물체 거동 모듈을 더 포함하는
    장치.

Images