KR101226405B1 - 이동 가상 및 증강된 현실 시스템 - Google Patents

이동 가상 및 증강된 현실 시스템 Download PDF

Info

Publication number
KR101226405B1
KR101226405B1 KR1020107023341A KR20107023341A KR101226405B1 KR 101226405 B1 KR101226405 B1 KR 101226405B1 KR 1020107023341 A KR1020107023341 A KR 1020107023341A KR 20107023341 A KR20107023341 A KR 20107023341A KR 101226405 B1 KR101226405 B1 KR 101226405B1
Authority
KR
South Korea
Prior art keywords
virtual
graffiti
replacing
doodle
text
Prior art date
Application number
KR1020107023341A
Other languages
English (en)
Other versions
KR20100139043A (ko
Inventor
줄리우스 에스. 기오르피
에릭 알. 부르케
주안 엠. 로페즈
프란체스카 슐러
한 유
Original Assignee
모토로라 모빌리티 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모토로라 모빌리티 엘엘씨 filed Critical 모토로라 모빌리티 엘엘씨
Publication of KR20100139043A publication Critical patent/KR20100139043A/ko
Application granted granted Critical
Publication of KR101226405B1 publication Critical patent/KR101226405B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자는 특정한 디바이스가 증강된 현실 장면의 일부로서 보기 위해 남겨질 "가상 낙서(203)"를 생성할 수 있다. 그 가상 낙서는 특정한 물리적 위치 또는 움직일 수 있는 물체의 일부에 할당될 것이다. 가상 낙서는 그 후 그 위치 및 그 낙서를 증강된 현실 장면의 일부로서 볼 수 있는 사람들과 함께, 네트워크 서버(101)에 업로드된다. 그 낙서를 보는 것이 허용되는 디바이스가 그 위치의 근처에 있을 때, 그 낙서가 그 디바이스에 다운로드되어 증강된 현실 장면의 일부로서 디스플레이될 것이다. 사용자 경험을 더 강화시키기 위하여, 그 가상 낙서는 사용자의 선호에 기초하여 동적이고 변화할 수 있다.

Description

이동 가상 및 증강된 현실 시스템{MOBILE VIRTUAL AND AUGMENTED REALITY SYSTEM}
본 발명은 일반적으로 메시징에 관한 것으로, 특히, 이동 가상 및 증강된 현실 시스템 내에서의 메시징에 관한 것이다.
[관련출원들]
이 출원은 2007년 8월 24일에 출원된 MOBILE VIRTUAL AND AUGMENTED REALITY SYSTEM이라는 표제가 붙은 출원 일련 번호 11/844538, 2007년 9월 21일에 출원된 MOBILE VIRTUAL AND AUGMENTED REALITY SYSTEM이라는 표제가 붙은 출원 일련 번호 11/858997, 2007년 10월 31일에 출원된 MOBILE VIRTUAL AND AUGMENTED REALITY SYSTEM이라는 표제가 붙은 출원 일련 번호 11/930974, 및 2007년 12월 21일에 출원된 MOBILE VIRTUAL AND AUGMENTED REALITY SYSTEM이라는 표제가 붙은 출원 일련 번호 11/962139와 관련이 있다.
사용자들이 서로에게 메시지를 송신하게 하기 위해 수년 동안 메시징 시스템들이 이용되었다. 현재, 다른 사람에게 메시지를 송신하는 가장 간단한 방법들 중 하나는 그 사람의 휴대폰에 텍스트 메시지를 송신하는 것이다. 최근에, 네트워크의 사용자들에게 특정한 위치에서 특정한 메시지를 남기는 옵션이 주어질 수 있도록 메시징 시스템들의 능력들을 확장하는 것이 제안되었다. 예를 들면, US6681107B2, SYSTEM AND METHOD OF ACCESSING AND RECORDING MESSAGES AT COORDINATE WAY POINTS에서, 저자는 사용자가 단지 특정한 위치에서 버튼을 눌러 디바이스로 하여금 그 물리적 위치를 저장하게 할 수 있는 것을 제안한다. 그 후 그는 그가 그의 디바이스에 메시지를 말하는 것을 허용하는 "메시지 녹음"(record message) 버튼을 누를 수 있다. 이 메시지는 그 특정한 위치로부터 그 사용자의 집으로의 방향들 또는 임의의 다른 개인 메시지일 수 있다. 그 메시지는 그 후 네트워크에 업로드되고 네트워크에서 그것은 다른 네트워크 사용자들에게 이용 가능하게 된다. 메시지를 생성하는 사람은 그 메시지가 모든 사용자들에게 이용 가능한지, 그 사용자의 디바이스의 메모리에 저장된 사람들에게만 이용 가능한지, 메모리에 저장된 사람들의 일부(subset)에게 이용 가능한지, 또는 단 한 사람에게만 이용 가능한지를 지정할 수 있다.
상기 유형의 상황 인식(context-aware) 메시징 시스템에서의 사용자의 경험을 강화시키기 위하여, 사용자들에 제공되는 정보의 유형들은 단순 텍스트, 이미지, 및 비디오의 범위를 넘어서야 한다. 그러므로, 사용자의 경험을 강화시키는 상황 인식 메시징 시스템 내에서의 메시징을 위한 방법 및 장치에 대한 요구가 존재한다.
도 1은 상황 인식 메시징 시스템의 블록도이다.
도 2는 증강된 현실 장면(augmented reality scene)을 나타낸다.
도 3은 증강된 현실 장면을 나타낸다.
도 4는 도 1의 서버의 블록도이다.
도 5는 도 1의 사용자 디바이스의 블록도이다.
도 6은 도 1의 서버의 동작을 나타내는 순서도이다.
도 7은 낙서를 생성할 때의 도 1의 사용자 디바이스의 동작을 나타내는 순서도이다.
도 8은 낙서를 생성할 때의 도 1의 사용자 디바이스의 동작을 나타내는 순서도이다.
위에 언급된 요구를 다루기 위하여, 이동 가상 및 증강된 현실 시스템 내에서의 메시징을 위한 방법 및 장치가 여기에 제공된다. 동작 동안에 사용자는 특정한 디바이스가 증강된 현실 장면의 일부로서 보기 위해 남겨질 "가상 낙서"(virtual graffiti)를 생성할 수 있다. 그 가상 낙서는 특정한 물리적 위치 또는 움직일 수 있는 물체의 일부에 할당될 것이다. 가상 낙서는 그 후 그 위치 및 그 낙서를 증강된 현실 장면의 일부로서 볼 수 있는 사람들과 함께, 네트워크 서버에 업로드된다.
그 낙서를 보는 것이 허용되는 디바이스가 그 위치의 근처에 있을 때, 그 낙서가 그 디바이스에 다운로드되어 증강된 현실 장면의 일부로서 디스플레이될 것이다. 사용자 경험을 더 강화시키기 위하여, 그 가상 낙서는 사용자의 선호에 기초하여 동적이고 변화할 수 있다. 예를 들면, 가상 개체들 및 그들의 관련된 콘텐트들은 각각의 보는 사람에 의해 상이하게 해석될 수 있다. 그렇게 하는 데 있어서, 각 사용자는 각 사용자에 의해 정의될 개인 선호들의 세트를 포함하는 프로파일을 가질 것이다. 이러한 프로파일들은 메시지들을 다운로드하여 그들의 외관들을 개인화(customize)하기 위해 처리할 때 프로파일 관리자에 의해 참고될 것이다. 만약 개인화가 필요하지 않다면, 프로파일 관리자는 수정되지 않은 낙서를 저장하고, 그렇지 않다면 프로파일 관리자는 최초의 가상 개체를 소망의 개인화된 개체로 변환하기 위해 필요한 매핑을 수행한다.
증강된 현실 시스템에서, 컴퓨터 생성된 이미지들, 즉 "가상 이미지들"이 사용자의 실세계 환경의 뷰(user's view of the real-world environment)에 삽입되거나 또는 그와 병합되어 사용자의 그 환경과의 작용들, 또는 그 환경에 대한 인식을 강화시킬 수 있다. 본 발명에서, 사용자의 증강된 현실 시스템은 임의의 가상 낙서 이미지들을 사용자의 실세계의 뷰와 병합한다.
예로서, 에드(Ed)는 바(bar)에서 그의 친구들인 톰(Tom)과 조(Joe)를 위해 그들이 칠리를 맛볼(try the chili) 것을 제안하는 메시지를 남길 수 있다. 에드는 그 메시지가 가상 맥주잔에 새겨지는 것을 지정할 수 있다. 그의 뷰(view)를 개인화하지 않은 톰은 맥주잔에 쓰인 메시지를 볼 것이지만 맥주보다 와인에 대한 그의 선호를 포함하는 프로파일을 갖는 조는 와인병에 새겨진 동일한 텍스트 메시지를 볼 것이다.
본 발명은 가상 낙서를 수신하고 증강된 현실 장면의 일부로서 디스플레이하는 방법을 포함한다. 상기 방법은 위치를 제공하는 단계, 상기 위치를 제공하는 단계에 응답하여 가상 낙서를 수신하는 단계, 사용자 선호들을 결정하는 단계, 및 상기 사용자 선호들에 기초하여 상기 가상 낙서를 수정하는 단계를 포함한다. 마지막으로 상기 수정된 가상 낙서는 증강된 현실 장면의 일부로서 디스플레이된다.
본 발명은 또한 디바이스에 가상 낙서를 제공하는 방법을 포함한다. 상기 방법은 제1 디바이스로부터 가상 낙서와 함께 상기 가상 낙서의 위치를 수신하는 단계, 제2 디바이스에 대한 선호들을 결정하는 단계, 상기 제2 디바이스의 선호들에 기초하여 상기 가상 낙서를 수정하는 단계를 포함한다. 상기 제2 디바이스의 위치가 수신되고 상기 제2 디바이스의 위치가 상기 가상 낙서의 위치의 근처에 있을 때 상기 제2 디바이스에 상기 수정된 가상 낙서가 제공된다.
본 발명은 또한 가상 낙서를 수신하고 증강된 현실 장면의 일부로서 디스플레이하는 장치를 포함한다. 상기 장치는 위치를 제공하는 송신기, 상기 위치를 제공하는 단계에 응답하여 가상 낙서를 수신하는 수신기, 사용자 선호들을 결정하고 상기 사용자 선호들에 기초하여 상기 가상 낙서를 수정하는 논리 회로, 및 상기 수정된 가상 낙서를 증강된 현실 장면의 일부로서 디스플레이하는 증강된 현실 시스템을 포함한다.
이제, 같은 번호들이 같은 컴포넌트들을 지시하는, 도면들을 참조하면, 도 1은 상황 인식 메시징 시스템(100)의 블록도이다. 시스템(100)은 가상 낙서 서버(101), 네트워크(103), 및 사용자 디바이스들(105-109)을 포함한다. 본 발명의 하나의 실시예에서, 네트워크(103)는 높은 데이터 전송 속도가 가능한, 차세대 셀룰러 네트워크를 포함한다. 그러한 시스템들은 3GPP 내의 강화된 EUTRA(Evolved Universal Terrestrial Radio Access) 또는 EUTRAN(Evolved Universal Terrestrial Radio Access Network)와 함께, (3GPP2 내의 'Phase 2', 및 IEEE 802.11, 802.16, 802.20, 및 802.22의 진화들과 같은) 다른 기술 명세 생성 조직들 내의 통신 시스템들의 진화들을 포함한다. 사용자 디바이스들(105-109)은 실세계 이미징이 가능하고 사용자에게 가상 낙서로 증강된 실세계 이미지를 제공하는 것이 가능한 디바이스들을 포함한다.
동작 중에, 사용자(예를 들면, 사용자 디바이스(105)를 조작하는 사용자)는 그가 증강된 현실 장면의 일부로서 가상 낙서를 다른 사용자에게 송신하기를 원한다고 결정한다. 사용자 디바이스(105)는 그 후 가상 낙서를 생성하고 그 가상 낙서를 위치와 관련시키기 위해 이용된다. 사용자는 또한 가상 낙서를 보는 것이 허용될 사용자(들)(예를 들면, 사용자(107))의 리스트를 디바이스(105)에 제공한다. 디바이스(105)는 그 후 네트워크(103)를 이용하여 이 정보를 가상 낙서 서버(101)에 제공한다.
서버(101)는 모든 디바이스들(105-109)의 위치들과 함께 그들의 ID들(identities)을 주기적으로 모니터하고, 특정한 디바이스가 가상 낙서를 제공받을 위치의 근처에 있을 때, 서버(101)는 네트워크(103)를 이용하여 이 정보를 그 디바이스에 제공한다. 특정한 디바이스가 가상 낙서가 보여질 수 있는(virtual graffiti is available for viewing) 위치의 근처에 있을 때, 그 디바이스는, 예를 들면, 비프음을 내는 것(beeping)에 의해 사용자에 통지할 것이다. 사용자는 그 후 그 디바이스를 이용하여 증강된 현실 장면의 일부로서 가상 낙서를 볼 수 있다. 특히, 가상 낙서는 사용자의 실세계의 뷰에 삽입되거나 그와 병합될 것이다. 대안적인 실시예들에서는, 사용자에게 어떤 통지도 보내지지 않는다는 점에 주목해야 한다. 그러면 그의 환경에서 임의의 가상 낙서를 찾는 것은 사용자의 몫일 것이다.
도 2는 증강된 현실 장면(augmented reality scene)을 나타낸다. 이 예에서, 사용자는 "Joe, try the porter"라고 말하는 가상 낙서(203)를 생성하였고 이 낙서를 문의 위치에 부착하였다. 도 2에 도시된 바와 같이, 실세계 문(201)은 그 위에 낙서가 존재하지 않는다. 그러나, 만약 어떤 사용자가 그 가상 낙서를 볼 권한을 갖고 있다면, 그들의 증강된 현실 뷰잉(augmented reality viewing) 시스템은 그 위에 낙서(203)가 있는 문(201)을 보여줄 것이다. 따라서, 가상 낙서는 시스템(100)의 모든 사용자들에게 이용 가능하지 않다. 그 낙서는 (바람직하게는 그 낙서를 생성한 사람에 의해) 그것을 볼 수 있다고 지정된 사람들에게만 이용 가능하다. 각 디바이스(105-109)는 고유의 증강된 현실 장면을 그들의 사용자에게 제공할 것이다. 예를 들면, 제1 사용자는 제1 증강된 현실 장면을 볼 수 있는 반면, 제2 사용자는 완전히 다른 증강된 현실 장면을 볼 수 있다. 이것은 도 2에서 낙서(203)와 다른 낙서(205)로 도시되어 있다. 따라서, 문(201)을 보는 제1 사용자는 낙서(203)를 볼 수 있는 반면, 동일한 문(201)을 보는 제2 사용자는 낙서(205)를 볼 수 있다.
비록 상기 예는 특정한 물체(즉, 문(201)) 위에 디스플레이된 가상 낙서(203)가 주어졌지만, 본 발명의 대안적인 실시예들에서는, 가상 낙서가 어떤 물체에도 부착되지 않은 채로 디스플레이될 수 있다. 예를 들면, 낙서는 공중에 떠도는 것으로서, 또는 단순히 사람의 시야의 앞에 디스플레이될 수 있다. 또한, 비록 도 2의 가상 낙서는 텍스트를 포함하지만, 가상 낙서는 또한 이미지, 오디오 및 비디오 클립 등과 같은 "가상 개체"(virtual object)를 포함할 수 있다.
위에 설명된 바와 같이, 사용자 경험을 더 강화시키기 위하여, 가상 낙서는 사용자의 선호들에 기초하여 동적이고 변화할 수 있다. 예를 들면, 가상 개체들 및 텍스트는 각각의 보는 사람에 의해 상이하게 해석될 수 있다. 그렇게 하는 데 있어서, 각 사용자는 각 사용자에 의해 정의될 개인 선호들의 세트를 포함하는 프로파일을 가질 것이다. 이러한 프로파일들은 메시지들을 다운로드하여 그들의 외관들을 개인화(customize)하기 위해 처리할 때 참고될 것이다. 만약 개인화가 필요하지 않다면, 가상 낙서는 생성된 대로 디스플레이되지만, 만약 개인화가 요구된다면, 가상 낙서는 개인화된다.
이것은 도 3에 도시되어 있다. 도 3에 도시된 바와 같이, 제1 사용자는 가상 낙서(303)를 생성한다. 가상 낙서는 적어도 2개의 부분들을 포함한다; 제1 가상 개체(300)(맥주 컵)와 함께 가상 텍스트(301)("try the chili"). 가상 낙서(303)는 문(302)에 부착되고 제2 및 제3 사용자가 보기 위해 남겨진다. 그의 뷰를 개인화하지 않은 제2 사용자는 제1 사용자에 의해 생성된 것과 동일한 가상 개체(300) 및 가상 텍스트(301)를 갖는 가상 낙서(303)를 볼 것이다. 그러나, 맥주보다 와인에 대한 그의 신호를 포함하는 프로파일을 갖는 제3 사용자는 그의 디바이스에게 모든 맥주 관련된 물체들을 와인 관련된 물체들로 변경하도록 지시하였다. 따라서 제3 사용자는 상이한 가상 개체(306)(예를 들면, 와인병)의 근처에 또는 그 위에 새겨진 동일한 텍스트(301)를 볼 것이다. 따라서, 제3 사용자의 디바이스는 최초의 가상 낙서의 일부분을 교체하였다.
명백한 바와 같이, 임의의 특정한 디바이스(105-109)가 특정한 "실제" 물체에 부착된 가상 낙서를 디스플레이할 수 있기 위해서는, 그 디바이스는 그 물체의 위치를 식별하고, 그 후 그 물체의 위치에서 그 낙서를 디스플레이할 수 있어야 한다. 이 작업을 달성하기 위한 몇 가지 방법들이 있다. 본 발명의 하나의 실시예에서, 최초에 생성된 가상 낙서를 사용자의 현재의 환경에 조화시키려고 하는 비전 인식(vision recognition)을 이용하여 증강된 현실 시스템에 의해 US2007/0024527, METHOD AND DEVICE FOR AUGMENTED REALITY MESSAGE HIDING AND REVEALING에서 설명된 기법을 통해 달성된다. 예를 들면, 사용자에 의해 생성된 가상 낙서는 그 낙서의 주위 환경(surroundings)의 이미지와 함께 서버(101)에 업로드될 수 있다. 낙서와 함께 낙서의 주위 환경의 이미지는 사용자의 증강된 현실 시스템에 다운로드될 수 있고, 사용자의 주위 환경이 낙서의 주위 환경의 이미지와 조화할 때, 낙서는 적절히 디스플레이될 것이다.
본 발명의 다른 실시예에서 가상 낙서를 물리적 물체에 부착하는 것은 그 물리적 물체의 물리적 좌표들(GPS인 것으로 추정되지만, 어떤 다른 시스템일 수 있다)을 가상 낙서에 할당하는 것에 의해 달성된다. 그 물리적 좌표들은 증강된 현실 장면을 생성할 3D 렌더링 시스템(하나의 그러한 3D 렌더링 시스템은 이동 디바이스들에서의 사용을 위해 특별히 설계된 API인, Java Mobile 3D Graphics, 즉 M3G이다)에 의해 이용되는 가상 좌표들로 변환되어야 한다. 좌표 변환을 달성하는 가장 편리한 방법은 가상 x 좌표를 경도로, 가상 y 좌표를 위도로, 가상 z 좌표를 고도로 설정하고 따라서 점 (0, 0, 0)이, 지구의 중심에 투사된, 적도와 본초 자오선(the prime meridian)이 교차하는 점에 대응하도록 지구의 중심에 가상 좌표 시스템의 원점을 배치함으로써 가상 세계에 물리적 세계를 복제하는 것이다. 이것은 또한 가상 낙서 메시지가 처리될 때마다 물리적 좌표들로부터 가상 좌표들로의 계산적으로 비용이 많이 드는 변환들을 수행할 필요를 편리하게 제거할 것이다.
위에 언급된 바와 같이, 물리적 좌표 시스템은 GPS인 것으로 추정되지만, GPS가 반드시 이용 가능하다고는 할 수 없다(예를 들면, 건물 내부). 그러한 경우에, 예를 들면, 와이파이(WiFi) 기반 실내 위치 시스템과 같은 임의의 다른 적당한 위치 시스템이 대용될 수 있다. 그러한 시스템은 그의 GPS 좌표들이 알려져 있는 고정된 기준점(xr, yr, zr)로부터의 위치 오프셋((xo, yo, zo)을 제공할 수 있다. 어떤 좌표 시스템이 선택되든지, 결과로서 생기는 좌표들은 항상 임의의 다른 좌표 시스템으로 변환 가능할 것이다.
가상 낙서의 가상 좌표들을 획득한 후에, 3D 렌더링 시스템이 가상 장면을 렌더링할 수 있기 위해서는 관점(viewpoint)이 설정되어야 한다. 관점은 또한 가상 좌표들에서 지정되어야 하고 디바이스의 물리적 위치 및 방위(즉, 뷰잉 방향)에 완전히 의존한다. 만약 관점이 가상 낙서로 향한다면, 사용자는 관점의 시각으로부터 가상 낙서를 볼 것이다. 만약 사용자가 가상 낙서 쪽으로 이동한다면, 가상 낙서는 크기가 증가하는 것으로 보일 것이다. 만약 사용자가 제자리에서 180도 회전하여 가상 낙서로부터 다른 곳으로 향하면, 가상 낙서는 더 이상 보이지 않을 것이고 디스플레이되지 않을 것이다. 모든 이러한 시각적 변화들은 관점에 기초하여 3D 렌더링 시스템에 의해 자동으로 처리된다.
(지정된 가상 좌표들에서의) 가상 낙서를 포함하는 가상 장면 및 관점이 주어지면, 3D 렌더링 시스템은 사용자에게 고유한 가상 장면의 뷰를 생성할 수 있다. 이 가상 장면은 증강된 실제 장면을 생성하기 위해 실제 세계의 뷰에 오버레이되어야 한다. 이동 디바이스의 카메라로부터의 실제 세계의 뷰에 가상 장면을 오버레이하는 하나의 방법은 그의 배경으로서 가상 장면의 뒤에 임의의 이미지가 배치되게 하는 M3G 배경 개체를 이용하는 것이다. M3G 배경을 이용하여, 카메라로부터의 연속적으로 업데이트된 프레임들이 가상 장면의 뒤에 배치될 수 있고, 따라서 그 장면이 카메라 출력에 오버레이되는 것으로 보이게 할 수 있다.
상기 정보가 주어지면, 디바이스의 위치가 결정되고 서버에 송신된다. 서버는, 만일 있다면, 어떤 메시지들이 디바이스에 근접해 있고 디바이스에 대하여 이용 가능한지를 결정한다. 이러한 메시지들은 그 후 디바이스에 의해 다운로드되어 처리된다. 처리는 가상 메시지들의 물리적 위치들을 가상 좌표들로 변환하는 것을 포함한다. 그 메시지들은 그 후 그 가상 좌표들에 배치된다. 동시에, 디바이스의 위치 및 그의 방위는 가상 세계로의 관점을 또한 가상 좌표들에서 정의하기 위해 이용된다. 만약 다운로드된 가상 메시지가 주어진 관점으로부터 보인다면, 그것은 이동 디바이스의 디스플레이에서 디바이스의 카메라로부터의 장면의 라이브 비디오의 위에 렌더링된다.
따라서, 만약 사용자가 물체의 위에 가상 메시지를 배치하기를 원한다면, 사용자는 메시지가 남겨질 물체의 위의 점의 위치를 식별해야 한다. 가장 간단한 예로, 사용자는 물체 위에 그의 디바이스를 배치하고 위치를 캡처할 수 있다. 그는 그 후 이 위치를 가상 개체 및 그의 관련된 콘텐트(예를 들면, 맥주컵과 그 컵의 남쪽으로 향하는 측면에 적용된 텍스트 메시지 "try the porter")와 함께 서버에 송신한다. 사용자는 또한 그 메시지가 특정한 사용자에 대하여 이용 가능하다는 것을 지정한다. 그 특정한 사용자가 바에 도착하고 그 메시지의 범위 내에 있을 때, 그들은 그들의 위치(따라서, 그들의 관점)로부터 그 메시지를 볼 것이다. 만약 그들이 메시지의 동쪽으로 향하는 측면을 향하여 보고 있다면, 그들은 컵을 볼 것이지만, 단지 남쪽의 측면에 어떤 텍스트 메시지가 있다는 것을 알 수 있을 것이다. 만약 사용자가 텍스트 메시지를 읽기를 원한다면, 그들은 그들의 디바이스(따라서 그들의 관점)를 그것이 컵의 남쪽 측면으로 향하도록 움직여야 할 것이다.
도 4는 도 1의 서버의 블록도이다. 명백한 바와 같이, 서버(101)는 글로벌 개체 관리자(401), 데이터베이스(403), 및 개인 개체 관리자(405)를 포함한다. 동작 중에, 글로벌 개체 관리자(401)는 서버(101)에 낙서를 저장하기를 원하는 임의의 디바이스(105-109)로부터 가상 낙서를 수신할 것이다. 이 정보는 바람직하게는 수신기(407)를 통하여 무선으로 수신된다. 글로벌 개체 관리자(401)는 시스템(100) 내에 존재하는 모든 가상 낙서를 저장하는 책임이 있다. 가상 낙서와 함께, 글로벌 개체 관리자(401)는 또한 낙서에 대한 위치와 함께 그 낙서를 디스플레이하도록 허용되는 디바이스들의 리스트를 수신할 수 있다. 다시, 이 정보는 바람직하게는 수신기(407)를 통하여 무선으로 수신된다. 만약 낙서가 특정한 항목(item)(움직이는 또는 움직이지 않는)에 부착될 것이라면, 그 가상 낙서를 물체에 부착하기 위해 필요한 정보도 수신될 것이다. 제1 실시예에서는, 움직이지 않는 항목의 주위 환경의 디지털 표현이 저장될 것이고; 제2 실시예에서는, 움직이는 또는 움직이지 않는 가상 낙서의 물리적 위치가 저장될 것이다. 상기 정보 모두는 데이터베이스(403)에 저장된다.
비록 도 4에는 하나의 개인 디지털 관리자(405)만이 도시되어 있지만, 각 사용자 디바이스가 그 자신의 개인 개체 관리자(405)를 가질 것이라는 것이 상상된다. 개인 개체 관리자(405)는 그의 대응하는 사용자 디바이스와 글로벌 개체 관리자(401) 사이의 매개자로서 기능하도록 의도되어 있다. 개인 개체 관리자(405)는 그의 대응하는 사용자 디바이스에 대한 위치를 주기적으로 수신할 것이다. 일단 개인 개체 관리자(405)가 디바이스의 위치를 결정하면, 개인 개체 관리자(405)는 그 디바이스의 위치에 또는 그의 근처에 그 특정한 장치에 대하여 임의의 가상 낙서가 존재하는지를 결정하기 위해 글로벌 개체 관리자(401)에 액세스할 것이다. 개인 개체 관리자(405)는 그 특정한 장치 및 그 장치의 위치에 관련된 가상 낙서만을 결정하기 위하여 모든 이용 가능한 가상 낙서를 필터링한다. 개인 개체 관리자(405)는 그 후 그 디바이스의 위치에 기초하여 가상 낙서를 디스플레이하기 위해 필요한 관련된 정보를 디바이스에 제공하고, 관련된 가상 낙서는 디바이스의 ID 및 위치에 기초하여 변한다. 이 정보는 그 정보를 디바이스에 송신하도록 송신기(409)에 지시하는 것에 의해 디바이스에 제공될 수 있다.
도 5는 도 1의 사용자 디바이스의 블록도이다. 도시된 바와 같이, 사용자 디바이스는 증강된 현실 시스템(515), 상황 인식 회로(509), 프로파일 데이터베이스(507), 낙서 데이터베이스(508), 논리 회로(505), 송신기(511), 수신기(513), 및 사용자 인터페이스(517)를 포함한다. 상황 인식 회로(509)는 사용자 디바이스에 대한 현재의 상황을 생성할 수 있는 임의의 디바이스를 포함할 수 있다. 예를 들면, 상황 인식 회로(509)는 사용자 디바이스의 위치를 결정할 수 있는 GPS 수신기를 포함할 수 있다. 다르게는, 회로(509)는 시계, 주위 온도를 결정할 수 있는 온도계, 심박동수 모니터와 같은 생체 측정 모니터, 가속도계, 기압계, ..., 등과 같은 것들을 포함할 수 있다.
동작 중에, 디바이스의 사용자는 사용자 인터페이스(517)를 통해 가상 낙서를 생성한다. 가상 낙서는 바람직하게는 적어도 2개의 부분들, 가상 개체 및 콘텐트를 포함하지만, 반드시 그런 것은 아니다. 가상 개체는 원시 다각형(primitive polygon) 또는 예를 들면 아바타를 나타내는 복잡한 다면체일 수 있는 3D 개체 모델이다. 콘텐트는 바람직하게는 텍스트, 클립 아트(clip art)와 같은 미리 저장된 이미지, 그림, 사진, 오디오 또는 비디오 클립, ..., 등이다. 가상 개체 및 그의 관련된 콘텐트는 낙서 데이터베이스(508)에 저장되는 가상 낙서를 포함한다. 본 발명의 하나의 실시예에서, 사용자 인터페이스(517)는 낙서 데이터베이스(508)로부터 가상 개체들을 획득하고 손으로 쓴 메시지들 및/또는 그림들을 생성할 수 있는 전자 태블릿을 포함한다.
일단 논리 회로(505)가 사용자 인터페이스(517) 또는 낙서 데이터베이스(508)로부터 가상 낙서를 수신하면, 논리 회로(505)는 상황 인식 회로(509)에 액세스하고 (움직이지 않는 낙서의 경우) 그 낙서가 생성된 위치 또는 (움직이는 낙서의 경우) 그 가상 낙서가 부착될 디바이스를 결정한다. 논리 회로(505)는 또한 낙서를 볼 권한들을 갖는 사용자들의 리스트를 수신한다. 이 리스트는 또한 사용자 인터페이스(517)를 통하여 논리 회로(505)에 제공된다.
본 발명의 하나의 실시예에서 가상 낙서는 물리적 물체와 관련된다. 이 경우, 논리 회로(505)는 또한 낙서를 물체에 부착하기 위해 필요한 정보를 수신할 것이다. 마지막으로, 가상 낙서는 그 가상 낙서, 위치, 그 낙서를 볼 수 있는 사용자들의 리스트, 및 만약 관련된다면, 낙서를 물체에 부착하기 위해 필요한 정보를 송신하도록 송신기(511)에 지시하는 논리 회로(505)에 의해 가상 낙서 서버(101)에 제공된다. 위에 설명된 바와 같이, 서버(101)는 모든 디바이스들(105-109)의 위치들과 함께 그들의 ID들을 주기적으로 모니터하고, 특정한 디바이스가 가상 낙서를 제공받을 위치의 근처에 있을 때, 서버(101)는 네트워크(103)를 이용하여 이 정보를 그 디바이스에 제공한다.
특정한 디바이스가 가상 낙서가 보여질 수 있는 위치의 근처에 있을 때, 그 디바이스는, 예를 들면, 비프음을 내도록 사용자 인터페이스(517)에 지시함으로써, 사용자에게 통지할 것이다. 사용자는 그 후 그 디바이스를 이용하여 증강된 현실 장면의 일부로서 가상 낙서를 볼 수 있다. 따라서, 도 5의 디바이스가 그것에 대하여 가상 낙서가 이용 가능한 위치의 근처에 있을 때, 수신기(513)는 서버(101)로부터 그 낙서 및 낙서의 위치를 수신할 것이다. 만약 관련된다면, 수신기(513)는 또한 낙서를 물리적 물체에 부착하기 위해 필요한 정보를 수신할 것이다. 이 정보는 논리 회로(505)에 전달될 것이다.
위에 설명된 바와 같이, 각 사용자 디바이스는 각 사용자에 의해 정의될 개인 선호들의 세트를 포함하는 프로파일 데이터베이스(507)를 포함한다. 개인 선호들은, 예를 들면, 다음과 같을 수 있다:
- 제1 유형의 물체를 제2 유형의 물체로 교체하는 것;
- 제1 크기의 물체를 제2 크기의 유사한 물체로 교체하는 것;
- 제1 색채 배합(color scheme)의 물체를 제2 색채 배합의 유사한 물체로 교체하는 것;
- 가독성(readability)을 위해 제1 크기의 텍스트를 제2 크기의 텍스트로 교체하는 것;
- 가독성을 위해 제1 폰트의 텍스트를 제2 폰트의 텍스트로 교체하는 것;
- 낮은 해상도의 이미지를 보다 높은 해상도의 이미지로 교체하는 것;
- 제1 포맷(예를 들면, mp3)의 오디오 파일을 제2 포맷(예를 들면, wav)의 오디오 파일로 교체하는 것.
개인 선호들은 가상 낙서를 다운로드하여 그 낙서의 외관들을 개인화하기 위하여 처리할 때 (프로파일 관리자로서 기능하는) 논리 회로(505)에 의해 액세스될 것이다. 임의의 개인화된 낙서는 낙서 데이터베이스(508) 내에 저장될 것이다. 만약 개인화가 필요하지 않다면, 논리 회로(505)는 단순히 낙서를 낙서 데이터베이스(508) 내에 저장한다.
논리 회로(505)는 상황 인식 회로(509)에 주기적으로 액세스하여 그의 위치에 대한 업데이트들을 획득하고 이러한 업데이트들을 서버(101)에 제공한다. 논리 회로(505)가 가상 낙서가 디스플레이되어야 한다고 결정할 때, 그것은 그 사실을 사용자에게 통지할 것이다. 사용자는 그 후 증강된 현실 시스템(515)을 이용하여 낙서를 디스플레이할 수 있다. 특히, 이미저(imager)(503)는 현재의 배경을 이미징하고 이것을 디스플레이(501)에 제공할 것이다. 디스플레이(501)는 또한 낙서 데이터베이스(508)로부터 가상 낙서를 수신하고 그 낙서가 적절히 배치된 현재의 배경의 이미지를 제공할 것이다. 따라서, 가상 낙서는 사용자의 실세계의 뷰에 삽입되거나 그와 병합될 것이다.
도 6은 도 1의 서브의 동작을 나타내는 순서도이다. 논리 흐름은 글로벌 개체 관리자(401)가 제1 디바이스로부터, 가상 낙서, 가상 낙서의 위치, 및 가상 낙서를 볼 수 있는 사용자들의 리스트를 나타내는 정보를 수신하는 단계(601)에서 시작한다. 단계(601)에서 수신된 정보는 기존의 정보에 대한 업데이트들일 수 있다는 점에 주목해야 한다. 예를 들면, 가상 낙서가 "움직이는" 것일 때, 글로벌 개체 관리자(401)는 낙서의 위치에 대한 주기적인 업데이트들을 수신할 수 있다. 또한, 가상 낙서가 변화하는 것(예를 들면, 심박동수)일 때, 글로벌 개체 관리자(401)는 낙서에 대한 주기적인 업데이트들을 수신할 수 있다.
도 6의 논리 흐름에서 계속하여, 정보는 그 후 데이터베이스(403)에 저장된다(단계(603)). 위에 설명된 바와 같이, 개인 개체 관리자(405)는 제1 디바이스를 포함하는 모든 디바이스들에 대한 위치들(예를 들면, 지리적 지역들)을 주기적으로 수신하고(단계(605)) 디바이스의 위치가 임의의 저장된 가상 낙서의 근처에 있는지를 결정할 것이다(단계(607)). 만약, 단계(607)에서, 개인 개체 관리자(405)가 그의 대응하는 디바이스(제2 디바이스)가 그것이 볼 수 있는 (제1 디바이스에 부착될 수 있는) 임의의 가상 낙서의 근처에 있다고 결정하면, 논리 흐름은 그 낙서 및 그 가상 낙서를 보기 위한 필요한 정보(예를 들면, 낙서의 위치)가 송신기(409)를 통해 제2 디바이스에 무선으로 송신되는 단계(609)로 계속된다.
도 7은 낙서를 생성할 때의 도 1의 사용자 디바이스의 동작을 나타내는 순서도이다. 특히, 도 7의 논리 흐름은 가상 낙서를 생성하고 다른 사람들이 보기 위해 그 낙서를 서버(101)에 저장하기 위해 필요한 단계들을 나타낸다. 논리 흐름은 사용자 인터페이스(517)가 사용자로부터 입력된 가상 낙서와 함께, 그 낙서를 보는 권한들을 갖는 디바이스들의 리스트를 수신하는 단계(701)에서 시작한다. 이 경우 가상 낙서는 사용자 인터페이스(517)를 통해 사용자로부터 입력될 수 있고, 또는 상황 인식 회로(509)로부터 획득된 낙서일 수 있다. 예를 들면, 상황 인식 회로가 심박동수 모니터를 포함하는 경우, 낙서는 회로(509)로부터 획득된 실제 심박동수일 수 있다.
이 정보는 논리 회로(505)에 전달된다(단계(703)). 단계(705)에서, 논리 회로(505)는 상황 인식 회로(509)에 액세스하고 가상 낙서에 대한 현재의 위치를 검색한다. 논리 흐름은 논리 회로(505)가 그 위치, 낙서의 디지털 표현(예를 들면, .jpeg 또는 .gif 이미지), 및 낙서를 보는 권한들을 갖는 사용자들의 리스트를 송신하도록 송신기(511)에 지시하는 단계(707)로 계속된다. 3D 가상 개체 경우에, 디지털 표현은 3D 모델들 및 콘텐트(예를 들면, 사진, 음악 파일 등)에의 URL들을 포함할 수 있다는 점에 주목해야 한다. 만약 가상 낙서가 외관이 변화하는 것이라면, 논리 흐름은 논리 회로(505)가 낙서를 주기적으로 업데이트하는 옵션의 단계(709)로 계속될 수 있다.
도 8은 도 1의 사용자 디바이스의 동작을 나타내는 순서도이다. 특히, 도 8의 논리 흐름은 가상 낙서를 디스플레이하기 위해 필요한 단계들을 나타낸다. 논리 흐름은 논리 회로(505)가 상황 인식 회로(509)에 주기적으로 액세스하고 서버(101)에 송신되도록 송신기(511)에 위치를 제공하는 단계(801)에서 시작한다. 위치를 제공하는 단계에 응답하여, 단계(803)에서, 수신기(513)는 가상 낙서를 보기 위해 필요한 정보를 수신한다. 위에 설명된 바와 같이, 이 정보는 단순히 가상 낙서의 대충의 위치(gross location)와 함께 가상 낙서의 표현을 포함할 수 있다. 다른 실시예들에서, 이 정보는 가상 낙서를 물체에 부착하기 위해 필요한 정보를 포함할 수 있다. 그러한 정보는 물리적 물체의 디지털 표현, 또는 가상 낙서의 정확한 위치를 포함할 수 있다.
단계(805)에서, (프로파일 관리자로서 기능하는) 논리 회로(505)는 가상 낙서를 분석한다. 그 후 사용자 선호들을 결정하기 위하여 프로파일 데이터베이스(507)에 액세스한다(단계(806)). 단계(807)에서, 논리 회로(505)는 낙서가 수정되어야 하는지를 결정하고, 만일 아니라면 논리 흐름은 단계(811)로 계속되고, 그렇지 않다면 논리 흐름은 단계(809)로 계속된다.
단계(809)에서 논리 회로(505)는 낙서의 일부분을 교체하거나 수정하는 것에 의해 사용자 선호들에 기초하여 가상 낙서를 적절히 수정한다. 단계(811)에서, 논리 회로(505)는 가상 낙서 데이터베이스(508)에 액세스하고 수정된 또는 수정되지 않은 가상 낙서와 함께 그 낙서를 디스플레이하기 위해 필요한 다른 정보(예를 들면, 낙서의 위치)를 저장한다. 3D 경우에, 이것은 관점을 지정하기 위한 디바이스의 방위를 포함할 것이다. 마지막으로, 단계(813)에서, (증강된 현실 시스템(515)의 일부로서) 디스플레이(501)는 사용자가 적절한 위치에 있을 때 증강된 현실 장면의 일부로서 그 수정된 또는 수정되지 않은 가상 낙서를 디스플레이한다.
본 발명은 특정한 실시예들에 관하여 상세히 도시되고 설명되었지만, 이 기술의 숙련자들은 본 발명의 범위 및 정신으로부터 일탈하지 않고 거기에 형태 및 상세의 다양한 변화들이 이루어질 수 있다는 것을 이해할 것이다. 예를 들면, 상기 설명에는 사용자 디바이스들 내에 존재하는 프로파일 데이터베이스(507)가 제공되었지만, 이 기술의 통상의 지식을 가진 자는 데이터베이스(507)가 서버(101) 내에 존재할 수 있고, 서버(101)는 임의의 사용자에게 낙서를 제공하기 전에 낙서의 필요한 수정을 수행한다는 것을 알 것이다. 이 세이시에이션(satiation) 동안에, 서버(101)는 제1 디바이스로부터 가상 낙서와 함께 가상 낙서의 위치를 수신하고 데이터베이스(507)에 액세스하여 제2 디바이스에 대한 선호들을 결정할 것이다. 가상 낙서는 그 후 제2 디바이스의 선호들에 기초하여 논리 회로에 의해 수정될 것이다. 제2 디바이스는 제2 디바이스의 위치가 가상 낙서의 위치의 근처에 있을 때 수정된 가상 낙서를 제공받을 것이다. 그러한 변화들은 다음에 오는 청구항들의 범위 내에 있는 것으로 의도된다.

Claims (18)

  1. 가상 낙서(virtual graffiti)를 수신하고 증강된 현실 장면(augmented reality scene)의 일부로서 디스플레이하는 방법으로서,
    위치를 제공하는 단계;
    상기 위치를 제공하는 단계에 응답하여 가상 낙서를 수신하는 단계;
    사용자 선호들(user preferences)을 결정하는 단계;
    상기 사용자 선호들에 기초하여 상기 가상 낙서를 수정하는 단계; 및
    상기 수정된 가상 낙서를 증강된 현실 장면의 일부로서 디스플레이하는 단계 ― 상기 수정된 가상 낙서는 사용자의 실세계 환경의 뷰(user's view of a real-world environment)에 삽입(embed)되거나 그와 병합됨 ―
    를 포함하는 디스플레이 방법.
  2. 제1항에 있어서, 사용자 선호들을 결정하는 단계는 상기 사용자 선호들을 결정하기 위해 데이터베이스에 액세스하는 단계를 포함하는 디스플레이 방법.
  3. 제1항에 있어서, 상기 가상 낙서를 수정하는 단계는 상기 가상 낙서의 일부분을 교체하거나 수정하는 단계를 포함하는 디스플레이 방법.
  4. 제1항에 있어서, 상기 가상 낙서는 개체 및 콘텐트를 포함하는 디스플레이 방법.
  5. 제4항에 있어서, 상기 가상 낙서를 수정하는 단계는,
    - 제1 유형의 물체를 제2 유형의 물체로 교체하는 것;
    - 제1 크기의 물체를 제2 크기의 유사한 물체로 교체하는 것;
    - 제1 색채 배합(color scheme)의 물체를 제2 색채 배합의 유사한 물체로 교체하는 것;
    - 제1 크기의 텍스트를 제2 크기의 텍스트로 교체하는 것;
    - 제1 폰트의 텍스트를 제2 폰트의 텍스트로 교체하는 것;
    - 낮은 해상도의 이미지를 보다 높은 해상도의 이미지로 교체하는 것; 및
    - 제1 포맷의 오디오 파일을 제2 포맷의 오디오 파일로 교체하는 것
    중 하나를 포함하는 디스플레이 방법.
  6. 제4항에 있어서, 상기 콘텐트는 텍스트, 이미지, 오디오, 또는 비디오 클립을 포함하는 디스플레이 방법.
  7. 디바이스에 가상 낙서를 제공하는 방법으로서,
    제1 디바이스로부터 가상 낙서와 함께 상기 가상 낙서의 위치를 수신하는 단계;
    제2 디바이스에 대한 선호들을 결정하는 단계;
    상기 제2 디바이스의 상기 선호들에 기초하여 상기 가상 낙서를 수정하는 단계;
    제2 디바이스의 위치를 수신하는 단계; 및
    상기 제2 디바이스의 위치가 상기 가상 낙서의 위치의 근처에 있을 때 상기 제2 디바이스에 상기 수정된 가상 낙서를 제공하는 단계 ― 상기 수정된 가상 낙서는 상기 제2 디바이스에 의해 실세계 환경의 뷰(a view of a real-world environment)에 삽입(embed)되거나 그와 병합됨 ―
    를 포함하는 가상 낙서 제공 방법.
  8. 제7항에 있어서, 사용자 선호들을 결정하는 단계는 상기 사용자 선호들을 결정하기 위해 데이터베이스에 액세스하는 단계를 포함하는 가상 낙서 제공 방법.
  9. 제7항에 있어서, 상기 가상 낙서를 수정하는 단계는 상기 가상 낙서의 일부분을 교체하거나 수정하는 단계를 포함하는 가상 낙서 제공 방법.
  10. 제7항에 있어서, 상기 가상 낙서는 개체 및 콘텐트를 포함하는 가상 낙서 제공 방법.
  11. 제10항에 있어서, 상기 가상 낙서를 수정하는 단계는,
    - 제1 유형의 물체를 제2 유형의 물체로 교체하는 것;
    - 제1 크기의 물체를 제2 크기의 유사한 물체로 교체하는 것;
    - 제1 색채 배합(color scheme)의 물체를 제2 색채 배합의 유사한 물체로 교체하는 것;
    - 제1 크기의 텍스트를 제2 크기의 텍스트로 교체하는 것;
    - 제1 폰트의 텍스트를 제2 폰트의 텍스트로 교체하는 것;
    - 낮은 해상도의 이미지를 보다 높은 해상도의 이미지로 교체하는 것; 및
    - 제1 포맷의 오디오 파일을 제2 포맷의 오디오 파일로 교체하는 것
    중 하나를 포함하는 가상 낙서 제공 방법.
  12. 제10항에 있어서, 상기 콘텐트는 텍스트, 이미지, 오디오, 또는 비디오 클립을 포함하는 가상 낙서 제공 방법.
  13. 가상 낙서(virtual graffiti)를 수신하고 증강된 현실 장면(augmented reality scene)의 일부로서 디스플레이하는 장치로서,
    위치를 제공하는 송신기;
    상기 위치를 제공하는 단계에 응답하여 가상 낙서를 수신하는 수신기;
    사용자 선호들(user preferences)을 결정하고 상기 사용자 선호들에 기초하여 상기 가상 낙서를 수정하는 논리 회로; 및
    상기 수정된 가상 낙서를 증강된 현실 장면의 일부로서 디스플레이하는 증강된 현실 시스템(augmented reality system) ― 상기 수정된 가상 낙서는 사용자의 실세계 환경의 뷰(user's view of a real-world environment)에 삽입(embed)되거나 그와 병합됨 ―
    을 포함하는 디스플레이 장치.
  14. 제13항에 있어서, 상기 사용자 선호들은 데이터베이스 내에 존재하는 디스플레이 장치.
  15. 제13항에 있어서, 상기 논리 회로는 상기 가상 낙서의 일부분을 교체하거나 수정하는 것에 의해 상기 가상 낙서를 수정하는 디스플레이 장치.
  16. 제13항에 있어서, 상기 가상 낙서는 개체 및 콘텐트를 포함하는 디스플레이 장치.
  17. 제16항에 있어서, 상기 논리 회로는,
    - 제1 유형의 물체를 제2 유형의 물체로 교체하는 것;
    - 제1 크기의 물체를 제2 크기의 유사한 물체로 교체하는 것;
    - 제1 색채 배합(color scheme)의 물체를 제2 색채 배합의 유사한 물체로 교체하는 것;
    - 제1 크기의 텍스트를 제2 크기의 텍스트로 교체하는 것;
    - 제1 폰트의 텍스트를 제2 폰트의 텍스트로 교체하는 것;
    - 낮은 해상도의 이미지를 보다 높은 해상도의 이미지로 교체하는 것; 및
    - 제1 포맷의 오디오 파일을 제2 포맷의 오디오 파일로 교체하는 것
    중 하나를 수행하는 것에 의해 상기 가상 낙서를 수정하는 디스플레이 장치.
  18. 제16항에 있어서, 상기 콘텐트는 텍스트, 이미지, 오디오, 또는 비디오 클립을 포함하는 디스플레이 장치.
KR1020107023341A 2008-03-20 2009-03-16 이동 가상 및 증강된 현실 시스템 KR101226405B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/051,969 2008-03-20
US12/051,969 US20090237328A1 (en) 2008-03-20 2008-03-20 Mobile virtual and augmented reality system
PCT/US2009/037257 WO2009117350A2 (en) 2008-03-20 2009-03-16 Mobile virtual and augmented reality system

Publications (2)

Publication Number Publication Date
KR20100139043A KR20100139043A (ko) 2010-12-31
KR101226405B1 true KR101226405B1 (ko) 2013-01-24

Family

ID=41088371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107023341A KR101226405B1 (ko) 2008-03-20 2009-03-16 이동 가상 및 증강된 현실 시스템

Country Status (7)

Country Link
US (1) US20090237328A1 (ko)
EP (2) EP3702914B1 (ko)
KR (1) KR101226405B1 (ko)
CN (1) CN102037485B (ko)
BR (1) BRPI0910260A2 (ko)
DE (1) DE202009019122U1 (ko)
WO (1) WO2009117350A2 (ko)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214111A1 (en) * 2007-12-21 2010-08-26 Motorola, Inc. Mobile virtual and augmented reality system
US20090315766A1 (en) 2008-06-19 2009-12-24 Microsoft Corporation Source switching for devices supporting dynamic direction information
US8467991B2 (en) 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US8350871B2 (en) * 2009-02-04 2013-01-08 Motorola Mobility Llc Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system
US8872767B2 (en) * 2009-07-07 2014-10-28 Microsoft Corporation System and method for converting gestures into digital graffiti
US9424583B2 (en) 2009-10-15 2016-08-23 Empire Technology Development Llc Differential trials in augmented reality
US8566020B2 (en) * 2009-12-01 2013-10-22 Nokia Corporation Method and apparatus for transforming three-dimensional map objects to present navigation information
US9875671B2 (en) * 2009-12-17 2018-01-23 Google Llc Cloud-based user interface augmentation
JP5616622B2 (ja) * 2009-12-18 2014-10-29 アプリックスＩｐホールディングス株式会社 拡張現実感提供方法及び拡張現実感提供システム
US20110225069A1 (en) * 2010-03-12 2011-09-15 Cramer Donald M Purchase and Delivery of Goods and Services, and Payment Gateway in An Augmented Reality-Enabled Distribution Network
US20110221771A1 (en) * 2010-03-12 2011-09-15 Cramer Donald M Merging of Grouped Markers in An Augmented Reality-Enabled Distribution Network
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9542038B2 (en) 2010-04-07 2017-01-10 Apple Inc. Personalizing colors of user interfaces
WO2011144793A1 (en) * 2010-05-18 2011-11-24 Teknologian Tutkimuskeskus Vtt Mobile device, server arrangement and method for augmented reality applications
US20110313779A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
WO2011160114A1 (en) * 2010-06-18 2011-12-22 Minx, Inc. Augmented reality
US20120105440A1 (en) * 2010-06-25 2012-05-03 Lieberman Stevan H Augmented Reality System
US20120256917A1 (en) * 2010-06-25 2012-10-11 Lieberman Stevan H Augmented Reality System
KR101479262B1 (ko) 2010-09-02 2015-01-12 주식회사 팬택 증강현실 정보 이용 권한 부여 방법 및 장치
US8174931B2 (en) 2010-10-08 2012-05-08 HJ Laboratories, LLC Apparatus and method for providing indoor location, position, or tracking of a mobile computer using building information
WO2012099377A2 (ko) * 2011-01-17 2012-07-26 엘지전자 주식회사 증강 현실 타겟(ar target) 업데이트 방법 및 이를 채용하는 단말 및 서버
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
CN102810099B (zh) * 2011-05-31 2018-04-27 中兴通讯股份有限公司 增强现实视图的存储方法和装置
US9245193B2 (en) 2011-08-19 2016-01-26 Qualcomm Incorporated Dynamic selection of surfaces in real world for projection of information thereon
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9285871B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
US9930128B2 (en) * 2011-09-30 2018-03-27 Nokia Technologies Oy Method and apparatus for accessing a virtual object
US9349218B2 (en) * 2012-07-26 2016-05-24 Qualcomm Incorporated Method and apparatus for controlling augmented reality
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US9111383B2 (en) * 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US8928695B2 (en) * 2012-10-05 2015-01-06 Elwha Llc Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors
US10713846B2 (en) * 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US9240075B2 (en) * 2013-03-15 2016-01-19 Daqri, Llc Campaign optimization for experience content dataset
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
JP2014203406A (ja) * 2013-04-09 2014-10-27 富士通株式会社 制御装置、制御方法および制御プログラム
JP2014229104A (ja) * 2013-05-23 2014-12-08 ヤマハ株式会社 サーバ装置、プログラム及び通信方法
KR101873127B1 (ko) * 2013-09-30 2018-06-29 피씨엠에스 홀딩스, 인크. 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품
CN103679204A (zh) * 2013-12-23 2014-03-26 上海安琪艾可网络科技有限公司 基于智能移动设备平台的图像识别与创作应用系统及方法
KR101826290B1 (ko) * 2014-01-24 2018-02-06 피씨엠에스 홀딩스, 인크. 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
US10592929B2 (en) 2014-02-19 2020-03-17 VP Holdings, Inc. Systems and methods for delivering content
JP2016057814A (ja) * 2014-09-09 2016-04-21 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
US9659381B2 (en) * 2015-01-26 2017-05-23 Daqri, Llc Real time texture mapping for augmented reality system
US11201981B1 (en) * 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
EP3264783B1 (en) * 2016-06-29 2021-01-06 Nokia Technologies Oy Rendering of user-defined messages having 3d motion information
TWI603227B (zh) 2016-12-23 2017-10-21 李雨暹 移動物件的虛擬訊息遠距管理方法與應用系統
US10523606B2 (en) 2018-01-02 2019-12-31 Snap Inc. Generating interactive messages with asynchronous media content
US10567321B2 (en) 2018-01-02 2020-02-18 Snap Inc. Generating interactive messages with asynchronous media content
CN108415974A (zh) * 2018-02-08 2018-08-17 上海爱优威软件开发有限公司 留言方法、留言信息获取方法、终端设备及云端系统
CN108776544B (zh) * 2018-06-04 2021-10-26 网易（杭州）网络有限公司 增强现实中的交互方法及装置、存储介质、电子设备
US11063889B2 (en) 2018-06-08 2021-07-13 Snap Inc. Generating interactive messages with entity assets
US11087539B2 (en) 2018-08-21 2021-08-10 Mastercard International Incorporated Systems and methods for generating augmented reality-based profiles
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
US10897564B1 (en) 2019-06-17 2021-01-19 Snap Inc. Shared control of camera device by multiple devices
US11340857B1 (en) 2019-07-19 2022-05-24 Snap Inc. Shared control of a virtual object by multiple devices
US11265274B1 (en) 2020-02-28 2022-03-01 Snap Inc. Access and routing of interactive messages
CN111476873B (zh) * 2020-03-12 2023-11-10 浙江工业大学 一种基于增强现实的手机虚拟涂鸦方法
US11985175B2 (en) 2020-03-25 2024-05-14 Snap Inc. Virtual interaction session to facilitate time limited augmented reality based communication between multiple users
US11593997B2 (en) * 2020-03-31 2023-02-28 Snap Inc. Context based augmented reality communication

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241859A1 (en) 2005-04-21 2006-10-26 Microsoft Corporation Virtual earth real-time advertising
US20080122871A1 (en) 2006-11-27 2008-05-29 Microsoft Corporation Federated Virtual Graffiti

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US6825550B2 (en) * 1999-09-02 2004-11-30 Micron Technology, Inc. Board-on-chip packages with conductive foil on the chip surface
SE522917C2 (sv) * 1999-09-10 2004-03-16 Ericsson Telefon Ab L M Mobilkommunikationssystem vilket möjliggör positionsassocierade medelanden
US6377793B1 (en) * 2000-12-06 2002-04-23 Xybernaut Corporation System and method of accessing and recording messages at coordinate way points
US6681107B2 (en) * 2000-12-06 2004-01-20 Xybernaut Corporation System and method of accessing and recording messages at coordinate way points
ATE354224T1 (de) * 2001-05-02 2007-03-15 Symbian Ltd Gruppenkommunikationsverfahren für ein funkkommunikationsgerät
US7113618B2 (en) * 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
US6879835B2 (en) * 2001-12-04 2005-04-12 International Business Machines Corporation Location-specific messaging system
JP2003303356A (ja) * 2002-04-09 2003-10-24 Canon Inc 展示装置
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
US7190960B2 (en) * 2002-06-14 2007-03-13 Cingular Wireless Ii, Llc System for providing location-based services in a wireless network, such as modifying locating privileges among individuals and managing lists of individuals associated with such privileges
US7042421B2 (en) * 2002-07-18 2006-05-09 Information Decision Technologies, Llc. Method for advanced imaging in augmented reality
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
KR100593982B1 (ko) * 2003-11-06 2006-06-30 삼성전자주식회사 가상 그래피티를 제공하는 장치 및 방법과 그에 따른기록매체
KR100593398B1 (ko) * 2003-12-08 2006-06-28 한국전자통신연구원 증강현실을 이용한 휴대단말기 사용자의 위치정보제공시스템 및 방법
US20050131776A1 (en) * 2003-12-15 2005-06-16 Eastman Kodak Company Virtual shopper device
EP1581031B1 (en) * 2004-03-25 2010-10-06 FUJIFILM Corporation Methods of forming a pattern and a conductive pattern
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
KR20090128582A (ko) * 2004-10-19 2009-12-15 야후! 인크. 위치 기반 사회 네트워킹을 위한 시스템 및 방법
US7450954B2 (en) * 2005-02-07 2008-11-11 Lamoda, Inc. System and method for location-based interactive content
DE602005013752D1 (de) * 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
US8933889B2 (en) * 2005-07-29 2015-01-13 Nokia Corporation Method and device for augmented reality message hiding and revealing
US20070032244A1 (en) * 2005-08-08 2007-02-08 Microsoft Corporation Group-centric location tagging for mobile devices
US20070043828A1 (en) * 2005-08-16 2007-02-22 Toshiba America Research, Inc. Ghost messaging
KR100836481B1 (ko) * 2006-09-08 2008-06-09 주식회사 케이티 3ｄ 가상지도상의 사용자의 아바타 객체의 위치 및 활동정보를 현실 세계로 광고하는 시스템 및 방법
US20080079751A1 (en) * 2006-10-03 2008-04-03 Nokia Corporation Virtual graffiti
US20080225779A1 (en) * 2006-10-09 2008-09-18 Paul Bragiel Location-based networking system and method
US20080154697A1 (en) * 2006-12-22 2008-06-26 Microsoft Corporation Like-Minded People Proximity Detection and Interest Matching System
US20080215975A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
US20090054084A1 (en) * 2007-08-24 2009-02-26 Motorola, Inc. Mobile virtual and augmented reality system
US7844229B2 (en) * 2007-09-21 2010-11-30 Motorola Mobility, Inc Mobile virtual and augmented reality system
US8350871B2 (en) * 2009-02-04 2013-01-08 Motorola Mobility Llc Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241859A1 (en) 2005-04-21 2006-10-26 Microsoft Corporation Virtual earth real-time advertising
US20080122871A1 (en) 2006-11-27 2008-05-29 Microsoft Corporation Federated Virtual Graffiti

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D. Lopez-de-Ipina et al. 'A Context-Aware Mobile Mash-up Platform for Ubiquitous Web', Intelligent Environments, 2007. IE 07. 3rd IET International Conference ('07.09.) *
D. Lopez-de-Ipina et al. 'A Context-Aware Mobile Mash-up Platform for Ubiquitous Web', Intelligent Environments, 2007. IE 07. 3rd IET International Conference ('07.09.)*

Also Published As

Publication number Publication date
EP2257927A2 (en) 2010-12-08
CN102037485B (zh) 2013-09-25
WO2009117350A3 (en) 2009-12-30
EP3702914A2 (en) 2020-09-02
WO2009117350A2 (en) 2009-09-24
EP2257927A4 (en) 2012-05-02
WO2009117350A4 (en) 2010-04-15
KR20100139043A (ko) 2010-12-31
DE202009019122U1 (de) 2016-11-23
EP3702914B1 (en) 2024-05-01
US20090237328A1 (en) 2009-09-24
BRPI0910260A2 (pt) 2017-12-05
CN102037485A (zh) 2011-04-27
EP3702914A3 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
KR101226405B1 (ko) 이동 가상 및 증강된 현실 시스템
US7844229B2 (en) Mobile virtual and augmented reality system
US20090054084A1 (en) Mobile virtual and augmented reality system
US7853296B2 (en) Mobile virtual and augmented reality system
EP2225896B1 (en) Mobile virtual and augmented reality system
KR101277906B1 (ko) 모바일 가상 및 증강 현실 시스템에서 가상 그래피티를 생성하기 위한 방법 및 장치
US20100066750A1 (en) Mobile virtual and augmented reality system
KR20220028000A (ko) 3d 객체 카메라 커스터마이즈 시스템
US9363360B1 (en) Text message definition and control of multimedia
KR20210063442A (ko) 표면 인식 렌즈
EP1657682A2 (en) Apparatus and method for providing a personalized 3D animation file in a mobile communication terminal
CN101669352A (zh) 用于语音-文本和文本-面部动画转换的通信网络和设备
WO2016125672A1 (ja) 情報処理装置、画像処理方法及びプログラム
US7647076B1 (en) Displaying customized images on a wireless device
US20020080167A1 (en) System for storing and accessing information units
WO2023026546A1 (ja) 情報処理装置
CN111859199A (zh) 在环境中定位内容
US20240061554A1 (en) Interacting with visual codes within messaging system
CN113885983A (zh) 名片展示方法、智能终端及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170111

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180105

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190108

Year of fee payment: 7