KR20080042148A - 모바일 이미지 인식을 통한 상호작용 - Google Patents

모바일 이미지 인식을 통한 상호작용 Download PDF

Info

Publication number
KR20080042148A
KR20080042148A KR1020087007433A KR20087007433A KR20080042148A KR 20080042148 A KR20080042148 A KR 20080042148A KR 1020087007433 A KR1020087007433 A KR 1020087007433A KR 20087007433 A KR20087007433 A KR 20087007433A KR 20080042148 A KR20080042148 A KR 20080042148A
Authority
KR
South Korea
Prior art keywords
image data
mobile device
identify
game
user
Prior art date
Application number
KR1020087007433A
Other languages
English (en)
Other versions
KR101019569B1 (ko
Inventor
로날드 에이치. 코헨
Original Assignee
에브릭스 테크놀로지스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에브릭스 테크놀로지스, 인코포레이티드 filed Critical 에브릭스 테크놀로지스, 인코포레이티드
Publication of KR20080042148A publication Critical patent/KR20080042148A/ko
Application granted granted Critical
Publication of KR101019569B1 publication Critical patent/KR101019569B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5573—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history player location
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8088—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game involving concurrently several players in a non-networked game, e.g. on the same game console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8094—Unusual game types, e.g. virtual cooking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)

Abstract

가상공간과 상호작용하는 시스템 및 방법으로서, 모바일 장치는 실세계 물체의 이미지 데이터를 전자적으로 캡처하는데 사용되고, 이미지 데이터는 실세계 물체와 관련된 정보를 식별하는데 사용되고, 정보는 소프트웨어와 상호작용하여 (a) 전자 게임의 양상 및 (b) 모바일 장치와 로컬인 제 2 장치 중 적어도 하나를 제어하는데 사용된다. 고려된 시스템 및 방법은 게임에 사용될 수 있으며, 여기서 이미지 데이터는 실세계 물체의 이름을 식별하고, 실세계 물체를 분류하고, 게임에서 실시계 물체를 플레이어로 식별하고, 게임에서 실세계 물체를 일부의 다른 값을 갖는 것으로 식별하고, 게임에서 실세계 물체를 목표 물체로 식별하는데 사용될 수 있다.

Description

모바일 이미지 인식을 통한 상호작용{INTERACTIVITY VIA MOBILE IMAGE RECOGNITION}
본원은 2005년 8월 29일에 출원된 미국 가출원 제60/712,590호에 대한 우선권을 주장한다.
본 발명은 모바일 네트워크(mobile network), 전화기와 같은 모바일 장치, 및 이러한 장치를 통해 사용자에게 그리고 사용자로부터 제공되는 정보에 관한 것이다.
전체 내용이 참조로써 본원에 통합되고 2006년 3월 21일에 발행된 Boncyk 등의 미국 특허 제7,016,532호는, 개인들이 2차원 및 2차원 물체의 디지털 이미지들을 찍기 위해 휴대폰, PDA 등을 사용할 수 있고, 이미지(들) 또는 이미지(들)에서 추출한 정보가 말단 서버(distal server)로 전송될 수 있으며, 서버가 이미지 내의 물체를 식별하기 위해서 전송된 정보를 사용할 수 있는 방법 및 프로세스를 기술한다. 물체를 식별한 후에, 서버가 거꾸로 디지털 이미지를 찍은 개인에게 추가 정보(전화 번호, 주소, 웹 링크 등)를 제공 할 수 있다. 그리고 그 사람은 구매를 실행한다거나 인터넷을 서핑한다는 등과 같은 임의의 적절한 방식으로 추가 정보를 이용할 수 있다.
제한적인 방법으로 가상 게임 세계와 상호작용하기 위해 폰(phone)을 이용하는 것도 공지되어 있다. 예를 들면, 셀룰러 전화는 가상 골프 코스와 상호작용 하기 위해 골프 클럽으로 사용될 수 있다 (. 다른 예로써, 셀룰러 폰은 가상 보물 찾기를 하는데 사용될 수 있으며 (), 가상 낙서를 남기거나 또는 찾는데 사용될 수 있다 (http://www.dw-world.de/dw/article/0,1564,1481993,00.html).
그러나 인식하지 못했던 것은, 카메라가 가능한 모바일 장치가 실세계　물체들과 관련된 정보를 식별하기 위해 소프트웨어와 협력하여 사용되고, 그 정보를 이용하여 (a) 전자 게임의 양상(aspect), 또는 (b) 모바일 장치에 로컬인 제 2 장치 중 하나를 제어할 수 있다는 것이다.
본 발명은 카메라가 가능한 모바일 장치가 실세계 물체들과 관련된 정보를 식별하기 위해 소프트웨어와 협력하여 사용될 수 있고, 그 정보를 사용하여 (a) 전자 게임의 양상, 또는 (b) 모바일 장치에 로컬인 제 2 장치 중 하나를 제어하는 시스템, 방법 및 장치를 제공한다.
의도된 사용에서, 다른 입력들은 예컨대 비밀번호, 장난감 무기의 방아쇠와 같은 버튼의 사용, 보물찾기에서의 조사(checking off) 단계, 실세계 물체 및 가상 물체 모두를 갖는 비디오 게임 하기, 투표 등을 포함하는 거의 모든 것일 수 있다.
실세계 상황과 가상 세계 상황의 결합도 거의 모든 것일 수 있다. 예를 들면, 실세계 상황은 (잡지 광고와 같이) 상대적으로 정적에서 (구름 형성, 텔레비전 세트 상의 이미지들, 사람 또는 자동차의 위치와 같이) 상대적으로 동적으로 변할 수 있다. 또한 가상 세계 상황은 (가상 머니 또는 기타 자원들을 구매하기 위한 옵션과 같이) 상대적으로 정적에서 (비디오 게임의 가상 캐릭터들의 위치와 같이) 상대적으로 동적으로 독립적으로 변할 수 있다.
본원의 진보적인 대상에 대한 바람직한 실시예들은 다음의 단계들을 포함한다. 이 프로세스의 단계 1 및 2는 미국 특허 제7,016,532호에 개시되었다.
1) 정보 결합(connection)은 모바일 장치와 모바일 장치에 의해 캡처된 이미지(imagery)를 기반으로 한 (웹 사이트와 같은) 정보 자원(information resource) 사이에 형성된다. 이것은 모바일 장치로 물체의 이미지를 캡처하고, 이미지를 말단 서버에 송신하고, 서버에서 물체를 인식하고, 서버는 정보 자원 주소를 모바일 장치에 송신함으로써 이루어진다.
2) 사용자는 모바일 장치를 통해 정보 자원으로부터 정보를 얻는다.
3) 사용자는 정보 자원들 또는 이전에 형성된 정보 결합을 기초로 물체와 상호작용한다. 이러한 상호작용은 다양한 형태일 수 있으며, 예를 들어 다음을 포함한다:
­ 상기 프로세스를 여러 번 반복.
­ 트랜잭션(transaction)을 수행.
­ 게임에서 액션들을 수행.
­ 보안 정보 또는 보안 장소에 액세스를 획득하기 위해 (물리적인 또는 가상의) 문을 개방.
­ (채널 선택을 포함하여) TV 프로그램과 상호작용.
­ 다른 사람들과 통신.
도 1은 진보적인 대상의 일 태양에 따른 예시적인 방법의 개념도이다.
도 2는 진보적인 대상의 다른 태양에 따른 예시적인 방법의 개념도이다.
정의
본원에서 사용되는 "모바일 장치(mobile device)"라는 용어는 디지털 카메라와 같은 이미지 캡처 기능을 포함한 이동가능한 장치를 의미하며, 셀룰러 전화 네트워크 및/또는 인터넷과 같은 적어도 하나의 네트워크에 연결된다. 모바일 장치는 모바일 전화(셀룰러 등), PDA 또는 다른 이용가능한 장치일 수 있다.
본원에서 사용되는 "어플리케이션(application)"이라는 용어는 서버, 모바일 장치, 또는 둘 다 내에 상주하는, 일반적으로 소프트웨어 형태인, 머신-실행가능 알고리즘을 의미한다.
본원에 사용되는 "사용자(user)"라는 용어는 어플리케이션과 상호작용하는 인간을 의미한다.
본원에서 사용되는 "서버(server)"라는 용어는 이미지들 또는 이미지들에서 추출한 정보 내의 물체들을 인식하는, 적어도 부분적인 능력을 갖춘 장치를 의미한다.
도 1에서, 제 1 예시적인 프로세스들의 클래스(100)는: 사용자가 모바일 장치를 사용하여 물체의 적어도 하나의 이미지를 캡처하는 단계(110); 이미지의 적어 도 일부, 또는 이로부터 추출된 정보, 또는 그 둘이 네트워크를 통해 말단 서버로 전송되는 단계(120); 서버가 이미지 내의 적어도 하나의 물체를 인식하는 단계(130); 및 현재 시간, 물체의 관측된 상태, 사용자의 위치 등과 같은 기타 정보, 및 물체의 동일성(identity)을 기초로 서버가 일부 정보를 결정하는 단계(140)를 포함한다. 물체의 외형이 시간에 따라 변한다면, 이러한 시간-변화 외형은 정보의 결정에 사용될 수 있다. 이러한 시간-변화 외형은 정보를 결정함에 있어서 현재 시간과 추가로 상호 관련될 수 있다.
다른 의도된 단계들은, 네트워크 및 모바일 장치를 통해 사용자에게 정보를 제공하는 단계(152); 네트워크 및 모바일 장치를 통해 사용자에게 정보 주소를 송신하는 단계(154); 액션을 수행하기 위해서 컴퓨터, 머신, 또는 기타 장치에 명령어를 송신하는 단계(156); 및 사용자가 어플리케이션에 의해 수행될 액션을 기초로 액션을 수행하는 단계(158)를 포함한다.
상기 프로세스는 목적되거나 적절한 횟수만큼 되풀이될 수 있다. 사용자는 적어도 하나의 추가적인 이미지를 캡처할 수 있고, 또는 어플리케이션에 의해 수행될 액션을 기초로 서버 또는 다른 장치에 다른 입력들을 제공할 수 있으며, 새로운 사이클을 시작한다.
도 2에서, 가상 공간과 상호작용하는 방법들의 다른 클래스(200)는: 실세계 물체의 이미지 데이터를 전자적으로 캡처하기 위해 모바일 장치를 이용하는 단계(210); 실세계 물체와 관련된 정보를 식별하기 위해 이미지 데이터를 이용하는 단계(220); 및 (a) 전자 게임의 양상 및 (b) 모바일 장치와 로컬인 제 2 장치 중 적어도 하나를 제어하기 위해서 모바일 장치의 적어도 부분적으로 외부에서 동작되는 소프트웨어와 상호작용하기 위해 정보를 이용하는 단계(230)를 포함한다.
242로 집합적으로 도시된 선택적인 단계들은, 스틸 비디오 또는 무빙 이미지를 전자적으로 캡처하기 위해 모바일 장치를 사용하는 단계를 포함한다.
244로 집합적으로 도시된 선택적인 단계들은, 실세계 물체의 이름을 식별하기 위해서, 실세계 물체를 분류하기 위해서, 게임에서 실세계 물체를 플레이어로 식별하기 위해서, 게임에서 실세계 물체를 목표 물체로 또는 일부 다른 값을 갖는 것으로 식별하기 위해서, 게임에서 실세계 물체를 목표 물체로 식별하는데 이미지 데이터를 사용하기 위해서, 또는 모바일 장치 근처의 환경적 특성을 확인하기 위해서 이미지 데이터를 사용하는 단계를 포함한다.
246으로 집합적으로 도시된 선택적인 단계들은, 소프트웨어가 다른 사용자들과 상호작용할 수 있는, 적어도 셋 이상의, 바람직하게는 적어도 5명의 동시 사용자들을 수용하는 단계를 포함한다.
248로 집합적으로 도시된 선택적인 단계들은, 가상 무기의 사용과 관련된 데이터, 가상 음악 실행, 또는 가상 여행과 같은 입력을 게임에 제공하는 단계를 포함한다.
250으로 집합적으로 도시된 선택적인 단계들은, 채널을 변경하는 단계, 또는 일부 다른 방식에서는 TV 또는 다른 장치를 제어하는 단계를 포함한다.
252로 집합적으로 도시된 선택적인 단계들은, 소프트웨어와 상호작용하기 위해, 지리적 좌표를 포함한 위치 지시자(designator location)를 포함한 모바일 장 치의 물리적 위치의 지시자를 사용하는 단계를 더 포함한다.
254로 집합적으로 도시된 선택적인 단계들은, 소프트웨어와 상호작용하기 위해 모바일 장치의 방위와 가속도 중 적어도 하나를 사용하는 단계를 더 포함한다.
예시
도 1에서, 시스템은 물체의 이미지를 캡처하기 위해서 셀룰러 폰 또는 기타 모바일 장치를 사용하는 사용자를 포함한다. 예컨대 CD(컴팩트 오디오 디스크)의 덮개, CD 면의 가시 이미지, DVD(디지털 비디오 디스크), 잡지 광고, 소비자 제품 등을 포함한 모든 실제 물체들이 고려된다. 물체의 식별(identification)이 온라인 쇼핑 어플리케이션의 사용자 온라인 "쇼핑 카트"에 추가된다. 쇼핑 카트는 사용자가 구매하고자 하는 아이템들의 리스트를 나타낸다. 그리고 사용자는 구매하고자 하거나 또는 이에 관한 정보를 원하는 추가적인 물체들의 이미지를 캡처함으로써 쇼핑을 계속한다.
사용자는, 게임 어플리케이션의 정보로부터, 게임의 단계로서 발견해야만 하는 "목표 물체(goal object)"의 동일성(identity), 성질(nature) 및/또는 위치를 추론한다. 그리고 사용자는 목표 물체 또는 다른 물체라고 믿는 "후보 물체(candidate object)"를 발견하며, 다른 물체는 목표 물체 근처에 있거나, 또는 목표 물체로 가는 길에 있거나, 또는 목표 물체에 대한 탐색(search)과 관련된다. 사용자는 셀룰러 폰으로 후보 물체의 이미지를 캡처한다. 이미지는 서버로 전송되어 인식된다. 후보 물체가 목표 물체라면 사용자는 게임에서 포인트를 얻는다. 후보 물체가 목표 물체가 아니라 목표 물체로 가는 길에 있다거나 또는 목표 물체 근처에 있다면, 어플리케이션은 사용자에게 A) 목표 물체로 향한 진행에 관한 정보 및/또는 B) 목표 물체로 향해 어떻게 진행해야하는지에 대한 힌트를 제공할 수 있으며, 이러한 게임의 목표 물체들, 보상 포인트, 힌트, 및 다양한 다른 양상들이 동적일 수 있어서, 게임은 시간, 위치, 참여자, 참여자의 상태 및 진행, 및 기타 요소들에 의해 변하게 된다.
사용자는 "타겟 물체(target object)"와 같은 빌딩, 상점, 상(statue) 등의 이미지를 캡처한다. 타겟 물체와 관계된 쌍방향(interactive) 콘텐츠 및/또는 정보는 모바일 장치를 통해 사용자에게 제공된다. 쌍방향 콘텐츠 및/또는 정보는 타겟 물체의 외형을 기초로 생성 및/또는 수정된다. 예를 들면, 냉 음료(cold refreshment)에 대한 광고는 사용자가 위치하는 곳의 날씨가 덥고 햇볕이 잘 드는지에 대한 결정을 기초로 사용자에게 전송될 수 있다. 사용자가 위치하는 곳의 상태에 관한 위와 같은 결정은 A) 이미지의 그림자의 출현, B) 날씨 정보 자원으로부터 얻은 온도 데이터, C) 전지구 위치 확인 시스템(GPS), 무선 주파수 레인징(ranging) 및/또는 삼각 측량, 또는 기타 수단에 의해 결정되는 모바일 장치의 위치, D) (예컨대 가로등, 네온사인, 조명 광고판 등과 같은) 조명의 출현, 및 E) 현재 시간 중 하나 이상을 기초로 할 수 있다.
사용자는 일반 대중의 액세스로부터 제한되는 보안 위치, 정보 자원, 컴퓨팅 자원, 또는 기타 이런 것들("보안 자원(secure resource)")로의 액세스를 얻기를 희망한다. 사용자는, 보안 자원 근처에 있거나 이에 대응하는 표시(sign)와 같은 보안 자원 또는 물체의 이미지를 모바일 장치로 캡처한다. 이미지는 서버로 전송된다. 서버는 사용자가 보안 자원으로의 액세스를 얻기를 희망하는지를 결정한다. 서버는 (모바일 장치를 통해) 사용자에게 메시지를 송신하며, 사용자가 사용자의 얼굴 이미지 및/또는 다른 식별할 수 있는 것을 제공하도록 지시한다. 그리고 사용자는 얼굴 이미지 또는 다른 식별할 수 있는 것을 캡처하고, 이 이미지는 서버에 송신된다. 서버는 이미지 내의 사용자 얼굴 또는 다른 식별할 수 있는 것을 인식함으로써 사용자의 동일성을 확인한다. 그리고 서버는 사용자가 비밀번호를 제공하도록 지시한다. 사용자는 모바일 장치에 말하거나, 모바일 장치의 키보드로 입력하거나, (보안 자원에 부착된 키보드와 같은) 다른 장치의 키보드로 입력하거나, 또는 다른 수단을 이용하여 비밀번호를 제공한다. 비밀번호는 보안 자원, 사용자의 신원, 현재 시간 및 기타 요인들에 따라 변할 수 있다. 그리고 서버 또는 다른 장치는 비밀번호의 확인, 현재 시간, 사용자 신원, 사용자 위치, 보안 자원 위치, 및/또는 기타 용인들을 기초로 보안 자원으로의 사용자 액세스를 허여하거나 거절한다.
무기의 가상 슈팅(simulated shooting)을 포함한 게임이 다음과 같이 제공될 수 있다. 사용자는 슈팅하길 희망하는 물체에 모바일 장치를 가리킨다. 사용자는 무기를 사용하는 가상 뷰(view)를 모바일 장치의 스크린 디스플레이로 본다. 예를 들면, 사용자는 사용자 앞의 실세계 장소(scene)에 겹쳐진 십자(cross hairs) 조준선을 볼 수 있다. 사용자는 모바일 장치에 대해 버튼을 누르거나, 또는 (예컨대 스크린 입력 또는 음성 명령과 같은) 일부의 다른 입력을 만듦으로써 가상 무기를 "슈팅"한다. 모바일 장치는 이미지를 캡처하고, 이를 서버에 송신한다. 이미지 외에 다른 정보도 서버에 송신될 수 있다. (서버 및 모바일 장치 중 하나 또는 모두의 소프트웨어를 포함한) 어플리케이션은 이미지의 물체(들)을 인식하고, 이들을 가상 무기 조준선과 상호 관련시킨다. 그리고 어플리케이션은 모바일 장치 스크린 상에 무기 발사에 대한 시뮬레이션을 제공한다. 이러한 시뮬레이션은 실세계 장소의 이미지 상에 겹쳐질 수 있다. 다양한 요인들에 따라서, 무기는 게임 내에서 전혀 효과가 없는 것부터 가상 타겟을 완전히 파괴하는 것까지 다양한 효과들을 가질 수 있다. 이러한 효과들은 모바일 장치의 애니메이션, 비디오 및/또는 음성을 통해 시뮬레이션될 수 있다. 이러한 효과는 서버, 모바일 장치, 또는 둘 다에서 생성되거나, 또는 서버 또는 다른 컴퓨터로부터 다운로드될 수 있다. 무기를 슈팅한 결과는, 이미지 내의 물체들의 동일성 및 사용자에 대한 그리고 무기 조준점에 대한 물체들의 위치를 포함한 다양한 요인들에 좌우될 수 있다.
다수의 사용자들이 서로에 대한 싸움(fighting)을 시뮬레이션할 수 있다. 이러한 경우에, 사용자가 다른 사용자를 슈팅한다면, 각각의 사용자의 모바일 장치들은 적절한 출력을 표시할 것이다. 예를 들면, 한 사용자("희생자")가 다른 사용자에게 슈팅되면, 사용자의 모바일 장치는 공격받은 쪽으로부터 공격을 묘사하는 애니메이션과 사운드 효과를 생성할 수 있다. 희생자가 이러한 공격으로 인해 점수(득점, 건강상태 등)가 그의 게임 점수에서 삭감될 수 있으며, 이러한 게임 내의 사용자들, 다른 사용자들 및 무기 조준점들에 대한 이들의 위치는 다양한 수단으로 결정될 수 있다. 이러한 경우에, 예컨대 과녁점(bulls-eye) 표시가 무기 조준점에 대응하는 이미지의 한 부분에 나타나는 경우에만, 희생자는 성공적으로 "슈팅"될 수 있다.
칼, 방패, 미사일, 포탄, 또는 빔 무기와 같은 다른 가상 무기들도 이러한 게임에서 사용될 수 있다.
만약 방위, 가속, 및/또는 위치 센서가 모바일 장치에 포함된다면, 모바일 장치의 방위 및/또는 가속은 게임과 같은 어플리케이션에 대한 입력으로 사용될 수 있다. 예를 들면, 사용자가 모바일 장치의 움직임으로 통해 가상 칼을 제어함으로써 가상 칼싸움을 할 수 있다. 추가적인 예시들은 비행, 운전 또는 다른 시뮬레이션이며, 여기서 사용자는 모바일 장치의 움직임으로 통해 가상 물체를 제어한다. 이러한 게임에서, 게임은 모바일 장치, 또는 텔레비전이나 컴퓨터와 같은 일부의 다른 장치에 의해 디스플레이 될 수 있다. 이러한 경우에, 모바일 장치는 본질적으로 컴퓨팅 시스템에 대한 마우스, 조이스틱, 드로잉 펜, 또는 기타 수동 입력 장치와 같이 기능한다. 방위 및/또는 가속 센서들은 모바일 장치 내부에 존재할 수 있으며, 또는 (예컨대 무선 주파수 또는 자기 위치 결정(magnetic position determination)을 사용하여) 부분적으로 또는 완전히 모바일 장치의 외부에서 구현될 수도 있다.
사용자는 컨텐트와 상호작용하기 위해 모바일 장치를 사용할 수 있으며, 여기서 "콘텐츠(content)"는 전자적으로 제공된 프로그래밍, 게임, 또는 기타 정보를 의미한다. 본 문맥에서 콘텐츠의 예시는 텔레비전 프로그램, 컴퓨터 게임, 비디오 게임, 라디오 프로그램, 영화, 음악, 뉴스 프로그램 등이다. 본원에서, 사용자는 적어도 하나의 물체의 이미지를 캡처하고, 이미지 내의 물체는 서버에 의해 인식되어, 물체의 동일성, 및 선택적으로 사용자, 현재 시간, 및 다른 이러한 요인들의 동일성을 기초로 콘텐츠가 수정된다.
이러한 사용법의 예시는 사용자가 잡지 또는 신문의 광고 또는 다른 아이템의 이미지를 캡처하고, 텔레비전이 그 아이템에 어울리는 콘텐츠를 수신하도록 한다는 것이다. 이것은 서버가 메시지를 A) 사용자 텔레비전에 송신하고 텔레비전이 채널을 변경하도록 명령함으로써 달성될 수 있으며, 또는 서버가 메시지를 B) 다른 서버 또는 컴퓨팅 시스템에 송신하고 그 후 이들이 콘텐츠를 사용자의 텔레비전에 송신함으로써 달성될 수 있다. 이러한 프로세스는 텔레비전을 통해서만 아니라 콘텐츠를 사용자에게 제공할 수 있는 임의의 장치를 통해서 달성될 수 있으며, 이러한 장치는 예컨대 컴퓨터, 라디오, 오디오 장치, 또는 게임 장치를 포함한다.
사용자가 콘텐츠의 수신을 시작한 후에, 추가 이미지들의 캡처, 및 모바일 장치의 움직임, 또는 다른 입력들을 통해 콘텐츠와 상호작용을 계속할 수 있다. 예를 들면, 사용자는 전자 게시판(또는 다른 전자적 디스플레이)의 이미지를 캡처할 수 있다. 서버는 게시판의 이미지를 인식하고, 게시판을 제어하는 컴퓨터와 사용자 사이의 통신 경로를 수립한다. 그 후 게시판은 시각 및 음성 콘텐츠를 포함한, 새로운 및 쌍방향 콘텐츠를 사용자에게 디스플레이할 수 있다. 사용자는 모바일 장치의 움직임 및/또는 추가 이미지 캡처를 통해 게시판을 이용하여 이러한 콘텐츠와 상호작용할 수 있다. 이러한 상호작용의 콘텐츠는 게시판, 모바일 장치, 또는 이들의 좁합을 통해 사용자에게 제공될 수 있다. 이러한 상호작용은 (예컨대 게시판을 통한) 광고, (예컨대 컴퓨터, 텔레비전, 또는 음성 및/또는 비디오 디스플레이 능력을 갖춘 기타 이러한 장치들을 통한) 오락, 일, 연구 등에 사용될 수 있다. 또한 이러한 상호작용은 자동판매기, 티켓 자동판매기, 무인 안내 장치 등과 같은 쌍방향 장치에 사용될 수 있다.
다수의 사용자들은 서로 상호작용 할 수 있으며, 사용자들은 몇 가지 방식으로 관련된 "시작 지점(starting points)" (실세계 물리적 물체들)을 기반으로한 콘텐츠에 "링크됨(linked)"으로써, 가상 공간, 사회, 또는 환경에서 서로 연결 될 수 있다.
예를 들면, 몇몇의 사용자들은 동일한 (쌍방향 또는 그렇지 않은) 게시판의 이미지들을 캡처함으로써 서로 링크될 수 있다. 그리고 이러한 사용자들은 게시판 및/또는 모바일 장치에 디스플레이 되는 동일한 쌍방향 경험에 참가할 수 있다. 이러한 사용자들은 일반적으로 서로 물리적으로 인접할 것이다. 예시는 점수판 또는 다른 디스플레이를 "클릭(clicked)" (이미지 캡처)함으로써 모바일 장치를 통해 이벤트와 상호작용하는 스포츠 이벤트의 관객들일 것이다. 다른 예시는 동일한 동적 디스플레이(예컨대 큰 스크린 디스플레이)의 앞에서 디스플레이 콘텐츠와, 그리고 서로 상호작용하는 다수의 사용자들이다. 미팅 또는 회의에 참여한 사용자들은 투표할 수 있으며, 또는 그룹들과 상호작용하거나 다른 사용자들과 상호작용할 수 있다.
사용자들이 서로 물리적으로 근접하게 있지 않을 지라도 공통된 가상 환경에 간단하게 참여할 수 있다. 예시는 동일한 형태의 음료 병을 "클릭(clicking)" (이 미지 캡처)하여 서로 연결되는 다수의 사용자들일 것이다. 다른 예시는 텔레비전 프로그램 또는 인터넷-기반 프로그램을 "클릭(clicking)"하여 유사하게 서로 연결되는 다수의 사용자들일 것이다. 미팅에 참여한 사용자들은 물리적으로 참석하지 않았지만 전자적 연결을 통해 참석한 다른 사용자들과 상호작용할 수 있다. 또한 이러한 미팅의 (물리적으로 참석하지 않은) 원격 참석자들은 일반적으로 미팅과 상호작용할 수 있다.
사용자들은 음성/비디오 콘텐츠와 같은 것들 또는 텔레비전과 직접 상호작용할 수 있다. 이것은 물체의 이미지를 캡처하고, 서버에서 물체를 인식하고, 사용자를 사용자와 콘텐츠 모두와 상호작용하는 컴퓨팅 시스템에 연결함으로써 달성된다. 예를 들면, 사용자들은 텔레비전 스크린 상의 텔레비전 프로그램의 이미지를 "클릭" (이미지 캡처) 할 수 있다. 스크린 상에 있는 것에 대한 인식을 기초로, 이들은 텔레비전과 상호작용하는 컴퓨팅 시스템에 연결된다. 이러한 방식에서, 사용자들은 예컨대 참가자들에 대한 투표, 스토리의 다음 단계 또는 희망하는 결론을 투표 또는 선택, 스토리의 캐릭터의 역할을 수행하는 등에 의해 텔레비전 프로그램과 상호작용할 수 있다. 이러한 기술은 텔레비전뿐만 아니라, 디지털 영화 및 컴퓨터 게임과 같은 전자적으로 제공된 임의의 다른 형태의 엔터테인먼트에도 적용될 수 있다.
따라서 카메라가 가능한 모바일 장치가 실세계 물체들과 관련된 정보를 식별하기 위해서 소프트웨어와 협력하여 사용되고 이 정보를 사용하여 (a) 전자 게임의 양상, 또는 (b) 모바일 장치에 로컬인 제 2 장치를 제어하는 특정 실시예들과 적용 예들이 개시되었다. 그러나 본 기술분야의 당업자에게는 이미 개시된 것들 외에 많은 다른 변형들이 본원의 진보적인 개념들로부터 벗어나지 않고 가능하다는 것이 명백할 것이다. 따라서 진보적인 대상은 첨부된 청구범위의 사상 내로 제한될 뿐이다. 또한 명세서와 청구범위 모두를 해석함에 있어서, 모든 용어들은 문맥과 모순되지 않게 가능한 넓은 범위로 해석되어야만 한다. 특히, "포함한다(comprises)" 및 "포함하는(comprising)" 이란 용어들은 비배타적(non-exclusive) 방식으로 엘리먼트들, 컴포넌트들, 또는 단계들을 언급하는 것으로 해석되어야하며, 참조된 엘리먼트들, 컴포넌트들, 또는 단계들은 실제할 수 있고, 또는 이용될 수 있고, 명시적으로 참조되지 않은 다른 엘리먼트들, 컴포넌트들, 또는 단계들과 결합될 수 있다는 것을 나타낸다. 명세서 청구범위가 A, B, C .... 및 N로 이루어진 그룹으로부터 선택된 것들 중 적어도 하나를 언급하는 경우에, 텍스트는 A와 N, 또는 B와 N 등이 아니라, 그룹으로부터 오직 하나의 엘리먼트를 필요로 하는 것으로도 해석되어야만 한다.

Claims (19)

  1. 가상공간(virtual space)과 상호작용(interact)하는 방법으로서,
    실세계(real-world) 물체(object)의 이미지 데이터를 전자적으로 캡처(capture)하기 위해 모바일 장치(mobile device)를 사용하는 단계;
    상기 실세계 물체와 관련된 정보를 식별하기 위해 상기 이미지 데이터를 사용하는 단계;
    상기 모바일 장치의 적어도 부분적으로 외부에서 동작되는 소프트웨어와 상호작용하여, (a) 전자 게임의 양상(aspect), 및 (b) 상기 모바일 장치와 로컬(local)인 제 2 장치 중 적어도 하나를 제어하기 위해 상기 정보를 이용하는 단계
    를 포함하는, 가상공간과 상호작용하는 방법.
  2. 제1항에 있어서,
    상기 이미지 데이터를 캡처하기 위해 상기 모바일 장치를 사용하는 단계는, 스틸 이미지(still image)를 캡처하는 단계를 포함하는, 가상공간과 상호작용하는 방법.
  3. 제1항에 있어서,
    상기 이미지 데이터를 캡처하기 위해 상기 모바일 장치를 사용하는 단계는, 비디오 이미지(video image)를 캡처하는 단계를 포함하는, 가상공간과 상호작용하는 방법.
  4. 제1항에 있어서,
    상기 정보를 식별하기 위해 상기 이미지 데이터를 사용하는 단계는, 상기 실세계 물체의 이름을 식별하기 위해 상기 이미지 데이터를 사용하는 단계를 포함하는, 가상공간과 상호작용하는 방법.
  5. 제1항에 있어서,
    상기 정보를 식별하기 위해 상기 이미지 데이터를 사용하는 단계는, 상기 실세계 물체를 분류하기 위해 상기 이미지 데이터를 사용하는 단계를 포함하는, 가상공간과 상호작용하는 방법.
  6. 제1항에 있어서,
    상기 정보를 식별하기 위해 상기 이미지 데이터를 사용하는 단계는, 게임에서 상기 실세계 물체를 플레이어로 식별하기 위해 상기 이미지 데이터를 사용하는 단계를 포함하는, 가상공간과 상호작용하는 방법.
  7. 제1항에 있어서,
    상기 정보를 식별하기 위해 상기 이미지 데이터를 사용하는 단계는, 게임에 서 상기 실세계 물체를, 값(value)을 갖는 것으로 식별하기 위해 상기 이미지 데이터를 사용하는 단계를 포함하는, 가상공간과 상호작용하는 방법.
  8. 제1항에 있어서,
    상기 정보를 식별하기 위해 상기 이미지 데이터를 사용하는 단계는, 게임에서 상기 실세계 물체를 목표 물체(goal object)로 식별하기 위해 상기 이미지 데이터를 사용하는 단계를 포함하는, 가상공간과 상호작용하는 방법.
  9. 제1항에 있어서,
    상기 정보를 식별하기 위해 상기 이미지 데이터를 사용하는 단계는, 상기 모바일 장치 근처의 환경 특성(environmental characteristic)을 확인하기 위해 상기 이미지 데이터를 사용하는 단계를 포함하는, 가상공간과 상호작용하는 방법.
  10. 제1항에 있어서,
    상기 소프트웨어는 다른 사용자들과 상호작용할 수 있는 적어도 3명의 동시 사용자들을 수용하는, 가상공간과 상호작용하는 방법.
  11. 제1항에 있어서,
    상기 소프트웨어는 다른 사용자들과 상호작용할 수 있는 적어도 5명의 동시 사용자들을 수용하는, 가상공간과 상호작용하는 방법.
  12. 제1항에 있어서,
    상기 전자 게임의 양상은 상기 게임에 입력을 제공하는 것을 포함하는, 가상공간과 상호작용하는 방법.
  13. 제1항에 있어서,
    상기 입력은 가상 무기의 사용과 관련된 데이터를 포함하는, 가상공간과 상호작용하는 방법.
  14. 제1항에 있어서,
    상기 입력은 가상 음악 연주와 관련된 데이터를 포함하는, 가상공간과 상호작용하는 방법.
  15. 제1항에 있어서,
    상기 입력은 가상 여행과 관련된 데이터를 포함하는, 가상공간과 상호작용하는 방법.
  16. 제1항에 있어서,
    상기 제 2 장치의 제어는 채널을 바꾸는 것을 포함하는, 가상공간과 상호작용하는 방법.
  17. 제1항에 있어서,
    상기 소프트웨어와 상호작용하기 위해 상기 모바일 장치의 지시자(designator) 또는 물리적 위치를 사용하는 단계를 더 포함하는, 가상공간과 상호작용하는 방법.
  18. 제17항에 있어서,
    상기 지시자 또는 물리적 위치는 지리적 좌표를 포함하는, 가상공간과 상호작용하는 방법.
  19. 제1항에 있어서,
    상기 소프트웨어와 상호작용하기 위해 상기 모바일 장치의 방위(orientation) 및 가속(acceleration) 중 적어도 하나를 사용하는 단계를 더 포함하는, 가상공간과 상호작용하는 방법.
KR1020087007433A 2005-08-29 2006-08-29 모바일 이미지 인식을 통한 상호작용 KR101019569B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US71259005P 2005-08-29 2005-08-29
US60/712,590 2005-08-29

Publications (2)

Publication Number Publication Date
KR20080042148A true KR20080042148A (ko) 2008-05-14
KR101019569B1 KR101019569B1 (ko) 2011-03-08

Family

ID=37809447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087007433A KR101019569B1 (ko) 2005-08-29 2006-08-29 모바일 이미지 인식을 통한 상호작용

Country Status (8)

Country Link
US (9) US7564469B2 (ko)
EP (2) EP2764899A3 (ko)
JP (1) JP4890552B2 (ko)
KR (1) KR101019569B1 (ko)
CN (1) CN101273368A (ko)
BR (1) BRPI0615283A2 (ko)
CA (1) CA2621191C (ko)
WO (1) WO2007027738A2 (ko)

Families Citing this family (256)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
EP2764899A3 (en) * 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
US9511290B2 (en) * 2006-05-09 2016-12-06 Koninklijke Philips N.V. Gaming system with moveable display
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US9891435B2 (en) * 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US10908421B2 (en) 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
KR100918392B1 (ko) * 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
US8506404B2 (en) * 2007-05-07 2013-08-13 Samsung Electronics Co., Ltd. Wireless gaming method and wireless gaming-enabled mobile terminal
US8456300B2 (en) * 2007-05-09 2013-06-04 Sony Ericsson Mobile Communications Ab Methods, electronic devices, and computer program products for generating presence information associated with a user of an electronic device based on environmental information
US8675017B2 (en) * 2007-06-26 2014-03-18 Qualcomm Incorporated Real world gaming framework
AU2008282886B2 (en) 2007-07-27 2012-11-29 Pls Iv, Llc Content publishing systems and methods
GB2467461B (en) * 2007-09-14 2012-03-07 Nat Inst Of Advanced Ind Scien Virtual reality environment generating apparatus and controller apparatus
US9968850B2 (en) * 2007-09-17 2018-05-15 Disney Enterprises, Inc. System for providing virtual spaces for access by users
US8196050B2 (en) 2007-09-17 2012-06-05 Mp 1, Inc. System and method for embedding a view of a virtual space in a banner ad and enabling user interaction with the virtual space within the banner ad
US20090077475A1 (en) * 2007-09-17 2009-03-19 Areae, Inc. System for providing virtual spaces with separate places and/or acoustic areas
US8542816B2 (en) * 2007-11-13 2013-09-24 Amazon Technologies, Inc. Independent customer service agents
US9582937B2 (en) * 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US20100070501A1 (en) * 2008-01-15 2010-03-18 Walsh Paul J Enhancing and storing data for recall and use using user feedback
US20090182622A1 (en) * 2008-01-15 2009-07-16 Agarwal Amit D Enhancing and storing data for recall and use
US20090227374A1 (en) * 2008-03-05 2009-09-10 Motorola, Inc. Seamless mobility of location-based gaming across virtual and physical worlds
NL1035303C2 (nl) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
US20090271436A1 (en) * 2008-04-23 2009-10-29 Josef Reisinger Techniques for Providing a Virtual-World Object Based on a Real-World Object Description
JP5325286B2 (ja) 2008-05-13 2013-10-23 サイアンディア インコーポレイテッド 複数種類のコンピューティングデバイス間で複数の情報形態に対話する装置および方法
US8751948B2 (en) 2008-05-13 2014-06-10 Cyandia, Inc. Methods, apparatus and systems for providing and monitoring secure information via multiple authorized channels and generating alerts relating to same
US8066571B2 (en) 2008-06-09 2011-11-29 Metaplace, Inc. System and method for enabling characters to be manifested within a plurality of different virtual spaces
US9403087B2 (en) * 2008-06-09 2016-08-02 Disney Enterprises, Inc. System and method of providing access to virtual spaces that are associated with physical analogues in the real world
US9191238B2 (en) 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US9100249B2 (en) * 2008-10-10 2015-08-04 Metaplace, Inc. System and method for providing virtual spaces for access by users via the web
US8645871B2 (en) 2008-11-21 2014-02-04 Microsoft Corporation Tiltable user interface
EP2193825B1 (en) * 2008-12-03 2017-03-22 Alcatel Lucent Mobile device for augmented reality applications
US8594467B2 (en) * 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US20100298050A1 (en) * 2009-05-06 2010-11-25 Crabdish Inc., Dba Umapper.Com Map-authoring applications and geogames
US8161398B2 (en) * 2009-05-08 2012-04-17 International Business Machines Corporation Assistive group setting management in a virtual world
US20100306084A1 (en) * 2009-05-28 2010-12-02 Yunus Ciptawilangga Need-based online virtual reality ecommerce system
US20100306121A1 (en) * 2009-05-28 2010-12-02 Yunus Ciptawilangga Selling and delivering real goods and services within a virtual reality world
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US8600035B2 (en) 2009-08-25 2013-12-03 Amazon Technologies, Inc. Systems and methods for customer contact
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
US8489603B1 (en) 2009-10-23 2013-07-16 Amazon Europe Holdings Technologies Scs Automatic item categorizer
US8805838B1 (en) 2009-12-22 2014-08-12 Amazon Technologies, Inc. Systems and methods for automatic item classification
JP2011197777A (ja) * 2010-03-17 2011-10-06 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8332544B1 (en) 2010-03-17 2012-12-11 Mattel, Inc. Systems, methods, and devices for assisting play
US9122707B2 (en) * 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
JP5574854B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム
US8832810B2 (en) 2010-07-09 2014-09-09 At&T Intellectual Property I, L.P. Methods, systems, and products for authenticating users
US20120032877A1 (en) * 2010-08-09 2012-02-09 XMG Studio Motion Driven Gestures For Customization In Augmented Reality Applications
KR101722687B1 (ko) 2010-08-10 2017-04-04 삼성전자주식회사 객체간 또는 객체와 유저간에 정보 제공 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
WO2012048252A1 (en) 2010-10-07 2012-04-12 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
WO2012051539A2 (en) 2010-10-14 2012-04-19 Cyandia, Inc. Methods, apparatus, and systems for presenting television programming and related information
WO2012054463A2 (en) * 2010-10-20 2012-04-26 The Procter & Gamble Company Article utilization
CN103168294A (zh) * 2010-10-22 2013-06-19 瑞典爱立信有限公司 图像匹配装置和图像匹配方法
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
WO2012071466A2 (en) 2010-11-24 2012-05-31 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
US9041743B2 (en) 2010-11-24 2015-05-26 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
US9070219B2 (en) 2010-11-24 2015-06-30 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
US8647202B2 (en) 2010-12-16 2014-02-11 Microsoft Corporation Companion object customization
US8503664B1 (en) 2010-12-20 2013-08-06 Amazon Technologies, Inc. Quality review of contacts between customers and customer service agents
US8340275B1 (en) 2010-12-21 2012-12-25 Amazon Technologies, Inc. Selective contact between customers and customer service agents
US8913085B2 (en) * 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
US9177381B2 (en) 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
JP5511084B2 (ja) * 2011-02-08 2014-06-04 パナソニック株式会社 通信装置、通信システム、通信方法、及び通信プログラム
US9118970B2 (en) 2011-03-02 2015-08-25 Aria Glassworks, Inc. System and method for embedding and viewing media files within a virtual and augmented reality scene
WO2012122293A1 (en) 2011-03-07 2012-09-13 Fourth Wall Studios, Inc. Augmented reality mission generators
US8811711B2 (en) * 2011-03-08 2014-08-19 Bank Of America Corporation Recognizing financial document images
US9317835B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Populating budgets and/or wish lists using real-time video image analysis
US8873807B2 (en) 2011-03-08 2014-10-28 Bank Of America Corporation Vehicle recognition
US8922657B2 (en) 2011-03-08 2014-12-30 Bank Of America Corporation Real-time video image analysis for providing security
US8571888B2 (en) 2011-03-08 2013-10-29 Bank Of America Corporation Real-time image analysis for medical savings plans
US8721337B2 (en) 2011-03-08 2014-05-13 Bank Of America Corporation Real-time video image analysis for providing virtual landscaping
US9224166B2 (en) 2011-03-08 2015-12-29 Bank Of America Corporation Retrieving product information from embedded sensors via mobile device video analysis
US8660951B2 (en) 2011-03-08 2014-02-25 Bank Of America Corporation Presenting offers on a mobile communication device
US8929591B2 (en) 2011-03-08 2015-01-06 Bank Of America Corporation Providing information associated with an identified representation of an object
US9406031B2 (en) 2011-03-08 2016-08-02 Bank Of America Corporation Providing social impact information associated with identified products or businesses
US8668498B2 (en) 2011-03-08 2014-03-11 Bank Of America Corporation Real-time video image analysis for providing virtual interior design
US8718612B2 (en) 2011-03-08 2014-05-06 Bank Of American Corporation Real-time analysis involving real estate listings
US8582850B2 (en) 2011-03-08 2013-11-12 Bank Of America Corporation Providing information regarding medical conditions
US9317860B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users
US8611601B2 (en) 2011-03-08 2013-12-17 Bank Of America Corporation Dynamically indentifying individuals from a captured image
US8438110B2 (en) 2011-03-08 2013-05-07 Bank Of America Corporation Conducting financial transactions based on identification of individuals in an augmented reality environment
US8688559B2 (en) 2011-03-08 2014-04-01 Bank Of America Corporation Presenting investment-related information on a mobile communication device
US9773285B2 (en) 2011-03-08 2017-09-26 Bank Of America Corporation Providing data associated with relationships between individuals and images
GB2503163B (en) 2011-03-22 2019-05-29 Nant Holdings Ip Llc Reasoning Engines
GB2502750A (en) 2011-03-22 2013-12-04 Nant Holdings Ip Llc Healthcare Management objects
US20120259744A1 (en) * 2011-04-07 2012-10-11 Infosys Technologies, Ltd. System and method for augmented reality and social networking enhanced retail shopping
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US8715087B2 (en) * 2011-04-12 2014-05-06 David W. Rouille Video game including user determined location information
BR112013027211A2 (pt) 2011-04-22 2017-01-03 Pepsico Inc Sistema de fornecimento de bebidas com capacidade de mídia social
US8882595B2 (en) 2011-04-29 2014-11-11 2343127 Ontartio Inc. Systems and methods of importing virtual objects using barcodes
US9547938B2 (en) 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view
US8538845B2 (en) 2011-06-03 2013-09-17 Mozido, Llc Monetary transaction system
US9164723B2 (en) 2011-06-30 2015-10-20 Disney Enterprises, Inc. Virtual lens-rendering for augmented reality lens
BR112014002186B1 (pt) 2011-07-29 2020-12-29 Hewlett-Packard Development Company, L.P sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho
CN103703763B (zh) 2011-07-29 2018-02-27 惠普发展公司，有限责任合伙企业 视觉分层的系统和方法
US9521276B2 (en) 2011-08-02 2016-12-13 Hewlett-Packard Development Company, L.P. Portable projection capture device
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9245051B2 (en) * 2011-09-20 2016-01-26 Nokia Technologies Oy Method and apparatus for conducting a search based on available data modes
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US8990682B1 (en) 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9547406B1 (en) 2011-10-31 2017-01-17 Google Inc. Velocity-based triggering
US9218704B2 (en) 2011-11-01 2015-12-22 Pepsico, Inc. Dispensing system and user interface
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
JP5948429B2 (ja) 2011-11-09 2016-07-06 エンパイア テクノロジー ディベロップメント エルエルシー 仮想および拡張現実
US9805385B2 (en) 2011-11-21 2017-10-31 Nant Holdings Ip, Llc Subscription bill service, systems and methods
JP2015501984A (ja) 2011-11-21 2015-01-19 ナント ホールディングス アイピー，エルエルシー 加入請求書サービス、システムおよび方法
US10438196B2 (en) 2011-11-21 2019-10-08 Mozido, Inc. Using a mobile wallet infrastructure to support multiple mobile wallet providers
US9208488B2 (en) 2011-11-21 2015-12-08 Mozido, Inc. Using a mobile wallet infrastructure to support multiple mobile wallet providers
US20130132959A1 (en) * 2011-11-23 2013-05-23 Yahoo! Inc. System for generating or using quests
US10030931B1 (en) * 2011-12-14 2018-07-24 Lockheed Martin Corporation Head mounted display-based training tool
US20130196773A1 (en) * 2012-01-27 2013-08-01 Camron Lockeby Location Services Game Engine
US8606645B1 (en) * 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
CN103391509A (zh) * 2012-05-09 2013-11-13 北京千橡网景科技发展有限公司 一种电子宠物的交互系统和方法
US20130314443A1 (en) * 2012-05-28 2013-11-28 Clayton Grassick Methods, mobile device and server for support of augmented reality on the mobile device
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US9232115B2 (en) 2012-07-17 2016-01-05 Empire Technology Development Llc Audio playing scheme for digital billboard system
US9361730B2 (en) * 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
US9669296B1 (en) 2012-07-31 2017-06-06 Niantic, Inc. Linking real world activities with a parallel reality game
US9539498B1 (en) 2012-07-31 2017-01-10 Niantic, Inc. Mapping real world actions to a virtual world associated with a location-based game
US9669293B1 (en) 2012-07-31 2017-06-06 Niantic, Inc. Game data validation
US9226106B1 (en) 2012-07-31 2015-12-29 Niantic, Inc. Systems and methods for filtering communication within a location-based game
US9604131B1 (en) 2012-07-31 2017-03-28 Niantic, Inc. Systems and methods for verifying player proximity within a location-based game
US9782668B1 (en) 2012-07-31 2017-10-10 Niantic, Inc. Placement of virtual elements in a virtual world associated with a location-based parallel reality game
US9128789B1 (en) 2012-07-31 2015-09-08 Google Inc. Executing cross-cutting concerns for client-server remote procedure calls
US9621635B1 (en) 2012-07-31 2017-04-11 Niantic, Inc. Using side channels in remote procedure calls to return information in an interactive environment
US9429912B2 (en) * 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
CN102902355B (zh) * 2012-08-31 2015-12-02 中国科学院自动化研究所 移动设备的空间交互方法
US9626799B2 (en) 2012-10-02 2017-04-18 Aria Glassworks, Inc. System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display
US8968099B1 (en) 2012-11-01 2015-03-03 Google Inc. System and method for transporting virtual objects in a parallel reality game
JP2014110560A (ja) * 2012-12-03 2014-06-12 Toshiba Corp 情報処理装置、サーバ装置およびプログラム
US9977492B2 (en) 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US20140160161A1 (en) * 2012-12-06 2014-06-12 Patricio Barreiro Augmented reality application
US9728008B2 (en) 2012-12-10 2017-08-08 Nant Holdings Ip, Llc Interaction analysis systems and methods
TW201426403A (zh) * 2012-12-27 2014-07-01 Hon Hai Prec Ind Co Ltd 顯示裝置、可攜式裝置及虛擬情境控制方法
US9678617B2 (en) 2013-01-14 2017-06-13 Patrick Soon-Shiong Shared real-time content editing activated by an image
US9412201B2 (en) 2013-01-22 2016-08-09 Microsoft Technology Licensing, Llc Mixed reality filtering
US9449340B2 (en) * 2013-01-30 2016-09-20 Wal-Mart Stores, Inc. Method and system for managing an electronic shopping list with gestures
US10769852B2 (en) 2013-03-14 2020-09-08 Aria Glassworks, Inc. Method for simulating natural perception in virtual and augmented reality scenes
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US9196005B2 (en) * 2013-05-10 2015-11-24 Verizon and Redbox Digital Entertainment Services, LLC Vending kiosk user interface systems and methods
US10463953B1 (en) 2013-07-22 2019-11-05 Niantic, Inc. Detecting and preventing cheating in a location-based game
US9377345B2 (en) 2013-09-11 2016-06-28 Illinois Tool Works Inc. Food product scale
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9545565B1 (en) 2013-10-31 2017-01-17 Niantic, Inc. Regulating and scoring player interactions within a virtual world associated with a location-based parallel reality game
US20150177935A1 (en) * 2013-12-20 2015-06-25 Zheng Lu Digital map based 3D-character virtual interaction system for social networking
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10977864B2 (en) 2014-02-21 2021-04-13 Dropbox, Inc. Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US9679197B1 (en) 2014-03-13 2017-06-13 Leap Motion, Inc. Biometric aware object detection and tracking
JP6265027B2 (ja) 2014-04-22 2018-01-24 富士通株式会社 表示装置、位置特定プログラム、および位置特定方法
KR20150133912A (ko) * 2014-05-20 2015-12-01 아진산업(주) 탑승용 운동기구 운영시스템
NO20140637A1 (no) * 2014-05-21 2015-11-23 The Future Group As Virtuell protokoll
US10782657B2 (en) * 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
WO2016004330A1 (en) 2014-07-03 2016-01-07 Oim Squared Inc. Interactive content generation
US10719123B2 (en) 2014-07-15 2020-07-21 Nant Holdings Ip, Llc Multiparty object recognition
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
US10417801B2 (en) 2014-11-13 2019-09-17 Hewlett-Packard Development Company, L.P. Image projection
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10181219B1 (en) 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US9407865B1 (en) 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
JP2016170528A (ja) * 2015-03-11 2016-09-23 株式会社リコー 頭部装着型表示装置及び頭部装着型表示装置における外部機器との接続方法
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US20160307243A1 (en) * 2015-04-17 2016-10-20 Mastercard International Incorporated Systems and methods for determining valuation data for a location of interest
CN105013177A (zh) * 2015-06-23 2015-11-04 广东邦宝益智玩具股份有限公司 拼接玩具车的游戏方法
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
US10620778B2 (en) 2015-08-31 2020-04-14 Rockwell Automation Technologies, Inc. Augmentable and spatially manipulable 3D modeling
US20170061696A1 (en) * 2015-08-31 2017-03-02 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US10127725B2 (en) 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US9928656B2 (en) * 2015-09-11 2018-03-27 Futurewei Technologies, Inc. Markerless multi-user, multi-object augmented reality on mobile devices
WO2017067824A1 (en) 2015-10-19 2017-04-27 Skansense S.L.U. Obtaining data from targets using imagery and other remote sensing data
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN105426833A (zh) * 2015-11-13 2016-03-23 小米科技有限责任公司 用于游戏的图像识别方法及装置
US20190129593A1 (en) * 2016-03-11 2019-05-02 Parcell Llc Method and system for managing a parcel in a virtual environment
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10129126B2 (en) 2016-06-08 2018-11-13 Bank Of America Corporation System for predictive usage of resources
US10581988B2 (en) 2016-06-08 2020-03-03 Bank Of America Corporation System for predictive use of resources
US10433196B2 (en) 2016-06-08 2019-10-01 Bank Of America Corporation System for tracking resource allocation/usage
US10178101B2 (en) 2016-06-08 2019-01-08 Bank Of America Corporation System for creation of alternative path to resource acquisition
US10291487B2 (en) 2016-06-08 2019-05-14 Bank Of America Corporation System for predictive acquisition and use of resources
US10943398B2 (en) * 2016-07-15 2021-03-09 Samsung Electronics Co., Ltd. Augmented reality device and operation thereof
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10384130B2 (en) * 2016-08-05 2019-08-20 AR Sports LLC Fantasy sport platform with augmented reality player acquisition
KR101896982B1 (ko) * 2016-10-13 2018-09-10 에이케이엔코리아 주식회사 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
JP2018077644A (ja) * 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理システム及びプログラム
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
WO2018142421A1 (en) * 2017-01-31 2018-08-09 Pawar Nikhil Location based system displaying historical timeline
US10977624B2 (en) 2017-04-12 2021-04-13 Bank Of America Corporation System for generating paper and digital resource distribution documents with multi-level secure authorization requirements
US10122889B1 (en) 2017-05-08 2018-11-06 Bank Of America Corporation Device for generating a resource distribution document with physical authentication markers
US20180349837A1 (en) * 2017-05-19 2018-12-06 Hcl Technologies Limited System and method for inventory management within a warehouse
US10621363B2 (en) 2017-06-13 2020-04-14 Bank Of America Corporation Layering system for resource distribution document authentication
US10325409B2 (en) * 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
US10511692B2 (en) 2017-06-22 2019-12-17 Bank Of America Corporation Data transmission to a networked resource based on contextual information
US10524165B2 (en) 2017-06-22 2019-12-31 Bank Of America Corporation Dynamic utilization of alternative resources based on token association
US10313480B2 (en) 2017-06-22 2019-06-04 Bank Of America Corporation Data transmission between networked resources
US10719870B2 (en) * 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
US10717005B2 (en) 2017-07-22 2020-07-21 Niantic, Inc. Validating a player's real-world location using activity within a parallel reality game
WO2019028159A1 (en) * 2017-08-02 2019-02-07 Magical Technologies, Llc SYSTEMS, METHODS AND APPARATUS FOR FACILITATING TRADE OR EXCHANGE OF VIRTUAL PROPERTY ASSETS ASSOCIATED WITH PHYSICAL SPACE
US10943399B2 (en) 2017-08-28 2021-03-09 Microsoft Technology Licensing, Llc Systems and methods of physics layer prioritization in virtual environments
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
KR102409947B1 (ko) 2017-10-12 2022-06-17 삼성전자주식회사 디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템
US10599289B1 (en) * 2017-11-13 2020-03-24 Snap Inc. Interface to display animated icon
US10282903B1 (en) * 2017-11-16 2019-05-07 International Business Machines Corporation System and method for matching virtual reality goals with an optimal physical location
US11157295B2 (en) * 2018-01-02 2021-10-26 Patrick Schur System and method for providing intelligent operant operating interface and intelligent personal assistant as a service on a crypto secure social media and cross bridge service with continuous prosumer validation based on i-operant+198 tags, i-bubble+198 tags, demojis+198 and demoticons+198
DK201870349A1 (en) 2018-01-24 2019-10-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
US11262838B2 (en) * 2018-01-30 2022-03-01 Sony Corporation Information processing device and information processing method
JP6407460B1 (ja) * 2018-02-16 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10777009B2 (en) * 2018-02-18 2020-09-15 CN2, Inc. Dynamically forming an immersive augmented reality experience through collaboration between a consumer and a remote agent
US10445940B2 (en) 2018-03-15 2019-10-15 Disney Enterprises, Inc. Modeling interactions between simulated characters and real-world objects for more realistic augmented reality
GB201804383D0 (en) 2018-03-19 2018-05-02 Microsoft Technology Licensing Llc Multi-endpoint mixed reality meetings
US10902680B2 (en) 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
US11087136B2 (en) * 2018-04-13 2021-08-10 Apple Inc. Scene classification
CN115731294A (zh) * 2018-05-07 2023-03-03 谷歌有限责任公司 通过面部表情操纵远程化身
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
FR3084173A1 (fr) 2018-07-18 2020-01-24 Holomake Systeme d'asservissement mecanique motorise d'un plan holographique pour le guidage manuel de precision
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) * 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10834445B2 (en) * 2018-12-27 2020-11-10 Oath Inc. Annotating extended reality presentations
US10554596B1 (en) * 2019-03-28 2020-02-04 Wormhole Labs, Inc. Context linked messaging system
TWI719561B (zh) * 2019-07-29 2021-02-21 緯創資通股份有限公司 電子裝置、互動型資訊展示方法及電腦可讀取記錄媒體
US11209261B2 (en) * 2019-08-22 2021-12-28 Innovmetric Logiciels Inc. Methods and systems for producing traceable measurements
US11475637B2 (en) 2019-10-21 2022-10-18 Wormhole Labs, Inc. Multi-instance multi-user augmented reality environment
CN111773658B (zh) * 2020-07-03 2024-02-23 珠海金山数字网络科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
US11861798B2 (en) * 2020-07-24 2024-01-02 Stephen Wilkes Reactive augmented reality
US11360733B2 (en) * 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US20220253798A1 (en) * 2020-12-10 2022-08-11 Elliot Klein Docking station accessory device for connecting electronic module devices to a package
US20220254114A1 (en) * 2021-02-08 2022-08-11 CITA Equity Partners, LLC Shared mixed reality and platform-agnostic format
EP4113987B1 (en) * 2021-06-29 2023-11-08 Axis AB System, camera device, method, and computer program for displaying collected sensor data together with images

Family Cites Families (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
EP0513474A1 (en) 1986-09-11 1992-11-19 Hughes Aircraft Company Digital visual and sensor simulation system for generating realistic scenes
US5241671C1 (en) 1989-10-26 2002-07-02 Encyclopaedia Britannica Educa Multimedia search system using a plurality of entry path means which indicate interrelatedness of information
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
US7721307B2 (en) 1992-12-09 2010-05-18 Comcast Ip Holdings I, Llc Method and apparatus for targeting of interactive virtual objects
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JP3108585B2 (ja) 1993-07-28 2000-11-13 日本電信電話株式会社 ビデオ画像プリントアクセス方法およびシステム
US5625765A (en) * 1993-09-03 1997-04-29 Criticom Corp. Vision systems including devices and methods for combining images for extended magnification schemes
US6278461B1 (en) * 1993-09-10 2001-08-21 Geovector Corporation Augmented reality vision systems which derive image information from other vision systems
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
EP0697613B1 (en) 1994-08-19 2005-10-19 Sony Corporation Cyber-space system
US5742815A (en) 1994-10-04 1998-04-21 Stern; Yonatan Pesach Method for storing and retrieving images in/from a database
US5945982A (en) 1995-05-30 1999-08-31 Minolta Co., Ltd. Data administration apparatus that can search for desired image data using maps
DE69628282T2 (de) 1995-09-15 2004-03-11 Interval Research Corp., Palo Alto Verfahren zur kompression mehrerer videobilder
JP3743988B2 (ja) 1995-12-22 2006-02-08 ソニー株式会社 情報検索システムおよび方法、並びに情報端末
US6084590A (en) 1997-04-07 2000-07-04 Synapix, Inc. Media production with correlation of image stream and abstract objects in a three-dimensional virtual stage
AU2802097A (en) * 1997-04-15 1998-11-11 Criticom Corporation Computer games having optically acquired images which are combined with computergenerated graphics and images
DE69835314T2 (de) 1997-04-15 2007-05-10 Hewlett-Packard Development Co., L.P., Houston Verfahren und Vorrichtung zur formatgesteuerten Interaktion zwischen Geräten
JP3156646B2 (ja) * 1997-08-12 2001-04-16 日本電信電話株式会社 検索型景観ラベリング装置およびシステム
US6750848B1 (en) 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US6295391B1 (en) * 1998-02-19 2001-09-25 Hewlett-Packard Company Automatic data routing via voice command annotation
US6289140B1 (en) * 1998-02-19 2001-09-11 Hewlett-Packard Company Voice control input for portable capture devices
US6175343B1 (en) 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US6285995B1 (en) 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US6404900B1 (en) 1998-06-22 2002-06-11 Sharp Laboratories Of America, Inc. Method for robust human face tracking in presence of multiple persons
JP2000194726A (ja) * 1998-10-19 2000-07-14 Sony Corp 情報処理装置及び方法、情報処理システム並びに提供媒体
US6968333B2 (en) * 2000-04-02 2005-11-22 Tangis Corporation Soliciting information based on a computer user's context
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US7324081B2 (en) * 1999-03-02 2008-01-29 Siemens Aktiengesellschaft Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus
US6674993B1 (en) * 1999-04-30 2004-01-06 Microvision, Inc. Method and system for identifying data locations associated with real world observations
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
ATE543546T1 (de) * 1999-06-11 2012-02-15 Canon Kk Vorrichtung und verfahren zur darstellung eines von mehreren benutzern geteilten raumes, wo wirklichkeit zum teil einbezogen wird, entsprechende spielvorrichtung und entsprechendes schnittstellenverfahren
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
US7084887B1 (en) * 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
US6356146B1 (en) 1999-07-13 2002-03-12 Pmc-Sierra, Inc. Amplifier measurement and modeling processes for use in generating predistortion parameters
JP4394202B2 (ja) * 1999-07-21 2010-01-06 株式会社バンダイナムコゲームス 画像生成システム及び情報記憶媒体
JP3876573B2 (ja) * 1999-09-20 2007-01-31 カシオ計算機株式会社 ネットゲーム装置及び似顔絵画像表示制御方法
US7219123B1 (en) * 1999-10-08 2007-05-15 At Road, Inc. Portable browser device with adaptive personalization capability
US6466198B1 (en) * 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US6522889B1 (en) * 1999-12-23 2003-02-18 Nokia Corporation Method and apparatus for providing precise location information through a communications network
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US6312337B1 (en) * 2000-02-11 2001-11-06 Sony Corporation Online digital photography game system
JP3957468B2 (ja) * 2000-03-31 2007-08-15 日立造船株式会社 複合現実感実現システム
EP1182541A3 (de) 2000-08-22 2005-11-30 Siemens Aktiengesellschaft System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung
US20080021953A1 (en) * 2000-08-24 2008-01-24 Jacob Gil Method and System for Automatically Connecting Real-World Entities Directly to Corresponding Network-Based Data Sources or Services
WO2002020111A2 (en) * 2000-09-07 2002-03-14 Omnisky Corporation Coexistent interaction between a virtual character and the real world
JP4236372B2 (ja) 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
JP2002153670A (ja) * 2000-11-17 2002-05-28 Casio Comput Co Ltd 電子ゲームシステム、電子ゲーム装置、および記録媒体
US7031875B2 (en) * 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
US6765572B2 (en) 2001-04-23 2004-07-20 Koninklijke Philips Electronics N.V. Virtual modeling by voxel-clipping shadow-cast
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US6795972B2 (en) * 2001-06-29 2004-09-21 Scientific-Atlanta, Inc. Subscriber television system user interface with a virtual reality media space
US20030155413A1 (en) 2001-07-18 2003-08-21 Rozsa Kovesdi System and method for authoring and providing information relevant to a physical world
US6937980B2 (en) * 2001-10-02 2005-08-30 Telefonaktiebolaget Lm Ericsson (Publ) Speech recognition using microphone antenna array
US20030073411A1 (en) 2001-10-16 2003-04-17 Meade William K. System and method for automatically applying a user preference from a mobile computing device to an appliance
US20030071117A1 (en) 2001-10-16 2003-04-17 Meade William K. System and method for determining priority among multiple mobile computing devices to control an appliance
US7036080B1 (en) * 2001-11-30 2006-04-25 Sap Labs, Inc. Method and apparatus for implementing a speech interface for a GUI
US6641037B2 (en) 2001-12-13 2003-11-04 Peter Williams Method and system for interactively providing product related information on demand and providing personalized transactional benefits at a point of purchase
US20030218638A1 (en) * 2002-02-06 2003-11-27 Stuart Goose Mobile multimodal user interface combining 3D graphics, location-sensitive speech interaction and tracking technologies
JP2003244301A (ja) * 2002-02-18 2003-08-29 Nec Corp 携帯情報端末
US20030184594A1 (en) * 2002-03-25 2003-10-02 John Ellenby Apparatus and methods for interfacing with remote addressing systems
US7987491B2 (en) * 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
US20040002843A1 (en) * 2002-05-13 2004-01-01 Consolidated Global Fun Unlimited, Llc Method and system for interacting with simulated phenomena
US20050009608A1 (en) * 2002-05-13 2005-01-13 Consolidated Global Fun Unlimited Commerce-enabled environment for interacting with simulated phenomena
JP2004046793A (ja) * 2002-05-17 2004-02-12 Nintendo Co Ltd 画像処理システム
US7653212B2 (en) 2006-05-19 2010-01-26 Universal Electronics Inc. System and method for using image data in connection with configuring a universal controlling device
FR2842977A1 (fr) * 2002-07-24 2004-01-30 Total Immersion Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
US6950116B2 (en) * 2002-08-28 2005-09-27 Lockheed Martin Corporation Interactive virtual portal
US7427996B2 (en) 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
JP2004173940A (ja) * 2002-11-27 2004-06-24 Nec Interchannel Ltd 情報端末による対戦ゲームシステム及びその方法、情報端末、プログラム
US7283983B2 (en) 2003-01-09 2007-10-16 Evolution Robotics, Inc. Computer and vision-based augmented interaction in the use of printed media
DE10305384A1 (de) 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
US7096006B2 (en) * 2003-03-24 2006-08-22 Inventec Appliances Corp. Method of playing instant game on wireless network terminal device
US20050015370A1 (en) * 2003-07-14 2005-01-20 Stavely Donald J. Information management system and method
JP4179614B2 (ja) 2003-10-16 2008-11-12 ソフトバンクモバイル株式会社 移動体通信端末用外部装置、移動体通信端末及び移動体通信端末用外部表示システム
WO2005066744A1 (en) 2003-12-31 2005-07-21 Abb Research Ltd A virtual control panel
US7903838B2 (en) 2004-01-30 2011-03-08 Evolution Robotics, Inc. Vision-enabled household appliances
US8421872B2 (en) * 2004-02-20 2013-04-16 Google Inc. Image base inquiry system for search engines for mobile telephones with integrated camera
US7383148B2 (en) * 2004-03-25 2008-06-03 Siemens Building Technologies, Inc. Method and apparatus for graphically displaying a building system
JP2005293505A (ja) * 2004-04-05 2005-10-20 Sony Corp 電子機器、及び入力装置、並びに入力方法
US7129887B2 (en) * 2004-04-15 2006-10-31 Lockheed Martin Ms2 Augmented reality traffic control center
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US7295220B2 (en) 2004-05-28 2007-11-13 National University Of Singapore Interactive system and method
US20050285878A1 (en) 2004-05-28 2005-12-29 Siddharth Singh Mobile platform
US20050288078A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Game
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US7266777B2 (en) 2004-09-08 2007-09-04 Universal Electronics Inc. Configurable controlling device having an associated editing program
JP4588395B2 (ja) 2004-09-24 2010-12-01 富士通株式会社 情報処理端末
JP2008521110A (ja) * 2004-11-19 2008-06-19 ダーム インタラクティブ，エスエル ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＲｅｓｏｕｒｃｅｓのアプリケーション用に画像取り込み機能を具備した個人用装置とその方法
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
US7852317B2 (en) 2005-01-12 2010-12-14 Thinkoptics, Inc. Handheld device for handheld vision based absolute pointing system
DE102006014634B4 (de) * 2005-04-01 2014-01-30 Abb Research Ltd. Mensch-Maschine-Schnittstelle für ein Kontroll- bzw. Steuerungs-System
US20060223635A1 (en) * 2005-04-04 2006-10-05 Outland Research method and apparatus for an on-screen/off-screen first person gaming experience
CN101189049B (zh) 2005-04-06 2012-02-29 苏黎士高等院校非金属材料联盟 在移动设备中执行应用程序的方法
EP1913559B1 (fr) * 2005-08-09 2016-10-19 Qualcomm Connected Experiences, Inc. Procede et dispositifs pour visualiser un modele numerique dans un environnement reel
US20070050468A1 (en) 2005-08-09 2007-03-01 Comverse, Ltd. Reality context menu (RCM)
FR2889761A1 (fr) * 2005-08-09 2007-02-16 Total Immersion Sa Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera
US20080189185A1 (en) 2005-08-10 2008-08-07 Ebank Corporation Account Opening Method
EP2764899A3 (en) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
WO2007069573A1 (ja) * 2005-12-16 2007-06-21 Matsushita Electric Industrial Co., Ltd. 移動体用入力装置、及び方法
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US7775437B2 (en) 2006-06-01 2010-08-17 Evryx Technologies, Inc. Methods and devices for detecting linkable objects
US7830417B2 (en) * 2006-08-15 2010-11-09 Fuji Xerox Co., Ltd System and method for interacting with objects via a camera enhanced mobile device
JP5230096B2 (ja) 2006-12-27 2013-07-10 キヤノン株式会社 映像音声出力装置及び映像音声出力方法
FR2911211B1 (fr) * 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
FR2911463B1 (fr) * 2007-01-12 2009-10-30 Total Immersion Sa Dispositif d'observation de realite augmentee temps reel et procede de mise en oeuvre d'un dispositif
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US8386918B2 (en) 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
US8903430B2 (en) 2008-02-21 2014-12-02 Microsoft Corporation Location based object tracking
FR2928803B1 (fr) 2008-03-14 2012-03-30 Alcatel Lucent Fourniture de services a partir d'objets filmes ou photographies depuis un terminal mobile.
FR2928805B1 (fr) 2008-03-14 2012-06-01 Alcatel Lucent Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles.
US20100106720A1 (en) 2008-10-24 2010-04-29 National Kaohsiung University Of Applied Sciences Method for identifying a remote pattern
US8483715B2 (en) 2009-03-26 2013-07-09 Yahoo! Inc. Computer based location identification using images
US8977639B2 (en) 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
US20130013414A1 (en) 2011-07-05 2013-01-10 Haff Maurice Apparatus and method for direct discovery of digital content from observed physical media
US20130046602A1 (en) 2011-08-17 2013-02-21 Bank Of America Corporation Method of providing an offer based on proximity to a point of sale transaction
WO2016004330A1 (en) 2014-07-03 2016-01-07 Oim Squared Inc. Interactive content generation

Also Published As

Publication number Publication date
BRPI0615283A2 (pt) 2011-05-17
US20080094417A1 (en) 2008-04-24
US20140173493A1 (en) 2014-06-19
EP1929430A2 (en) 2008-06-11
US9600935B2 (en) 2017-03-21
US20140059437A1 (en) 2014-02-27
JP2009509363A (ja) 2009-03-05
EP2764899A3 (en) 2014-12-10
US8633946B2 (en) 2014-01-21
US10463961B2 (en) 2019-11-05
US20150199851A1 (en) 2015-07-16
US20140055493A1 (en) 2014-02-27
US20100017722A1 (en) 2010-01-21
CA2621191A1 (en) 2007-03-08
CA2621191C (en) 2012-12-18
US20140132632A1 (en) 2014-05-15
US20170144068A1 (en) 2017-05-25
WO2007027738A2 (en) 2007-03-08
US10617951B2 (en) 2020-04-14
US20140055492A1 (en) 2014-02-27
WO2007027738A3 (en) 2007-09-20
EP1929430A4 (en) 2011-06-29
EP2764899A2 (en) 2014-08-13
KR101019569B1 (ko) 2011-03-08
CN101273368A (zh) 2008-09-24
JP4890552B2 (ja) 2012-03-07
US7564469B2 (en) 2009-07-21

Similar Documents

Publication Publication Date Title
KR101019569B1 (ko) 모바일 이미지 인식을 통한 상호작용
US8130242B2 (en) Interactivity via mobile image recognition
US9076077B2 (en) Interactivity via mobile image recognition
US20120154438A1 (en) Interactivity Via Mobile Image Recognition
JP6383478B2 (ja) インタラクティブ体験のためのシステム及び方法、並びにこのためのコントローラ
CN107680157B (zh) 一种基于直播的互动方法及直播系统、电子设备
CN112334886B (zh) 内容分发系统、内容分发方法、记录介质
KR101686576B1 (ko) 가상 현실 시스템 및 이를 이용한 오디션 게임 시스템
EP2281245B1 (en) Method and apparatus for real-time viewer interaction with a media presentation
US20120122570A1 (en) Augmented reality gaming experience
JP2020017244A (ja) サーバ、方法、プログラム、動画像放送システム
JP2015507773A5 (ko)
KR102432011B1 (ko) 게임 애플리케이션의 사용자 인터페이스 요소를 햅틱 피드백으로 트랜스크라이빙하기 위한 시스템 및 방법
Reisner ’The Reality Behind It All Is Very True’: Call of Duty: Black Ops and the Remembrance of the Cold War
CN114911558A (zh) 云游戏启动方法、装置、系统、计算机设备和存储介质
CN113599810A (zh) 基于虚拟对象的显示控制方法、装置、设备及介质
WO2022137522A1 (ja) ゲーム方法、コンピュータシステム、コンピュータ可読媒体、および情報端末装置
JP7146847B2 (ja) サーバ、方法、プログラム、動画像放送システム
WO2022113326A1 (ja) ゲーム方法、コンピュータ可読媒体、および情報端末装置
WO2022113335A1 (ja) 方法、コンピュータ可読媒体、および情報処理装置
WO2022113330A1 (ja) 方法、コンピュータ可読媒体、および情報処理装置
CN117959710A (zh) 一种游戏数据处理方法、装置、设备以及介质
CN116011212A (zh) 战术模拟方法、战术模拟装置、存储介质及电子设备
CN116684675A (zh) 页面显示方法、装置、计算机设备、存储介质及程序产品
KR20020035513A (ko) 휴대폰 문자메시지와 체험형 네트워크게임을 이용한 고객충성도 유발 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140213

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150213

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160212

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170216

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190214

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200213

Year of fee payment: 10