KR20150038272A - 사용자 인터페이스 제어기로서 유형의 물체들의 증강 - Google Patents

사용자 인터페이스 제어기로서 유형의 물체들의 증강 Download PDF

Info

Publication number
KR20150038272A
KR20150038272A KR1020157004663A KR20157004663A KR20150038272A KR 20150038272 A KR20150038272 A KR 20150038272A KR 1020157004663 A KR1020157004663 A KR 1020157004663A KR 20157004663 A KR20157004663 A KR 20157004663A KR 20150038272 A KR20150038272 A KR 20150038272A
Authority
KR
South Korea
Prior art keywords
controlling
camera
physical object
logic configured
tracking
Prior art date
Application number
KR1020157004663A
Other languages
English (en)
Inventor
버지니아 왈커 키팅
미하엘 게르파우츠
퍼 오. 니엘센
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150038272A publication Critical patent/KR20150038272A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/404—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection
    • A63F2300/405—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection being a wireless ad hoc network, e.g. Bluetooth, Wi-Fi, Pico net
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Selective Calling Equipment (AREA)
  • Image Analysis (AREA)

Abstract

유형의 증강된 현실 물체들의 상호 작용들을 제공하기 위한 방법, 컴퓨터 프로그램 물건 및 장치가 개시된다. 일 실시예에서, 카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법은 적어도 하나의 물체의 선택을 수신하는 단계, 카메라에 의해 캡처된 복수의 이미지들에서 적어도 하나의 물체를 추적하는 단계, 및 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 디바이스로부터 현실 물체로 전송되게 하는 단계를 포함한다.

Description

사용자 인터페이스 제어기로서 유형의 물체들의 증강{AUGMENTATION OF TANGIBLE OBJECTS AS USER INTERFACE CONTROLLER}
본 출원은 "Augmentation of Tangible Objects as User Interface Controller"란 명칭으로 2013년 3월 15일자에 출원된 미국 출원 제 13/815,813 호; "Interactions of Tangible and Augmented Reality Objects"란 명칭으로 2012년 7월 26일자에 출원된 미국 가출원 제 61/676,246 호; "Maintaining Continuity of Augmentations"란 명칭으로 2012년 7월 26일자에 출원된 미국 가출원 제 61/676,249 호; "Method and Apparatus for Controlling Augmented Reality"란 명칭으로 2012년 7월 26일자에 출원된 미국 가출원 제 61/676,278 호; "Interactions of Tangible and Augmented Reality Objects"란 명칭으로 2012년 7월 26일자에 출원된 미국 가출원 제 61/676,255 호; 및 "Tangible Items' Effect on Particle System Augmentation in Virtual Spaces"이란 명칭으로 2012년 7월 26일자에 출원된 미국 가출원 제 61/676,274 호의 이점을 주장한다. 그로 인해, 상술된 미국 출원들은 전체 내용이 인용에 의해 본원에 포함된다.
본 발명은 증강 현실 분야에 관한 것이다. 특히 본 발명은 유형의 증강된 현실 물체들의 상호 작용들에 관한 것이다.
종래의 증강 현실 애플리케이션은, 엘리먼트들이 비디오, 사운드, 그래픽들 또는 GPS 데이터와 같은 컴퓨터-생성 감각 입력에 의해 증강될 수 있는 현실 세계 환경의 라이브 뷰를 제공한다. 그러한 애플리케이션들을 통해, 현실의 뷰가 컴퓨팅 디바이스에 의해 수정될 수 있고, 이들은 현실의 사용자의 지각을 개선하고, 사용자의 환경에 관한 더 많은 정보를 제공한다. 예를 들면, 증강 콘텐츠는 시합 동안에 게임 통계 및 요약들과 같이, 환경적 엘리먼트들과 실시간으로 그리고 의미적 맥락으로 적용될 수 있다. 스마트 폰들과 같은 모바일 디바이스들의 급증으로, 사용자의 주위의 현실 세계에 관한 정보는, 가상 물체들을 현실 세계 물체들 상에 덮어씌운 환경에 관한 인공 정보와 같이 부가적인 증강 콘텐츠와 함께 모바일 디바이스 상에 디스플레이될 수 있다.
종래의 증강 현실 애플리케이션들은 사용자들이 사용자-정의 인터페이스를 사용하여 유형의 가상 환경과 상호 작용하는 것을 가능하게 함으로써 개선될 수 있다. 종래의 증강 현실 애플리케이션들은 사용자들이 그들의 환경을 그들의 선호도에 맞춤화하는 것을 가능하게 함으로써 개선될 수 있다. 또한, 종래의 증강 현실 애플리케이션들은 유형의 현실 세계 물체들과 증강된 현실 물체들 사이의 상호 작용들을 식별 및 제공함으로써 개선될 수 있고, 이것은 사용자들이 그들의 환경과 맞물리는 것을 추가로 권장할 수 있다. 따라서, 종래의 증강 현실 애플리케이션들을 개선할 수 있는 방법, 컴퓨터 프로그램 물건 및 증강 현실 인에이블 디바이스에 대한 필요성이 존재한다.
본 발명은 유형의 증강된 현실 물체들의 상호 작용들에 관한 것이다. 본 발명의 실시예들에 따라, 카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법은 적어도 하나의 물체의 선택을 수신하는 단계, 카메라에 의해 캡처된 복수의 이미지들에서 적어도 하나의 물체를 추적하는 단계, 및 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 디바이스로부터 현실 물체로 전송되게 하는 단계를 포함한다.
추적하는 방법은 3-차원 추적을 수행하는 단계를 포함하고, 3-차원 추적을 수행하는 단계는 디바이스에 관련하여 적어도 하나의 물체의 상대적인 포즈를 결정하는 단계, 및 상대적인 포즈를 사용하여 적어도 하나의 물체의 상태들을 업데이트하는 단계를 포함한다. 상대적인 포즈를 결정하는 방법은 적어도 하나의 물체의 이전에 캡처된 이미지에 관련하여 적어도 하나의 물체의 상대적인 포즈를 검출하는 단계를 포함한다. 적어도 하나의 물체를 선택하는 방법은 적어도 하나의 물체의 클로즈 업 뷰를 획득하기 위해 줌 인하는 단계를 포함한다. 적어도 하나의 물체를 선택하는 방법은 적어도 하나의 물체를 디바이스의 중심 스크린에 배치하는 단계를 포함한다.
본 발명의 양상들에 따라, 현실 물체는 적어도 하나의 물체를 포함하고, 제어 신호들이 전송되게 하는 단계는, 적어도 하나의 물체에 대한 제어 메커니즘의 증강(augmentation)을 렌더링하는 단계, 및 디바이스의 디스플레이 상에 사용자-정의된 제어 메커니즘을 제공하는 단계를 포함한다.
제어 신호들이 전송되게 하는 방법은 제어 메커니즘의 동작들을 모방하기 위해 디바이스의 모션들을 사용하는 단계를 더 포함한다. 기계 인터페이스는 블루투쓰, Wi-Fi, 및 IR 중 적어도 하나를 포함한다. 복수의 이미지들 중 적어도 하나의 이미지는 디바이스의 터치스크린 상에 디스플레이되고, 적어도 하나의 물체의 선택을 수신하는 방법은 적어도 하나의 물체를 식별하는 터치스크린 상의 사용자 입력에 관한 정보를 수신하는 단계를 포함한다.
상기 방법은 디바이스의 뷰에서 라디오를 추적하는 단계, 라디오에 의해 재생되는 노래의 증강을 제공하는 단계, 및 라디오가 회전되었다는 결정에 기초하여 노래의 볼륨을 조절하는 단계를 더 포함한다. 상기 방법은 디바이스의 뷰에서 텔레비전을 추적하는 단계, 물체가 텔레비전 근처에 배치되었다고 결정하는 단계, 및 물체가 텔레비전 근처에 배치된 것에 기초하여 텔레비전 상에서 재생되는 비디오의 증강을 트리거링하는 단계를 더 포함한다. 제어 신호들이 전송되게 하는 방법은 적어도 하나의 물체가 회전되었다고 결정하는 단계를 포함하고, 제어 신호들은 채널을 변경하거나 볼륨을 변경하도록 현실 물체에 지시하는 신호들을 포함한다.
본 발명의 다른 실시예에서, 현실 물체를 제어하기 위한 디바이스는 카메라 및 프로세싱 로직을 포함하는 제어 유닛을 포함하고, 프로세싱 로직은 적어도 하나의 물체의 선택을 수신하도록 구성된 로직, 카메라에 의해 캡처된 복수의 이미지들에서 적어도 하나의 물체를 추적하도록 구성된 로직, 및 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 디바이스로부터 현실 물체로 전송되게 하도록 구성된 로직을 포함한다.
본 발명의 또 다른 실시예에서, 카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 컴퓨터 프로그램 물건은 하나 이상의 컴퓨터 시스템들에 의한 실행을 위한 명령들을 저장하는 비일시적인 매체를 포함하고, 명령들은 적어도 하나의 물체의 선택을 수신하기 위한 명령들, 카메라에 의해 캡처된 복수의 이미지들에서 적어도 하나의 물체를 추적하기 위한 명령들, 및 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 디바이스로부터 현실 물체로 전송되게 하기 위한 명령들을 포함한다.
본 발명의 또 다른 실시예에서, 카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템은 적어도 하나의 물체의 선택을 수신하기 위한 수단, 카메라에 의해 캡처된 복수의 이미지들에서 적어도 하나의 물체를 추적하기 위한 수단, 및 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 디바이스로부터 현실 물체로 전송되게 하기 위한 수단을 포함한다.
다음 도면들과 함께 본 발명의 실시예들의 상세한 설명들을 읽은 후, 본 발명의 앞서 언급한 특징들 및 이점들뿐만 아니라, 본 발명의 추가 특징들 및 이점들이 더 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일부 양상들에 따른 증강 현실 인에이블 디바이스를 예시한다.
도 2는 본 발명의 일부 양상들에 따른 예시적인 증강 현실 인에이블 디바이스의 블록도를 예시한다.
도 3은 본 발명의 일부 양상들에 따른, 물체와 ARD 사이의 상대적인 위치에 적어도 부분적으로 기초한 상호 작용들을 제공하는 방법을 예시한다.
도 4는 본 발명의 일부 양상들에 따른, 가상 캐릭터가 상호 작용에 주로 포커스를 맞추는 방법을 예시한다.
도 5는 본 발명의 일부 양상들에 따른, 물체와 ARD 사이의 이동에 적어도 부분적으로 기초한 상호 작용들을 제공하는 또 다른 방법을 예시한다.
도 6은 본 발명의 일부 양상들에 따른, 이벤트에 적어도 부분적으로 기초하여 증강을 트리거링하는 방법을 예시한다.
도 7은 본 발명의 일부 양상들에 따른, 포커스에서 벗어난 물체에 적어도 부분적으로 기초하여 증강을 계속해서 제공하는 방법을 예시한다.
도 8은 본 발명의 일부 양상들에 따른, ARD로부터의 물체의 뷰에 적어도 부분적으로 기초하여 상호 작용 이벤트들을 제어하는 방법을 예시한다.
도 9는 본 발명의 일부 양상들에 따른, 다른 물체의 추가에 적어도 부분적으로 기초하여 상호 작용들을 제공하는 또 다른 방법을 예시한다.
도 10은 본 발명의 일부 양상들에 따른, 다른 캐릭터의 추가에 적어도 부분적으로 기초하여 상호 작용들을 제공하는 또 다른 방법을 예시한다.
도 11은 본 발명의 일부 양상들에 따른, 재개된 장면에 적어도 부분적으로 기초하여 상호 작용들을 제공하는 또 다른 방법을 예시한다.
도 12는 본 발명의 일부 양상들에 따른, 물체와 ARD 사이의 거리에 적어도 부분적으로 기초하여 상호 작용들을 트리거링하는 방법을 예시한다.
도 13은 본 발명의 일부 양상들에 따른, 물체와 ARD의 이동에 적어도 부분적으로 기초하여 상호 작용들을 트리거링하는 방법을 예시한다.
도 14는 본 발명의 일부 양상들에 따른, 물체 상의 물체에 적어도 부분적으로 기초하여 상호 작용들을 제공하는 방법을 예시한다.
도 15는 본 발명의 일부 양상들에 따른, 물체 내의 물체의 상대적인 배향에 적어도 부분적으로 기초하여 상호 작용들을 제공하는 또 다른 방법을 예시한다.
도 16은 본 발명의 일부 양상들에 따른, 다른 물체의 배향에 적어도 부분적으로 기초하여 물체의 증강을 제공하는 방법을 예시한다.
도 17은 일부 실시예들에서 유형의 증강된 현실 물체들의 상호 작용들을 제공하는 흐름도를 예시한다.
도 18은 일부 실시예들에서 유형의 증강된 현실 물체들의 상호 작용들을 제공하는 또 다른 흐름도를 예시한다.
도 19a, 도 19b, 도 19c 및 도 19d는 본 발명의 일부 양상들에 따라 ARD가 자동화 홈 제어 디바이스로서 사용되는 예를 예시한다.
도 20은 일부 실시예들에서 유형의 증강된 현실 물체들의 상호 작용들을 제공하는 또 다른 흐름도를 예시한다.
도면들 전체에 걸쳐 동일한 번호들이 사용된다.
유형의 증강된 현실 물체들의 상호 작용들의 실시예들이 개시된다. 다음의 설명들은 임의의 당업자가 본 발명을 실시하거나 이용할 수 있게 하도록 제공된다. 특정 실시예들 및 애플리케이션들의 설명들은 단지 예들로서 제공된다. 본 명세서에서 설명되는 예들의 다양한 변형들 및 결합들이 당업자들에게 쉽게 명백할 것이며, 본 명세서에 정의된 일반 원리들은 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 예들 및 애플리케이션들에 적용될 수 있다. 그러므로 본 발명은 설명 및 도시되는 예들로 한정되는 것으로 의도되는 것이 아니라, 본 명세서에서 개시되는 원리들 및 특징들에 부합하는 가장 넓은 범위에 따르는 것이다. 단어 "예시적인" 또는 "예"는 본원에서 "예, 사례 또는 예시로서 기능하는 것"을 의미하는데 사용된다. "예시적인 것" 또는 "예"로서 본원에 설명된 임의의 양상 또는 실시예는 반드시 다른 양상들 또는 실시예들에 비해 바람직하거나 유리한 것으로 해석되지는 않는다.
도 1은 본 발명의 일부 양상들에 따른 증강 현실 인에이블 디바이스를 예시한다. 도 1에 도시된 바와 같이, 증강 현실 인에이블 디바이스(ARD)(14)는 하우징(101), 디스플레이(112), 하나 이상의 스피커들(118) 및 마이크로폰(116)을 포함한다. 터치 스크린 디스플레이일 수 있는 디스플레이(112)는 카메라(108)에 의해 캡처된 이미지, 또는 임의의 다른 원하는 사용자 인터페이스 정보를 예시할 수 있다. 물론, ARD(14)는 반드시 본 발명에 관련되지는 않는 부가적인 컴포넌트들을 포함할 수 있다.
본원에 사용된 바와 같이, ARD 디바이스는 셀룰러 또는 다른 무선 통신 디바이스, 퍼스널 통신 시스템(PCS) 디바이스, 퍼스널 네비게이션 디바이스(PND), 개인 정보 관리자(PIM), 퍼스널 디지털 어시스턴트(PDA), 랩톱 또는 다른 적절한 모바일 플랫폼과 같은 임의의 휴대용 전자 디바이스를 지칭한다. 모바일 플랫폼은 네비게이션 포지셔닝 신호들과 같은 무선 통신 및/또는 네비게이션 신호들을 수신할 수 있다. 용어 ARD는 또한, 위성 신호 수신, 보조 데이터 수신 및/또는 포지션-관련 프로세싱이 디바이스에서 발생하는지 또는 PND에서 발생하는지 여부에 관계없이 가령, 단거리 무선, 적외선, 유선 접속 또는 다른 접속에 의해, 퍼스널 네비게이션 디바이스(PND)와 통신하는 디바이스들을 포함하도록 의도된다. 또한, ARD는 포즈 추적에 사용되는 이미지들을 캡처할 수 있을 뿐만 아니라 증강 현실 사용자 인터페이스 기능들을 수행할 수 있는, 무선 통신 디바이스들, 컴퓨터들, 랩톱들, 태블릿 컴퓨터들, 스마트 폰들, 디지털 카메라들 등을 포함하는 모든 전자 디바이스들을 포함하도록 의도된다.
도 2는 본 발명의 일부 양상들에 따른 예시적인 증강 현실 인에이블 디바이스의 블록도를 예시한다. ARD(14)의 모바일 플랫폼은 환경의 이미지들을 캡처하기 위한 카메라(108)를 포함하고, 이미지들은 개별적인 사진들 또는 비디오의 프레임들 중 어느 하나일 수 있다. ARD(14)의 모바일 플랫폼은 또한 데이터를 제공하는데 사용될 수 있는 센서들(109)을 포함할 수 있고, ARD(14)의 모바일 플랫폼은 그 데이터를 통해 자신의 위치 및 배향, 즉, 포즈를 결정할 수 있다. ARD(14)의 모바일 플랫폼에서 사용될 수 있는 센서들의 예들은 가속도계들, 수정(quartz) 센서들, 자이로스코프들, 선형 가속도계들로서 사용되는 MEMS(micro-electromechanical system) 센서들뿐만 아니라 자력계들을 포함한다.
ARD(14)의 모바일 플랫폼은 또한 이미지들을 디스플레이할 수 있는 디스플레이(112)를 포함하는 사용자 인터페이스(110)를 포함할 수 있다. 사용자 인터페이스(110)는 또한 사용자가 정보를 ARD(14)의 모바일 플랫폼에 입력할 수 있게 하는 다른 입력 디바이스 또는 키패드(114)를 포함할 수 있다. 원한다면, 키패드(114)는 가상 키패드를 터치 센서를 갖는 디스플레이(112)에 통합함으로써 제거될 수 있다. 사용자 인터페이스(110)는 또한, 예를 들면, 모바일 플랫폼이 셀룰러 텔레폰인 경우 마이크로폰(116) 및 하나 이상의 스피커들(118)을 포함할 수 있다. 물론, ARD(14)의 모바일 플랫폼은 본 발명에 관련되지 않은 다른 컴포넌트들을 포함할 수 있다.
ARD(14)의 모바일 플랫폼은, 임의의 다른 원하는 특징들과 함께, 카메라(108) 및 센서들(109)뿐만 아니라 사용자 인터페이스(110)에 접속되고 이들과 통신할 수 있는 제어 유닛(120)을 더 포함한다. 제어 유닛(120)은 하나 이상의 프로세서들(122) 및 연관된 메모리/스토리지(124)에 의해 제공될 수 있다. 제어 유닛(120)은 또한 소프트웨어(126)뿐만 아니라 하드웨어(128) 및 펌웨어(130)를 포함할 수 있다. 제어 유닛(120)은 ARD(14)의 위치를 추적할 뿐만 아니라 ARD(14)에 의해 모니터링되는 하나 이상의 물체들의 위치들을 추적하도록 구성된 추적 유닛(132)을 포함한다. 제어 유닛(120)은 증강 현실 상호 작용들을 ARD(14)의 디스플레이(112) 상에 제공하도록 구성된 증강 현실 사용자 인터페이스 유닛(134)을 더 포함할 수 있다. 추적 유닛(132) 및 증강 현실 사용자 인터페이스 유닛(134)은 명확히 하기 위해 프로세서(122) 및/또는 하드웨어(128)로부터 분리되는 것으로 예시되지만, 결합될 수 있거나 및/또는 소프트웨어(126) 및 펌웨어(130) 내의 명령들에 기초하여 프로세서(122) 및/또는 하드웨어(128)로 구현될 수 있다.
본 발명의 양상들에 따라, ARD(14)는 하나 이상의 유형의 인터페이스 물품들과 공조하여 사용될 수 있다. 본원에 설명된 예들 중 많은 예에서, 유형의 인터페이스 물품들은 "물체들" 또는 "장난감들"로 지칭된다. 그러나, 다른 타입들의 유형의 물체들이 또한 사용될 수 있고, 본원에 개시된 기술들은 장난감들로 제한되지 않는다. 예를 들면, 유형의 인터페이스 물품들은 콜라 캔, 커피 컵, 잡지, 또는 ARD(14)의 카메라의 시야 내에 있을 수 있는 다른 유형의 물품과 같이, 사용자의 환경 내의 하나 이상의 물품들을 포함할 수 있다.
ARD(14)에 의해 제공되는 증강은 연속적인 스토리 경로를 형성할 수 있다. 그러한 연속적인 스토리 경로는 본원에서 "장면"으로 지칭될 수 있다. ARD(14)의 증강 로직은 사용자의 주의력(attentiveness)을 모니터링하고, 사용자가 특정 장면에서 관심을 잃은 것처럼 보인 경우에 장면들을 변경하도록 구성될 수 있다. ARD(14)에 의해 제공되는 증강 콘텐츠를 맞춤화하고 사용자와 상호 작용하기 위한 기술들이 아래에 더 상세히 설명된다.
본 발명의 실시예들에 따라, ARD(14) 및/또는 물체를 상이한 상대적인 위치들로 이동시킴으로써 상이한 증강들을 트리거링하는 다수의 방법들이 존재한다. 도 3에 도시된 예에서, 증강은 ARD(14)를 유형의 물체(21)(버니(21)로 또한 지칭됨)를 향해 이동시킴으로써 트리거링될 수 있다. 증강된 가상 캐릭터(31)(증강된 버니(31)로 또한 지칭됨)는 ARD(14)가 유형의 물체(21)에 더 가깝게 이동되는 것에 응답하여 "근처"(오디오(20)에 의해 표현됨)라고 말할 수 있다. 마찬가지로, 다른 예시적인 상황에서, 증강은 ARD(14)를 물체(21)로부터 멀리 이동시킴으로써 트리거링될 수 있다. 증강된 가상 캐릭터(31)는 ARD(14)가 물체(21)로부터 더 멀리 이동되는 것에 응답하여 "멀리"라고 말할 수 있다. 다른 예에서, 증강은 줌 아웃하고 이어서 줌 인(또는 멀어졌다가 이어서 가까워짐)하지 않고 근처의 하나의 물체로부터 근처의 다른 물체로 ARD(14)를 이동시킴으로써 트리거링될 수 있다. 증강된 가상 캐릭터(31)는 ARD(14)가 자신의 디스플레이의 뷰에 물체를 놓는 것에 응답하여 그의 손을 흔들 수 있다.
또 다른 예에서, 증강은 먼저 멀리 이동시키고 이어서 이전 장면으로부터 물체를 향해 이동시킴으로써 트리거링될 수 있다. 마찬가지로, 증강된 가상 캐릭터(31)는 ARD가 물체(21)를 향해 이동하는 것에 응답하여 그의 손을 흔들 수 있다. 다른 접근법들에서, 물체(21)와 같은 물체와 ARD(14) 사이의 기하학적 관계를 변경함으로써 다양한 증강들이 트리거링될 수 있다. 또 다른 접근법들에서, 다양한 증강들은 ARD(14)와 물체 사이의 거리, 및 ARD(14) 및 물체(21)가 서로에 대해 실질적으로 정지된 상태로 머무는 시간의 양과 같은 요인들의 조합에 기초하여 트리거링될 수 있다.
위에 도시된 예들에서, ARD를 사용하는 탐사(exploration)가 권장될 수 있다. 사용자에게는 물체(들)에 더 가깝게 이동하거나 물체(들)로부터 더 멀리 이동하는 것에 대한 상이한 증강들이 보상될 수 있다. 사용자는 한 손으로는 디바이스를 잡고 따라서 다른 손은 자유롭게 하여 유형의 플레이에 관여하게 함으로써 이러한 동작을 수행할 수 있다.
본 발명의 실시예들에 따라, 증강은 ARD(14)가 물체(21)를 줌 인하는 것에 응답하여 변할 수 있다. 줌 기능은 ARD(14)를 물체(21)에 더 가깝게 이동시킴으로써 달성될 수 있다. 줌 기능은 또한 물체(21)를 ARD(14)에 더 가깝게 이동시킴으로써 달성될 수 있다. 대안적으로, 줌 기능은 ARD(14)의 디스플레이 내의 물체(21)의 뷰들의 소프트웨어 및/또는 하드웨어 조절을 수행함으로써 달성될 수 있다.
다양한 구현들에서, 증강들을 트리거링하는 것은, 가상 캐릭터(31)와 같은, 주요 포커스를 갖는 ARD(14) 스크린 상의 물체(21)의 증강이 도 4에 도시된 바와 같이 ARD(14)의 방향으로 보기 위해 회전할 때 표현될 수 있다. 다른 접근법에서, 증강은 가상 캐릭터(31)가 사용자에게 손을 흔들게 하도록 변할 수 있다. 다른 접근법에서, 증강은 가상 캐릭터(31)가 "이봐요, 당신"이라고 말하게 하도록 변할 수 있다.
또 다른 구현들에서, 이벤트는 ARD(14)와 물체(21) 사이의 기하학적 관계의 변화에 따라 트리거링될 수 있다. 예를 들면, ARD(14)가 TV를 줌 인할 때, 비디오가 재생을 시작할 수 있거나, 또는 ARD(14)가 화장실을 줌 인할 때, 꽃들이 갑자기 나타날 수 있다. 도 6의 예에 도시된 바와 같이, ARD(14)가 목욕통(22)을 줌 인하는 것에 응답하여, 버블들로 채워진 증강된 목욕통(32)이 ARD(14)의 디스플레이 상에 도시될 수 있다.
포커싱되지 않은 물체들의 엘리먼트들이 물체의 포커스에 의해 영향을 받는 경우에, 장면이 변할 수 있다. 예를 들면, 버니가 브렛과 논의중인 동안에, ARD(14)가 버니를 줌 인하면, 브렛이 "이봐요, 버니, 당신은 거기서 누구와 있나요?"라고 말함으로써 사용자와의 상호 작용이 생성될 수 있다. 다른 예에서, ARD(14)가 목욕통(22)에서 놀고 있을 수 있는 버니(21)를 줌 인하면, 목욕통 버블링 사운드가 더 조용해지거나, 증강된 목욕통(32)으로부터의 버블들(33)이 도 7에 예시된 바와 같이 증강된 버니(31) 주변에서 떠돌 수 있다. 또 다른 예에서, 배경(12)(가령, 바닥)의 증강들이 도시될 수 있다. 일부 실시예들에서, 물체 또는 물체들의 분해능이 조절될 수 있다. 예를 들면, 가상 페인팅의 분해능은 페인팅에 관련하여 ARD(14)의 줌 또는 "위치"에 기초하여 조절될 수 있다.
장면은 상호 작용의 양상들에 기초하여 동작들을 개시할 수 있다. 예를 들면, 증강된 버니(31)는 "근처"라고 말할 수 있고, 사용자는 근처로 이동시킴으로써 응답할 수 있고, 이어서, ARD(14)는 사용자가 명령들을 따르는 것에 응답하여 버니가 "좋아"라고 말하게 하거나 및/또는 버니가 춤을 수행하게 하는 새로운 증강들을 트리거링함으로써 사용자에게 보상하도록 구성될 수 있다.
본 발명의 실시예들에 따라, 증강은 ARD(14)가 물체(21)로부터 줌 아웃하는 것에 응답하여 변할 수 있다. 줌 기능은 또한 ARD(14)를 물체(21)로부터 멀리 이동시킴으로써 달성될 수 있다. 대안적으로, 줌 기능은 ARD(14)에 대한 줌 아웃 기능을 사용하거나 ARD(14)로부터 더 멀리 물체(21)를 이동시킴으로써 달성될 수 있다.
하나의 접근법에서, 트리거링된 이벤트는, ARD(14)가 트리거링 물체, 예를 들면, 도 8에 도시된 TV(24)로부터 줌 아웃한 후에도 계속될 수 있다. 다른 구현들에서, 트리거링된 이벤트는, ARD(14)가 줌 아웃한 후에 계속되지 않을 수 있다. 예를 들면, TV(24)는 ARD(14)가 줌 아웃할 때 어둡게 될 수 있다. 또 다른 접근법에서, 줌 아웃은 장면을 종료하거나, 장면을 변경하거나 이전 장면을 재개할 수 있다. 예를 들면, 증강된 버니(31)는 사용자를 응시하는 것을 정지하고, 다시 TV를 시청하러 갈 수 있다. 또 다른 접근법에서, 장면은 상호 작용의 양상들에 기초하여 계속될 수 있다. 예를 들면, 증강된 버니(21)는 "멀리"라고 말할 수 있고, 장면은 증강된 버니가 ARD(14)로부터 더 멀리 있는 것을 도시하도록 조절될 수 있다.
다른 구현들에서, ARD(14)가 제 1 줌 아웃 없이 하나의 물체에 대한 줌 상태에서 다른 물체에 대한 줌 상태로 이동될 때, 상이하거나 조합된 증강이 발생할 수 있다. 이동은 1) ARD(14)의 측면 또는 회전 이동, 2) 프레임 외부로의 하나의 물체의 이동 및 ARD(14)에 매우 근접하게 프레임으로의 새로운 물체의 이동 및 3) 이전 물체가 여전히 프레임에 있을 수 있으면서 ARD(14)에 매우 근접하게 새로운 물체의 도입을 포함할 수 있지만, 이에 제한되지 않는다.
상이한 증강은 이전 물체 줌 상태로부터의 장면의 연속일 수 있다. 도 9에 도시된 하나의 접근법에서, TV(24) ― 비디오가 가상 TV(34)에서 재생되고 있음 ―에 대한 줌 인 동안에, 프레임으로의 버니(21)의 도입(TV(21)가 여전히 프레임이 있든지 또는 없든지 간에)은 "오, 당신은 TV를 시청하고 있구나!, 내가 당신과 함께 시청할 수 있을까요?"라고 말함으로써 가상 버니(31)로 하여금 사용자와 상호 작용하게 한다. 도 10에 도시된 다른 접근법에서, 버니(21)를 줌 인하는 것 ― 이것은 가상 버니로 하여금 "오, 그게 당신이구나"라고 말하게 함 ― 으로부터 강아지(25)를 줌 인하는 것으로 패닝(panning)할 때, 가상 강아지(35)는 "버니가 맞았어, 그게 당신이구나!(20)"라고 말한다.
또 다른 구현들에서, 줌 아웃 후에, ARD(14)는 다른 물체를 먼저 주밍하지 않고서 이전의 줌 아웃이 장면을 종료한 동일한 물체에 다시 줌 인할 수 있다. 장면은 제 1 시간과 상이한 증강으로 다시 픽 업할 수 있고, 예를 들면, 버니는 "이봐요, 당신이 다시 여기 있다"고 말할 수 있다.
또 다른 구현들에서, 장면은 다시 픽 업하지 않고, 대신에 다음과 같이, 즉, 1) 시간이 지난 경우(예를 들면, 2 내지 5 분), 2) ARD(14)가 (예를 들면, 피층 전기 반응 시그니처(galvanic skin response signature)를 통해) 새로운 사용자를 검출하는 경우, 3) ARD(14)가 특정 방식으로 다운(예를 들면, 스크린 다운)되도록 설정되는 경우, 또는 4) ARD(14)가 그 사이에(in the interim) 줌 아웃 모드에서 상이한 바닥들 또는 상이한 물체들을 탐사하도록 구성되는 경우(하지만 이에 제한되지 않음)를 포함하는 시나리오들에서 새로운 장면을 시작할 수 있다. 새로운 장면이 제 1 줌-상태 장면의 반복일 수 있다는 것을 유의하라. 또 다른 예에서, 새로운 장면은, 사용자에게 새로운 경험을 제공할 수 있는, 가상 캐릭터의 새로운 표현일 수 있다.
다른 물체를 주밍하거나 상이한 영역들 또는 물체들을 탐사한 후에, 장면은 이전의 경험으로부터 부가된 스토리라인 엘리먼트들로 다시 픽 업할 수 있다. 도 11에 도시된 예에서, 장면은 버니(21)로부터 상이한 룸 내의 강아지(25)로 이동하고, 이어서 다시 버니(21)로 복귀할 수 있고, 가상 버니(31)는, 예를 들면, "오, 이봐요, 거기! 나는 아직 목욕을 하고 있어요"라고 말함으로써 사용자와 상호 작용한다. 당신은 강아지와 TV 쇼를 시청하는 것을 즐기고 있나요?"라고 말함으로써 사용자와 상호 작용할 수 있다.
다른 구현들에서, 도 12에 도시된 바와 같이, 증강(16)은 물체가 ARD(14)로부터 얼마나 가까운지(물체의 상대적인 크기)에 의존하여 상이할 수 있다. 요인들은 1) 멀리서, 목욕통 물이 소용돌이 치는 것, 2) ARD(14)가 더 가까울수록, 버블들이 보이기 시작하는 것, 및 3) ARD(14)가 훨씬 더 가까울수록, 증강된 고무 오리가 팝 업할 수 있는 것을 포함하지만, 이에 제한되지 않는다.
본 발명의 실시예들에 따라, ARD(14)는 증강의 트리거들로서 타겟 위치 상태를 사용하도록 구성될 수 있다. 예를 들면, ARD(14)는 디바이스 및 3D 마커들의 2 X 6 도의 상대적인 위치 상호 작용을 지원하도록 구성될 수 있다. ARD(14)는 물체에 대해 임의의 위치로 이동될 수 있고, 물체는 ARD(14)에 대해 임의의 위치로 이동될 수 있거나, 그들 모두는 서로에 대해 함께 이동될 수 있다. 완전한 범위의 탐사 및 증강을 권장 및 보상하기 위해, 각각의 위치 및/또는 이동은 상이한 증강된 상호 작용들을 트리거링할 수 있다. 위치 및/또는 모션이 바닥과 같은 기준 배경(12)에 대해 카테고리화될 수 있다는 것을 유의하라.
도 13에 예시된 바와 같이, ARD(14)는, 기준 배경(12) 상에 배치될 수 있는 물체에 대해 이동할 수 있다. 증강된 이미지는, 바닥(12)에 관련하여 추적되는 물체의 상대적인 위치가 변하지 않을 수 있는 동안에 변할 수 있다. 바닥(12)은 어떠한 아이템이 이동할 수 있는지를 결정하는데 사용될 수 있고, 가령, ARD(14), 물체 또는 ARD(14) 및 물체 양자의 조합이 이동할 수 있다. 예를 들면, 물체는 ARD(14)에 대해 이동할 수 있다. 다른 예에서, 물체는 기준 바닥(12) 상에 배치될 수 있고, 증강된 이미지는, 바닥(12)에 관련하여 추적되고 있는 물체의 상대적인 위치가 변하는 동안에, ARD(14)의 뷰에서 변할 수 있다.
또 다른 예에서, ARD(14) 및 물체 둘 모두는 서로에 대해 이동할 수 있다. 이러한 예에서, 물체는 기준 바닥(12) 상에 배치될 수 있고, 기준 바닥에 대해 추적되는 물체의 상대적인 위치가 ARD(14)에 의해 관찰되는 변화보다 더 적을 수 있는 약간의 변화를 갖는 동안에, 증강된 이미지는 ARD(14)의 뷰에서 변할 수 있다.
또 다른 예에서, ARD(14) 및 물체는 서로에 대해 위치를 유지할 수 있지만, 그들의 위치는 바닥(12)에 관련하여 변할 수 있다. 예를 들면, 물체 및 ARD(14)는 픽업되어, 플레이 바닥 영역 외부로 함께 이동될 수 있고, 따라서 물체의 증강된 이미지는 ARD(14)의 뷰에서 변하지 않을 수 있지만, 바닥(12)에 관련하여 추적되는 물체의 상대적인 위치는 변하게 된다. ARD(14)와 물체 사이의 상대적인 위치 및/또는 상대적인 모션이, ARD(14)가 이동되는지 또는 물체가 이동되는지를 추적하지 않고서 그들 사이의 거리에서의 변화를 모니터링함으로써 카테고리화될 수 있다는 것을 유의하라. 본 발명의 양상들에 따라, 카테고리화들 각각은 상이한 증강들을 트리거링할 수 있다.
일부 구현들에서, 도 14에 도시된 바와 같이, ARD(14)는 물체 상의 물체 상호 작용들을 지원하도록 구성될 수 있다. 물체가 다른 물체 상에 배치되면, 이러한 동작 또는 결과적인 상태는 증강을 트리거링할 수 있다. 예를 들면, ARD(14)가 변기(27) 상에 배치된 버니(21)를 관찰하면, 증강된 버니(31)는 "나는 화장실에 갈 필요가 있을 때, 나는 휴식한다"고 말할 수 있다. 또한, 다수의 물체들을 적층하는 것은 새로운 증강된 물체가 생성되는 것을 트리거링할 수 있다. 예를 들면, 버니(21)를 변기(27) 상에 적층하는 것은 증강된 변기(37)의 상부 상에 착석한 증강된 버니(31)의 새로운 조합된 증강(100)을 발생시킬 수 있다. 다른 예에서, 자동차의 형상을 형성하기 위해 블록들을 적층하는 것은 자동차의 증강을 트리거링할 수 있다. 사용자는, 블록들이 새로운 형태를 생성하는데 사용될 수 있는 이벤트에서 블록들이 더 이상 보이지 않는 후에조차 생성될 수 있는 증강을 유지할 수 있다.
다른 접근법에서, ARD(14)는 물체 옆 물체 상호 작용들을 지원하도록 구성될 수 있다. 서로에 대해 옆에 배치된 물체들은 새로운 증강된 물체가 생성되는 것을 트리거링할 수 있다. 예를 들면, 서로의 옆에 배치된 블록들은 증강된 비디오 스크린이 그들 상에 덮어씌우는 것을 트리거링할 수 있다. 또한, 스크린을 더 크게 하기 위해 더 많은 블록들이 부가될 수 있다. 물체들의 상대적인 배향은 상이한 증강들을 트리거링할 수 있다. 예를 들면, 버니가 버트를 대면하게 하는 것은 서로를 환영하는 캐릭터들의 증강을 트리거링할 수 있고, 반면에 버니를 버트 뒤에 있게 하는 것은, 버니가 얘기할 때 버트를 놀라게 하는 증강을 트리거링할 수 있다.
또 다른 접근법에서, ARD(14)는 물체 상의 물체 또는 물체 아래의 물체 상호 작용들을 지원하도록 구성될 수 있다. 물체가 다른 물체 위에 배치될 때, 이러한 동작은 증강을 트리거링할 수 있다. 예를 들면, 물이 꽃병 위에 수용될 수 있다면, 이것은 꽃병으로부터 성장하는 꽃의 증강을 트리거링할 수 있다. 다른 예에서, 선율(tune)이 피아노 상에 연주되는 것으로 피아노가 증강되면, 사용자는 피아노 및 기타 둘 모두로부터의 사운드를 포함하는 노래 증강을 트리거링하기 위해 기타 위에 피아노를 대고 있을 수 있다.
다른 구현들에서, ARD(14)는 위치와 함께 동작 또는 배향에 의해 증강들이 트리거링되게 하도록 구성될 수 있다. 예를 들면, 피아노가 "쏟기(pouring)" 모션으로 기타 위에 넘어지면, 증강은 선율을 피아노로부터 기타로 쏟을 수 있어서, 피아노는 연주를 정지할 수 있고, 기타는 선율을 픽 업할 수 있다. "쏟기"가 상이한 양들로 이루어질 수 있다는 것을 유의하라. 예를 들면, 키보드가 기타 위에 약간 넘어지고, 이어서 수자폰(sousaphone) 위에 넘어질 때, 이러한 동작들은 선율 중 일부가 각각의 악기로 전달되는 증강을 트리거링할 수 있다.
하나의 접근법에서, 트리거링된 증강이 지속되면, 다음과 같이, 1) 기타 선율이 사운드보드로부터 연주되는 증강을 트리거링하는 사운드보드 위의 기타 "쏟기", 2) 이어서, 사용자가 ARD의 뷰를 피아노로 이동시키고 피아노로 하여금 새로운 선율을 만들게 하는 동작을 수행하는 것, 3) 이어서, 사용자가 사운드보드 위로 피아노를 이동시키고(피아노 및 사운드보드를 보기 위해 뷰를 이동시킴), 사운드보드가 여전히 기타 선율을 연주할 수 있는 것, 4) 피아노 선율이 사운드보드로부터 연주되는 기타 선율에 부가되는 증강을 트리거링하는 피아노가 사운드보드 위에 "쏟는" 것, 또는 5) 드럼들, 기타 등과 같은 다른 악기들에서 상기 것이 반복될 수 있어서, 사운드보드 상에서 복잡한 노래를 만들어 내는 것을 포함하지만, 이에 제한되지 않는 장면들이 도시될 수 있다.
다른 접근법에서, 증강이 유지되어, 다음과 같이, 1) 사용자가 선율을 정지시키기 위한 동작을 수행하는 것, 예를 들면, 선율을 없애기 위해 사운드보드를 흔들거나, 노래를 쓰레기에 "쏟거나", 사용자가 노래를 저장하도록 선택하는 것, 2) 모든 악기들이 미리 결정된 시간 기간 동안에 ARD(14)의 뷰 외부에 있을 수 있는 것, 또는 3) 애플리케이션이 닫히거나, ARD(14)가 턴 오프될 수 있는 것 중 하나 이상이 검출될 수 있을 때까지, 복잡한 선율이 사운드보드로부터 계속해서 연주되게 할 수 있다.
또 다른 구현들에서, ARD(14)는 물체 내 물체 상호 작용들을 지원하도록 구성될 수 있다. 이러한 예에서, 물체는 다른 물체에 부분적으로 또는 완전히 포함될 수 있고, 이것은 특정 상호 작용들을 트리거링할 수 있는 새로운 상태를 생성할 수 있다. 하나의 시나리오에서, 단지 부분적인 포함 상태 물체에 대한 부분적인 포함 상태는 증강들을 트리거링할 수 있다. 예를 들면, 버니가 목욕통 내에 배치될 때, 목욕하고 있는 버니를 보여주기 위한 증강이 트리거링될 수 있다.
다른 시나리오에서, 다중-포함 상태 물체에 대한 부분적인 포함 상태는 증강을 트리거링할 수 있다. 예를 들면, 자동차는, 하나 이상의 문들을 통해 입장하는 것과 같이, 버니가 완전히 그 안에 들어가기에 충분히 클 수 있다. 버니가 자동차에 입장하는 각각의 상이한 단계는 증강을 트리거링할 수 있는 상태를 나타낼 수 있다. 다른 예에서, 버니는 ARD에 의해 관찰되는 자동차의 스케일에 대해 일정한 비율로(at a scale) 자동차의 개방된 조수석 문(또는 개구)을 가리고, 따라서 버니가 자동차의 근처에 있거나 잘 보이는 곳에 있다는 것을 나타내고, 증강된 버니는 "나는 자동차에 탑승하고 있다"고 말할 수 있다. 또 다른 예에서, 버니는 ARD(14)에 의해 관찰된 운전석 문(또는 개구)의 바닥 상의 장소에 인접하거나 이와 콜로케이팅될 수 있는 바닥 상의 장소를 차지할 수 있고, 그러한 시나리오에서, 증강된 버니는 "나는 운전하러 가고 있다"고 말할 수 있다.
또 다른 시나리오에서, 단일 또는 다중-포함 상태 물체에 대한 완전한 포함 상태는 증강을 트리거링할 수 있다. 폐색(occlusion)이 부분적일 때, 예를 들면, 버니가 자동차 내부에 있을 때, 그는 자동차의 창문을 통해 보여질 수 있고, 이것은 자동차 엔진 시동의 사운드의 증강을 트리거링할 수 있고, 사용자와의 상호 작용은 가상 버니가 "앗싸, 자 간다"라고 말함으로써 수행될 수 있다. 폐색이 완전할 때, 예를 들면, ARD(14)가 자동차 내부에서 절반보다 더 많은 버니를 볼 수 있을 때, 자동차 문이 닫혀 있고, 버니가 보이지 않고, 장면 흐름은 버니가 자동차 내부에 있는 상태에서 계속된다. 이것은 자동차 엔진 시동의 사운드를 트리거링할 수 있고, 가상 버니는 "앗싸, 자 간다"라고 말할 수 있다.
또 다른 시나리오에서, 물체 내 물체 상태는 외부 물체의 증강에 영향을 줄 수 있다. 버니가 "자동차 안"(자동의 내부)의 상태에 있다고 알려지면, 현실 세계에서 자동차 내의 버니를 관찰할 수 있든지 없든지 간에 버니가 자동차를 운전하게 하는 증강이 트리거링될 수 있다. 또 다른 시나리오에서, 외부의 물체는 물체 내 물체 상태의 증강에 영향을 줄 수 있다. 버니가 "자동차 안"의 상태에 있다고 알려지면, 버니가 운전 모자 및 운전 장갑들을 착용하게 하는 증강이 트리거링될 수 있다. 버니가 자동차 안 상태를 탈출하고, 예를 들면, 그가 더 이상 그의 모자를 착용하고 있지 않을 때, 증강이 종료된다. 다른 시나리오들에서, 증강은 자동차 안 상태가 종료된 후에도 지속될 수 있다.
또 다른 시나리오에서, 폐색된 장면의 지속은, 제 1 물체가 제 2 물체에서 보여질 때 발생할 수 있다. 예를 들면, 버니가 자동차의 창문을 통해 보여지면, 버니는 가려진다. ARD(14)가 자동차의 위에서 이동하고, 지붕을 통해 버니를 볼 수 없다면, 1) 자동차가 버니가 관찰될 수 있는 각도로부터 관찰되지만 그가 더 이상 거기에 없을 때, 2) 자동차를 빠져나오는 버니가 보여질 때, 3) 버니가 다른 곳에서 보여질 때, 4) 자동차가 ARD(14)의 뷰에 있지 않고 일정 양의 시간이 지날 때, 5) ARD(14)가 일정 양의 시간(t2)(예를 들면, 1 분) 동안 아래에 놓일 때, 또는 6) ARD(14)가 아래에 놓이고 다른 사용자에 의해 픽 업되었을 때 ― 이것은 바닥으로부터 최대 높이 편차를 체크함으로써, 또는 생체 아이덴티티 체커들(bio-identity checkers)(가령, GSR), 심장 리듬, 안면 인식, 지문, 또는 이들의 조합과 같은 방법들을 통해 검출될 수 있음 ― 까지, 버니의 상태가 자동차 내에 있다(제 1 물체가 여전히 제 2 물체 내에 있음)고 가정되는 장면이 계속될 수 있다. 폐색을 갖는 장면의 지속이 제 1 물체가 제 2 물체에 진입하는 상태에 있는 것으로 보여질 때 발생할 수 있고, 여기서 제 2 물체가 제 1 물체를 완전히 가릴 수 있고, 예를 들면, 버니는 어떠한 창문이든지 간에 자동차 내에 있을 수 있다는 것을 유의하라. 또 다른 시나리오에서, 물체 위 상태는 물체를 다른 물체의 상부 위에 배치함으로써 달성될 수 있다. 이러한 상태는 물체 내 상태와 동일하거나 상이한 증강을 트리거링할 수 있다. 예를 들면, 물체는 다른 물체를 물리적으로 덮을 수 있고, 가령, 장난감 캐릭터는 그를 부분적으로 또는 완전히 덮는 전화 박스에 놓여질 수 있다.
도 15에 도시된 바와 같이, 물체들 사이의 상대적인 배향들이 상이한 증강들을 트리거링할 수 있다. 이러한 예에서, 2 개 이상의 물체들은 서로에 대해 다수의 배향들 또는 정렬들을 가질 수 있고, 상이한 배향들은 상이한 증강들을 트리거링할 수 있다. 예를 들면, 버니(21)가 목욕통(22)에 배치될 때, 증강된 버니(31)는 물을 첨벙거리고 버블들을 만드는 것으로 보여질 수 있다. 다른 예에서, 버니(21)가 목욕통(22)에 앉아 있을 때, 증강된 버니(31)는 목욕 시간 노래를 부리는 것으로 보여질 수 있다.
도 16에 도시된 바와 같이, 물체의 배향은 다른 물체의 상태에 영향을 줄 수 있다. 물체가 다른 물체의 증강에 영향을 주는 경우에, 제 1 물체의 배향은 제 2 물체의 증강을 결정할 수 있다. 예를 들면, 강아지(25)는, 강아지(25)가 전화 박스(28)에 의해 완전히 보기 어렵게 될 수 있거나 강아지(25)가 전화 박스(28)의 창문을 통해 가시적일 수 있는 전화 박스(28)에 배치될 수 있다. 이어서, 전화 박스(28)는 임의의 방향으로 회전될 수 있는데, 가령, 1) 전화 박스(28)는 바닥(12)에 대해 이동할 수 있거나, 2) 전화 박스(28)는 ARD(14)에 대해 이동할 수 있거나, 3) ARD(14)는 전화 박스(28)에 대해 이동할 수 있다.
다른 접근법에서, 전화 박스(28)의 배향은 강아지(25)의 증강에 영향을 줄 수 있어서, 증강된 강아지(35)는 슈퍼 강아지, 강아지 배달 사환, 또는 어린 강아지로 바뀐다. 증강이 증강된 전화 박스(38) 또는 그의 부분을 통해 보여질 수 있거나, 증강이 또한 강아지(25)가 전화 박스(28)를 빠져나온 후에 보여질 수 있거나, 증강이 강아지(25)가 전화 박스(28) 내부 또는 외부 둘 모두에 있을 수 있을 때 보여질 수 있다는 것을 유의하라.
또 다른 접근법에서, 증강은 다음과 같이, a) 강아지(25)가 전화 박스(28) 내에 있는 동안에, b) 강아지(25)가 전화 박스(28)를 빠져나올 때, c) 강아지(25)가 전화 박스(28)로부터 미리 정의된 거리 내에 있는 동안에, d) 시간 기간 ― 여기서, 시간 기간은 전화 박스(28)를 떠난 후임 ― , e) 강아지(25)가 전화 박스(28)에 다시 들어오거나 자동차를 운전하러갈 때까지, f) 증강이 부가적인 증강과 혼합하는 경우, 예를 들면, 증강된 슈퍼 강아지(38)가 자동차에 들어갈 수 있고, 이어서 증강된 슈퍼 강아지(38)가 또한 운전 모자 및 장갑들을 착용할 수 있는 경우, 및 g) 확장된 장면 전체에 걸쳐, 1) 강아지(25)가 ARD(14)의 뷰에 없고 일정 양의 시간(t1)(예를 들면, 2 분)이 지날 때까지, 2) ARD(14)가 일정 양의 시간(t2)(예를 들면, 1 분) 동안에 아래에 놓일 때까지, 또는 3) ARD(14)가 아래에 놓이고 다른 사용자가 픽 업할 때까지 ― 이것은 바닥으로부터 최대 높이 편차를 체크함으로써, 또는 생체 아이덴티티 체커들(가령, GSR), 심장 리듬, 안면 인식, 지문, 또는 이들의 조합과 같은 방법들을 통해 검출될 수 있음 ― 를 포함하지만, 이에 제한되지 않는 상황들 중 하나 이상의 상황에서 지속될 수 있다.
본 발명의 양상들에 따라, 물체 뒤 물체(폐색) 상호 작용들은 상이한 증강들을 트리거링할 수 있다. 다른 물체를 부분적으로 가리는 물체는 동작을 트리거링할 수 있다. 예를 들면, 버니(21)가 TV(24) 뒤에 있는 장면(즉, 버니(21)가 TV(24)에 의해 부분적으로 가려질 수 있음)은 TV(34)(도시되지 않음)를 고치는 증강된 버니(31)를 트리거링할 수 있다. 일부 경우들에서, 2 개의 물체들 중 단지 하나의 증강, 또는 물체들 둘 모두의 증강, 또는 2 개의 물체들의 결합된 증강에 대한 효과가 존재할 수 있다는 것을 유의하라.
또 다른 접근법에서, 하나 이상의 물체들에 대한 ARD(14)의 이동은 다음의 예들에서와 같이 증강을 트리거링할 수 있다. 로보트들 사이의 증강된 전투 게임에서, 로보트들 중 하나가 발포하고 파손되면, ARD(14)는 로보트를 줌 인하도록 구성될 수 있고, 이러서 ARD(14)는 로보트를 고치기 위해 렌치(wrench)와 같이 둘레를 휘감도록 구성될 수 있다. 대안적으로, 다른 동작은 로보트를 붙잡는데 사용될 수 있고, 가령, 로보트는 터치 스크린 상에서 터치될 수 있고, 이어서 ARD(14)는 로보트를 고치기 위해 렌치와 같이 둘레를 휘감도록 구성될 수 있다. 또한, ARD(14)는 로보트를 재급유하기 위해 내외로 병진될 수 있거나, 동작을 무효화하기 위해 흔들기 모션이 ARD(14)에 적용될 수 있다.
본 발명의 실시예들에 따라, 물체는 증강을 위한 유형의 조절로서 사용될 수 있다. 증강은 볼륨, 밝기, 콘텐츠 등과 같은, 조절 가능한 양상들을 가질 수 있다. 일부 구현들에서, 물체의 이동은 다음과 같이 상태들을 변경하는데 사용될 수 있다. 하나의 접근법에서, 물체는 그 자신의 상태의 양상을 변경할 수 있다. 예를 들면, ARD의 뷰에 있는 라디오는 노래가 재생되는 증강을 트리거링할 수 있고, 라디오를 회전시키는 것은 라디오의 볼륨이 증가 또는 감소되게 할 수 있다.
또 다른 접근법에서, 물체는 다른 물체의 상태의 양상을 변경할 수 있고, 가령, 전화 박스(28)를 돌리는 것은 도 16에 예시된 바와 같이 강아지(25)의 증강을 변경할 수 있다. 예를 들면, 버니(21)를 TV(24) 근처에 배치하는 것은 비디오가 증강된 TV(34) 상에서 재생되는 증강을 트리거링할 수 있고, 버니(25)를 회전시키는 것은 TV(24) 상의 채널이 변경되게 할 수 있다.
또 다른 접근법에서, 다수의 물체들은 자신들의 증강 또는 다른 물체들의 증강에 영향을 줄 수 있다. 예를 들면, 증강된 TV(34)를 돌리는 것은 증강에서 TV(24)의 채널이 변경되게 할 수 있다. 다른 구현들에서, 버니(21)를 돌리는 것은 볼륨이 조절되게 할 수 있고, 다른 물체를 돌리는 것은 TV(24)의 밝기가 조절되게 할 수 있다.
또 다른 구현들에서, 물체의 위치는 자신의 증강 또는 다른 물체들의 증강에 영향을 줄 수 있다. 예를 들면, 증강된 라디오의 볼륨은 증강된 라디오를 위 및 아래로 이동시키고 증강된 라디오를 앞으로 끌어당기거나 및/또는 증강된 라디오를 뒤로 밀침으로써 제어될 수 있다. 라디오의 위치는 바닥, ARD(14) 또는 다른 물체에 대해 관찰될 수 있다.
본 발명의 실시예들에 따라, 물체의 제스처들은 증강들의 트리거들로서 사용될 수 있다. 물체는 연관된 증강을 트리거링하기 위해 자연적인 플레이 제스처로 이동될 수 있다. 예를 들면, 꽃병 위에 물 뿌리개를 기울이는 것은 꽃에 물을 주는 증강을 트리거링할 수 있다.
본 발명의 일부 양상들에 따라, 다음과 같이, 1) 증강된 브렛이 버니에게 질문을 할 수 있고, 여기서 사용자는 이에 응답하여 버니가 끄덕이게 하거나 그의 머리를 흔들게 할 수 있고, 이에 따라 증강된 긍정 또는 부정 응답을 제공하는 것, 2) 체스 보드 상에서 체스 말(chess piece)을 이동시키는 것이 이동된 말과 캡처될 말 사이의 증강된 마법사 전투를 트리거링할 수 있고, 이동된 말이 전투에서 승리하는 것, 3) 책을 좌측 또는 우측으로 빠르게 이동시키는 것이 책의 가상 페이지를 넘길 수 있는 것, 및 4) 기타를 두드리는 것이 증강된 노래의 리듬을 설정할 수 있는 것을 포함하지만, 이에 제한되지 않는 예시적인 상호 작용들이 구현될 수 있다.
본 발명의 실시예들에 따라, 물체의 제스처들은 장면 생성으로서 사용될 수 있다. 사용자는 현실 세계에서 재생하도록 권장될 수 있다. 예를 들면, 사용자는 다음과 같이, 1) 사용자가 캐릭터가 그의 머리를 끄덕이게 하면, 증강된 장면이 캐릭터들이 동의한다는 것을 반영하고, 사용자가 캐릭터가 그의 머리를 흔들게 하면, 증강된 장면이 캐릭터가 동의하지 않을 수 있다는 것을 반영하는 것, 2) 사용자가 버니가 버트에게 인사하게 하면, 증강된 장면이 버트를 환영하는 버니를 반영할 수 있는 것, 3) 사용자가 강아지(25)가 위 및 아래로 뛰게 하면, 증강된 강아지(35)가 흥분하게 되고, 미리 결정된 듀레이션 동안에 흥분을 유지할 수 있고, 이에 따라 장면에 영향을 주는 것, 및 4) 사용자가 강아지(25)를 아래에 눕히게 하면, 증강된 강아지(35)가 피곤한 것처럼 보일 수 있고, 그대로 두면, 증강된 강아지(35)가 잠이 드는 것을 포함하지만, 이에 제한되지 않는 자체-생성된 장면 진행을 트리거링하기 위해 자연적인 플레이 제스처로 물체들을 이동시킬 수 있다. 다른 증강된 캐릭터들은 서로에게 조용히 하라고 하는 것과 같은 강아지의 동작들에 응답할 수 있다.
본 발명의 실시예들에 따라, ARD는 환경-상태 상호 작용들을 수행하도록 구성될 수 있다. 물체들은 바닥과 같은 배경에 의해 설정된 증강된 환경에 상주할 수 있다. 사용자는 환경을 탐사하고 환경 내의 엘리먼트들과 상호 작용하도록 권장될 수 있다. 다음의 예들에서, 벽들, 문들 및 창문들은 가상의 무형의 엘리먼트들인 것으로 가정될 수 있다. 일부 구현들에서, 증강된 환경 내의 가상 엘리먼트들은 사용자에 의해 동작될 수 있고, 가령, 폐쇄된 창문은 1) 캐릭터를 창문 옆으로 이동시키거나, 2) 캐릭터를 창문을 향하도록 이동시키거나, 3) 증강된 버니가 "흠, 여기는 따뜻하네요, 내가 창문을 열어도 될까요?"라고 말하는 것과 같이 캐릭터에 의해 유발됨으로써 개방될 수 있다. 이러한 증강 다음에 버니가 끄덕거리게 하거나 그의 머리를 흔들게 하는 것과 같은 사용자로부터의 입력이 뒤따를 수 있다. 또한, 증강된 환경 내의 가상 엘리먼트들은 창문에 관련하여 ARD(14)의 배향에 따라 동작될 수 있다. 일 구현에서, 창문을 쳐다보는 것은 창문을 개방하는 것을 트리거링할 수 있고, 와인더(winder)를 내려다보는 것은 창문을 닫는 것을 트리거링할 수 있다.
일부 구현들에서, ARD(14)를 가상 창문에 매우 가깝게 이동시키는 것은 환경-상태 상호 작용들을 트리거링할 수 있다. 또한, ARD(14)를 가상 창문을 통해 밀치는 것은 창문이 개방되게 하여, ARD(14)가 통과하도록 허용할 수 있다. 또한, 증강된 환경 내의 가상 엘리먼트들은 스크린 상을 두드리거나 및/또는 "창문 개방"과 같은 음성 커맨드를 발행함으로써 동작될 수 있다.
본 발명의 일부 양상들에 따라, 도 17, 도 18 및 도 20에 설명된 기능들은 도 2의 제어 유닛(120)에 의해 구현될 수 있다. 일부 구현들에서, 기능들은 프로세서(122), 소프트웨어(126), 하드웨어(128), 및 펌웨어(130), 또는 추적 유닛(132) 및 증강 현실 사용자 인터페이스 유닛(134)에 의해 수행되는 기능들을 포함하여, 위에 설명된 ARD의 다양한 기능들을 수행하기 위한 이러한 블록들의 조합에 의해 수행될 수 있다. 도 17은 본 발명의 일부 양상들에 따른, 유형의 증강된 현실 물체들의 상호 작용들을 제공하는 흐름도를 예시한다. 블록(1702)에서, 제어 유닛(120)은 하나 이상의 물체들의 캡처된 이미지들에 적어도 부분적으로 기초하여 하나 이상의 물체들의 3-차원 추적을 수행하도록 구성될 수 있다. 블록(1704)에서, 제어 유닛(120)은 캡처된 이미지들에 적어도 부분적으로 기초하여 하나 이상의 물체들 중 적어도 하나의 물체의 상태 변화를 검출하도록 구성될 수 있다. 블록(1706)에서, 제어 유닛(120)은 적어도 하나의 물체의 상태 변화에 응답하여 증강이 렌더링되게 하도록 구성될 수 있고, 증강의 타입은 적어도 하나의 물체의 상태 변화에 적어도 부분적으로 기초한다. 하나 이상의 물체들이 복수의 물체들을 포함할 수 있다는 것을 유의하라.
본 발명의 실시예들에 따라, 블록(1702)에서 수행되는 방법들은 블록들(1710-1712)에서 수행되는 방법들을 더 포함할 수 있다. 예를 들면, 블록(1710)에서, 제어 유닛(120)은 ARD에 관련하여 복수의 물체들의 상대적인 포즈들을 결정하고, 복수의 물체들의 상대적인 포즈들을 사용하여 복수의 물체들의 상태들을 업데이트하도록 구성될 수 있고, 여기서 복수의 물체들의 상태들은 복수의 물체들의 관계 정보를 포함한다. 블록(1710)에서 수행되는 방법들은 블록들(1730-1732)에서 수행되는 방법들을 더 포함할 수 있다. 블록(1730)에서, 제어 유닛(120)은 복수의 물체들의 이전에 캡처된 이미지에 관련하여 복수의 물체들의 포즈들을 검출한다. 블록(1732)에서, 제어 유닛(120)은 이미지 내의 새로운 물체를 검출하고, 새로운 물체를 포함시키기 위해 복수의 물체들을 업데이트한다. 관계 정보는 게임에서 복수의 물체들 사이의 관계들, 스토리에서 복수의 물체들 사이의 관계, 및 배경에 관련하여 복수의 물체들 사이의 관계들 중 적어도 하나를 포함한다.
블록(1704)에서 수행되는 방법들은 블록들(1714-1720)에서 수행되는 방법들을 더 포함할 수 있다. 블록(1714)에서, 제어 유닛(120)은 ARD에 관련하여 적어도 하나의 물체의 위치 변화를 검출한다. 블록(1716)에서, 제어 유닛(120)은 ARD에 대해 적어도 하나의 물체의 배향 변화를 검출한다. 블록(1718)에서, 제어 유닛(120)은 적어도 2 개의 물체들 사이의 위치 변화를 검출한다. 블록(1720)에서, 제어 유닛(120)은 복수의 물체들의 성상도들의 변화를 검출한다.
블록(1714)에서 수행되는 방법들은 블록(1734)에서 수행되는 방법들을 더 포함할 수 있고, 여기서 제어 유닛(120)은 1) 적어도 하나의 물체가 ARD에 대해 병진되었다는 것을 검출하거나, 2) 적어도 하나의 물체가 ARD에 대해 제 1 미리 결정된 거리에 도달하였다는 것을 검출하거나, 3) 적어도 하나의 물체가 ARD에 대해 제 1 미리 정의된 제스처 모션을 겪었다는 것을 검출한다. 블록(1716)에서 수행되는 방법들은 블록(1736)에서 수행되는 방법들을 더 포함할 수 있고, 여기서 제어 유닛(120)은 적어도 하나의 물체가 ARD에 대해 회전되었다는 것을 검출한다.
마찬가지로, 블록(1718)에서 수행되는 방법들은 블록(1738)에서 수행되는 방법들을 더 포함할 수 있고, 여기서 제어 유닛(120)은 1) 적어도 하나의 물체가 서로에 대해 이동되었다는 것을 검출하고, 2) 적어도 하나의 물체가 서로에 대해 제 2 미리 결정된 거리에 도달하였다는 것을 검출하고, 3) 적어도 2 개의 물체들 중 하나가 다른 것에 대해 제 2 미리 정의된 제스처 모션을 겪었다는 것을 검출한다.
블록(1706)에서 수행되는 방법들은 블록들(1722-1724)에서 수행되는 방법들을 더 포함할 수 있다. 증강의 타입은 1) 블록(1722)에서 설명된 바와 같이 ARD의 디스플레이에서 복수의 물체들 사이의 상호 작용, 2) 블록(1724)에서 설명된 바와 같이 ARD의 디스플레이에서 적어도 하나의 물체와 ARD 사이의 상호 작용, 및 3) 적어도 하나의 물체의 상태 변화에 적어도 부분적으로 기초한 포커스를 갖는 하나 이상의 엘리먼트들의 도시를 포함할 수 있지만, 이에 제한되지 않는다.
적어도 하나의 물체의 상태 변화는 ARD와 적어도 하나의 물체 사이의 기하학적 관계에서의 변화, 캡처된 이미지들을 전송하는 카메라의 시야 내의 적어도 하나의 물체와 다른 물체 사이의 기하학적 관계에서의 변화, 및 적어도 하나의 물체의 특징에서의 변화 중 적어도 하나를 포함할 수 있다.
블록(1706)에서의 증강은 ARD로부터 적어도 하나의 물체의 뷰에 적어도 부분적으로 기초한 상호 작용, 적어도 하나의 물체와 ARD 사이의 상대적인 이동들에 적어도 부분적으로 기초한 상호 작용, 적어도 하나의 물체와 ARD 사이의 거리에 적어도 부분적으로 기초한 상호 작용, 적어도 하나의 물체로부터의 프롬프트에 적어도 부분적으로 기초한 상호 작용, 및 적어도 하나의 물체로부터의 제스처에 적어도 부분적으로 기초한 상호 작용 중 적어도 하나를 포함할 수 있다.
블록(1706)에서의 증강은 복수의 물체들 내의 물체 상의 물체에 적어도 부분적으로 기초한 상호 작용, 복수의 물체들 내의 물체 옆 물체에 적어도 부분적으로 기초한 상호 작용, 복수의 물체들 내의 물체 위 물체에 적어도 부분적으로 기초한 상호 작용, 복수의 물체들 내의 물체 내 물체에 적어도 부분적으로 기초한 상호 작용, 및 복수의 물체들 내의 물체 뒤 물체에 적어도 부분적으로 기초한 상호 작용 중 적어도 하나를 더 포함할 수 있다.
적어도 하나의 물체의 상태 변화를 검출하는 방법은 ARD에 관련하여 적어도 하나의 물체에 대한 줌 인을 검출하는 것, 및 ARD에 관련하여 적어도 하나의 물체의 줌 아웃을 검출하는 것 중 적어도 하나를 포함할 수 있다.
도 18은 본 발명의 일부 양상들에 따른, 유형의 증강된 현실 물체들의 상호 작용들을 제공하는 다른 흐름도를 예시한다. 블록(1802)에서, 제어 유닛(120)은 캡처된 이미지들에 적어도 부분적으로 기초하여 하나 이상의 메인 물체들의 3-차원 추적을 수행하도록 구성될 수 있고, 여기서 하나 이상의 메인 물체들 중 적어도 하나의 메인 물체는 적어도 하나의 메인 물체를 형성하기 위해 함께 링크된 하나 이상의 서브-물체들을 포함한다. 블록(1804)에서, 제어 유닛(120)은 하나 이상의 서브-물체들 중 적어도 하나의 서브-물체의 상태 변화를 검출하도록 구성될 수 있다. 블록(1806)에서, 제어 유닛(120)은 적어도 하나의 서브-물체의 상태 변화에 응답하여 증강을 렌더링하기 위한 정보를 생성하도록 구성될 수 있다.
본 발명의 실시예들에 따라, 블록(1802)에서 수행되는 방법들은 블록들(1810-1812)에서 수행되는 방법들을 더 포함할 수 있다. 예를 들면, 블록(1810)에서, 제어 유닛(120)은 적어도 하나의 서브-물체의 대응하는 메인 물체에 관련하여 적어도 하나의 서브-물체의 상대적인 포즈를 결정한다. 블록(1812)에서, 제어 유닛(120)은 적어도 하나의 서브-물체의 상대적인 포즈를 사용하여 대응하는 메인 물체의 상태를 업데이트하고, 여기서 대응하는 메인 물체의 상태는 대응하는 메인 물체의 관계 정보를 포함한다. 블록(1810)에서 수행되는 방법들은 블록들(1830-1832)에서 수행되는 방법들을 더 포함할 수 있다. 블록(1830)에서, 제어 유닛(120)은 대응하는 메인 물체의 이전에 캡처된 이미지에 관련하여 캡처된 이미지 내의 대응하는 메인 물체의 포즈를 검출한다. 블록(1832)에서, 제어 유닛(120)은 이미지 내의 새로운 물체를 검출하고, 새로운 물체를 포함시키기 위해 하나 이상의 메인 물체들을 업데이트한다. 관계 정보가 1) 게임에서 하나 이상의 메인 물체들 사이의 관계들, 2) 스토리에서 하나 이상의 메인 물체들 사이의 관계들 및 3) 배경에 관련하여 하나 이상의 메인 물체들 사이의 관계들 중 적어도 하나를 포함하지만, 이에 제한되지 않는다는 것을 유의하라.
블록(1804)에서 수행되는 방법들은 블록들(1814-1818)에서 수행되는 방법들을 더 포함할 수 있다. 블록(1814)에서, 제어 유닛(120)은 적어도 하나의 서브-물체의 대응하는 메인 물체에 대해 적어도 하나의 서브-물체의 위치 변화를 검출한다. 블록(1816)에서, 제어 유닛(120)은 적어도 하나의 대응하는 메인 물체에 대해 적어도 하나의 서브-물체의 배향 변화를 검출한다. 블록(1814)에서, 수행되는 방법들은 블록들(1834)에서 수행되는 방법들을 더 포함할 수 있다. 블록(1834)에서, 제어 유닛(120)은 적어도 하나의 서브-물체가 그의 대응하는 메인 물체에 대해 병진되었다는 것을 검출하거나, 적어도 하나의 서브-물체가 그의 대응하는 메인 물체에 대해 제 1 미리 결정된 위치에 도달하였다는 것을 검출하거나, 적어도 하나의 서브-물체가 그의 대응하는 메인 물체에 대해 제 1 미리 정의된 제스처 모션을 겪었다는 것을 검출한다. 블록(1816)에서 수행되는 방법들은 블록들(1836)에서 수행되는 방법들을 더 포함할 수 있다. 블록(1836)에서, 제어 유닛(120)은 적어도 하나의 서브-물체가 그의 대응하는 메인 물체에 대해 회전되었다는 것을 검출한다.
블록(1818)에서, 제어 유닛(120)은 적어도 하나의 서브-물체가 적어도 하나의 자유도만큼 이동되었다는 것을 검출하거나, 하나 이상의 서브-물체들이 서로에 독립적으로 이동되었다는 것을 검출한다. 블록(1806)에서 수행되는 방법들은 블록들(1820-1822)에서 수행되는 방법들을 더 포함할 수 있다. 블록(1820)에서, 제어 유닛(120)은 ARD의 디스플레이 내의 복수의 메인 물체들 및 그들의 대응하는 서브-물체들 사이의 상호 작용들을 제공한다. 블록(1820)에서, 제어 유닛(120)은 ARD의 디스플레이에서 복수의 메인 물체들, 그들의 대응하는 서브-물체들 및 ARD 사이의 상호 작용들을 제공한다.
본 발명의 일부 양상들에 따라, 상태 변화는 적어도 하나의 서브-물체의 그의 대응하는 메인 물체로의 부가를 포함할 수 있고, 상태 변화는 적어도 하나의 서브-물체의 그의 대응하는 메인 물체로부터의 제거를 더 포함할 수 있다. 블록(1806)의 정보는 적어도 하나의 서브-물체의 대응하는 메인 물체, 및 대응하는 메인 물체 이외의 메인 물체에 관련하여 적어도 하나의 서브-물체의 포즈에 기초하여 생성될 수 있다. 블록(1806)에서 수행되는 방법들은 1) 자동차의 문이 개방되었다는 것을 검출할 때, 자동차에 진입하는 것에 관한 증강들을 제공하는 것, 2) 자동차의 후드가 개방되었다는 것을 검출할 때, 자동차의 엔진을 체크하는 것에 관련된 증강들을 제공하는 것, 3) 자동차의 후드가 개방되었다는 것을 검출할 때, 자동차의 엔진을 고치는 것에 관련된 증강들을 제공하는 것, 및 4) 자동차의 트렁크가 개방되었다는 것을 검출할 때, 자동차에 짐을 싣는 것에 관련된 증강들을 제공하는 것을 더 포함할 수 있지만, 이에 제한되지 않는다.
도 20은 본 발명의 일부 양상들에 따른, 유형의 증강된 현실 물체들의 상호 작용들을 제공하는 또 다른 흐름도를 예시한다. 블록(2002)에서, 제어 유닛(120)은 적어도 하나의 물체의 선택을 수신하도록 구성될 수 있다. 블록(2004)에서, 제어 유닛(120)은 카메라에 의해 캡처되는 복수의 이미지들 내의 적어도 하나의 물체를 추적하도록 구성될 수 있다. 블록(2006)에서, 제어 유닛(120)은 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 디바이스로부터 현실 물체로 전송되게 하도록 구성될 수 있다.
블록(2004)에서 수행되는 방법들은 블록들(2010-2014)에서 수행되는 방법들을 더 포함할 수 있다. 블록(2010)에서, 제어 유닛(120)은 디바이스에 관련하여 적어도 하나의 물체의 상대적인 포즈를 결정한다. 블록(2012)에서, 제어 유닛(120)은 상대적인 포즈를 사용하여 적어도 하나의 물체의 상태들을 업데이트한다. 제어 유닛(120)은 블록(2014)에서 적어도 하나의 물체의 클로즈 업 뷰를 획득하기 위해 줌 인하고, 블록(2032)에서 디바이스의 중심 스크린에 적어도 하나의 물체를 배치한다. 블록(2010)에서 수행되는 방법들은 블록들(2030)에서 수행되는 방법들을 더 포함할 수 있다. 블록(2030)에서, 제어 유닛(120)은 적어도 하나의 물체의 이전에 캡처된 이미지에 관련하여 적어도 하나의 물체의 상대적인 포즈를 검출한다.
블록(2006)에서 수행되는 방법들은 블록들(2016-2020)에서 수행되는 방법들을 더 포함할 수 있다. 블록(2016)에서, 제어 유닛(120)은 적어도 하나의 물체에 대한 제어 메커니즘의 증강을 렌더링하고, 블록(2018)에서, 제어 유닛(120)은 디바이스의 디스플레이 상에 사용자-정의된 제어 메커니즘을 제공한다. 블록(2020)에서, 제어 유닛(120)은 제어 메커니즘의 동작들을 모방하기 위해 디바이스의 모션들을 사용한다.
블록(2006)의 기계 인터페이스가 블루투쓰, Wi-Fi 및 IR을 포함할 수 있지만, 이에 제한되지 않는다는 것을 유의하라. 복수의 이미지들의 적어도 하나의 이미지는 디바이스의 터치스크린 상에 디스플레이되고, 여기서 적어도 하나의 물체의 선택을 수신하는 것은 터치스크린 상의 사용자 입력에 관한 정보를 수신하는 것을 포함할 수 있다.
하나의 예시적인 애플리케이션에서, 제어 유닛(120)은 디바이스의 뷰에서 라디오를 추적하고, 라디오에 의해 재생되는 노래의 증강을 제공하고, 라디오가 회전되었다는 결정에 기초하여 노래의 볼륨을 조절하도록 구성될 수 있다. 또 다른 예시적인 애플리케이션에서, 제어 유닛(120)은 디바이스의 뷰에서 텔레비전을 추적하고, 물체가 텔레비전 근처에 배치되었다는 것을 결정하고, 배치된 물체에 기초하여 텔레비전 상에서 재생되는 비디오의 증강을 트리거링하도록 구성될 수 있다. 또 다른 예시적인 애플리케이션에서, 제어 유닛(120)은 TV 쇼의 리마인더를 보여주는 포스트-잇 노트를 추적하고, 디지털 비디오 기록기의 기록 설정들에 대한 변화들이 TV 쇼를 기록하게 하도록 구성될 수 있다.
도 19a, 도 19b, 도 19c 및 도 19d는 자동화된 홈 제어 디바이스로서 사용되는 증강 현실 인에이블 디바이스의 예를 예시한다. 도 19a, 도 19b, 도 19c 및 도 19d에 예시된 예에서, 가정 물품(29), 콜라 캔 및 가정 물품(12), 잡지가 예시되고, 가정 물품들(29 및 12)에 대한 증강된 물체(34)가 ARD(14) 상에 제공된다. 다른 타입들의 가정 물체 또는 다른 타입들의 물체들이 또한 사용될 수 있다.
일부 구현들에서, 증강된 물체(34)는 증강된 물체(34)와 연관된 유형의 물체(또한, 현실 세계 물체 또는 현실 물체로 지칭될 수 있음)를 완전히 커버할 수 있다. 다른 구현들에서, 증강된 물체(34)는 유형의 물품의 부분만을 커버할 수 있다. 예를 들면, 유형의 물품은 증강된 물체(34)의 부분에 의해 커버되는 것으로 보여질 수 있거나, 유형의 물품은 더 미묘한 외관을 제공하도록 필터링될 수 있다. 적용될 수 있는 필터들의 타입들의 일부 예들은 장면의 나머지에 대해 유형의 물품의 밝기, 콘트라스트 및/또는 채도(saturation)를 감소시키기 위한 필터들이다. 일부 구현들에서, 환경적 증강은, 증강 콘텐츠가 물품의 이미지보다 더 작을 수 있을지라도, 유형의 물품 중 일부 또는 전부를 커버하는데 사용될 수 있다. 예를 들면, 증강 콘텐츠(16)는 도 19a에 예시된 예에서 유형의 물품, 즉, 잡지(12)를 커버한다. 증강 콘텐츠(16)는 콜라 캔(29)보다 더 작을 수 있지만, 환경적 증강은 ARD(14)에 의해 디스플레이되는 증강 콘텐츠 내의 캔의 콘트라스트 및 채도를 감소시켰다.
일부 구현들에서, 가령, 도 19a, 도 19b, 도 19c 및 도 19d에 예시된 예에서, 유형의 물품에 대해 제공된 증강 콘텐츠는 유형의 물품과 상이한 타입의 물체일 수 있다. 예를 들면, 도 19a, 도 19b, 도 19c 및 도 19d에서 콜라 캔(29)은 텔레비전 세트처럼 보이는 증강된 물체(34)로 대체되었다. 다른 타입들의 표현들이 사용될 수 있다. 유형의 물품과 증강된 콘텐츠의 연관은 (1) 영구적이거나 ― 유형의 물품과 증강 콘텐츠 사이의 연관이 재할당될 때까지 다수의 AR 세션에 걸쳐 지속됨 ― , (2) 완고하거나 ― 사용 세션의 듀레이션 동안에 지속됨(예를 들면, 애플리케이션이 턴 온되는 한) ― , (3) 느슨 ― "장면"의 듀레이션에만 지속됨 ― 할 수 있다.
본 발명의 양상들에 따라, ARD(14)와 함께 사용될 수 있는 특정 물체들은 하나 이상의 안면 특징들(예를 들면, 눈들, 입 또는 귀들) 또는 다른 특징들(예를 들면, 애니메이션된 이동)과 같이, 그들과 연관된 의인화의 양상들을 가질 수 있다. ARD(14)의 증강 로직은 디바이스의 사용자와 통신하기 위해 이러한 의인화의 양상들의 사용들과 연관된 증강 콘텐츠를 제공하도록 구성될 수 있다. 예를 들면, 장난감의 증강된 표현은 감정을 나타내고, 장면을 돌아다니고, 노래하고, 얘기하고, 사용자에 대한 포커스를 보여주(또는 "리스닝")도록 애니메이션될 수 있다.
물체는 타겟 기준 배경 상에 상주할 수 있다. 예를 들면, 장난감은 바닥, 테이블탑, 플레이 매트, 또는 다른 표면 상에 상주할 수 있다. ARD(14)는 기준 바닥과 하나 이상의 장난감들 모두를 추적하도록 구성될 수 있다. ARD(14)는 선택적으로 ARD(14)에 의해 제공되는 AR 뷰에서 바닥 및 현실 세계의 다른 부분들 위에 배경 증강을 덮어씌울 수 있다. 도 19a, 도 19b, 도 19c 및 도 19d는, 물품, 콜라 캔(29)이 잡지와 같은 타겟 기준 배경(12) 상에 상주하는 예를 예시하고, 타겟 기준 배경(12)은 ARD(14) 상에서 디스플레이되는 증강된 콘텐츠에 대한 기준 평면으로서 기능할 수 있다. 테이블 탑, 책, 한 조각의 종이, 벽 또는 다른 물품과 같은 다른 타겟 기준 배경들이 또한 기준 평면으로서 기능할 수 있다. ARD(14)에 의해 제공되는 증강 콘텐츠에 기준 평면을 포함시키는 것은 선택적일 수 있다.
도 20은 본 발명의 일부 양상들에 따른, 유형의 증강된 현실 물체들의 상호 작용들을 제공하는 또 다른 흐름도를 예시한다. 블록(2002)에서, 제어 유닛(120)은 적어도 하나의 물체의 선택을 수신하도록 구성될 수 있다. 블록(2004)에서, 제어 유닛(120)은 카메라에 의해 캡처된 복수의 이미지들에서 적어도 하나의 물체를 추적하도록 구성될 수 있다. 블록(2006)에서, 제어 유닛(120)은 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 디바이스로부터 현실 물체로 전송되게 하도록 구성될 수 있다.
블록(2004)에서 수행되는 방법들은 블록들(2010-2014)에서 수행되는 방법들을 더 포함할 수 있다. 블록(2010)에서, 제어 유닛(120)은 디바이스에 관련하여 적어도 하나의 물체의 상대적인 포즈를 결정한다. 블록(2012)에서, 제어 유닛(120)은 상대적인 포즈를 사용하여 적어도 하나의 물체의 상태들을 업데이트한다. 제어 유닛(120)은 블록(2014)에서 적어도 하나의 물체의 클로즈 업 뷰를 획득하도록 줌 인하고, 블록(2032)에서 디바이스의 중심 스크린에 적어도 하나의 물체를 배치한다. 블록(2010)에서 수행되는 방법들은 블록들(2030)에서 수행되는 방법들을 더 포함할 수 있다. 블록(2030)에서, 제어 유닛(120)은 적어도 하나의 물체의 이전에 캡처된 이미지에 관련하여 적어도 하나의 물체의 상대적인 포즈를 검출한다.
블록(2006)에서 수행되는 방법들은 블록들(2016-2020)에서 수행되는 방법들을 더 포함할 수 있다. 블록(2016)에서, 제어 유닛(120)은 적어도 하나의 물체에 대한 제어 메커니즘의 증강을 렌더링하고, 블록(2018)에서, 제어 유닛(120)은 디바이스의 디스플레이 상에 사용자-정의된 제어 메커니즘을 제공한다. 블록(2020)에서, 제어 유닛(120)은 제어 메커니즘의 동작들을 모방하기 위해 디바이스의 모션들을 사용한다.
블록(2006)의 기계 인터페이스가 블루투쓰, Wi-Fi 및 IR을 포함할 수 있지만, 이에 제한되지 않는다는 것을 유의하라. 복수의 이미지들 중 적어도 하나의 이미지는 디바이스의 터치스크린 상에 디스플레이되고, 여기서 적어도 하나의 물체의 선택을 수신하는 것은 터치스크린 상의 사용자 입력에 관한 정보를 수신하는 것을 포함할 수 있다.
본 발명의 양상들에 따라, 이미지 프레임들에서 특징들을 식별 및 추적하는 것은 다수의 기술들을 사용하여 수행될 수 있다. 하나의 접근법에서, 특징들을 식별하는 방법은 각각의 2x2 그래디언트 매트릭스의 최소 고유값(eigenvalue)을 심사함으로써 수행될 수 있다. 이어서, 특징들은 2 개의 윈도우들 사이의 차이를 최소화하는 뉴턴-랩슨(Newton-Raphson) 방법을 사용하여 추적된다. 다중-분해능 추적의 방법은 이미지들 사이의 상대적으로 큰 변위들을 허용한다. 하나의 프레임으로부터 다음 프레임으로 특징들의 추적 동안에, 에러들이 축적될 수 있다는 것을 유의하라. 잠재적으로 불량한 특징들을 검출하기 위해, 모바일 디바이스는 현재 프레임 내의 특징 주변의 윈도우에서의 이미지 신호가 이전 프레임 내의 특징 주변의 이미지 신호와 여전히 유사한지를 모니터링하도록 구성될 수 있다. 특징들이 많은 프레임들에 걸쳐 추적될 수 있기 때문에, 이미지 콘텐츠가 변형될 수 있다. 이러한 이슈를 해결하기 위해, 유사성 또는 아핀 맵핑(affine mapping)을 통해 일관성 체크가 수행될 수 있다.
본 발명의 양상들에 따라, 이미지 내의 물체를 식별하기 위해, 물체 상의 포인트들은 물체의 특징 디스크립션들(또한 키포인트들, 특징 포인트들 또는 생략하여 특징들로 지칭됨)을 제공하도록 추출될 수 있다. 이어서, 트레이닝 이미지로부터 추출된 이러한 디스크립션은, 많은 다른 물체들을 포함하는 테스트 이미지에서 물체를 위치확인하려고 시도할 때, 물체를 식별하는데 사용될 수 있다. 신뢰할 수 있는 인식을 수행하기 위해, 트레이닝 이미지로부터 추출된 특징들은, 이미지 스케일, 잡음 및 조도(illumination)에서의 변화들 하에서조차 검출 가능할 수 있다. 그러한 포인트들은 일반적으로 물체 에지들과 같이, 이미지의 높은 콘트라스트 영역들에 놓인다.
이러한 특징들의 또 다른 특성들은, 오리지널 장면에서 특징들 사이의 상대적인 위치들이 이미지마다 변하지 않을 수 있다는 것이다. 예를 들면, 문의 4 개의 코너들만이 특징들로서 사용되면, 코너들은 문의 위치와 상관없이 기능할 수 있지만, 프레임 내의 포인트들이 사용되면, 문이 개방 또는 폐쇄되는 경우에 인식이 실패할 수 있다. 마찬가지로, 다관절(articulated) 또는 가요성 물체들에 위치된 특징들은 통상적으로, 그들의 내부 기하학적 구조에서의 임의의 변화가 프로세싱되고 있는 세트 내의 2 개의 이미지들 사이에서 발생하면 기능하지 않을 수 있다. 일부 구현들에서, SIFT는 이미지들로부터 매우 많은 수의 특징들을 검출 및 사용하고, 이것은 모든 특징 매칭 에러들의 평균 에러에서 로컬 편차들에 의해 발생되는 에러들의 기여도(contribution)를 감소시킬 수 있다. 따라서, 개시된 방법은 클러터 사이에서도 그리고 부분적인 폐색 하에서도 물체들을 식별할 수 있는데, 왜냐하면 SIFT 특징 디스크립터가 균일한 스케일링, 배향에 대해 불변하고, 아핀 왜곡 및 조도 변화들에 대해 부분적으로 불변할 수 있기 때문이다.
예를 들면, 물체의 키포인트들은 먼저 기준 이미지들의 세트로부터 추출되고, 데이터베이스에 저장될 수 있다. 물체는 새로운 이미지로부터의 각각의 특징과 이러한 데이터베이스를 비교하고 그들의 특징 벡터들의 유클리드 거리에 기초하여 후보 매칭 특징들을 찾음으로써 새로운 이미지에서 인지된다. 완전한 세트의 매치들로부터, 새로운 이미지에서 물체 및 그의 위치, 스케일 및 배향에 일치하는 키포인트들의 서브세트들은 양호한 매치들을 필터링하기 위해 식별될 수 있다. 일관된 클러스터들의 결정은 일반화된 허프(Hough) 변환의 해시 테이블 구현을 사용하여 수행될 수 있다. 이어서, 물체 및 그의 포즈에 일치하는 3 개 이상의 특징들의 각각의 클러스터에는 추가로 상세되는 모델 검증이 실시될 수 있고, 후속으로 이상치(outlier)가 폐기될 수 있다. 이어서, 특정 세트의 특징들이 물체의 존재를 나타낼 확률은 피트(fit)의 정확성 및 프로빙 가능한 거짓 매치들의 수에 기초하여 계산될 수 있다. 테스트를 통과한 물체 매치들은 높은 신뢰도로 정확한 것으로서 식별될 수 있다.
본 발명의 양상들에 따라, 이미지 특징 생성은 이미지를 특정 벡터들의 큰 콜렉션으로 변환하고, 특징 벡터들 각각은 이미지 병진, 스케일링 및 회전에 대해 불변할 뿐만 아니라 조도 변화들에 대해 불변하고 로컬 기하학적 왜곡에 대해 강인할 수 있다. 이러한 특징들은 영장류의 시각(primate vision)에서 물체 인식을 위해 사용되는 하측두 피질(inferior temporal cortex) 내의 뉴런들과 유사한 속성들을 공유한다. 키 위치들은 스케일 공간에서 일련의 평활화되고 재샘플링된 이미지들에 적용되는 가우시안 함수의 차이의 결과의 최대치들 및 최소치들로서 정의될 수 있다. 에지를 따라 낮은 콘트라스트 후보 포인트들 및 에지 응답 포인트들이 폐기될 수 있다. 지배적인 배향들이 로컬화된 키포인트들에 할당된다. 이러한 접근법은 키포인트들이 매칭 및 인식에 더 안정적이다는 것을 보장한다. 이어서, 로컬 아핀 왜곡에 대해 강인한 SIFT 디스크립터들은 키 위치의 반경 주변의 픽셀들을 고려하고, 로컬 이미지 배향 평면들의 블러링(blurring) 및 재심플링에 의해 획득될 수 있다.
특징 매칭 및 인덱싱은 SIFT 키들을 저장하는 것 및 새로운 이미지로부터 매칭 키들을 식별하는 것을 포함할 수 있다. 하나의 접근법에서, 베스트-빈-퍼스트(best-bin-first) 탐색 방법으로 또한 지칭되는 k-d 트리 알고리즘의 수정본은 제한된 양의 계산을 사용하여 고확률로 가장 가까운 이웃들을 식별하는데 사용될 수 있다. 베스트-빈-퍼스트 알고리즘은 k-d 트리 알고리즘에 대한 수정된 탐색 순서를 사용하여, 특징 공간에서의 빈들이 질의 위치로부터 그들의 가장 가까운 거리의 순서로 탐색될 수 있게 한다. 이러한 탐색 순서는 탐색 순서의 효율적인 결정을 위해 히프(heap)-기반 우선 순위 큐의 사용을 요구한다. 각각의 키포인트에 대한 최상의 후보 매치는 트레이닝 이미지들로부터의 키포인트들의 데이터베이스에서 그의 가장 가까운 이웃을 식별함으로써 발견될 수 있다. 가장 가까운 이웃들은 정해진 디스크립터 벡터로부터 최소 유클리드 거리를 갖는 키포인트들로서 정의될 수 있다. 매치가 정확할 확률은 가장 가까운 이웃으로부터의 거리 대 제 2 가장 가까운 이웃의 거리의 비율을 취함으로써 결정될 수 있다.
하나의 예시적인 구현에서, 거리 비율이 0.8보다 더 큰 매치들이 거부될 수 있고, 이것은 정확한 매치들 중 5% 미만을 폐기하면서 거짓 매치들 중 90%를 제거한다. 베스트-빈-퍼스트 알고리즘의 효율을 추가로 개선하기 위해, 탐색은 미리 결정된 수(예를 들면, 100 개)의 가장 가까운 이웃 후보들을 체크한 후에 중단될 수 있다. 100,000 개의 키포인트들의 데이터베이스에 대해, 이것은 정확한 가장 가까운 이웃 탐색에 비해 약 100 배만큼의 속도 상승을 제공할 수 있고, 또한 정확한 매치들의 수에서 5 % 미만의 손실을 발생시킨다.
예시적인 구현에서, 허프 변환이 특정 모델 포즈와 일치하는 키들을 탐색하기 위해 신뢰할 수 있는 모델 가설들을 클러스터링하는데 사용될 수 있다는 것을 유의하라. 허프 변환은, 특징과 일치할 수 있는 물체 포즈들을 뽑기 위해 각각의 특징을 사용함으로써 일관된 해석으로 특징들의 클러스터들을 식별하는데 사용될 수 있다. 물체의 동일한 포즈를 뽑기 위해 특징들의 클러스터들이 발견될 때, 정확한 해석의 확률은 임의의 단일 특징에 대한 것보다 더 높을 수 있다. 매치 가설로부터 모델 위치, 배향 및 스케일을 예측하기 위한 해시 테이블 내의 엔트리가 생성될 수 있다. 해시 테이블은 빈 내의 적어도 3 개의 엔트리들의 클러스터들을 식별하도록 탐색될 수 있고, 빈들은 감소되는 크기 순서로 분류될 수 있다.
본 발명의 양상들에 따라, SIFT 키포인트들 각각은 2D 위치, 스케일 및 배향을 지정할 수 있다. 또한, 데이터베이스 내의 각각의 매칭된 키포인트는, 키포인트가 발견되는 트레이닝 이미지에 대해 그의 파라미터들의 기록을 가질 수 있다. 이러한 4 개의 파라미터들에 의해 암시된 유사성 변환은 3D 물체에 대한 6의 자유도 포즈 공간에 대한 근사화일 수 있고, 또한 임의의 단단하지 않은 변형들을 처리하지 않는다. 따라서, 예시적인 구현은 배향에 대해 30 도의 넓은 빈 크기들, 스케일에 대해 2 배, 및 위치에 대해 0.25 배의 최대 투사된 트레이닝 이미지 차원(예측된 스케일을 사용함)을 사용할 수 있다. 더 큰 스케일에서 생성된 SIFT 키 샘플들은 더 작은 스케일에서 SIFT 키 샘플들의 가중치의 2 배로 제공될 수 있다. 이러한 접근법을 통해, 더 큰 스케일은 사실상 더 작은 스케일에서 체크하기 위해 가장 가능성 있는 이웃들을 필터링할 수도 있다. 이러한 접근법은 또한 최소-잡음 스케일에 더 많은 가중치를 제공함으로써 인식 성능을 개선한다. 본 발명의 양상들에 따라, 빈 할당에서 경계 효과들의 이슈를 회피하기 위해, 각각의 키포인트 매치는 각각의 차원에서 2 개의 가장 가까운 빈들을 뽑을 수 있어서, 각각의 가설에 대해 총 16 개의 엔트리들을 제공하고 또한 포즈 범위를 넓힌다.
본 발명의 양상들에 따라, 정해진 파라미터 솔루션에 대해 각각의 이미지 특징과 모델 사이의 일치성을 체크함으로써 이상치들이 제거될 수 있다. 예를 들면, 선형 최소 제곱 솔루션이 주어지면, 각각의 매치는 허프 변환 빈들 내의 파라미터들에 사용되는 에러 범위의 절반 내에서 일치하도록 요구될 수 있다. 이상치들이 폐기될 때, 선형 최소 제곱 솔루션은 나머지 포인트들로 해결될 수 있고, 프로세스는 반복될 수 있다. 일부 구현들에서, 이상치들을 폐기한 후에 미리 결정된 수의 포인트들(예를 들면, 3 포인트들) 미만이 남아있다면, 매치가 거절될 수 있다. 또한, 탑-다운 매칭 페이즈(phase)는 투사된 모델 위치와 일치하는 임의의 추가의 매치들을 부가하는데 사용될 수 있고, 임의의 추가의 매치들은 유사성 변환 근사화 또는 다른 에러들로 인해 허프 변환 빈에서 누락될 수 있다.
모델 가설을 수용 또는 거절하기 위한 결정은 상세되는 확률 모델에 기초할 수 있다. 상기 방법은 먼저 모델 포즈에 대한 거짓 매치들의 예상된 수를 계산하고, 모델의 투사된 크기가 주어지면, 영역 내의 특징들의 수를 계산하고, 피트의 정확성을 계산한다. 이어서, 베이지언(Bayesian) 확률 분석은 물체가 발견된 매칭 특징들의 실제 수에 기초하여 제공될 수 있는 확률을 제공할 수 있다. 모델은, 정확한 해석에 대한 최종 확률이 미리 결정된 퍼센티지(예를 들면, 95 %)보다 더 크다면 수용될 수 있다.
본 발명의 양상들에 따라, 하나의 접근법에서, RIFT(rotation invariant feature transform) 방법은 클러터 또는 부분적인 폐색 상황들 하에서 해결하기 위해 SIFT의 회전-불변 일반화(rotation-invariant generalization)로서 사용될 수 있다. RIFT 디스크립터는 동일한 폭의 동심원의 링들로 분할되는 원형의 정규화된 패치들(circular normalized patchs)을 사용하여 구성될 수 있고, 각각의 링 내에서, 그래디언트 배향 히스토그램이 계산될 수 있다. 회전 불변성을 유지하기 위해, 배향은 중심으로부터 외부로 지시하는 방향에 대해 각각의 포인트에서 측정될 수 있다.
다른 접근법에서, G-RIF(generalized robust invariant feature) 방법이 사용될 수 있다. G-RIF는 지각 정보와 공간 인코딩을 결합하는 통합된 형태로 에지 배향, 에지 밀도 및 색상 정보를 인코딩한다. 물체 인식 방식은 물체 모델들을 추정하기 위해 이웃하는 컨텍스트 기반 보팅(neighboring context based voting)을 사용한다.
또 다른 접근법에서, 반복성, 특수성 및 강인성에 관련하여 이전에 제안된 방식들을 능가할 수 있는 스케일 및 회전-불변 관심 포인트 검출기/디스크립터를 사용하는 SURF(speeded up robust feature) 방법이 사용될 수 있다. SURF는 계산 시간을 감소시키기 위해 이미지 컨볼루션들(image convolutions)에 대한 적분 이미지들에 의존하고, 선두적인 기존의 검출기들 및 디스크립터들(검출기 및 분배-기반 디스크립터에 대한 고속 헤시안 매트릭스(Hessian matrix)-기반 수단을 사용함)의 세기를 기반으로 한다. SURF 방법은 관심 포인트 이웃 내의 하 웨이블렛(Haar wavelet) 응답들의 분포를 설명한다. 적분 이미지들은 속도에 사용될 수 있고, 64 개의 차원들은 특징 계산 및 매칭에 대한 시간을 감소시키는데 사용될 수 있다. 인덱싱 단계는 라플라시안의 부호에 기초할 수 있고, 이것은 매칭 속도 및 디스크립터의 강인성을 증가시킨다.
또 다른 접근법에서, PCA-SIFT(principle component analysis SIFT) 방법이 사용될 수 있다. 일부 구현들에서, PCA-SIFT 디스크립터는 지원 영역 내에서 계산된 x 및 y 방향에서의 이미지 그래디언트들의 벡터이다. 그래디언트 영역은 39x39 개의 위치들에서 샘플링될 수 있다. 따라서, 벡터는 차원(3042)일 수 있다. 차원은 PCA를 통해 36으로 감소될 수 있다. 또 다른 접근법에서, GLOH(Gradient location-orientation histogram) 방법이 사용될 수 있고, 이것은 SIFT의 강인성 및 특수성을 증가시키도록 설계된 SIFT 디스크립터의 확장판이다. 일부 구현들에서, SIFT 디스크립터는 방사 방향에서 3 개의 빈들(6, 11 및 15로 설정된 반경) 및 각 방향에서 8 개의 빈들을 갖는 로그-극 위치 그리드에 대해 계산될 수 있고, 이것은 17 개의 위치 빈들을 발생시킨다. 중심 빈은 각 방향들에서 분할되지 않을 수 있다. 그래디언트 배향들은 16 개의 빈들로 양자화될 수 있어서, 272 빈 히스토그램을 발생시킨다. 이러한 디스크립터의 크기는 PCA를 통해 감소될 수 있다. PCA에 대한 공분산 매트릭스(covariance matrix)는 다양한 이미지들로부터 수집된 이미지 패치들에 대해 추정될 수 있다. 이어서, 128 개의 가장 큰 고유벡터들이 디스크립션에 사용될 수 있다.
또 다른 접근법에서, 2-물체 인식 알고리즘은 현재 모바일 디바이스들의 한계들에서 사용하기 위해 채용될 수 있다. 전형적인 SIFT 접근법과 대조적으로, FAST(Features from Accelerated Segment Test) 코너 검출기는 특징 검출을 위해 사용될 수 있다. 이러한 접근법은, 특징들이 상이한 스케일 레벨들에서 생성될 수 있는 오프-라인 준비 단계 및 특징들이 모바일 디바이스의 카메라 이미지의 현재 고정된 스케일 레벨에서 생성될 수 있는 온-라인 단계를 구별한다. 하나의 예시적인 구현에서, 특징들은 미리 결정된 고정된 패치 크기(예를 들면, 15x15 픽셀들)로부터 생성되고, 36 차원들을 갖는 SIFT 디스크립터를 형성할 수 있다. 상기 접근법은 인식 파이프라인에서 스케일링 가능한 어휘 트리(vocabulary tree)를 통합함으로써 추가로 확장될 수 있다. 이것은 모바일 디바이스들 상에서 매우 많은 수의 물체들의 효율적인 인식을 허용한다.
본 발명의 양상들에 따라, 로컬 이미지 특징들의 검출 및 디스크립션은 물체 인식을 도울 수 있다. SIFT 특징들은 로컬적이고, 특정 관심 포인트들에서 물체의 외관에 기초할 수 있고, 이미지 스케일 및 회전에 대해 불변일 수 있다. SIFT 특징들은 또한 조도, 잡음에서의 변화들 및 관점에서의 작은 변화들에 대해 강인할 수 있다. 이러한 속성들에 부가하여, 특징들은 매우 독특하고, 추출하기에 비교적 용이하고, 미스매치의 낮은 확률로 정확한 물체 식별을 허용할 수 있다. 특징들은 로컬 특징들의 (대형) 데이터베이스에 대해 매칭하기에 비교적 용이할 수 있고, 베스트-빈-퍼스트 탐색을 갖는 k-d(k-dimensional) 트리와 같은 일반적으로 확률론적 알고리즘들이 사용될 수 있다. SIFT 특징들의 세트에 의한 물체 디스크립션들은 또한 부분적은 폐색에 대해 강인할 수 있다. 예를 들면, 물체로부터 겨우 3 개뿐인 SIFT 특징들은 물체의 위치 및 포즈를 계산하기에 충분할 수 있다. 일부 구현들에서, 인식은 작은 데이터베이스에서 그리고 현대 컴퓨터 하드웨어 상에서 준 실시간으로 수행될 수 있다.
본 발명의 양상들에 따라, RANSAC(random sample consensus) 기술은 카메라의 뷰에서 물체들을 이동시킴으로써 발생되는 이상치들을 제거하기 위해 사용될 수 있다. RANSAC가 이상치들을 포함하는 관찰된 데이터의 세트로부터 수학적 모델의 파라미터들을 추정하기 위해 반복적인 방법을 사용한다는 것을 유의하라. 이러한 방법은 비결정론적일 수 있는데, 왜냐하면 이러한 방법이 연관된 확률로 합리적인 결과를 생성하기 때문이며, 여기서 확률은 반복이 더 많이 수행됨에 따라 증가할 수 있다.
하나의 예시적인 구현에서, 관찰된 데이터 값들의 세트, 파라미터화된 모델은 대응하는 신뢰도 파라미터들을 갖는 관찰들에 피팅될 수 있다. 이러한 예시적인 구현에서, 상기 방법은 오리지널 데이터의 랜덤 서브세트를 반복적으로 선택한다. 이러한 데이터는 가설 참정보들(hypothetical inliers)일 수 있고, 이어서, 가설은 다음과 같이 테스트될 수 있다.
1. 모델은 가설 참정보들에 피팅될 수 있고, 즉, 모델의 모든 자유 파라미터들이 참정보들로부터 재구성된다.
2. 이어서, 모든 다른 데이터는 피팅된 모델에 대해 테스트될 수 있고, 포인트가 추정된 모델에 잘 피팅하면, 이것은 가설 참정보로서 고려될 수 있다.
3. 충분한 수의 포인트들이 가설 참정보들로서 분류되었다면, 추정된 모델은 수용 가능한 것으로 고려될 수 있다.
4. 모델은 모든 가설 참정보들로부터 재추정될 수 있는데, 왜냐하면 모델이 가설 참정보들의 초기 세트로부터만 추정되었기 때문이다.
5. 마지막으로, 모델은 모델에 대해 참정보들의 에러를 추정함으로써 평가될 수 있다.
상기 절차는 미리 결정된 횟수로 반복될 수 있고, 너무 적은 포인트들이 참정보들로서 분류되기 때문에 거절될 수 있는 모델 또는 대응하는 에러 척도를 포함하는 개선된 모델 중 어느 하나가 매번 생성된다. 후자의 경우에, 에러가 이전에 저장된 모델보다 더 낮으면, 개선된 모델이 유지될 수 있다.
다른 예시적인 구현에서, 카메라의 뷰에서 물체를 이동시키는 것은 모델 기반 모션 추적 방법을 사용하여 능동적으로 식별 및 제거될 수 있다. 하나의 접근법에서, 추적의 목적은 모델 인식의 문제로서 처리될 수 있다. 타겟의 이진 표현이 추적될 수 있고, 하우스도르프(Hausdorff) 거리 기반 탐색은 물체에 대한 이미지의 영역들을 탐색하는데 사용될 수 있다. 타겟(모델)의 이진 표현에서, 가우시안 평활화된 이미지의 표준 캐니 에지(canny edge) 검출기로부터의 출력은 모델 이력의 개념으로 증강될 수 있다. 각각의 프레임에서, 하우스도르프 탐색은 현재 이미지로부터의 캐니 에지들 및 현재 모델을 사용하여 각각의 타겟에 대해 수행될 수 있다. 또한, 아핀 추정은 순(net) 배경 모션을 근사화하기 위해 수행될 수 있다. 이러한 2 개의 탐색들의 결과들로부터, 타겟에 관한 정보가 수집되고, 타겟의 모션을 근사화할 뿐만 아니라, 타겟의 영역에서의 모션으로부터 배경을 구별하는데 사용될 수 있다. 위험/흔치 않는 조건들(가령, 물체가 그늘로 진행하여 가리게 됨, 물체가 프레임을 떠나는 것, 또는 카메라 이미지 왜곡이 불량한 이미지 품질을 제공함)을 처리할 수 있기 위해, 타겟의 과거 모션 및 크기 변화, 타겟의 특성 뷰들(타겟이 추적되는 상이한 방식들의 정확한 표현을 제공하는 전체 시간에 걸친 스냅샷들) 및 과거의 매치 품질들과 같은 타겟에 관한 이력 데이터가 유지될 수 있다.
타겟을 추적하는 것의 이력은 위험/흔치 않은 조건들을 단지 지원하는 것 그 이상으로 유용할 수 있고, 중단이 없는(solid) 모션 추적 방법의 그 부분은 모션 비교의 프레임 단위의 방법뿐만 아니라 이력 데이터를 수반할 수 있다. 이러한 이력 상태는 타겟의 고려되는 부분이 무엇이어야 하는지(예를 들면, 동일한 속도로 이동하는 물체에 가깝게 이동하는 것들이 물체에 통합되어야 함)를 결정하는 방법에 관한 정보를 제공할 수 있고, 모션 및 크기에 관한 정보를 통해, 상기 방법은 분실된 물체가 어디로 갈 수 있는지, 또는 물체가 어디서 재등장할 수 있는지(이것은 프레임을 떠나고 나중 시간에 재등장하는 타겟들을 되찾는데 있어서 유용함)를 예측적으로 추정할 수 있다.
모션 추정 방법에서 고유의 도전 과제는, 카메라가 (정지 카메라와 반대로) 임의적 이동을 가질 수 있다는 사실에 의해 발생될 수 있고, 이것은 카메라 모션에서의 예측 불가한 변화들을 처리할 수 있는 추적 시스템을 개발하는 것을 어렵게 한다. 계산적으로 효율적인 아핀 배경 추정 방식은 카메라 및 장면의 모션에 관한 정보를 제공하는데 사용될 수 있다.
본 발명의 양상들에 따라, 이미지에 대한 아핀 변환은 시간(t+dt)에서의 이미지에 대해 시간(t)에서 수행될 수 있고, 이것은 2 개의 이미지들에서의 모션을 상관시키는 것을 허용한다. 이러한 배경 정보는 시간(t)에서의 이미지로부터 시간(t+dt)에서의 이미지를 합성하는 방법 및 순 장면 모션의 근사화일 수 있는 아핀 변환을 허용한다. 이러한 합성된 이미지는 새로운 모델 정보를 생성하고 모델 공간으로부터 배경 클러터를 제거하는데 있어서 유용할 수 있는데, 왜냐하면 t+dt에서의 실제 이미지 및 t+dt에서 생성된 이미지의 차이가 타겟들을 둘러싸는 공간으로부터 이미지 특징들을 제거하도록 취해질 수 있기 때문이다.
탐색 공간을 클린-업하기 위한 툴로서 아핀 변환의 사용에 부가하여, 아핀 변환은 또한 타겟들의 좌표 이동을 정규화하는데 사용될 수 있고, 배경이 어떻게 이동될 수 있는지를 추적하기 위한 벡터, 및 타겟이 어떻게 이동될 수 있는지를 추적하기 위한 벡터를 가짐으로써, 2 개의 벡터의 차이는 배경에 관련하여 타겟의 모션을 설명하는 벡터를 생성하기 위해 취해질 수 있다. 이러한 벡터는 타겟이 어디에 있어야 하는지를 예측적으로 매칭시키고 위험 조건들을 예상하기 위한 방법을 허용한다(예를 들면, 모션의 방향에서 미리 보기는 다가오는 장애물들뿐만 아니라, 물체가 위험 조건의 경우에 어디에 있을 수 있는지의 추적을 유지하는 것에 관한 단서들을 제공할 수 있음). 물체가 위험 조건에 진입할 때, 상기 방법은 여전히 배경 모션을 추정하고, 모델이 어디서 재등장하는지 또는 어디서 프레임에 재진입하는지를 추측하기 위해 모델의 이전 이동들의 지식과 결합된 것을 사용할 수도 있다.
배경 추정은 물체들의 오래 계속되는 추적에서 핵심 요인일 수 있다. 단기간 추적이 배경 추정 없이 수행될 수 있지만, 시간 기간 후에, 배경의 양호한 추정 없이는, 물체 왜곡 및 위험들을 효과적으로 대처하는 것이 어려울 수 있다는 것을 유의하라.
본 발명의 양상들에 따라, 하우스도르프 거리를 매칭 연산자로서 사용하는 것의 이점들 중 하나는, 하우스도르프 거리가 매칭 동안에 형상에서의 변화에 꽤 관대할 수 있다는 것이며, 하지만 매칭 연산자로서 하우스도르프 거리를 사용하는 것은 추적되는 물체들이 더 정확하게 정의되는 것을 요구할 수 있다.
하나의 접근법에서, 시간(t+1) 이미지로부터 새로운 모델을 가로채는 스트레이트 딜레이션-기반(straight dilation-based) 방법들이 사용될 수 있다. 물체 가까이에 어떠한 물체 특징들도 없을 수 있는 일부 상황들에서(꽤 자주 발생함), 딜레이션 방법이 효과적이지 않을 수 있는데, 왜냐하면 이것은 전체 장면을 모델에 느리게 통합할 수 있기 때문이라는 것을 유의하라. 따라서, 모델 형상에서의 변화들에 대해 관대할 수 있지만, 비-모델 픽셀들을 모델에 통합하는 것을 발생시킨다는 점에서 너무 완화되지 않는, 프레임마다 모델을 업데이트하는 방법이 채택될 수 있다. 하나의 예시적인 구현은 배경 제거 및 이전 모델들의 현재 모델 매치 윈도우로의 부가 및 안정된 픽셀들뿐만 아니라 안정된 픽셀들을 둘러싸는 새로운 픽셀들인 것 같은 것을 취하는 것의 조합을 사용하는 것이고, 새로운 픽셀들은 그들이 안정적이지 않을 수 있기 때문에 시간에 걸쳐 모델로부터 제거되거나 모델에 통합되게 될 수 있다. 이러한 접근법은 이미지 내의 클러터로부터 모델들을 비교적 깨끗하게 유지하는데 있어서 효과적일 수 있다. 예를 들면, 이러한 접근법을 통해, 트럭에 가까운 로드(road)가 더 이상 모델 픽셀 바이 픽셀로 밀려 오지 않는다. 모델들이 확장되는 것처럼 보일 수 있지만, 이것은 모델들이 구성되는 방법의 이력 효과의 결과일 수 있지만, 이것은 또한 탐색 결과들을 확실하게 하는 특징을 가질 수 있는데, 왜냐하면 이러한 방법이 가능하게는 다음 프레임에서 매칭하는 더 많은 모델 픽셀들을 가질 수 있기 때문이라는 것을 유의하라.
각각의 프레임에서, 수행되는 상당한 양의 계산이 존재할 수 있다는 것을 유의하라. 일부 구현들에 따라, 모바일 디바이스는 평활화/특징 추출, 각각의 타겟마다 하우스도르프 매칭(예를 들면, 모델 당 하나의 매치)뿐만 아니라 아핀 배경 추정을 수행하도록 구성될 수 있다. 이러한 동작들 각각은 개별적으로 상당히 계산적으로 비용이 많이 들 수 있다. 모바일 디바이스 상에서 실시간 성능을 달성하기 위해, 설계는 가능한 많은 유사성(parallelism)을 사용하도록 구성될 수 있다.
적어도 단락들 [0132]-[0134], 도 1, 도 2, 도 17 내지 도 20 및 그들의 대응하는 설명들이 적어도 하나의 물체의 선택을 수신하기 위한 수단, 카메라에 의해 캡처된 복수의 이미지들에서 적어도 하나의 물체를 추적하기 위한 수단, 및 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 디바이스로부터 현실 물체로 전송되게 하기 위한 수단을 제공한다는 것을 유의하라.
본 명세서에서 설명된 방법들과 모바일 디바이스는 애플리케이션에 따라 다양한 수단에 의해 구현될 수 있다. 예를 들어, 이러한 방법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 결합으로 구현될 수 있다. 하드웨어 구현의 경우, 처리 유닛들은 하나 또는 그보다 많은 주문형 집적 회로(ASIC: application specific integrated circuit)들, 디지털 신호 프로세서(DSP: digital signal processor)들, 디지털 신호 처리 디바이스(DSPD: digital signal processing device)들, 프로그래밍 가능한 로직 디바이스(PLD: programmable logic device)들, 필드 프로그래밍 가능한 게이트 어레이(FPGA: field programmable gate array)들, 프로세서들, 제어기들, 마이크로컨트롤러들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에서 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 결합 내에 구현될 수 있다. 여기서, "제어 로직"이라는 용어는 소프트웨어, 하드웨어, 펌웨어, 또는 결합에 의해 구현되는 로직을 망라한다.
펌웨어 및/또는 소프트웨어 구현의 경우, 방법들은 본 명세서에서 설명된 기능들을 수행하는 모듈들(예를 들어, 프로시저들, 함수들 등)로 구현될 수 있다. 명령들을 유형적으로 구현하는 임의의 기계 판독 가능 매체가 본 명세서에서 설명된 방법들을 구현하는데 사용될 수 있다. 예를 들어, 소프트웨어 코드들은 메모리에 저장되어 처리 유닛에 의해 실행될 수 있다. 메모리는 처리 유닛 내에 또는 처리 유닛 외부에 구현될 수 있다. 본 명세서에서 사용된 바와 같이, "메모리"라는 용어는 임의의 타입의 장기(long term), 단기(short term), 휘발성, 비휘발성 또는 다른 저장 디바이스들을 지칭하며, 메모리의 임의의 특정 타입이나 메모리들의 개수, 또는 메모리가 저장되는 매체들의 타입으로 한정되는 것은 아니다.
펌웨어 및/또는 소프트웨어로 구현된다면, 이 기능들은 컴퓨터 판독 가능 매체 상에 하나 또는 그보다 많은 명령들 또는 코드로서 저장될 수 있다. 예들은 데이터 구조로 인코딩된 컴퓨터 판독 가능 매체 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터 판독 가능 매체는 제조사의 물품 형태를 취할 수 있다. 컴퓨터 판독 가능 매체는 물리적 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 한정이 아닌 예시로, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM이나 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들이나 데이터 구조들의 형태로 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스 가능한 임의의 다른 매체를 포함할 수 있고, 본 명세서에서 사용된 것과 같은 디스크(disk 및 disc)는 콤팩트 디스크(CD: compact disc), 레이저 디스크(laser disc), 광 디스크(optical disc), 디지털 다기능 디스크(DVD: digital versatile disc), 플로피 디스크(floppy disk) 및 블루레이 디스크(Blu-ray disc)를 포함하며, 여기서 디스크(disk)들은 보통 데이터를 자기적으로 재생하는 한편, 디스크(disc)들은 데이터를 레이저들에 의해 광학적으로 재생한다. 상기의 결합들이 또한 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.
컴퓨터 판독 가능 매체 상의 저장소 외에도, 명령들 및/또는 데이터는 통신 장치에 포함된 전송 매체 상에서 신호들로서 제공될 수 있다. 예를 들어, 통신 장치는 명령들 및 데이터를 나타내는 신호들을 갖는 트랜시버를 포함할 수 있다. 명령들 및 데이터는 적어도 하나의 프로세서로 하여금, 청구항들에 개요가 서술된 기능들을 구현하게 하도록 구성된다. 즉, 통신 장치는 개시된 기능들을 수행하기 위한 정보를 나타내는 신호들을 갖는 전송 매체를 포함한다. 처음에, 통신 장치에 포함된 전송 매체는 개시된 기능들을 수행하기 위한 정보의 제 1 부분을 포함할 수 있는 한편, 두 번째로, 통신 장치에 포함된 전송 매체는 개시된 기능들을 수행하기 위한 정보의 제 2 부분을 포함할 수 있다.
본 발명은 무선 광역 네트워크(WWAN: wireless wide area network), 무선 근거리 네트워크(WLAN: wireless local area network), 무선 개인 영역 네트워크(WPAN: wireless personal area network) 등과 같은 다양한 무선 통신 네트워크들과 함께 구현될 수 있다. "네트워크"와 "시스템"이라는 용어들은 흔히 상호 교환 가능하게 사용된다. "위치"와 "장소"라는 용어들은 흔히 상호 교환 가능하게 사용된다. WWAN은 코드 분할 다중 액세스(CDMA: Code Division Multiple Access) 네트워크, 시분할 다중 액세스(TDMA: Time Division Multiple Access) 네트워크, 주파수 분할 다중 액세스(FDMA: Frequency Division Multiple Access) 네트워크, 직교 주파수 분할 다중 액세스(OFDMA: Orthogonal Frequency Division Multiple Access) 네트워크, 단일 반송파 주파수 분할 다중 액세스(SC-FDMA: Single-Carrier Frequency Division Multiple Access) 네트워크, 롱 텀 에볼루션(LTE: Long Term Evolution) 네트워크, WiMAX(IEEE 802.16) 네트워크 등일 수 있다. CDMA 네트워크는 cdma2000, 광대역 CDMA(W-CDMA) 등과 같은 하나 또는 그보다 많은 무선 액세스 기술(RAT: radio access technology)들을 구현할 수 있다. cdma2000은 IS-95, IS2000 및 IS-856 표준들을 포함한다. TDMA 네트워크는 글로벌 모바일 통신 시스템(GSM: Global System for Mobile Communications), 디지털 고급 모바일 전화 시스템(D-AMPS: Digital Advanced Moble Phone System), 또는 다른 어떤 RAT를 구현할 수 있다. GSM 및 W-CDMA는 "3세대 파트너십 프로젝트"(3GPP: 3rd Generation Partnership Project)로 명명된 컨소시엄으로부터의 문서들에 기술되어 있다. cdma2000은 "3세대 파트너십 프로젝트 2"(3GPP2)로 명명된 컨소시엄으로부터의 문서들에 기술되어 있다. 3GPP 및 3GPP2 문서들은 공개적으로 이용 가능하다. WLAN은 IEEE 802.11x 네트워크일 수 있고, WPAN은 블루투스 네트워크, IEEE 802.15x, 또는 다른 어떤 타입의 네트워크일 수 있다. 이 기술들은 또한 WWAN, WLAN 및/또는 WPAN의 임의의 결합과 함께 구현될 수도 있다.
이동국은 셀룰러 또는 다른 무선 통신 디바이스, 개인 통신 시스템(PCS: personal communication system) 디바이스, 개인용 내비게이션 디바이스(PND: personal navigation device), 개인 정보 관리기(PIM: Personal Information Manager), 개인용 디지털 보조기기(PDA: Personal Digital Assistant), 랩톱, 또는 무선 통신 및/또는 내비게이션 신호들을 수신할 수 있는 다른 적당한 모바일 디바이스와 같은 디바이스를 지칭한다. "이동국"이라는 용어는 또한, 위성 신호 수신, 보조 데이터 수신 및/또는 위치 관련 처리가 디바이스에서 일어나는지 아니면 개인 내비게이션 디바이스(PND)에서 일어나는지와 관계없이, 예컨대 단거리 무선, 적외선, 유선 접속 또는 다른 접속에 의해 PND와 통신하는 디바이스들을 포함하는 것으로 의도된다. 또한, "이동국"은 위성 신호 수신, 보조 데이터 수신 및/또는 위치 관련 처리가 디바이스에서 일어나는지, 서버에서 일어나는지 아니면 네트워크와 연관된 다른 디바이스에서 일어나는지와 관계없이, 그리고 예컨대, 인터넷, Wi-Fi 또는 다른 네트워크를 통해 서버와 통신할 수 있는 무선 통신 디바이스들, 컴퓨터들, 랩톱들 등을 비롯한 모든 디바이스들을 포함하는 것으로 의도된다. 상기의 임의의 동작 가능 결합이 또한 "이동국"으로 고려된다.
어떤 것이 "최적화", "요구"된다는 지정 또는 다른 지정은, 본 발명이 최적화된 시스템들이나 "요구되는" 엘리먼트들이 존재하는 시스템들에만 적용됨(또는 다른 지정들로 인한 다른 한정)을 나타내는 것은 아니다. 이러한 지정들은 설명된 특정한 구현만을 지칭한다. 물론, 많은 구현들이 가능하다. 기술들은 개발 중인 또는 개발될 프로토콜들을 비롯하여, 본 명세서에서 논의된 것들 이외의 프로토콜들에 사용될 수 있다.
해당 기술분야에서 통상의 지식을 가진 자는, 동일한 기본적인 근본 메커니즘들 및 방법들을 여전히 이용하면서, 개시된 실시예들의 많은 가능한 변형들과 결합들이 사용될 수 있음을 인지할 것이다. 상기의 서술은 설명 목적으로 특정 실시예들을 참조하여 작성되었다. 그러나 상기의 예시적인 논의들은 개시된 바로 그 형태들로 본 발명을 한정하거나 총망라한 것으로 의도되는 것은 아니다. 상기 교시들의 관점에서 많은 변형들 및 개조들이 가능하다. 본 발명의 원리들 및 이들의 실제 응용들을 설명하도록, 그리고 해당 기술분야에서 통상의 지식을 가진 다른 자들이, 고려되는 특정 용도에 적합한 다양한 변형들과 함께 본 발명 및 다양한 실시예들을 최상으로 이용할 수 있도록 실시예들이 선택되어 기술되었다.

Claims (40)

  1. 카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법으로서,
    적어도 하나의 물체의 선택을 수신하는 단계,
    상기 카메라에 의해 캡처된 복수의 이미지들에서 상기 적어도 하나의 물체를 추적하는 단계, 및
    상기 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 상기 디바이스로부터 상기 현실 물체로 전송되게 하는 단계를 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  2. 제 1 항에 있어서,
    상기 추적하는 단계는 3-차원 추적을 수행하는 단계를 포함하고,
    상기 3-차원 추적을 수행하는 단계는,
    상기 디바이스에 관련하여 상기 적어도 하나의 물체의 상대적인 포즈를 결정하는 단계, 및
    상기 상대적인 포즈를 사용하여 상기 적어도 하나의 물체의 상태들을 업데이트하는 단계를 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  3. 제 2 항에 있어서,
    상기 상대적인 포즈를 결정하는 단계는,
    상기 적어도 하나의 물체의 이전에 캡처된 이미지에 관련하여 상기 적어도 하나의 물체의 상대적인 포즈를 검출하는 단계를 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  4. 제 1 항에 있어서,
    상기 수신하는 단계는,
    상기 적어도 하나의 물체의 클로즈 업 뷰를 획득하기 위해 줌 인(zooming in)을 식별하는 단계를 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  5. 제 1 항에 있어서,
    상기 수신하는 단계는,
    상기 적어도 하나의 물체가 상기 디바이스의 중심 스크린에 배치되었다고 결정하는 단계를 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  6. 제 1 항에 있어서,
    상기 현실 물체는 상기 적어도 하나의 물체를 포함하고,
    상기 제어 신호들이 전송되게 하는 단계는,
    상기 적어도 하나의 물체에 대한 제어 메커니즘의 증강(augmentation)을 렌더링하는 단계, 및
    상기 디바이스의 디스플레이 상에 사용자-정의된 제어 메커니즘을 제공하는 단계를 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  7. 제 6 항에 있어서,
    상기 제어 신호들이 전송되게 하는 단계는,
    상기 제어 메커니즘의 동작들을 모방하기 위해 상기 디바이스의 모션들을 사용하는 단계를 더 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  8. 제 1 항에 있어서,
    상기 기계 인터페이스는,
    블루투쓰,
    Wi-Fi, 및
    IR 중 적어도 하나를 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  9. 제 1 항에 있어서,
    상기 복수의 이미지들 중 적어도 하나의 이미지는 상기 디바이스의 터치스크린 상에 디스플레이되고,
    상기 적어도 하나의 물체의 선택을 수신하는 단계는 상기 적어도 하나의 물체를 식별하는 상기 터치스크린 상의 사용자 입력에 관한 정보를 수신하는 단계를 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  10. 제 1 항에 있어서,
    상기 디바이스의 뷰에서 라디오를 추적하는 단계,
    상기 라디오에 의해 재생되는 노래의 증강을 제공하는 단계, 및
    상기 라디오가 회전되었다는 결정에 기초하여 상기 노래의 볼륨을 조절하는 단계를 더 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  11. 제 1 항에 있어서,
    상기 디바이스의 뷰에서 텔레비전을 추적하는 단계,
    물체가 상기 텔레비전 근처에 배치되었다고 결정하는 단계, 및
    상기 물체가 상기 텔레비전 근처에 배치된 것에 기초하여 상기 텔레비전 상에서 재생되는 비디오의 증강을 트리거링하는 단계를 더 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  12. 제 1 항에 있어서,
    상기 전송되게 하는 단계는 상기 적어도 하나의 물체가 회전되었다고 결정하는 단계를 포함하고,
    상기 제어 신호들은 채널을 변경하거나 볼륨을 변경하도록 상기 현실 물체에 지시하는 신호들을 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  13. 제 1 항에 있어서,
    상기 현실 물체, 상기 디바이스, 및 상기 적어도 하나의 물체는 별개의 물체들을 포함하고,
    상기 현실 물체, 상기 디바이스, 및 상기 적어도 하나의 물체 각각은 물리적 물체인,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하는 방법.
  14. 현실 물체를 제어하기 위한 디바이스로서,
    카메라,
    프로세싱 로직을 포함하는 제어 유닛을 포함하고, 상기 프로세싱 로직은,
    적어도 하나의 물체의 선택을 수신하도록 구성된 로직,
    상기 카메라에 의해 캡처된 복수의 이미지들에서 상기 적어도 하나의 물체를 추적하도록 구성된 로직, 및
    상기 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 상기 디바이스로부터 상기 현실 물체로 전송되게 하도록 구성된 로직을 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  15. 제 14 항에 있어서,
    상기 적어도 하나의 물체를 추적하도록 구성된 로직은 3-차원 추적을 수행하는 것을 포함하고,
    상기 3-차원 추적을 수행하는 것은,
    상기 디바이스에 관련하여 상기 적어도 하나의 물체의 상대적인 포즈를 결정하도록 구성된 로직, 및
    상기 상대적인 포즈를 사용하여 상기 적어도 하나의 물체의 상태들을 업데이트하도록 구성된 로직을 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  16. 제 15 항에 있어서,
    상기 상대적인 포즈를 결정하도록 구성된 로직은,
    상기 적어도 하나의 물체의 이전에 캡처된 이미지에 관련하여 상기 적어도 하나의 물체의 상대적인 포즈를 검출하도록 구성된 로직을 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  17. 제 15 항에 있어서,
    상기 선택을 수신하도록 구성된 로직은,
    상기 적어도 하나의 물체의 클로즈 업 뷰를 획득하기 위해 줌 인을 식별하도록 구성된 로직을 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  18. 제 14 항에 있어서,
    상기 선택을 수신하도록 구성된 로직은,
    상기 적어도 하나의 물체가 상기 디바이스의 중심 스크린에 배치되었다고 결정하도록 구성된 로직을 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  19. 제 14 항에 있어서,
    상기 현실 물체는 상기 적어도 하나의 물체를 포함하고,
    상기 제어 신호들이 전송되게 하도록 구성된 로직은,
    상기 적어도 하나의 물체에 대한 제어 메커니즘의 증강을 렌더링하도록 구성된 로직, 및
    상기 디바이스의 디스플레이 상에 사용자-정의된 제어 메커니즘을 제공하도록 구성된 로직을 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  20. 제 19 항에 있어서,
    상기 제어 신호들이 전송되게 하도록 구성된 로직은,
    상기 제어 메커니즘의 동작들을 모방하기 위해 상기 디바이스의 모션들을 사용하도록 구성된 로직을 더 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  21. 제 14 항에 있어서,
    상기 기계 인터페이스는,
    블루투쓰,
    Wi-Fi, 및
    IR 중 적어도 하나를 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  22. 제 14 항에 있어서,
    상기 복수의 이미지들 중 적어도 하나의 이미지는 상기 디바이스의 터치스크린 상에 디스플레이되고,
    상기 적어도 하나의 물체의 선택을 수신하도록 구성된 로직은 상기 적어도 하나의 물체를 식별하는 상기 터치스크린 상의 사용자 입력에 관한 정보를 수신하도록 구성된 로직을 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  23. 제 14 항에 있어서,
    상기 디바이스의 뷰에서 라디오를 추적하도록 구성된 로직,
    상기 라디오에 의해 재생되는 노래의 증강을 제공하도록 구성된 로직, 및
    상기 라디오가 회전되었다는 결정에 기초하여 상기 노래의 볼륨을 조절하도록 구성된 로직을 더 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  24. 제 14 항에 있어서,
    상기 디바이스의 뷰에서 텔레비전을 추적하도록 구성된 로직,
    물체가 상기 텔레비전 근처에 배치되었다고 결정하도록 구성된 로직, 및
    상기 물체가 상기 텔레비전 근처에 배치된 것에 기초하여 상기 텔레비전 상에서 재생되는 비디오의 증강을 트리거링하도록 구성된 로직을 더 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  25. 제 14 항에 있어서,
    상기 제어 신호들이 전송되게 하도록 구성된 로직은 상기 적어도 하나의 물체가 회전되었다고 결정하도록 구성된 로직을 포함하고,
    상기 제어 신호들은 채널을 변경하거나 볼륨을 변경하도록 상기 현실 물체에 지시하는 신호들을 포함하는,
    현실 물체를 제어하기 위한 디바이스.
  26. 제 14 항에 있어서,
    상기 현실 물체, 상기 디바이스, 및 상기 적어도 하나의 물체는 별개의 물체들을 포함하고,
    상기 현실 물체, 상기 디바이스, 및 상기 적어도 하나의 물체 각각은 물리적 물체인,
    현실 물체를 제어하기 위한 디바이스.
  27. 하나 이상의 컴퓨터 시스템들에 의한 실행을 위한 명령들을 저장하는 비일시적인 매체로서, 상기 명령들은,
    카메라를 갖는 디바이스에서 적어도 하나의 물체의 선택을 수신하기 위한 명령들,
    상기 카메라에 의해 캡처된 복수의 이미지들에서 상기 적어도 하나의 물체를 추적하기 위한 명령들, 및
    상기 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 상기 디바이스로부터 현실 물체로 전송되게 하기 위한 명령들을 포함하는,
    비일시적인 매체.
  28. 카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템으로서,
    적어도 하나의 물체의 선택을 수신하기 위한 수단,
    상기 카메라에 의해 캡처된 복수의 이미지들에서 상기 적어도 하나의 물체를 추적하기 위한 수단, 및
    상기 추적에 적어도 부분적으로 기초하여 제어 신호들이 기계 인터페이스를 통해 상기 디바이스로부터 상기 현실 물체로 전송되게 하기 위한 수단을 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  29. 제 28 항에 있어서,
    상기 추적하기 위한 수단은 3-차원 추적을 수행하기 위한 수단을 포함하고,
    상기 3-차원 추적을 수행하기 위한 수단은,
    상기 디바이스에 관련하여 상기 적어도 하나의 물체의 상대적인 포즈를 결정하기 위한 수단, 및
    상기 상대적인 포즈를 사용하여 상기 적어도 하나의 물체의 상태들을 업데이트하기 위한 수단을 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  30. 제 29 항에 있어서,
    상기 상대적인 포즈를 결정하기 위한 수단은,
    상기 적어도 하나의 물체의 이전에 캡처된 이미지에 관련하여 상기 적어도 하나의 물체의 상대적인 포즈를 검출하기 위한 수단을 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  31. 제 28 항에 있어서,
    상기 수신하기 위한 수단은,
    상기 적어도 하나의 물체의 클로즈 업 뷰를 획득하기 위해 줌 인을 식별하기 위한 수단을 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  32. 제 28 항에 있어서,
    상기 수신하기 위한 수단은,
    상기 적어도 하나의 물체가 상기 디바이스의 중심 스크린에 배치되었다고 결정하기 위한 수단을 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  33. 제 28 항에 있어서,
    상기 현실 물체는 상기 적어도 하나의 물체를 포함하고,
    상기 제어 신호들이 전송되게 하기 위한 수단은,
    상기 적어도 하나의 물체에 대한 제어 메커니즘의 증강을 렌더링하기 위한 수단, 및
    상기 디바이스의 디스플레이 상에 사용자-정의된 제어 메커니즘을 제공하기 위한 수단을 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  34. 제 33 항에 있어서,
    상기 제어 신호들이 전송되게 하기 위한 수단은,
    상기 제어 메커니즘의 동작들을 모방하기 위해 상기 디바이스의 모션들을 사용하기 위한 수단을 더 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  35. 제 28 항에 있어서,
    상기 기계 인터페이스는,
    블루투쓰,
    Wi-Fi, 및
    IR 중 적어도 하나를 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  36. 제 28 항에 있어서,
    상기 복수의 이미지들 중 적어도 하나의 이미지는 상기 디바이스의 터치스크린 상에 디스플레이되고,
    상기 적어도 하나의 물체의 선택을 수신하기 위한 수단은 상기 적어도 하나의 물체를 식별하는 상기 터치스크린 상의 사용자 입력에 관한 정보를 수신하기 위한 수단을 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  37. 제 28 항에 있어서,
    상기 디바이스의 뷰에서 라디오를 추적하기 위한 수단,
    상기 라디오에 의해 재생되는 노래의 증강을 제공하기 위한 수단, 및
    상기 라디오가 회전되었다는 결정에 기초하여 상기 노래의 볼륨을 조절하기 위한 수단을 더 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  38. 제 28 항에 있어서,
    상기 디바이스의 뷰에서 텔레비전을 추적하기 위한 수단,
    물체가 상기 텔레비전 근처에 배치되었다고 결정하기 위한 수단, 및
    상기 물체가 상기 텔레비전 근처에 배치된 것에 기초하여 상기 텔레비전 상에서 재생되는 비디오의 증강을 트리거링하기 위한 수단을 더 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  39. 제 28 항에 있어서,
    상기 제어 신호들이 전송되게 하기 위한 수단은 상기 적어도 하나의 물체가 회전되었다고 결정하기 위한 수단을 포함하고,
    상기 제어 신호들은 채널을 변경하거나 볼륨을 변경하도록 상기 현실 물체에 지시하는 신호들을 포함하는,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
  40. 제 28 항에 있어서,
    상기 현실 물체, 상기 디바이스, 및 상기 적어도 하나의 물체는 별개의 물체들을 포함하고,
    상기 현실 물체, 상기 디바이스, 및 상기 적어도 하나의 물체 각각은 물리적 물체인,
    카메라를 갖는 디바이스를 사용하여 현실 물체를 제어하기 위한 시스템.
KR1020157004663A 2012-07-26 2013-06-28 사용자 인터페이스 제어기로서 유형의 물체들의 증강 KR20150038272A (ko)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201261676246P 2012-07-26 2012-07-26
US201261676278P 2012-07-26 2012-07-26
US201261676249P 2012-07-26 2012-07-26
US201261676255P 2012-07-26 2012-07-26
US201261676274P 2012-07-26 2012-07-26
US61/676,274 2012-07-26
US61/676,255 2012-07-26
US61/676,278 2012-07-26
US61/676,246 2012-07-26
US61/676,249 2012-07-26
US13/815,813 US9514570B2 (en) 2012-07-26 2013-03-15 Augmentation of tangible objects as user interface controller
US13/815,813 2013-03-15
PCT/US2013/048665 WO2014018224A1 (en) 2012-07-26 2013-06-28 Augmentation of tangible objects as user interface controller

Publications (1)

Publication Number Publication Date
KR20150038272A true KR20150038272A (ko) 2015-04-08

Family

ID=49994449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157004663A KR20150038272A (ko) 2012-07-26 2013-06-28 사용자 인터페이스 제어기로서 유형의 물체들의 증강

Country Status (7)

Country Link
US (4) US9361730B2 (ko)
EP (2) EP2877254B1 (ko)
JP (3) JP6062547B2 (ko)
KR (1) KR20150038272A (ko)
CN (4) CN104487915B (ko)
IN (1) IN2015MN00033A (ko)
WO (4) WO2014018227A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103322A (ko) * 2017-01-09 2019-09-04 스냅 인코포레이티드 표면 인식 렌즈
KR20200028010A (ko) * 2017-07-14 2020-03-13 캐파시티 인크. 실제 물체들의 인터랙티브 3d 표현들의 생성 및 디스플레이를 위한 시스템들 및 방법들
US11580700B2 (en) 2016-10-24 2023-02-14 Snap Inc. Augmented reality object manipulation
US11620791B2 (en) 2018-11-27 2023-04-04 Snap Inc. Rendering 3D captions within real-world environments
US11715268B2 (en) 2018-08-30 2023-08-01 Snap Inc. Video clip object tracking
US11823341B2 (en) 2019-06-28 2023-11-21 Snap Inc. 3D object camera customization system
US11908093B2 (en) 2019-12-19 2024-02-20 Snap Inc. 3D captions with semantic graphical elements
US12020377B2 (en) 2023-05-09 2024-06-25 Snap Inc. Textured mesh building

Families Citing this family (228)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150154799A1 (en) * 2013-11-29 2015-06-04 At&T Intellectual Property I, L.P. Replacing A Physical Object Perception With A Modified Perception
WO2010045271A1 (en) * 2008-10-14 2010-04-22 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
US9965564B2 (en) 2011-07-26 2018-05-08 Schneider Electric It Corporation Apparatus and method of displaying hardware status using augmented reality
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20130342568A1 (en) * 2012-06-20 2013-12-26 Tony Ambrus Low light scene augmentation
WO2014008185A1 (en) * 2012-07-02 2014-01-09 Sony Computer Entertainment Inc. Methods and systems for interaction with an expanded information space
US9361730B2 (en) 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
US9147251B2 (en) * 2012-08-03 2015-09-29 Flyby Media, Inc. Systems and methods for efficient 3D tracking of weakly textured planar surfaces for augmented reality applications
US9589000B2 (en) 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US9607438B2 (en) 2012-10-22 2017-03-28 Open Text Corporation Collaborative augmented reality
US9684941B2 (en) 2012-10-29 2017-06-20 Digimarc Corporation Determining pose for use with digital watermarking, fingerprinting and augmented reality
KR20140077015A (ko) * 2012-12-13 2014-06-23 삼성전자주식회사 디스플레이 장치, 원격 제어 장치 및 그들의 사용자 인터페이스 제공 방법
US9933921B2 (en) 2013-03-13 2018-04-03 Google Technology Holdings LLC System and method for navigating a field of view within an interactive media-content item
US10319145B2 (en) * 2013-03-14 2019-06-11 Intel Corporation Asynchronous representation of alternate reality characters
US20160027219A1 (en) * 2013-03-15 2016-01-28 Rubicon Group Holding Limited Augmented reality systems and methods used to identify toys and trigger video and graphics
EP2976749A4 (en) * 2013-03-20 2016-10-26 Intel Corp AVATAR-BASED TRANSMISSION PROTOCOLS, SYMBOL GENERATION AND PUPPET ANIMATION
US9509763B2 (en) 2013-05-24 2016-11-29 Qualcomm Incorporated Delayed actions for a decentralized system of learning devices
US9747554B2 (en) 2013-05-24 2017-08-29 Qualcomm Incorporated Learning device with continuous configuration capability
US9679491B2 (en) 2013-05-24 2017-06-13 Qualcomm Incorporated Signaling device for teaching learning devices
US9639984B2 (en) * 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
EP3022934A1 (en) 2013-07-19 2016-05-25 Google Technology Holdings LLC Small-screen movie-watching using a viewport
EP3022944A2 (en) * 2013-07-19 2016-05-25 Google Technology Holdings LLC View-driven consumption of frameless media
EP3022941A1 (en) 2013-07-19 2016-05-25 Google Technology Holdings LLC Visual storytelling on a mobile media-consumption device
KR102158843B1 (ko) 2013-08-05 2020-10-23 삼성전자주식회사 모바일 디바이스를 이용한 사용자 입력 방법 및 모바일 디바이스
BR112016002720B1 (pt) 2013-08-09 2021-11-23 Thermal Imaging Radar, LLC Sistema local e método para analisar e classificar quadros de imagem individuais de dados de imagem panorâmica
US20150065243A1 (en) * 2013-08-29 2015-03-05 Zynga Inc. Zoom contextuals
US20150103183A1 (en) * 2013-10-10 2015-04-16 Nvidia Corporation Method and apparatus for device orientation tracking using a visual gyroscope
US11049309B2 (en) * 2013-12-06 2021-06-29 Disney Enterprises, Inc. Motion tracking and image recognition of hand gestures to animate a digital puppet, synchronized with recorded audio
US9213413B2 (en) 2013-12-31 2015-12-15 Google Inc. Device interaction with spatially aware gestures
US20150193971A1 (en) * 2014-01-03 2015-07-09 Motorola Mobility Llc Methods and Systems for Generating a Map including Sparse and Dense Mapping Information
US9761059B2 (en) * 2014-01-03 2017-09-12 Intel Corporation Dynamic augmentation of a physical scene
WO2015167515A1 (en) * 2014-04-30 2015-11-05 Longsand Limited Augmented reality without a physical trigger
US10726473B1 (en) * 2014-04-30 2020-07-28 Wells Fargo Bank, N.A. Augmented reality shopping rewards
US10839409B1 (en) 2014-04-30 2020-11-17 Wells Fargo Bank, N.A. Augmented reality store and services orientation gamification
EP3137177A4 (en) * 2014-04-30 2017-12-13 Aurasma Limited An augmented gaming platform
US10395292B1 (en) * 2014-04-30 2019-08-27 Wells Fargo Bank, N.A. Augmented reality electronic device using facial recognition functionality and displaying shopping reward at retail locations
EP3139837B1 (en) 2014-05-08 2020-07-08 Lawrence Livermore National Security, LLC Methods for 2-color radiography with laser-compton x-ray sources
US9626804B2 (en) * 2014-05-26 2017-04-18 Kyocera Document Solutions Inc. Article information providing apparatus that provides information of article, article information providing system,and article information provision method
KR102362117B1 (ko) * 2014-07-01 2022-02-11 삼성전자주식회사 지도 정보를 제공하기 위한 전자 장치
HK1198318A2 (en) * 2014-07-09 2015-03-27 Senmedia Ltd Augmented reality system based on 3d marker 3d
US9851868B2 (en) 2014-07-23 2017-12-26 Google Llc Multi-story visual experience
US10341731B2 (en) 2014-08-21 2019-07-02 Google Llc View-selection feedback for a visual experience
US10270985B2 (en) 2014-09-03 2019-04-23 Intel Corporation Augmentation of textual content with a digital scene
US9861882B2 (en) 2014-09-05 2018-01-09 Trigger Global Inc. Augmented reality gaming systems and methods
WO2016040466A1 (en) 2014-09-10 2016-03-17 Hasbro, Inc. Toy system with manually operated scanner
WO2016048658A1 (en) * 2014-09-25 2016-03-31 Pcms Holdings, Inc. System and method for automated visual content creation
ES2531931B1 (es) * 2014-10-28 2015-11-17 Raúl AGUADO NIETO Sistema y procedimiento de interacción del espectador con una obra audiovisual pregrabada
US11250630B2 (en) 2014-11-18 2022-02-15 Hallmark Cards, Incorporated Immersive story creation
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
KR101526508B1 (ko) * 2014-12-03 2015-06-09 엠텍씨앤케이주식회사 외부 기기와 연동하는 퍼즐 시스템
US20160171739A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Augmentation of stop-motion content
US10915161B2 (en) * 2014-12-11 2021-02-09 Intel Corporation Facilitating dynamic non-visual markers for augmented reality on computing devices
US10509619B2 (en) 2014-12-15 2019-12-17 Hand Held Products, Inc. Augmented reality quick-start and user guide
US9474864B2 (en) * 2014-12-15 2016-10-25 Brell Medical Innovations, LLC Safety syringe and methods for administration of a medicament dose by subject weight
US9678210B2 (en) 2014-12-19 2017-06-13 Caterpillar Inc. Error estimation in real-time visual odometry system
US9754416B2 (en) 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9898078B2 (en) 2015-01-12 2018-02-20 Dell Products, L.P. Immersive environment correction display and method
US20180276882A1 (en) * 2015-01-12 2018-09-27 Pcms Holdings, Inc. Systems and methods for augmented reality art creation
US10042031B2 (en) * 2015-02-11 2018-08-07 Xerox Corporation Method and system for detecting that an object of interest has re-entered a field of view of an imaging device
US20170024051A1 (en) * 2015-02-27 2017-01-26 Tactual Labs Co. Multitouch frame matching with distance fields
US11012595B2 (en) 2015-03-09 2021-05-18 Alchemy Systems, L.P. Augmented reality
US9791917B2 (en) * 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
US10366509B2 (en) * 2015-03-31 2019-07-30 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
JP6586758B2 (ja) * 2015-03-31 2019-10-09 ソニー株式会社 情報処理システム、情報処理方法及びプログラム
WO2016172506A1 (en) 2015-04-23 2016-10-27 Hasbro, Inc. Context-aware digital play
US10306193B2 (en) 2015-04-27 2019-05-28 Microsoft Technology Licensing, Llc Trigger zones for objects in projected surface model
US9613273B2 (en) 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
CN107852488B (zh) * 2015-05-22 2021-03-30 三星电子株式会社 用于通过hmd设备显示虚拟图像的系统和方法
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
US10503977B2 (en) * 2015-09-18 2019-12-10 Hewlett-Packard Development Company, L.P. Displaying augmented images via paired devices
US20170092001A1 (en) * 2015-09-25 2017-03-30 Intel Corporation Augmented reality with off-screen motion sensing
GB2544827A (en) * 2015-09-25 2017-05-31 Pixel Matter Ltd Viewer and viewing method
US9857874B2 (en) * 2015-11-03 2018-01-02 Chunghwa Picture Tubes, Ltd. Augmented reality system and augmented reality interaction method
RU2617557C1 (ru) * 2015-11-18 2017-04-25 Виталий Витальевич Аверьянов Способ воздействия на виртуальные объекты дополненной реальности
US10589625B1 (en) 2015-12-11 2020-03-17 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of an actual vehicle component with a virtual vehicle component
US10197998B2 (en) 2015-12-27 2019-02-05 Spin Master Ltd. Remotely controlled motile device system
US10244278B2 (en) * 2015-12-28 2019-03-26 The Nielsen Company (Us), Llc Methods and apparatus to perform identity matching across audience measurement systems
US10969748B1 (en) 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
US10055895B2 (en) * 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
US9919218B1 (en) 2016-02-19 2018-03-20 Aftershock Services, Inc. Systems and methods for providing virtual reality content in an online game
US9901818B1 (en) 2016-02-19 2018-02-27 Aftershock Services, Inc. Systems and methods for regulating access to game content of an online game
US10035068B1 (en) * 2016-02-19 2018-07-31 Electronic Arts Inc. Systems and methods for making progress of a user character obtained in an online game via a non-virtual reality interface available in a virtual reality interface
US10134227B1 (en) 2016-02-19 2018-11-20 Electronic Arts Inc. Systems and methods for making game content from a single online game accessible to users via multiple platforms
US10576379B1 (en) * 2016-02-19 2020-03-03 Electronic Arts Inc. Systems and methods for adjusting online game content and access for multiple platforms
CN105807916B (zh) * 2016-02-29 2019-09-10 深圳前海勇艺达机器人有限公司 一种使机器人具备玩ar游戏的方法
US9965841B2 (en) 2016-02-29 2018-05-08 Schneider Electric USA, Inc. Monitoring system based on image analysis of photos
US11011074B2 (en) * 2016-03-04 2021-05-18 Ns Solutions Corporation Information processing system, information processor, information processing method and program
CN105912232B (zh) * 2016-03-31 2020-09-25 联想(北京)有限公司 一种信息处理方法及电子设备
CA3023644A1 (en) * 2016-04-01 2017-10-05 Incontext Solutions, Inc. Virtual reality platform for retail environment simulation
US9679547B1 (en) 2016-04-04 2017-06-13 Disney Enterprises, Inc. Augmented reality music composition
US10089071B2 (en) 2016-06-02 2018-10-02 Microsoft Technology Licensing, Llc Automatic audio attenuation on immersive display devices
CN107481323A (zh) * 2016-06-08 2017-12-15 创意点子数位股份有限公司 混合实境的互动方法及其系统
US10126553B2 (en) 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
EP3261367B1 (en) 2016-06-21 2020-07-22 Nokia Technologies Oy Method, apparatus, and computer program code for improving perception of sound objects in mediated reality
US10620717B2 (en) 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
US20180005445A1 (en) * 2016-06-30 2018-01-04 Microsoft Technology Licensing, Llc Augmenting a Moveable Entity with a Hologram
CN109562294A (zh) 2016-07-05 2019-04-02 乐高公司 用于创建虚拟对象的方法
EP3481519A1 (en) * 2016-07-05 2019-05-15 Lego A/S Method for creating a virtual object
CN107644686A (zh) * 2016-07-20 2018-01-30 郎焘 基于虚拟现实的医学数据采集系统及方法
JP6838135B2 (ja) 2016-07-21 2021-03-03 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ユーザの感情状態を用いて仮想画像生成システムを制御するための技術
US10445936B1 (en) 2016-08-01 2019-10-15 Snap Inc. Audio responsive augmented reality
US10922823B2 (en) * 2016-08-25 2021-02-16 Nec Corporation Motion analyis device, motion analysis method, and program recording medium
CN106354257A (zh) * 2016-08-30 2017-01-25 湖北睛彩视讯科技有限公司 一种基于增强现实技术的移动场景融合系统及方法
US10074205B2 (en) 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
US20180067717A1 (en) * 2016-09-02 2018-03-08 Allomind, Inc. Voice-driven interface to control multi-layered content in a head mounted display
US10720082B1 (en) 2016-09-08 2020-07-21 Ctskh, Llc Device and system to teach stem lessons using hands-on learning method
US10311645B1 (en) 2016-10-14 2019-06-04 Floreo, Inc. Methods and systems for treating autism
US20180152751A1 (en) * 2016-11-28 2018-05-31 Rickie Taylor System and Method for Enhanced Media Presentation
US10748450B1 (en) * 2016-11-29 2020-08-18 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US11056022B1 (en) * 2016-11-29 2021-07-06 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US10210662B2 (en) * 2016-12-09 2019-02-19 Fyusion, Inc. Live augmented reality using tracking
US10665024B2 (en) 2016-12-12 2020-05-26 Fyusion, Inc. Providing recording guidance in generating a multi-view interactive digital media representation
US9996945B1 (en) 2016-12-12 2018-06-12 Fyusion, Inc. Live augmented reality guides
US10783799B1 (en) 2016-12-17 2020-09-22 Sproutel, Inc. System, apparatus, and method for educating and reducing stress for patients with illness or trauma using an interactive location-aware toy and a distributed sensor network
US10534964B2 (en) * 2017-01-30 2020-01-14 Blackberry Limited Persistent feature descriptors for video
CN111309956B (zh) * 2017-02-13 2022-06-24 哈尔滨理工大学 一种面向图像检索的提取方法
US10506889B2 (en) 2017-03-08 2019-12-17 Tervis Tumbler Company Insulated vessel with augmented reality target and system utilizing the same
US20180300917A1 (en) * 2017-04-14 2018-10-18 Facebook, Inc. Discovering augmented reality elements in a camera viewfinder display
US11068967B2 (en) * 2017-04-19 2021-07-20 Mastercard International Incorporated Systems and methods for dynamic generation of customized product listings
EP3399398B1 (en) * 2017-05-02 2022-04-13 Nokia Technologies Oy An apparatus and associated methods for presentation of spatial audio
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
CN110663011B (zh) 2017-05-23 2024-04-12 交互数字Vc控股公司 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的系统及方法
US10805684B2 (en) * 2017-06-21 2020-10-13 mindHIVE Inc. Systems and methods for creating and editing multi-component media
US9900555B1 (en) * 2017-06-27 2018-02-20 The Florida International University Board Of Trustees VRT: virtual round table
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10212000B1 (en) 2017-07-25 2019-02-19 Daqri, Llc Computer vision based activation
US10275856B2 (en) * 2017-08-03 2019-04-30 Facebook, Inc. Composited animation
US10943399B2 (en) 2017-08-28 2021-03-09 Microsoft Technology Licensing, Llc Systems and methods of physics layer prioritization in virtual environments
US11249714B2 (en) 2017-09-13 2022-02-15 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
DE102017216953A1 (de) * 2017-09-25 2019-03-28 Siemens Healthcare Gmbh Anzeige eines mit einem realen Objekt verknüpften virtuellen Objekts in einer Augmented-Reality-Anzeigevorrichtung
US10585471B2 (en) 2017-10-03 2020-03-10 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on predicted events
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US11222081B2 (en) 2017-11-27 2022-01-11 Evoqua Water Technologies Llc Off-line electronic documentation solutions
CN109842790B (zh) 2017-11-29 2021-02-26 财团法人工业技术研究院 影像信息显示方法与显示器
TWI702531B (zh) * 2017-11-29 2020-08-21 財團法人工業技術研究院 影像資訊顯示方法、影像資訊顯示系統與顯示器
US10939084B2 (en) 2017-12-22 2021-03-02 Magic Leap, Inc. Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
US20190212901A1 (en) * 2018-01-08 2019-07-11 Cisco Technology, Inc. Manipulation of content on display surfaces via augmented reality
US10970560B2 (en) * 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
US10976982B2 (en) 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
WO2019164502A1 (en) * 2018-02-23 2019-08-29 Sony Mobile Communications Inc. Methods, devices and computer program products for generating 3d models
CN108510597A (zh) * 2018-03-09 2018-09-07 北京小米移动软件有限公司 虚拟场景的编辑方法、装置及非临时性计算机可读存储介质
JP7295132B2 (ja) * 2018-03-12 2023-06-20 ライン プラス コーポレーション ニューラルネットワークを利用して状況を認知する拡張現実提供装置、提供方法、およびコンピュータプログラム
JP7144588B2 (ja) * 2018-03-19 2022-09-29 Kddi株式会社 端末装置、当該端末装置における方法、サーバ装置及びプログラム
US10848894B2 (en) 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
US10318811B1 (en) 2018-04-22 2019-06-11 Bubbler International Llc Methods and systems for detecting objects by non-visible radio frequencies and displaying associated augmented reality effects
US10970937B2 (en) * 2018-05-04 2021-04-06 Intel Corporation Technologies for virtual attribute assignment referencing real objects
CA3099192A1 (en) 2018-05-10 2019-11-14 Daniel Licht System, method, and kit for using triggering objects to create concatenated audio/video
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10748342B2 (en) * 2018-06-19 2020-08-18 Google Llc Interaction system for augmented reality objects
CN113238651A (zh) 2018-07-02 2021-08-10 苹果公司 用于显示系统的基于聚焦的调试和检查
US10679393B2 (en) 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
US10841632B2 (en) 2018-08-08 2020-11-17 Disney Enterprises, Inc. Sequential multiplayer storytelling in connected vehicles
CN110852143B (zh) * 2018-08-21 2024-04-09 元平台公司 在增强现实环境中的交互式文本效果
US10719989B2 (en) 2018-08-24 2020-07-21 Facebook, Inc. Suggestion of content within augmented-reality environments
US10921764B2 (en) 2018-09-26 2021-02-16 Facebook Technologies, Llc Neuromuscular control of physical objects in an environment
US10860104B2 (en) 2018-11-09 2020-12-08 Intel Corporation Augmented reality controllers and related methods
EP3654142A1 (en) * 2018-11-14 2020-05-20 Nokia Technologies Oy First-person perspective-mediated reality
KR20200056593A (ko) * 2018-11-15 2020-05-25 주식회사 하이퍼커넥트 이미지 처리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN109523629B (zh) * 2018-11-27 2023-04-07 上海交通大学 一种基于物理仿真的物体语义和位姿数据集生成方法
KR20200076325A (ko) 2018-12-19 2020-06-29 삼성전자주식회사 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법
US11501499B2 (en) 2018-12-20 2022-11-15 Snap Inc. Virtual surface modification
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11442549B1 (en) * 2019-02-07 2022-09-13 Apple Inc. Placement of 3D effects based on 2D paintings
KR20200098225A (ko) * 2019-02-12 2020-08-20 삼성전자주식회사 객체를 모니터링하는 방법 및 이를 지원하는 전자 장치
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
TWI714005B (zh) * 2019-03-04 2020-12-21 財團法人成大研究發展基金會 適用於疊代最近點法的可察覺移動的關鍵點選擇系統
JP7115376B2 (ja) * 2019-03-18 2022-08-09 日本電信電話株式会社 回転状態推定装置、方法及びプログラム
CN109949412B (zh) * 2019-03-26 2021-03-02 腾讯科技（深圳）有限公司 一种三维对象重建方法和装置
US11158128B2 (en) * 2019-04-26 2021-10-26 Google Llc Spatial and semantic augmented reality autocompletion in an augmented reality environment
US10860705B1 (en) * 2019-05-16 2020-12-08 Capital One Services, Llc Augmented reality generated human challenge
US11468611B1 (en) * 2019-05-16 2022-10-11 Apple Inc. Method and device for supplementing a virtual environment
US11182966B2 (en) * 2019-06-24 2021-11-23 At&T Intellectual Property I, L.P. System for collaboration of augmented reality events
USD914033S1 (en) * 2019-07-23 2021-03-23 Iblush, Inc. Display screen or portion thereof with animated graphical user interface
US10785621B1 (en) 2019-07-30 2020-09-22 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
WO2021029497A1 (en) * 2019-08-14 2021-02-18 Samsung Electronics Co., Ltd. Immersive display system and method thereof
WO2021033456A1 (ja) * 2019-08-19 2021-02-25 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US11144020B2 (en) 2019-08-23 2021-10-12 Johnson Controls Tyco IP Holdings LLP Central plant control system with geometric modeling of operational sequences
US11099530B2 (en) * 2019-08-23 2021-08-24 Johnson Controls Technology Company Central plant control system with device geometric modeling and control
US11568471B2 (en) * 2019-09-06 2023-01-31 OLX Global B.V. Systems and methods for listing an item
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
US20210074177A1 (en) * 2019-09-06 2021-03-11 Rocio Elisa Hernández Method and apparatus of tracking progress from bilateral stimulation sessions
US11042747B2 (en) * 2019-10-02 2021-06-22 Disney Enterprises, Inc. Masking method for augmented reality effects
CN110689485B (zh) * 2019-10-14 2022-11-04 中国空气动力研究与发展中心超高速空气动力研究所 一种应用于大型压力容器红外无损检测的sift图像拼接方法
US11373373B2 (en) 2019-10-22 2022-06-28 International Business Machines Corporation Method and system for translating air writing to an augmented reality device
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
CN111191356A (zh) * 2019-12-24 2020-05-22 乐软科技（北京）有限责任公司 一种基于虚拟现实的昏暗环境探测仿真方法
CN111223073A (zh) * 2019-12-24 2020-06-02 乐软科技（北京）有限责任公司 一种虚拟探测系统
WO2021144118A1 (en) * 2020-01-15 2021-07-22 British Telecommunications Public Limited Company Interaction-based rendering of spatial environments
JPWO2021148903A1 (ko) * 2020-01-22 2021-07-29
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
EP4128207A4 (en) * 2020-03-24 2023-12-27 Magic Leap, Inc. SYSTEMS AND METHODS FOR VIRTUAL AND AUGMENTED REALITY
KR20230029885A (ko) * 2020-06-30 2023-03-03 스냅 인코포레이티드 말 풍선들 및 번역을 갖는 증강 현실 안경류
CN111833460A (zh) * 2020-07-10 2020-10-27 北京字节跳动网络技术有限公司 增强现实的图像处理方法、装置、电子设备及存储介质
AU2021330970A1 (en) 2020-08-24 2023-03-23 Fd Ip & Licensing Llc Previsualization devices and systems for the film industry
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
RU205415U1 (ru) * 2020-11-30 2021-07-13 Олеся Владимировна Чехомова Визуализирующее устройство для управления анимируемой татуировкой
US11494996B2 (en) 2020-11-30 2022-11-08 International Business Machines Corporation Dynamic interaction deployment within tangible mixed reality
EP4195005A4 (en) * 2020-12-17 2024-06-12 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND METHOD FOR OPERATING AN ELECTRONIC DEVICE
TWI771921B (zh) * 2021-02-22 2022-07-21 瑞鼎科技股份有限公司 顯示驅動系統
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11727657B2 (en) 2021-04-09 2023-08-15 Carvana, LLC Systems and methods for rendering a portion of a 3D display
US11810262B2 (en) 2021-04-09 2023-11-07 Carvana, LLC Systems and methods for rotating a 3D display
US11568612B2 (en) 2021-06-08 2023-01-31 International Business Machines Corporation Personalized reactive augmented reality association
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11983928B1 (en) * 2021-10-15 2024-05-14 Nvidia Corporation Dynamically composable object tracker configuration for intelligent video analytics systems
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11875492B1 (en) 2023-05-01 2024-01-16 Fd Ip & Licensing Llc Systems and methods for digital compositing

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588139A (en) 1990-06-07 1996-12-24 Vpl Research, Inc. Method and system for generating objects for a multi-person virtual world using data flow networks
US6175954B1 (en) 1997-10-30 2001-01-16 Fuji Xerox Co., Ltd. Computer programming using tangible user interface where physical icons (phicons) indicate: beginning and end of statements and program constructs; statements generated with re-programmable phicons and stored
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
JP4242529B2 (ja) * 1999-10-27 2009-03-25 オリンパス株式会社 関連情報呈示装置及び関連情報呈示方法
US6616454B2 (en) 2000-03-15 2003-09-09 Information Decision Technologies, Llc Method of simulating nozzle spray interaction with fire, smoke and other aerosols and gases
US7058205B2 (en) * 2001-12-07 2006-06-06 Xerox Corporation Robust, on-line, view-based appearance models for visual motion analysis and visual tracking
JP4065507B2 (ja) * 2002-07-31 2008-03-26 キヤノン株式会社 情報提示装置および情報処理方法
US7050078B2 (en) 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7774044B2 (en) * 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
US7724258B2 (en) 2004-06-30 2010-05-25 Purdue Research Foundation Computer modeling and animation of natural phenomena
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US20060184003A1 (en) 2005-02-03 2006-08-17 Lewin Jonathan S Intra-procedurally determining the position of an internal anatomical target location using an externally measurable parameter
ATE428154T1 (de) * 2005-05-03 2009-04-15 Seac02 S R L Augmented-reality-system mit identifizierung der realen markierung des objekts
EP1877149A1 (en) * 2005-05-05 2008-01-16 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
WO2007027738A2 (en) * 2005-08-29 2007-03-08 Evryx Technologies, Inc. Interactivity via mobile image recognition
EP2111901B1 (en) 2005-09-15 2012-02-01 Sony Computer Entertainment Inc. Obtaining input for controlling execution of a game program
US7536030B2 (en) 2005-11-30 2009-05-19 Microsoft Corporation Real-time Bayesian 3D pose tracking
DE102005061952B4 (de) 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20070222746A1 (en) 2006-03-23 2007-09-27 Accenture Global Services Gmbh Gestural input for navigation and manipulation in virtual space
US8314815B2 (en) 2006-04-12 2012-11-20 Nassir Navab Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment
KR100811701B1 (ko) 2006-08-08 2008-03-11 한국전자통신연구원 다수개의 전자 장치들의 통합 원격 지시장치
US8144148B2 (en) 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
US20080218331A1 (en) 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
GB2449694B (en) 2007-05-31 2010-05-26 Sony Comp Entertainment Europe Entertainment system and method
US8180396B2 (en) 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US8358320B2 (en) 2007-11-02 2013-01-22 National University Of Singapore Interactive transcription system and method
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US20090237328A1 (en) * 2008-03-20 2009-09-24 Motorola, Inc. Mobile virtual and augmented reality system
GB2458388A (en) 2008-03-21 2009-09-23 Dressbot Inc A collaborative online shopping environment, virtual mall, store, etc. in which payments may be shared, products recommended and users modelled.
US8929657B2 (en) 2008-08-22 2015-01-06 KyongHee Yi System and method for indexing object in image
JP5253066B2 (ja) 2008-09-24 2013-07-31 キヤノン株式会社 位置姿勢計測装置及び方法
US8761434B2 (en) 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
US8838080B2 (en) 2009-07-23 2014-09-16 Qualcomm Incorporated Methods and apparatus for context-based communications through visualization
KR100957575B1 (ko) 2009-10-01 2010-05-11 (주)올라웍스 단말기의 움직임 또는 자세에 기초하여 비주얼 서치를 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
FR2950989B1 (fr) 2009-10-05 2011-10-28 Alcatel Lucent Dispositif d'interaction avec un objet augmente.
KR101657565B1 (ko) 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20110167350A1 (en) 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
KR101652311B1 (ko) * 2010-01-26 2016-08-30 광주과학기술원 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
US20110187527A1 (en) 2010-02-02 2011-08-04 Penny Goodwill Portable tracking/locating system, method, and application
US20140063054A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific control interface based on a connected external device type
US20120206485A1 (en) 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
JP2011215886A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体、及び、画像生成装置
JP2011235749A (ja) * 2010-05-10 2011-11-24 Makita Corp バッテリパックを電源とする電動車
US20110310227A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
US20110316845A1 (en) 2010-06-25 2011-12-29 Palo Alto Research Center Incorporated Spatial association between virtual and augmented reality
US9489040B2 (en) 2010-07-19 2016-11-08 Smart Technologies Ulc Interactive input system having a 3D input space
KR101295710B1 (ko) 2010-07-28 2013-08-16 주식회사 팬택 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법
US8352294B2 (en) * 2010-08-09 2013-01-08 Ameriprise Financial, Inc. Automatic income adjustment
JP5597064B2 (ja) * 2010-08-26 2014-10-01 キヤノン株式会社 情報処理装置およびその方法
KR101293776B1 (ko) 2010-09-03 2013-08-06 주식회사 팬택 객체 리스트를 이용한 증강 현실 제공 장치 및 방법
CN102402842A (zh) 2010-09-15 2012-04-04 宏碁股份有限公司 增景实境遥控方法及其装置
US8928796B2 (en) 2010-09-15 2015-01-06 E-Vision Smart Optics, Inc. Systems, devices, and/or methods for managing images
SG187098A1 (en) 2010-09-20 2013-02-28 Nanyang Polytechnic Remote control system using an augmented ip camera
ES2745739T3 (es) 2010-09-20 2020-03-03 Qualcomm Inc Un entorno adaptable para realidad aumentada asistida por la nube
US8860760B2 (en) 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
KR101788046B1 (ko) 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US20120151320A1 (en) * 2010-12-10 2012-06-14 Mcclements Iv James Burns Associating comments with playback of media content
JP5662787B2 (ja) * 2010-12-14 2015-02-04 株式会社Ｎｔｔドコモ 携帯端末および画像処理方法
KR101669119B1 (ko) 2010-12-14 2016-10-25 삼성전자주식회사 다층 증강 현실 시스템 및 방법
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US10109065B2 (en) 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US8509483B2 (en) 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
US20120195461A1 (en) 2011-01-31 2012-08-02 Qualcomm Incorporated Correlating areas on the physical object to areas on the phone screen
CN102147658B (zh) * 2011-02-12 2013-01-09 华为终端有限公司 实现扩增实境互动的方法、扩增实境互动装置及移动终端
US9081550B2 (en) 2011-02-18 2015-07-14 Nuance Communications, Inc. Adding speech capabilities to existing computer applications with complex graphical user interfaces
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
KR101056418B1 (ko) 2011-03-31 2011-08-11 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
JP2012216073A (ja) * 2011-03-31 2012-11-08 Konami Digital Entertainment Co Ltd 画像処理装置、画像処理装置の制御方法、及びプログラム
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130063560A1 (en) 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
US20130155108A1 (en) 2011-12-15 2013-06-20 Mitchell Williams Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
JP5832666B2 (ja) * 2011-12-20 2015-12-16 インテル・コーポレーション 複数のデバイスにまたがる拡張現実表現
US20130305437A1 (en) 2012-05-19 2013-11-21 Skully Helmets Inc. Augmented reality motorcycle helmet
US9505130B2 (en) * 2012-07-13 2016-11-29 General Electric Company System and method for performing remote welding operations on an apparatus
US9361730B2 (en) 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580700B2 (en) 2016-10-24 2023-02-14 Snap Inc. Augmented reality object manipulation
KR20190103322A (ko) * 2017-01-09 2019-09-04 스냅 인코포레이티드 표면 인식 렌즈
KR20210063442A (ko) * 2017-01-09 2021-06-01 스냅 인코포레이티드 표면 인식 렌즈
KR20220028169A (ko) * 2017-01-09 2022-03-08 스냅 인코포레이티드 표면 인식 렌즈
KR20230006040A (ko) * 2017-01-09 2023-01-10 스냅 인코포레이티드 표면 인식 렌즈
US11704878B2 (en) 2017-01-09 2023-07-18 Snap Inc. Surface aware lens
KR20200028010A (ko) * 2017-07-14 2020-03-13 캐파시티 인크. 실제 물체들의 인터랙티브 3d 표현들의 생성 및 디스플레이를 위한 시스템들 및 방법들
US11715268B2 (en) 2018-08-30 2023-08-01 Snap Inc. Video clip object tracking
US11620791B2 (en) 2018-11-27 2023-04-04 Snap Inc. Rendering 3D captions within real-world environments
US11823341B2 (en) 2019-06-28 2023-11-21 Snap Inc. 3D object camera customization system
US11908093B2 (en) 2019-12-19 2024-02-20 Snap Inc. 3D captions with semantic graphical elements
US12020377B2 (en) 2023-05-09 2024-06-25 Snap Inc. Textured mesh building

Also Published As

Publication number Publication date
CN104487915A (zh) 2015-04-01
WO2014018224A1 (en) 2014-01-30
IN2015MN00033A (ko) 2015-10-16
JP6162805B2 (ja) 2017-07-12
US9514570B2 (en) 2016-12-06
CN104508597B (zh) 2018-10-16
CN104487916B (zh) 2017-09-19
US20140028850A1 (en) 2014-01-30
US20140028713A1 (en) 2014-01-30
CN104488279A (zh) 2015-04-01
WO2014018227A1 (en) 2014-01-30
WO2014018225A1 (en) 2014-01-30
EP2877254B1 (en) 2021-04-21
CN104487915B (zh) 2018-03-13
WO2014018226A1 (en) 2014-01-30
US20140028714A1 (en) 2014-01-30
CN104508597A (zh) 2015-04-08
EP3875160A1 (en) 2021-09-08
JP2015532739A (ja) 2015-11-12
US9361730B2 (en) 2016-06-07
US9349218B2 (en) 2016-05-24
JP2015526168A (ja) 2015-09-10
US9087403B2 (en) 2015-07-21
US20140028712A1 (en) 2014-01-30
CN104487916A (zh) 2015-04-01
JP6062547B2 (ja) 2017-01-18
JP2015531114A (ja) 2015-10-29
EP2877254A1 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
KR20150038272A (ko) 사용자 인터페이스 제어기로서 유형의 물체들의 증강
US20220334646A1 (en) Systems and methods for extensions to alternative control of touch-based devices
US10162308B2 (en) Methods and systems for photorealistic human holographic augmented reality communication with interactive control in real-time
CN109710071B (zh) 一种屏幕控制方法和装置
US9855496B2 (en) Stereo video for gaming
KR102285915B1 (ko) 모바일 디바이스를 위한 실시간 3d 제스처 인식 및 트랙킹 시스템
US7848542B2 (en) Optical flow based tilt sensor
TWI610247B (zh) 在玩遊戲期間標識、擷取、呈現和處理照片的方法以及用於該方法的電腦可讀取儲存媒體
JP7490784B2 (ja) 拡張現実マップキュレーション
US10796456B2 (en) Photorealistic human holographic augmented reality communication with interactive control in real-time using a cluster of servers
JP2010152556A (ja) 画像処理装置および画像処理方法
KR20140111341A (ko) Ocr 캐시 업데이트
CN118097110A (zh) 一种自动捡球机器人的目标识别定位方法及装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid