KR20170020497A - 물리 엔진을 이용한 물리적 장난감 제어 - Google Patents

물리 엔진을 이용한 물리적 장난감 제어 Download PDF

Info

Publication number
KR20170020497A
KR20170020497A KR1020177001690A KR20177001690A KR20170020497A KR 20170020497 A KR20170020497 A KR 20170020497A KR 1020177001690 A KR1020177001690 A KR 1020177001690A KR 20177001690 A KR20177001690 A KR 20177001690A KR 20170020497 A KR20170020497 A KR 20170020497A
Authority
KR
South Korea
Prior art keywords
toy
virtual
world
real
physical
Prior art date
Application number
KR1020177001690A
Other languages
English (en)
Other versions
KR102292522B1 (ko
Inventor
니콜라스 빌라
제임스 윌리엄 스콧
하이얀 장
알렉산드라 킬리 번팅
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170020497A publication Critical patent/KR20170020497A/ko
Application granted granted Critical
Publication of KR102292522B1 publication Critical patent/KR102292522B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/36—Circuit design at the analogue level
    • G06F30/367—Design verification, e.g. using simulation, simulation program with integrated circuit emphasis [SPICE], direct methods or relaxation methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02—Electrical arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02—Electrical arrangements
    • A63H30/04—Electrical arrangements using wireless transmission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00—Computerized interactive toys, e.g. dolls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Toys (AREA)

Abstract

물리 엔진을 사용하여 물리적 장난감을 제어하는 방법 및 시스템이 설명된다. 실시예에서, 대화형 소프트웨어 경험부 내의 물리 엔진은 가상 환경 내에서의 가상 객체의 동작(motion)을 모델링하는데 사용된다. 그 후 이 모델링의 출력은, 실세계(real world)에서의 물리적 장난감의 동작이 가상 환경에서의 가상 객체의 동작과 더 가깝게 일치하도록, 가상 객체에 대응하는 물리적 장난감에 도입된다. 다양한 예시들에서, 이러한 모델링은 물리 엔진의 출력에 기초하여 생성되고 물리적 장난감 내의 액추에이터를 제어하여 장난감의 적어도 일부분의 동작을 변경시키는데 사용되는 제어 신호를 통해 도입된다.

Description

물리 엔진을 이용한 물리적 장난감 제어{CONTROLLING PHYSICAL TOYS USING A PHYSICS ENGINE}
본 발명은 물리 엔진을 이용한 물리적 장난감 제어에 관한 것이다.
독자적으로 움직일 수 있도록 이용가능한 여러 장난감들이 많이 있다. 이들 중 몇몇은 사용자에 의해 제어되고(예컨대, 원격 제어 장난감), 다른 것들은 사용자가 작동시키고(예컨대, 스위치 온시킴 또는 태엽을 감음) 중지시키는 것(예컨대, 스위치 오프시킴)을 제외하고는 제어되지 않는다. 후자의 유형의 예시들로는, 스위치 온 경우에 스위치 오프될 때까지 또는 전원이 다 소모될 때까지 트랙 상에서 내달리는 전동식 장난감 기차와, 사용자가 뒤로 당기고 나서 놓아준 후 (자동차를 뒤로 당김으로써 감겨졌던) 스프링 메커니즘이 다 풀어질 때까지 전진하는 장난감 자동차가 포함된다.
후술되는 실시예들은 공지된 장난감들의 단점들의 전부 또는 일부를 해결하는 구현예들로 한정되지 않는다.
이하에서는 독자에게 기본적인 이해를 제공하기 위해 본 발명개시의 간략화된 요약을 제공한다. 본 요약은 본 발명개시의 광범위한 개관이 아니며, 본 요약은 중요한/결정적인 엘리먼트들을 식별하거나 본 명세서의 범위를 한정시키지 않는다. 그 유일한 목적은 본 명세서에서 개시된 개념들의 선택을 후술되는 보다 상세한 설명의 서두로서 간략화된 형태로 제공하기 위함이다.
물리 엔진을 사용하여 물리적 장난감을 제어하는 방법 및 시스템이 설명된다. 실시예에서, 대화형 소프트웨어 경험부 내의 물리 엔진은 가상 환경 내에서의 가상 객체의 동작(motion)을 모델링하는데 사용된다. 그 후, 이 모델링의 출력은, 실세계(real world)에서의 물리적 장난감의 동작이 가상 환경에서의 가상 객체의 동작과 더 가깝게 일치하도록, 가상 객체에 대응하는 물리적 장난감에 도입된다. 다양한 예시들에서, 이러한 모델링은 물리 엔진의 출력에 기초하여 생성되고 물리적 장난감 내의 액추에이터를 제어하여 장난감의 적어도 일부분의 동작을 변경시키는데 사용되는 제어 신호를 통해 도입된다.
수반되는 특징들 중 다수는 첨부 도면들과 관련하여 고려되는 이하의 상세한 설명을 참조함으로써 더 잘 이해될 수 있으므로 보다 용이하게 이해될 것이다.
본 설명은 첨부 도면들을 감안하면서 읽혀지는 경우 아래의 상세한 설명으로부터 더 잘 이해될 것이다.
도 1은 예시적인 플레이 시스템의 개략도이다.
도 2는 제2 예시적인 플레이 시스템의 개략도이다.
도 3은 도 1과 도 2에 도시된 것과 같은 플레이 시스템의 동작의 예시적인 방법의 흐름도이다.
도 4는 실세계 장난감들의 다양한 예시들을 도시한다.
도 5는 실세계 장난감들의 추가적인 예시들을 도시한다.
도 6은 장난감을 형성하도록 함께 연결될 수 있는 두 개의 예시적인 모듈들의 개략도이다.
도 7은 본 명세서에서 설명된 방법들의 실시예들이 구현될 수 있는 예시적인 컴퓨팅 기반 디바이스를 나타낸다.
첨부된 도면들에서 동일한 부분들을 지칭하기 위해 동일한 참조 번호들이 사용된다.
첨부된 도면들과 관련하여 아래에서 제공되는 상세한 설명은 본 예시들에 대한 설명으로서 의도된 것이며, 본 예시가 구축되거나 또는 활용될 수 있는 유일한 형태를 나타내는 것을 의도하는 것은 아니다. 본 설명은 본 예시의 기능들 및 본 예시를 구축하고 동작시키기 위한 단계들의 시퀀스를 설명한다. 그러나, 동일하거나 또는 동등한 기능들 및 시퀀스들은 상이한 예시들에 의해 달성될 수 있다.
위에서 설명한 바와 같이, 독자적으로 움직일 수 있도록 이용가능한 여러 장난감들이 많이 있다. 이들 장난감들은 사용자가 만지고 집어 올릴 수 있는 물리적인 실세계 장난감들이다. 이들은 가상 세계에서(예를 들어, 컴퓨터 게임에서) 존재하는 가상 객체들과는 구별된다. 사용자는 (예를 들어, 키보드, 마우스, 터치 스크린, 또는 게임 제어기를 사용하여) 가상 객체와 상호 작용할 수 있지만, 가상 객체를 만지거나 집어 올릴 수는 없다. 가상 객체는 실세계 객체와 달리, 질량을 갖고 있지 않다.
USB 리드를 통해 게임 콘솔에 연결되는 커스텀 베이스(custom base)에 배치된 물리적 캐릭터 장난감의 사용을 통해 게임플레이가 활성화(또는 잠금해제)되는 수많은 컴퓨터 게임들이 개발되어 왔다. 커스텀 베이스 상에 상이한 장난감들을 배치함으로써, 상이한 게임플레이가 활성화될 수 있다. 그러나, 이러한 게임들은 (장난감들을 커스텀 베이스 상에 배치시키는 것 이외에는) 장난감들과의 사용자 상호작용을 장려하지 않으며, 대신에 장난감들은 컴퓨터 게임의 특정 파라미터들을 구성하기 위한 물리적 대체품으로서 사용된다.
아래에서는 물리적 실세계 장난감의 전체 또는 일부분의 동작이 대응하는 가상 장난감(즉, 가상 세계에서의 가상 객체)의 동작을 반영하도록 변경되는 플레이 시스템을 설명한다. 이 시스템은 가상 세계에서의 플레이와 실세계에서의 플레이를 밀접하게 연결하며, 가상 세계뿐만이 아니라 실세계 장난감과의 사용자 상호작용을 장려한다. 컴퓨팅 입력/출력 디바이스 상에서 제공되는 가상 장난감들과 비교하여 실세계 장난감의 보다 자연스럽거나 재미나는 상호작용, 보다 현실감 있는 3D 및 촉감적 성질, 가상 제어를 학습하고 조작하는 것과 비교하여 실세계 움직임을 사용한 제어의 충실도, 정확성 및 단순성 등을 비롯한 다양한 이유들로 인해 사용자는 실세계 장난감과의 상호작용을 통해 가상 장난감과 상호작용하는 것을 선호할 수 있다. 다른 경우들에서(또는 다른 상황들에서), 사용자는 예컨대, 실세계 장난감 상에서는 존재하지 않는 메뉴들, 구성 또는 제어 메커니즘들에 대한 액세스를 위해, 가상 제어를 통해 상호작용하는 것을 선호할 수 있다. 가상 세계는 실세계 장난감의 동작의 제어를 통해, 그리고 또한 환경의 이미지들, 음향 효과, 및 실세계 장난감(및 이에 대응하는 가상 객체)이 상호작용할 수 있는 다른 객체들을 제공할 수 있는, 사용자에 대한 가상 세계의 프리젠테이션을 통해, 사용자가 경험하는 물리적 플레이를 향상시킨다.
예시에서, 실세계 장난감은 장난감 자동차이고, 장난감 자동차에 대응하는 가상 객체는 대화형 소프트웨어 경험부(컴퓨터 게임일 수 있음)에 의해 제공되는 가상 세계에서의 가상 자동차이다. 가상 세계는 자동차(즉, 가상 자동차 및 그 실세계 대응물)가 주행될 수 있는 하나 이상의 상이한 환경들, 예컨대, 북극 환경 및 사막 환경을 제공할 수 있다. 사용자는 환경(예컨대, 눈과 얼음으로 도로면이 덮혀 있는 북극 환경)을 선택하고, 가상 세계는 자신의 그래픽 사용자 인터페이스(graphical user interface; GUI)에서 해당 환경을 보여주며, 눈이 쌓여 있는 도로면 상에 있는 가상 객체(예컨대, 가상 자동차)를 보여줄 수 있다. 사용자가 실세계 자동차를 움직일 때, 대화형 소프트웨어 경험부 내의 물리 엔진은 실세계 자동차에 제어 신호들을 제공한다. 이들 제어 신호들은 실세계 자동차가 움직이고 있는 실세계 표면(예컨대, 카펫, 테이블 윗면 등)이 아닌, GUI에서 묘사된 눈이 쌓여 있는 도로면 상에서 실세계 자동차가 주행하고 있는 것처럼 사용자에게 느껴지도록 실세계 자동차의 적어도 일부분(예컨대, 하나 이상의 바퀴)의 동작을 변경시킨다. 이는 사용자에게 디스플레이되고 있는 가상 세계에 대응하는 현실적인 실세계 동작을 제공하는 것을 통해 사용자 경험을 향상시킨다.
본 업계에서 공지된 바와 같이, 물리 엔진은 물리적 현상을 시뮬레이션(또는 모델링)한다. 다양한 예시들에서, 물리 엔진은 하나 이상의 차원들에서(예컨대, 3D에서) 하나 이상의 물리적 시스템(예컨대, 중력, 충돌 검출, 강체 역학, 연체 역학, 회전 연산, 유체 역학, 마찰력 모델링 등)의 근사 시뮬레이션을 제공한다. 시뮬레이션은 가능한 한 가깝게 실세계 물리를 모델링하도록 의도된 것일 수 있거나, 또는 실세계 물리와는 몇가지 점에서 의도적으로 다를 수 있는데, 예컨대, 중력 상수, 빛의 속도 등을 변경할 수 있거나, 또는 회전의 관성 모멘트 및 이러한 회전을 달성하는데 필요한 물리적 힘과 관련된 제약들을 적용하지 않으면서 사용자가 임의의 원하는 속도로 회전할 수 있게 하는 것과 같이, 의도적으로 몇가지 물리적 제약들을 무시하면서 다른 물리적 제약들을 따를 수 있다. 시뮬레이션은 예컨대, 게임을 보다 손쉽게 하도록 하기 위해 물리적 모델들을 변경하거나 위반함으로써(예컨대, 미끄러짐 및/또는 스핀이 발생해야 한다고 모델이 결정함에도 불구하고 가상 자동차가 모퉁이를 돌 때 트랙션(traction) 및/또는 정확한 배향을 유지하도록 허용하는 것), 특정 상황에 처해 있는 플레이어들을 돕고자 특정 게임 상황들에서 실세계 물리로부터 의도적으로 벗어날 수도 있다. 시뮬레이션은 실시간으로 수행되며, 많은 예시들에서 물리 엔진은 소프트웨어로 구현된다. 다양한 예시들에서, 전용 프로세서 또는 다중 프로세서의 전용 서브세트[물리 처리 장치(PPU; physics processing unit)]를 사용하여 물리 엔진이 필요로 하는 연산들을 수행할 수 있다.
도 1은 물리적 실세계 실세계 장난감(102)(이 예시에서는 자동차와 같은 형상을 가짐)과 컴퓨팅 디바이스(108) 상에서 작동하는 대화형 소프트웨어 경험부(106)를 포함하는 예시적인 플레이 시스템(100)의 개략도를 도시한다. 장난감(102)은 대화형 소프트웨어 경험부로부터 제어 신호들을 수신하도록 동작하는 통신 인터페이스(104)(예를 들어, 수신기, 많은 예시들에서는 무선 수신기일 수 있음), 및 수신기(104)를 통해 수신된 제어 신호들에 기초하여 장난감의 적어도 일부분(예를 들어, 하나 이상의 바퀴(103))의 동작(예를 들어, 실제 동작 또는 가능한 동작 범위)를 제어하는 (하나 이상의 액추에이터들을 포함할 수 있는) 제어 메커니즘(105)을 포함한다. 대화형 소프트웨어 경험부(106)는 물리 엔진(107)을 포함하고, 실세계 장난감(102)에 대응하는 가상 객체를 (예를 들어, 컴퓨팅 디바이스(108)에 통합되거나 또는 이에 연결될 수 있는 프리젠테이션 디바이스(115) 상에서) 디스플레이하도록 구성되며, 컴퓨팅 디바이스(108) 내의 통신 인터페이스(113)를 통해 실세계 장난감(102)에게 제어 신호들을 출력한다. 물리 엔진(107)은 대화형 소프트웨어 경험부(106)에 의해 제공되는 가상 환경에서 실세계 장난감(102)에 대응하는 가상 객체의 동작을 시뮬레이션하고 제어 신호들을 생성한다.
다양한 예시들에서, 장난감(102)은 또한, 장난감의 동작(즉, 실세계 동작)을 검출하고 이를 통신 인터페이스(104)(이것은 송신기를 더 포함할 수 있으며, 많은 예시들에서 무선 수신기일 것임)를 통해 대화형 소프트웨어 경험부(106)에 전달하도록 구성된 하나 이상의 센서들(116)을 포함할 수 있다. 이러한 예시들에서, 대화형 소프트웨어 경험부(106)는 통신 인터페이스(113)를 통해 (센서(116)로부터) 센서 데이터를 수신하고, 수신된 센서 데이터는 실세계 장난감(102)에 대응하는 가상 객체의 동작을 실시간으로 시뮬레이션할 때 물리 엔진(107)에 의해 사용된다. 예를 들어, 실세계 장난감(102)의 감지된 동작은 (예를 들어, 사용자가 실세계 장난감 자동차를 우회전시키면, 가상 세계 객체는 이 동작을 모방하고 또한 우회전하도록) 실세계 장난감(102)에 대응하는 가상 객체에 적용될 수 있다. 물리 엔진(107) 내의 가상 객체에 이러한 동작을 적용할 때 스케일링 인자와 같은 보상 인자가 사용될 수 있다는 것을 이해할 것이다(예를 들어, 가상 자동차는, 가상 자동차에 대응하는 실세계 장난감 자동차가 아닌, 실세계 자동차와 유사한 질량이 있는 것처럼 물리 엔진에 의해 모델링될 수 있다). 위에서 설명한 바와 같이, 시뮬레이션은 가능한 한 가깝게 실세계 물리를 모델링하도록 의도된 것일 수 있거나, 또는 몇가지 점에서 및/또는 몇가지 게임 상황들에서 실세계 물리와 의도적으로 다를 수 있다.
다양한 예시들에서, 하나 이상의 센서들(116)은 이에 더하여 또는 이를 대신해서, 장난감(102)의 실세계 주변환경을 검출하기 위해 사용될 수 있고, 이 정보는 (통신 인터페이스(104, 113)를 통해) 대화형 소프트웨어 경험부로 전달될 수 있고, 물리 엔진(107)에 의해 수행되는 시뮬레이션 내로 공급될 수 있다. 예를 들어, 센서(116)는 실세계 내의 장애물들(예를 들어, 벽, 가구 등)을 검출할 수 있고, 이러한 장애물들에 관한 데이터는 대화형 소프트웨어 경험부(106)로 전달되어, 예컨대, 장난감(102)이 가구 한 점 또는 벽과 충돌하면 보다 현실적으로 반응하도록, 물리 엔진(107)에 의해 수행되는 모델링에서 사용될 수 있다. 검출된 주변환경(장애물)은 또한 대화형 소프트웨어 경험부에 의해 가상 세계 내에서 사용자에게 시각적으로 디스플레이될 수 있다(예컨대, 장애물은 벽, 암석 등으로서 표시될 수 있다).
데스크탑, 랩탑 또는 태블릿 컴퓨터, 게임 콘솔, 스마트폰 또는 임의의 다른 컴퓨팅 디바이스, 및 다른 예시들에서 컴퓨팅 디바이스(108)일 수 있는 컴퓨팅 디바이스(108)는 핸드헬드 컴퓨팅 디바이스일 수 있다. 그러나, 다른 예시들에서, 컴퓨팅 디바이스(108)는 도 2에서 도시되고 아래에 설명되는 바와 같이 물리적 장난감 내에 통합될 수 있다. 도 1에서 도시된 예시적인 시스템(100)에서, 대화형 소프트웨어 경험부(106)는 컴퓨팅 디바이스(108) 내의 메모리(110)에 저장되며, 하나 이상의 프로세서들(112)(PPU를 포함할 수 있음)에 의해 실행되는 디바이스로 실행가능한 명령어들을 포함한다. 컴퓨팅 디바이스(108)는 또한 추가적인 엘리먼트들을 포함할 수 있다는 것을 이해할 것이며, 컴퓨팅 디바이스(108)는 도 7을 참조하여 이하에서 보다 상세히 설명된다. 또한, 다양한 예시들에서, 대화형 소프트웨어 경험부(106)[및 특히, 물리 엔진(107)]과 연관된 연산의 일부 또는 전부는 원격 컴퓨팅 디바이스(예를 들어, 클라우드 기반 컴퓨팅 디바이스) 상에서 수행될 수 있으며, 그 후, 이 원격 컴퓨팅 디바이스는 컴퓨팅 디바이스(108) 상에서 구동되는 소프트웨어에 입력을 제공한다.
도 1은 물리적 실세계 장난감(102) 내에 센서들(116)이 위치되는 것을 도시하지만, 다양한 예시들에서, 센서들의 일부 또는 전부는 이 대신에 컴퓨팅 디바이스(108) 내에 위치될 수 있다.
도 1은 물리적 실세계 장난감(102) 내에 위치하는 제어 메커니즘(105)을 도시하지만, 다양한 예시들에서, 제어 메커니즘(105)의 일부 또는 전부는 근접해 있는 장난감 내에 위치될 수 있다. 예를 들어, 물리적 실세계 장난감(102)이 자동차인 경우, 물리적 실세계 장난감(102)은 하나 이상의 다른 물리적 실세계 장난감들로부터 형성된 트랙을 따라 주행할 수 있고, 이들 다른 물리적 실세계 장난감들 중 하나 이상은 제어 메커니즘(105)(및 통신 인터페이스)을 포함하며, 컴퓨팅 디바이스(108)로부터 수신된 제어 신호들에 기초하여 자동차 장난감의 동작을 제어할 수 있다.
도 2는 물리적 실세계 실세계 장난감(202)(이 예시에서는 자동차와 같은 형상을 가짐)과 대화형 소프트웨어 경험부(208)를 포함하는 제2 예시적인 플레이 시스템(200)의 개략도를 도시한다. 이 예시에서는, 대화형 소프트웨어 경험부(106) 및 대화형 소프트웨어 경험부(106)를 구동시키는데 필요한 엘리먼트들[예를 들어, 프로세서(112) 및 메모리(110)]을 비롯한, 컴퓨팅 디바이스(도 1에서의 컴퓨팅 디바이스(108)에 대응함)의 일부가 장난감(202) 내에 통합된다. 장난감(202)은, (도 1에서 도시된) 제1 예시에서와 같이, 통신 인터페이스(204)를 포함하지만, 제2 예시에서는, (대화형 소프트웨어 경험부가 이제는 장난감(202) 내에서 로컬로(locally) 실행되기 때문에) 통신 인터페이스(204)는 대화형 소프트웨어 경험부로부터 제어 신호들을 수신하도록 동작하지 않고, 이 대신에 GUI 데이터를, 프리젠테이션 디바이스(115)를 포함하는 디바이스(208) 내의 통신 인터페이스(213)에 전송한다. 대화형 소프트웨어 경험부(106)에 의해 생성된 이 GUI 데이터는 실세계 장난감(202)에 대응하는 가상 객체를 포함한다.
제1 예시에서와 같이, 제2 예시(200)에서의 장난감(202)은 대화형 소프트웨어 경험부(106) 내의 물리 엔진(107)에 의해 생성된 제어 신호들에 기초하여 장난감의 적어도 일부분[예를 들어, 하나 이상의 바퀴(103)]의 동작(예를 들어, 실제 동작 또는 가능한 동작 범위)을 제어하는 제어 메커니즘(105)을 포함한다. 전술한 바와 같이, 물리 엔진(107)은 대화형 소프트웨어 경험부(106)에 의해 제공되는 가상 환경에서 실세계 장난감(102)에 대응하는 가상 객체의 동작을 시뮬레이션하고 상기 시뮬레이션에 기초하여 제어 신호들을 생성한다. 전술한 바와 같이, 다양한 예시들에서, 장난감(202)은 장난감(202)의 동작 및/또는 장난감(202)의 주변환경을 검출하는데 사용될 수 있는 하나 이상의 센서들(116)을 포함할 수 있다.
전술한 예시들 중 임의의 예시에서, (물리 엔진(107)에 의해 수행된) 시뮬레이션과 실세계 장난감(102, 202)의 적어도 일부분의 동작의 필요한 변경 간의 변환은 (단일 연산 작업에서 가상 물리 및 실세계 제어 둘 다를 연산하도록 최적화된 물리 시뮬레이션의 통합부로서 또는 개별 스테이지 중 어느 하나에서) 물리 엔진(107)에 의해, 대화형 소프트웨어 경험부(106)에 의해, 또는 제어 메커니즘(105)에 의해, 또는 이들 엘리먼트들 중 2개 이상의 조합에 의해 수행될 수 있다. 전술한 바와 같이, 대화형 소프트웨어 경험부(및 물리 엔진)와 연관된 연산의 일부 또는 전부는 컴퓨팅 디바이스(108)에 입력을 제공하는 원격 컴퓨팅 디바이스 상에서 수행될 수 있다.
도 1 및 도 2에서 도시된 플레이 시스템들(100, 200)의 동작은 도 3을 참조하여 설명될 수 있다. 전술한 바와 같이, 대화형 소프트웨어 경험부(106) 내의 물리 엔진(107)은 가상 객체가 실세계 객체 또는 장난감(102, 202)에 대응하는 가상 환경에서의 가상 객체의 동작을 모델링한다(블록 302). 물리 엔진(107) 또는 대화형 소프트웨어 경험부(106)는 이러한 모델링에 기초하여 제어 신호들을 생성한다(블록 304). 이들 제어 신호들은 실세계 장난감(102, 202)에서 제어 메커니즘(105)에 의해 구현될 때 장난감의 적어도 일부분의 동작을 변경시키도록 구성된다(블록 305). 대화형 소프트웨어 경험부(106)는 또한 가상 객체를 보여주는 GUI를 생성할 수 있고(블록 306), 다양한 예시들에서, 가상 객체는 모델링에서 사용되었던 가상 환경 내의 GUI에서 묘사된다(블록 302). 추가적으로 또는 이에 대신하여, 블록(306)에서 생성된 GUI는 주변 효과(예컨대, 플래시 또는 다른 시각 효과 및/또는 음향 효과)를 제공할 수 있고/있거나 대화형 소프트웨어 경험부에 관한 상태 정보(예컨대, 남은 생명 수)를 표시할 수 있다.
동작은 많은 방식으로 (블록 305에서) 변경될 수 있으며, 다양한 예시들에서, 동작은 증강될 수 있거나(예컨대, 어떤 방식으로 제어 메커니즘에 의해 사용자의 장난감의 후속 동작이 향상될 수 있음), 제약되거나(예컨대, 가능한 동작 범위가 제한될 수 있음), 또는 이와 달리 영향받을 수 있다. 다양한 예시들에서, (블록 304에서 생성된) 제어 신호들은 실세계에서 (가상 객체에 대응하는 실세계 장난감으로) (가상 객체의) 가상 세계 동작을 복제하려고 시도할 수 있다. 정확한 복제는 가능하지 않을 수 있으며, 따라서 다양한 예시들에서, (블록 304에서 생성된) 제어 신호들은 실세계 장난감의 실세계 동작과 실세계 장난감에 대응하는 가상 객체의 가상 세계 동작 간의 임의의 차이를 최소화하려고 시도할 수 있다. 그러나, 다른 예시들에서, (블록 304에서 생성된) 제어 신호들은 가상 세계 동작의 복제를 초래하지 않을 수 있지만, 실세계 동작을 유사하되 동일하지는 않는 방식으로 변경시킬 수 있고, 이것은 제어 메커니즘(105) 내의 액추에이터들 또는 다른 엘리먼트들의 작동에 대한 제한의 결과일 수 있다. 예를 들어, 가상 세계에서 가상 객체(예를 들어, 가상 자동차)는 뒤집힐 수 있지만, 제어 신호들은 실세계 장난감(예를 들어, 장난감 자동차)이 옆으로 움직이게 하거나 또는 멈출 수는 있되 뒤집히지는 않게 할 수 있다.
대화형 소프트웨어 경험부(106)가 (예를 들어, 도 1에서 도시된 바와 같이) 실세계 장난감 내에서 실행되지 않는 예시들에서, (블록 304에서 생성된) 제어 신호들은 실세계 장난감에 전송되고(블록 308), 실세계 장난감에 의해 수신된다(블록 309). 대화형 소프트웨어 경험부(106)가 일체화된 프리젠테이션 디바이스(115)(예를 들어, 디스플레이)를 갖는 컴퓨팅 디바이스 내에서 실행되지 않는 예시들에서, GUI 데이터는 사용자에게 디스플레이하기 위해 프리젠테이션 디바이스(115)에 전송된다(블록 310).
다양한 예시들에서, 실세계 장난감(102, 202)은 실세계 장난감의 동작을 검출하고(블록 312)/검출하거나 실세계 장난감의 주변환경을 검출(블록 314)할 수 있는 하나 이상의 센서들(116)을 포함한다. 이러한 예시들에서, 센서 데이터는 대화형 소프트웨어 경험부(106)에 의해 수신되고(블록 316), 모델링에서 이용되고(블록 302)/이용되거나, GUI 생성에서 이용된다(블록 306).
도 4 및 도 5는 실세계 장난감들의 상이한 여러가지 예시들 및, 전체 장난감 또는 그 일부분들의 동작이 물리 엔진(107)에서 수행되는 모델링에 기초하여 대화형 소프트웨어 경험부(106)에 의해 생성된 제어 신호들에 의해 어떻게 영향을 받을 수 있는지를 보여준다.
제1 예시(401)에서, 실세계 장난감(410)은 장난감 자동차이다. 사용자가 (화살표(412)로 표시된 바와 같이) 자동차를 후방으로 이동시킬 때, 이 동작은 자동차에 의해(및/또는 컴퓨팅 디바이스 내의 센서들에 의해) 감지되고 물리 엔진에 입력된다. 물리 엔진은 대응하는 가상 객체의 결과적인 동작을 모델링하고, 제어 메커니즘(105)에 의해 구현될 때, 장난감 자동차(410)가 (화살표(414)로 표시된 바와 같이) 전방으로 이동하게 하는 제어 신호들을 장난감 자동차(410)에 제공한다. 이러한 방식으로, 장난감 자동차(410)는 (사용자 경험이 관여되는 한) 마치 내부에 스프링 메커니즘을 갖는 것처럼 작동하지만, 그렇게 작동하지는 않고, 그 효과는 물리 엔진에 의해 생성된다. 사용자가 자동차를 뒤로 잡아당기는 것에 반응하는 기계적 메커니즘을 갖기보다는, 이러한 방식으로 자동차의 응답을 생성함으로써, 자동차의 결과적인 동작은 가상 세계에서의 특성에 기초하여 (예컨대, 차가 도로/들판/해변에서 주행 중에 있는지 여부를 반영하기 위해, 상이한 엔진 크기 등을 반영하기 위해) 다양한 방식들로 수정될 수 있다.
제2 예시(402)에서, 실세계 장난감(420)은 피규어이고, 두 개의 상이한 시점들(421~422)에서 도시되어 있다. 이 장난감(420)은, 예를 들어, 전투에 참가하는 기사이거나 또는 나무를 베는 일꾼일 수 있다. 사용자가 (제1 장면(421)에서 화살표(424)로 나타낸 바와 같이) 피규어(420)의 팔을 들어올릴 때, 이 동작은 피규어에 의해(및/또는 컴퓨팅 디바이스 내의 센서들에 의해) 감지되고 물리 엔진에 입력된다. 물리 엔진은 대응하는 가상 객체(예컨대, 가상 기사 또는 일꾼)의 팔의 결과적인 동작을 모델링하며, 제어 메커니즘(105)에 의해 구현될 때, 예컨대, 마치 피규어가 마치 펀치를 날리거나 통나무를 베는 것 처럼, 팔을 (제2 장면(422)에서 화살표(426)로 표시된 바와 같이) 전방과 아래로 움직이게 하는 제어 신호들을 피규어(420)에 제공한다. 제1 예시와 마찬가지로, 사용자가 피규어의 팔을 들어올리는 것에 반응하는 기계적 메커니즘을 갖기보다는, 이러한 방식으로 팔 동작을 생성함으로써, 팔의 결과적인 동작은 가상 세계에서의 특성에 기초하여 (예컨대, 가상 세계에서 피규어가 하고 있는 일에 기초하여) 다양한 방식들로 수정될 수 있다.
제3 예시(403)에서, 실세계 장난감(430)은 다시 장난감 자동차이다. 사용자가 (화살표(432)로 표시된 바와 같이) 자동차를 전방으로 이동시킬 때, 이 동작은 자동차에 의해(및/또는 컴퓨팅 디바이스 내의 센서들에 의해) 감지될 수 있고 물리 엔진에 입력될 수 있지만, 다른 예시들에서는 감지가 요구되지 않으며, 가상 세계에서 자동차가 전방으로 이동하는 동작은 실세계 장난감(430)의 동작을 감지하는 것에 의존하지 않을 수 있다. 가상 세계에서는 유막(oil slick)(434)이 있고, 물리 엔진은 대응하는 가상 객체가 유막(434) 안에서 주행할 때의 가상 객체의 결과적인 동작을 모델링한다. 그 후, 대화형 소프트웨어 경험부는, 제어 메커니즘(105)에 의해 구현될 때, 장난감 자동차(430)가 실세계에서 (화살표(436)로 표시된 바와 같이) 비틀거리며 주행하게 하거나 또는 그렇지 않고 일직선으로 주행하기 어렵게 하는 제어 신호들을 장난감 자동차(430)에 제공한다. 이러한 방식으로, 실세계 장난감 자동차(430)는 (사용자 경험이 관여되는 한) (대화형 소프트웨어 경험부에 의해 묘사된) 마치 가상 세계에서만 존재하는 유막 안에서 주행하는 것처럼 동작한다. 이러한 방식으로 물리 엔진을 사용함으로써, 실세계 자동차의 동작은 가상 환경의 변화들(예컨대, 얼음 위에서의 주행, 물 속에서의 주행, 모래 위에서의 주행 등)에 대응하며 이러한 물리적 장난감으로 향상된 사용자 경험(예컨대, 보다 몰입된 경험)을 제공하도록 동적으로 수정될 수 있다.
제4 예시(404)에서, 실세계 장난감(440)은 또한 장난감 자동차이고, 자동차(440)는 두 개의 상이한 시점들(441~442)에서 도시되어 있다. 이 예시에서, 사용자는 자동차를 움직일 수 있고, 이것은 자동차에 의해(및/또는 컴퓨팅 디바이스 내의 센서들에 의해) 감지되어, 물리 엔진에 전달될 수 있으며, 이와 달리, 감지는 생략될 수 있다. 제1 장면(441)에서는, 모든 타이어가 온전한 상태로 있지만, 제2 장면(442)에서는, (자동차의 진동/요동을 나타내는 라인들(446)에 의해 나타낸 바와 같이) 타이어들 중 하나가 마치 터진 것(444)처럼 자동차(440)의 동작이 수정된다. 타이어 터짐으로부터 생기는 동작이 물리 엔진에 의해 모델링되고, 그 후, 대화형 소프트웨어 경험부는, 제어 메커니즘(105)에 의해 구현될 때, 요동/진동(446)을 유발하는 제어 신호들을 장난감 자동차(440)에 제공한다. 이것은, 이러한 방식으로 물리 엔진을 사용함으로써, 실세계 자동차의 동작이 가상 환경의 변화들(예컨대, 가상 객체의 상태 변화)에 대응하며 이러한 물리적 장난감으로 향상된 사용자 경험(예컨대, 보다 몰입된 경험)을 제공하도록 동적으로 수정될 수 있는 방법의 다른 예시이다.
제5 예시(405)에서, 실세계 장난감(450)은 피규어이고, 대응하는 가상 객체(452)(예컨대, 가상 인간)가 대화형 소프트웨어 경험부의 GUI(454)에서 도시된다. 도시된 예시에서, 가상 인간(452)은 무거운 물건(456)을 휴대하고 있다. 물리 엔진은 이 무거운 물건(456)을 휴대하고 있는 가상 인간의 팔에 대한 효과를 모델링하고, 제어 메커니즘(105)에 의해 구현될 때, (십자 표시가 안에 있는 화살표(458)로 표시된 바와 같이) 사용자가 실세계 피규어(450) 상의 대응하는 팔을 들어올리지 못하게 하는 제어 신호들을 피규어(450)에 제공한다. 이것은, 이러한 방식으로 물리 엔진을 사용함으로써, 실세계 장난감의 동작이 가상 환경의 변화들(예컨대, 가상 객체의 상태 변화)에 대응하며 이러한 물리적 장난감으로 향상된 사용자 경험(예컨대, 보다 몰입된 경험)을 제공하도록 동적으로 수정될 수 있는 방법의 추가적인 예시이다.
제6 예시(406)에서, 실세계 장난감(460)은 다른 블록들(즉, 다른 실세계 장난감들) 또는 주변환경들의 일부분들(예컨대, 벽돌들에 의해 (및/또는 컴퓨팅 디바이스 내의 센서들에 의해) 감지되고 대화형 소프트웨어 경험부에 전달되는 가구)일 수 있는 두 개의 객체들(462, 464) 사이의 갭을 가로질러 다리를 생성하는데 사용되는 블록들의 세트이다. 대응하는 가상 객체(466)(예를 들어, 가상 블록들로 형성된 가상 다리)가 대화형 소프트웨어 경험부의 GUI(468)에서 도시된다. 도시된 예시에서, 사용자는 가상 다리(466)를 가로질러 (가상 세계에서) 운전할 차량을 (차량들(472)로부터) 선택할 수 있고, 도시된 예시에서, 사용자는 소형 트럭(470)을 선택했다. 물리 엔진은 가상 다리를 가로질러 주행되는 소형 트럭(470)의 가상 다리(466)에 대한 영향을 모델링하고, 가상 다리가 무너지거나 또는 붕괴할 것이라고 결정되면, 대화형 소프트웨어 경험부는, 제어 메커니즘(105)에 의해 구현될 때, 실세계 다리가 (이중 화살표로 표시된 바와 같이) 붕괴되도록 하는 제어 신호들을 실세계 블록들(466)에 제공한다. 이것은, 이러한 방식으로 물리 엔진을 사용함으로써, 실세계 장난감의 동작이 가상 객체의 변화들에 대응하며 이러한 물리적 장난감으로 향상된 사용자 경험(예컨대, 보다 몰입된 경험)을 제공하도록 동적으로 수정될 수 있는 방법의 또다른 추가적인 예시이다.
다양한 예시들에서, 전술된 예시들에서 실세계 장난감은 그 자체가 모듈식일 수 있고, 둘 이상의 모듈들로 형성될 수 있다. 도 6은 실세계 장난감을 형성하도록 함께 연결될 수 있는 두 개의 예시적인 모듈들의 개략도이다. 도 6은 코어 모듈(602) 및 주변 모듈(604)을 도시한다. 코어 모듈(602)은 배터리(606), 무선 통신 모듈(608), 프로세서(610), 하나 이상의 액추에이터들(609), 및 하나 이상의 커넥터들(612)을 포함한다. 배터리(606)는 코어 내의 (프로세서(610), 무선 통신 모듈(608), 및 액추에이터(들)(609)과 같은) 컴포넌트들에 전력을 제공하며, 또한 커넥터들(612)을 통해 주변 모듈들(604) 전부/그 일부에 전력을 제공한다. 무선 통신 모듈(608)은 코어 모듈(602)이 대화형 소프트웨어 경험부(106)를 구동시키는 컴퓨팅 디바이스와 통신할 수 있게 한다. 임의의 적절한 무선 기술(예컨대, 블루투스®, BLE, 와이파이™, 또는 와이파이™ 다이렉트, 근거리 무선 통신(NFC), 802.15.4 등)이 사용될 수 있다. 무선 통신 모듈(608)은 대화형 소프트웨어 경험부(106)를 구동시키는 (도 1에 도시된) 컴퓨팅 디바이스(108)와 직접 통신할 수 있거나 또는 네트워크(예컨대, 홈 네트워크 또는 인터넷) 또는 중개 디바이스(예컨대, 무선 액세스 포인트)를 통해 통신할 수 있다. 커넥터들(612)은 주변 모듈들(604)을 코어 모듈(602)에 물리적으로 부착시키고, 또한 모듈들 간에 데이터 및 전력을 전달할 수 있다.
코어 모듈(602) 내의 프로세서(610) 및 액추에이터(들)(609)은 전술한 제어 메커니즘(105)으로서 동작하고, 대화형 소프트웨어 경험부(106)에 의해 생성된 제어 신호들에 기초하여 실세계 장난감의 동작을 변경시킨다. 적절한 액추에이터들의 예시들로는 모터, 진동 유닛, 서보, 머슬 와이어(muscle wire), 솔레노이드, 전자기 액추에이터들(예컨대, 환경이 금속성인 경우), 공압 또는 유압 액추에이터들 등이 포함된다. 프로세서(610)는 실세계 장난감의 적어도 일부분의 동작을 변경시키기 위해 코어 모듈의 동작을 제어하기 위한 컴퓨터로 실행가능한 명령어들을 처리하기 위한 마이크로프로세서, 제어기, 또는 임의의 다른 적절한 유형의 프로세서일 수 있으며, 이는 연결된 주변 모듈에 대한 코어 모듈의 동작을 변경시키는 것을 수반할 수 있다.
다양한 예시들에서, 프로세서는 또한 실세계 장난감을 형성하는 합체식 물리적 완전 객체를 형성하기 위해, 함께 연결된 모듈들 각각의 ID들(고유 ID 또는 동일하게 생긴 다른 모듈들과 공유된 ID, 예를 들어, 특정 형상 또는 유형의 모듈에 대한 ID일 수 있음)을 수집할 수 있다. 모듈 ID는 연결된 모듈들 각각으로부터 직접 (예컨대, 버스를 통해) 수집될 수 있거나, 또는 각 모듈은 그 이웃들에 관한 정보를 수집할 수 있으며, 이 때 코어 모듈은 자신의 바로 이웃한 플레이 조각들이 제공한 데이터를 모은다. 다양한 예시들에서, 이들 모듈 ID들은 커넥터들(612)에 의해 제공되는 데이터 접속을 통해 수집될 수 있고, 다른 예시들에서는, 다른 수단(예컨대, NFC, QR 코드 또는 컴퓨터 비전)이 사용될 수 있다. 다른 수단이 사용되는 경우, 코어 모듈(602)은 연결된 모든 플레이 조각들의 모듈 ID들을 수집하기 위해 NFC 판독기 모듈 또는 카메라 또는 다른 이미지 센서와 같은 추가적인 하드웨어/소프트웨어를 포함할 수 있다. (예를 들어, 연결된 모듈들의 세트 또는 리스트를 생성하기 위해) 연결된 모듈의 모듈 ID들을 수집하는 것에 더하여, 코어 모듈은 플레이 조각들의 배열의 토폴로지(topology)를 검출할 수 있다.
각각의 주변 모듈(604)은 실세계 장난감을 형성하는 합체식 물리적 완전 객체를 형성하기 위해 모듈을 다른 모듈에 물리적으로 부착시키기 위한 하나 이상의 커넥터들(612, 614)을 포함한다. 주변 모듈(604)은 또한 주변 모듈을 이동시키기 위한 하나 이상의 액추에이터들(609)을 포함할 수 있다. 주변 모듈(604)은 두 개의 커넥터들(612, 614) 사이에 (예를 들어, 두 개의 와이어들, 데이터용 및 접지용을 포함하는 버스의 형태인) 전기 연결부들(624)을 더 포함할 수 있다. 도 6에서 도시된 예시에서, 액추에이터(609)는 커넥터(614)의 하우징 내에 도시되어 있지만, 다른 예시들에서는, 이것은 커넥터와 분리되어 있을 수 있다.
도 6에서는 도시되지 않았지만, 코어 모듈 및/또는 주변 모듈(604)은 또한 모듈에 대한 식별자(ID)(모듈 ID로 지칭될 수 있음)를 저장하는 저장 엘리먼트를 포함할 수 있고, 모듈의 형상 및/또는 외관, 임의의 연결점들의 위치 등과 같은 추가적인 데이터를 포함할 수 있다. 저장 엘리먼트는 메모리 또는 임의의 다른 형태의 저장 디바이스를 포함할 수 있다. 모듈 ID를 저장하는 저장 엘리먼트는 커넥터(612) 내, 무선 모듈(608) 내에 있을 수 있거나, 또는 모듈(602, 604) 내의 분리되어 있는 엔티티일 수 있다.
다양한 예시들에서, 주변 모듈(604)은 또한 프로세서(도 6에서는 도시되지 않음)를 포함할 수 있으며, 이는 커넥터(614)의 하우징 내에 있거나 또는 커넥터와 분리될 수 있다. 다양한 예시들에서, 주변 모듈(604)은 또한 배터리(도 6에서는 도시되지 않음)를 포함할 수 있으며, 이는 주변 모듈(604) 내의 전자 디바이스에 및/또는 이웃 모듈들(주변 모듈 또는 코어 모듈일 수 있음)에 전력을 제공할 수 있다. 이러한 방식으로, 코어 모듈(602) 내의 배터리(606)에 의해 제공될 수 있는 것보다 많은 전력을 모듈들의 배열이 필요로 하는 경우, 추가적인 전력이 주변 모듈(604) 내의 배터리에 의해 제공될 수 있다.
도 6에서는 도시되지 않았지만, 모듈(602, 604)은 또한 모듈 또는 실세계 장난감 전체의 동작을 검출하기 위한 하나 이상의 센서들을 포함할 수 있다. 모듈들에서 사용될 수 있는 센서들의 예시들로는 온도 센서, 진동 센서, 가속도계, 경사 센서, 자이로스코프 센서, 회전 센서, 자력계, 근접 센서(능동/수동 적외선 또는 초음파), 음향 센서, 광 센서 등이 포함된다.
도 6에서 도시된 모듈들(602, 604)은 도 6에서 도시되지 않은 추가적인 엘리먼트들을 포함할 수 있다는 것을 이해할 것이다. 도 6은 모듈들이 정사각형 또는 직사각형인 것으로서 보여주고 있지만, 모듈들 각각은 다른 모듈들과 양립할 수 있는 임의의 물리적 폼 팩터(예를 들어, 임의의 외부 하우징 형태)를 가질 수 있다는 것을 또한 이해할 것이다(즉, 각각의 모듈은 외부 하우징 충돌없이, 적어도 하나의 다른 모듈에 연결될 수 있도록 형상화된다).
도 7은 컴퓨팅 및/또는 전자 디바이스의 임의의 형태로서 구현될 수 있고, 본 명세서에서 설명된 방법들의 실시예들이 구현될 수 있는 예시적인 컴퓨팅 기반 디바이스(700)의 다양한 컴포넌트들을 나타낸다. 이 컴퓨팅 기반 디바이스(700)는, 예를 들어, 도 1에서 도시된 컴퓨팅 디바이스(108), 또는 도 2에서 도시된 실세계 장난감(202)일 수 있다.
컴퓨팅 기반 디바이스(700)는 본 명세서에서 설명된 방법들을 수행하기 위해 (예를 들어, 가상 환경에서 가상 객체를 모델링하고, 가상 객체에 대응하는 실세계 장난감의 동작을 변경하기 위한 제어 신호들을 생성하기 위해) 디바이스의 동작을 제어하도록 컴퓨터로 실행가능한 명령어들을 처리하기 위한 마이크로프로세서, 제어기, 또는 임의의 다른 적절한 유형의 프로세서일 수 있는 하나 이상의 프로세서들(702)을 포함한다. 다양한 예시들에서, 프로세서들(702) 중 하나는 PPU일 수 있고, 물리 엔진에 의해 사용될 수 있다. 일부 예시들에서, 예를 들어, 칩 아키텍처 상의 시스템이 사용되는 경우, 프로세서들(700)은 (소프트웨어 또는 펌웨어보다는) 하드웨어로 대화형 스토리를 생성 및 제시하는 방법의 일부를 구현하는 하나 이상의 고정 기능 블록들(가속기라고도 지칭됨)을 포함할 수 있다.
대안적으로, 또는 추가적으로, 여기서 설명된 기능은 적어도 부분적으로, 하나 이상의 하드웨어 로직 컴포넌트들에 의해 수행될 수 있다. 예를 들어, 비제한적인 예시로서, 이용될 수 있는 예시적인 유형들의 하드웨어 로직 컴포넌트들은 FPGA(Field-programmable Gate Array), ASIC(Program-specific Integrated Circuit), ASSP(Program-specific Standard Product), SOC(System-on-a-chip system), CPLD(Complex Programmable Logic Device)를 포함한다.
운영 체제(704)를 포함하는 플랫폼 소프트웨어, 또는 임의의 다른 적절한 플랫폼 소프트웨어는 컴퓨팅 기반 디바이스에서 제공되어, 대화형 소프트웨어 경험부(106)와 같은 애플리케이션 소프트웨어가 디바이스 상에서 실행될 수 있게 한다. 도 7에서 도시된 바와 같이, 대화형 소프트웨어 경험부(106)는 실세계 및 실세계 장난감에 대응하는 가상 객체를 묘사하는 GUI를 생성하도록 구성된 물리 엔진(107) 및 프리젠테이션 엔진(708)과 같은, 하나 이상의 모듈들을 포함할 수 있다.
컴퓨터로 실행가능한 명령어들은 컴퓨팅 기반 디바이스(700)에 의해 액세스가능한 임의의 컴퓨터로 판독가능한 매체를 사용하여 제공될 수 있다. 컴퓨터로 판독가능한 매체는 예를 들어, 메모리(712) 및 통신 매체와 같은 컴퓨터 저장 매체를 포함할 수 있다. 메모리(712)와 같은, 컴퓨터 저장 매체는 컴퓨터로 판독가능한 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은, 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성의, 탈착가능 및 탈착불가능 매체를 포함한다. 컴퓨터 저장 매체는, 비제한적인 예시로서, RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광학적 저장장치, 자기적 카세트, 자기적 테이프, 자기적 디스크 저장장치 또는 다른 자기적 저장 디바이스들, 또는 컴퓨팅 디바이스에 의한 액세스를 위해 정보를 저장하는 데에 이용될 수 있는 임의의 다른 비전송 매체를 포함한다. 그에 반해서, 통신 매체는 컴퓨터로 판독가능한 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터를 반송파와 같은 변조 데이터 신호 또는 다른 전송 메커니즘 내에 포함시킬 수 있다. 여기서 정의된 바와 같이, 컴퓨터 저장 매체는 통신 매체를 포함하지 않는다. 따라서, 컴퓨터 저장 매체는 전파 신호 그 자체인 것으로서 해석되어서는 안된다. 전파 신호는 컴퓨터 저장 매체 내에 존재할 수 있지만, 전파된 신호 자체는 컴퓨터 저장 매체의 예시들이 아니다. 컴퓨팅 기반 디바이스(700) 내에 컴퓨터 저장 매체(메모리(712))가 도시되어 있지만, 저장 매체는 원격적으로 분산 또는 위치되고, 네트워크 또는 다른 통신 링크를 통해(예를 들어, 통신 인터페이스(714)를 사용하여) 액세스될 수 있음을 알 것이다.
통신 인터페이스(714)는 제어 신호들을 실세계 장난감에 송신하도록 구성될 수 있으며, 무선 송신기를 포함할 수 있다. 다양한 예시들에서, 통신 인터페이스(714)는 또한, 실세계 장난감으로부터 센서 데이터를 수신하도록 구성될 수 있고, 무선 수신기를 포함할 수 있다. 그러한 예시들에서, 통신 인터페이스(714)는 실세계 장난감으로부터 직접 또는 중간 디바이스를 통해 데이터를 수신할 수 있다.
컴퓨팅 기반 디바이스(700)가 (예를 들어, 도 2에서 도시된 바와 같이) 실세계 장난감 내에 통합되는 예시들에서, 통신 인터페이스(714)는 제어 신호들을 실세계 장난감에 송신하도록 구성되지 않을 수 있지만, 대신에 프리젠테이션 디바이스(115)를 포함하는 컴퓨팅 디바이스에 디스플레이 데이터를 송신하도록 구성될 수 있다.
컴퓨팅 기반 디바이스(700)는 또한, 입력/출력 제어기(716)를 포함할 수 있다. 입력/출력 제어기는 가상 세계를 사용자에게 제시하는데 사용하기 위한 프리젠테이션 정보(또는 디스플레이 데이터)를, 컴퓨팅 기반 디바이스(700)와 분리되거나 또는 이와 통합될 수 있는 프리젠테이션 디바이스(718)(예를 들어, 디스플레이 디바이스)에 출력하도록 구성될 수 있다. 입력/출력 제어기(716)는 또한, 사용자 입력 디바이스(724)(예를 들어, 마우스, 키보드, 카메라, 마이크로폰, 또는 다른 센서)와 같은 하나 이상의 디바이스들로부터 입력을 수신하고 처리하도록 구성될 수 있다. 일부 예시들에서, 사용자 입력 디바이스(724)는 음성 입력, 사용자 제스처, 또는 다른 사용자 동작을 검출할 수 있고, 내추럴 사용자 인터페이스(natural user interface; NUI)를 제공할 수 있다. 이 사용자 입력은 대화형 스토리를 추가로 제어하는데 사용될 수 있다. 실시예에서, 프리젠테이션 디바이스(718)는 또한, 터치 감지형 디스플레이 디바이스인 경우, 사용자 입력 디바이스(724)로서 역할을 할 수 있다. 또한, 입력/출력 제어기(716)는 디스플레이 디바이스 이외의 다른 디바이스들, 예를 들어, 로컬 연결된 인쇄 디바이스(도 7에서는 도시되지 않음)에 데이터를 출력할 수 있다.
입력/출력 제어기(716), 프리젠테이션 디바이스(718), 및 사용자 입력 디바이스(724) 중 어떠한 것도, 마우스, 키보드, 원격 제어기 등과 같은 입력 디바이스에 의해 도입된 인위적인 제약이 없는, 내추럴한 방식으로 사용자가 컴퓨팅 기반 디바이스와 상호작용할 수 있게 하는 NUI 기술을 포함할 수 있다. 제공될 수 있는 NUI 기술들의 예시들에는, 비제한적인 예시들로서, 음성 및/또는 스피치 인식, 터치 및/또는 스타일러스 인식(터치 민감형 디스플레이), 스크린 상과 스크린에 인접한 곳에서의 제스처 인식, 에어 제스처, 머리와 안구 추적, 스피치 및 음성, 시각, 터치, 제스처들, 및 머신 지능에 의존한 것들이 포함된다. 이용될 수 있는 NUI 기술의 다른 예시들은 의도 및 목표 이해 시스템, (입체 카메라 시스템, 적외선 카메라 시스템, RGB 카메라 시스템, 및 이들의 조합들과 같은) 깊이 카메라들을 이용한 동작 제스처 검출 시스템, 가속도계/자이로스코프를 이용한 동작 제스처 검출, 안면 인식, 3D 디스플레이, 머리, 안구, 및 시선 추적, 몰입형 증강 현실 및 가상 현실 시스템, 및 전기장 감지 전극들(EEG 및 관련 방법들)을 이용한 두뇌 활동을 감지하기 위한 기술들을 포함한다.
본 예시들은 도 1 및 도 2에서 도시된 바와 같이 (실세계 장난감 및 관련 대화형 소프트웨어 경험부를 포함하는) 플레이 시스템에서 구현되는 것으로서 본 명세서에서 설명되고 예시되었지만, 설명된 시스템은 제한이 아닌 예시로서 제공된 것이다. 본 업계의 당업자라면 알 수 있듯이, 본 예시들은 다양한 여러가지 유형들의 플레이 시스템에서의 적용에 적절하다.
양태는 대화형 소프트웨어 경험부에 의해 생성된 제어 신호들을 수신하기 위한 입력부를 포함하는 장난감을 제공한다. 제어 신호들은 가상 환경에서 가상 객체의 물리 엔진에 의해 수행되는 모델링에 기초하여 생성되고, 가상 객체는 장난감 또는 근접해 있는 장난감에 대응한다. 장난감은 또한 제어 신호의 수신에 응답하여 가상 객체에 대응하는 장난감의 적어도 일부분(예를 들어, 바퀴, 팔다리 등)의 동작을 변경하도록 작동하는 제어 메커니즘을 포함한다. 예시에서, 가상 객체는 장난감 자체에 대응하고, 제어 메커니즘은 장난감 자체의 적어도 일부분의 동작을 변경시킨다. 다른 예시에서, 가상 객체는 근접해 있는 장난감(즉, 장난감 자체에 가까이 있는 제2 장난감)에 대응하고, 제어 메커니즘은 그 근접해 있는 장난감의 적어도 일부분의 동작을 변경시킨다.
이것은 실세계 장난감의 실세계 동작을 대화형 소프트웨어 경험부 내의 가상 세계 동작과 (예를 들어, 사용자에 대해 외관상 및/또는 느낌상) 보다 밀접히 일치되게 한다. 이것은 사용자 경험을 향상시키고 보다 몰입감 있는 경험을 제공한다(즉, 사용자는 물리적 장난감이 더욱 더 가상 세계의 일부인 것처럼 느낀다).
다양한 예시들에서, 제어 메커니즘은, 가상 환경에서의 가상 객체의 모델링된 동작과 가상 객체에 대응하는 장난감의 실세계 동작 사이의 차이를 감소시키도록, 가상 객체에 대응하는 장난감의 적어도 일부분의 동작을 변경시키도록 작동한다. 예를 들어, 제어 메커니즘은 가상 환경에서의 가상 객체의 모델링된 동작을 (실세계에서) 모방하기 위해 장난감의 적어도 일부분의 동작을 변경하도록 작동할 수 있다.
다양한 예시들에서, 제어 메커니즘은 하나 이상의 액추에이터들을 포함하며, 액추에이터들은 제어 신호들에 의해 제어가능하다. 이들 액추에이터들은 실세계 장난감의 동작을 변경시킨다.
다양한 예시들에서, 입력은 대화형 소프트웨어 경험부를 실행하는 (또는 실행할 수 있는) 컴퓨팅 디바이스로부터 신호들을 수신하도록 구성된 통신 인터페이스를 포함한다.
다양한 예시들에서, 장난감은 가상 객체에 대응하는 장난감의 주변환경의 양태를 검출하고/검출하거나 가상 객체에 대응하는 장난감의 동작을 검출하도록 구성된 하나 이상의 센서들을 더 포함한다. 이것은 더욱 더 사용자 경험을 향상시키고 보다 몰입감 있는 경험을 제공한다(즉, 사용자는 물리적 장난감이 더욱 더 가상 세계의 일부인 것처럼 느낀다). 동작을 감지함으로써, 물리 엔진은 실세계 장난감 내에서 상보적인 또는 응답적인 동작을 생성할 수있다(예를 들어, 예시들(401, 402, 405)을 참조하여 위에서 설명된 바와 같이, 사용자에 의한 초기 액션에 대한 장난감 내에서의 반응을 생성할 수 있다).
장난감이 가상 객체에 대응하는 다양한 예시들에서, 장난감은 물리 엔진을 더 포함한다.
장난감이 가상 객체에 대응하는 다양한 예시들에서, 장난감은 프로세서 및 메모리를 더 포함한다. 메모리는 물리 엔진(실행될 때 프로세서로 하여금 가상 환경에서 가상 객체의 동작을 모델링하게 하는, 디바이스로 실행가능한 명령어들을 포함함); 및 실행될 때 프로세서로 하여금, 모델링에 기초하여 제어 신호들을 생성하고, 그래픽 사용자 인터페이스 데이터를 생성하게 하는, 디바이스로 실행가능한 명령어들을 포함하며, 그래픽 사용자 인터페이스는 가상 환경에서 가상 객체를 보여준다.
다양한 예시들에서, 장난감은 그래픽 사용자 인터페이스를 디스플레이하기 위한 프리젠테이션 디바이스를 포함하는 컴퓨팅 디바이스에 그래픽 사용자 인터페이스 데이터를 전송하도록 구성된 통신 인터페이스를 더 포함한다.
또다른 양태는 가상 환경에서의 가상 객체의 동작을 물리 엔진에서 모델링하는 단계; 및 물리적 장난감의 적어도 일부분의 동작을 변경시킴으로써 물리 엔진으로부터의 출력을 물리적 장난감에 도입시키는 제어 신호들을 생성하는 단계를 포함하며, 가상 객체는 물리적 장난감에 대응한다. 본 방법은 그래픽 사용자 인터페이스 데이터를 생성하는 단계를 더 포함할 수 있으며, 그래픽 사용자 인터페이스는 가상 환경에서 가상 객체를 보여준다.
다양한 예시들에서, 제어 신호들은 가상 환경에서의 가상 객체의 모델링된 동작과 장난감의 실세계 동작 간의 차이를 감소시키기 위해 장난감의 적어도 일부분의 동작을 변경시키기 위해 생성된다.
다양한 예시들에서, 본 방법은 통신 인터페이스를 통해, 물리적 장난감에 제어 신호들을 전송하는 단계를 더 포함한다.
다양한 예시들에서, 본 방법은 프리젠테이션 디바이스 상에 그래픽 사용자 인터페이스를 디스플레이하는 단계를 더 포함한다.
다양한 예시들에서, 본 방법은 통신 인터페이스를 통해, 그래픽 사용자 인터페이스 데이터를 프리젠테이션 디바이스에 전송하는 단계를 더 포함한다.
다양한 예시들에서, 본 방법은, 장난감의 동작 및/또는 장난감의 주변환경의 양태를 식별하는 센서 데이터를 수신하는 단계; 및, 가상 환경에서의 가상 객체의 동작을 물리 엔진에서 모델링할 때 센서 데이터를 사용하는 단계를 더 포함한다.
다양한 예시들에서, 센서 데이터는 통신 인터페이스를 통해 장난감으로부터 수신된다.
다른 양태는 프로세서 및 메모리를 포함하는 컴퓨팅 기반 디바이스를 제공한다. 메모리는 실행될 때 프로세서로 하여금, 가상 환경에서의 가상 객체의 동작을 모델링하게 하며, 모델링에 기초하여 제어 신호들을 생성하게 하는, 디바이스로 실행가능한 명령어들을 포함하며, 제어 신호들은 가상 장난감에 대응하는 물리적 장난감의 적어도 일부분의 동작을 변경시키도록 작동한다. 디바이스로 실행가능한 명령어들은 또한, 실행될 때, 프로세서로 하여금, 그래픽 사용자 인터페이스 데이터를 생성하게 할 수 있으며, 그래픽 사용자 인터페이스는 가상 환경에서 가상 객체를 보여준다.
다양한 예시들에서, 제어 신호들은 가상 환경에서의 가상 객체의 모델링된 동작과 장난감의 실세계 동작 간의 차이를 감소시키도록 작동된다.
다양한 예시들에서, 컴퓨팅 기반 디바이스는 제어 신호들을 물리적 장난감 또는 근접해 있는 장난감에 전송하도록 구성된 통신 인터페이스를 더 포함한다. 이러한 방식으로, 동작의 제어는 모델링 중에 있는 장난감 또는 물리 엔진에 의해 모델링 중에 있는 장난감에 가까이 있는 장난감(예컨대, 트랙, 베이스보드(baseboard) 등에 의해 제어가 수행되는 경우) 내에서 구현될 수 있다.
다양한 예시들에서, 통신 인터페이스는 또한 물리적 장난감으로부터 센서 데이터를 수신하도록 구성되고, 센서 데이터는 물리적 장난감의 동작 및/또는 물리적 장난감의 주변환경에 관한 정보를 제공하며, 센서 데이터는 가상 환경에서의 가상 객체의 동작을 모델링하는데 사용된다.
다른 양태는 대화형 소프트웨어 경험부에 의해 생성된 제어 신호들을 수신하기 위한 수단을 포함하는 장난감을 제공한다. 제어 신호들은 가상 환경에서 가상 객체의 물리 엔진에 의해 수행되는 모델링에 기초하여 생성되고, 가상 객체는 장난감에 대응한다. 장난감은 또한 제어 신호의 수신에 응답하여 장난감의 적어도 일부분(예를 들어, 바퀴, 팔다리 등)의 동작을 변경하기 위한 수단을 포함한다.
또다른 양태는 가상 환경에서 가상 객체의 동작을 모델링하는 수단 및 상기 모델링에 기초하여 제어 신호들을 생성하는 수단을 포함하는 컴퓨팅 기반 디바이스를 제공하며, 제어 신호들은 가상 장난감에 대응하는 물리적 장난감의 적어도 일부분의 동작을 변경하도록 작동한다. 컴퓨팅 기반 디바이스는 그래픽 사용자 인터페이스 데이터를 생성하는 수단을 더 포함할 수 있으며, 그래픽 사용자 인터페이스는 가상 환경에서 가상 객체를 보여준다.
여기서의 용어 '컴퓨터’ 또는 '컴퓨팅 기반 디바이스'는 명령어들을 실행할 수 있도록 하는 처리 능력을 가진 임의의 디바이스를 지칭하는데 사용된다. 본 업계의 당업자는 이러한 처리 능력들은 많은 상이한 디바이스들 내에 통합되며, 이에 따라, 용어들 '컴퓨터’ 및 '컴퓨팅 기반 디바이스’ 각각은 PC, 서버, 이동 전화기(스마트 폰을 포함함), 태블릿 컴퓨터, 셋탑 박스, 미디어 플레이어, 게임 콘솔, 개인용 정보 단말기 및 기타 많은 디바이스들을 포함한다는 것을 알 것이다.
본 명세서에서 설명된 방법들은 유형적 저장 매체 상의 머신 판독가능한 형태, 즉 프로그램이 컴퓨터 상에서 실행될 때 본 명세서에서 설명된 방법들 중 임의의 방법의 모든 단계들을 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램의 형태의 소프트웨어에 의해 수행될 수 있고, 컴퓨터 프로그램은 컴퓨터로 판독가능한 매체 상에 포함될 수 있다. 유형적 저장 매체의 예시들은 디스크, 썸 드라이브(thumb drive), 메모리 등과 같은, 컴퓨터로 판독가능한 매체를 포함하는 컴퓨터 저장 디바이스들을 포함하며, 전파된 신호들을 포함하지는 않는다. 전파된 신호들은 유형적 저장 매체 내에 존재할 수 있지만, 전파된 신호 자체는 유형적 저장 매체의 예시들은 아니다. 본 방법 단계들이 임의의 적절한 순서로 또는 동시에 수행될 수 있도록 본 소프트웨어는 병렬 프로세서 또는 직렬 프로세서 상에서 실행하기에 적합할 수 있다.
이것은 소프트웨어가 가치가 있고 별도로 거래가능한 상품일 수 있다는 것을 확인시킨다. 이것은 원하는 기능들을 수행하기 위해 "덤(dumb)” 하드웨어 또는 표준 하드웨어 상에서 실행되거나 또는 이를 제어하는 소프트웨어를 포함한다. 또한 원하는 기능들을 수행하기 위해 실리콘 칩을 설계하거나, 또는 범용 프로그래머블 칩을 구성하는데 사용되는 하드웨어 기술어(hardware description language; HDL) 소프트웨어와 같은, 하드웨어의 구성을 "기술"하거나 정의하는 소프트웨어를 망라하는 것이 의도된다.
본 업계의 당업자는 프로그램 명령어들을 저장하기 위해 사용되는 저장 디바이스들이 네트워크를 통해 분산될 수 있다는 것을 알 것이다. 예를 들어, 원격 컴퓨터는 소프트웨어로서 설명된 프로세스의 예시를 저장할 수 있다. 로컬 또는 단말 컴퓨터가 원격 컴퓨터에 액세스하며 소프트웨어의 일부 또는 전체를 다운로드하여 프로그램을 실행할 수 있다. 대안적으로, 로컬 컴퓨터는 필요에 따라 소프트웨어 조각들을 다운로드하거나, 또는 로컬 단말에 있는 일부 소프트웨어 명령어들과 원격 컴퓨터(또는 컴퓨터 네트워크)에 있는 일부를 실행할 수 있다. 본 업계의 당업자는 또한 본 업계의 당업자에게 공지된 종래의 기술들을 이용함으로써, 소프트웨어 명령어들의 일부 또는 전부가 프로그래머블 로직 어레이, 또는 DSP 등과 같은 전용 회로에 의해 수행될 수 있다는 것을 알 것이다.
여기에 주어진 임의의 범위 또는 디바이스 값은 본 업계의 당업자에게 명백한 바와 같이, 원하는 효과를 잃지 않고서 연장되거나 변경될 수 있다.
본 발명내용은 구조적 특징들 및/또는 방법론적 동작들에 특유적인 용어로 기술되었지만, 첨부된 청구항들에서 정의된 발명내용은 위에서 설명된 이러한 특정한 특징들 또는 동작들로 반드시 제한될 필요는 없다는 것을 이해하여야 한다. 이보다는, 위에서 설명된 특정한 특징들 및 동작들은 청구항들을 구현하는 예시 형태들로서 개시된 것이다.
전술한 이점들 및 장점들은 일 실시예와 관련될 수 있거나 또는 여러 실시예들과 관련될 수 있음을 이해할 것이다. 실시예들은 언급된 문제점들 중 일부 또는 전부를 해결하는 실시예 또는 언급된 이점들 및 장점들 중 일부 또는 전부를 갖는 실시예로 제한되지 않는다. 단수 표시의 항목에 대한 언급은 하나 이상의 이러한 항목들을 언급한다는 것임을 또한 이해할 것이다.
본 명세서에서 설명된 방법들의 단계들은 임의의 적절한 순서로 수행될 수 있거나, 또는 적절한 경우 동시에 수행될 수 있다. 추가적으로, 개별 블록들은 본 명세서에 설명된 발명내용의 사상 및 범위를 벗어나지 않고서 임의의 방법으로부터 삭제될 수 있다. 전술한 임의의 예시들의 양태들은 설명된 다른 임의의 예시들의 양태들과 결합되어, 원하는 효과를 잃지 않고서 추가의 예시들을 형성할 수 있다.
여기서의 용어 "포함하는"은 식별된 방법 블록들 또는 엘리먼트들을 포함하는 것을 의미하지만, 그러한 블록들 또는 엘리먼트들은 배타적인 나열을 포함한 것은 아니며, 방법 또는 장치는 추가적인 블록들 또는 엘리먼트들을 포함할 수 있다.
여기서의 용어 '서브세트'는 세트의 서브세트가 세트의 모든 엘리먼트들을 포함하지 않도록(즉, 세트의 엘리먼트들 중 적어도 하나의 엘리먼트가 서브세트로부터 누락됨) 하는 적절한 서브세트를 지칭하는데 사용된다.
상기 설명은 단지 예시로서 주어진 것이며 본 업계의 당업자에 의해 다양한 변형들이 이루어질 수 있음을 이해할 것이다. 상기의 사양, 예시들 및 데이터는 예시적인 실시예들의 구조 및 이용의 완전한 설명을 제공한다. 다양한 실시예들이 일정한 상세도로, 또는 하나 이상의 개별적인 실시예들을 참조하여 전술되었지만, 본 업계의 당업자는 본 명세서의 사상 또는 범위를 벗어나지 않으면서 개시된 실시예들에 다수의 변경을 취할 수 있다.

Claims (10)

  1. 장난감에 있어서,
    대화형 소프트웨어 경험부에 의해 생성된 제어 신호들을 수신하기 위한 입력부로서, 상기 제어 신호들은 물리 엔진에 의해 수행되는 가상 환경에서의 가상 객체의 모델링에 기초하여 생성되며, 상기 가상 객체는 상기 장난감 또는 근접해 있는 장난감에 대응한 것인, 상기 입력부; 및
    제어 신호를 수신한 것에 응답하여 상기 가상 객체에 대응하는 상기 장난감의 적어도 일부분의 동작을 변경하도록 작동하는 제어 메커니즘
    을 포함하는 장난감.
  2. 제1항에 있어서,
    상기 제어 메커니즘은, 상기 가상 환경에서의 상기 가상 객체의 모델링된 동작과 상기 가상 객체에 대응하는 상기 장난감의 실세계 동작 간의 차이를 감소시키도록, 상기 가상 객체에 대응하는 상기 장난감의 적어도 일부분의 동작을 변경시키도록 작동하는 것인, 장난감.
  3. 제1항에 있어서,
    상기 제어 메커니즘은 하나 이상의 액추에이터들을 포함하며,
    상기 액추에이터들은 상기 제어 신호들에 의해 제어가능한 것인, 장난감.
  4. 제1항에 있어서,
    상기 입력부는 상기 대화형 소프트웨어 경험부를 구동시키는 컴퓨팅 디바이스로부터 신호들을 수신하도록 구성된 통신 인터페이스를 포함한 것인, 장난감.
  5. 제1항에 있어서,
    하나 이상의 센서들
    을 더 포함하고,
    상기 센서들은,
    상기 가상 객체에 대응하는 상기 장난감의 주변환경들의 양태; 및
    상기 가상 객체에 대응하는 상기 장난감의 동작
    중 적어도 하나를 검출하도록 구성된 것인, 장난감.
  6. 제1항에 있어서,
    상기 장난감은 상기 가상 객체에 대응하며,
    상기 장난감은 상기 물리 엔진을 더 포함한 것인, 장난감.
  7. 제6항에 있어서,
    프로세서; 및
    메모리
    를 더 포함하고,
    상기 물리 엔진은, 실행될 때, 상기 프로세서로 하여금, 상기 가상 환경에서의 상기 가상 객체의 동작을 모델링하게 하는, 상기 메모리에 저장된, 디바이스로 실행가능한 명령어들을 포함하고,
    상기 메모리는, 실행될 때, 상기 프로세서로 하여금,
    상기 모델링에 기초하여 상기 제어 신호들을 생성하게 하고,
    그래픽 사용자 인터페이스 데이터를 생성하게 하는, 디바이스로 실행가능한 명령어들
    을 더 포함하며,
    상기 그래픽 사용자 인터페이스는 상기 가상 환경에서 상기 가상 객체를 보여주는 것인, 장난감.
  8. 방법에 있어서,
    물리 엔진에서, 가상 환경에서의 가상 객체의 동작을 모델링하는 단계; 및
    물리적 장난감의 적어도 일부분의 동작을 변경시킴으로써 상기 물리 엔진으로부터의 출력을 물리적 장난감에 도입시키는 제어 신호들을 생성하는 단계
    를 포함하며,
    상기 가상 객체는 상기 물리적 장난감에 대응한 것인, 방법.
  9. 제8항에 있어서,
    상기 제어 신호들은 상기 가상 환경에서의 상기 가상 객체의 모델링된 동작과 상기 장난감의 실세계 동작 간의 차이를 감소시키기 위해 상기 장난감의 적어도 일부분의 동작을 변경시키기 위해 생성되는 것인, 방법.
  10. 제8항에 있어서,
    통신 인터페이스를 통해, 상기 물리적 장난감에 상기 제어 신호들을 전송하는 단계
    를 더 포함하는 방법.
KR1020177001690A 2014-06-30 2015-06-29 물리 엔진을 이용한 물리적 장난감 제어 KR102292522B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/320,399 2014-06-30
US14/320,399 US10518188B2 (en) 2014-06-30 2014-06-30 Controlling physical toys using a physics engine
PCT/US2015/038218 WO2016003847A1 (en) 2014-06-30 2015-06-29 Controlling physical toys using a physics engine

Publications (2)

Publication Number Publication Date
KR20170020497A true KR20170020497A (ko) 2017-02-22
KR102292522B1 KR102292522B1 (ko) 2021-08-20

Family

ID=53511059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177001690A KR102292522B1 (ko) 2014-06-30 2015-06-29 물리 엔진을 이용한 물리적 장난감 제어

Country Status (5)

Country Link
US (1) US10518188B2 (ko)
EP (1) EP3160608B1 (ko)
KR (1) KR102292522B1 (ko)
CN (1) CN106471505B (ko)
WO (1) WO2016003847A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180134635A (ko) * 2017-06-09 2018-12-19 동명대학교산학협력단 가상현실에 기반하는 객체 처리장치 및 그 동작 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169666B2 (en) * 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10369477B2 (en) 2014-10-08 2019-08-06 Microsoft Technology Licensing, Llc Management of resources within a virtual world
US9696757B2 (en) 2014-10-08 2017-07-04 Microsoft Corporation Transfer of attributes between generations of characters
US9474964B2 (en) 2015-02-13 2016-10-25 Jumo, Inc. System and method for providing state information of an action figure
US9833695B2 (en) * 2015-02-13 2017-12-05 Jumo, Inc. System and method for presenting a virtual counterpart of an action figure based on action figure state information
US9205336B1 (en) 2015-03-02 2015-12-08 Jumo, Inc. System and method for providing secured wireless communication with an action figure or action figure accessory
US10197998B2 (en) 2015-12-27 2019-02-05 Spin Master Ltd. Remotely controlled motile device system
US10758835B1 (en) * 2016-02-12 2020-09-01 Perry Teri Toys, Llc Pop sensor system and device for revealing a winner
EP3455700A1 (en) * 2016-05-12 2019-03-20 Google LLC System and method relating to movement in a virtual reality environment
US10751605B2 (en) * 2016-09-29 2020-08-25 Intel Corporation Toys that respond to projections
CN106730899A (zh) * 2016-11-18 2017-05-31 武汉秀宝软件有限公司 一种玩具的控制方法及系统
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10846205B2 (en) * 2017-12-21 2020-11-24 Google Llc Enhancements to support testing of augmented reality (AR) applications
US20190206215A1 (en) * 2018-01-03 2019-07-04 Sebourn Ferguson Proximity Induced Messaging Device
US10937240B2 (en) * 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
CN109254546A (zh) * 2018-08-13 2019-01-22 瑞声科技(新加坡)有限公司 虚拟汽车引擎控制系统及方法
US20200261815A1 (en) * 2019-02-15 2020-08-20 Phillip H. Neal Interactive toy vehicle
FR3098955B1 (fr) * 2019-07-19 2021-07-23 ISKn Procédé de commande d’une interface graphique pour afficher le lancer d’un projectile dans un environnement virtuel
WO2021100037A1 (en) 2019-11-18 2021-05-27 Elbit Systems Ltd. A system and method for mixed reality
WO2021105984A1 (en) * 2019-11-25 2021-06-03 Alon Melchner System and method for dynamic synchronization between real and virtual environments
US11517812B2 (en) 2021-02-19 2022-12-06 Blok Party, Inc. Application of RFID gamepieces for a gaming console
WO2023031155A1 (en) * 2021-08-30 2023-03-09 Lego A/S System and method for augmented reality for a moveable real-world object
CN113829348B (zh) * 2021-09-30 2023-08-15 上海傅利叶智能科技有限公司 基于物理引擎的机器人控制方法、装置和康复机器人

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090315839A1 (en) * 2008-06-24 2009-12-24 Microsoft Corporation Physics simulation-based interaction for surface computing
US20110028219A1 (en) * 2009-07-29 2011-02-03 Disney Enterprises, Inc. (Burbank, Ca) System and method for playsets using tracked objects and corresponding virtual worlds
US20130324250A1 (en) * 2009-05-28 2013-12-05 Anki, Inc. Integration of a robotic system with one or more mobile computing devices

Family Cites Families (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031549A (en) 1995-07-19 2000-02-29 Extempo Systems, Inc. System and method for directed improvisation by computer controlled characters
JPH09205733A (ja) 1996-01-26 1997-08-05 Nippon Steel Corp 充電装置
US6572431B1 (en) 1996-04-05 2003-06-03 Shalong Maa Computer-controlled talking figure toy with animated features
JP2001525716A (ja) 1997-05-19 2001-12-11 クリエイター・リミテッド プログラム可能な組立玩具
US6159101A (en) 1997-07-24 2000-12-12 Tiger Electronics, Ltd. Interactive toy products
US6305688B1 (en) 1998-04-27 2001-10-23 Robert M. Waroway Geometrically patterned tiles and game
US6149490A (en) 1998-12-15 2000-11-21 Tiger Electronics, Ltd. Interactive toy
WO2000044464A1 (en) 1999-01-28 2000-08-03 Lego A/S A remote controlled toy
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US6290565B1 (en) 1999-07-21 2001-09-18 Nearlife, Inc. Interactive game apparatus with game play controlled by user-modifiable toy
AU6646900A (en) 1999-08-19 2001-03-13 Kidkids, Inc. Networked toys
US8956228B2 (en) 1999-12-03 2015-02-17 Nike, Inc. Game pod
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
GB0004688D0 (en) 2000-02-28 2000-04-19 Radley Smith Philip J Bracelet
US6773344B1 (en) 2000-03-16 2004-08-10 Creator Ltd. Methods and apparatus for integration of interactive toys with interactive television and cellular communication systems
WO2001069829A2 (en) 2000-03-16 2001-09-20 Creator Ltd. Networked interactive toy apparatus operative to promote sales
WO2001069799A2 (en) 2000-03-16 2001-09-20 Creator Ltd. Methods and apparatus for integration of interactive toys with interactive television and cellular communication systems
US6877096B1 (en) 2000-04-11 2005-04-05 Edward J. Chung Modular computer applications with expandable capabilities
US20020082065A1 (en) 2000-12-26 2002-06-27 Fogel David B. Video game characters having evolving traits
US6629591B1 (en) 2001-01-12 2003-10-07 Igt Smart token
US6682392B2 (en) 2001-04-19 2004-01-27 Thinking Technology, Inc. Physically interactive electronic toys
US6923717B2 (en) 2001-05-15 2005-08-02 Nintendo Of America Inc. Adrenaline feature for sports video games
US20020196250A1 (en) 2001-06-20 2002-12-26 Gateway, Inc. Parts assembly for virtual representation and content creation
US6569019B2 (en) 2001-07-10 2003-05-27 William Cochran Weapon shaped virtual reality character controller
JP2003038842A (ja) 2001-07-27 2003-02-12 Konami Co Ltd ゲーム装置用位置検出装置
US6575802B2 (en) 2001-08-24 2003-06-10 Xerox Corporation Robotic toy modular system with distributed program
US6454624B1 (en) 2001-08-24 2002-09-24 Xerox Corporation Robotic toy with posable joints
US20030232649A1 (en) * 2002-06-18 2003-12-18 Gizis Alexander C.M. Gaming system and method
EP1550085B1 (en) 2002-10-11 2006-12-13 Lego A/S Method of generating a computer readable model
US7862428B2 (en) 2003-07-02 2011-01-04 Ganz Interactive action figures for gaming systems
CN1584838A (zh) 2003-08-22 2005-02-23 泉茂科技股份有限公司 虚拟环境与无线模型同步系统
US20050049725A1 (en) * 2003-08-25 2005-03-03 Zyh-Ming Huang Synchronous system for virtual reality frame and real objects
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
EP1524586A1 (en) 2003-10-17 2005-04-20 Sony International (Europe) GmbH Transmitting information to a user's body
US6954659B2 (en) 2003-11-24 2005-10-11 World Mobile Technologies, Inc. Fashion accessory with wireless signal alerting device
AU2004309432B2 (en) 2003-12-31 2010-12-09 2121200 Ontario Inc. System and method for toy adoption and marketing
US7618260B2 (en) 2004-02-27 2009-11-17 Daniel Simon R Wearable modular interface strap
WO2005086866A2 (en) 2004-03-09 2005-09-22 Heartrate Games, Inc. User interactive exercise system
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US20050255916A1 (en) 2004-05-12 2005-11-17 Paul Chen Adaptable game controller
WO2006008573A1 (en) 2004-07-10 2006-01-26 Nokia Corporation A device and system for playing a game and a method for controlling a game
US7433649B2 (en) 2004-09-10 2008-10-07 Motorola, Inc. Tag for facilitating interaction with a wireless communication device
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US7154363B2 (en) 2004-12-23 2006-12-26 Larry Dean Hunts Magnetic connector apparatus
NL1028435C1 (nl) 2005-03-01 2006-09-06 Prima Support B V Stelsel van lichamen die door onderling afvragen een voorafbepaalde opeenvolging detecteren en dan gezamenlijk signaleren, bergdoos voor een dergelijk stelsel en geheugen geschikt voor gebruik in een dergelijke bergdoos.
US20060223637A1 (en) * 2005-03-31 2006-10-05 Outland Research, Llc Video game system combining gaming simulation with remote robot control and remote robot feedback
EP1900068A4 (en) 2005-06-30 2011-02-02 David Didur ORIENTABLE MAGNETIC ELECTRICAL CONNECTOR
US7403202B1 (en) * 2005-07-12 2008-07-22 Electronic Arts, Inc. Computer animation of simulated characters using combinations of motion-capture data and external force modelling or other physics models
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7311526B2 (en) 2005-09-26 2007-12-25 Apple Inc. Magnetic connector for electronic device
US20070097832A1 (en) 2005-10-19 2007-05-03 Nokia Corporation Interoperation between virtual gaming environment and real-world environments
US8157611B2 (en) 2005-10-21 2012-04-17 Patent Category Corp. Interactive toy system
US20130288563A1 (en) 2005-10-21 2013-10-31 Patent Category Corporation Interactive toy system
WO2007095314A2 (en) 2006-02-14 2007-08-23 Jakks Pacific, Inc. Portable interactive game device with separate console for enhanced features and alternate display capability
US20070198117A1 (en) 2006-02-17 2007-08-23 Nasir Wajihuddin Interactive custom design and building of toy vehicle
US8206217B2 (en) 2006-02-21 2012-06-26 Witchey Nicholas J Apparatus and methods of physical game components
JP4846416B2 (ja) 2006-03-30 2011-12-28 株式会社コナミデジタルエンタテインメント 複合ゲームシステム
US20070293319A1 (en) 2006-06-20 2007-12-20 Microsoft Corporation Transfer of Features Between Gaming Devices
US8628414B2 (en) 2006-07-14 2014-01-14 Valve Corporation Enhanced commentary system for 3D computer entertainment
US9205329B2 (en) 2006-07-25 2015-12-08 Mga Entertainment, Inc. Virtual world electronic game
US20080045283A1 (en) 2006-08-16 2008-02-21 Microsoft Corporation Transfer of Game Characters
US8147315B2 (en) 2006-09-12 2012-04-03 Aristocrat Technologies Australia Ltd Gaming apparatus with persistent game attributes
US8924248B2 (en) 2006-09-26 2014-12-30 Fitbit, Inc. System and method for activating a device based on a record of physical activity
US8548819B2 (en) 2007-04-17 2013-10-01 Ridemakerz, Llc Method of providing a consumer profile accessible by an on-line interface and related to retail purchase of custom personalized toys
GB2448883A (en) 2007-04-30 2008-11-05 Sony Comp Entertainment Europe Interactive toy and entertainment device
TW200927247A (en) 2007-07-03 2009-07-01 G Time Electronic Co Ltd Game system and method of playing game
US20090029771A1 (en) 2007-07-25 2009-01-29 Mega Brands International, S.A.R.L. Interactive story builder
US8491365B2 (en) 2007-08-17 2013-07-23 Nintendo Co., Ltd. Sports video game with enhanced control features
WO2009038797A2 (en) 2007-09-20 2009-03-26 Evolution Robotics Robotic game systems and methods
WO2009038772A2 (en) 2007-09-20 2009-03-26 Evolution Robotics Transferable intelligent control device
EP2205334A1 (en) 2007-09-21 2010-07-14 Robonica (Proprietary) Limited Display of information in a mobile toy gaming system
US20090094287A1 (en) 2007-10-03 2009-04-09 Johnson Robin M Computerized Game and Associated Physical Game Piece for Trading and Tracking via an Online Community
US20090104988A1 (en) 2007-10-23 2009-04-23 Enge Amy D Three-dimensional game piece
US8257157B2 (en) 2008-02-04 2012-09-04 Polchin George C Physical data building blocks system for video game interaction
US20090206548A1 (en) 2008-02-15 2009-08-20 Scott Allan Hawkins Protective game piece cover and faceplates
US9002752B2 (en) 2008-02-18 2015-04-07 Massachusetts Institute Of Technology Tangible social network
US20090265642A1 (en) 2008-04-18 2009-10-22 Fuji Xerox Co., Ltd. System and method for automatically controlling avatar actions using mobile sensors
US8058837B2 (en) 2008-05-02 2011-11-15 Nike, Inc. Charging system for an article of footwear
US20090291764A1 (en) 2008-05-21 2009-11-26 George Francis Kirkman System and apparatus for a controlled toy to interact with a computer game
WO2012033863A1 (en) 2010-09-09 2012-03-15 Tweedletech, Llc A board game with dynamic characteristic tracking
US10155156B2 (en) 2008-06-03 2018-12-18 Tweedletech, Llc Multi-dimensional game comprising interactive physical and virtual components
US8446414B2 (en) 2008-07-14 2013-05-21 Microsoft Corporation Programming APIS for an extensible avatar system
US8384719B2 (en) 2008-08-01 2013-02-26 Microsoft Corporation Avatar items and animations
US20100035726A1 (en) 2008-08-07 2010-02-11 John Fisher Cardio-fitness station with virtual-reality capability
US9480919B2 (en) 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
US8226476B2 (en) 2008-11-04 2012-07-24 Quado Media Inc. Multi-player, multi-screens, electronic gaming platform and system
US20100274902A1 (en) * 2009-04-23 2010-10-28 Douglas Penman System and Method for N-Way Communication with and between Locking/Unlocking Morphing Game Peripherals
US20110021109A1 (en) 2009-07-21 2011-01-27 Borei Corporation Toy and companion avatar on portable electronic device
US9472112B2 (en) 2009-07-24 2016-10-18 Modular Robotics Incorporated Educational construction modular unit
US8864497B1 (en) * 2009-11-28 2014-10-21 L-3 Communications Corporation Geographically distributed simulation system, components and methods
US8332544B1 (en) 2010-03-17 2012-12-11 Mattel, Inc. Systems, methods, and devices for assisting play
US20120050198A1 (en) 2010-03-22 2012-03-01 Bruce Cannon Electronic Device and the Input and Output of Data
US9086776B2 (en) 2010-03-29 2015-07-21 Microsoft Technology Licensing, Llc Modifying avatar attributes
DE202010009766U1 (de) 2010-07-02 2010-09-16 Rosenberger Hochfrequenztechnik Gmbh & Co. Kg Drehbarer Steckverbinder
US20120007808A1 (en) 2010-07-08 2012-01-12 Disney Enterprises, Inc. Interactive game pieces using touch screen devices for toy play
JP5102868B2 (ja) 2010-09-09 2012-12-19 株式会社コナミデジタルエンタテインメント ゲームシステム
US8079846B1 (en) 2010-09-24 2011-12-20 Mindray Ds Usa, Inc. Rotatable electrical connector
US8352643B2 (en) * 2010-09-30 2013-01-08 Immersion Corporation Haptically enhanced interactivity with interactive content
US20120142429A1 (en) 2010-12-03 2012-06-07 Muller Marcus S Collaborative electronic game play employing player classification and aggregation
US20120190453A1 (en) 2011-01-25 2012-07-26 Bossa Nova Robotics Ip, Inc. System and method for online-offline interactive experience
US8825187B1 (en) 2011-03-15 2014-09-02 Motion Reality, Inc. Surround sound in a sensory immersive motion capture simulation environment
US9440144B2 (en) 2011-04-21 2016-09-13 Sony Interactive Entertainment Inc. User identified to a controller
US9321172B2 (en) 2011-05-13 2016-04-26 Hdt Expeditionary Systems, Inc. Modular rotational electric actuator
US9381430B2 (en) 2011-05-17 2016-07-05 Activision Publishing, Inc. Interactive video game using game-related physical objects for conducting gameplay
US9180378B2 (en) 2011-05-17 2015-11-10 Activision Publishing, Inc. Conditional access to areas in a video game
US9342186B2 (en) * 2011-05-20 2016-05-17 William Mark Forti Systems and methods of using interactive devices for interacting with a touch-sensitive electronic display
MX339520B (es) 2011-05-23 2016-05-30 Lego As Un sistema de juguete de construccion para realidad aumentada.
WO2012173602A1 (en) 2011-06-14 2012-12-20 Empire Technology Development Llc Starting simulation from a real situation
WO2013056025A1 (en) 2011-10-14 2013-04-18 Ergotron, Inc. Tablet and monitor support systems
US20130109272A1 (en) 2011-10-31 2013-05-02 Stephen M. RINDLISBACHER Method of Controlling a Vehicle or Toy via a Motion-Sensing Device and/or Touch Screen
CN104039406B (zh) 2011-10-31 2017-05-24 模块化机器人公司 模块式运动学构造套件
US8894462B2 (en) 2011-12-22 2014-11-25 Activision Publishing, Inc. Interactive video game with visual lighting effects
JP2013135374A (ja) 2011-12-27 2013-07-08 Studio K:Kk ワイヤレスイヤホン付携帯電話機
JP2015513707A (ja) 2011-12-29 2015-05-14 マイティー キャスト， インコーポレイテッドＭｉｇｈｔｙ Ｃａｓｔ，Ｉｎｃ． コンピュータデバイスと通信可能な双方向性ベース及びトークン
US9827502B2 (en) 2012-01-26 2017-11-28 Activision Publishing, Inc. Interactive video game with toys having special effects
US20130271355A1 (en) 2012-04-13 2013-10-17 Nokia Corporation Multi-segment wearable accessory
US9741145B2 (en) 2012-06-29 2017-08-22 Disney Enterprises, Inc. Augmented reality simulation continuum
US20140002580A1 (en) 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
JP2016502694A (ja) 2012-10-04 2016-01-28 ディズニー エンタープライゼス インコーポレイテッド 没入型環境用のインタラクティブ型オブジェクト
JP6155448B2 (ja) 2012-11-01 2017-07-05 アイカム エルエルシー ３ｄ撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
CN103236720B (zh) 2012-11-15 2016-03-23 朱治民 积木式移动电源与充电器的组合装置
US9314695B2 (en) 2013-01-25 2016-04-19 Brian Claffey Electronic tabletop virtual sports gaming system
US9258691B2 (en) 2013-02-20 2016-02-09 Boku, Inc. Merchant server programmed for user acquisition within a repeat payment computer system
US9675895B2 (en) * 2013-03-13 2017-06-13 Hasbro, Inc. Three way multidirectional interactive toy
KR102171444B1 (ko) 2013-04-22 2020-10-29 엘지전자 주식회사 스마트 워치 및 제어 방법
CN203434701U (zh) 2013-08-23 2014-02-12 上海易教信息科技有限公司 智能充电柜
US9555337B2 (en) * 2013-09-16 2017-01-31 Disney Enterprises, Inc. Method for tracking physical play objects by virtual players in online environments
US9919226B2 (en) 2014-10-08 2018-03-20 Microsoft Technology Licensing, Llc Storage and charging device for game pieces
US9696757B2 (en) 2014-10-08 2017-07-04 Microsoft Corporation Transfer of attributes between generations of characters
US10369477B2 (en) 2014-10-08 2019-08-06 Microsoft Technology Licensing, Llc Management of resources within a virtual world

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090315839A1 (en) * 2008-06-24 2009-12-24 Microsoft Corporation Physics simulation-based interaction for surface computing
US20130324250A1 (en) * 2009-05-28 2013-12-05 Anki, Inc. Integration of a robotic system with one or more mobile computing devices
US20110028219A1 (en) * 2009-07-29 2011-02-03 Disney Enterprises, Inc. (Burbank, Ca) System and method for playsets using tracked objects and corresponding virtual worlds

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180134635A (ko) * 2017-06-09 2018-12-19 동명대학교산학협력단 가상현실에 기반하는 객체 처리장치 및 그 동작 방법

Also Published As

Publication number Publication date
CN106471505B (zh) 2020-05-01
US20150375128A1 (en) 2015-12-31
KR102292522B1 (ko) 2021-08-20
CN106471505A (zh) 2017-03-01
EP3160608A1 (en) 2017-05-03
US10518188B2 (en) 2019-12-31
EP3160608B1 (en) 2019-03-27
WO2016003847A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
KR102292522B1 (ko) 물리 엔진을 이용한 물리적 장난감 제어
US10639544B2 (en) Gaming system for modular toys
JP6154057B2 (ja) ロボットシステムと１つ以上のモバイルコンピューティングデバイスとの統合
US10583354B2 (en) Interactive game apparatus and toy construction system
KR102435699B1 (ko) 게임 시스템
CA2913747C (en) Mobile agents for manipulating, moving, and/or reorienting components
CN106470741B (zh) 交互式玩耍套件
US20120190453A1 (en) System and method for online-offline interactive experience
US10478723B2 (en) Track based play systems
KR20140112352A (ko) 햅틱 리모트 컨트롤 게임을 하기 위한 시스템 및 방법
US20180071626A1 (en) Tag reader and system comprising a tag reader
US20180290068A1 (en) Manipulable blocks that transmit commands to objects or animations based on the positioning of the manipulable blocks
US20240181350A1 (en) Registering hand-held non-electronic object as game controller to control vr object position, orientation, game state
US20240070929A1 (en) Augmented reality system with tangible recognizable user-configured substrates
Naya et al. Robobo: The next generation of educational robot
WO2024129276A1 (en) Using images of upper body motion only to generate running vr character
CN111973998A (zh) 交互式玩具
Hui et al. A 3D interactive assembly, simulation mobile application for intelligent configurable robot

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant