KR20220019282A - 물리적 영역에서 고객과 상호작용하는 디지털 캐릭터 - Google Patents

물리적 영역에서 고객과 상호작용하는 디지털 캐릭터 Download PDF

Info

Publication number
KR20220019282A
KR20220019282A KR1020227000900A KR20227000900A KR20220019282A KR 20220019282 A KR20220019282 A KR 20220019282A KR 1020227000900 A KR1020227000900 A KR 1020227000900A KR 20227000900 A KR20227000900 A KR 20227000900A KR 20220019282 A KR20220019282 A KR 20220019282A
Authority
KR
South Korea
Prior art keywords
human operator
digital character
person
behavior
customer
Prior art date
Application number
KR1020227000900A
Other languages
English (en)
Inventor
사라 사이알리
데미안 고든
Original Assignee
유니버셜 시티 스튜디오스 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니버셜 시티 스튜디오스 엘엘씨 filed Critical 유니버셜 시티 스튜디오스 엘엘씨
Publication of KR20220019282A publication Critical patent/KR20220019282A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디스플레이 장치에 묘사되는 디지털 캐릭터의 행위를 제어하기 위한 시스템 및 방법이 개시된다. 적어도 하나의 실시예에 따르면, 디스플레이 장치에 묘사되는 디지털 캐릭터의 행위를 제어하기 위한 방법은: 물리적 환경에 위치한 사람의 존재를 결정하는 단계; 및 사람의 존재를 결정하는 것에 응답하여, 사람 오퍼레이터, 인공 지능(AI) 게임 엔진, 또는 이들의 조합에 의해 디스플레이 장치에 묘사되는 디지털 캐릭터의 행위의 제어를 가능하게 하는 단계를 포함한다.

Description

물리적 영역에서 고객과 상호작용하는 디지털 캐릭터
관련 출원에 대한 상호 참조
본 출원은 2020년 5월 13일에 출원된 미국 출원 제15/931,377호 및 2019년 6월 11일에 출원된 미국 가특허 출원 제62/860,188호의 우선권을 주장하며, 이들 모두의 내용은 전체가 본 명세서에 참조로 포함된다.
놀이공원은 고객에게 독특한 경험을 제공하기 위한 다양한 기능을 포함할 수 있다. 예를 들어, 놀이공원에는 고객을 즐겁게 하는 다양한 놀이기구와 쇼가 있을 수 있다. 또한, 놀이공원에는 고객에게 바람직한 환경이나 분위기를 조성할 수 있는 쇼 효과와 소품(prop)이 있을 수 있다. 이러한 기능에는 고객과 상호작용할 수 있는 엔터테인먼트 피규어(figure)(예: 애니메이션 캐릭터, 애니메이션 피규어)가 포함될 수 있다. 예를 들어, 엔터테인먼트 피규어는 말하고, 손을 흔들거나, 걷거나, 기타 적절한 동작을 수행할 수 있다.
본 명세서에 개시된 다양한 실시예와 관련하여, 디지털 애니메이션에서 묘사되는 디지털 캐릭터의 행위(performance)를 제어하기 위한 기술이 제시된다. 다양한 실시예에 따르면, 행위는 디지털 캐릭터와 라이브 고객(live customer) 간의 상호작용을 가능하게 하도록 제어된다.
적어도 하나의 실시예에 따르면, 디스플레이 장치에 묘사되는 디지털 캐릭터의 행위를 제어하기 위한 방법이 개시된다. 이 방법은, 물리적 환경에 위치한 사람의 존재를 결정하는 단계, 및 사람의 존재를 결정하는 것에 응답하여, 사람 오퍼레이터, 인공 지능(AI) 게임 엔진, 또는 이들의 조합에 의해 디스플레이 장치에 묘사되는 디지털 캐릭터의 행위의 제어를 가능하게 하는 단계를 포함한다.
본 발명의 일 실시예에 따라 디스플레이 장치에 묘사되는 디지털 캐릭터의 행위를 제어하는 장치는, 데이터를 송신 및 수신하는 네트워크 통신 유닛, 및 하나 이상의 제어기를 포함한다. 하나 이상의 제어기는, 물리적 환경에 위치한 사람의 존재를 결정하고, 그 사람의 존재를 결정하는 것에 응답하여, 사람 오퍼레이터, AI 게임 엔진, 또는 이들의 조합에 의해 디스플레이 장치에 묘사되는 디지털 캐릭터의 행위의 제어를 가능하게 한다
적어도 하나의 실시예에 따르면, 머신 판독가능 비일시적 매체는 디스플레이 장치에 묘사되는 디지털 캐릭터의 행위를 제어하기 위한 머신 실행가능 명령어를 저장한다. 명령어는, 물리적 환경에 위치한 사람의 존재를 결정하는 것, 및 사람의 존재를 결정하는 것에 응답하여, 사람 오퍼레이터, AI 게임 엔진, 또는 이들의 조합에 의해 디스플레이 장치에 묘사되는 디지털 캐릭터의 행위의 제어를 가능하게 하는 것을 포함한다.
본 개시내용의 전술한 및 다른 양상 및 특징은 첨부 도면과 함께 취해진 실시예의 다음 설명을 고려할 때 더욱 명백해질 것이다.
도 1은 적어도 일 실시예에 따라 디지털 캐릭터가 고객과 상호작용하도록 제어하기 위한 시스템을 도시한다.
도 2a 및 도 2b는 디지털 캐릭터를 제어하기 위한 라이브 모션 캡처의 예를 도시한다.
도 3은 적어도 하나의 실시예에 따른 강체의 예를 도시한다.
도 4는 캡처 영역의 3D 뷰를 도시한다.
도 5는 고객의 회수(retrieval)를 위한 물리적 아이템의 예시적인 전달(delivery)을 도시한다.
도 6은 적어도 하나의 실시예에 따른 디스플레이 장치에 표시되는 디지털 캐릭터의 행위를 제어하는 방법의 흐름도를 도시한다.
도 7은 적어도 하나의 실시예에 따른 컴퓨팅 환경의 예시이다.
도 8은 적어도 하나의 실시예에 따른 장치의 블록도이다.
다음의 상세한 설명에서, 본 명세서의 일부를 형성하고 예시로서 본 발명의 특정 실시예를 도시하는 첨부 도면을 참조한다. 본 기술 분야의 통상의 기술자는, 다른 실시예가 이용될 수 있고 구조적 및 절차적 변경이 본 발명의 범위를 벗어나지 않는 범위에서 이루어질 수 있다는 점을 이해할 것이다. 가능하면 도면 전체에 걸쳐 동일한 참조 번호가 동일하거나 유사한 부품을 지칭하는 데 사용된다.
여기에 개시된 실시예는 고객과 상호작용하도록 디지털 캐릭터를 제어하기 위한 시스템에 관한 것이다. 예를 들어, 상호작용에는 고객이 회수할 수 있도록 물리적 제품을 전달하는 것이 포함될 수 있다. 예시적인 실시예는 시각적으로 푸드 트럭과 유사하여 고객에게 음식을 출력하는 시스템, 고객에게 영화표를 판매하는 시스템, 디지털 캐릭터와 고객 간의 줄다리기의 수행을 용이하게 하는 시스템을 포함한다.
예시적인 실시예는 도 1을 참조하여 설명될 것이다.
도 1은 적어도 하나의 실시예에 따라 고객과 상호작용하도록 디지털 캐릭터를 제어하기 위한 시스템(102)을 도시한다. 시스템(102)은 환경(100)에 (적어도 부분적으로) 위치된다. 또한, 환경(100)에는 하나 이상의 고객(110)이 존재한다. 시스템(102)은 디스플레이 장치(104) 및 출력 채널(108)을 포함한다. 디스플레이 장치(104)는 고객(110)이 잘 보이도록 배치된다. 나중에 더 자세히 설명하겠지만, 하나 이상의 아이템이 고객(110)의 회수를 위해 출력 채널(108)을 통해 전달될 수 있다.
또한, 시스템(102)은 적어도 하나의 비디오 캡처 장치(예를 들어, 카메라) 및 적어도 하나의 오디오 캡처 장치(예를 들어, 마이크)를 포함한다. 비디오 및 오디오 캡처 장치는 환경(100)에서 발생하는 동작(또는 비동작), 특히 고객(110)이 수행한 동작(또는 비동작)을 캡처하도록 위치될 수 있다. 이러한 동작의 예에는 시스템(102)을 향하거나 시스템(102)으로부터 멀어지는(예를 들어, 디스플레이(104)를 향하거나 이로부터 멀어지는) 고객(110)에 의한 움직임 또는 모션, 고객(110)에 의한 모션 또는 제스처, 및 고객(110)에 의한 얼굴 표정 및 반응이 포함된다. 이하에서 추가적인 세부사항에 설명될 바와 같이, 캡처는 환경(100)에서 고객(110)의 존재, 및/또는 고객(110)과의 상호작용(예를 들어, 디스플레이 장치(104)에 묘사되는 하나 이상의 디지털 캐릭터에 의해)의 감지를 가능하게 한다.
앞서 언급한 바와 같이, 시스템(102)의 디스플레이 장치(104)는 고객(110)이 잘 보이도록 배치된다. 디스플레이 장치(104)는 비디오(예를 들어, 디지털 비디오)를 디스플레이한다. 아래에서 더 자세히 설명되는 바와 같이, 디스플레이되는 비디오는 대화형 요소 및/또는 기능을 포함할 수 있다.
설명을 위해, 디스플레이 장치(104)에 디스플레이된 비디오에서 발생하는 것으로 묘사되는 이벤트는 "디지털 영역에서" 발생하는 이벤트로 지칭될 것이다. 별개로, 다른 이벤트(예: 환경(100)에서 발생하는 이벤트)는 "물리적 영역에서" 발생하는 이벤트로 지칭될 것이다. 고객(110)의 관점에서, 디스플레이 장치(104)는 시스템(102)에 의해 정의된 물리적 공간에 대한 "창"으로 인식될 수 있으며, 디지털 영역에서 발생하는 이벤트는 시스템의 하나 이상의 요소(102)에 의해 정의되는 물리적 공간에서 발생하는 것으로 인지된다.
계속해서 도 1을 참조하면, 디지털 캐릭터(106)는 디스플레이 장치(104)에 디스플레이되는 비디오에 묘사된다. 예로서, 디지털 캐릭터(106)는 사람 오퍼레이터의 라이브 모션 캡처를 통해 작성될 수 있다.
예를 들어, 도 2a를 참조하면, 디지털 캐릭터(106)는 환경(200a)에 위치한 사람 오퍼레이터(202)의 라이브 모션 캡처를 통해 작성된다. 환경(200a)은 환경(100) 부근에 위치하거나, 환경(100)으로부터 멀리 떨어진 위치에 위치할 수 있다. 환경(200a)이 환경(100) 근처에 위치하는 경우, 환경(200a)은 사람 오퍼레이터가 환경(100)에 존재하는 고객(110)의 시야에서 숨겨지도록 구성될 수 있다.
환경(200a)에서, 디스플레이 장치(204)가 제공된다. 디스플레이 장치(204)는 시스템(102)을 참조하여 앞서 설명된 비디오 및 오디오 캡처 장치에 의해 캡처된 비디오 및 오디오를 출력한다. 이에 따라, 사람 오퍼레이터(202)는 환경(100)에서 발생하는 동작(또는 비동작)에 대한 정보를 실시간으로 받을 수 있다. 이러한 방식으로, 사람 오퍼레이터(202)는 디지털 영역에 묘사되는 디지털 캐릭터(106)를 통해 물리적 영역에 존재하는 고객(110)과 효과적으로 상호작용할 수 있다.
예를 들어, 사람 오퍼레이터(202)가 고객(110)에게, "쿠키를 원하는 사람이 있습니까?"라고 질문을 할 수 있다. 이에 따라, 라이브 모션 캡처를 통해, 디지털 캐릭터(106)가 "쿠키를 원하는 사람이 있습니까?"라고 질문하는 것으로 디지털 영역에 묘사된다. 디스플레이 장치(104)에 디스플레이된 디지털 비디오를 시청하는 고객(110)은 디지털 영역에서 발생하는 그러한 행동을 인지한다.
고객(110)은 이에 따라 응답할 수 있다. 예를 들어, 한 고객(110)이 자신의 손을 들 수 있다. 다른 예로서, 다른 고객(110)은 "예!"라고 외칠 수 있다.
디스플레이 장치(204)를 모니터링함으로써, 사람 오퍼레이터(202)가 고객에 의해 행해진 그러한 행동을 관찰할 수 있다. 예를 들어, 카메라 영상(footage)을 계속 모니터링함으로써 사람 오퍼레이터(202)는 (1) (예를 들어, 고객(110)이 상대적으로 정지 상태로 있는 경우) 디지털 캐릭터(106)가 고객(110)의 눈을 직접 바라보도록 자신의 시선을 변경하거나 이동할 수 있고, (2) (예를 들어, 고객(110)이 디스플레이 장치(104)의 특정 부분을 향해 손을 뻗거나 이를 가리키는 경우) 고객(110)을 향해 손을 뻗을 수 있다. 유사한 방식으로, 디지털 캐릭터(106)와 고객(110) 사이의 다른 상호작용은 고객(110)과의 악수, 고객(110)의 포옹, 고객의 푸시에 의해 실재적으로 영향을 받는 것 등을 포함할 수 있다.
적어도 하나의 실시예에서, 디지털 영역과 물리적 영역의 중개(bridging)는 고객(110)의 악수를 위해 또는 고객(110)에게 아이템을 주기 위해 팔다리(limb)를 뻗도록 디지털 캐릭터를 구성하는 것에 의해 획득될 수 있다. 이는 예를 들면, 고객(110)의 시야에서 숨겨진 사람인 인형극 조작자(puppeteer)에 의해, 물리적 영역에서 작동되는, 물리적으로 작동되는 꼭두각시 팔다리를 제어함으로써 획득될 수 있다. 고객(110)을 향해 손을 뻗어 물리적 영역에서 고객(110)과 직접 상호작용하도록 제어될 수 있다. 이러한 상황에서, 물리적으로 작동되는 꼭두각시 팔다리는 인형극 조작자의 실시간 제어에 기초하여 사실적으로 움직이는 애니마트로닉(animatronic) 팔과 손일 수 있다. 다른 실시예에 따르면, 디지털 방식으로 작동되는 꼭두각시 팔다리가 고객(110)에게 손을 뻗어 직접 상호작용하도록 제어될 수 있다. 예를 들어, 디지털 방식으로 작동되는 꼭두각시 팔다리는 캐릭터 경험을 작성하고 있는 행위자(예를 들어, 사람 작동자(202))로부터의 디지털 정보를 통해 제어될 수 있다. 이러한 상황에서, 행위자는 화면상의 인터페이스, 키보드 트리거, 버튼 또는 조이스틱 입력을 수동으로 조작하여 팔다리를 실시간으로 확장 또는 축소하도록 제어할 수 있다. 행위자의 실시간 데이터는 손의 메커니즘을 작동시키고 팔이 통제되고 로봇 공학적으로 이치에 맞는 방식으로 움직이도록 한다. 디지털 방식으로 작동되는 꼭두각시 팔다리를 포함하는 다른 실시예에 따르면, 행위자는 단지 캡처 볼륨의 알려진 영역으로 자신의 팔을 내밀어 악수를 부추길 수 있다. 꼭두각시 팔다리의 확장 및 수축 및 이의 기타 움직임은 행위자에 의해 해결되며, 그 결과는 제어되고 로봇 공학적으로 이치에 맞는 방식으로 애니마트로닉스 꼭두각시 팔다리에 맞춰진다(retargeted).
고객(110)에 의한 시각 및/또는 청각 반응에 응답하여, 사람 오퍼레이터(202)는 마치 고객(110)을 위한 쿠키 상자를 회수하는 것처럼 환경(200a) 내에서 이동할 수 있다. 그리고 도 2b에 도시된 바와 같이, 사람 오퍼레이터(202)는 마치 회수된 상자를 하나 이상의 대기 고객(110)에게 전달하는 것처럼 환경(200b) 내에서 이동할 수 있다.
사람 오퍼레이터(202)의 움직임은 디지털 영역에서 디지털 캐릭터(106)에 의해 복제된다. 예를 들어, 디지털 영역에서, 디지털 캐릭터(106)는 쿠키 상자를 회수한 다음 출력 채널(108)을 향하는 방향으로 이동한다.
전술한 내용에서, 사람 작동(202)의 움직임은 모션 캡처 시스템을 사용하여 모니터링될 수 있다. 하나 이상의 실시예에 따른 모션 캡처 시스템이 지금부터 더 상세하게 설명될 것이다.
광학 시스템(또는 광학 모션 캡처 시스템)은 이미지 센서에서 캡처한 데이터를 활용하여, 중첩 투영을 제공하도록 보정된 두 대 이상의 카메라 사이에서 피사체의 3D 위치를 삼각 측량한다. 데이터는 액터(예를 들어, 사람 오퍼레이터(202))에 부착된 마커를 사용하여 캡처될 수 있다. 더 많은 수의 행위자를 추적하거나 캡처 영역을 확장하는 것은 카메라 수를 늘림으로써 달성될 수 있다.
광학 시스템과 관련하여, 모델 마커 포인트가 포인트 클라우드에 존재하지 않는 경우, 예를 들어 관찰 포인트 수가 모델 마커 포인트 수보다 적을 경우에 가림현상(occlusion)이 발생한다. 이러한 이벤트는 마커와 카메라 사이에 하나 이상의 불투명 객체가 삽입되거나 마커가 카메라 시야(FOV)를 벗어날 때와 같은 어떠한 다양한 이유로 인해 발생할 수 있다.
적어도 하나의 실시예에 따르면, 드리프트 보정 시스템은 관성 모션 캡처 시스템의 하나 이상의 양상(aspect)과 함께 광학 모션 캡처 시스템의 하나 이상의 양상을 (예를 들어, 하이브리드 방식으로) 포함한다. 그러한 시스템은 (환경(200a)과 같은) 캡처 영역에서 위치적으로 정확하고 시간이 지남에 따라 이동(drift)되지 않는 가림현상이 없는 모션 캡처를 가능하게 할 수 있다.
관성 모션 캡처 시스템의 양상은, 당업계에 공지된 관성 신체 캡처 수트를 사용하는 것을 포함한다. 관성 신체 캡처 슈트는 도 2a를 참조하여 앞서 설명된 바와 같이, 사람 오퍼레이터(202)의 라이브 모션 캡처를 가능하게 하기 위한 유형일 수 있다. 예를 들어, 이러한 관성 신체 캡처 슈트는 사람 사람 오퍼레이터(202)의 관절 각도를 측정하고, 예를 들어 발자국을 계산함으로써 초기 시작점으로부터 이들의 위치를 추정한다. 이와 관련하여, 관성 모션 캡처 시스템이 슈트에 포함된 자력계를 기반으로 대략적인 결과를 생성하기 때문에 시간이 지남에 따라 오류가 누적될 수 있다. 예를 들어, 관성 모션 캡처 시스템은 진북(true north)의 위치를 근사할 수 있지만, 자력계의 정확도에 대한 자연적인 자기 간섭의 영향으로 인해 오류가 발생할 수 있다.
자기 간섭으로 인한 것과 같은 아티팩트(artifact) 및 가림현상과 같은 현상을 수정하기 위해, 시스템은 관성 모션 캡처 시스템과 광학 시스템의 모두의 양상을 사용할 수 있다. 적어도 하나의 실시예에 따르면, 광학 시스템의 양상은 일반적으로 전신 모션 캡처에 사용될 수 있는 광학 시스템의 양상보다 더 간단할 것이다. 예를 들어, 광학 시스템은 액터의 허리에 초점을 맞추는 데 사용될 수 있다. 적어도 하나의 실시예에 따르면, 광학 시스템은 사람 오퍼레이터(202)에 의해 착용가능한 강체 장치(rigid apparatus)(또는 강체(rigid body))를 사용하는 것을 포함한다. 적어도 하나의 실시예에 따르면, 관성 모션 캡처 시스템으로부터의 데이터 및 광학 시스템으로부터의 데이터가 결합(또는 함께 융합)되고 디지털 캐릭터(예: 디지털 캐릭터(106))를 구동하는 데 사용된다.
예를 들어, 회전 및 지면으로부터의 높이에 관한 데이터(예를 들어, 도 2a의 Y축 참조)는 관성 모션 캡처 시스템의 관성 신체 캡처 슈트로부터 수신될 수 있고, 수평 평면에 관한 데이터(예를 들어, 도 2a의 X축 및 Z축에 의해 정의된 평면 참조)는 광학 시스템으로부터 수신될 수 있다.
앞서 설명된 바와 같이, 광학 모션 캡처 시스템은 강체를 포함할 수 있다. 강체는 드리프트 보정된 사람 오퍼레이터(202)에 안정적으로 부착될 수 있다. 적어도 하나의 실시예에 따르면, 강체는 그 위에 배치된 마커를 포함한다. 예를 들어, 마커는 역반사 마커일 수 있다. 이러한 마커는 강체가 광학 모션 캡처 시스템에 의해 인식 가능하거나 식별될 수 있는 고유한 신원(identity)(예: 마커의 구성 또는 배열)을 갖도록 고유한 패턴으로 강체에 배치될 수 있다.
도 3은 적어도 하나의 실시예에 따른 강체(502)의 예를 도시한다. 도시된 바와 같이, 강체(502)는 벨트의 형태를 취할 수 있다. 벨트는 사람(예를 들어, 사람 오퍼레이터(202))의 허리 둘레에 착용되도록 구성된다. 강체(502)는 부피가 비교적 작기 때문에 강체의 착용자가 움직이는 동안 강체가 착용자와 독립적으로 움직이지 않고 착용자의 엉덩이와 함께 움직인다. 강체(502)는 상당히 단단한 재료로 만들어질 수 있고, 균일한 폭(예를 들어, 1 또는 2인치)을 가질 수 있다. 마커(506)는 강체(502)의 원주를 따라 위치될 수 있다. 앞서 설명된 바와 같이, 마커(506)는 고유한 패턴으로 강체 상에 위치될 수 있다. 예를 들어, 도 3에 도시된 예에서, 총 25개의 마커(506)가 고유한 지그재그 패턴으로 강체(502)의 둘레를 따라 배치된다.
대안적으로, 마커(506)를 벨트 상에 직접 위치시키는 대신에, 마커(506)가 벨트 상에 (직접적으로) 위치된 하나 이상의 강체를 통해 벨트 상에 (간접적으로) 배치될 수 있다. 이러한 대안적인 예에서, 마커(506)가 강체에 직접 배치될 수 있으며, 강체는 이어서 벨트 상에 배치된다. 예를 들어, 5개의 마커(506)는 총 5개의 강체 각각에 배치될 수 있으며, 강체는 이어서 벨트에 배치된다. 벨트 상의 강체의배치(또한 강체 상의 마커의 배치)는 고유한 패턴으로 이루어질 수 있다.
허용 가능한 수준의 드리프트 보정을 달성하기 위해 하나의 광학 마커만 있어도 충분할 수 있음을 이해해야 한다. 그러나, 적어도 하나의 실시예에 따르면, 가림현상과 관련하여 더 높은 수준의 견고성을 달성하기 위해 2개 이상의 광학 마커가 사용된다.
광학 시스템과 관련하여, 이제 "외부(extrinsic)" 시스템을 참조하여 다양한 실시예가 설명될 것이다. 이러한 실시예에 따르면, 2개 이상의 카메라 어레이가 캡처 영역(예: 방) 주변에 설치된다. 카메라는 (사람 오퍼레이터가 착용한) 강체가 캡처 영역 주위를 이동할 때 하나 이상의 마커(예: 강체(502)의 마커(506))뿐만 아니라 캡처 영역의 뷰를 캡처한다. 정적 카메라는 움직이는 마커를 관찰하고 이에 따라 컴퓨터 애니메이션 소프트웨어에서 단단한 객체(예: 컴퓨터 생성 뼈)로 해석되는 움직이는 마커에 관한 데이터(예: 정확한 회전 및 변환)를 제공한다.
도 4는 캡처 영역(예를 들어, 방)(400)의 3D 뷰를 예시한다. 적어도 하나의 실시예에서, 하나 이상의 카메라는 캡처 영역(400)에 배치되는 각 타워에 설치된다. 예를 들어, 도 4에 도시된 바와 같이, 4개의 타워(402)가 캡처 영역(400)에 배치되고, 하나의 타워(402)는 각 코너에 위치된다. 예시를 위해, 각 타워(402)는 2피트 너비, 1인치 두께의 알루미늄 판을 포함하는 8피트 높이의 박스 트러스(box truss)일 수 있다. 각각의 타워(402)에는 3개의 카메라(406)가 설치되어 있을 수 있다. 하나의 타워(402) 내에서, 카메라(406)는 타워의 높이를 따라 서로간에 예를 들어 약 2피트만큼 서로 떨어져 있을 수 있다.
카메라(406)는 박스 트러스에 삽입되는 작은 알루미늄 판에 있을 수 있다. 기어식 3방향 포지셔닝 헤드도 플레이트에 있을 수 있다. 카메라(406)는 포지셔닝 헤드에 부착될 수 있고, 헤드는 정확한 회전으로 설정되고 헤드의 조준이 완료되면 제자리에 고정되도록 기어링될 수 있다. 앞서 언급한 바와 같이, 타워(402)는 캡처 영역(400)의 모서리에 위치한다.
각 타워(402)는 자체 데이터를 테스트한다. 카메라(406)의 교정 동안, 정적 객체(예를 들어, 강체(502))가 캡처 영역(400)의 중앙에 배치될 수 있다. 카메라(406)는 정적 객체를 삼각측량하도록 광학 시스템을 구성함으로써 동시에 교정될 수 있다. 이에 따라, 방 내 정적 객체의 위치가 결정될 수 있다. 앞서 언급한 바와 같이, 수평면(예를 들어, 도 2a의 X-축 및 Z-축에 의해 정의된 평면 참조)에 관한 데이터가 광학 시스템으로부터 수신될 수 있다. 이러한 데이터는 관성 모션 캡처 시스템의 관성 신체 캡처 슈트로부터 수신되는 지면으로부터의 높이 및 회전(예를 들어, 도 2a의 Y-축 참조)에 관한 데이터와 결합(또는 융합)될 수 있다. 데이터의 결합은 디지털 캐릭터의 애니메이션을 생성하는 데 사용될 수 있다. 예를 들어, 관성 시스템에서 수신된 회전 데이터는 디지털 캐릭터의 골격을 애니메이션화하는 데 사용될 수 있고, 광학 시스템에서 수신된 데이터는 디지털 캐릭터의 엉덩이 위치를 수정하는 데 사용될 수 있다.
광학 시스템과 관련하여, "외부" 시스템을 참조하여 다양한 실시예가 설명되었다. 적어도 다른 실시예에 따르면, "내부(intrinsic)" 시스템이 이용된다. 이러한 시스템에서, 카메라는 고유한 패턴에 따라 캡처 영역(예: 방의 천장, 바닥 및/또는 벽 위)에 위치한 마커를 모니터링하도록 사람 오퍼레이터에 의해 착용된다. 사람 오퍼레이터가 방 주위를 이동할 때, 카메라는 사람 오퍼레이터와 함께 이동하고 정적 마커를 모니터링하여 방의 벽, 바닥 또는 천장에 있는 고정 마커와 관련하여 실내에서 자신의 회전 및 위치를 정확하게 추정한다.
앞서 설명한 바와 같이, 강체 및/또는 벨트에 배치된 마커는 역반사 마커일 수 있다. 적어도 하나의 다른 실시예에 따르면, 마커는 광학 모션 캡처 시스템에 의해 감지 가능한 파장의 광을 방출하는 발광 장치(LED)일 수 있다.
앞서 설명한 바와 같이, 드리프트 보정 시스템은 광학 모션 캡처 시스템의 양상을 관성 모션 캡처 시스템의 양상과 결합(또는 혼성화)하여 생성된다. 적어도 하나의 다른 실시예에 따르면, 드리프트 보정 시스템은 자기(magnetic) 모션 캡처 시스템의 양상을 관성 모션 캡처 시스템의 양상과 결합(또는 혼성화)함으로써 생성된다. 이러한 실시예는 광학 모션 캡처 시스템을 사용하는 실시예와 관련하여 앞서 설명된 방식과 유사한 방식으로 작동할 수 있다. 예를 들어, 자기 "마커"는 사람 오퍼레이터에게 배치될 수 있다. 방의 양쪽 끝에, 자기 감지 시스템이 배치될 수 있다. 자기 감지 시스템은 자기장을 방출하고, 자기 마커에 의해 자기장에 초래된 자기 간섭을 감지할 수 있다. 감지된 간섭은 자기 마커의 위치를 결정하는 데 사용될 수 있다.
적어도 하나의 실시예에서, Wi-Fi 기술을 사용하는 기술이 이용될 수 있다. 이러한 실시예는 자기 모션 캡처 시스템을 사용하는 실시예와 관련하여 앞서 설명된 방식과 유사한 방식으로 작동할 수 있다. 예를 들어, Wi-Fi 안테나는 방 주위에 배치될 수 있고, Wi-Fi 방출기(Wi-Fi emitter)는 사람 오퍼레이터에게 배치될 수 있다. 사람 오퍼레이터가 방 안에서 움직이면, Wi-Fi 방출기가 하나의 안테나에서 다른 안테나로 가까워지거나 멀어질 수 있다. 안테나(들)에서 수신된 신호의 특성은 방안의 방출기의 위치를 결정하는 데 사용될 수 있다.
적어도 하나의 실시예에서, 음향 기술을 사용하는 기법이 이용될 수 있다. 이러한 실시예는 광학 모션 캡처 시스템을 사용하는 실시예와 관련하여 앞서 설명된 방식과 유사한 방식으로 작동할 수 있다. 이와 관련하여, 적어도 두 가지 구성 중 하나가 사용될 수 있다. 예를 들어, 한 구성에서, 마이크가 사람 오퍼레이터에 배치되고 초음파 방출기는 방 주위에 배치된다. 또 다른 예로서, 다른 구성에서 방출기가 액터에게 배치되고 마이크는 방 주위에 배치된다. 음향 기술을 사용하는 실시예에서, 비행 시간(ToF)은 사람 오퍼레이터에 배치된 물체가 무엇이든(예를 들어, 마이크 또는 방출기) 그 위치를 결정하는 데 사용될 수 있다. 반향정위(echolocation)가 작동하는 방식과 마찬가지로, 방출기는 초음파 핑 사운드(ultrasonic ping sound)를 만들고 마이크(또는 마이크 어레이)가 핑을 감지하고 방출기에서 마이크까지의 지연(비행 시간)에 기초하여 핑 사운드가 이동한 거리를 계산한다.
적어도 하나의 실시예에서, 하나 이상의 깊이 카메라가 실내에서 사람 오퍼레이터의 위치를 결정하는 데 사용될 수 있다. 예를 들어, 깊이 카메라는 적외선(IR) 그리드를 투사한 다음 사람 오퍼레이터가 오퍼레이터의 위치와 오퍼레이터의 움직임을 결정하기 위해 해당 그리드를 어떻게 왜곡하는 지를 감지할 수 있다. 또 다른 예로서, IR LED 어레이는 순서대로 켜졌다 꺼졌다하여, LED로부터 빛이 비추고 사람 오퍼레이터에게서 반사된 다음, 깊이 카메라로 돌아올 때, ToF 계산을 수행하여 깊이를 계산할 수 있다.
적어도 하나의 구현예에서, 마커는 사용될 필요가 없다. 예를 들어, 더 간단한 시스템에서, 사람 오퍼레이터 또는 강체의 특정 특징을 추적하여 실내에서 사람 오퍼레이터의 위치를 결정하는 데에 하나 이상의 비디오 카메라가 사용될 수 있다.
도 5의 환경(300)을 참조하면, 물리적 영역에서 쿠키를 포함하는 상자(302)가 출력 채널(108)에서 전달된다. 예를 들어, 시스템(102)은 (예를 들어, 사람 오퍼레이터(202)에 의해) 제어될 때 아이템을 분배하는 분배기를 포함할 수 있다.
앞서 도 1을 참조하여 설명한 바와 같이, 시스템(102)은 적어도 하나의 비디오 캡처 장치(예를 들어, 카메라) 및 적어도 하나의 오디오 캡처 장치(예를 들어, 마이크)를 포함한다. 카메라와 마이크, 및 카메라는 가상 세계에 존재할 수 있고 가상 현실에서 고객이 경험할 수 있음을 이해할 것이다. 예를 들어, 고객은 조이스틱, 마우스 또는 가상 현실(VR) 또는 모션 캡처 입력과 같은 입력 장치를 통해 디지털 영역에 존재하는 디지털 아바타를 제어하고 있을 수 있다. 물리적 영역에서 여전히 발생하는 아이템(예: 상자(302))의 판매/전달을 제외하고 디지털 영역 내에서 상호작용이 발생한다. 예를 들어, 고객은 고객과 직접 소통하는 것이 아니라 고객에 대응하는 게임 캐릭터와 상호작용하는 게임을 한다. 이러한 상황에서 고객은 물리적 영역에서 제공되는 입력에 기초하여, 고객이 움직임을 제어하는 디지털 아바타로서 디지털 영역에 들어가 경험한다. 따라서 아바타는 디지털 영역에서 일부 방식(예: 걷기, 점프, 비행, 순간이동)으로 이동하도록 제어될 수 있다. 디지털 영역에서 디지털 아바타의 존재가 감지되면, 디지털 아바타와의 상호작용은 물리적 영역(예: 환경(100))에서 고객 존재의 감지 시 고객과의 상호작용이 시작되는 방식과 유사하게 시작된다. 고객이 물리적 영역에서 변경이 발생하도록 트리거하면(예: 아이템 배송) 물리적 영역에서 변경이 실현된다.
또한, 도 1, 2a, 2b, 3 및 4를 참조하여 앞서 설명된 바와 같이, 디지털 캐릭터(예를 들어, 디지털 캐릭터(106))는 사람 오퍼레이터(예를 들어, 사람 오퍼레이터(202))의 라이브 모션 캡처를 통해 작성될 수 있다. 라이브 모션 캡처 구동 작업은 디지털 캐릭터(또는 도 5의 상자(302)와 같은 객체)의 특정 부분(또는 양상)에 적용될 수 있거나, 적절한 경우 전체 디지털 캐릭터 또는 소품을 구동할 수 있다. 하나 이상의 실시예에 따르면, 사람 오퍼레이터는 제어기, 키보드, 조이스틱, 마우스, 풋 페달, 마이크 등과 같은 장치를 사용하여 실시간 MIDI(Musical Instrument Digital Interface) 입력 및/또는 디지털 인형극(digital puppeteering)으로 디지털 캐릭터의 행위를 구동한다. 이러한 실시예에서, 라이브 모션 캡처는 독점적으로 사용되지 않을 수 있다. 예를 들어, 모션 캡처는 디지털 캐릭터의 얼굴의 행위를 구동하는 데 사용될 수 있으며, 행위의 나머지 양상은 트리거된 입력 장치를 사용하여 구동된다. 하나 이상의 다른 실시예에 따르면, 디지털 캐릭터(106)는 전적으로 사람 오퍼레이터의 라이브 모션 캡처를 통해 작성될 수 있다.
하나 이상의 다른 실시예에 따르면, 디지털 캐릭터를 위한 행위 및 의사 결정은 게임 엔진에 상주하는 인공 지능(AI) 캐릭터에 의해 전적으로 작성된다.
하나 이상의 다른 실시예에 따르면, 디지털 캐릭터를 위한 행위 및 의사결정은 AI 게임 엔진 구동 캐릭터와 사람 모션 캡처의 조합을 사용하여 얻어질 수 있다. 예를 들어, 특정 시간 동안(예: 시스템이 고객의 참여를 기다리는 동안), 디지털 캐릭터는 적어도 부분적으로 AI에 의해 (예: 주변적 모션 또는 다른 캐릭터 기반 애니메이션의 루프를 플레이함으로써) 구동될 수 있다. 다른 시간에는, AI에 의해 구동되는 것에서 모션 캡처에 의해 구동되는 것으로의 전환이 발생할 수 있다. 예를 들어, 시스템이 고객(110)의 존재를 감지할 때, 디지털 캐릭터의 행위(예를 들어, 애니메이션 제어)는 보다 개인적인 방식으로 고객과 상호작용할 수 있는 사람 오퍼레이터에게로 전환될 수 있다. 이러한 전환으로 이어지면, 시스템(102)은 사람 오퍼레이터에게 디지털 캐릭터의 행위에 대한 적어도 부분적인 제어가 주어져야 한다는 신호를 보낼 수 있다. 예를 들어, 시스템(102)은 사람 오퍼레이터에게 디지털 캐릭터의 목소리 행위, 디지털 캐릭터의 얼굴 행위, 또는 디지털 캐릭터의 전체 행위에 대한 제어가 주어져야 한다는 신호를 보내기 위한 오디오 및/또는 시각적 표시(들)를 제공할 수 있다.
유사한 방식으로, 모션 캡처에 의한 구동에서 AI 게임 엔진 기술에 의한 구동으로의 전환이 발생할 수 있다. 그러한 AI 기술에 의해 내려진 결정은 시스템(102)의 비디오 캡처 장치(예: 카메라) 및/또는 오디오 캡처 장치(예: 마이크)에 의해 캡처된 데이터의 분석에 기초한다. 예를 들어, 카메라에 의해 캡처된 데이터의 분석은 다양한 고객(110)의 위치 뿐만 아니라 특정 고객의 특정 특성(예를 들어 한 고객(110)이 착용한 파란색 옷(예: 셔츠) 또는 다른 고객(110)의 금발 머리)를 식별하는 데 사용될 수 있다. 디지털 캐릭터의 행위가 (사람 오퍼레이터가 아닌) AI 게임 엔진 기술에 의해 구동되는 경우에도, 디지털 캐릭터는 여전히 어느 정도 고객(110)과 상호작용을 할 수 있다. 예를 들어, 디지털 캐릭터의 눈은 디지털 캐릭터의 "시선"이 고객(110)에 의해 만들어진 움직임을 따르는 것처럼 보이도록 움직이게 구동될 수 있다. 또한, 예를 들어, 디지털 캐릭터는 특정 고객(110)에게 손을 흔들거나 파란색 옷을 입은 고객(110) 또는 금발의 고객(110)에게 어느 정도 맞춤화된 또는 개인화된 인사를 하게 구동될 수 있다.
유사하게, 마이크에 의해 캡처된 데이터의 분석은 적어도 어느 정도까지는 고객(110)과 인터페이스하는 데 사용될 수 있다. 예를 들어, 이러한 분석이 사운드가 특정 특성(예: 특정 임계 오디오 레벨을 초과하는 사운드)을 갖는 것으로 감지할 때, 디지털 캐릭터의 행위는 (준비된) 애니메이션의 특정 클립에 의해 선택적으로 구동될 수 있다. 이러한 클립에서, 디지털 캐릭터의 눈은 들리는 사운드의 근원을 찾는 것처럼 디지털 캐릭터의 시선이 위아래로 이동하는 것처럼 보이도록 움직일 수 있다. 다른 예로서, 파형 분석은 마이크에 의해 캡처된 음성 오디오에 대해 수행될 수 있다. 그러한 분석은 말한 고객(110)의 기분 또는 감정 상태를 파악하는 데 사용될 수 있다. 이러한 상황에서, 디지털 캐릭터가 고객(110)에게 음성 인사말을 전달하는 분위기는 파형 분석에 의해 파악되는 기분과 일치하거나 미러링되도록 선택될 수 있다. 예를 들어, 고객(110)의 기분이 행복하거나 유쾌하다고 판단되면, 디지털 캐릭터가 고객(110)에게 행복하거나 유쾌하게 말을 걸도록 제어될 수 있다.
따라서, AI 게임 엔진 기술은 특정 촉매(예를 들어, 특정 특성을 갖는 사운드의 감지)에 응답하여 결정 트리(예를 들어, 선택된 애니메이션 클립을 사용하여 디지털 캐릭터의 행위를 구동)의 소정 브랜치를 효과적으로 실행하는 데 사용될 수 있다. 이는 디지털 캐릭터가 실제처럼 보일 가능성 및 (예를 들어, 환경(100)의) 물리적 영역에서 발생하는 현실 세계 이벤트에 반응할 수 있는 가능성을 향상시킬 수 있다. 이는 캐릭터가 물리적 영역에서 발생하는 이벤트를 감지하지 못하는 것처럼 보이게 하면서 디지털 캐릭터가 단지 특정 동작을 반복하는 디지털 캐릭터의 행위보다 더 나을 수 있다.
이와 같이, 디지털 캐릭터의 행위는 항상 사람 오퍼레이터에 의해 구동될 필요는 없다. 예를 들어, 디지털 캐릭터의 행위는 일부(또는 대부분의) 시간 동안 AI 게임 엔진 기술에 의해 구동되고 선택된 시간(예: 하나 이상의 주요 시간) 동안 사람 운영자에 의해 구동될 수 있다. 다른 예로, 디지털 캐릭터의 행위는 하루의 대부분(예: 11시간, 하루 총 12시간 이상 동작) 동안 AI 게임 엔진 기술에 의해 구동될 수 있으며, 디지털 캐릭터의 제어는 선택된 기간(예를 들어, 그러한 작동 일(day) 동안의 선택된 시간) 동안 사람 오퍼레이터에게 할당될 수 있다. 그 기간 동안 고객(110)과의 보다 개인화된 상호작용을 제공하기 위해 기간이 선택될 수 있다. 그러한 기간이 끝나면, 사람 오퍼레이터는 디지털 캐릭터의 행위에 대한 제어를 AI 게임 엔진 기술에 반환할 수 있다. 반환은 고객(110)의 관점에서 보다 원활한 전환을 제공하기 위해 한 번에 이루어지도록 선택될 수 있다. 사람 오퍼레이터는 예를 들어, 수동으로 화면 인터페이스, 키보드 트리거, 버튼 또는 조이스틱 입력을 조작하여, 이러한 때에 디지털 캐릭터의 행위에 대한 제어를 반환할 수 있다.
적어도 하나의 실시예에서, 디지털 캐릭터의 행위는 때때로 사람 오퍼레이터에 의해서 뿐만 아니라 AI 게임 엔진 기술에 의해 동시에 구동될 수 있다. 예를 들어, 디지털 캐릭터가 고객(110)과 상호작용할 때 AI에 의해 적어도 부분적으로 구동되는 경우, 사람 오퍼레이터는 디지털 캐릭터의 행위를 향상시키기를 원할 수 있다. 이러한 상황에서, 사람 오퍼레이터는 하나 이상의 방식으로 AI 기반 행위를 제어할 수 있다. 예를 들어, 사람 오퍼레이터가 고객(110)의 기분이 다소 행복하거나 쾌활한 것이 아니라 특히 행복하거나 쾌활한 것으로 식별하는 경우, 사람 오퍼레이터는 유사하게 고조된 방식으로 고객(110)에게 말을 걸도록 디지털 캐릭터를 제어할 수 있다. 이러한 제어는 예를 들어 화면 인터페이스, 키보드 트리거, 버튼 또는 조이스틱 입력을 수동으로 조작하여 실행될 수 있다. 이러한 방식으로, 디지털 캐릭터의 행위가 적어도 부분적으로 사람 오퍼레이터에 의해 (일시적으로) 지시될 수 있다.
이후에 더 자세히 설명될 실시예에 따르면, 디스플레이 장치(104)에 다수의 디지털 캐릭터가 묘사될 수 있다. 이러한 캐릭터 각각은 이전에 설명된 바와 같이 AI 게임 엔진 구동 캐릭터와 사람 모션 캡처의 각각의 다양한 조합을 통해 제어될 수 있다.
다양한 실시예를 참조하여 앞서 설명된 바와 같이, 환경(100)에서 발생하는 동작(또는 비동작) - 특히 고객(110)에 의한 동작(또는 비동작) - 이, 예를 들어 카메라 및 마이크에 의해 캡처된다. 환경(100)(예를 들어, 환경(100) 내의 하나 이상의 특정 영역)에서 고객(110)의 존재의 감지시, 고객과의 상호작용이 개시된다. 감지는 추가적으로 및/또는 대안적으로 다른 장치를 사용하여 수행될 수 있음이 이해될 것이다. 이러한 다른 장치에는 압력 패드, 깊이 카메라, 음파 감지 장치, 광선 장치 및/또는 열 또는 소리 감지 장치가 포함된다.
장치는 고객의 존재뿐만 아니라 고객의 머리 높이 및 신체 위치와 같은 기타 매개변수도 감지할 수 있다. 예를 들어, 비디오 카메라, 깊이 센서 또는 파손된 빛이나 사운드 빔을 사용하여 고객을 감지하여 고객의 신체 위치와 키를 결정할 수 있다. 그러한 정보(예를 들어, 디스플레이 장치(104)의 위치와 관련됨)에 대한 지식은 디지털 캐릭터(106)의 머리 또는 눈 각도에 대한 각도 보정이 이루어지도록 하여, 디지털 캐릭터의 아이 라인이 하나 이상의 고객의 것과 더 밀접하게 정렬된다. 고객의 머리 높이를 보다 정확하게 감지함으로써, 이러한 장치는 디지털 캐릭터의 아이 라인을 효과적으로 "조정(true up)"할 수 있다.
또한 다양한 실시예를 참조하여 앞서 설명된 바와 같이, 상호작용은 디지털 영역 및 물리적 영역 모두에 관하여 디지털 캐릭터와 고객 간의 하나 이상의 상호작용을 포함한다. 예를 들어, 디지털 영역에서 디지털 캐릭터는 고객을 위한 아이템(예: 쿠키 상자(302))을 준비하거나 조달하는 단계를 수행할 수 있다. 물리적 영역에서 아이템은 고객에게 실시간으로 제공(또는 판매)되어, 고객이 (예를 들면, 출력 채널(108)에서) 아이템을 회수하거나 수집할 수 있다. 하나 이상의 추가 실시예에 따르면, 아이템은 다른 위치(예를 들어, 환경(100) 외부의 어딘가)에서 고객에 의해 회수될 수 있도록 제공된다. 하나 이상의 추가 실시예에 따르면, 아이템은 이후의 날짜 및/또는 시간에 (예를 들어, 물리적 우편에 의해) 고객에게 전달된다.
하나 이상의 다른 실시예에 따르면, 디지털 캐릭터와 고객 사이의 상호작용은 환경(100)의 물리적 영역의 변화를 야기하는(또는 일으키는) 상호작용을 포함한다. 예를 들어, 시스템(102)은 디지털 캐릭터와 고객 간의 줄다리기 게임의 수행을 가능하게 하는 도르래(pulley)를 포함할 수 있다.
예를 들어, 디지털 캐릭터의 행위를 제어하는 사람 오퍼레이터(202)는 "나와 줄다리기 게임을 하고 싶은 사람이 있습니까?"라고 묻는다. 이에 따라, 디지털 영역에서 디지털 캐릭터(106)가 고객(110)에게 "나와 줄다리기 게임을 하고 싶은 사람이 있습니까?"라고 묻는다. 물리적 영역에서, 이에 따라 고객(110)이 응답할 수 있다. 예를 들어, 한 고객(110)이 자신의 손을 들 수 있다. 다른 예로서, 다른 고객(110)은 "예!"라고 외칠 수 있다.
고객(110)에 의한 시각 반응 및/또는 청각 반응에 응답하여, 사람 오퍼레이터(202)는 사람 오퍼레이터(202)가 게임이 플레이될 로프를 회수하고 있었던 것처럼 환경(200a) 내에서 움직일 수 있다. 그 다음, 사람 오퍼레이터(202)는 마치 사람 오퍼레이터(202)가 하나 이상의 대기 고객(110)을 향해 회수된 로프를 이동시키는 것처럼 환경(200b) 내에서 움직일 수 있다.
사람 오퍼레이터(202)의 동작은 디지털 영역에서 디지털 캐릭터(106)에 의해 복제된다. 예를 들어, 디지털 영역에서, 디지털 캐릭터(106)는 로프를 회수하고 출력 채널(108)을 향하는 방향으로 움직인다.
물리적 영역에서, 로프의 자유 끝단은 출력 채널(108)을 통해 확장된다. 로프의 다른 끝단은 고객(110)의 시야에서 보이지 않는 도르래 시스템에 연결될 수 있다. 고객 중 한 명이 로프를 잡은 후 줄다리기 게임이 시작될 수 있다.
하나 이상의 추가 실시예에 따르면, 환경(100)의 물리적 영역의 변경을 일으키는 다른 상호작용의 예는 다음을 포함한다: 물리적 영역의 객체가 디지털 영역의 디지털 캐릭터에 의한 동작(예: 걸리는 것 또는 넘어지는 것)에 응답하여, 움직이게 되는 것(예: 눕혀짐); 물리적 영역의 조명이 디지털 영역의 디지털 캐릭터의 동작에 응답하여 켜지거나 꺼지도록 제어되는 것; 및 물리적 영역의 일부 다른 양상이 디지털 영역의 디지털 캐릭터에 의한 동작에 응답하여 변경되는 것.
유사한 방식으로, 시스템(102)에 의해 감지된 물리적 영역에서 고객의 동작은 디지털 영역의 변경을 초래할 수 있다. 예를 들어, 고객의 얼굴 반응이나 표정, 고객의 신체 자세, 고객의 기타 움직임, 고객의 음성 반응 또는 사운드가 감지되어 관련 이벤트가 디지털 영역에서 발생되도록 할 수 있다.
물리적 영역과 디지털 영역 사이의 상호작용은 고객과 디지털 캐릭터에 국한되지 않는다. 예를 들어, 물리적 영역의 하나 이상의 특정 객체의 존재가 감지되는 것은 디지털 영역에서의 변경을 초래할 수 있으며, 그 반대의 경우도 마찬가지이다. 예를 들어, 변경에는 디지털 영역에서의 대응하거나 관련된 객체가 포함될 수 있다. 예를 들어, 의도적이든 비의도적이든 물리적 영역에서 고객에 의해 객체가 이동되는 것은 디지털 영역에서 디지털 캐릭터에 의해 대응하거나 관련된 객체가 이동되는 것으로 이어질 수 있다.
환경(100)의 물리적 영역에서 변화를 일으키는 것은 고객이 디지털 영역에서 하나 이상의 디지털 캐릭터와 관계를 맺을 가능성을 증가시키도록 수행될 수 있다. 고객 참여가 감지되지 않고 디지털 캐릭터의 행위가 AI에 의해 적어도 부분적으로 작성되는 경우, 시스템(102)은 감지된 참여에 대해 지속적으로(또는 주기적으로) 모니터링하는 루프 상태에 들어갈 수 있다. 대안적으로(또는 추가로), 시스템(102)은 고객이 디지털 캐릭터(들)와 관계를 맺도록 동기를 부여하기 위해 후속 애니메이션을 디스플레이하기 시작할 수 있다. 대안적으로(또는 추가적으로), 시스템(102)은 고객의 존재가 감지될 때까지 애니메이션의 특정 세트가 디스플레이되는 대기 상태로 돌아갈 수 있다.
다양한 실시예를 참조하여 앞서 설명된 바와 같이, 쿠키 상자와 같은 객체가 고객에 의한 회수를 위해 (예를 들어, 출력 채널(108)을 통해) 전달될 수 있다. 이 경우, 고객의 요청(예: 고객이 "예!"라고 함)이 감지된 후 비교적 빨리 객체가 전달될 수 있다. 다른 상황에서는, 특정 지연 후에 전달이 이루질 수 있다. 예를 들어, 장난감 칼이 고객에게 전달될 수 있다. 물리적 영역에서, 미리 만들어진 장난감 칼은 출력 채널의 수신 단에서 배치를 위해 회수될 수 있다. 그러나 디지털 영역에서, 디지털 캐릭터는 대장간에서 장난감 칼(예: 원자재로 만들어짐)을 준비할 수 있다. 그러한 상황에서, 애니메이션 루프(또는 시퀀스)는 장난감 칼의 준비를 보여주기 위해 디스플레이 장치(예를 들어, 디스플레이 장치(104))에 디스플레이될 수 있다. 이러한 루프의 디스플레이는 장난감 칼의 전달이 이루어진다는 것을 나타내는 피드백이 물리적 영역에서 수신될 때까지 계속될 수 있다. 이러한 피드백을 수신하면, 루프의 디스플레이가 종료되고, 디지털 영역에서는 장난감 칼의 준비가 완료된다. 이러한 피드백의 예는 나중에 더 자세히 설명된다.
다른 예에 따르면, 객체는 물리적 영역에서 약간의 준비 시간이 필요한 아이템일 수 있다. 예를 들어, 객체는 고객이 요청(또는 주문)한 음식 아이템(예: 국수 한 그릇)일 수 있다.
요청을 받기 전에 먼저 고객의 존재를 감지할 수 있다. 다양한 실시예를 참조하여 앞서 설명된 바와 같이, (예를 들어, 환경(100)에서) 하나 이상의 고객의 움직임이 감지될 수 있다. 하나 이상의 움직임(예를 들어, 디스플레이 장치(104)를 향한 움직임과 같은 하나 이상의 특정 움직임)의 감지 시, 고객에 의한 참여를 요청하기 위한 동작이 수행된다. 예를 들어, 시스템(102)이 시각적으로 주방 또는 푸드 트럭의 외부와 유사하도록 디자인되면, 디스플레이 장치(104)가 음식을 준비하고 있는 하나 이상의 디지털 캐릭터를 디스플레이하도록 시퀀스(예를 들어, 게임 시퀀스)가 시작된다. 예를 들어, 디지털 영역에서 디지털 캐릭터는 야채 썰기, 국수 요리 등을 하고 있다.
요리용 숟가락이나 냄비와 같은 디지털 영역의 하나 이상의 아이템에 대한 묘사는 여러 가지 방법으로 제어할 수 있다. 예를 들어, 아이템은 모션 캡처로 추적할 수 있는 액터(예를 들어, 도 2a의 사람 오퍼레이터(202))가 들고 다니는 숟가락(예를 들어, 플라스틱 또는 폼(foam)으로 만들어짐)과 같은 물리적 영역에 존재하는 대응물을 가질 수 있다. 다른 예로서, 아이템의 묘사는 아이템이 비디오 게임의 객체와 같이 게임 엔진 내에 존재할 때 디지털 방식으로 제어될 수 있다. 이러한 상황에서, 액터는 게임 엔진에 자신이 그 아이템을 집어들고 싶어한다는 것 알리기 위해 아이템을 움켜쥐는 제스처를 하고 손을 아이템 가까이에 둠으로써 아이템과 상호작용할 수 있다. 액터는 제어기나 버튼 누름을 통해 잡는 제스처를 트리거할 수도 있다. 또 다른 예에서, 액터는 버튼을 누르거나 특정 '영역'에 손을 뻗어 아이템이 허공에서 액터의 손안에 나타나도록 트리거할 수 있다.
앞서 도 2b를 참조하여 설명한 바와 같이, 디지털 영역에서 디지털 캐릭터(106)는 쿠키 상자를 회수한다. 액터는 디지털 캐릭터(106)의 손이 디스플레이(예를 들어, 디스플레이(104))에 관하여 프레임 밖(예: 프레임 바로 밖)에 존재하는 디지털 영역의 보이지 않는 입방체(cube)로 들어가도록 자신의 손을 공중으로 뻗음으로써 상자를 회수할 수 있다. 디지털 캐릭터(106)의 손이 이 구역에 들어가면 디지털 영역에서 그의 손에 상자가 놓인다. 액터가 물리적 영역에서 자신의 팔을 내리면 디지털 영역에서 디지털 캐릭터(106)의 손에 상자가 나타나 디지털 캐릭터(106)가 화면 밖으로 손을 뻗어 보이지 않는 선반에서 상자를 꺼낸 것처럼 나타난다.
다른 예에 따르면, 디지털 영역의 하나 이상의 아이템과 함께 물리적 영역의 하나 이상의 아이템의 조합이 활용된다. 예를 들어, 이러한 조합은 디지털 캐릭터가 디지털 영역에서 당근을 자를 수 있게 하는 데 활용될 수 있다. 이 조합은 액터가 들고 있으며 디지털 영역의 칼에 대응하는 물리적 영역의 대응물(예: 물리적 소품)과 디지털 영역에만 존재하는 당근을 포함할 수 있다. 칼이 디지털 캐릭터의 손에 나타나고 그에 따라 움직이도록 물리적 소품의 움직임이 추적된다. 디지털 영역에서 칼날이 당근 근처로 이동하면서 당근이 조각조각 썰린 것처럼 묘사된다. 칼의 측면을 당근 조각 가까이 가져오면, 조각이 도마의 가장자리에서 냄비로 옮겨지는 것으로 묘사될 수 있다. 당근 조각의 이러한 움직임은 디지털 캐릭터의 손에 의해 직접적으로 야기되는 것(예를 들어, 액터가 당근 조각을 냄비에 쓸어 넘기도록 동작하는 것)으로 묘사될 수도 있다. 그러나 더 높은 수준의 사실감을 얻기 위해서는 (디지털 캐릭터의 손이 아닌) 칼만이 당근을 조각으로 자를 수 있다는 점이 이해된다.
트리거된 모션(들)도 유사한 방식으로 달성될 수 있다. 이러한 동작에는 예를 들어, 일반적인 비숙련자가 쉽게 수행할 수 없는 무술 동작이 포함된다. 이러한 모션은 라이브 모션에서 하나 이상의 미리 준비된 모션으로 혼합하는 제어기 상의 버튼 누름에 의해 트리거될 수 있거나, 시스템에서 인식할 때 트리거된 모션을 시작하는 제스처(예: 대체 제스처)를 수행하는 액터에 의해 트리거될 수 있다. 예를 들어, 액터가 그/그녀의 다리를 걷어차면 시스템이 발차기를 특별한 쿵푸 점프 발차기 시퀀스의 트리거로 인식할 수 있다. 다른 예에 따르면, 트리거된 모션은 디지털 캐릭터의 행위를 전체적으로 구동하지 않는다. 예를 들어, 디지털 캐릭터의 몸체의 하나 이상의 부분만이 트리거된 모션에 의해 구동될 수 있다. 예를 들어, 트리거된 모션이 디지털 캐릭터의 몸통, 팔 및/또는 다리에 의해 수행되는 동안, 디지털 캐릭터의 얼굴은 여전히 액터에 의해 (예를 들어, 모션 캡처를 통해) 제어될 수 있다.
고객의 존재 감지로 돌아가, 감지된 고객으로부터의 요청이 수신된다. 요청을 수신하는 것에는 (언어적 요청을 수신 및 처리하기 위한) 자연어 프로세싱을 사용하는 것이 포함될 수 있다. 대안으로(또는 추가로), 요청을 수신하는 것은 고객이 작동할 수 있는 인터페이스를 사용하는 것을 포함할 수 있다. 예를 들어, 고객은 터치스크린의 버튼을 조작하거나 머신에 의해 삽입되어 판독되는 지시 카드(instruction card)를 작성할 수 있다.
고객이 특정 아이템을 요청하면, 물리적 영역에서 아이템 준비가 시작된다. 예를 들어, 환경(100) 부근에 위치한 음식 준비자(예: 요리사)는 요청된 아이템을 준비하기 시작한다.
동시에 디지털 영역에서는, 아이템 준비를 나타내는 동작이 이루어진다. 이러한 동작은 고객의 요청에 따라 맞춤화될 수 있다. 예를 들어, 수프 국수에 추가 당근이 포함되어야 한다는 고객의 요청에 기초하여, 실행되는 시퀀스에는 디지털 영역의 부엌을 가로질러 날아가는 당근의 묘사가 포함될 수 있다.
디스플레이 장치(104)에 표시되는 애니메이션은 물리적 영역에서 요청된 아이템의 준비가 진행되는 동안 지속적으로 제어될 수 있다. 예를 들어, 요청된 아이템을 준비하는 동안, 음식 준비자로부터 피드백(예: 준비가 완료되기까지 더 많은 시간이 필요함을 나타냄)을 받을 수 있다. 이러한 피드백으로 인해 특정 시퀀스의 추가 루프가 디스플레이될 수 있다. 여기서, 디스플레이 장치(104)에 디스플레이되는 애니메이션은, 다양한 실시예를 참조하여 앞서 설명된 바와 같이 특정 디지털 캐릭터의 행위가 제어될 수 있는 방식과 유사하게 AI 게임 엔진 기술 및 사람 오퍼레이터에 의해 동시에 제어될 수 있다.
또한 요청한 아이템이 가까워지거나 완성되면, 애니메이션이 계속 제어될 수 있다. 예를 들어, 아이템이 출력할 준비가 되었음을 나타내는 피드백이 음식 준비자로부터 수신될 수 있다. 피드백은 객체(예: 요청된 아이템)가 결정된 위치에 배치되었음을 감지하는 압력 센서에서 비롯될 수 있다. 따라서, 음식 준비자는 요청된 아이템을 압력 센서에 또는 근처에 배치하여 아이템이 출력될 준비가 되었음을 나타내는 피드백을 제공할 수 있다. 다른 예로서, 시스템(102)은 음식 준비자에 의해 작동가능한 인터페이스를 포함할 수 있다. 따라서, 음식 준비자는 터치스크린 상의 버튼을 조작하여 아이템이 출력될 준비가 되었음을 신호할 수 있다.
물리적 영역에서, 아이템은 고객이 회수할 수 있도록 출력 채널(108)에 배치될 수 있다.
설명된 기능에 기초하여, 디지털 영역에서 발생하는 이벤트의 타이밍(예: 디스플레이된 애니메이션에 묘사되는 디지털 캐릭터에 의한 아이템 준비)은 물리적 영역에서 발생하는 이벤트의 타이밍(예: 음식 준비자에 의한 아이템 준비)과 더 잘 일치할 수 있다. 예를 들어, 수프 국수 한 그릇이 디지털 영역의 시야에서 사라질 때 출력 채널(108)의 물리적 영역에 나타나도록 두 영역의 타이밍이 더 잘 정렬될 수 있다. 하나 이상의 특정 실시예에 따르면, 출력 채널(108)에 제시된 아이템은 디지털 영역에 묘사되는 아이템의 시각적 외관과 일치하도록 선택된다.
도 6은 적어도 하나의 실시예에 따른 디스플레이 장치에 묘사되는 디지털 캐릭터의 행위를 제어하는 방법(600)의 흐름도를 예시한다.
블록(602)에서, 특정 실시예에 따르면, 디지털 캐릭터의 행위는 AI 게임 엔진 기술을 사용하여 제어될 수 있다. 예를 들어, 도 1을 참조하면, 디지털 캐릭터(106)의 행위는 AI 게임 엔진 기술을 사용하여 제어된다.
블록(604)에서, 물리적 환경에 위치한 고객의 존재가 감지된다. 예를 들어, 도 1을 계속 참조하면, 물리적 환경(100)에 위치한 고객(110)의 존재가 감지된다.
추가 실시예에 따르면, 고객의 존재의 감지는 물리적 환경에 위치한 적어도 카메라 또는 마이크로부터 수신된 데이터에 기초하여 수행된다.
다른 실시예에 따르면, 고객의 존재를 감지하는 것은 고객의 외모의 특성 또는 고객의 감정 상태를 자율적으로 판단하는 것을 포함할 수 있다. 예를 들어, 카메라로부터 수신된 데이터는 고객(110)이 파란색 의류를 착용하고 있다고 결정하는 데 사용될 수 있다. 다른 예로서, 마이크로부터 수신된 데이터는 감지를 위해 그리고 고객(110)이 행복한지 슬픈지를 결정하기 위해 사용될 수 있다.
블록(606)에서, 고객의 존재를 감지하는 것에 응답하여, 사람 오퍼레이터, AI 게임 엔진, 또는 이들의 조합에 의한 디지털 캐릭터의 행위(또는 그의 적어도 양상)의 제어가 가능해진다. 예를 들어, 도 2a를 참조하면, 고객(110)의 존재를 감지하는 것에 응답하여, 사람 오퍼레이터(202)에 의한 디지털 캐릭터(106)의 행위의 제어가 가능해진다.
추가 실시예에 따르면, 디지털 캐릭터의 행위의 제어를 가능하게 하는 것은 사람 오퍼레이터에 의해 선택가능한 적어도 하나의 옵션을 제공하는 것을 포함할 수 있다. 선택 가능한 옵션은 결정된 특성 또는 결정된 감정 상태에 따라 디지털 캐릭터를 제어하여 고객에게 대응하기 위한 것이다. 예를 들어, 사람 오퍼레이터(202)가 고객(110)의 기분이 특히 행복하거나 명랑하다고 식별하면, 사람 오퍼레이터는 디지털 캐릭터(106)를 제어하여 고객(110)에게 특히 행복하거나 명랑하게 말을 걸 수 있다.
추가 실시예에 따르면, 디지털 캐릭터의 행위 제어를 가능하게 하는 것은 사람 오퍼레이터에 대응하는 모션 캡처 데이터를 수신하는 것을 포함할 수 있다. 예를 들어, 모션 캡처 데이터를 수신하는 것은 광학 모션 캡처 시스템(예를 들어, 도 4의 카메라(406)를 사용하는 시스템)으로부터 데이터를 수신하고 관성 모션 캡처 시스템(예를 들어, 사람 오퍼레이터(202)가 착용하는 바디 캡처 슈트를 사용하는 시스템)으로부터 데이터를 수신하는 것을 포함할 수 있다.
추가 실시예에 따르면, 광학 모션 캡처 시스템으로부터 수신된 데이터는 사람 오퍼레이터의 허리 영역에 배치된 하나 이상의 광학 마커에 대응하는 데이터를 포함할 수 있다. 예를 들어, 광학 모션 캡처 시스템으로부터 수신된 데이터는 사람 오퍼레이터(202)의 허리 부분에 배치된 마커(506)에 대응하는 데이터를 포함할 수 있다.
추가 실시예에서, 디지털 캐릭터의 행위가 사람 오퍼레이터와 AI 게임 엔진 기술 모두에 의해 동시에 구동되도록 사람 오퍼레이터에 의한 디지털 캐릭터의 행위의 적어도 일부의 제어가 가능하게 된다.
블록(608)에서, 특정 실시예에 따르면, 고객으로부터 요청이 수신된다. 예를 들어, 도 1을 참조하면, 고객(110)은 쿠키 상자가 제공되도록 요청할 수 있다.
블록(610)에서, 고객이 위치하는 물리적 환경의 변경을 일으킴으로써 요청이 서비스될 수 있다. 예를 들어, 요청은 고객에 의한 회수를 위해 전달될 물리적 객체를 제공함으로써 서비스될 수 있다. 예를 들어, 도 5를 참조하면, 쿠키를 포함하는 상자(302)가 고객(110)에 의한 회수를 위해 전달되도록 제공된다.
선택된 실시예에서, 여기에 설명된 특징 및 양상은 도 7에 도시된 바와 같이 컴퓨팅 환경(700) 내에서 구현될 수 있다. 서버(701)는 하나 이상의 데이터 저장소(702)(예를 들어, 데이터베이스, 인덱스, 파일, 또는 다른 데이터 구조)에 작동 가능하게 연결될 수 있다. 서버(701)는 근거리 통신망(LAN), 광역 통신망(WAN)(예: 인터넷), 전화 네트워크, 위성 또는 무선 통신 네트워크, 또는 이들 네트워크 및 유사한 네트워크의 일부 조합을 포함하는 데이터 통신 네트워크(703)를 연결할 수 있다.
하나 이상의 클라이언트 장치(704, 705, 706, 707, 708, 709, 710)는 데이터 통신 네트워크(703)를 통해 서버(701) 및 대응하는 데이터 저장소(702)와 통신할 수 있다. 이러한 클라이언트 장치(704, 705, 706, 707, 708, 709, 710)는 예를 들어, 하나 이상의 랩톱 컴퓨터(707), 데스크톱 컴퓨터(704), 스마트폰 및 휴대폰(705), 태블릿 컴퓨터(706), 텔레비전(708), 모션 캡처 센서(들)(709), 카메라(들)(710), 또는 이들의 조합을 포함할 수 있다. 작동시, 이러한 클라이언트 장치(704, 705, 706, 707, 708, 709, 710)는 사용자 입력 장치 또는 다른 입력으로부터 수신된 사용자 입력에 응답하여 서버(701)로 또는 서버(701)로부터 데이터 또는 명령어를 송신 및 수신할 수 있다. 이에 응답하여, 서버(701)는 데이터 저장소(702)로부터의 데이터를 제공하고, 데이터 저장소(702) 내의 데이터를 변경하고, 데이터 저장소(702)에 데이터를 추가하는 것 등 수행하거나, 또는 이들의 조합을 수행할 수 있다.
선택된 실시예에서, 서버(701)는 오디오 및/또는 비디오 콘텐츠, 인코딩된 데이터, 생성된 데이터, 및/또는 메타데이터를 포함하는 하나 이상의 미디어 파일을 데이터 저장소(702)로부터 클라이언트 장치(704, 705, 706, 707, 708, 709, 710) 중 하나 이상으로 데이터 통신 네트워크(703)를 통해 전송할 수 있다. 장치는 디스플레이 스크린, 프로젝터 또는 기타 디스플레이 출력 장치를 사용하여 미디어 파일의 오디오 및/또는 비디오 콘텐츠를 출력할 수 있다. 특정 실시예에서, 여기에 설명된 특징 및 양상에 따라 구성된 시스템(700)은 클라우드 컴퓨팅 환경 내에서 동작하거나 클라우드 컴퓨팅 환경을 지원하도록 구성될 수 있다. 예를 들어, 데이터 저장소(702) 및 서버(701)의 일부 또는 전부는 클라우드 서버에 상주할 수 있다.
도 8을 참조하면, 예시적인 컴퓨터(800)의 예시가 제공된다. 시스템(700)의 장치(704, 705, 706, 707, 708) 중 하나 이상은 이러한 컴퓨터(800)로 구성되거나 이를 포함할 수 있다.
선택된 실시예에서, 컴퓨터(800)는 버스(803)(또는 다중 버스) 또는 다른 통신 메커니즘, 프로세서(801), 주 메모리(804), 읽기 전용 메모리(ROM)(805), 하나 이상의 추가 저장 장치(806), 및/또는 통신 인터페이스(802) 등 또는 이들의 하위 조합을 포함한다. 여기에 설명된 실시예는 하나 이상의 ASIC(application specific integrated circuit), DSP(digital signal processor), DSPD(digital signal processing devices), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 제어기, 마이크로 제어기, 마이크로프로세서, 여기에 설명된 기능을 수행하도록 설계된 기타 전자 유닛, 또는 이들의 선택적인 조합 내에서 구현될 수 있다. 모든 실시예에서, 여기에 설명된 다양한 구성요소는 단일 구성요소로서 구현될 수 있거나 대안적으로 다양한 개별 구성요소로 구현될 수 있다.
다수의 그러한 버스 또는 메커니즘을 포함하는 버스(803) 또는 다른 통신 메커니즘은 컴퓨터(800) 내에서 정보의 통신을 지원할 수 있다. 프로세서(801)는 버스(803)에 연결되어 정보를 처리할 수 있다. 선택된 실시예에서, 프로세서(801)는 특정 작업을 정의하는 머신 판독 가능 소프트웨어 코드를 실행함으로써 여기에 설명된 특징 및 양상에 따라 특정 작업을 수행하도록 구성된 특수화된 또는 전용 마이크로프로세서일 수 있다. 주 메모리(804)(예를 들어, 랜덤 액세스 메모리 - 또는 RAM - 또는 기타 동적 저장 장치)는 버스(803)에 연결될 수 있고, 프로세서(801)에 의해 실행될 정보 및 명령어를 저장할 수 있다. 그러한 명령어의 실행 중에 주 메모리(804)는 또한 임시 변수 또는 다른 중간 정보를 저장할 수 있다.
ROM(805) 또는 일부 다른 정적 저장 장치는 버스(803)에 연결될 수 있고 프로세서(801)를 위한 정적 정보 및 명령어를 저장할 수 있다. 추가 저장 장치(806)(예: 자기 디스크, 광 디스크, 메모리 카드 등)는 버스(503)에 연결될 수 있다. 주 메모리(804), ROM(805), 및 추가 저장 장치(806)는 정보, 명령어 또는 이들의 일부 조합(예를 들어, 프로세서(801)에 의해 수행되는 경우에 컴퓨터(800)로 하여금 본 명세서에 설명된 방법의 하나 이상의 동작을 수행하게 하는 명령어)을 보유하는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 통신 인터페이스(802)는 또한 버스(803)에 연결될 수 있다. 통신 인터페이스(802)는 컴퓨터(800)와 하나 이상의 외부 장치(예를 들어, 컴퓨팅 환경 내에 포함된 다른 장치) 사이의 양방향 데이터 통신을 제공하거나 지원할 수 있다.
선택된 실시예에서, 컴퓨터(800)는 (예를 들어, 버스(803)를 통해) 디스플레이(807)에 연결될 수 있다. 디스플레이(807)는 컴퓨터(800)의 사용자에게 정보를 통신하기 위해 임의의 적절한 메커니즘을 사용할 수 있다. 예를 들어, 디스플레이(807)는 시각 디스플레이의 컴퓨터의 사용자에게 정보를 제공하기 위한 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, 프로젝터 또는 기타 디스플레이 장치를 포함하거나 이를 활용할 수 있다. 하나 이상의 입력 장치(808)(예를 들어, 영숫자 키보드, 마우스, 마이크)가 버스(803)에 연결되어 정보 및 커맨드를 컴퓨터(800)에 전달할 수 있다. 선택된 실시예에서, 하나의 입력 장치(808)는 컴퓨터(800)에 의해 제공되고 디스플레이(807)에 의해 디스플레이되는 다양한 객체, 파일, 프로그램 등의 선택 및 실행을 허용하도록 커서의 포지셔닝에 대한 제어를 제공하거나 지원할 수 있다.
컴퓨터(800)는 하나 이상의 비디오 파일을 송신, 수신, 디코딩, 디스플레이 등에 사용할 수 있다. 선택된 실시예에서, 이러한 전송, 수신, 디코딩 및 디스플레이는 프로세서(801)가 주 메모리(804)에 포함된 하나 이상의 명령어의 하나 이상의 시퀀스를 실행하는 것에 응답할 수 있다. 이러한 명령어는 다른 비일시적인 컴퓨터 판독 가능 매체(예: 저장 장치)로부터 주 메모리(804)로 판독될 수 있다.
주 메모리(804)에 포함된 명령어 시퀀스의 실행은 프로세서(801)로 하여금 여기에 설명된 절차 또는 단계 중 하나 이상을 수행하게 할 수 있다. 선택된 실시예에서, 다중 처리 장치의 하나 이상의 프로세서가 주 메모리(804)에 포함된 명령어 시퀀스를 실행하는 데에도 사용될 수 있다. 여기에 설명된 특징 및 양상에 따라 절차 또는 단계를 구현하기 위한 소프트웨어 명령어를 대신하여 또는 이와 함께 펌웨어가 사용될 수 있다. 따라서, 여기에 설명된 특징 및 양상에 따른 실시예는 하드웨어 회로 및 소프트웨어의 임의의 특정 조합으로 제한되지 않을 수 있다.
비일시적 컴퓨터 판독 가능 매체는 프로세서(801)에 의한 실행을 위해 명령어를 보유하는 데 참여하거나 컴퓨터에 의한 처리를 위한 데이터를 저장하는 매체는 어느 것이나 지칭할 수 있으며, 신호를 전파하는 일시적인 것 제외하고는 모든 컴퓨터 판독 가능한 매체를 포함한다. 그러한 비일시적 컴퓨터 판독 가능 매체는 비휘발성 매체, 휘발성 매체, 및 임시 저장 매체(예를 들어, 캐시 메모리)를 포함할 수 있지만 이에 제한되지는 않는다. 비휘발성 매체는 추가 저장 장치와 같은 광 디스크 또는 자기 디스크를 포함할 수 있다. 휘발성 매체에는 주 메모리와 같은 동적 메모리가 포함될 수 있다. 비일시적 컴퓨터 판독 가능 매체의 일반적인 형태는 예를 들어 하드 디스크, 플로피 디스크, 자기 테이프 또는 기타 자기 매체, CD-ROM, DVD, 블루레이 또는 기타 광학 매체, RAM, PROM, EPROM, FLASH-EPROM, 기타 메모리 카드, 칩, 카트리지 또는 컴퓨터가 읽을 수 있는 기타 메모리 매체를 포함할 수 있다.
선택된 실시예에서, 통신 인터페이스(802)는 네트워크 링크로 또는 네트워크 링크를 통한 외부 양방향 데이터 통신을 제공하거나 지원할 수 있다. 예를 들어, 통신 인터페이스(802)는 무선 네트워크 인터페이스 제어기 또는 데이터 통신 네트워크 연결을 제공하는 셀룰러 라디오일 수 있다. 대안적으로, 통신 인터페이스(802)는 호환 가능한 LAN에 대한 데이터 통신 연결을 제공하는 LAN 카드를 포함할 수 있다. 임의의 그러한 실시예에서, 통신 인터페이스(802)는 정보를 전달하는 전기적, 전자기적, 또는 광학 신호를 송신 및 수신할 수 있다.
네트워크 링크는 하나 이상의 네트워크를 통해 다른 데이터 장치(예를 들어, 컴퓨팅 환경(700)에 도시된 클라이언트 장치)에 데이터 통신을 제공할 수 있다. 예를 들어, 네트워크 링크는 호스트 컴퓨터의 로컬 네트워크를 통한 또는 인터넷 서비스 공급자(ISP)가 운영하는 데이터 장비에 대한 연결을 제공할 수 있다. ISP는 차례로 인터넷을 통해 데이터 통신 서비스를 제공할 수 있다. 따라서, 컴퓨터(800)는 프로그램 코드를 포함하여, 명령, 데이터, 또는 이들의 조합을 하나 이상의 네트워크, 네트워크 링크 및 통신 인터페이스(802)를 통해 송신 및 수신할 수 있다. 따라서, 컴퓨터(800)는 원격 서버(예를 들어, 서버(701)), 또는 이들의 일부 조합과 인터페이스하거나 통신할 수 있다.
본 명세서에 기술된 다양한 장치, 모듈, 터미널 등은 위에서 논의된 바와 같이 컴퓨터 판독가능 매체로부터 판독된 머신 명령어를 포함하는 소프트웨어의 실행에 의해 컴퓨터 상에서 구현될 수 있다. 특정 실시예에서, 여러 하드웨어 양상은 단일 컴퓨터를 사용하여 구현될 수 있고, 다른 실시예에서, 다중 컴퓨터, 입력/출력 시스템 및 하드웨어가 시스템을 구현하는 데 사용될 수 있다.
소프트웨어 구현의 경우, 여기에 설명된 특정 실시예는 프로시저 및 기능과 같은 별도의 소프트웨어 모듈로 구현될 수 있으며, 이들 각각은 여기에 설명된 기능 및 동작 중 하나 이상을 수행한다. 소프트웨어 코드는 임의의 적절한 프로그래밍 언어로 작성된 소프트웨어 애플리케이션으로 구현될 수 있으며 메모리에 저장되고 제어기 또는 프로세서에 의해 실행될 수 있다.
전술한 실시예 및 특징은 예시적인 것일 뿐이며 본 발명을 제한하는 것으로 해석되어서는 안 된다. 본 암시는 다른 유형의 장치 및 프로세스에 쉽게 적용될 수 있다. 이러한 실시예의 설명은 예시를 위한 것이며 청구범위의 범위를 제한하려는 것이 아니다. 많은 대안, 수정 및 변형이 당업자에게 명백할 것이다.

Claims (20)

  1. 디스플레이 장치에서 묘사되는 디지털 캐릭터의 행위(performance)를 제어하는 방법으로서,
    물리적 환경에 위치한 사람의 존재를 결정하는 단계와,
    상기 사람의 존재를 결정하는 것에 응답하여, 사람 오퍼레이터, 인공 지능(AI) 게임 엔진, 또는 이들의 조합에 의해 상기 디스플레이 장치에 묘사되는 상기 디지털 캐릭터의 행위의 제어를 가능하게 하는 단계를 포함하는,
    제어 방법.
  2. 제1항에 있어서,
    상기 사람의 존재를 결정하는 단계는, 상기 물리적 환경에 위치한 적어도 카메라 또는 마이크로부터 수신된 데이터에 기초하여 수행되는,
    제어 방법.
  3. 제1항에 있어서,
    상기 사람의 존재를 결정하는 단계는, 상기 사람의 외모의 특성, 상기 사람의 감정 상태, 또는 상기 사람으로부터 발생하는 오디오 중 적어도 하나를 자율적으로 결정하는 단계를 포함하는,
    제어 방법.
  4. 제3항에 있어서,
    상기 사람 오퍼레이터에 의한 상기 디지털 캐릭터의 행위의 제어를 가능하게 하는 단계는, 상기 결정된 특성 또는 결정된 감정 상태에 따라 상기 사람에게 말을 걸도록(address) 상기 디지털 캐럭터를 제어하기 위해 상기 사람 오퍼레이터에 의해 선택 가능한 적어도 하나의 옵션을 제공하는 단계를 포함하는,
    제어 방법.
  5. 제1항에 있어서,
    상기 사람 오퍼레이터에 의한 상기 디지털 캐릭터의 행위의 제어를 가능하게 하는 단계는 상기 사람 오퍼레이터에 대응하는 모션 캡처 데이터를 수신하는 단계를 포함하는,
    제어 방법.
  6. 제5항에 있어서,
    상기 모션 캡처 데이터를 수신하는 단계는,
    광학 모션 캡처 시스템으로부터 데이터를 수신하는 단계와,
    관성 모션 캡처 시스템으로부터 데이터를 수신하는 단계를 포함하는,
    제어 방법.
  7. 제6항에 있어서,
    상기 광학 모션 캡처 시스템으로부터 수신된 데이터는 상기 사람 오퍼레이터의 허리 영역에 위치한 하나 이상의 광학 마커에 대응하는 데이터를 포함하는,
    제어 방법.
  8. 제6항에 있어서,
    상기 광학 모션 캡처 시스템으로부터 수신된 데이터는 상기 관성 모션 캡처 시스템으로부터 수신된 데이터에 기초하여 결정되는 상기 사람 오퍼레이터의 위치의 드리프트 보정을 수행하기 위한 것인,
    제어 방법.
  9. 제1항에 있어서,
    상기 디지털 캐릭터의 행위가 상기 사람 오퍼레이터와 상기 AI 게임 엔진 모두에 의해 동시에 구동되도록 상기 사람 오퍼레이터에 의한 디지털 캐릭터의 행위의 제어가 가능하게 되는,
    제어 방법.
  10. 제1항에 있어서,
    상기 사람으로부터 요청을 수신하는 단계와,
    상기 사람이 위치한 물리적 환경의 변경을 일으킴으로써 상기 요청을 서비스하는 단계 - 상기 요청을 서비스하는 단계는 상기 사람에 의한 회수(retrieval)를 위해 전달될 물리적 객체를 제공하는 단계를 포함하는,
    제어 방법.
  11. 디스플레이 장치에 묘사되는 디지털 캐릭터의 행위를 제어하기 위한 장치로서,
    데이터를 송신 및 수신하는 네트워크 통신부와,
    하나 이상의 제어기를 포함하되,
    상기 하나 이상의 제어기는,
    물리적 환경에 위치한 사람의 존재를 결정하고,
    상기 사람의 존재를 결정하는 것에 응답하여, 사람 오퍼레이터, 인공 지능(AI) 게임 엔진, 또는 이들의 조합에 의해 상기 디스플레이 장치에 묘사되는 상기 디지털 캐릭터의 행위의 제어를 가능하게 하도록 구성되는,
    제어 장치.
  12. 제11항에 있어서,
    상기 사람의 존재를 결정하는 것은 상기 물리적 환경에 위치한 적어도 카메라 또는 마이크로부터 수신된 데이터에 기초하여 수행되는,
    제어 장치.
  13. 제11항에 있어서,
    상기 하나 이상의 제어기는 상기 사람의 외모의 특성, 상기 사람의 감정 상태, 또는 상기 사람에게서 나오는 오디오 중 적어도 하나를 자율적으로 결정함으로써 상기 사람의 존재를 결정하도록 구성되는,
    제어 장치.
  14. 제13항에 있어서,
    상기 하나 이상의 제어기는 결정된 특성 또는 결정된 감정 상태에 따라 상기 사람에게 말을 걸도록 상기 디지털 캐릭터를 제어하기 위해, 상기 사람 오퍼레이터에 의해 선택가능한 적어도 하나의 옵션을 제공함으로써 상기 사람 오퍼레이터에 의한 상기 디지털 캐릭터의 행위의 제어를 가능하게 하도록 구성되는,
    제어 장치.
  15. 제11항에 있어서,
    상기 하나 이상의 제어기는 상기 사람 오퍼레이터에 대응하는 모션 캡처 데이터를 수신함으로써 상기 사람 오퍼레이터에 의한 상기 디지털 캐릭터의 행위의 제어를 가능하게 하도록 구성되는,
    제어 장치.
  16. 제15항에 있어서,
    상기 모션 캡처 데이터를 수신하는 것은,
    광학 모션 캡처 시스템으로부터 데이터를 수신하는 것과,
    관성 모션 캡처 시스템으로부터 데이터를 수신하는 것을 포함하는,
    제어 장치.
  17. 제16항에 있어서,
    상기 광학 모션 캡처 시스템으로부터 수신된 데이터는 상기 사람 오퍼레이터의 허리 영역에 배치된 하나 이상의 광학 마커에 대응하는 데이터를 포함하는,
    제어 장치.
  18. 제16항에 있어서,
    상기 광학 모션 캡처 시스템으로부터 수신된 데이터는 상기 관성 모션 캡처 시스템으로부터 수신된 데이터에 기초하여 결정되는 상기 사람 오퍼레이터의 위치의 드리프트 보정을 수행하기 위한 것인,
    제어 장치.
  19. 제11항에 있어서,
    상기 디지털 캐릭터의 행위가 상기 사람 오퍼레이터와 상기 AI 게임 엔진 모두에 의해 동시에 구동되도록 상기 사람 오퍼레이터에 의한 상기 디지털 캐릭터의 행위의 제어가 가능해지는,
    제어 장치.
  20. 디스플레이 장치에 묘사되는 디지털 캐릭터의 행위를 제어하기 위한 머신 실행가능 명령어가 저장된 머신 판독가능 비일시적 매체로서,
    상기 명령어는,
    물리적 환경에 있는 사람의 존재를 결정하는 것과,
    상기 사람의 존재를 결정하는 것에 응답하여, 사람 오퍼레이터, 인공 지능(AI) 게임 엔진, 또는 이들의 조합에 의해 상기 디스플레이 장치에 묘사되는 상기 디지털 캐릭터의 행위의 제어를 가능하게 하는 것을 포함하는,
    머신 판독가능 비일시적 매체.
KR1020227000900A 2019-06-11 2020-06-11 물리적 영역에서 고객과 상호작용하는 디지털 캐릭터 KR20220019282A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962860188P 2019-06-11 2019-06-11
US62/860,188 2019-06-11
US15/931,377 2020-05-13
US15/931,377 US11446567B2 (en) 2019-06-11 2020-05-13 Digital character interacting with customer in physical realm
PCT/US2020/037314 WO2020252210A1 (en) 2019-06-11 2020-06-11 Digital character interacting with customer in physical realm

Publications (1)

Publication Number Publication Date
KR20220019282A true KR20220019282A (ko) 2022-02-16

Family

ID=73745743

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227000900A KR20220019282A (ko) 2019-06-11 2020-06-11 물리적 영역에서 고객과 상호작용하는 디지털 캐릭터

Country Status (8)

Country Link
US (2) US11446567B2 (ko)
EP (1) EP3983098A1 (ko)
JP (1) JP2022537126A (ko)
KR (1) KR20220019282A (ko)
CN (1) CN114007709A (ko)
CA (1) CA3141877A1 (ko)
SG (1) SG11202112975TA (ko)
WO (1) WO2020252210A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112781589B (zh) * 2021-01-05 2021-12-28 北京诺亦腾科技有限公司 一种基于光学数据和惯性数据的位置追踪设备及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884029A (en) * 1996-11-14 1999-03-16 International Business Machines Corporation User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users
SE517816C2 (sv) * 2000-10-27 2002-07-16 Terraplay Systems Ab Metod och anordning för en applikation
US20060186197A1 (en) * 2005-06-16 2006-08-24 Outland Research Method and apparatus for wireless customer interaction with the attendants working in a restaurant
US20070060233A1 (en) * 2005-08-26 2007-03-15 Liccardo Anthony J Video Game System and Method with Trade Based Characters, Weapons and Fight Environments
US20110004481A1 (en) * 2008-09-19 2011-01-06 Dell Products, L.P. System and method for communicating and interfacing between real and virtual environments
GB201011922D0 (en) 2010-07-15 2010-09-01 Johnston Matthew Augmented reality system
US9690784B1 (en) * 2013-03-15 2017-06-27 University Of Central Florida Research Foundation, Inc. Culturally adaptive avatar simulator
US10222450B2 (en) * 2015-10-12 2019-03-05 Xsens Holding B.V. Integration of inertial tracking and position aiding for motion capture
US10664863B1 (en) * 2016-09-27 2020-05-26 Amazon Technologies, Inc. Augmented reality gaming for physical goods
US11775130B2 (en) 2019-07-03 2023-10-03 Apple Inc. Guided retail experience

Also Published As

Publication number Publication date
CN114007709A (zh) 2022-02-01
US11446567B2 (en) 2022-09-20
SG11202112975TA (en) 2021-12-30
WO2020252210A1 (en) 2020-12-17
EP3983098A1 (en) 2022-04-20
JP2022537126A (ja) 2022-08-24
US20200391105A1 (en) 2020-12-17
CA3141877A1 (en) 2020-12-17
US20220409992A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
JP7403452B2 (ja) 双方向ビデオゲームシステム
JP5859456B2 (ja) プレゼンテーション用カメラ・ナビゲーション
CA2767788C (en) Bringing a visual representation to life via learned input from the user
KR102615001B1 (ko) 인터랙티브 비디오 게임 시스템
CN102414641B (zh) 改变显示环境内的视图视角
US10341642B2 (en) Display device, control method, and control program for stereoscopically displaying objects
CA2766511A1 (en) Auto-generating a visual representation
JP2010253277A (ja) ビデオゲームにおいてオブジェクトの動きを制御する方法およびシステム
KR101710000B1 (ko) 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
US11334165B1 (en) Augmented reality glasses images in midair having a feel when touched
US11778283B2 (en) Video distribution system for live distributing video containing animation of character object generated based on motion of actors
JP2018514836A (ja) バーチャル及びオーグメンテッドリアリティ環境におけるコントローラ可視化
US20220409992A1 (en) Digital character interacting with customer in physical realm
Souza et al. Kinect to architecture
KR102667210B1 (ko) 인터랙티브 비디오 게임 시스템
US11430170B1 (en) Controlling joints using learned torques
Wan et al. Interactive shadow play animation system
Bernardos et al. A system for multimodal interaction with Kinect-enabled virtual windows
ROSA Expanding the mobile VR experience: walking detection and body tracking with worn sensors
Baqai et al. Kinect as a Generalised Interface for Games and PC Control
JP2024519710A (ja) マルチプレイヤ・インタラクティブ・システムおよびその使用方法
JP2021074354A (ja) 情報処理装置、情報処理方法及びプログラム
Choi et al. NUI Design and Realization for Game Content Control
Bloc Blocks: R