KR20220123098A - 실시간 반응형 투영 미디어를 사용하는 광학 성능 캡처된 애니메이트 피규어를 위한 시스템 및 방법 - Google Patents

실시간 반응형 투영 미디어를 사용하는 광학 성능 캡처된 애니메이트 피규어를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20220123098A
KR20220123098A KR1020227026596A KR20227026596A KR20220123098A KR 20220123098 A KR20220123098 A KR 20220123098A KR 1020227026596 A KR1020227026596 A KR 1020227026596A KR 20227026596 A KR20227026596 A KR 20227026596A KR 20220123098 A KR20220123098 A KR 20220123098A
Authority
KR
South Korea
Prior art keywords
animated
media
visitor
controller
responsive
Prior art date
Application number
KR1020227026596A
Other languages
English (en)
Inventor
앤서니 알렉산더 멕카
티모시 제이 엑
Original Assignee
유니버셜 시티 스튜디오스 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니버셜 시티 스튜디오스 엘엘씨 filed Critical 유니버셜 시티 스튜디오스 엘엘씨
Publication of KR20220123098A publication Critical patent/KR20220123098A/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address
    • G09F27/005Signs associated with a sensor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015Face robots, animated artificial faces for imitating human expressions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/003Manipulators for entertainment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089Determining the position of the robot with reference to its environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1615Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • G09F19/02Advertising or display means not otherwise provided for incorporating moving display members
    • G09F19/08Dolls, faces, or other representations of living forms with moving parts
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • G09F19/12Advertising or display means not otherwise provided for using special optical effects
    • G09F19/18Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35444Gesture interface, controlled machine observes operator, executes commands
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40411Robot assists human in non-industrial environment like home or office
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address
    • G09F2027/001Comprising a presence or proximity detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

반응형 미디어 시스템은 하나 이상의 대화형 데이터 소스로부터 수신된 대화형 데이터에 응답하여 본체의 피규어 부분을 조정하도록 구성된 액추에이터 및 본체를 갖는 애니메이트 피규어를 갖는 모션 제어 시스템을 포함한다. 반응형 미디어 시스템은 피규어 부분에 연결된 추적기의 세트에 근거하여 피규어 부분의 현재 위치 및 방향을 나타내는 신호를 생성하도록 구성된 추적 카메라를 갖는 미디어 제어 시스템을 포함한다. 미디어 제어 시스템은 신호를 수신하고, 그 신호에 근거하여 현재 위치 및 방향을 판정하고, 현재 위치 및 방향을 갖는 피규어 부분의 외부 표면 상에 투영될 이미지를 나타내는 데이터를 생성하도록 구성된 미디어 컨트롤러를 포함한다. 미디어 제어 시스템은 또한 미디어 컨트롤러로부터 데이터를 수신하고, 이미지를 외부 표면 상에 투영하도록 구성된 프로젝터를 포함한다.

Description

실시간 반응형 투영 미디어를 사용하는 광학 성능 캡처된 애니메이트 피규어를 위한 시스템 및 방법
본 출원은 2020년 1월 2일자로 출원된 "실시간 반응형 투영 미디어를 사용하는 광학 성능 캡처된 애니메이트 피규어(animated figure)를 위한 시스템 및 방법"이라는 제목의 미국 가출원 제62/956,468호에 대한 우선권 및 이익을 주장하며, 이는 모든 목적을 위해 그 전체가 참조로 통합된다.
이 섹션은 이하에 설명 및/또는 청구되는 본 기술의 여러가지 국면과 관련될 수 있는 기술의 여러가지 국면을 독자에게 소개하기 위한 것이다. 이러한 논의는 본 개시의 여러가지 국면의 더 나은 이해를 용이하게 하기 위해 배경 정보를 독자에게 제공하는 데 도움이 될 것으로 생각된다. 따라서 이러한 서술은 이러한 관점에서 해석해야 하며 종래 기술을 인정하는 것이 아님을 이해해야 한다.
놀이공원 및 다른 여흥을 위한 장소는 많은 다른 어트랙션 중에서, 놀이기구 체험을 위해 또는 그 안에 대기하는 놀이공원 방문객을 즐겁게 하기 위한 애니메이트 피규어를 포함한다. 특정 애니메이트 피규어는 전통적으로 애니메이트 피규어에 미리 결정된 모습을 지시하는 투영 매핑에 의해 생기를 부여할 수 있다. 예를 들어, 특정 애니메이트 피규어는 애니메이트 피규어의 미리 프로그래밍된 움직임에 맞추어 정렬될 수 있는 미리 준비된 이미지의 세트로 시각적으로 보완될 수 있다. 그러한 기술이 평면 디스플레이 표면보다 더 많은 오락거리를 제공할 수 있는 한편, 특정 어트랙션, 놀이기구 또는 상호작용 경험에 방문객을 더 몰입시키기 위해 발전이 이루어질 수 있다는 것이 현재 인식되고 있다. 예를 들어, 특정 애니메이트 피규어는 애니메이트 피규어의 반투명 투영 표면을 거쳐 내부 또는 후면 투영을 통해 비현실적인 백라이트 또는 글로우(glow)를 생성하는 내부에 위치한 프로젝터를 갖는다. 따라서, 이제 애니메이트 피규어를 보다 실물처럼 보이게 하는 것뿐만 아니라, 애니메이트 피규어에 현실적이고 확실한 방식으로 상황에 따라 주변 환경과 혼합될 수 있는 기능을 제공하는 것이 바람직하다는 것이 인식되고 있다.
최초 청구 대상의 범위에 상응하는 특정 실시예가 이하에 요약되어 있다. 이들 실시예는 본 개시의 범위를 제한하려는 것이 아니며, 단지 개시된 특정 실시예의 간략한 요약을 제공하도록 의도되는 것이다. 실제로, 본 개시는 이하에 설명하는 실시예와 유사하거나 상이할 수 있는 다양한 형태를 포함할 수 있다.
일 실시예에서, 오락 어트랙션의 반응형 미디어 시스템은 하나 이상의 대화형 데이터 소스로부터 수신된 대화형 데이터에 응답하여 본체의 피규어 부분을 조정하도록 구성된 액추에이터의 세트 및 본체를 갖는 애니메이트 피규어를 포함하는 모션 제어 시스템을 포함한다. 모션 제어 시스템은 또한 본체의 피규어 부분에 연결된 추적기의 세트를 포함한다. 반응형 미디어 시스템은 추적기의 세트에 근거하여 피규어 부분의 현재 위치 및 현재 방향을 나타내는 신호를 생성하도록 구성된 추적 카메라를 포함하는 미디어 제어 시스템을 포함한다. 미디어 제어 시스템은 추적 카메라에 연결되어 현재 위치 및 현재 방향을 나타내는 신호를 수신하도록 구성된 미디어 컨트롤러를 포함한다. 미디어 제어 시스템은 또한 그 신호에 근거하여 현재 위치 및 현재 방향을 결정하고, 현재 위치 및 현재 방향을 갖는 피규어 부분의 외부 표면 상에 투영될 이미지를 나타내는 데이터를 생성하도록 구성된다. 미디어 제어 시스템은 또한 미디어 컨트롤러에 통신 가능하게 연결된 프로젝터를 포함한다. 프로젝터는 미디어 컨트롤러로부터 이미지를 나타내는 데이터를 수신하고, 현재 위치 및 현재 방향을 갖는 피규어 부분의 외부 표면 상에 이미지를 투영하도록 구성된다.
일 실시예에서, 오락 어트랙션의 반응형 미디어 시스템을 작동시키는 방법은, 애니메이트 피규어의 피규어 컨트롤러를 통해, 놀이 어트랙션의 하나 이상의 대화형 데이터 소스로부터 대화형 데이터를 수신하는 것과, 피규어 컨트롤러를 통해 대화형 데이터에 근거하여 애니메이트 피규어의 대화형 응답을 생성하는 것을 포함한다. 이 방법은 피규어 컨트롤러를 통해 애니메이트 피규어 내에 배치된 액추에이터에 애니메이트 피규어의 본체의 적어도 일부를 움직이는 것에 의해 대화형 응답을 수행하도록 지시하는 것을 포함한다. 이 방법은 또한 미디어 컨트롤러를 통해 미디어 컨트롤러에 연결된 추적 카메라로부터 애니메이트 피규어의 본체의 현재 위치 및 방향을 나타내는 센서 피드백을 수신하는 것을 포함한다. 추적 카메라는 애니메이트 피규어의 본체에 숨겨진 적어도 하나의 추적기에 근거하여 현재 위치 및 방향을 감지하도록 구성된다. 추가적으로, 방법은 미디어 컨트롤러를 통해 현재 위치 및 방향을 갖는 애니메이트 피규어의 본체의 외부 표면에 투영될 이미지의 세트를 생성하고, 미디어 컨트롤러를 통해, 프로젝터에 현재 위치와 방향을 갖는 본체의 외부 표면 상에 이미지의 세트를 컨투어 매핑하도록 지시하는 것을 포함한다.
일 실시예에서, 오락 어트랙션의 반응형 미디어 시스템은, 시간의 경과에 따라 가변적인 대화형 데이터를 생성하도록 구성된 하나 이상의 대화형 데이터 소스와, 오락 어트랙션 내에 배치된 애니메이트 피규어를 포함하는 모션 제어 시스템을 포함한다. 애니메이트 피규어는 가동 관절(moveable joint)을 포함하는 피규어 부분을 포함한다. 모션 제어 시스템은 또한 피규어 부분 내에 배치되고 가동 관절을 작동시키도록 구성된 액추에이터의 세트를 포함한다. 부가적으로, 모션 제어 시스템은 액추에이터의 세트 및 하나 이상의 대화형 데이터 소스에 통신 가능하게 연결된 피규어 컨트롤러를 포함한다. 피규어 컨트롤러는 하나 이상의 대화형 데이터 소스로부터의 대화형 데이터에 근거하여, 애니메이트 피규어의 현재 상태에 대응하는 애니메이트 피규어의 대화형 응답을 결정하도록 구성된다. 대화형 응답은 가동 관절을 작동시키는 것을 포함한다. 피규어 컨트롤러는 또한 액추에이터의 세트에 대화형 응답을 수행할 것을 지시하도록 구성된다. 더욱이, 반응형 미디어 시스템은 애니메이트 피규어의 피규어 부분에 연결된 추적기의 세트를 포함한다. 추적기의 세트는, 반응형 미디어 시스템의 미디어 제어 시스템이 모션 제어 시스템의 대화형 응답과 동기화하여 애니메이트 피규어의 피규어 부분의 외부 표면 상에 이미지를 투영할 수 있게 한다.
본 개시의 이들 및 다른 특징, 국면, 및 이점은, 동일한 문자가 도면 전체에 걸쳐 동일한 부분을 나타내는 첨부 도면을 참조하여, 다음의 상세한 설명을 읽을 때 더 잘 이해될 것이다.
도 1은, 본 개시의 실시예에 따라, 애니메이트 피규어에 디스플레이되는 투영 매핑된 이미지를 제어하기 위한 반응형 미디어 시스템을 갖는 오락 어트랙션 또는 체험의 일 실시예를 도시하는 개략도이다.
도 2는, 본 개시의 실시예에 따라, 애니메이트 피규어가 방문객 입력에 반응할 수 있게 하는 방문객 센서를 포함하는 반응형 미디어 시스템의 일 실시예를 도시하는 개략도이다.
도 3은, 본 개시의 실시예에 따라, 애니메이트 피규어의 움직임 및 위치를 검출하는 미디어 제어 시스템에 근거하는 것과 같이, 애니메이트 피규어가 대화형 데이터 소스에 반응할 수 있게 하는, 도 1 또는 도 2의 반응형 미디어 시스템의 일 실시예의 블럭도이다.
도 4는, 본 개시의 실시예에 따라, 관절형 턱 및 후방 장착식 추적 가능한 추적기를 갖는, 도 1의 애니메이트 피규어의 머리 부분의 일 실시예의 단면 개략도이다.
도 5는, 본 개시의 실시예에 따라, 전방 장착식 추적 가능한 추적기를 갖는,도 1의 애니메이트 피규어의 머리 부분의 일 실시예의 단면 개략도이다.
도 6은, 본 개시의 실시예에 따라, 도 1의 애니메이트 피규어의 머리 부분에 투영 매핑되는 안면 특징의 일 실시예의 정면 사시도이다.
도 7은, 본 개시의 실시예에 따라, 도 1의 애니메이트 피규어의 머리 부분에 투영 매핑되는 안면 특징의 다른 실시예의 정면 사시도이다.
도 8은, 본 개시의 실시예에 따라, 모션 제어 시스템이 도 3의 대화형 데이터 소스에 응답하여 도 1의 애니메이트 피규어를 제어할 수 있는 프로세스의 일 실시예의 흐름도이다.
도 9는, 본 개시의 실시예에 따라, 미디어 제어 시스템이, 임의의 정해진 시간에 대화형 데이터 소스에 응답할 수 있는, 도 1의 애니메이트 피규어에 이미지를 동적으로 투영하는 프로세스의 일 실시예의 흐름도이다.
이하에 본 개시의 하나 이상의 특정 실시예가 설명될 것이다. 이들 실시예의 간결한 설명을 제공하기 위한 노력으로, 실제 구현의 모든 특징이 명세서에서 설명되지 않을 수 있다. 엔지니어링 또는 설계 프로젝트에서와 같이, 임의의 그러한 실제 구현을 개발할 때 구현마다 다를 수 있는, 시스템 및 비즈니스 관련 제약조건의 준수와 같은, 개발자의 특정 목표를 달성하기 위해 수많은 구현마다의 결정이 이루어져야 하는 것을 이해해야 한다. 더욱이, 그러한 개발 노력은 복잡하고 시간이 많이 걸릴 수 있지만, 본 개시의 이점을 갖는 당업자에게 있어서는 설계, 조립 및 제조의 일상적인 작업이 될 것임을 이해해야 한다.
본 개시의 다양한 실시예의 요소를 소개할 때, 관사 "하나의(a, an)" 및 "그(the)"는 하나 이상의 요소가 있음을 의미하도록 의도된다. "구비하는", "포함하는" 및 "갖는"이라는 용어는 포괄적인 것으로 의도되며, 나열된 요소 이외의 추가 요소가 있을 수 있음을 의미한다. 부가적으로, 본 개시의 "하나의 실시예" 또는 "일 실시예"에 대한 언급은 나열된 특징을 또한 포함하는 추가 실시예의 존재를 배제하는 것으로 해석되어서는 안된다.
본 실시예는 미디어 제어 시스템의 프로젝터가 애니메이트 피규어의 외부 표면 상으로 이미지를 향하게 하는 어트랙션 등의 오락 어트랙션을 위한 반응형 미디어 시스템에 관한 것이다. 특히, 애니메이트 피규어는, 애니메이트 피규어의 현재 상태, 인공 지능(AI) 엔진의 제어 지시, 방문객의 행동 또는 수동적 특성, 무대 뒤 또는 무대 위의 출연자의 행동 등을 포함할 수 있는, 임의의 적당한 수의 대화형 데이터 소스 또는 스트림에 응답한다. 이와 같이, 반응형 미디어 시스템은, 기존 기술 이전에 달성할 수 있었던 것보다 애니메이트 피규어가 실제 사람 또는 캐릭터와 더 가깝게 닮은, 역동적이고 몰입감 있는 경험을 방문객에게 제공한다. 특히, 애니메이트 피규어의 외부 표면에 투영 매핑함으로써, 애니메이트 피규어는, 애니메이트 피규어의 반투명한 표면을 통해 내부적으로 이미지를 투영하고, 이에 따라 부자연스럽거나 미묘하게 빛나는 외관을 생성하는 특정 애니메이트 피규어 시스템보다 더 실물처럼 보일 수 있다. 여기에서 논의된 바와 같이, 반응형 미디어 시스템은 (예컨대, 광학 성능 캡처 또는 광학 모션 캡처를 통한) 애니메이트 피규어의 외부 추적을 활용하여, 이미지를 동적으로 생성하고 애니메이트 피규어의 외부 표면에 제공하고, 이에 따라 임의의 부자연스러운 백라이트를 줄이거나 제거한다. 실제로, 특정 애니메이트 피규어는 애니메이트 피규어의 본체 내에 내부 프로젝터를 포함할 수 있기 때문에, 내부 프로젝터는 애니메이트 피규어에 대해 상대적으로 움직이지 않고, 따라서 피규어 또는 움직임 추적이 필요하지 않다. 추가적인 이점으로, 애니메이트 피규어의 외부에 프로젝터를 배치하면, 애니메이트 피규어 내의 공간이 더 복잡하거나 많은 액추에이터를 수용할 수 있고, 그렇지 않으면 전통적인 내부 투영 매핑 기술을 차단하거나 물리적으로 간섭할 수 있다.
보다 상세하게는, 애니메이트 피규어의 진위성을 향상시키기 위해, 애니메이트 피규어에는 미디어 제어 시스템의 추적 카메라가 광학 성능 캡처 또는 광학 모션 캡처를 통해 실시간으로 애니메이트 피규어의 움직임, 위치 및 방향을 파악할 수 있게 하는 추적기가 장착될 수 있다. 따라서, 미디어 제어 시스템은 (예컨대, 애니메이트 피규어의 액추에이터에 관한 위치, 속도 및/또는 가속도 정보에 의존하지 않는 것에 의해) 애니메이트 피규어와 독립적으로 작동할 수 있기 때문에, 미디어 제어 시스템은 투영된 이미지를, 동적으로 생성하고, 애니메이트 피규어와 구별할 수 없을 것 같은 텍스처, 색상 및/또는 움직임을 나타내는 것 등의, 실제 캐릭터를 모방하는 사실적인 프레임 레이트로 대화형 애니메이트 피규어 상에 맞게 할 수 있다. 이해되는 바와 같이, 특정 실시예의 미디어 제어 시스템은 추적 카메라로부터의 피드백에 근거하여 애니메이트 피규어의 골격 모델을 생성 및 업데이트할 수 있다. 골격 모델은 일반적으로 가동 관절 등의 애니메이트 피규어의 가동 부분을 나타내며, 애니메이트 피규어 또는 그 일부(예컨대, 애니메이트 피규어의 포즈)의 현재 3차원 위치(예컨대, x, y 및 z 좌표를 포함함), 방향 및 축척을 나타내도록 동적으로 업데이트된다. 따라서 미디어 제어 시스템은 골격 모델을 활용하여 반응형 및/또는 대화형 애니메이트 피규어의 현재 위치 및 방향에 정확하게 맞는 투영용 이미지를 생성한다. 따라서 반응형 미디어 시스템은 대화형 데이터에 응답하는 애니메이트 피규어를 갖는 모션 제어 시스템과, 애니메이트 피규어의 기계적 성능에 반응하는 미디어 제어 시스템을 제공한다. 따라서 이하에 논의되는 바와 같이, 이들 두 개의 폐쇄형 제어 루프는, 애니메이트 피규어의 기계적 위치에 관계없이, 방문객에게 매력적인 캐릭터 표현을 제공하기 위해 애니메이트 피규어의 광학적 모션 캡처를 기반으로 개선된 시스템 성능을 제공한다.
도 1에 도시된 바와 같이, 오락 어트랙션(10)의 반응형 미디어 시스템(8)은 미디어 제어 시스템(20)의 프로젝터(16)(예컨대, 외부 프로젝터, 렌즈가 있는 광학 프로젝터)로부터 이미지(14)(예컨대, 투영된 콘텐츠)를 수신하는 애니메이트 피규어(12)를 포함한다. 본 실시예에서, 오락 어트랙션(10)은 무대 천장(22), 무대 바닥(24), 및 무대 천장(22)과 무대 바닥(24) 사이에 배치된 풍경 물체(26)를 갖는 쇼 세트이다. 쇼 세트는 또한 도시된 조명 기구 또는 장치 등의 임의의 적절한 무대 조명 디바이스(30)를 포함할 수 있다. 오락 어트랙션(10)의 방문객 영역(32)으로부터, 다수의 방문객(34)은 본 기술에 따른 애니메이트 피규어(12)를 보고 또한/또는 상호작용할 수 있다. 무대 타입 환경 내인 것으로 예시되어 있지만, 반응형 미디어 시스템(8)은 어두운 놀이기구, 야외 경기장, 방문객(34)을 태운 놀이기구 차량의 주행 경로에 인접한 환경과 같은 임의의 적절한 오락 환경에서 방문객(34)을 즐겁게 하기 위해 활용될 수 있음을 이해해야 한다.
특히, 프로젝터(16)는 애니메이트 피규어(12)의 외부에 있고, 이에 따라, 애니메이트 피규어(12) 내의 밀폐된 공간이 이하에 논의되는 특정 작동 시스템 등의, 프로젝터(16) 이외의 구성요소를 수용하는데 활용될 수 있게 한다. 예시된 실시예에서, 프로젝터(16)는 애니메이트 피규어(12) 앞에 배치되고, 무대 천장(22)의 돌출부(36)에 의해 방문객(34)의 시야에서 차단된다. 돌출부(36)는 대안적으로 커튼일 수 있거나, 또는 오락 어트랙션(10)은 방문객(34)이 애니메이트 피규어(12)를 볼 수 있게 하는 임의의 다른 적절한 형태를 취할 수 있다는 것을 인식해야 한다. 다른 실시예에서, 프로젝터(16)는 방문객(34) 뒤에 위치할 수 있다. 어떤 경우에는, 본 실시예에서, 프로젝터(16)는 이미지(14)를 애니메이트 피규어(12)의 머리 부분(44)에 대응하는, 애니메이트 피규어(12)의 본체(42)의 외부 표면(40)을 향하게 한다. 따라서 미디어 제어 시스템(20)은 은폐된 위치로부터 머리 부분(44)에 사실적이고 매력적인 텍스처를 전달할 수 있으며, 이에 따라 방문객(34)에게 몰입형 및 상호적인 경험을 제공할 수 있다. 실제로, 앞서 설명한 바와 같이, 미디어 제어 시스템(20)은 특정 애니메이트 피규어의 내부에 배치된 프로젝터가 생성할 수 있는 애니메이트 피규어(12)의 내부의 부자연스러운 글로우를 생성하지 않기 때문에, 반응형 미디어 시스템(8)의 미디어 제어 시스템(20)은 애니메이트 피규어(12)가 내부 투영 기능이 있는 애니메이트 피규어보다 더 사실적으로 보이도록 할 수 있다.
본 명세서에서 인식되는 바와 같이, 특정 실시예에서, 애니메이트 피규어(12)는 미디어 제어 시스템(20)과 독립적으로 작동하는 모션 제어 시스템(50)(예컨대, 피규어 제어 시스템, 소품 제어 시스템)의 일부이다. 예를 들어, 모션 제어 시스템(50)은 이하에 더 상세히 논의되는 임의의 적절한 반응형 및/또는 대화형 데이터 소스로부터 대화형 데이터를 수신할 수 있다. 따라서, 애니메이트 피규어(12)는 대화형 데이터를 활용하여, 오락 어트랙션(10) 및/또는 그 안의 방문객(34)과의 상호작용을 동적으로 업데이트하거나 수정할 수 있다. 모션 제어 시스템(50)은 방문객(34)이 볼 수 있는 오락 어트랙션(10)의 임의의 적절한 구성요소의 위치를 조정하도록 액추에이터에 지시할 수 있음을 이해해야 한다. 부가적으로, 이하의 도 2 및 도 3을 참조하여 더 상세히 설명하는 바와 같이, 적절한 대화형 데이터에 근거하여, 모션 제어 시스템(50)은 대화형 및/또는 반응형 응답을 생성하고 애니메이트 피규어(12)의 액추에이터 및/또는 모션 제어 시스템(50)에 대화형 및/또는 반응형 응답을 실시간으로 수행하도록 지시할 수 있다. 후술하는 바와 같이, 반응형 미디어 시스템(8)은 또한 무대 조명 디바이스(30) 및/또는 풍경 물체(26)의 임의의 대화형 또는 작동 가능한 구성요소의 작동을 조정하여, 애니메이트 피규어(12)의 응답에 의해 조정되는 대화형 데이터 소스에 대한 응답을 제공할 수 있다. 더욱이, 모션 제어 시스템(50)은 애니메이트 피규어(12)에 물리적으로 연결되는 작동 가능한 모션 디바이스(66)(예컨대, 작동 가능한 모션 베이스)를 제어할 수 있다. 작동 가능한 모션 디바이스(66)는 애니메이트 피규어(12)를 가로로, 세로로 및/또는 수직으로 이동(예컨대, 병진이동, 회전)할 수 있는 임의의 적합한 모션 생성 조립품일 수 있다. 그러나, 다른 실시예에서, 작동 가능한 모션 디바이스(66)는 무대 바닥(24) 위로부터 애니메이트 피규어(12)에 연결되는 지지 시스템 및/또는 플라잉 시스템이거나 이를 포함할 수 있다는 것을 이해해야 한다. 따라서, 작동 가능한 모션 디바이스(66)의 지지 시스템 및/또는 플라잉 시스템은 애니메이트 피규어(12)를 가로로, 세로로 및/또는 수직으로 이동시키도록 설계된 임의의 적절한 액추에이터를 포함할 수 있다.
특히, 본 실시예에서 모션 제어 시스템(50)은 애니메이트 피규어(12)의 후면(62) 상에 위치하는 추적기(60)(예컨대, 추적 가능한 마커)를 포함한다. 여기에서 인식되는 바와 같이, 추적기(60)는 추적기(60)가 방문객의 시야에서 은폐될 수 있게 하는 애니메이트 피규어(12)의 임의의 적절한 표면 상에 또는 그 안에 위치할 수 있다. 추적기(60)는 미디어 제어 시스템(20)의 추적 카메라(64)가 광학 성능 캡처 또는 광학 모션 캡처 기술을 통해 오락 어트랙션(10) 내에서 애니메이트 피규어(12)의 위치 및 방향을 감지하거나 확인할 수 있게 한다. 추적 카메라(64)는 또한 무대 천장(22)에 위치하거나 풍경 물체(26) 내에 숨겨지는 것과 같은 임의의 적절한 방식으로 방문객(34)의 눈에 띄지 않거나 그 시야에서 은폐될 수 있다. 따라서, 이해되는 바와 같이, 프로젝터(16)는 애니메이트 피규어(12)의 액추에이터로부터의 위치, 속도 및/또는 가속도 정보에 의존하지 않고, 애니메이트 피규어(12)의 실제의 현재 위치 및 방향(예컨대, 포즈)과 동기화하여 애니메이트 피규어(12) 상에 이미지(14)를 제공하고, 감소된 대기 시간과 향상된 현실감으로 향상된 쇼 품질을 제공할 수 있다. 다른 실시예에서, 미디어 제어 시스템(20)은 모션 제어 시스템(50)으로부터의 액추에이터 유도 정보에 근거하여 프로젝터(16)의 위치 및 동작을 검증할 수 있다.
반응형 미디어 시스템(8)은 임의의 적절한 수의 프로젝터(16), 추적기(60), 및 추적 카메라(64)를 포함할 수 있다는 것을 이해해야 한다. 예를 들어, 두 개 이상의 애니메이트 피규어(12)가 단일 오락 어트랙션(10) 내에 포함될 수 있다. 따라서, 쇼 세트의 단일 측면에서 방문객(34)이 볼 수 있는 다수의 애니메이트 피규어(12)가 제공될 때, 반응형 미디어 시스템(8)은 각각의 애니메이트 피규어(12)에 대해 적어도 하나의 프로젝터(16)를 포함할 수 있다. 그러나, 현재, 반응형 미디어 시스템(8)의 특정 기반 시설은, 적어도 하나의 추적 카메라(64)의 광학 범위 내에서 이동 가능하고, 적어도 하나의 프로젝터(16)의 투영 원뿔 내에서 이동 가능한 임의의 수의 애니메이트 피규어(12)가 반응형 미디어 시스템(8)의 실질적인 재설계 또는 재구성 없이 이미지(14)를 수신할 수 있게 하는 것이 인식된다. 즉, 추가 애니메이트 피규어(12)는 추적기(60)가 제공되고, 오락 어트랙션(10) 내에 배치되기 때문에, 반응형 미디어 시스템(8)은 본 개시에 따라 추가적인 애니메이트 피규어(12)를 쉽게 검출하고 수용할 수 있다. 다른 실시예에서, 다수의 프로젝터(16)는 쇼 세트의 다수의 부분으로부터 방문객(34)에 의해 접근될 수 있는 애니메이트 피규어(12) 등의, 단일 애니메이트 피규어(12)의 다수의 측면에 콘텐츠를 전달하기 위해 제공될 수 있다. 추가적으로, 애니메이트 피규어(12)의 특정 실시예는 추적 카메라(64)가 애니메이트 피규어(12)의 효율적인 추적을 위해 적어도 2개의 추적기(60)의 상대적 위치를 확인할 수 있도록 하는 적어도 2개의 추적기(60)를 포함할 수 있지만, 단일 추적기(60)의 위치에서의 변경은 또한 덜 복잡한 시스템으로 애니메이트 피규어(12)의 위치의 확인을 가능하게 할 수 있다는 것을 이해해야 한다.
도 2는 미디어 제어 시스템(20) 및 모션 제어 시스템(50)을 포함하는 오락 어트랙션(10)의 반응형 미디어 시스템(8)의 일 실시예뿐만 아니라, 방문객 센서(72)를 포함하는 대화형 데이터 소스(70)의 일례를 도시한다. 본 실시예에서, 방문객 센서(72)는 방문객 영역(32) 내의 임의의 방문객(34)으로부터 방문객 입력을 수집한다. 여기에서 인식되는 바와 같이, 방문객 입력은 애니메이트 피규어(12) 또는 오락 어트랙션(10)의 현재 상태에 적응적으로 응답하기 위해 애니메이트 피규어(12)에 의해 이용될 수 있는 대화형 데이터의 한 형태이다. 본 실시예에서, 방문객 센서(72)는 대화형 데이터로서 방문객(34)으로부터 또는 방문객(34)에 관한 데이터를 수집하는 임의의 적절한 디바이스일 수 있다. 특정 실시예에서, 방문객 센서(72)에 의해 수집된 방문객 입력은 능동적 입력 및/또는 수동적 입력을 포함할 수 있다. 예를 들어, 애니메이트 피규어(12)는 제스처 인식을 구현함으로써 방문객(34)의 육안으로 보이는 제스처에 응답할 수 있다. 수동적 입력으로서, 애니메이트 피규어(12)는 방문객(34)의 판단된 위치, 방향, 특징 및/또는 키에 대응할 수 있다. 부가적으로, 특정 실시예에서, 방문객 센서(72)는 버튼, 레버, 손잡이, 기타 등등의 물리적 입력 디바이스를 포함한다. 또한, 방문객 센서(72)는 임의의 적절한 시각 데이터, 청각 데이터, 촉각 입력, 대화형 방문객 디바이스(예컨대, 스마트폰, 태블릿)로부터의 데이터, 방문객 암 밴드로부터의 식별 정보, 대화형 방문객 장난감 등으로부터의 입력을 수집할 수 있음을 이해해야 한다.
언급된 바와 같이, 대화형 데이터에 근거하여, 모션 제어 시스템(50)은 애니메이트 피규어(12)가 수행할 대화형 및/또는 반응형 응답을 생성한 후, 애니메이트 피규어(12)의 액추에이터에 대화형 및/또는 반응형 응답을 수행하도록 지시할 수 있다. 특정의 비제한적인 예로서, 모션 제어 시스템(50)은 대화형 데이터가 한 방문객(34)이 방문객 영역(32)의 에지 부분으로부터 애니메이트 피규어(12)에게 물리적으로 및/또는 구두로 인사하는 것을 나타내는 방문객 입력을 포함한다고 판단할 수 있다. 그 후, 모션 제어 시스템(50)은 애니메이트 피규어(12)에 방문객(34)의 인사에 대해 대화형의 물리적 응답을 수행할 것을 동적으로 지시할 수 있다. 예를 들어, 모션 제어 시스템(50)은 애니메이트 피규어(12)의 팔을 흔들면서 방문객(34)을 향하게 회전하도록 애니메이트 피규어(12)를 제어할 수 있다. 대화형 응답의 다른 특정의 예로서, 모션 제어 시스템(50)은 특정 키의 방문객(34)에 초점을 맞추거나 눈을 마주치는 모습 등을 제공하기 위해 (예컨대, 애니메이트 피규어(12) 아래에 배치된 작동 가능한 모션 디바이스(66)를 통해) 방문객(34)의 결정된 위치에 더 가까이 이동하고 애니메이트 피규어(12)의 머리 부분(44)을 기울임으로써 애니메이트 피규어(12)가 방문객 입력에 응답하도록 제어할 수 있다.
반응형 미디어 시스템(8)의 일반적인 동작에 대한 상기 이해를 염두에 두고, 반응형 미디어 시스템(8)의 특정 구성요소의 특정 실시예에 관한 추가 논의가 본 명세서에서 제공된다. 예를 들어, 도 3은 모션 제어 시스템(50)에 통신 가능하게 연결되지 않고 콘텐츠 또는 이미지를 애니메이트 피규어(12)에 외부적으로 전달하도록 동작할 수 있는 미디어 제어 시스템(20)을 예시하는 반응형 미디어 시스템(8)의 블럭도이다. 즉, 미디어 제어 시스템(20)은 통신 신호를 직접 모션 제어 시스템(50)으로 송신하거나 모션 제어 시스템(50)으로부터 수신하지 않는다. 그러나, 이하에 논의되는 바와 같이, 대화형 데이터 소스(70)는 미디어 제어 시스템(20)과 모션 제어 시스템(50) 모두의 업스트림에 통신 가능하게 연결되어, 제어 시스템(20, 50) 간의 상호 통신 없이 미디어 제어 시스템(20)과 모션 제어 시스템(50)의 협력을 가능하게 할 수 있다. 더욱이, 특정 실시예에서, 스위치 또는 허브와 같은 네트워크 디바이스(90)는 대화형 데이터 소스(70)의 다운스트림에 직접 통신 가능하게 연결될 수 있어, 대화형 데이터 소스(70)와 제어 시스템(20, 50) 사이의 효율적인 통신을 용이하게 할 수 있다. 그러나, 네트워크 디바이스(90)가 생략될 수 있거나, 다수의 네트워크 디바이스(90)가 구현될 수 있거나, 또는 임의의 다른 적절한 데이터 관리 디바이스가 대화형 데이터 소스(70)로부터 제어 시스템(20, 50)으로의 데이터 전달을 용이하게 하기 위해 사용될 수 있음을 이해해야 한다. 예시된 실시예에서, 애니메이트 피규어(12)는 모션 제어 시스템(50)의 피규어 컨트롤러(102)의 전부 또는 일부를 집합적으로 형성할 수 있는 피규어 프로세서(100) 및 피규어 메모리(104)를 포함한다. 애니메이트 피규어(12)는 또한, 애니메이트 피규어(12)의 본체(42)에 배치되는 추적기(60)를 포함하여, 미디어 제어 시스템(20)의 추적 카메라(64)가 애니메이트 피규어(12)의 위치 및 방향 또는 포즈를 감지할 수 있게 한다. 추적기(60)는 추적 카메라(64)에 개별화된 신호를 각각 방출할 수 있는 능동적 디바이스일 수 있다. 예를 들어, 추적기(60)는 적외선, 전자기 에너지, 또는 방문객이 감지할 수 없으면서 추적 카메라(64)에 의해 구별 가능한 임의의 다른 적절한 신호를 방출할 수 있다. 이와 달리, 추적기(60)는, 신호를 방출하지 않고 추적 카메라(64)가 수동적 디바이스를 애니메이트 피규어(12) 및/또는 오락 어트랙션(10)의 다른 부분과 정확하게 구별할 수 있게 하는 수동적 디바이스(예컨대, 반사기, 착색된 부분)일 수 있다.
더욱이, 애니메이트 피규어(12)에는 애니메이트 피규어(12)가 현실적이고 실제와 같은 방식으로 이동(예컨대, 보행, 병진 이동, 회전, 피벗, 입술 동기화)할 수 있게 하는 임의의 적절한 액추에이터(106)가 설치된다. 액추에이터(106)는 애니메이트 피규어(12)의 각각의 부분 사이에 상대적인 움직임을 전개하기 위해 각각 배치되고 결합되는 서보 모터, 유압 실린더, 선형 액추에이터 등을 포함할 수 있다. 예를 들어, 액추에이터(106)의 각각의 세트는 애니메이트 피규어(12)의 팔을 움직이고, 애니메이트 피규어(12)의 관절형 턱을 움직이고, 애니메이트 피규어(12)의 피규어 부분(예컨대, 머리 부분(44), 팔 부분, 몸통 부분, 다리 부분)을 조작하는 것 등을 하기 위해 배치될 수 있다. 상기에 언급한 바와 같이, 대화형 데이터 소스(70)는 시간의 경과에 따라 가변의 데이터의 세트를 대화형 데이터(109)로서 제공하는 임의의 적절한 데이터 소스를 포함할 수 있다. 그 결과, 입력 센서 또는 방문객 센서(72)(예컨대, 깊이 카메라, 입력 디바이스, 모션 센서)를 포함하는 대화형 데이터 소스(70)의 특정 실시예에서, 방문객 센서(72)는 방문객의 애니메이트 피규어(12)와의 상호작용을 감지하고, 방문객 상호작용을 나타내는 대화형 데이터를 피규어 컨트롤러(102)에 중계할 수 있다. 이하에 더 자세히 논의되는 바와 같이, 어떤 경우에는, 대화형 데이터 소스(70)로부터의 대화형 데이터(109)에 근거하여, 피규어 컨트롤러(102)는 액추에이터(106)에 애니메이트 피규어(12)를 동적으로 조작하여 시간의 경과에 따라 변할 수 있는 임의의 적절한 대화형 데이터(109)에 즉시 응답하고 적응하도록 지시할 수 있다.
피규어 컨트롤러(102)에 (예컨대, 무선 또는 유선 통신 경로를 통해) 통신 가능하게 연결된 대화형 데이터 소스(70)는 대화형 데이터(109)를 생성하여 피규어 컨트롤러(102) 및/또는 아래에서 설명하는 미디어 컨트롤러에 송신하는 임의의 하나 이상의 적절한 구성요소를 포함할 수 있다. 예를 들어, 대화형 데이터 소스(70)는 애니메이트 피규어 컨트롤러(102)에 의해 실행 가능한 명령을 동적으로 생성하여 애니메이트 피규어(12)가 오락 어트랙션(10) 내에서 그 움직임을 수정하게 하는 전용 게임 엔진 또는 컴퓨팅 디바이스를 포함할 수 있다. 일부 실시예에서, 전용 게임 엔진은 그것의 적절한 모듈로서 애니메이트 피규어 컨트롤러(102) 내에 내장될 수 있다. 특정 실시예에서, 대화형 데이터 소스(70)에 의해 제공되는 대화형 데이터(109)는 모션 제어 시스템(50)의 건강 상태 모니터링 시스템으로부터, 오락 어트랙션(10)의 글로벌 또는 메인 제어 시스템으로부터, 오락 어트랙션(10)의 기술자와 연관된 컴퓨팅 디바이스 등으로부터 수신된 입력 또는 명령을 포함한다. 또 다른 예로서, 대화형 데이터(109)는 시간 데이터, 날씨 데이터, 소셜 미디어 데이터, 주식 시장 데이터, 차량 위치 데이터, 또는 시간의 경과에 따라 변할 수 있는 임의의 적절한 데이터 스트림을 추가로 또는 대안적으로 포함할 수 있다. 따라서 애니메이트 피규어(12)는 임의의 적절한 수의 대화형 데이터 소스(70)에 적응적으로 응답할 수 있다는 것을 이해해야 한다. 실제로, 대화형 데이터 소스(70)에 의해 제공된 대화형 데이터(109)는, 애니메이트 피규어 컨트롤러(102)가 애니메이트 피규어(12)의 동작을 동적으로 제어할 수 있도록 선택적으로 일정하고 또한/또는 시간의 경과에 따라 가변적일 수 있는 입력 정보의 임의의 적절한 스트림(들)을 포함한다. 이와 같이, 모션 제어 시스템(50)은 대화형 데이터(109)에 근거하여 애니메이트 피규어(12)의 동작을 수정 및 확인하는 피규어 피드백 루프를 수행할 수 있다.
추가적으로, 일부 실시예에서, 대화형 데이터 소스(70)는 방문객 상호작용을 확인하기에 적합한 구성요소의 임의의 조합을 포함하는 방문객 센서(72)를 포함할 수 있다. 실제로, 방문객 상호작용은 임의의 적절한 광학적, 기계적, 전자-기계적, 전자기적, 청각적, 압력 및/또는 온도 변환기 또는 임의의 종류의 센서에 의해 감지될 수 있다는 것이 현재 인식되고 있다. 특히, 비제한적인 예로서, 방문객 센서(72)는 임의의 적절한 수의 컴퓨터 비전 센서(예컨대, 카메라), 깊이 카메라, LIDAR(Light Detection and Ranging) 디바이스, 모션 센서, 오디오 녹음 및/또는 처리 디바이스, 터치 정전용량 센서, 광 센서, 압력 또는 바닥 매트 센서, 무선 주파수 식별(RFID) 태그가 있는 사용자 웨어러블 디바이스로부터 고유하게 식별되는 RF 신호를 수신하는 무선 주파수(RF) 센서 등 또는 그 조합을 포함할 수 있다. 즉, 방문객 센서(72)는 방문객 영역(32)에서 방문객(34)을 모니터링하는 것에 근거하여 신호를 생성하는 임의의 적절한 구성요소 또는 변환기를 포함할 수 있다. 애니메이트 피규어(12)의 본체(42) 외부에 방문객 센서(72)를 포함하는 것으로 도시되어 있지만, 모션 제어 시스템(50)의 다른 실시예는 애니메이트 피규어(12)의 본체(42) 내에 배치된 방문객 센서(72)의 전부 또는 일부를 포함할 수 있다는 것을 이해해야 한다. 다른 실시예에서, 모션 제어 시스템(50)의 대화형 데이터 소스(70)는 방문객 센서(72)를 배제하고 애니메이트 피규어(12)가 대화형 데이터(109)의 임의의 다른 적절한 소스(들)에 적응적으로 응답할 수 있도록 할 수 있다.
도시된 바와 같이, 미디어 제어 시스템(20)의 본 실시예는 프로젝터(16), 4개의 추적 카메라(64), 카메라 네트워크 디바이스(110), 및 미디어 컨트롤러(112)를 포함한다. 미디어 컨트롤러(112)는 (예컨대, 네트워크 디바이스(90)를 통해) 대화형 데이터 소스(70)에 통신 가능하게 연결되고, 이에 의해 미디어 컨트롤러(112)는, 방문객 입력 또는 대화형 데이터(109)의 다른 변경 유발 소스가 수신되는지 여부를 판단하는 것 등에 의해, 오락 어트랙션(10)의 물리적 환경에 동적으로 반응할 수 있게 한다. 부가적으로, 본 실시예에 도시된 바와 같이, 미디어 제어 시스템(20)은 모션 제어 시스템(50)으로부터 통신 가능하게 분리될 수 있다. 즉, 모션 제어 시스템(50)은 미디어 제어 시스템(20)으로부터 독립적인 반면, 미디어 제어 시스템(20)은 애니메이트 피규어(12)를 따르거나 그에 종속된다. 따라서, 미디어 제어 시스템(20)이 애니메이트 피규어(12)의 움직임을 모니터링하거나 추적하여 몰입형 텍스처 또는 이미지를 그 위에도 실질적으로 실시간으로 투영하면서, 미디어 제어 시스템(20)은 실질적으로 실시간(예컨대, 상호작용의 마이크로초 또는 밀리초 내)으로 대화형 데이터(109)에 적응적으로 응답하기 위해 애니메이트 피규어(12)에 작동 상의 자유를 제공한다. 이와 같이, 모션 제어 시스템(50)이 피규어 피드백 루프를 수행하는 동안, 미디어 제어 시스템(20)은 애니메이트 피규어(12)에 투영되는 이미지를 수정하거나 확인하는 미디어 피드백 루프를 동시에 수행한다. 애니메이트 피규어(12)의 현재 위치 및 방향에 관한 정보를 수집하기 위해, 미디어 제어 시스템(20)은 광학 모션 캡처 기술을 통해 애니메이트 피규어(12)의 추적기(60)를 식별하거나 정확히 찾아내기 위해 오락 어트랙션(10) 내에 적절하게 배치된 추적 카메라(64)를 활용한다. 추적 카메라(64)의 유형 또는 구성은 추적기(60)의 유형에 대응하도록 개별적으로 선택될 수 있다. 간략한 요약으로서, 능동적 디바이스를 추적기(60)로 사용할 때, 추적 카메라(64)는 능동적 디바이스로부터 신호를 수신하여 애니메이트 피규어(12)의 위치를 감지하도록 설계될 수 있다. 수동적 디바이스를 추적기(60)로 사용할 때, 추적 카메라(64)는 애니메이트 피규어(12)의 외부 표면(40)에서 수동적 디바이스를 식별하도록 설계될 수 있다. 애니메이트 피규어(12)의 기하학적 또는 골격 모델과 함께 이러한 추적기(60)의 배치는 다른 방향에서 애니메이트 피규어(12)에 대한 투영의 조정을 용이하게 한다.
예시된 실시예의 추적 카메라(64)는 애니메이트 피규어(12) 또는 그 일부(예컨대, 애니메이트 피규어(12)의 포즈)의 현재 3차원 위치(예컨대, x, y, 및 z 좌표를 포함함), 방향 및 축척을 나타내는 신호를 미디어 컨트롤러(112)에 중계하는 카메라 네트워크 디바이스(110)에 통신 가능하게 연결된다. 따라서, 카메라 네트워크 디바이스(110)는 미디어 컨트롤러(112)의 효율적인 처리를 위해 추적 카메라(64)로부터 정보의 다중 스트림을 통합하는 네트워크 스위치 또는 센서 허브이다. 미디어 컨트롤러(112)는 미디어 프로세서(114) 및 미디어 메모리(116)를 포함하며, 이들은 함께 동작하여 현재 위치 및 방향에서 애니메이트 피규어(12)에 중첩될 동적인 텍스처 또는 이미지를 판정, 생성 및/또는 조정한다. 그 후, 미디어 컨트롤러(112)는 동적 이미지를 애니메이트 피규어(12) 상에 투영하도록 프로젝터(16)에 지시할 수 있다. 이미지는 애니메이트 피규어(12)의 현재 포즈(예컨대, 위치, 방향 및 축척)에 근거한 요구에 따라 완전히 렌더링될 수 있다. 덜 복잡한 구성에서, 이미지는 애니메이트 피규어(12)의 현재 포즈에 미리 기록된 비디오 스트림을 적용함으로써 생성될 수 있다. 본 개시에 따르면, 미디어 컨트롤러(112)는 상당한 처리 전력 및 감소된 레이턴시를 갖는 임의의 적절한 미디어 생성기 또는 게임 엔진일 수 있다. 따라서, 미디어 컨트롤러(112)는 추적 카메라(64)로부터 수신된 센서 데이터에 근거하여 실질적으로 실시간으로 애니메이트 피규어(12)에 투영될 이미지를 생성할 수 있다는 것을 이해해야 한다. 실제로 미디어 컨트롤러(112)는 애니메이트 피규어(12) 및 그 작동 가능한 부분(예컨대, 턱, 팔다리, 관절)을 나타내는 골격 모델 또는 알고리즘을 유지할 수 있다. 센서 데이터에 근거하여, 미디어 컨트롤러(112)는 애니메이트 피규어(12)의 실제의 현재 위치 및 방향을 나타내도록 골격 모델을 업데이트하고, 그 후 현재 위치 및 방향을 갖는 애니메이트 피규어(12) 상에 투영될 이미지를 생성할 수 있다.
프로젝터(16)는 프로젝터 프로세서(120) 및 프로젝터 메모리(122)를 포함하여 이미지 또는 동적 텍스처를 애니메이트 피규어(12)에 표시하는 것을 용이하게 할 수 있다. 프로젝터 프로세서(120)는 일반적으로 미디어 컨트롤러(112)로부터 이미지를 나타내는 데이터를 수신하고, 그 후에 렌즈를 통해 이미지를 출력하도록 프로젝터(16) 내의 광원에 지시한다. 프로젝터(16)는 미디어 컨트롤러(112)로부터 수신된 명령 등에 근거하여 애니메이트 피규어(12)를 따르고 정렬하기 위해 이동 가능하거나 작동될 수 있다. 이와 달리, 프로젝터(16)는 고정되어 있을 수 있다. 어떤 경우든, 미디어 컨트롤러(112)는 업데이트된 골격 모델에 근거하여 투영된 이미지를 수신할 애니메이트 피규어(12)의 타겟 피규어 부분의 현재 실루엣 또는 형상을 결정하고, 그 후, 프로젝터(16)에 이미지를 실루엣으로 제공하도록 지시할 수 있다. 따라서 프로젝터(16)는 애니메이트 피규어(12)의 가발, 프로젝터(16)에 대해 애니메이트 피규어(12) 뒤에 있는 풍경 물체(26) 등의 이미지(14)를 수신하도록 설계되지 않은 애니메이트 피규어(12) 및/또는 오락 어트랙션(10)의 부분을 차단하거나 가릴 수 있음을 이해해야 한다.
프로세서(100, 114, 120)는 각각 범용 프로세서, 시스템 온 칩(SoC) 디바이스, 주문형 집적 회로(ASIC), 프로그래머블 로직 컨트롤러(PLC)의 프로세서, 산업용 PC(IPC)의 프로세서, 또는 일부의 다른 유사한 프로세서 구성 등의 현재 개시된 기술을 수행하기 위한 명령을 실행할 수 있는 임의의 적절한 프로세서이다. 이들 명령은 메모리(104, 116, 122) 및/또는 다른 스토리지 회로 또는 디바이스와 같은 유형의(tangible) 비일시적 컴퓨터 판독 가능한 매체에 저장된 프로그램 또는 코드로 인코딩된다. 이와 같이, 피규어 프로세서(100)는 피규어 메모리(104)에 연결되고, 미디어 프로세서(114)는 미디어 메모리(116)에 연결되고, 프로젝터 프로세서(120)는 프로젝터 메모리(122)에 연결된다.
반응형 미디어 시스템(8)의 본 실시예는 또한 대화형 데이터 소스(70)에 근거하여 오락 어트랙션(10)의 추가 출력 디바이스를 조정하는 쇼 제어 시스템(130)을 포함한다. 예를 들어, 쇼 제어 시스템(130)의 쇼 컨트롤러(132)는 네트워크 디바이스(90)와 하나 이상의 조명 출력 디바이스(134), 오디오 출력 디바이스(136) 및/또는 장소별 특수 효과 출력 디바이스(138)(예컨대, 안개 기계, 진동 발생기, 풍경 물체(26)의 작동 가능한 부분) 사이에 통신 가능하게 연결된다. 조명 출력 디바이스(134)는 무대 조명 디바이스(30)(예컨대, 조명 기구를 포함함) 뿐만 아니라 오락 어트랙션(10)의 임의의 다른 광 발생 구성요소를 포함할 수 있다. 또한, 오디오 출력 디바이스(136)는 쇼 컨트롤러(132)로부터의 지시에 근거하여 소리를 출력하도록 설계되는 임의의 적절한 스피커 또는 소음 발생 장치를 포함할 수 있다. 그 결과, 대화형 데이터 소스(70)로부터 수신된 대화형 데이터(109)에 근거하여, 쇼 컨트롤러(132)는 출력 디바이스(134, 136, 138)의 표현을 조정하여, 애니메이트 피규어(12) 및 미디어 제어 시스템(20)의 대화형 및/또는 반응형 응답에 대응할 수 있다.
본 기술의 하나의 특정 예로서, 도 4는 프로젝터(16)에 대해 본체(42)의 후면(62) 상에 추적기(60)를 갖는 애니메이트 피규어(12)의 머리 부분(44)의 측단면도이다. 본 실시예에서 추적기(60)는 능동적 추적기(예컨대, 적외선 발광 다이오드)이고, 따라서 애니메이트 피규어(12)의 전원(152)에 연결되거나 통합되는 회로(150)에 접속된다. 전원(152)은 애니메이트 피규어(12)의 주 전원일 수 있고, 또는, 이와 달리, 전용의 개별 전원이 추적기(60)에 전력을 공급할 수 있다. 일반적으로, 추적기(60)는 전원(152)으로부터의 전기 에너지를 이용하여 추적 카메라(64)에 의한 해상도를 위해 개별화된 신호를 방출한다. 예를 들어, 추적기(60)의 제 1 추적기(160)는 제 1 고유 식별 신호(예컨대, 주파수, 서명, 신호 특성)를 갖는 제 1 신호를 방출할 수 있다. 추적기(60)의 제 2 추적기(162) 및 제 3 추적기(164)는 또한 각각의 고유 식별 신호를 방출할 수 있다. 본체(42)의 머리 부분(44)의 만곡부(166) 주위에 추적기(60)를 분산시키는 것에 의해, 추적기(60)는 추적 카메라(64)에 의해 머리 부분(44)이 애니메이트 피규어(12)의 여러 면(예컨대, 윗면, 뒷면)에서 확인될 수 있도록 하는 것 등에 의해 애니메이트 피규어(12)의 추적 가능성을 향상시킬 수 있다.
또한, 추적기(60)는 애니메이트 피규어(12)의 만곡부(166)로부터 돌출 거리(170)만큼 연장될 수 있다. 특히, 추적기(60)에 의해 방출된 신호는 특정 재료를 통과할 수 있기 때문에, 추적기(60)를 숨기고 애니메이트 피규어(12)의 현실감에 더 기여하기 위해, 돌출 거리(170)를 갖는 추적기(60)는 애니메이트 피규어(12)의 의상(예컨대, 가발, 모자, 모피)에 의해 숨겨질 수 있다. 그러나 도시된 실시예에서, 애니메이트 피규어(12)는 추적기(60)로부터 상술한 추적 카메라(64)로의 신호의 전송을 더 용이하게 하는 추적기(60) 위에 형성된 갭(172)(예컨대, 구멍, 개구, 둥근 구멍)을 갖는 가발(171)을 포함한다. 즉, 갭(172)은 신호를 간섭하지 않으면서 가발(171)의 나머지 부분이 추적기(60)를 효율적으로 숨길 수 있게 하는 가발(171)을 통해 형성된 비교적 작은 개구일 수 있다. 또한, 3개의 추적기(60)를 갖는 것으로 도시되어 있지만, 1개, 2개, 5개, 10개 또는 그 이상의 추적기(60) 등의 임의의 적절한 수의 추적기(60)가 애니메이트 피규어(12) 내에 포함되거나 숨겨질 수 있다는 것을 이해해야 한다. 이와 달리, 추적기(60)는, 도 5를 참조하여 이하에 논의되는 바와 같이, 애니메이트 피규어(12)의 외부 표면과 같은 높이에 있거나 심지어 오목하게 될 수 있다.
본 실시예에서, 애니메이트 피규어(12)는 또한 애니메이트 피규어(12)의 머리 부분(44)을 이동시키기 위한 액추에이터(106)의 세트를 포함한다. 예를 들어, 액추에이터(106)는 피봇 바 조립품(175)을 갖는 유니버설 조인트(174)(예컨대, U-조인트, 유니버설 커플링 디바이스)로 예시된 다중 방향 지지대(173)에 작동 가능하게 연결되어, 사람 목의 움직임을 닮거나 반영할 수 있다. 특히, 액추에이터(106)에 의해 제공되는 선택적인 힘(176)에 근거하여, 다중 방향 지지부(173)는 머리 부분(44)이 머리 끄덕임축(head nod axis)(178), 머리 회전축(180), 및/또는 머리 틸트축(head tilt axis)(182)을 따라 이동하는 것을 가능하게 할 수 있고, 이에 따라, 애니메이트 피규어(12)에 다양한 각도의 움직임 자유도를 제공한다. 임의의 적절한 범위 및 이동 방향을 갖는 임의의 적절한 지지 요소 또는 지지 구조가 애니메이트 피규어(12) 내에 포함될 수 있고, 애니메이트 피규어(12)의 내부 또는 외부에 있는 임의의 적절한 액추에이터(106)에 의해 작동될 수 있음을 이해해야 한다.
더욱이, 본 실시예의 애니메이트 피규어(12)는 액추에이터(106)의 턱 액추에이터(188)에 의한 움직임에 근거하여 턱 이동축(186)을 따라 이동할 수 있는 관절형 턱(184)(예컨대, 가동 턱)을 포함한다. 따라서, 피규어 컨트롤러(102)로부터의 지시에 근거하여, 턱 액추에이터(188)는 (예컨대, 관절형 턱(184)과 턱 액추에이터(188) 상의 피봇 크랭크(192) 사이에 연결된 접속 링크(190)를 조정하는 것에 의해) 턱 이동축(186)을 따라 관절형 턱(184)을 이동할 수 있어, 애니메이트 피규어(12)가 말하는 것처럼 보이도록 하여(예컨대, 오디오 출력 디바이스(136)의 오디오와 립싱크하여), 다양한 얼굴 표정 등을 표현하는 것을 가능하게 할 수 있다. 애니메이트 피규어(12)는 추가로 또는 대안적으로 관절형 이마, 눈썹, 귀, 및/또는 특정 인물 또는 캐릭터의 사실주의에 기여하는 임의의 다른 이동 가능한 특징을 포함할 수 있다. 또한, 애니메이트 피규어(12)의 관절형 턱(184) 및/또는 임의의 다른 관절 구성요소는 임의의 적합한 단일 또는 다중 액추에이터(106)에 의해 가해지는 선택적인 힘(176)에 근거하여 조작될 수 있다는 것을 이해해야 한다.
도 5는, 추적기(60)가 머리 부분(44)의 전면(200)에 장착되는 애니메이트 피규어(12)의 머리 부분(44)의 다른 실시예의 측단면도이다. 추적기(60)는 추적 카메라(64)에 의해 구별 가능한 수동적 디바이스일 수 있다. 일부 실시예에서, 수동적 디바이스는 원형 실린더 또는 발광 다이오드로 형상화되지만, 수동적 디바이스는 구형 형상, 직사각형 프리즘 형상 등을 포함하는 임의의 다른 적절한 형상을 가질 수 있음을 이해해야 한다. 도시된 바와 같이, 제 1 추적기(202)는 애니메이트 피규어(12)의 이마 부분(204)에 배치되고, 제 2 추적기(206)는 애니메이트 피규어(12)의 코 부분(208)에 배치되고, 제 3 추적기(210)는 애니메이트 피규어(12)의 턱 부분(212)에 배치된다. 턱 부분(212)에 제 3 추적기(210)를 포함하는 것에 의해, 애니메이트 피규어(12)는 미디어 제어 시스템(20)이 코 부분(208) 및/또는 이마 부분(204)에 대한 관절형 턱(184)의 움직임을 효율적으로 분석할 수 있게 한다. 예를 들어, 미디어 제어 시스템(20)은 제 2 추적기(206)와 제 3 추적기(210) 사이의 상대적인 거리를 모니터링하고, 그로부터 코 부분(208)에 대한 관절형 턱(184)의 현재 위치를 결정할 수 있다. 부가적으로, 애니메이트 피규어(12)는 가발(171)이 있는 것으로 예시되어 있지만, 임의의 적절한 의상 요소가 애니메이트 피규어(12)에 결합될 수 있다는 것을 이해해야 한다. 상기한 바와 같이, 가발(171) 또는 다른 의상 요소가 제 1 추적기(202) 및/또는 다른 추적기(60)를 덮도록 설계되는 경우, 의상 요소는 의상 요소를 통한 추적기(60)의 보다 효율적인 확인을 가능하게 하는 갭(172)을 갖고 형성될 수 있다.
애니메이트 피규어(12)는 또한 애니메이트 피규어(12)의 본체 위에 배치된 반투명층(220)을 포함할 수 있고, 따라서 애니메이트 피규어(12)에 원하는 외관(예컨대, 피부)을 제공하면서, 추적 카메라가 반투명층(220)을 통해 추적기(60)의 위치를 확인할 수 있게 한다. 반투명층(220)은 직물, 플라스틱, 실리콘, 고무 등을 포함하는 재료와 같이 반투명층(220)을 통한 추적기(60)의 확인을 가능하게 하는 임의의 적합한 재료로 제조될 수 있다. 이와 같이, 일부 실시예에서, 추적기(60)는 반투명층(220) 아래에 배치되거나 반투명층(220)과 같은 평면(예컨대, 높이)에 있을 수 있고, 이에 따라 추적기(60)는 방문객 시선으로부터 숨겨지게 할 수 있다. 도 4에서 추적기(60)로서 능동적 디바이스 및 도 5에서 추적기(60)로서 수동적 디바이스를 갖는 것으로 논의되었지만, 능동적 디바이스 및/또는 수동적 디바이스는 애니메이트 피규어(12)의 임의의 적절한 부분에 장착될 수 있음을 이해해야 한다.
언급된 바와 같이, 애니메이트 피규어(12)의 결정된 실제 위치 및 방향에 근거하여, 미디어 제어 시스템(20)은 하나 이상의 이미지(14) 또는 투영된 콘텐츠를 애니메이트 피규어(12)의 외부 표면(40) 상에 전달하도록 프로젝터(16)를 작동시킨다. 특정 예로서, 도 6은 애니메이트 피규어(12)의 본체(42)의 머리 부분(44) 상에 제공된 이미지(14)의 정면 사시도이다. 특히, 이미지(14)의 예시된 실시예는 특정 캐릭터의 얼굴과 유사한 텍스처를 포함한다. 예를 들어, 눈썹, 눈, 코, 입술 및/또는 주름이 머리 부분(44)에 투영될 수 있다. 또한, 애니메이트 피규어(12)는 도 6에서 모자로 묘사된 의상 요소(250)가 착용되어 있기 때문에, 미디어 컨트롤러(112) 및/또는 프로젝터(16)는 (예컨대, 프로젝션 마스킹을 통해) 의상 요소(250)에 의해 형성된 애니메이트 피규어(12)의 외부 표면(40)의 윤곽(252)을 식별할 수 있다. 다른 실시예에서, 의상 요소(250)는 추가로 또는 대안적으로 가발, 보석류, 스카프 등을 포함할 수 있다. 그 후, 프로젝터(16)는 이미지(14)를 애니메이트 피규어(12)의 외부 표면(40)의 타겟 부분 또는 피규어 부분으로 향하게 한다. 위에서 언급되고 이하에 더 상세히 논의되는 바와 같이, 미디어 제어 시스템(20)은 관절형 턱(184)과 같은 애니메이트 피규어(12)의 움직임을 모니터링하고, 임의의 정해진 시간에 머리 부분(44)의 특정한 실제 형상에 대응하도록 애니메이트 피규어(12)의 머리 부분(44)(또는 그의 얼굴 부분)에 사실적인 이미지를 투영할 ㅅ수 있다.
다른 예로서, 도 7은, 미디어 제어 시스템(20)의 프로젝터(16)가 애니메이트 피규어(12)의 외부 표면(40) 상에 제공할 수 있는 이미지(14)의 다른 실시예의 정면 사시도이다. 도시된 바와 같이, 이미지(14)는 애니메이트 피규어(12)에 올빼미의 모습과 같이 사람이 아니거나 공상적인 모습의 캐릭터를 제공한다. 특정 실시예에서, 머리 부분(44)의 외부 표면(40)은 이미지(14)를 보완하도록 텍스처링될 수 있다. 또한, 일부 실시예에서 이미지(14)는 화염, 연기, 형태 변경, 색상 모핑(morphing) 등의 초자연적, 공상적 또는 인간이 아닌 이미지 및/또는 효과를 포함할 수 있음을 이해해야 한다.
반응형 미디어 시스템(8)의 위의 특징을 염두에 두고, 그것에 적용된 이미지(14)를 갖는 애니메이트 피규어(12)를 통해 실시간으로 방문객(34)을 접대하기 위해 반응형 미디어 시스템(8)의 구성요소의 작동에 관한 추가 논의가 여기에 제공된다. 예를 들어, 도 8은 모션 제어 시스템(50)이 대화형 데이터 소스(70)로부터의 대화형 데이터(109)에 응답하도록 애니메이트 피규어(12)를 제어할 수 있는 프로세스(300)의 일 실시예를 도시하는 흐름도이다. 적절한 경우, 추가 단계가 수행될 수 있고, 특정 단계가 생략될 수 있고, 예시된 단계가 대체 순서로 또는 병렬로 수행될 수 있기 때문에, 프로세스(300)에 예시된 단계는 논의를 용이하게 하기 위한 것이고, 본 개시의 범위를 제한하려는 의도가 아니다. 프로세스(300)는 비일시적 컴퓨터 판독 가능한 매체(예컨대, 피규어 메모리(104))에 저장되고, 예를 들어 모션 제어 시스템(50)의 피규어 컨트롤러(102)의 피규어 프로세서(100)에 의해 실행되는 개시 코드 또는 명령을 나타낼 수 있다. 피규어 프로세서(100)는 유선 또는 무선 네트워크와 같은 네트워크를 통해 반응형 미디어 시스템(8)의 다른 구성요소에 통신 가능하게 연결되어, 이하에 설명되는 명령 및 신호를 수신 및 송신할 수 있다.
현재 예시된 실시예에서, 프로세스(300)를 수행하는 피규어 컨트롤러(102)는, 전용 게임 엔진, 모션 제어 시스템(50)의 건강 상태 모니터링 시스템, 오락 어트랙션(10)의 글로벌 또는 메인 제어 시스템, 오락 어트랙션(10)의 기술자와 관련된 컴퓨팅 디바이스로부터의 명령 및/또는 적어도 하나의 방문객(34)의 동작 또는 위치를 나타내는 방문객 센서(72)로부터의 센서 신호 등의 대화형 데이터 소스(70)로부터의 대화형 데이터(109)의 하나 이상의 적당한 스트림을 수신(블럭 304)하는 것에 의해 쇼 또는 디스플레이를 개시한다(블럭 302). 실제로, 위에서 언급된 바와 같이, 대화형 데이터(109)는 또한 시간 데이터, 날씨 데이터, 소셜 미디어 데이터, 주식 시장 데이터, 승차 차량 위치 데이터, 및/또는 시간의 경과에 따라 변할 수 있는 임의의 적절한 데이터 스트림을 포함할 수 있다. 예를 들어, 피규어 컨트롤러(102)는 특정 캐릭터 성능이 제시되어야 함을 나타내는 대화형 데이터 소스(70)로부터 시간 데이터를 수신할 수 있다. 다른 예로서, 피규어 컨트롤러(102)는 캐릭터 성능에 대한 지시된 조정을 나타내는 전용 게임 엔진으로부터 지시를 수신할 수 있다. 추가 예로서, 피규어 컨트롤러(102)는 방문객 센서(72)로부터 센서 신호를 수신할 수 있고, 이는 방문객(34)으로부터의 특정 모션 또는 소리를 검출하는 것에 응답하여 연속적으로 또는 대안적으로 센서 신호를 송신할 수 있다. 이러한 실시예에서, 방문객 센서(72)는 각 방문객(34)이 착용한 RFID 태그를 스캔하고, RFID 태그로부터의 식별 정보를 센서 신호로서 피규어 컨트롤러(102)로 송신할 수 있다.
더욱이, 피규어 컨트롤러(102)는 각각의 대화형 데이터 소스(70)로부터 수신된 대화형 데이터(109)에 근거하여 하나 이상의 동작을 결정할 수 있다(블럭 306). 즉, 피규어 컨트롤러(102)는 방문객 입력을 포함하거나 포함하지 않을 수 있는 다수의 상이한 대화형 데이터 소스(70)를 수신하고 동시에 이에 응답할 수 있다. 예를 들어, 피규어 컨트롤러(102)는 게임 엔진으로부터, 오락 어트랙션(10)의 기술자와 관련된 컴퓨팅 디바이스로부터, 모션 제어 시스템(50)의 상태 모니터링 시스템 등으로부터 수신된 대화형 데이터(109)에 근거하여, 적절한 애니메이트 피규어 제어 동작을 수행할 수 있다. 특정 예로서, 기술자와 연관된 컴퓨팅 디바이스로부터 대응하는 대화형 데이터(109)를 수신하는 것에 응답하여, 피규어 컨트롤러(102)는 상세한 쇼 성능(예컨대, 임계 수 이상의 움직임을 포함함)을 제공하는 것부터 단순화된 쇼 경험(예컨대, 임계 수 미만의 움직임을 포함함)을 제공하는 것까지 애니메이트 피규어(12)를 조정할 수 있다. 다른 예로서, 다가오는 날씨 변화를 나타내는 날씨 데이터를 수신하는 것에 응답하여, 피규어 컨트롤러(102)는 변경된 날씨와 상호작용하여(예컨대, 태양, 비, 눈의 존재를 인지함) 캐릭터나 쇼 성능을 조정할 수 있다.
방문객 입력을 수신하는 실시예에서, 피규어 컨트롤러(102)에 의해 판단된 동작은 방문객이 특정 동작(예컨대, 능동적 입력에 대응함)을 수행하고 또한/또는 특정 세트의 품질(예컨대, 수동적 입력에 대응함)을 갖는다고 판단하는 것을 포함할 수 있다. 방문객 입력으로서 방문객 센서(72)에 의해 검출 가능한 특정 동작의 예로서, 피규어 컨트롤러(102)는, 방문객(34)이 애니메이트 피규어(12)로부터의 임계 거리 내로 이동하고, 손을 흔들고, 말하고, 버튼을 누르고, 특정 물체를 집고, 디바이스(예컨대, 손전등, 레이저 포인터, 모조 무기)를 애니메이트 피규어(12)의 타겟 부분에 조준하는 것 등을 판단할 수 있다. 방문객 입력으로서 방문객 센서(72)에 의해 감지된 특정 세트의 품질의 예로서, 피규어 컨트롤러(102)는 각 방문객(34)의 키를 판단하고, 방문객(34) 그룹의 평균 키를 판단하고, RFID 태그의 식별 정보에 근거하여 데이터베이스에서 각 방문객에 대한 프로파일 정보를 검색하고, 특정 방문객(34)이 타겟 색상의 옷을 입고 있는지 등을 식별할 수 있다. 실제로, 피규어 컨트롤러(102)는 본 기술에 따라 애니메이트 피규어(12)와 방문객(34)의 상호작용에 영향을 미치기 위해 방문객(34) 및 방문객 영역(32)에서의 그들의 특정 동작에 관한 임의의 적절한 정보를 결정할 수 있음을 이해해야 한다.
또한, 피규어 컨트롤러(102)는 오락 어트랙션(10)의 동작에 대한 반응으로서 애니메이트 피규어(12)에 의해 수행될 대화형 응답을 생성할 수 있다(블럭 310). 즉, 피규어 컨트롤러(102)는 실질적으로 실시간으로 대화형 데이터(109)에 대한 대화형 응답을 계산할 수 있고, 이에 따라, 오락 어트랙션(10)에서 방문객의 몰입도를 향상시기 위해, 오락 어트랙션(10) 및/또는 그 안의 방문객(34)의 현재 상태, 행동 및 위치에 반응할 수 있다. 일례로서, 피규어 컨트롤러(102)는 한 방문객(34)이 방문객 영역(32) 내의 특정 위치로부터 애니메이트 피규어(12)의 할당된 이름을 말했음을 나타내는 입력을 수신할 수 있다. 그 후에, 피규어 컨트롤러(102)는 대화형 응답이 애니메이트 피규어(12)가 특정 위치에 있는 방문객(34)에 대해 손을 흔드는 것에 대한 것이라고 결정하고, "Hi to you too"라고 말하는 애니메이트 캐릭터에 대응하도록 관절형 턱(184)을 움직이면서, 쇼 제어 시스템(130)은 오락 어트랙션(10)의 오디오 출력 디바이스(136)는 "Hi to you too"라는 발화(utterance)를 출력하게 할 수 있다.
대화형 응답이 결정되면, 프로세스(300)를 따르는 피규어 컨트롤러(102)는 애니메이트 피규어(12)의 액추에이터(106)에 대화형 응답을 수행하도록 지시한다(블럭 312). 도 9를 참조하여 이하에 논의되는 바와 같이, 미디어 제어 시스템(20)은 동적으로 이미지(14)를 컨투어 매핑하기 위해 애니메이트 피규어(12)의 현재 포즈에 동시에 응답한다. 쇼 컨트롤러(132)는 또한, 무대 조명 디바이스(30)(예컨대, 조명기구) 또는 기타 조명 출력 디바이스(134), 오디오 출력 디바이스(136), 장소별 특수 효과 출력 디바이스(138)(예컨대, 연기 기계, 공기 발생 디바이스) 등을 포함하여, 애니메이트 피규어(12)의 대화형 응답을 보완하기 위해 대화형 데이터 소스(70)에 근거하여 오락 어트랙션(10)의 임의의 다른 출력 디바이스를 동시에 제어할 수 있다는 것을 이해해야 한다. 일례로서, 한 방문객(34)이 애니메이트 피규어(12)에서 손전등을 가리키는 것에 응답하여, 쇼 컨트롤러(132)는 무대 조명 디바이스(30)에 어두워지도록 지시하는 동안, 피규어 컨트롤러(102)는 액추에이터(106)에 애니메이트 피규어(12)가 그 팔을 올리게 하도록 지시할 수 있다. 다른 예로서, 방문객(34)이 방문객 영역(32)의 특정 영역에 들어가는 것에 응답하여(예컨대, 라이트 커튼, 압력 매트, 또는 방문객 센서(72)의 깊이 카메라에 의해 감지됨), 피규어 컨트롤러(102)는 애니메이트 피규어(12)를 특정 영역에 더 가깝게 이동시키도록 액추에이터(106)에 지시할 수 있다.
대화형 응답이 수행된 후, 피규어 컨트롤러(10)는 블럭(304)으로 돌아가서, 모션 제어 시스템(50)이 오락 어트랙션(10)의 운영 시간 동안 애니메이트 피규어(12)를 계속해서 작동하도록, 대화형 데이터(109)를 계속 수신할 수 있다. 그러나, 다른 실시예는 임계 시간의 경과, 수행되는 대화형 응답의 임계 수, 방문객 영역(32)을 떠나는 각 방문객(34), 방문객 영역(32)에 들어오는 새로운 또는 후속 탑승 차량 등의 특정의 미리 결정된 조건이 충족되는 것에 따라 조정하거나 중지하는 쇼 사이클을 구현할 수 있는 것을 이해해야 한다. 따라서, 그러한 경우에, 모션 제어 시스템(50)은 다음 쇼 사이클이 시작될 때까지 애니메이트 피규어(12)의 작동 및 착용을 보존한다.
도 9는 미디어 제어 시스템(20)이 이미지(14)를 애니메이트 피규어(12)에 동적으로 매핑하기 위한 프로세스(350)의 실시예의 흐름도이다. 도 8의 프로세스(300)에 대해 언급된 바와 같이, 프로세스(350)의 단계는 제한되지 않는다. 프로세스(350)는 비일시적 컴퓨터 판독 가능한 매체(예컨대, 미디어 메모리(116))에 저장되고, 예를 들어, 미디어 제어 시스템(20)의 미디어 컨트롤러(112)의 미디어 프로세서(114)에 의해 실행되는 개시 코드 또는 명령을 나타낼 수 있다. 미디어 프로세서(114)는 유선 또는 무선 네트워크 등의 네트워크를 통해 반응형 미디어 시스템(8)의 다른 구성요소에 통신 가능하게 연결되고, 이하에 기술되는 명령 및 신호를 수신 및 전송할 수 있음을 이해해야 한다.
프로세스(350)를 시작하기 위해(블럭 352), 미디어 컨트롤러(112)는 애니메이트 피규어(12)의 현재 포즈(예컨대, 현재 위치, 현재 방향 및/또는 현재 축척)를 나타내는 하나 이상의 추적 카메라(64)로부터 신호(예컨대, 센서 피드백)를 수신할 수 있다(블럭 354). 미디어 컨트롤러(112)는 카메라 네트워크 디바이스(110)를 통해 추적 카메라(64)로부터 신호를 수신할 수 있으며, 이는 미디어 컨트롤러(112) 내에서 효율적인 계산을 용이하게 한다. 위에서 언급한 바와 같이, 애니메이트 피규어(12)는, 추적 카메라(64)가 애니메이트 피규어(12)의 액추에이터(106)로부터 위치, 속도 및/또는 가속도 정보를 수신하거나 이에 의존하지 않고, 애니메이트 피규어(12)의 현재 포즈를 식별하게 할 수 있도록 그 위에 또는 그 안에 숨겨진 추적기(60)를 포함한다. 추적 카메라(64)의 효율적인 스캔 속도와 프로젝터(16)의 프레임 속도의 조합으로, 이러한 구성은 애니메이트 피규어(12)가 감소된 지연 또는 지체를 갖고 대화형 데이터(109)에 대해 반응하게 하고, 이에 따라 실제 캐릭터 또는 사람과 보다 유사하게 만들 수 있다.
미디어 컨트롤러(112)는 대안적으로 액추에이터(106) 또는 피규어 컨트롤러(102)에 연결될 수 있고, 미디어 컨트롤러(112)가 애니메이트 피규어(12)의 검출된 포즈를 검증하기 위해 활용할 수 있는 위치, 속도, 및/또는 가속도 정보를 수신할 수 있다. 실제로, 미디어 컨트롤러(112)는 수신된 위치 정보에 근거하여 애니메이트 피규어(12)의 미래 동작을 예측할 수 있고, 이에 따라 미디어 컨트롤러(112)에 대한 리드 타임에 따라 투영 가능한 이미지를 생성할 수 있다. 예측적으로 작동하는 미디어 컨트롤러(112)는 각각이 애니메이트 피규어(12)의 특정한 미래의 대화형 응답에 대응하는 다수의 세트의 이미지(14)를 생성할 수 있다. 따라서, 미디어 컨트롤러(112)는 이전에 생성된 투영된 콘텐츠의 세트 중 하나를 선택하여, 애니메이트 피규어(12)의 주어진 행동 과정이 실현될 때 미디어 제어 시스템(20)이 적절한 이미지(예컨대, 텍스처)를 즉시 제공할 수 있도록 할 수 있다.
프로세스(350)를 수행하는 미디어 컨트롤러(112)는 추적 카메라(64)로부터의 신호에 근거하여 애니메이트 피규어의 골격 모델(360)을 업데이트(블럭 356)한다. 골격 모델(360)은 애니메이트 피규어의 이동 가능하거나 작동 가능한 부분뿐만 아니라 작동 가능한 부분의 현재 위치 및 방향을 나타내기 위해 미디어 컨트롤러(112)에 유지되는 임의의 적절한 데이터 구조 및/또는 통계적 모델을 포함할 수 있다. 이와 같이, 미디어 컨트롤러(112)는 애니메이트 피규어(12)의 실제의 현재 포즈(예컨대, 위치, 방향 및 축척)를 나타내기 위해 골격 모델(360)을 계속해서 업데이트할 수 있다.
애니메이트 피규어(12)의 특정 가동 관절 또는 부분이 작동하지 않는 특정 상황에서, 미디어 컨트롤러(112)는 특정 작동 가능한 부분의 작동하지 않는 상태를 나타내기 위해 골격 모델(360)을 업데이트하는 반면, 이미지(14)를 부분적으로 작동하지 않는 애니메이트 피규어(12)에 적응적으로 맞게 하기 위해 추적기(60)의 현재 위치에 대해 반응한다. 즉, 이러한 상황에서, 프로세스(350)를 수행하는 미디어 컨트롤러(112)는 애니메이트 피규어(12)의 실제 포즈에 대응하는 적절한 이미지를 생성할 수 있고, 이에 따라 애니메이트 피규어(12)의 비작동 부분에 대해 적절한 이미지 세트가 생성되도록 보장할 수 있다. 대조적으로, (예컨대, 미리 준비된 미디어를 통해) 미리 프로그래밍된 장면을 따라가는 특정의 투영 매핑 시스템은 전통적인 애니메이트 피규어의 정해진 가동 부분의 예상 위치에 이미지를 투영할 수 있고, 이에 따라 이미지가 전통적인 애니메이트 피규어와 일치하지 않아, 정해진 가동 부분이 작동하지 않을 때 방문객 경험을 손상시킬 수 있다.
따라서, 미디어 컨트롤러(112)는 골격 모델(360)에 근거한 현재 포즈를 갖는 애니메이트 피규어(12) 상에 투영될 이미지(14)를 나타내는 데이터를 생성한다(블럭 362). 미리 결정된 또는 준비된 이미지와 대조적으로, 이미지(14)는 애니메이트 피규어(12)의 현재 상태 또는 포즈에 특히 대응하도록 원 위치에 또는 실시간으로 생성된다. 또한, 이미지(14) 및/또는 애니메이트 피규어(12)의 현재 포즈를 나타내는 데이터는 사전 결정된 기간동안 미디어 메모리(116)에 저장될 수 있다.
미디어 컨트롤러(112)는 추가적으로 현재 포즈를 갖는 애니메이트 피규어(12) 상에 이미지(14)를 제공(예컨대, 컨투어 매핑)하도록 프로젝터(16)에 지시한다(블럭 364). 본 명세서에서 인식되는 바와 같이, 미디어 제어 시스템(20)은 골격 모델(360)을 사용하여 컨투어 매핑 또는 컨투어 포커스 매핑을 구현하여, 선택적으로 설계된 이미지(14)를 실제와 같은 방식으로 애니메이트 피규어(12)의 목표된 피규어 부분으로 향하게 한다. 예를 들어, 미디어 컨트롤러(112)는 애니메이트 피규어(12)의 특정 위치 및 방향으로 조정되는 이미지(14)를 생성하고, 이미지(14)를 출력하도록 프로젝터(16)에 지시할 수 있으며, 이에 따라 애니메이트 피규어(12)의 특정 공간적 위치에 정확하게 초점이 맞춰진 컨투어 매핑된 텍스처의 세트를 생성할 수 있다. 미디어 컨트롤러(112)는 별도의 지시 신호 없이 이미지(14)를 나타내는 데이터를 프로젝터(16)에 송신하는 것에 의해 본질적으로 블럭(364)의 지시를 제공할 수 있고, 이에 의해 미디어 제어 시스템(20)의 대기 시간을 추가로 제한할 수 있다. 이와 같이, 미디어 제어 시스템(20)의 구성요소는 애니메이트 피규어(12)를 적응적으로 분석하고, 대화형 데이터 소스(70)에 반응하고 또한/또는 임의의 정해진 시간에 방문객(34)과 상호작용할 수 있는 애니메이트 피규어(12)의 즉각적인 포즈에 이미지(14)를 동적으로 맞추기 위해 협력한다. 따라서 미디어 컨트롤러(112)는 블럭(354)으로 돌아가 센서 신호를 계속 수신하고 프로세스(350)를 계속 수행할 수 있다.
더욱이, 미디어 제어 시스템(20)은 애니메이트 피규어(12)의 성능 및/또는 건강을 모니터링할 수 있다. 예를 들어, 미디어 제어 시스템(20)은 시간이 지남에 따라 결정된 애니메이트 피규어(12)의 성능에 근거하여 애니메이트 피규어(12)의 건강 모니터링을 수행할 수 있다는 것이 현재 인식되고 있다. 즉, 특정 세트의 이미지가 쇼 주기(예컨대, 기준 성능 평가) 중 특정 시점에 애니메이트 피규어(12)에 투영되고, 일정 기간 후에 미디어 제어 시스템(20)이 임계값 조정(예컨대, 현재 성능 평가) 이상으로 나중의 쇼 사이클의 특정 시점에 대한 이미지 세트를 조정한(예컨대, 이동한) 경우, 미디어 제어 시스템(20)은 쇼 사이클의 반복 사이의 차이를 나타내는 경고를 생성할 수 있다. 예를 들어, 애니메이트 피규어(12)의 머리 부분(44)이 의도하지 않게 수정되거나 저하되어, 애니메이트 피규어(12)의 왼쪽 귀가 나타나지 않고 프로젝터(16)를 통해 투영되지 않는 경우, 미디어 제어 시스템(20)은 조작자에게 저하에 대해 경고할 수 있다. 다른 예로서, 애니메이트 피규어(12)의 특정 부분이 머리 부분(44)의 기울기 또는 회전과 같은 첫 번째 쇼 사이클 동안 이동했지만 (예컨대, 수정된 골격 모델(360)에 대응하는) 두 번째 쇼 사이클동안 정지하고 있는 경우, 미디어 제어 시스템(20)은 애니메이트 피규어(12)의 작동하지 않는 부분을 나타내는 경고를 출력할 수 있다. 이러한 상황에서, 미디어 컨트롤러(112)는 저하된 상태 및/또는 감지된 비특이 행동 변화를 나타내는 경고를 출력할 수 있다. 일부 경우에, 반응형 미디어 시스템(8)은 경고에 응답하여 미디어 제어 시스템(20) 및/또는 모션 제어 시스템(50)의 작동을 중지하도록 설계될 수 있다. 다른 경우에, 애니메이트 피규어(12)의 성능이 단지 미미하게 영향을 받는다는 (예컨대, 제 1 임계값보다 크고 그보다 더 높은 제 2 임계값보다 작은 골격 모델 편차를 가짐) 판단에 응답하여, 미디어 컨트롤러(112)는 경고를 제공하고 프로세스(350)를 통해 순환을 계속할 수 있다. 따라서, 본 미디어 제어 시스템(20)은 시간 경과에 따라 모션 제어 시스템(50) 및 애니메이트 피규어(12)의 성능을 정량화하는 품질 평가 도구로서 작동할 수 있음을 이해해야 한다.
이와 같이, 개시된 반응형 미디어 시스템의 기술적 효과는 게임 엔진, 건강 모니터링 시스템, 백그라운드 연주자, 방문객 및/또는 기술자 입력 등의 대화형 데이터에 동적으로 반응하는 애니메이트 피규어를 갖는 모션 제어 시스템을 포함하여, 오락 어트랙션 방문객에게 매력적이고 현실적인 경험을 제공한다. 특히, 모션 제어 시스템은 방문객 입력으로서 방문객의 능동적 동작 및/또는 수동적 품질을 감지하는 방문객 센서 등의 대화형 데이터를 제공하는 하나 이상의 대화형 데이터 소스, 및 대화형 데이터에 근거하여 대화형 응답을 생성하는 생성하는 피규어 컨트롤러를 포함할 수 있다. 따라서, 피규어 컨트롤러는 애니메이트 피규어의 본체 내의 액추에이터에 본체의 관절형 턱 또는 다른 가동 부분을 조작하는 것 등에 의해 대화형 응답을 수행하도록 지시한다. 또한, 반응형 미디어 시스템은 추적 카메라, 미디어 컨트롤러 및 프로젝터를 갖는 미디어 제어 시스템을 포함한다. 본 명세서에서 인식되는 바와 같이, 애니메이트 피규어에는, 미디어 컨트롤러가 추적 카메라로부터 애니메이트 피규어의 가동 부분의 현재 위치, 방향 및 축척을 나타내는 센서 피드백을 수신할 수 있게 하는 추적 가능한 마커가 장착되어 있다. 따라서, 애니메이트 피규어의 액추에이터로부터 도출된 정보에 의존하지 않고, 미디어 컨트롤러는 이미지의 세트를 동적으로 생성하거나 애니메이트 피규어의 가동 부분의 특정 위치, 방향 및 축척에 맞출 수 있다. 그 후, 미디어 컨트롤러는 실시간으로 애니메이트 피규어의 하나 이상의 피규어 부분의 외부 표면에 이미지를 투영 매핑하도록 프로젝터에 지시할 수 있으며, 이에 따라 개선된 업타임(up-time) 및/또는 신뢰성으로 방문객의 즐거움을 개선하기 위해 몰입감 있고 실제와 같이 매력적인 애니메이트 피규어를 제시할 수 있다.
본 개시의 특정 특징만이 여기에 예시되고 설명되었지만, 많은 수정 및 변경이 당업자에게 일어날 것이다. 따라서, 첨부된 청구범위는 본 개시의 진정한 정신에 속하는 모든 그러한 수정 및 변경을 포함하도록 의도되는 것으로 이해되어야 한다. 상기에 논의된 도면과 관련하여 예시되거나 설명된 임의의 특징은 임의의 적절한 방식으로 조합될 수 있음을 이해해야 한다.
본 명세서에 제시되고 청구된 기술은 현재 기술 분야를 명백하게 개선하는 물질적 대상 및 실제적 성질의 구체적인 예를 참조하고 이에 적용되며, 따라서 추상적이거나 무형적이거나 순전히 이론적인 것이 아니다. 또한, 본 명세서의 끝부분에 첨부된 임의의 청구범위가 "[기능]을 [수행]하기 위한 수단" 또는 "[기능]을 [수행]하기 위한 단계"로 지정되는 하나 이상의 요소를 포함하는 경우, 그러한 요소는 35 U.S.C.112(f)에 따라 해석되어야 한다. 그러나 임의의 다른 방식으로 지정되는 요소를 포함하는 임의의 청구범위에 대해, 그러한 요소는 35 U.S.C.112(f)에 따라 해석되어서는 안된다.

Claims (29)

  1. 오락 어트랙션의 반응형 미디어 시스템으로서,
    모션 제어 시스템과 미디어 제어 시스템을 포함하되,
    상기 모션 제어 시스템은,
    하나 이상의 대화형 데이터 소스로부터 수신된 대화형 데이터에 응답하여 본체의 피규어 부분을 조정하도록 구성된 액추에이터의 세트 및 상기 본체를 갖는 애니메이트 피규어와,
    상기 본체의 상기 피규어 부분에 연결된 추적기의 세트를 포함하고,
    상기 미디어 제어 시스템은,
    상기 추적기의 세트에 근거하여 상기 피규어 부분의 현재 위치 및 현재 방향을 나타내는 신호를 생성하도록 구성된 추적 카메라와,
    상기 추적 카메라에 연결된 미디어 컨트롤러 ― 상기 미디어 컨트롤러는, 상기 현재 위치 및 상기 현재 방향을 나타내는 신호를 수신하고, 상기 신호에 근거하여 상기 현재 위치 및 상기 현재 방향을 결정하고, 상기 현재 위치 및 상기 현재 방향을 갖는 상기 피규어 부분의 외부 표면 상에 투영될 이미지를 나타내는 데이터를 생성하도록 구성됨 ― 와,
    상기 미디어 컨트롤러에 통신 가능하게 연결된 프로젝터 ― 상기 프로젝터는 상기 미디어 컨트롤러로부터 상기 이미지를 나타내는 상기 데이터를 수신하고, 상기 현재 위치 및 상기 현재 방향을 갖는 상기 피규어 부분의 상기 외부 표면 상에 상기 이미지를 투영하도록 구성됨 ― 를 포함하는,
    반응형 미디어 시스템.
  2. 제 1 항에 있어서,
    상기 하나 이상의 대화형 데이터 소스를 포함하되, 상기 하나 이상의 대화형 데이터 소스는 시간의 경과에 따라 가변적이고 상기 애니메이트 피규어의 현재 상태에 응답하는 입력 데이터로서 상기 대화형 데이터를 생성하도록 구성되는,
    반응형 미디어 시스템.
  3. 제 1 항에 있어서,
    상기 하나 이상의 대화형 데이터 소스는 상기 대화형 데이터로서 방문객 입력을 나타내는 센서 신호를 생성하도록 구성된 방문객 센서를 포함하고,
    상기 모션 제어 시스템은 상기 방문객 센서 및 상기 액추에이터의 세트에 연결된 피규어 컨트롤러를 포함하고,
    상기 피규어 컨트롤러는,
    상기 방문객 센서로부터의 상기 센서 신호에 근거하여 상기 방문객 입력을 판정하고,
    상기 방문객 입력에 대한 상기 애니메이트 피규어의 대화형 응답을 생성하고,
    상기 액추에이터의 세트에 상기 대화형 응답을 수행하도록 지시하도록 구성되는,
    반응형 미디어 시스템.
  4. 제 3 항에 있어서,
    상기 방문객 센서는 상기 오락 어트랙션의 방문객 영역 모니터링에 근거하여 상기 방문객 입력을 나타내는 상기 센서 신호를 송신하는 변환기를 포함하는,
    반응형 미디어 시스템.
  5. 제 3 항에 있어서,
    상기 방문객 센서는 광학 변환기, 기계 변환기, 전자-기계 변환기, 전자기 변환기, 청각 변환기, 압력 변환기, 또는 온도 변환기를 포함하는,
    반응형 미디어 시스템.
  6. 제 3 항에 있어서,
    상기 방문객 센서와 통신 가능하게 연결된 쇼 컨트롤러 및 상기 오락 어트랙션 내에 배치된 적어도 하나의 출력 디바이스를 포함하고,
    상기 쇼 컨트롤러는 상기 애니메이트 피규어의 상기 대화형 응답과 관련하여 출력을 제공하도록 상기 적어도 하나의 출력 디바이스를 제어하도록 구성되고,
    상기 적어도 하나의 출력 디바이스는 광 출력 디바이스, 오디오 출력 디바이스, 또는 둘 다를 포함하는,
    반응형 미디어 시스템.
  7. 제 1 항에 있어서,
    상기 대화형 데이터로서 상기 오락 어트랙션의 방문객으로부터의 방문객 입력을 검출하도록 구성된 방문객 센서를 포함하는 상기 하나 이상의 대화형 데이터 소스를 포함하되,
    상기 방문객 입력은 상기 방문객 센서에 의해 감지될 수 있는 상기 방문객의 위치, 움직임 또는 동작을 포함하는,
    반응형 미디어 시스템.
  8. 제 1 항에 있어서,
    상기 미디어 제어 시스템은 상기 애니메이트 피규어의 상기 액추에이터의 세트로부터 위치, 속도, 또는 가속도 정보를 수신하지 않고 상기 피규어 부분의 상기 외부 표면 상에 상기 이미지를 투영하도록 구성되는,
    반응형 미디어 시스템.
  9. 제 1 항에 있어서,
    상기 추적기의 세트의 각각의 추적기는, 상기 애니메이트 피규어의 전원 공급 회로에 통합되고 개별화된 신호를 방출하도록 구성된 능동적 디바이스이고,
    상기 추적 카메라는, 상기 미디어 컨트롤러가 상기 피규어 부분의 상기 현재 위치 및 상기 현재 방향을 확인할 수 있게 하는 상기 추적기의 세트의 각 추적기로부터 상기 개별화된 신호를 수신하고 구별하도록 구성되는,
    반응형 미디어 시스템.
  10. 제 1 항에 있어서,
    상기 추적기의 세트의 각각의 추적기는 상기 애니메이트 피규어의 상기 피규어 부분의 표면 상에 또는 그 내부에 숨겨지는 수동적 디바이스이고,
    상기 추적 카메라는, 상기 미디어 컨트롤러가 상기 피규어 부분의 상기 현재 위치 및 상기 현재 방향을 확인할 수 있게 하는 상기 추적기의 세트의 각 추적기를 가시적으로 구별하도록 구성되는,
    반응형 미디어 시스템.
  11. 제 1 항에 있어서,
    상기 피규어 부분은 캐릭터의 지지 구조에 연결되는 상기 캐릭터의 작동 가능한 부분을 포함하는,
    반응형 미디어 시스템.
  12. 제 11 항에 있어서,
    상기 피규어 부분은 상기 애니메이트 피규어의 상기 본체의 머리 부분, 팔 부분, 몸통 부분, 또는 다리 부분을 포함하는,
    반응형 미디어 시스템.
  13. 제 1 항에 있어서,
    상기 미디어 제어 시스템은 상기 추적 카메라를 포함하는 복수의 추적 카메라를 포함하고, 상기 복수의 추적 카메라는 상기 미디어 컨트롤러에 연결되는 카메라 네트워크 디바이스에 연결되는,
    반응형 미디어 시스템.
  14. 제 1 항에 있어서,
    상기 애니메이트 피규어의 상기 피규어 부분은 상기 프로젝터가 상기 이미지의 적어도 일부를 투영하도록 구성되는 적어도 하나의 자유도를 갖는 가동 턱(moveable jaw)을 갖는 상기 본체의 얼굴 부분을 포함하고,
    상기 액추에이터의 세트의 일부는 상기 가동 턱을 작동시키도록 구성되고,
    상기 모션 제어 시스템은 상기 대화형 데이터에 응답하여 상기 가동 턱을 작동시키도록 상기 액추에이터의 세트의 상기 일부에 지시하도록 구성되는,
    반응형 미디어 시스템.
  15. 오락 어트랙션의 반응형 미디어 시스템의 작동 방법으로서,
    애니메이트 피규어의 피규어 컨트롤러를 통해, 상기 오락 어트랙션의 하나 이상의 대화형 데이터 소스로부터 대화형 데이터를 수신하는 단계와,
    상기 피규어 컨트롤러를 통해, 상기 대화형 데이터에 근거하여 상기 애니메이트 피규어의 대화형 응답을 생성하는 단계와,
    상기 피규어 컨트롤러를 통해, 상기 애니메이트 피규어의 본체의 적어도 일부를 움직이는 것에 의해 상기 대화형 응답을 수행하도록 상기 애니메이트 피규어 내에 배치된 액추에이터에 지시하는 단계와,
    미디어 컨트롤러를 통해, 상기 미디어 컨트롤러에 연결된 추적 카메라로부터 상기 애니메이트 피규어의 상기 본체의 현재 위치 및 방향을 나타내는 센서 피드백을 수신하는 단계 ― 상기 추적 카메라는 상기 애니메이트 피규어의 상기 본체에 숨겨진 적어도 하나의 추적기에 근거하여 상기 현재 위치 및 방향을 감지하도록 구성됨 ― 와,
    상기 미디어 컨트롤러를 통해, 상기 현재 위치 및 방향을 갖는 상기 애니메이트 피규어의 상기 본체의 외부 표면에 투영될 이미지의 세트를 생성하는 단계와,
    상기 미디어 컨트롤러를 통해, 상기 현재 위치 및 방향을 갖는 상기 본체의 상기 외부 표면에 상기 이미지의 세트를 컨투어 매핑하도록 프로젝터에 지시하는 단계를 포함하는,
    반응형 미디어 시스템의 작동 방법.
  16. 제 15 항에 있어서,
    상기 하나 이상의 대화형 데이터 소스는 상기 애니메이트 피규어의 전용 게임 엔진, 상기 오락 어트랙션의 건강 상태 모니터링 시스템, 상기 오락 어트랙션의 메인 제어 시스템, 상기 오락 어트랙션의 기술자와 관련된 컴퓨팅 디바이스, 또는 상기 오락 어트랙션 내에 배치된 방문객 센서를 포함하는,
    반응형 미디어 시스템의 작동 방법.
  17. 제 15 항에 있어서,
    상기 하나 이상의 대화형 데이터 소스는 방문객 센서를 포함하고, 상기 대화형 데이터는 방문객의 능동적인 움직임 또는 상기 방문객의 수동적 품질을 나타내는 방문객 입력을 포함하는,
    반응형 미디어 시스템의 작동 방법.
  18. 제 17 항에 있어서,
    상기 대화형 데이터에 근거하여 상기 대화형 응답을 생성하는 단계는,
    상기 방문객 입력의 적어도 하나의 측면을 판단하기 위해 상기 방문객 입력을 분석하는 단계 ― 상기 적어도 하나의 측면은 상기 방문객의 가청 출력, 상기 방문객의 검출 가능한 움직임, 또는 둘 다를 포함함 ― 와,
    상기 방문객 입력의 상기 적어도 하나의 측면의 각 측면에 근거하여 실질적으로 실시간으로 상기 대화형 응답을 생성하는 단계를 포함하는,
    반응형 미디어 시스템의 작동 방법.
  19. 제 15 항에 있어서,
    상기 미디어 컨트롤러를 통해, 제 1 기간에 상기 애니메이트 피규어의 제 1 동작에 근거하여 상기 애니메이트 피규어의 기준 성능 평가를 판정하는 단계와,
    상기 미디어 컨트롤러를 통해, 나중의 제 2 기간에 상기 애니메이트 피규어의 제 2 동작에 근거하여 상기 애니메이트 피규어의 현재 성능 평가를 판정하는 단계와,
    상기 미디어 컨트롤러를 통해, 상기 현재 성능 평가를 상기 기준 성능 평가와 비교하는 단계와,
    상기 현재 성능 평가가 상기 기준 성능 평가로부터의 임계값을 벗어났다는 판정에 응답하여, 상기 미디어 컨트롤러를 통해, 상기 애니메이트 피규어의 저하된 상태를 나타내는 경고를 출력하는 단계를 포함하는,
    반응형 미디어 시스템의 작동 방법.
  20. 제 15 항에 있어서,
    투영될 상기 이미지의 세트를 생성하는 단계는,
    상기 미디어 컨트롤러를 통해, 상기 애니메이트 피규어의 관절 및 가동 부분(moveable portion)을 포함하는 상기 애니메이트 피규어의 골격 모델을 저장하는 단계와,
    상기 미디어 컨트롤러를 통해, 상기 추적 카메라로부터의 상기 센서 피드백에 근거하여 상기 골격 모델을 상기 애니메이트 피규어의 상기 현재 위치 및 방향에 대응하도록 업데이트하는 단계와,
    상기 미디어 컨트롤러를 통해, 상기 업데이트된 골격 모델에 근거하여 투영될 상기 이미지의 세트를 실질적으로 실시간으로 생성하는 단계를 포함하는,
    반응형 미디어 시스템의 작동 방법.
  21. 제 15 항에 있어서,
    상기 미디어 컨트롤러를 통해, 상기 추적 카메라로부터의 상기 센서 피드백에 근거하여 상기 애니메이트 피규어 내에 배치된 상기 액추에이터의 특정 액추에이터가 비활성화되는 것을 판단하는 단계와,
    상기 미디어 컨트롤러를 통해, 상기 특정 액추에이터가 비활성화되는 것을 나타내기 위해 상기 미디어 컨트롤러 내에 저장된 상기 애니메이트 피규어의 골격 모델을 업데이트하는 단계와,
    상기 미디어 컨트롤러를 통해, 상기 업데이트된 골격 모델에 근거하여 투영될 상기 이미지의 세트를 생성하는 단계를 포함하는,
    반응형 미디어 시스템의 작동 방법.
  22. 오락 어트랙션의 반응형 미디어 시스템으로서,
    시간의 경과에 따라 가변적인 대화형 데이터를 생성하도록 구성된 하나 이상의 대화형 데이터 소스와,
    모션 제어 시스템과,
    애니메이트 피규어의 피규어 부분에 연결된 추적기의 세트를 포함하되,
    상기 모션 제어 시스템은,
    상기 오락 어트랙션 내에 배치된 애니메이트 피규어 ― 상기 애니메이트 피규어는 가동 관절(moveable joint)을 포함하는 피규어 부분을 포함함 ― 와,
    상기 피규어 부분 내에 배치되고 상기 가동 관절을 작동시키도록 구성된 액추에이터의 세트와,
    상기 액추에이터의 세트 및 상기 하나 이상의 대화형 데이터 소스에 통신 가능하게 연결된 피규어 컨트롤러를 포함하고,
    상기 피규어 컨트롤러는,
    상기 하나 이상의 대화형 데이터 소스로부터의 상기 대화형 데이터에 근거하여, 상기 애니메이트 피규어의 현재 상태에 대응하는 상기 애니메이트 피규어의 대화형 응답을 판정하고 ― 상기 대화형 응답은 상기 가동 관절을 작동시키는 것을 포함함 ―,
    상기 액추에이터의 세트에 상기 대화형 응답을 수행하도록 지시하며,
    상기 추적기의 세트는 상기 반응형 미디어 시스템의 미디어 제어 시스템이 상기 모션 제어 시스템의 상기 대화형 응답과 동기화하여 상기 애니메이트 피규어의 상기 피규어 부분의 외부 표면에 이미지를 투영할 수 있게 하는,
    반응형 미디어 시스템.
  23. 제 22 항에 있어서,
    상기 추적기의 세트에 근거하여 상기 애니메이트 피규어의 현재 위치 및 현재 방향을 감지하도록 구성된 추적 카메라와,
    상기 추적 카메라에 연결되고, 상기 애니메이트 피규어의 상기 현재 위치 및 상기 현재 방향에 근거하여 상기 애니메이트 피규어의 일부에 투영될 콘텐츠를 생성하도록 구성된 미디어 컨트롤러와,
    상기 미디어 컨트롤러에 연결된 프로젝터 ― 상기 프로젝터는 상기 콘텐츠를 나타내는 데이터를 수신하고, 상기 콘텐츠를 상기 현재 위치 및 상기 현재 방향을 갖는 상기 애니메이트 피규어 상에 투영하도록 구성됨 ―
    를 포함하는 상기 미디어 제어 시스템을 포함하는,
    반응형 미디어 시스템.
  24. 제 23 항에 있어서,
    상기 프로젝터는 상기 미디어 컨트롤러로부터의 지시에 근거하여, 상기 애니메이트 피규어의 상기 현재 위치 및 상기 현재 방향에 맞추어 정렬되도록 이동하도록 구성되는,
    반응형 미디어 시스템.
  25. 제 22 항에 있어서,
    상기 추적기의 세트는 상기 피규어 부분의 상기 가동 관절 상에 배치된 제 1 추적기 및 상기 가동 관절과 구별되는 상기 애니메이트 피규어의 상이한 부분 상에 배치된 제 2 추적기를 포함하고,
    상기 추적기의 세트는 상기 미디어 제어 시스템이 상기 가동 관절과 상기 애니메이트 피규어의 상기 상이한 부분 사이의 현재 거리를 판단할 수 있게 하는,
    반응형 미디어 시스템.
  26. 제 22 항에 있어서,
    상기 하나 이상의 대화형 데이터 소스는 상기 대화형 데이터로서 상기 애니메이트 피규어와 상기 오락 어트랙션의 방문객의 상호작용을 나타내는 입력을 감지하도록 구성된 방문객 센서를 포함하는,
    반응형 미디어 시스템.
  27. 제 22 항에 있어서,
    상기 모션 제어 시스템은 추가 피규어 부분을 갖는 추가 애니메이트 피규어를 포함하고,
    상기 반응형 미디어 시스템은 상기 미디어 제어 시스템이 상기 추가 피규어 부분 상에 추가 이미지를 투영할 수 있게 하도록, 상기 추가 피규어 부분에 연결된 추가의 추적기의 세트를 포함하는,
    반응형 미디어 시스템.
  28. 제 22 항에 있어서,
    상기 모션 제어 시스템은, 상기 애니메이트 피규어에 물리적으로 연결되고 상기 피규어 컨트롤러에 통신 가능하게 연결된 작동 가능한 모션 디바이스를 포함하고,
    상기 대화형 응답은 상기 오락 어트랙션의 무대 또는 지면에 대해 적어도 하나의 방향으로 상기 애니메이트 피규어를 이동하도록 상기 작동 가능한 모션 디바이스에 지시하는 것을 포함하는,
    반응형 미디어 시스템.
  29. 제 28 항에 있어서,
    상기 작동 가능한 모션 디바이스는 상기 애니메이트 피규어 아래에 배치된 작동 가능한 모션 디바이스를 포함하는,
    반응형 미디어 시스템.
KR1020227026596A 2020-01-02 2020-12-21 실시간 반응형 투영 미디어를 사용하는 광학 성능 캡처된 애니메이트 피규어를 위한 시스템 및 방법 KR20220123098A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062956468P 2020-01-02 2020-01-02
US62/956,468 2020-01-02
US17/122,716 2020-12-15
US17/122,716 US11772276B2 (en) 2020-01-02 2020-12-15 Systems and methods for optical performance captured animated figure with real-time reactive projected media
PCT/US2020/066314 WO2021138100A1 (en) 2020-01-02 2020-12-21 Systems and methods for optical performance captured animated figure with real-time reactive projected media

Publications (1)

Publication Number Publication Date
KR20220123098A true KR20220123098A (ko) 2022-09-05

Family

ID=76654233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227026596A KR20220123098A (ko) 2020-01-02 2020-12-21 실시간 반응형 투영 미디어를 사용하는 광학 성능 캡처된 애니메이트 피규어를 위한 시스템 및 방법

Country Status (7)

Country Link
US (2) US11772276B2 (ko)
EP (1) EP4085448A1 (ko)
JP (1) JP2023509640A (ko)
KR (1) KR20220123098A (ko)
CN (1) CN114868179A (ko)
CA (1) CA3161199A1 (ko)
WO (1) WO2021138100A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220327754A1 (en) * 2021-04-09 2022-10-13 Universal City Studios Llc Systems and methods for animated figure display
WO2024054502A1 (en) * 2022-09-06 2024-03-14 Universal City Studios Llc Tangible/virtual design systems and methods for amusement park attraction design
US20240119852A1 (en) * 2022-10-09 2024-04-11 Shawn Paul Kelly Singing campfire
KR20240083458A (ko) * 2022-12-05 2024-06-12 삼성전자주식회사 외부 객체의 모션에 대응하는 시각적 객체를 생성하기 위한 전자 장치 및 그 방법
WO2024129742A1 (en) * 2022-12-13 2024-06-20 Universal City Studios Llc Reactive show action equipment system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325473A (en) 1991-10-11 1994-06-28 The Walt Disney Company Apparatus and method for projection upon a three-dimensional object
US5852672A (en) 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
DE102007055204B4 (de) 2007-11-19 2010-04-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Roboter, medizinischer Arbeitsplatz und Verfahren zum Projizieren eines Bildes auf die Oberfläche eines Objekts
US8259997B2 (en) 2009-07-13 2012-09-04 Moment Factory Real-time tracking system
US8928735B2 (en) 2011-06-14 2015-01-06 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
EP2780764B1 (en) 2011-11-16 2022-08-03 X Development LLC System and method for 3d projection mapping with robotically controlled objects
US9832352B2 (en) * 2011-11-16 2017-11-28 Autofuss System and method for 3D projection mapping with robotically controlled objects
US9300901B2 (en) 2013-12-04 2016-03-29 Disney Enterprises, Inc. Augmenting physical appearance using illumination
KR101710003B1 (ko) 2014-01-07 2017-02-24 한국전자통신연구원 실시간 동적 비평면 프로젝션 장치 및 방법
JP2016152586A (ja) 2015-02-19 2016-08-22 国立大学法人電気通信大学 プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム
KR101684270B1 (ko) 2015-03-13 2016-12-20 주식회사 레드로버 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법
JP6374418B2 (ja) 2016-01-27 2018-08-15 キヤノンファインテックニスカ株式会社 転写材、記録物、記録物の製造装置、および記録物の製造方法
US10335695B2 (en) 2016-09-13 2019-07-02 Universal City Studios Llc Systems and methods for incorporating pneumatic robotic systems into structures
US10802665B2 (en) * 2016-10-05 2020-10-13 Motorola Solutions, Inc. System and method for projecting graphical objects
US9958767B1 (en) 2016-11-01 2018-05-01 Disney Enterprises, Inc. Projection mapped augmentation of mechanically animated objects
US10845975B2 (en) 2018-03-29 2020-11-24 Universal City Studios Llc Interactive animated character head systems and methods
CN108921779A (zh) 2018-07-13 2018-11-30 北京炬力北方微电子有限公司 一种三维投影映射方法及装置
CN109571507A (zh) 2019-01-16 2019-04-05 鲁班嫡系机器人(深圳)有限公司 一种服务机器人系统及服务方法

Also Published As

Publication number Publication date
JP2023509640A (ja) 2023-03-09
US11772276B2 (en) 2023-10-03
CN114868179A (zh) 2022-08-05
US20240009853A1 (en) 2024-01-11
CA3161199A1 (en) 2021-07-08
US20210205999A1 (en) 2021-07-08
WO2021138100A1 (en) 2021-07-08
EP4085448A1 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
US11772276B2 (en) Systems and methods for optical performance captured animated figure with real-time reactive projected media
JP7366196B2 (ja) 広範囲同時遠隔ディジタル提示世界
KR101691633B1 (ko) 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법
JP6217747B2 (ja) 情報処理装置及び情報処理方法
JP2023076633A (ja) 仮想アバタのコンテキストベースのレンダリング
JP2023520463A (ja) 最適視線弁別のためのアバタカスタマイズ
JP2020004395A (ja) 仮想現実感ユーザのための実世界触覚対話
JP2018195177A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2022549853A (ja) 共有空間内の個々の視認
KR20230048554A (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
JP6392911B2 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2021530292A (ja) ライトフィールドディスプレイシステムベースの遊園地のアトラクション
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2010253277A (ja) ビデオゲームにおいてオブジェクトの動きを制御する方法およびシステム
JP2018125003A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
US20230195401A1 (en) Information processing apparatus and information processing method
JP2019032844A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20220323874A1 (en) Systems and methods for dynamic projection mapping for animated figures
US20230390653A1 (en) Smoothing server for processing user interactions to control an interactive asset
WO2022216913A1 (en) Systems and methods for dynamic projection mapping for animated figures
JP2019175322A (ja) シミュレーションシステム及びプログラム
JP2018190196A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20240226759A1 (en) Show effect system for an amusement park
WO2022158279A1 (ja) 自律移動体及び情報処理方法
US20220347705A1 (en) Water fountain controlled by observer

Legal Events

Date Code Title Description
A201 Request for examination