KR20210068078A - 특수 효과 통신 기술 - Google Patents

특수 효과 통신 기술 Download PDF

Info

Publication number
KR20210068078A
KR20210068078A KR1020217012560A KR20217012560A KR20210068078A KR 20210068078 A KR20210068078 A KR 20210068078A KR 1020217012560 A KR1020217012560 A KR 1020217012560A KR 20217012560 A KR20217012560 A KR 20217012560A KR 20210068078 A KR20210068078 A KR 20210068078A
Authority
KR
South Korea
Prior art keywords
special effects
user
communication system
dataset
special
Prior art date
Application number
KR1020217012560A
Other languages
English (en)
Inventor
클라리스 마리 바모스
브래드포드 로스 벤
그레이스 캐서린 헤인즈
라이언 마이클 폴
저스틴 앨런 헤어
Original Assignee
유니버셜 시티 스튜디오스 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니버셜 시티 스튜디오스 엘엘씨 filed Critical 유니버셜 시티 스튜디오스 엘엘씨
Publication of KR20210068078A publication Critical patent/KR20210068078A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63JDEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J5/00Auxiliaries for producing special effects on stages, or in circuses or arenas
    • A63J5/02Arrangements for making stage effects; Auxiliary stage appliances
    • A63J5/023Arrangements for making stage effects; Auxiliary stage appliances for making fire and flame simulations
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63JDEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J21/00Conjuring appliances; Auxiliary apparatus for conjurers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63JDEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J5/00Auxiliaries for producing special effects on stages, or in circuses or arenas
    • A63J5/02Arrangements for making stage effects; Auxiliary stage appliances
    • A63J5/025Devices for making mist or smoke effects, e.g. with liquid air
    • G06K9/00268
    • G06K9/46
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • G09F19/12Advertising or display means not otherwise provided for using special optical effects
    • G09F19/18Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Transducers For Ultrasonic Waves (AREA)
  • Stereophonic System (AREA)

Abstract

특수 효과 통신 시스템은, 제 1 위치에 있는 제 1 사용자의 하나 이상의 이미지 또는 인상(impression)에 기초하여 제 1 데이터세트를 생성하는, 제 1 위치에 있는 카메라 시스템을 포함할 수 있다. 특수 효과 통신 시스템은 또한, 카메라 시스템 및 특수 효과 시스템에 통신 가능하게 결합된 제어 시스템을 포함할 수 있다. 제어 시스템은, 제 1 사용자가 제 1 위치에 존재하는 동안, 제 2 위치에 존재하는 제 2 사용자 또는 하나 이상의 위치에 있는 하나 이상의 사용자에 대응하는 제 2 데이터세트를 수신할 수 있다. 제어 시스템은 또한, 제 1 위치에 있는 특수 효과 시스템으로 하여금 특수 효과 재료 및/또는 매체를 사용하여 제 2 사용자의 시각적 및/또는 청각적 모습을 제시하는 특수 효과를 생성하게 하는 하나 이상의 제어 신호를 제공할 수 있다.

Description

특수 효과 통신 기술
본 개시는 일반적으로 통신 기술에 관한 것이고, 보다 구체적으로는 통신 시스템의 사용자에게 몰입적 및/또는 변형적 통신 경험을 제공하기 위한 시스템 및 방법에 관한 것이다.
많은 통신 시스템은 제 1 사용자가 다른 위치에 있는 제 2 사용자와 통신할 수 있게 한다. 대화의 과정을 통해, 제 1 사용자는 제 2 사용자와 이야기할 수 있고, 일부 경우에는 오디오 및 비디오 통신 장치를 통해 제 2 사용자와 시각적 및 청각적으로 통신할 수 있다. 통신 시스템이 이러한 사용자들로 하여금 서로 통신할 수 있게 허용한다 하더라도, 통신 시스템은 사용자에게 몰입적 통신 경험을 제공하지 못할 수 있다. 현대의 전자 및 통신 기술의 정교함과 복잡성이 증가함에 따라, 더 몰입적이고/이거나 변형적인 개선된 통신 경험이 바람직하다.
최초로 청구된 청구내용과 범위가 부합되는 특정 실시예들이 아래에 요약되어 있다. 이들 실시예는 청구된 내용의 범위를 제한하려는 것이 아니며, 오히려 이들 실시예는 청구내용의 가능한 형태의 간략한 요약을 제공하기 위한 것일 뿐이다. 실제로, 청구내용은 아래에 설명된 실시예와 유사하거나 상이할 수 있는 다양한 형태를 포함할 수 있다.
일 실시예에서, 특수 효과 통신 시스템은 제 1 위치에 있는 제 1 사용자의 하나 이상의 이미지에 기초하여 제 1 데이터세트를 생성하는 제 1 위치에 있는 카메라 시스템을 포함할 수 있다. 특수 효과 통신 시스템은 또한 제 1 위치에서 특수 효과 재료를 사용하여 특수 효과를 생성하는 특수 효과 시스템을 포함할 수 있다. 특수 효과 통신 시스템은 또한 또한 카메라 시스템 및 특수 효과 시스템에 통신 가능하게 결합된 제어 시스템을 포함할 수 있다. 제어 시스템은 제 1 사용자가 제 1 위치에 존재하는 동안 제 2 위치에 존재하는 제 2 사용자에 대응하는 제 2 데이터세트를 수신할 수 있다. 제어 시스템은 또한 제 1 위치에 있는 특수 효과 시스템으로 하여금 특수 효과 재료를 사용하여 제 2 사용자의 모습(likeness)을 제시하는 특수 효과를 생성하게 하는 데 기초가 되는 하나 이상의 제어 신호를 제공할 수 있다.
다른 실시예에서, 특수 효과 통신 시스템은 제 1 위치에 있는 제 1 사용자의 하나 이상의 이미지를 캡처하는 카메라 시스템과, 통신 회로를 포함할 수 있다. 통신 회로는 제 1 사용자의 하나 이상의 이미지에 대응하는 제 1 데이터세트를 전송하고, 제 2 위치에 있는 제 2 사용자의 하나 이상의 이미지에 대응하는 제 2 데이터세트를 목적지 장치로부터 수신할 수 있다. 특수 효과 통신 시스템은 또한 제 2 사용자의 모습을 제시하기 위해 제 2 데이터세트에 기초하여 물리적 매체의 3차원 조작을 유도하는 하나 이상의 제어 신호를 생성하는 특수 효과 시스템을 포함할 수 있다.
또 다른 실시예에서, 방법은 제 1 위치와 연관된 제 1 오디오 데이터 및 제 1 이미지 데이터를 포함하는 제 1 데이터세트를 캡처하는 단계와, 모든 효과 시스템을 제어하는 출발지 장치 또는 중앙 장치와의 통신 링크를 수립하는 단계를 포함할 수 있다. 방법은 또한 제 1 데이터세트를 출발지 장치로 전송하는 단계와, 제 1 데이터세트를 전송하는 동안 제 2 위치와 연관된 제 2 오디오 데이터 및 제 2 이미지 데이터를 포함하는 제 2 데이터세트를 수신하는 단계를 포함할 수 있다. 방법은 또한 제 2 데이터세트에 적어도 부분적으로 기초하여 하나 이상의 제어 신호를 생성하는 단계와, 하나 이상의 제어 신호에 적어도 부분적으로 기초하여 물리적 매체의 3차원 조작을 유도하는 단계를 포함할 수 있다.
본 발명의 이들 및 다른 특징, 양상 및 이점은, 도면 전체에 걸쳐 동일 문자가 동일 부분을 나타내는 첨부 도면을 참조하여 다음의 상세한 설명을 읽을 때 더 잘 이해될 것이다.
도 1은 본 개시의 양상에 따른, 하나 이상의 특수 효과와 함께 제 1 특수 효과 통신 시스템이 제 2 특수 효과 통신 시스템에 제 1 사용자의 모습(likeness)을 전송하고 제 2 특수 효과 통신 시스템이 제 1 사용자의 모습을 수신하여 디스플레이하는 하는 도면이다.
도 2는 본 개시의 양상에 따른, 제 1 사용자의 모습을 전송하는 동안 하나 이상의 특수 효과와 함께 제 2 사용자의 모습을 수신하고 디스플레이하는 도 1의 제 1 특수 효과 통신 시스템의 도면이다.
도 3은 본 개시의 양상에 따른, 제 2 사용자의 모습을 전송하는 동안 하나 이상의 특수 효과와 함께 제 1 사용자의 모습을 수신하는 도 1의 제 2 특수 효과 통신 시스템의 도면이다.
도 4는 본 개시의 양상에 따른, 제 2 사용자의 모습을 전송하는 동안 하나 이상의 특수 효과와 함께 제 1 사용자의 모습을 수신하고 디스플레이하는 도 1의 제 2 특수 효과 통신 시스템의 실시예의 도면이다.
도 5는 본 개시의 양상에 따른, 도 1의 특수 효과 통신 시스템의 블록도이다.
도 6은 본 개시의 양상에 따른, 몰입적 및/또는 변형적 통신 시스템을 제공하기 위한 프로세스의 흐름도이다.
본 개시의 하나 이상의 특정 실시예가 아래에서 설명될 것이다. 이들 실시예의 간결한 설명을 제공하기 위해, 실제 구현의 모든 특징이 본 명세서에 설명된 것은 아닐 수 있다. 엔지니어링 또는 설계 프로젝트에서와 같이 임의의 실제 구현을 개발할 때, 시스템 관련 및 비즈니스 관련 제약 조건 준수와 같은 개발자의 특정 목표를 달성하기 위해, 구현에 따라 다를 수 있는 수많은 구현 별 결정이 내려질 수 있음을 인식해야 한다. 더욱이, 그러한 개발 노력은 복잡하고 시간 소모적일 수 있지만 그럼에도 불구하고 본 개시의 이점을 갖는 통상의 기술자에게는 설계, 제작 및 제조의 일상적인 작업임을 인식해야 한다.
통신 시스템은, 인스턴트 메시징 기능, 느낌 또는 감정을 전달하기 위해 문장에 이모티콘을 추가하는 기능, 비디오 통신 옵션 등과 같은 다양한 통신 경험을 포함할 수 있다. 이러한 상이한 통신 경험은 통신 시스템에 대한 사용자 경험을 향상시킬 수 있다. 예를 들어, 이모티콘은 단순한 텍스트-기반 통신 시스템을 통해 감정적 통신을 가능하게 할 수 있으며, 사용자와 다른 사용자 간의 대화를 향상시켜 통신 시스템에 대한 사용자 경험을 향상시킬 수 있다. 그러나, 이러한 통신 시스템은 몰입감이 떨어지는 통신 경험을 계속 제공할 수 있다. 따라서, 사용자들 사이의 대화의 품질 및 전반적 사용자 경험을 개선하기 위해, 통신 시스템의 사용자에게 몰입적 및/또는 변형적 통신 경험을 제공하는 것이 바람직할 수 있다.
따라서, 본 개시는 물질 작용(material actuation), 센서 데이터 및/또는 특수 효과를 이용하여 대화 품질을 개선하고 통신 시스템 사용자들 간의 사용자 경험을 향상시키는 시스템 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 하나 이상의 캡처 및 디스플레이 시스템(예컨대, 이미지, 비디오 또는 공간 캡처 시스템, 투영 시스템)을 포함하는 특수 효과 통신 시스템에 관한 것이다. 캡처 및 투영 시스템은 사용자들 간의 대화 품질을 향상시키는 것을 가능하게 할 수 있고, 제 1 사용자를 그와 통신하고 있는 제 2 사용자의 각각의 환경에 몰입시킬 수 있다. 사용자들을 자신과 통신하고 있는 사람들의 환경에 몰입시킴으로써, 제 1 위치의 제 1 사용자는 자신과 대화 중인 제 2 사용자에 대응하는 제 2 위치에 몰입되는 환상을 적어도 부분적으로 경험할 수 있다. 이러한 방식으로, 제 2 사용자는 제 1 사용자의 투영(projection) 또는 인상(impression)을 수신하여 통신을 개선하고 (예컨대, 제 2 사용자로 하여금 적어도 부분적으로 제 2 사용자와 상호작용하는 환경에 제 1 사용자가 있다고 믿게 함으로써) 제 2 사용자를 대화에 더 몰입시킬 수 있다. 예를 들어, 제 1 사용자가 초원에 있는 경우, 제 2 사용자는 오디오/비디오 통신을 통해 초원의 풍경과 소리를 경험할 수 있을뿐만 아니라, 특수 효과 통신 시스템은 바람 및 후각 효과를 유발할 수 있는데, 이는 제 2 사용자에게 제 1 사용자 환경의 일부가 이들과 함께 이동했고 제 1 사용자가 원격 위치에서 시청각 디스플레이를 통해서만 볼 수 있는 것이 아니라 물리적으로 존재한다는 환상을 제공한다.
일 실시예에서, 출발지의 특수 효과 통신 시스템은 목적지 장치(예컨대, 제 2 특수 효과 통신 시스템)와 통신 링크를 수립한다. 수립된 통신 링크에 응답하여, 출발지 특수 효과 통신 시스템 또는 목적지 특수 효과 통신 시스템 중 하나 또는 둘 모두는, 각자의 사용자의 모습(likeness)을 전달하고 통신하기 위해, 오디오 데이터, 이미지 데이터, 및 실시예에서 추가 센서 데이터(예컨대, 시각적 묘사 및 관련 오디오 및/또는 환경 조건)를 서로 전송할 수 있다. 오디오 데이터는 이미지 데이터와 실질적으로 동시에 그리고 하나 이상의 특수 효과와 함께 전송 및 제시(예컨대, 큰소리로 재생)되어, 특수 효과 통신 시스템의 사용자 중 하나 또는 모두에게 몰입적 및/또는 변형적 통신 경험을 제공한다. 또한, 사용자들(즉, 출발지 또는 목적지) 중 하나 또는 둘 다의 모습은 동시 특수 효과를 향상시키는 방식으로 디스플레이되거나 투영될 수 있다. 예를 들어, 특수 효과 통신 시스템의 사용자의 모습은 목적지 장치의 사용자에게 그 모습을 제시하도록 불, 물, 안개, 퍼티(putty), 체적 디스플레이 및/또는 홀로그램 디스플레이, 또는 임의의 적절한 물리적 재료 또는 매체의 조작을 통해 출발지 또는 목적지 장치에서 생성될 수 있다. 이러한 예에서, 특수 효과 통신 시스템에 의해 생성된 특수 효과 및/또는 추가 센서 데이터는, 물에 대한 미스트(mist) 및 시원한 공기 또는 불에 대한 따뜻한 공기 및 추가 오디오(예컨대, 탁탁 소리)와 같은 물리적 매체의 온도 또는 특색을 전달할 수 있다. 또한, 일부 실시예는 이미지 데이터에 기초하여 다양한 제어 신호를 생성할 수 있다. 제어 신호는 물리적 매체를 조작하고/하거나 구성요소의 작동을 위해 사용될 수 있다. 예를 들어, 제어 신호에 응답하여 다수의 핀 또는 공기 주머니(예컨대, 플라스틱 내에 포함된 공기)가 작동 및 변경될 수 있는데, 일부 실시예에서 다수의 핀 또는 공기 방울은 가요성 및/또는 탄성 재료(예컨대, 고무 피부, 천, 가죽)로 피복되어 있다. 이러한 방식으로, 가요성 재료는 제어 신호 기반의 작동에 응답하여 움직이도록 형성되고 움직이는 것처럼 보이며, 특수 효과 통신 시스템의 사용자와 연관된 움직임(예컨대, 말하기와 연관된 머리 움직임 및/또는 얼굴 표정과 연관된 것)을 전달하는 데 사용되어, 물리적 매체에 렌더링된 사용자의 아바타와 이야기하는 듯한 환상을 제공할 수 있다.
이해될 수 있는 바와 같이, 일부 실시예에서, 목적지 디바이스는 사용자를 갖지 않을 수 있고, 따라서 목적지 디바이스에 대한 주변 환경의 모습이 특수 효과 통신 시스템에 전송될 수 있다. 예를 들어, 대응하는 사용자에게의 제시를 위해 빈 방과 연관된 모습이 특수 효과 통신 시스템으로 전송될 수 있다. 또한 이해될 수 있는 바와 같이, 통신 연결을 개시하는 특수 효과 통신 시스템은 특수 효과를 제시하지 않을 수 있다. 대신, 목적지 장치의 역할을 하는 특수 효과 통신 시스템이 특수 효과를 제시할 수 있다.
특정 실시예에서, 개시된 특수 효과 통신 시스템은 놀이 또는 테마 공원과 같은 엔터테인먼트 장소 내에 제공된다. 테마 공원은 몰입적 및/또는 변형적 경험을 향상시키는 기억에 남는 효과와 연관될 수 있는 제어된 환경을 제공한다. 즉, 특정 어트랙션 환경은 얼음, 불, 연기, 빛, 및 다른 감각적 테마 요소를 가질 수 있는데, 이들은 적어도 특수 효과 통신 시스템의 사용자를 위해 재현되어 그 사용자에게 그 환경에 있는 듯한 느낌 및/또는 그 환경에 있는 개인과 의사소통하는 듯한 느낌을 제공한다. 따라서, 본 개시의 특정 실시예는, 엔터테인먼트 내러티브(entertainment narrative)의 일부이고 사용자를 위한 몰입적 및/또는 변형적 엔터테인먼트 경험을 향상시키는 특수 효과의 맥락에서 개시된다. 일 실시예에서, 사용자는, 상이한 물리적 특징을 가지면서 가상의 행성 환경에서 동작하는 외계인과 같은 테마 공원 내의 어트랙션과 연관된 캐릭터를 채택할 수 있다. 따라서, 원하는 내러티브를 향상시키기 위해 통신 효과와 특수 효과가 함께 선택되어 작동된다. 통신 효과와 특수 효과는 다른 내러티브 환경에 적합하도록 선택될 수 있으며 도시된 외계인 내러티브는 단지 예일 뿐이라는 것을 이해해야 한다.
이제 도면을 살펴보면, 도 1은 하나 이상의 특수 효과 통신 시스템(10)(예컨대, 제 1 특수 효과 통신 시스템(10A))을 포함하는 시스템(20)의 실시예의 도면이다. 제 1 특수 효과 통신 시스템(10A)은 제 2 특수 효과 통신 시스템(10B)으로의 전송을 위해 제 1 특수 효과 통신 시스템(10A)의 위치에 위치한 제 1 사용자의 모습(likeness)을 캡처하는 하나 이상의 캡처 및 디스플레이 시스템(12)(예컨대, 캡처/디스플레이 시스템(12))을 포함할 수 있다. 도시된 예에서, 제 1 사용자는 제 1 사용자가 제 2 위치로 이동될 것이라는 내러티브(narrative)를 향상시키는 플랫폼 상에 위치한다. 제 2 위치에 있는 제 2 특수 효과 통신 시스템(10B)은 제 1 사용자의 모습을 나타내는 데이터세트를 수신할 수 있고, 데이터세트를 사용하여 제 1 사용자의 모습을 제 2 사용자에게 디스플레이하거나 다른 방식으로 전달하는 이미지(14)를 제시하도록 동작할 수 있다. 이미지(14)는 여기에서 제공되는 지원하는 특수 효과와 함께 제시된다. 또한, 원하는 내러티브 또는 환상 효과에 따라, 시스템(20)은 제 2 사용자에게 환상을 제시하기 위해 모습을 처리하거나 변경할 수 있다. 예를 들어, 이미지는 홀로그램 디스플레이 또는 사용자가 광빔 속으로 이동되는 듯한 환상을 향상시키기 위해 가장자리에서 늘어나거나 희미해지는 제 1 사용자 얼굴의 특징을 제시할 수 있다. 다른 실시예에서, 디스플레이된 이미지는 제 1 사용자로부터 추출된 얼굴 특징에 기초할 수 있다. 시스템(20)은 이러한 추출된 특징을 사용자와 닮은 원하는 캐릭터 아바타(예컨대, 내러티브의 캐릭터)의 일부로 통합할 수 있다. 특정 캐릭터 아바타는 연기 속에서 나타나거나 사라지는 것과 같은 특정 특수 효과와 연관될 수 있으며, 아바타 이미지 디스플레이와 특수 효과 트리거의 조합(예컨대, 투영 주위의 연기 방출)은 통신의 특정 내러티브 기능을 향상시킬 수 있다. 도시된 실시예에서, 사용자는 목적지측 또는 제 2 특수 효과 통신 시스템(10B)에서 외계인으로 렌더링되거나 제시되고 안개 빔 특수 효과에 의해 둘러싸인다.
제 1 특수 효과 통신 시스템(10A)으로부터 제 2 특수 효과 통신 시스템(10B)으로 전송된 제 1 사용자의 모습은, 이미지 데이터, 오디오 데이터, 센서 데이터 등을 포함하지만 이에 제한되지 않는, 제 1 사용자의 얼굴 및/또는 존재를 전달하기 위한 임의의 적절한 디지털 데이터 및/또는 아날로그 데이터를 포함할 수 있다. 이러한 방식으로, 제 1 사용자에 대응하는 이미지 데이터는, 제 2 특수 효과 통신 시스템(10B)에 의해 오디오 데이터, 센서 데이터 또는 임의의 다른 적절한 디지털 데이터 및/또는 아날로그 데이터와 실질적으로 동시에 전송되어 제 1 사용자의 얼굴 및/또는 존재를 제 2 사용자에게 전달할 수 있다. 마찬가지로, 제 2 특수 효과 통신 시스템(10B)은 제 2 사용자의 모습을 캡처하여 제 1 사용자에게 전송할 수 있다.
도시된 바와 같이, 제 1 사용자는 제 1 특수 효과 통신 시스템(10A) 내에 또는 인접하게 위치된다. 제 1 사용자의 존재를 검출하는 것에 응답하여, 제 1 특수 효과 통신 시스템(10A)은 제 2 특수 효과 통신 시스템(10B)과의 통신 링크(예컨대, 시작된 통신)를 수립할 수 있다. 특수 효과 통신 시스템들(10) 사이에 통신 링크가 수립되면, 사용자 중 한 명 또는 모두의 모습이 특수 효과 통신 시스템들(10) 사이에 전송된다. 이러한 방식으로, 제 1 특수 효과 통신 시스템(10A)은, 제 2 특수 효과 통신 시스템(10B)에 제 1 사용자의 모습을 전송하는 동안 제 2 사용자의 모습과 연관된 데이터를 수신한다. 특수 효과 통신 시스템들(10)(예컨대, 10A, 10B) 사이에서 전송되는 데이터는, 각각의 사용자의 위치에 대응하는 주변 환경 온도를 사용자들 중 한 명에게 전달하는 온도 센서 데이터와 같은, 특수 효과를 제공하는 데 사용되는 데이터를 포함할 수 있다. 특수 효과 서브시스템에 입력으로 제공될 수 있는 데이터의 다른 예는, 위치 추적 데이터, 습도 또는 수분 데이터, 압력 데이터, 환경 조건을 전달하는 임의의 적절한 데이터 등을 포함할 수 있다.
제 1 특수 효과 통신 시스템(10A) 및 제 2 특수 효과 통신 시스템(10B)은 시스템(20)의 실시간 그래픽 엔진(16C)을 통해 하나 이상의 데이터세트를 전송할 수 있다. 하나 이상의 데이터세트는 또한, 하나 이상의 사용자에게 몰입적 및/또는 변형적 엔터테인먼트 경험을 제공하기 위해 데이터세트의 전송 및/또는 처리를 가능하게 하는 목적지 식별자, 소스 식별자, 환상 식별자 등을 포함하는 다양한 적절한 메타데이터를 포함할 수 있다. 실시간 그래픽 엔진(16C), 제 1 특수 효과 통신 시스템(10A) 및/또는 제 2 특수 효과 통신 시스템(10B)은 각각, 특수 효과 통신 시스템들(10) 사이에서 전송된 하나 이상의 데이터세트를 처리하기 위한 처리 회로 및 메모리 회로를 포함할 수 있다. 처리 회로는, 프로그램을 실행하고, 명령어를 실행하고, 입력을 해석하고, 제어 신호 생성하고/하거나 다른 유사한 기능을 수행하는 데 사용될 수 있다. 메모리 회로는 데이터, 프로그램, 명령어 등을 저장하는 데 사용될 수 있다. 다른 실시예에서, 처리 및 메모리 기능은 중앙 제어기 상에 적어도 부분적으로 상주할 수 있다. 또한, 일부 실시예에서, 특수 효과 통신 시스템들(10)은 각자의 실시간 그래픽 엔진(16)(예컨대, 16A, 16B)을 포함할 수 있다. 이런 방식으로, 특수 효과 통신 시스템들(10) 중 하나는, 하나 이상의 데이터세트를 특수 효과 통신 시스템들(10) 중 다른 하나로 전송하기 전에, 실시간 그래픽 엔진(16)을 사용하여 이상의 데이터세트를 변경, 처리, 수정, 조정 등을 수행할 수 있다.
데이터세트(예컨대, 오디오 데이터, 이미지 데이터 및 추가 센서 데이터)는 통신 네트워크(18)를 통해 구성요소들 간에 전송될 수 있다. 통신 네트워크(18)는 임의의 수의 입력/출력(I/O) 인터페이스 및/또는 네트워크 인터페이스를 포함할 수 있다. 이러한 통신 네트워크는 Bluetooth와 같은 PAN(Personal Area Network), Wi-Fi와 같은 WLAN(Wireless Local Area Network) 또는 LAN(Local Area Network), 및/또는 셀룰러 네트워크와 같은 WAN(광역 네트워크) 등의 다양한 유선 또는 무선 네트워크를 통한 데이터 전송을 가능하게 한다. 일부 실시예에서, 제 2 특수 효과 통신 시스템(10B)의 메모리 회로는 데이터세트를 제 1 특수 효과 통신 시스템(10A)으로 전송하기 전에 일정 기간 동안 하나 이상의 데이터세트를 저장할 수 있다. 이러한 방식으로, 일부 실시예에서, 제 1 특수 효과 통신 시스템(10A)은 제 1 특수 효과 통신 시스템(10A)의 사용자에게 사전 기록된 청취 및/또는 시청 경험을 제공할 수 있다.
일부 실시예에서, 제 2 특수 효과 통신 시스템(10B)은 제 1 사용자의 모습을 생성하기 위해 특수 효과 재료(예컨대, 물리적 재료)를 사용하여 그 위에, 그 내부에, 또는 그 외부에 제 1 사용자의 모습을 생성하는 특수 효과 시스템을 포함한다. 제 2 특수 효과 통신 시스템(10B)을 통해 제 1 사용자의 3차원 모습을 제공하는 것과 연관된 데이터는, 제 1 특수 효과 통신 시스템(10A) 또는 실시간 그래픽 엔진(16)에 의해 생성되어 제 2 특수 효과 통신 시스템(10B)으로 전송되거나, 또는 제 1 특수 효과 통신 시스템(10A)으로부터 수신된 데이터에 응답하여 제 2 특수 효과 통신 시스템(10B)에 의해 실시간으로 생성된다. 예를 들어, 제 2 특수 효과 통신 시스템(10B)은 제 1 사용자의 묘사(depiction)를 생성하기 위해 레이저 또는 안개의 출력을 변경하는 것과 같이 물리적 재료를 조작하는 하나 이상의 제어 신호를 수신할 수 있다. 도시된 바와 같이, 제 2 특수 효과 통신 시스템(10B)은 안개 스크린 또는 안개 빔에 투영된 제 1 사용자의 묘사를 제공하지만, 제 1 사용자의 3차원 또는 2차원 이미지를 제공하기 위해 임의의 적절한 물리적 재료가 광 출력(예컨대, 투영 시스템)과 함께 사용될 수 있음을 이해해야 한다. 예를 들어, 불, 물, 안개, 연기, 퍼티 등이 물리적 재료로 사용될 수 있다. 일반적으로, 제 1 사용자 및/또는 제 2 사용자의 모습은 사용자의 하나 이상의 이미지 및/또는 인상에 기초하여 하나 이상의 환상의 일부로서 수정될 수 있다.
도 2는 일반적으로 제 1 사용자의 관점에서 취해진 제 1 특수 효과 통신 시스템(10A)의 예를 도시한다. 도시된 바와 같이, 제 1 특수 효과 통신 시스템(10A)은 이미 제 2 특수 효과 통신 시스템(10B)과 통신 링크를 수립했으며, 따라서 제 2 사용자의 모습을 수신하고 있다. 전술한 바와 같이, 제 2 사용자의 모습을 수신하는 동안, 제 1 특수 효과 통신 시스템(10A)은 카메라 센서, 오디오 센서 및 임의의 적절한 추가 센서의 조합으로부터 수집된 데이터의 전송을 통해 제 1 사용자의 모습을 동시에 캡처하여 전송한다.
제 1 특수 효과 통신 시스템(10A)은 오디오 데이터, 이미지 데이터 및/또는 추가 센서 데이터를 수신 및 전송하여 사용자의 모습을 수신 및 전송할 수 있다. 오디오 데이터는 제 1 특수 효과 통신 시스템(10A) 내부의 처리 회로, 또는 통신 네트워크(18)를 통해 제 1 특수 효과 통신 시스템(10A)에 통신 가능하게 결합된 다른 적절한 회로에 의해 해석될 수 있다. 오디오 데이터를 수신하면, 제 1 특수 효과 통신 시스템(10A)은 (예컨대, 신호 무결성을 개선하거나 출력을 위한 오디오 데이터를 준비하기 위해) 오디오 데이터를 처리하고 (예컨대, 스피커를 통해) 제 1 사용자에게 제시하여 제 1 사용자와 제 2 사용자 간의 통신을 가능하게 할 수 있다. 처리는 제 1 사용자에게 제시될 제 2 사용자의 모습에 기초한 환상을 가능하게 한다. 이러한 방식으로, 도시된 바와 같이, 제 2 사용자(예컨대, 인간)는 환상으로 또는 왜곡된 방식(예컨대, 효과 음성을 갖는 것, 하나 이상의 비인간 소리를 방출하는 것, 필터링으로부터 생성된 것, 음성 인식 음역(speech recognition transliteration) 등)으로 제 1 사용자에게 묘사된다.
유사하게, 이미지 데이터는, 제 1 특수 효과 통신 시스템(10A) 내부의 처리 회로, 또는 통신 네트워크(18)를 통해 제 1 특수 효과 통신 시스템(10A)에 통신 가능하게 결합된 다른 적절한 회로(예컨대, 실시간 그래픽 엔진(16))에 의해 수신 및/또는 해석될 수 있다. 이 처리 회로는 이미지 데이터를 수신하고, 제 2 사용자의 모습의 제 1 사용자에게의 제시(예컨대, 제시 예(28))를 초래하는 하나 이상의 제어 신호를 생성할 수 있다. 이들 제어 신호는 픽셀, 투영 시스템, 물리적 매체 등을 제어하여, 제 2 사용자의 모습을 임의의 적절한 물리적 재료 또는 빛 내부에, 그 위에 또는 그 외부에 제시하는 것을 허용할 수 있다. 또한, 이러한 제어 신호는 추가 센서 데이터에 적어도 부분적으로 기초하여 생성될 수 있다. 예를 들어, 추가 센서 데이터는 제 2 특수 효과 통신 시스템(10B)의 캡처/디스플레이 시스템(12B)에 대한 제 2 사용자의 방향을 전달할 수 있으며, 따라서 제 2 사용자의 모습이 제 1 사용자에게 제시되는 방식을 변경하는 데 사용될 수 있다. 추가 센서 데이터는 또한 제 1 사용자를 터치하기 위해 생성된 미스트와 연관된 온도 출력을 동적으로 조정하는 것과 같이 제 1 특수 효과 통신 시스템(10A) 내에서 특수 효과를 가능하게 하는 데 사용될 수 있다.
도시된 바와 같이, 캡처/디스플레이 시스템(12A)은 제 1 사용자가 제 1 특수 효과 통신 시스템(10A) 내에 또는 그 근처에 있는 동안 제 1 사용자의 하나 이상의 이미지를 캡처한다. 제 1 특수 효과 통신 시스템(10A)은 제 1 사용자가 제 2 사용자와 통신할 수 있도록 오디오 데이터, 이미지 데이터 및/또는 추가 센서 데이터를 동시에 송신 및 수신한다. 수신된 이미지 데이터 및 추가 센서 데이터에 응답하여, 제 1 특수 효과 통신 시스템(10A)의 캡처/디스플레이 시스템(12A)은 제 2 사용자로부터의 오디오 데이터를 출력하는 것과 실질적으로 동시에 제 2 사용자의 모습을 제시하도록 동작한다. 또한, 특수 효과 시스템(30A)은 수신된 오디오 데이터 및 이미지 데이터의 출력 동안 실질적으로 동시에 하나 이상의 특수 효과를 출력할 수 있는데, 하나 이상의 특수 효과는 특정 위치의 주변 환경을 제 1 사용자에게 전달하는 것을 가능하게 한다. 이러한 방식으로, 제 1 특수 효과 통신 시스템(10A)은 제 1 사용자에게 몰입적 및/또는 변형적 통신 경험을 제공하도록 동작한다. 특수 효과 시스템(30)은, 원하는 환상을 향상시키는 촉각, 빛 및/또는 음향 효과와 같은 다른 감각적 효과와 함께, 특수 효과 재료 또는 물리적 매체(예컨대, 물, 안개, 연기, 불, 퍼티 등)의 조작을 유도할 수 있다.
제 1 사용자가 제 1 특수 효과 통신 시스템(10A)을 사용하고 있는 동안, 제 2 사용자는 제 2 특수 효과 통신 시스템(10B)을 사용할 수 있다. 도 3은 일반적으로 제 2 사용자의 관점에서 취해진 제 2 특수 효과 통신 시스템(10B)의 예의 도면이다. 도시된 바와 같이, 제 2 특수 효과 통신 시스템(10B)은 이미 제 1 특수 효과 통신 시스템(10A)과 통신 링크를 수립했으며, 따라서 제 1 사용자의 모습을 수신하고 있다. 전술한 바와 같이, 제 1 사용자의 모습을 수신하는 동안, 제 2 특수 효과 통신 시스템(10B)은 카메라 센서, 오디오 센서 및 임의의 적절한 추가 센서의 조합으로부터 수집된 데이터를 전송함으로써 제 2 사용자의 모습을 동시에 캡처하여 전송한다.
제 2 특수 효과 통신 시스템(10B)은 캡처 및 디스플레이 시스템(12B)과, 특수 효과 시스템(30B)을 포함할 수 있다. 특수 효과 통신 시스템들(10)은 모두 특수 효과 시스템(30)을 포함할 수 있지만, 임의의 주어진 시간에 특수 효과는 한 사용자의 모습과 함께 전달될 수 있음을 이해해야 한다. 물리적 매체 내부, 위, 외부로의 투영이 제 2 사용자에게 제시되는 것과 동시에 특수 효과가 제 1 사용자에게 전송될 수 있다. 일부 실시예에서, 하나 이상의 특수 효과는 각각의 특수 효과 통신 시스템(10)을 통해 동시에 전송될 수 있다. 따라서, 일부 실시예에서, 양쪽 특수 효과 통신 시스템(10)은 각자의 사용자에게 특수 효과를 동시에 전송하지 않을 수 있다. 그러나, 일부 실시예에서, 양쪽 특수 효과 통신 시스템(10)은 동일하거나 상이할 수 있는 하나 이상의 특수 효과를 각자의 사용자에게 동시에 전송할 수 있다.
도시된 바와 같이, 도 2에 묘사된 특수 효과는, 도 3에 도시된 제 2 사용자에게 제시되는 물리적 매체 내부, 위, 또는 외부로의 제 1 사용자의 투영과 실질적으로 동시에 제시된다. 제 2 특수 효과 통신 시스템(10B)은 안개 조작과 같은 제시 기술을 통해 제 1 사용자의 모습에 기초한 환상(예컨대, 외계인)을 제 2 사용자에게 제시한다. 이러한 방식으로, 제 1 사용자의 모습의 3차원 환상은 이미지 투영을 통해 조명된 안개 원뿔(예컨대, 제시 예(40)) 또는 안개 스크린 상으로 전송된다. 조명된 안개 원뿔 상에 이미지 투영을 수행하는 것으로 도시되어 있지만, 이해되는 바와 같이, 임의의 적절한 투영 및/또는 제시 방법 및/또는 기술이 제 2 특수 효과 통신 시스템(10B)을 통해 제 1 사용자의 모습을 제공하는 데 사용될 수 있다.
이제 도 2 및 도 3을 참조하면, 제시 예(40)는 도 2의 제시 예(28)와 실질적으로 동시에 발생할 수 있다. 즉, 도 3의 제 2 사용자가 제 1 사용자의 3차원 투영을 보고 있는 동안, 예를 들어, 제 1 사용자는 워터 커튼(water curtain) 상에 투영된 빛의 어레이를 통해 전송된 제 2 사용자의 2차원 투영을 본다. 2차원 투영은 추가 오디오 또는 가벼운 바람(예컨대, 제어 신호에 응답하여 하나 이상의 팬에 의해 시작됨)과 같은 특수 효과와 동시에 전송될 수 있다. 추가 센서 데이터는, 제 1 사용자가 자신의 머리 또는 몸을 움직일 때 도 3의 3차원 투영이 제 1 사용자 움직임과 실질적으로 동시에 움직이도록 제 1 사용자의 방향을 추적하는 데 사용될 수 있다. 특수 효과, 2차원 투영 및 3차원 투영의 조합은 두 사용자를 대화에 더 몰입시켜 대화를 개선 및/또는 향상시킬 수 있다.
도 4는 일반적으로 제 2 사용자의 관점에서 취해진 제 2 특수 효과 통신 시스템(10B)의 다른 예의 도시이다. 제 2 특수 효과 통신 시스템(10B)의 이 예는 벽걸이형 투영 시스템(52)으로부터 등장하는 제 1 사용자의 3차원 환상 제시 예(50)를 도시한다. 3차원 환상 제시 예(50)는 제 1 참가자의 캡처된 모습에 기초한다. 캡처/디스플레이 시스템(12B)은 다른 외관의 환상을 전달하기 위해 캡처된 모습과 연관된 데이터세트를 조작할 수 있다. 이 예에서, 제 1 사용자(예컨대, 인간)는 제 2 사용자(예컨대, 인간)에게의 제시를 위해 외계인 또는 다른 적절한 환상으로 변한다. 전술한 바와 같이, 일부 실시예에서, 제 2 특수 효과 통신 시스템(10B)은, 제 1 사용자(예컨대, 원격 사용자)의 인식가능하고 대표적인 윤곽을 제 2 사용자에게 형성하도록 작동되는, 핀, 공기 주머니 또는 퍼티와 같은 제어 가능한 물리적 매체와 연관된 하나 이상의 아이템을 포함한다. 하나 이상의 아이템은 제 1 특수 효과 통신 시스템(10A)으로부터 제 2 특수 효과 통신 시스템(10B)에 의해 수신된 이미지 데이터에 응답하여 생성된 제어 신호에 응답하여 작동한다.
도시된 바와 같이, 제 2 특수 효과 통신 시스템(10B)은 이미 제 1 특수 효과 통신 시스템(10A)으로부터 이미지 데이터의 적어도 일부를 수신했으며, 이미지 데이터에 기초하여 제어 또는 유도 또는 제어 신호 하에서 작동되는 하나 이상의 아이템을 작동시켰다. 이러한 방식으로 하나 이상의 아이템이 제 1 사용자의 3차원 표현을 생성했다. 추가 센서 데이터는 제 1 사용자의 방향을 추적하는 데 사용될 수 있으며, 따라서 움직임에 응답하여 하나 이상의 아이템의 작동을 적절하게 조정하기 위해 하나 이상의 출력된 제어 신호를 조정하는 데 사용될 수 있다. 예를 들어, 제 1 사용자는 자신을 캡처 시스템에 더 가까이 향하게 수 있고, 따라서 (예컨대, 상대적 위치를 전달하기 위해) 캡처 시스템으로부터 더 멀리 향하거나 위치될 때와는 상이한 방식으로 제 2 사용자에게 제시될 수 있다.
이제 도 2 및 도 3의 참조와 함께 도 4를 참조하면, 제시 예(50)는 제시 예(28)와 동시에 또는 실질적으로 유사한 시간에 발생할 수 있다. 이러한 방식으로, 제 2 특수 효과 통신 시스템(10B)은, 제 1 특수 효과 통신 시스템(10A)으로부터 유사한 데이터세트를 수신하는 것과 동시에, (예컨대, 캡처/디스플레이 시스템(12B)를 통해) 이미지 데이터, 오디오 데이터, 공간 데이터, 및/또는 추가 센서 데이터를 캡처하여 제 1 특수 효과 통신 시스템(10A)으로 전송할 수 있다. 또한, 제시 예(50)는 제 1 특수 효과 통신 시스템(10A)의 특수 효과(또는 다수의 특수 효과)와 동시에 발생할 수도 있다.
전술한 바를 염두에 두고, 도 5는 특수 효과 통신 시스템(10)(예컨대, 10A, 10B)의 블록도이다. 특수 효과 통신 시스템(10)은 캡처 시스템(62)(예컨대, 62A, 62B), 디스플레이 시스템(64)(예컨대, 64A, 64B), 제어 시스템(66)(예컨대, 66A, 66B) 및 특수 효과 시스템(68)(예컨대, 68A, 68B)을 포함한다. 이들 시스템(예컨대, 10, 62, 64, 66, 68) 각각은 통신 네트워크(18)를 통해 서로 통신할 수 있다. 또한, 선택적으로, 특수 효과 통신 시스템들(10) 간에 전송되는 데이터는 실시간 그래픽 엔진(16), 및/또는 특수 효과 통신 시스템(10)의 종단점 내부 및/또는 외부의 추가 또는 대안적인 실시간 그래픽 엔진에 의해 처리될 수 있다.
앞서 설명한 바와 같이, 실시간 그래픽 엔진(16) 및 제어 시스템(66)은 특수 효과 통신 시스템들(10) 사이에 전송된 하나 이상의 데이터세트를 처리하기 위한 처리 회로(70)(예컨대, 70A, 70B, 70C) 및 메모리 회로(72)(예컨대, 72A, 72B, 72C)를 포함할 수 있다. 처리 회로(70)는 프로그램 실행, 명령어 실행, 입력 해석, 제어 신호 생성 및/또는 다른 유사한 기능에 사용될 수 있으며, 이를 수행하기 위한 하드웨어-기반 및/또는 소프트웨어-기반 기능 또는 애플리케이션의 조합을 포함할 수 있다. 메모리 회로(72)는, 데이터, 프로그램, 명령어, 진단 데이터 및 최종 데이터 등을, 랜덤 액세스 메모리, 판독 전용 메모리, 플래시 메모리, 하드 드라이브, 현재 알려 졌거나 알려지지 않은 미래의 저장 기술(예컨대, DNA(deoxyribonucleic acid) 상의 데이터 저장 등) 등과 같은 다양한 적절한 메모리 또는 저장 유형에 저장하는 데 사용될 수 있다.
데이터세트(예컨대, 오디오 데이터, 이미지 데이터 및 추가 센서 데이터)는 통신 네트워크(18)를 통해 구성요소들 간에 전송될 수 있다. 통신 네트워크는 임의의 수의 입출력(I/O) 인터페이스 및/또는 네트워크 인터페이스를 포함할 수 있다. 전술한 바와 같이, 이러한 통신 네트워크(18)는 다양한 유선 또는 무선 네트워크를 통한 데이터 전송을 가능하게 할 수 있다. 이러한 방식으로, 데이터세트는 아날로그 또는 디지털 도메인에서 기록 또는 감지될 수 있고, 아날로그 또는 디지털 도메인, 또는 이들의 임의의 조합에서 특수 효과 통신 시스템들(10) 사이에서 전송될 수 있다.
제어 시스템(66)은 캡쳐 시스템(62), 디스플레이 시스템(64) 및 특수 효과 시스템(68)을 동작시켜 몰입적 및/또는 변형적 통신 경험을 사용자에게 제공할 수 있다. 이러한 방식으로, 제어 시스템(66)은 각자의 캡처 시스템(62), 디스플레이 시스템(64) 및 특수 효과 시스템(68)의 다양한 기능을 제각기 제어하기 위해 하나 이상의 제어 신호를 생성할 수 있다. 예를 들어, 제어 시스템(66A)은 하나 이상의 제어 신호를 특수 효과 시스템(68A)에 전송하여, 그 제어 신호에 적어도 부분적으로 대응하는 특수 효과의 수행을 야기한다.
계속해서 특수 효과 통신 시스템(10)의 각 하위 시스템(예컨대, 캡처 시스템(62), 디스플레이 시스템(64) 및 특수 효과 시스템(68))을 설명하면, 캡처 시스템(62)은 사용자의 모습을 감지 및 기록(예컨대, 캡처)할 수 있다(예컨대, 캡처 시스템(62A)은 제 1 사용자의 모습을 감지함). 이러한 방식으로, 제어 시스템(66)은 각자의 사용자의 모습을 감지하도록 각자의 캡처 시스템(62)을 동작시킬 수 있다. 제어 시스템(66)은 각자의 사용자의 시각적 모습을 감지(예컨대, 이미지를 캡처)하도록 이미지 캡처 장치(74)(예컨대, 74A, 74B)를 동작시킬 수 있다. 수집된 데이터세트는 그래픽 정보뿐만 아니라 각 사용자의 열, 체적 및/또는 모양에 대응하는 데이터를 포함할 수도 있다. 이미지 캡처 장치(74)는 2차원 캡처 시스템, 3차원 캡처 시스템, 비디오 캡처 시스템 등과 같은 임의의 적절한 이미지 캡처 장치일 수 있다. 각 사용자의 시각적 모습을 감지하는 것에 응답하여, 이미지 데이터는 캡처 시스템으로부터 특수 효과 통신 시스템들(10) 사이의 통신 네트워크(18)를 통해 전송된다. 제어 시스템(66)은 또한 각 사용자와 연관된 오디오 전송 및 캡처(예컨대, 오디오 기록)를 지원하도록 오디오 캡처 장치(76)(예컨대, 76A, 76B)를 동작시킬 수 있다. 사용자와 관련된 오디오 데이터는 마이크와 같은 임의의 적절한 오디오 기록 장치를 통해 캡처될 수 있다. 오디오 캡처 장치(76A)는 또한 오디오 캡처로부터 외부 및/또는 환경 소음을 분리하기 위해 하나 이상의 빔 스티어링 마이크로폰 어레이(beam steering microphone arrays)를 포함할 수 있다. 예를 들어, 빔 스티어링 마이크로폰 어레이는 사용자로 하여금 배경 소음의 간섭없이 통신할 수 있게 한다. 일부 실시예에서, 하나 이상의 빔 스티어링 마이크로폰 어레이와 연관된 캡처된 데이터는, 예컨대 마이크로폰에 대한 사용자의 방향을 제안함으로써 공간 이미지를 제시하는 데 사용될 수 있다.
디스플레이 시스템(64)에 대해, 제어 시스템(66)은 수신된 이미지 또는 다른 데이터를 전달하도록 제시 장치(78)(예컨대, 78A, 78B)를 동작시킬 수 있다. 제시 장치(78)는 본질적으로 디스플레이 또는 투영 시스템을 생성하도록 물리적 재료를 조작하는 임의의 적절한 디스플레이 또는 시스템일 수 있다. 제시 장치(78)는 제시 장치(78)를 통한 이미지의 제시를 야기하거나 이를 직접 변경하는 데 사용되는 하나 이상의 제어 신호를 수신할 수 있다. 제어 신호는 제어 시스템(66)에 의해 생성되거나 또는 수신된 이미지 데이터에 응답하는 구동 회로(미도시)와 같은 디스플레이 시스템(64)의 하위 구성요소에 의해 생성될 수 있다. 제어 시스템(66)은 오디오 출력 장치(80)(예컨대, 80A, 80B)와 실질적으로 동시에 제시 장치(78)를 동작시킬 수 있다. 오디오 출력 장치(80)는, 스피커 또는 촉각 변환기와 같은, 오디오 데이터에 응답하여 오디오(예컨대, 소음, 사운드)를 출력할 수 있는 임의의 적절한 장치일 수 있다. 제시 장치(78)와 오디오 출력 장치(80)의 조합은, 디스플레이되는 사용자의 이미지 또는 모습이 말하고 있거나 제시된 이미지가 오디오 출력이 변경되는 것과 동일한 속도로 변경되는 듯한 환상을 제공한다.
또한, 제어 시스템(66)은 오디오 데이터 및 이미지 또는 다른 데이터에 대응하는 특수 효과를 제공하도록 특수 효과 시스템(10)을 동작시킬 수 있다. 전술한 바와 같이, 특수 효과는, 예를 들어, 제 1 사용자가 제 2 사용자에게로의 제시를 위해 물리적 매체 속으로 실제로 전송되고 있는 듯한 환상을 전달할 수 있다. 이러한 방식으로, 특수 효과는 제 1 사용자와 제 2 사용자 모두에게 몰입적 및/또는 변형적 환상을 제공하는 것을 가능하게 한다. 몰입적 환상은 제 1 사용자로 하여금 자신이 해당 물리적 매체 속으로 또는 밖으로 실제로 전송되고 있다고 믿게 할 수 있다. 예를 들어, 제 1 사용자는 자신의 모습이 불의 환상 속에 투영되는 경우 열의 환상(예컨대, 따뜻한 공기)를 수신할 수 있고, 또는 제 1 사용자는 자신의 모습이 물 스크린(water screen) 상에 투영되고 있고/있거나 모양을 갖춘 물 디스플레이 밖으로 물리적으로 형성되고 있는 경우 차가운 물(예컨대, 냉기 및 미스트)의 환상을 수신할 수 있다. 이러한 방식으로, 특수 효과 시스템(10)은 특수 효과 재료(82)(예컨대, 82A, 82B) 및 제어기(84)(예컨대, 84A, 84B)를 포함할 수 있다. 제어기(84)는 밸브, 액추에이터, 레벨 등과 같은 구성요소를 작동 또는 제어하여 특수 효과 또는 특수 효과 환상을 생성하는 특수 효과 재료(82)를 조작할 수 있다. 예를 들어, 물은 제 1 사용자가 물 밖으로 제 2 사용자에게 제시되고 있는 듯한 특수 효과 환상을 생성하는 특수 효과 재료(82A)일 수 있다.
일부 실시예에서, 제어 시스템(66)은 제 2 특수 효과 통신 시스템(10B)으로 전송될 제 1 사용자 및/또는 제 1 사용자가 쥐고 있는 임의의 물체(예컨대, 제 1 사용자의 손에 쥐고 있는 물체)의 방향 또는 위치를 모니터링하도록 추적 장치(86)(예컨대, 86A, 86B)를 각각 제어할 수 있다. 이 추가 센서 데이터를 수신하는 것에 응답하여, 제어 시스템(66B)은 제 1 사용자(또는 제 2 사용자) 및/또는 제 1 사용자가 소유한 관련 물체의 방향 또는 위치를 제 2 사용자(또는 제 1 사용자)에게 전달하는 추가 센서 데이터에 기초하여 수신된 데이터의 출력을 변경하도록 (예컨대, 하나 이상의 제어 신호를 통해) 디스플레이 또는 특수 효과 시스템(64B)을 동작시킬 수 있다.
이해될 수 있는 바와 같이, 몰입적 및/또는 변형적 통신 경험을 제공하기 위해 집중적 처리가 사용될 수 있다. 전술한 바와 유사하게, 실시간 그래픽 엔진(16) 및 제어 시스템(66)은 특수 효과 통신 시스템들(10) 사이에 전송된 하나 이상의 데이터세트를 처리하는 처리 회로(70)를 포함할 수 있다. 이러한 방식으로, 하나 이상의 데이터세트의 일부 또는 전체 처리가 제어 시스템(66)과 실시간 그래픽 엔진(16) 사이에서 공유될 수 있다. 따라서, 제 1 특수 효과 통신 시스템(10A)은 제 1 데이터세트를 부분적으로 처리할 수 있고, 실시간 그래픽 엔진(16)은 제 1 데이터세트를 제 2 특수 효과 통신 시스템(10B)으로 전송하기 전에 최종적으로 처리할 수 있다. 데이터세트 처리는 데이터 전송이 계속되는 동안 발생할 수 있다. 이러한 방식으로, 데이터세트는, 처리 관련 데이터세트 생성과 데이터세트 표현 사이에서 실시간으로 제어 신호를 생성하기 위해(예컨대, 특수 효과를 야기하고, 물리적 재료의 작동 또는 성형을 통해 사용자의 모습의 제시를 유도하기 위해) 사용된다. 또한, 실시간 그래픽 엔진(16)은 (예컨대, 통신 네트워크(18)와 유사하거나 동일한 결합을 통해) 중앙 제어기(90)에 통신 가능하게 결합될 수 있다. 중앙 제어기(90)는 하나 이상의 사용자 장치(92)로부터 수신된 데이터세트 및/또는 입력에 대해 임의의 다른 적절한 동작을 취합, 처리, 해석 또는 수행할 수 있다. 메모리 또는 처리 구성요소의 임의의 적절한 조합은 중앙 제어기(90) 내에 포함될 수 있다. 사용자 장치(92)는, 중앙 제어기(90)에 대한 통신 결합을 통해 특수 효과 통신 시스템(10)과의 상호 작용을 가능하게 하기 위해, 사용자 장치(92)를 사용하는 사람에게 다양한 소프트웨어 애플리케이션 또는 사용자 인터페이스를 제공하도록 호스팅 및 동작할 수 있다. 예를 들어, 사용자는 사용자 장치(92)를 통해 장치를 조작하여, 사용자 장치를 가질 수도 있는 제 2 특수 효과 통신 시스템(10B)에 참가자의 모습을 전송할 때 제 1 특수 효과 통신 시스템(10A)에 의해 사용된 환상 또는 왜곡을 변경할 수 있다. 이러한 방식으로, 특수 효과 통신 시스템(10)은 제 2 사용자가 자신이 경험하고/하거나 그에 따라 전송하는 환상을 변경하는 것을 허용하는 것에 추가하여 제 1 사용자가 자신이 경험하거나 그에 따라 전송하는 환상을 변경하도록 허용할 수 있는데, 환상들은 동일하거나 관련된 환상이 아닐 수 있다. 그렇게 도시되지는 않았지만, 각각의 특수 효과 통신 시스템(10)은 사용자 장치들(92) 중에서 자신과 연관된 각자의 사용자 장치(예컨대, 제 1 사용자에 속하는 사용자 장치, 제 2 사용자에 속하는 사용자 장치, 특수 효과 통신 시스템(10) 상에 또는 내부에 물리적으로 배치되지만 제 1 사용자 및/또는 제 2 사용자에 의해 액세스 가능한 사용자 장치)를 가질 수 있다. 따라서, 이 기술은 제 1 사용자 장치와 제 1 특수 효과 통신 시스템(10A) 사이 및 동시에 제 2 사용자 장치와 제 2 특수 효과 통신 시스템(10B)사이와 같이 다수의 장치들 사이에서 실질적으로 동시적인 다방향 전이중 통신을 허용하여 제 2 사용자 및/또는 제 1 사용자의 외관의 변경을 동시에 허용할 수 있다.
도 6은 몰입적 및/또는 변형적 통신 시스템을 제공하기 위한 프로세스(100)의 흐름도이고, 도 1 내지 도 5을 참조하여 제시된다. 프로세스(100)는 제 1 특수 효과 통신 시스템(10A) 및/또는 제 2 특수 효과 통신 시스템(10B)에 의해 수행되는 것으로 아래에서 설명되지만, 프로세스(100)는 본 명세서에 제공된 시스템(20)의 다른 구성요소에 의해 수행될 수 있음을 이해해야 한다. 더욱이, 프로세스(100)에 대한 다음의 설명은 특정 순서로 설명되지만, 프로세스(100)는 임의의 적절한 순서로 수행될 수 있다는 점에 유의해야 한다.
블록 102에서, 제 1 특수 효과 통신 시스템(10A)의 제어 시스템(66A)은 참가자를 검출한다. 제어 시스템(66A)은 수신된 센서 데이터에 응답하여 또는 다른 적절한 방법을 통해 참가자(예컨대, 제 1 사용자)를 검출할 수 있다. 예를 들어, 사용자가 제 1 특수 효과 통신 시스템(10A)의 물리적 공간에 진입하는 시기를 검출하기 위해 제 1 특수 효과 통신 시스템(10A)의 물리적 공간 내에서 초음파 센서, 광 센서, 압력 패드 등이 사용될 수 있다(예컨대, 출발지 장치 내부에 존재함). 더욱이, 검출은 제어 시스템(66A)에 의해 검출된(예컨대, 인식된) 물리적 물질, 소품 또는 재료에 기초한 트리거링에 응답하여 발생할 수 있다. 제 1 특수 효과 통신 시스템(10A)에 진입하는 사용자는 일부 또는 완전한 신체가 공간에 진입하는 것에 응답하여 검출될 수 있다. 예를 들어, 일부 실시예에서, 사용자는 제 1 특수 효과 통신 시스템(10A)의 물리적 공간에 자신의 머리, 전신 또는 신체의 다른 부분을 배치할 수 있다. 일부 실시예에서, 제 1 특수 효과 통신 시스템(10A)은 참가자와 연관된 컴퓨팅 장치로부터 및/또는 제 1 특수 효과 통신 시스템(10A)과 연관된 입력 장치를 통해 개시 입력을 수신함으로써 참가자를 검출할 수 있다. 개시 입력은 하나 이상의 목적지 장치와 통화 또는 통신을 시작하도록 제어 시스템(66A)에 지시할 수 있다. 또한, 중앙 제어기(90)는 통신 동작을 시작하도록 하나 이상의 개시 입력을 제어 시스템(66A)에 전송할 수 있다.
블록 104에서, 제 1 특수 효과 통신 시스템(10A)은 목적지(예컨대, 목적지 장치)의 선택을 수신할 수 있다. 목적지의 선택은 다이얼, 음성 제어, 터치 패드, 버튼 등과 같은 입력 장치의 사용자 조작을 통해 수신되어 다중 목적지 중에서 사용자가 통신하기 원하는 목적지를 제 1 특수 효과 통신 시스템(10A)에 전달할 수 있다. 일부 실시예에서, 제 1 사용자는 디스플레이 장치 상에 제시된 그래픽, 공간 및/또는 물리적 사용자 인터페이스를 통해 목적지를 선택할 수 있는데, 그래픽 사용자 인터페이스는 예를 들어 통신 환상에 대응하는 특정 테마를 매칭함으로써 사용자 경험을 향상시키는 데 기여할 수 있다. 목적지는 제 1 사용자의 모습이 출발지 장치(예컨대, 제 1 특수 효과 통신 시스템(10A))로부터 전송되어야 할 곳이다. 일부 실시예에서, 제 2 특수 효과 통신 시스템(10B)은 제 2 특수 효과 통신 시스템(10B)을 사용하는 참가자의 존재 여부에 관계없이 오디오 데이터, 이미지 데이터 및 임의의 추가 센서 데이터를 제 1 특수 효과 통신 시스템(10A)으로 전송하도록 동작할 수 있다. 또한, 일부 실시예에서, 제 1 사용자의 모습이 다수의 목적지로 전송되고/되거나 다수의 목적지를 동시에 경험하는 것이 허용되도록 둘 이상의 목적지의 선택이 이루어질 수 있다. 본 명세서에 설명된 바와 같이, 제 2 특수 효과 통신 시스템(10B)은 제 2 사용자와 함께 또는 제 2 사용자 없이 주변 포위물(예컨대, 주변 환경)의 모습을 전송할 수 있다.
목적지의 선택에 응답하여, 블록 106에서 제 1 특수 효과 통신 시스템(10A)은 목적지와의 통신 링크를 수립하고, 블록 108에서 제 2 특수 효과 통신 시스템(10B)(예컨대, 목적지)은 이에 응답하여 통신 링크를 수립한다. 일부 실시예에서는, 특수 효과 통신 시스템들(10) 사이에서 데이터세트를 전송하기 위해 방송 채널이 사용될 수 있으며, 따라서 통신 링크는 유선(예컨대, 꼬임 쌍선, 케이블, 광섬유 케이블) 또는 무선(예컨대 , 마이크로파, 위성, 라디오, 적외선) 통신 매체를 통해 제공될 수 있다. 통신 링크를 통해, 각각의 특수 효과 통신 시스템(10)(예컨대, 10A, 10B)은 특수 효과 통신 시스템(10)의 사용자의 모습을 전달하기 위해 이미지 데이터, 오디오 데이터 및 임의의 추가 수집 데이터를 송신 및 수신할 수 있다. 유선, 무선 전송, 통신 버스, 광섬유 등을 수반하는 기술 및 아직 알려지지 않은 미래 기술을 포함하여 임의의 적절한 통신 연결 방법이 사용될 수 있다. 통신 링크의 수립은 특수 효과 통신 시스템(10)으로 하여금 통신 네트워크(18)를 통해 데이터를 전송할 수 있게 한다.
블록 110에서, 제 1 특수 효과 통신 시스템(10A)은 캡처 시스템(62A)을 사용하여 참가자의 모습을 캡처한다. 참가자의 모습을 캡처하는 것은, 오디오 캡처 장치(76A)를 통해 참가자로부터 방출된 음성 또는 사운드에 대응하는 오디오 데이터를 기록, 수집 및 전송하는 것, 이미지 캡처 장치(74A)를 통해 참가자의 시각적 외관에 대응하는 이미지 및/또는 공간 데이터를 수집하는 것, 및 제 2 특수 효과 통신 시스템(10B)을 통한 제시에서 참가자의 모습을 더욱 향상시키기 위해 추적 장치(86A)를 통해 위치 또는 방향 데이터와 같은 임의의 추가 센서 데이터를 측정하는 것을 포함한다. 유사하게 블록 112에서, 제 2 특수 효과 통신 시스템(10B)은 캡처 시스템(62B)을 사용하여 제 2 참가자와 함께 또는 제 2 참가자 없이 주변 환경의 모습을 캡처한다. 캡처 시스템(62B)에 의해 생성된 데이터세트는 주변 환경, 및 주변 환경과 연관된 임의의 소리, 풍경 또는 기타 데이터를 제 1 특수 효과 통신 시스템(10A)에 전달할 수 있다. 마이크로폰, 레코더, 2차원 캡처 시스템, 3차원 캡처 시스템, 비디오 캡처 시스템, 열 캡처 시스템 등을 포함하는 임의의 적절한 이미지 캡처, 오디오 캡처 및/또는 데이터 캡처 장치가 사용될 수 있다.
블록 114에서, 제 1 특수 효과 통신 시스템(10A)은 참가자가 특수 효과 시스템(68A)을 통해 경험할 특수 효과를 트리거한다. 특수 효과는, 제 2 특수 효과 통신 시스템(10B)에서 제 1 사용자의 모습의 투영 또는 생성에 사용되는 물리적 매체, 제 2 특수 효과 통신 시스템(10B)의 주변 환경의 환경적 측면, 참가자의 모습 캡처를 더욱 향상시키기 위한 제 1 특수 효과 통신 시스템(10A)의 주변 환경의 환경적 측면 등과 관련될 수 있다. 특수 효과는 제 2 특수 효과 통신 시스템(10B)과의 통신을 향상시킬 수 있으며, 참가자를 더 몰입시키거나 변형시킬 수 있다. 예를 들어 전술한 바와 같이, 안개 및/또는 물의 작용 밖으로 참가자 모습을 투영하거나 생성하는 제 2 특수 효과 통신 시스템(10B)과 통신하는 참가자는, 특수 효과 시스템(68A)을 사용하여, 제 2 특수 효과 통신 시스템(10B)의 매체에 참가자를 몰입시키기 위해 약한 바람 특수 효과, 냉각 미스트 특수 효과, 냉풍 특수 효과 등과 같은 저온 관련 특수 효과를 트리거(예컨대, 개시, 시작, 제시)할 수 있다. 일부 실시예에서, 제 2 특수 효과 통신 시스템(10B)은 특수 효과 시스템(68B)을 통해 제 2 특수 효과 통신 시스템(10B)의 임의의 참가자를 포함하는 주변 환경에 특수 효과를 트리거하고 제시한다.
블록 116에서, 제 1 특수 효과 통신 시스템(10A)은, 블록 110에서 측정, 기록 또는 수집된 이미지 데이터, 오디오 데이터 및 추가 센서 데이터를 제 2 특수 효과 통신 시스템(10B)으로 전송한다. 블록 118에서, 제 2 특수 효과 통신 시스템(10B)은, 블록 112에서 측정, 기록 또는 수집된 이미지 데이터, 오디오 데이터 및 추가 센서 데이터를 제 1 특수 효과 통신 시스템(10A)으로 전송한다. 이러한 전송 활동은 서로에게 실질적으로 동시에 발생할 수 있으며, 이러한 방식으로 특수 효과 통신 시스템(10)은 참가자 및/또는 주변 환경 사이의 실시간 통신을 달성할 수 있다.
블록 120에서, 제 2 특수 효과 통신 시스템(10B)은 제 1 특수 효과 통신 시스템(10A)에 의해 캡처된 이미지 데이터, 오디오 데이터 및 추가 센서 데이터를 수신한다. 블록 122에서, 제 1 특수 효과 통신 시스템(10A)은 제 2 특수 효과 통신 시스템(10B)에 의해 캡처된 이미지 데이터, 오디오 데이터 및 추가 센서 데이터를 수신한다. 이러한 방식으로, 특수 효과 통신 시스템들(10)은 참가자 및/또는 주변 환경의 모습을 실시간으로 통신한다. 데이터세트는 통신 네트워크(18)를 통해 전송된다.
데이터세트의 수신에 응답하여, 블록 124에서, 제 1 특수 효과 통신 시스템(10A)은 목적지의 주변 환경을 참가자에게 전달하기 위해 하나 이상의 목적지 제어 신호를 생성한다. 목적지 제어 신호는 제 2 특수 효과 통신 시스템(10B)으로부터 전송된 데이터세트에 응답하여 제 1 특수 효과 통신 시스템(10A)에 의해 생성된다. 따라서, 하나 이상의 제어 신호는, 예컨대 빛 투영을 통해 주변 환경의 시각적 모습을 투영하는 투영 표면을 생성하기 위한, 픽셀 제어 신호, 이미지 데이터에 기초하여 발광을 유발하는 프로그래밍 전압, 또는 물리적 매체의 물리적 조작을 유도하는 데 사용되는 제어 신호와 같은, 이미지 데이터를 표시하는 데 사용되는 제어 신호에 대응할 수 있다. 제어 신호는 오디오 데이터에 따라 오디오 방출을 허용하는 임의의 적절한 신호 및/또는 주변 환경의 모습을 참가자에게 전달하는 데 사용되는 추가 센서 데이터를 허용하는 임의의 적절한 신호를 포함할 수 있다. 이러한 제어 신호는 블록 126에서 제 1 특수 효과 통신 시스템(10A)에 의해 사용되어 목적지 제어 신호를 통해 목적지의 주변 환경을 디스플레이하도록 시스템을 유도한다.
유사하게, 블록 128에서, 제 2 특수 효과 통신 시스템(10B)은 제 1 특수 효과 통신 시스템(10A)으로부터 수신된 이미지 데이터, 오디오 데이터 및 추가 센서 데이터에 기초하여 하나 이상의 제어 신호를 생성한다. 하나 이상의 제어 신호는 블록 130에서 제 2 특수 효과 통신 시스템(10B)에 의해 사용되어, 제 1 특수 효과 통신 시스템(10A)을 사용하는 참가자의 모습을 디스플레이하도록 물리적 매체의 3차원 조작을 유도할 수 있다. 참가자의 모습을 제시한 후, 제 2 특수 효과 통신 시스템(10B)은 블록 112로 계속 진행하여 제 2 특수 효과 통신 시스템(10B)에 대한 주변 환경의 모습을 캡처하는 것을 반복한다. 이 캡처 및 제시 동작은 제 1 특수 효과 통신 시스템(10A)이 참가자를 검출하지 않거나 제어 신호를 통해 정지 커맨드가 발행될 때까지 계속될 수 있다. 일부 실시예에서, 참가자가 여전히 활성 상태인지를 판정하는 제 1 특수 효과 통신 시스템(10A)에 의해 야기된 통신의 임의의 시간 지연은, 실시간, 몰입적 및/또는 변형적 통신의 환상을 계속 제공하는 데이터세트의 처리로 보상될 수 있다.
블록 132에서, 제 1 특수 효과 통신 시스템(10A)은 참가자가 여전히 검출되는지 여부를 판정한다. 제 1 특수 효과 통신 시스템(10A)은 블록(102)을 참조하여 논의된 다양한 방식으로 참가자를 검출할 수 있다. 따라서, 참가자가 여전히 검출되는지 여부를 판정하기 위해, 제 1 특수 효과 통신 시스템(10A)은 특정 센서 출력 또는 판독 값을 분석하거나 또는 출력의 변화를 분석 또는 결정하거나, 참가자가 여전히 검출되는지 여부를 판정하기 위한 프로세스의 일부로서 상태 변화를 검출할 수 있다. 참가자가 여전히 검출되면, 제 1 특수 효과 통신 시스템(10A)은 블록 110에서 참가자의 모습을 캡처하는 프로세스(100)의 부분을 반복할 수 있다.
그러나, 참가자를 검출하지 않은 것에 응답하여, 블록 134에서, 제 1 특수 효과 통신 시스템(10A)은 제 2 특수 효과 통신 시스템(10B)과의 통신 링크를 종료하여 통신을 끝낼 수 있다. 통신 링크의 종료에 응답하여, 제 2 특수 효과 통신 시스템(10B)은 주변 환경의 모습의 캡처를 종료할 수 있고, 제 1 특수 효과 통신 시스템(10A)은 참가자의 모습의 캡처를 종료할 수 있다. 또한, 제 1 특수 효과 통신 시스템(10A)의 물리적 공간으로부터 특수 효과 잔류 특성을 감소 또는 제거하기 위해 특정 동작이 수행될 수 있다. 예를 들어, 제 1 특수 효과 통신 시스템(10A)은 제 1 특수 효과 통신 시스템(10A)의 물리적 공간으로부터 잔류 미스트, 안개, 연기 등을 제거하거나 감소시키도록 동작하여 다음 참가자에게 중립적인 제 1 특수 효과 통신 시스템(10A)으로의 입장 경험을 제공할 수 있다. 이러한 방식으로, 제 2 참가자(예컨대, 다음 참가자)는 원래 선택된 목적지와 연관된 이전 주변 환경을 경험하지 못할 수 있다. 일부 실시예에서, 제 2 특수 효과 통신 시스템(10B)은 또한 제 2 특수 효과 통신 시스템(10B)의 물리적 공간으로부터 특수 효과 잔류 특성을 감소 또는 제거할 수 있다.
전술한 바와 같이, 특수 효과 통신 시스템(10)은 하나 이상의 참가자와 하나 이상의 추가 참가자 또는 주변 환경 사이에 몰입적이고 변형적인 통신을 허용한다. 이러한 방식으로, 2 차원(2D)에서 2D, 2D에서 3 차원(3D), 3D에서 2D, 3D에서 3D 또는 임의의 적절한 통신이 이러한 기술을 통해 유효하다. 따라서, 참가자의 캡처된 2D 이미지 또는 비디오는, 일반적으로 2D 표면(예컨대, 안개 커튼) 상에 투영되거나, 일반적으로 2D 표면 외부에 또는 내부에 투영되거나(예컨대, 워터 커튼의 네거티브 스페이스가 참가자의 모습을 형성하도록 워터 제트의 선택적 작동 외부에 형성된 모습), 2D 표면에 투영되거나(예컨대, 픽셀로부터 빛 외부로 투영됨), 3D 표면 상에 투영되거나(예컨대, 참가자의 모습이 안개 구체 내에서 3D로 나타나도록 3D 안개 구 상으로의 빛 투영), 물리적 매체 또는 3D 재료의 조작을 통해 투영되는 것(예컨대, 일반적으로 3D 볼륨에 투영된 다양한 강도의 불, 안개, 물 등으로 형성되거나, 3D 모습이 평평한 표면으로부터 등장하도록 퍼티 또는 핀의 작동으로부터 형성되는 참가자 모습) 등일 수 있다. 또한, 투영 재료(예컨대, 투영 표면, 투영 평면)는 정적 또는 동적 재료일 수 있고/있거나 투영 재료의 관점에서 정적 또는 동적으로 보일 수 있다는 것을 이해해야 한다. 물리적 매체는 실제적, 시각적 및/또는 연극적 효과를 사용하여 다른 물리적 매체인 것처럼 보이도록 시뮬레이션될 수도 있다. 예를 들어, 안개 원뿔 또는 안개 투영 스크린은 시각적 및 연극적 효과(예컨대, 오디오 및 시각적 특수 효과)를 사용함으로써 불의 환상을 생성할 수 있다. 요약하면, 디스플레이 시스템(64)에 의해 사용되는 투영 및/또는 디스플레이 표면은 임의의 적절한 인상-기반 재료 또는 시스템, 임의의 적절한 평면 제시 시스템 및/또는 임의의 적절한 체적 투영 시스템일 수 있다. 또한, 일부 실시예에서, 디스플레이 시스템(64)은, 제시된 이미지(예컨대, 미디어)에 대한 특수 프라이버시 필름 또는 필터, 제한된 뷰 디스플레이, 가상 현실 고글, 특수 렌즈, 또는 다른 연극적 효과를 적어도 부분적으로 사용할 수 있다. 이러한 디스플레이 향상 및 특징은 오디오 신호에 사용 및 적용되어, 프라이버시 고려사항에 도움이 될 수 있는 국소 사운드를 허용할 수 있다. 이러한 추가 특징은 예컨대 캡처 시스템(62A)과 관련하여 제 1 사용자를 원하는 캡처 위치로 정렬하는 데 적어도 부분적으로 도움이 될 수 있다.
일부 실시예에서, 특수 효과 통신 시스템(10)의 구성요소를 숨기거나 은폐 또는 강화, 왜곡 또는 복제하기 위한 방법으로서 특수 효과 통신 시스템(10) 내에 또는 인접하여 거울 또는 다른 반사 표면과 같은 추가 구성요소가 포함될 수 있다. 이러한 방식으로, 제 1 특수 효과 통신 시스템(10A)은 제 1 사용자가 (예컨대, 제 1 특수 효과 통신 시스템(10A)을 사용하는) 장치의 물리적 공간 내에 있는 동안 제 1 사용자로부터 은폐될 수 있다. 하나 이상의 특수 효과 통신 시스템(10)을 은폐하는 것은 장치를 은폐하지 않는 것에 비해 사용자 경험을 더욱 개선시킬 수 있다. 더 나아가, 일부 실시예에서는, 얼굴 인식, 음성 인식, 콘텐츠 큐레이션(예컨대, 음성-텍스트, 텍스트-음성), 및/또는 콘텐츠의 검열을 위한 음성 검출(예컨대, 속어 또는 비속어 방지)이 또한 사용자 경험을 향상시키는 데 사용된다. 또한, 본 명세서에서는 하나 이상의 센서가 설명되었지만, 몰입적 및/또는 변형적 통신 경험을 제공하기 위해 특수 효과 통신 시스템에서는 열 센서, 공간 센서, 초음파 센서, 적외선 센서 등을 포함하는 임의의 적절한 센서가 사용될 수 있음을 이해해야 한다.
전술한 내용을 염두에 두고, 일부 실시예에서, 특수 효과 통신 시스템(10)은, 제 1 특수 효과 통신 시스템(10A)으로 하여금 하나 이상의 호출을 수신하기 위해 하나 이상의 다른 특수 효과 통신 시스템(10)에 통신 가능하게 연결되게 하는 가입자없는 방송을 허용한다. 추가로, 반복하여, 일부 실시예에서 위에서 설명된 기술은, 제 1 특수 효과 통신 시스템(10A)의 제 1 사용자로 하여금 하나 이상의 다른 특수 효과 통신 시스템(10) 내에 또는 그 근처에 제 2, 제 3 등의 추가 사용자가 존재하지 않는 하나 이상의 다른 특수 효과 통신 시스템(10)에 대한 호출을 개시하도록 허용할 수 있다. 일부 실시예에서, 특수 효과 통신 시스템(10)은 회의 호출 및/또는 다-지점 통신을 허용하는데, 여기서 특수 효과 통신 시스템(10)과 연관된 하나 이상의 사용자는 각각, 하나 이상의 다른 사용자와 실질적으로 동시에 상호작용하고, 시각적으로 보고 및/또는 통신할 수 있다.
또한, 제 1 사용자가 통신 링크를 종료하는 것으로 프로세스(100)가 끝나는 것으로 설명되었지만, 추가 또는 대체 이벤트가 통신 링크를 종료할 수도 있음을 이해해야 한다. 예를 들어, 제 2 특수 효과 통신 시스템(10B)의 제 2 사용자가 통신 링크를 종료하는 것을 결정할 수 있다(예컨대, 제 1 특수 효과 통신 시스템(10A)로부터 먼저 걸려온 호출을 끊거나 응답하지 않음). 추가적인 예로서, 중앙 제어기(90)가 통신 링크를 종료할 수 있다. 일부 실시예에서, 통신 링크는 프로세스가 실행되는 지점에 상관없이 즉시 종료될 수 있다.
기술적 효과는 몰입적 및/또는 변형적 통신 경험을 제공하는 통신 시스템의 능력을 개선함으로써 통신 시스템에 대한 개선을 포함한다. 참가자 모습에 대응하는 데이터를 송신 및 수신하는 동안 특수 효과를 제공하는 기술은, 사용자가 통신하는 목적지 장치의 주변 환경을 경험할 수 있게 하여 사용자 경험을 향상시킬 수 있다. 개선된 통신 시스템은 또한, 예컨대 하나 이상의 참가자의 3차원 제시의 작동을 허용하기 위해, 통신 링크 동안 목적지 통신 시스템에서 물리적 매체의 동시 유도를 허용할 수 있다.
본 명세서에서는 본 발명의 특정 특징만이 예시되고 설명되었지만, 당업자에게는 많은 수정 및 변경이 발생할 것이다. 따라서, 첨부된 청구범위는 본 발명의 진정한 사상에 속하는 이러한 모든 수정 및 변경을 포함하도록 의도된 것임을 이해해야 한다.
본 명세서에 제시되고 청구된 기술은 본 기술 분야를 명백히 개선하는 실질적인 특성의 물질적 대상 및 구체적인 예에 참조되고 적용되며, 따라서 추상적이거나, 무형적이거나, 순전히 이론적인 것이 아니다. 또한, 본 명세서의 끝에 첨부된 임의의 청구항이 "... [기능]을 [수행]하기 위한 수단" 또는 "... [기능]을 [수행]을 위한 단계…"로 표기된 하나 이상의 요소를 포함하는 경우, 그러한 요소는 35 U.S.C. 112(f)에 따라 해석되어야 한다. 그러나, 임의의 다른 방식으로 표기된 요소를 포함하는 임의의 청구항의 경우, 그러한 요소는 35 U.S.C. 112(f)에 따라 해석되지 않아야 한다.

Claims (24)

  1. 특수 효과 통신 시스템으로서,
    제 1 위치에 존재하는 제 1 사용자의 하나 이상의 이미지 또는 인상(impression)에 기초하여 제 1 데이터세트를 생성하도록 구성된, 상기 제 1 위치에 있는 카메라 시스템과,
    상기 제 1 위치에서 특수 효과 재료를 사용하여 특수 효과를 생성하도록 구성된 특수 효과 시스템과,
    상기 카메라 시스템 및 상기 특수 효과 시스템에 통신 가능하게 결합된 제어 시스템을 포함하되, 상기 제어 시스템은,
    상기 제 1 데이터세트를 목적지 장치로 전송하고,
    상기 제 1 사용자가 상기 제 1 위치에 존재하는 동안, 제 2 위치에 존재하는 제 2 사용자의 하나 이상의 이미지 또는 인상에 기초한, 상기 목적지 장치로부터의 제 2 데이터세트 또는 저장된 데이터세트를 수신하고,
    상기 수신된 제 2 데이터세트에 기초하여 하나 이상의 제어 신호 ― 상기 하나 이상의 제어 신호는 상기 제 1 위치에 있는 상기 특수 효과 시스템으로 하여금 상기 특수 효과 재료를 사용하여 상기 제 2 사용자의 모습(likeness)을 상기 제 1 사용자에게 제시하는 특수 효과를 생성하게 함 ― 를 제공하도록 구성되는,
    특수 효과 통신 시스템.
  2. 제 1 항에 있어서,
    상기 특수 효과 재료는 불, 레이저, 플라즈마, 전기, 공기, 물, 안개, 퍼티, 모래, 가요성 또는 모양 형성 재료, 또는 이들의 임의의 조합을 포함하는,
    특수 효과 통신 시스템.
  3. 제 1 항에 있어서,
    상기 특수 효과 시스템은 상기 제 2 사용자의 모습을 제시하기 위해 상기 특수 효과 재료 상에 상기 제 2 사용자의 하나 이상의 이미지 또는 인상을 디스플레이하는,
    특수 효과 통신 시스템.
  4. 제 3 항에 있어서,
    상기 특수 효과 시스템은 상기 제 2 사용자의 하나 이상의 이미지 또는 인상이 투영되는 안개 스크린 또는 물 스크린을 생성하는,
    특수 효과 통신 시스템.
  5. 제 1 항에 있어서,
    상기 특수 효과 시스템은 상기 제 2 사용자의 모습을 제시하기 위해 상기 특수 효과 재료를 사용하여 상기 제 2 사용자의 모습을 형성하는,
    특수 효과 통신 시스템.
  6. 제 1 항에 있어서,
    상기 특수 효과 시스템은 상기 특수 효과 재료로부터 상기 제 2 사용자의 3차원 모습을 성형하는 상기 특수 효과 재료의 물리적 조작을 유도하도록 구성되는,
    특수 효과 통신 시스템.
  7. 제 1 항에 있어서,
    상기 제어 시스템은 상기 수신된 제 2 데이터세트로부터 상기 제 2 사용자의 하나 이상의 이미지 내의 식별가능한 특징을 추출하도록 구성되고, 상기 모습은 상기 추출된 식별가능한 특징에 기초하는,
    특수 효과 통신 시스템.
  8. 제 7 항에 있어서,
    상기 제어 시스템은 상기 특수 효과 재료의 특성에 기초하여 상기 추출된 식별가능한 특징을 조작하거나 왜곡하도록 구성되고, 상기 모습은 상기 조작되거나 왜곡된 식별가능한 특징에 기초하는,
    특수 효과 통신 시스템.
  9. 제 1 항에 있어서,
    상기 제 1 사용자에 대응하는 오디오 데이터 및 관련 메타데이터를 기록 및 전송하도록 구성된, 상기 제 1 위치에 있는 오디오 캡처 장치를 포함하되, 상기 제 1 데이터세트는 상기 오디오 데이터를 포함하는,
    특수 효과 통신 시스템.
  10. 제 1 항에 있어서,
    상기 제 1 데이터세트는 통신 링크를 통해 전송되고,
    상기 제어 시스템은,
    상기 제 1 사용자를 검출하고,
    상기 제 1 사용자를 검출하는 것에 응답하여 상기 목적지 장치, 방송 채널, 또는 이들의 임의의 조합과 통신 링크를 수립하도록 구성되는,
    특수 효과 통신 시스템.
  11. 특수 효과 통신 시스템으로서,
    제 1 위치에 있는 제 1 사용자의 하나 이상의 이미지 또는 인상을 캡처하도록 구성된 카메라 시스템과,
    상기 제 1 사용자의 하나 이상의 이미지 또는 인상에 대응하는 제 1 데이터세트를 전송하고, 제 2 위치에 있는 제 2 사용자의 하나 이상의 이미지 또는 인상에 대응하는 제 2 데이터세트를 목적지 장치로부터 수신하도록 구성된 통신 회로와,
    상기 제 2 사용자의 모습을 제시하기 위해 상기 제 2 데이터세트에 기초하여 물리적 매체의 3차원 조작을 유도하는 하나 이상의 제어 신호를 생성하도록 구성된 특수 효과 시스템을 포함하는,
    특수 효과 통신 시스템.
  12. 제 11 항에 있어서,
    상기 물리적 매체는 불, 레이저, 플라즈마, 전기, 공기, 물, 안개, 퍼티, 모래, 가요성 또는 모양 형성 재료, 또는 이들의 임의의 조합을 포함하는,
    특수 효과 통신 시스템.
  13. 제 11 항에 있어서,
    상기 제 1 사용자의 존재를 검출하도록 구성된 센서를 포함하되,
    상기 특수 효과 시스템은 상기 제 1 사용자의 존재 및 상기 수신된 제 2 데이터세트에 응답하여 시작되는,
    특수 효과 통신 시스템.
  14. 제 13 항에 있어서,
    상기 센서는 열 센서, 공간 센서, 초음파 센서, 적외선 센서, 압력 센서, 또는 이들의 임의의 조합을 포함하는,
    특수 효과 통신 시스템.
  15. 제 11 항에 있어서,
    상기 목적지 장치를 포함하되, 상기 목적지 장치는 상기 제 2 위치에서 특수 효과를 생성하도록 구성된 제 2 특수 효과 시스템을 포함하고, 상기 특수 효과는 상기 제 1 데이터세트에 기초하고, 상기 특수 효과는 특수 효과 재료를 사용하여 적어도 부분적으로 생성되는,
    특수 효과 통신 시스템.
  16. 제 15 항에 있어서,
    상기 물리적 매체는 연기 또는 안개이고, 상기 특수 효과는 열 효과를 포함하고, 상기 특수 효과 재료는 연기 또는 안개를 포함하는,
    특수 효과 통신 시스템.
  17. 제 11 항에 있어서,
    상기 물리적 매체는 안개 또는 미스트(mist)이고, 상기 특수 효과는 냉각 효과를 포함하고, 상기 특수 효과 재료는 미스트 또는 안개를 포함하는,
    특수 효과 통신 시스템.
  18. 제 1 위치와 연관된 제 1 오디오 데이터 및 제 1 이미지 또는 인상 데이터를 포함하는 제 1 데이터세트를 캡처하는 단계와,
    출발지 장치 또는 방송 채널과 통신 링크를 수립하는 단계와,
    상기 출발지 장치로 상기 제 1 데이터세트를 전송하는 단계와,
    상기 제 1 데이터세트를 전송하는 동안 제 2 데이터세트를 수신하는 단계 ― 상기 제 2 데이터세트는 제 2 위치와 연관된 제 2 오디오 데이터 및 제 2 이미지 또는 인상 데이터를 포함함 ― 와,
    상기 제 2 데이터세트에 적어도 부분적으로 기초하여 하나 이상의 제어 신호를 생성하는 단계와,
    상기 생성된 하나 이상의 제어 신호에 적어도 부분적으로 기초하여 물리적 매체의 3차원 조작을 유도하는 단계를 포함하는
    방법.
  19. 제 18 항에 있어서,
    제 1 사용자를 검출하는 단계와,
    복수의 출발지 장치로부터의 출발지 장치의 선택을 상기 제 1 사용자로부터 수신하는 단계 ― 선택된 출발지 장치는 복수의 출발지 장치 중 하나의 출발지 장치임 ― 와,
    상기 선택에 기초하여 상기 통신 링크를 수립하는 단계를 포함하는
    방법.
  20. 제 18 항에 있어서,
    상기 제 1 데이터세트는 상기 출발지 장치에서 특수 효과를 유도하는 데 사용되는 추가 센서 데이터를 포함하는,
    방법.
  21. 제 18 항에 있어서,
    상기 생성된 하나 이상의 제어 신호는 상기 제 2 위치에 존재하는 사용자의 제 1 위치에서의 모습을 제시하기 위해 상기 물리적 매체의 3차원 조작을 유도하는,
    방법.
  22. 제 21 항에 있어서,
    상기 제 2 데이터세트는 상기 제 2 사용자와 연관된 위치, 방향, 움직임 또는 이들의 임의의 조합을 추적하는 데 사용되는 추가 센서 데이터를 포함하고, 상기 제어 신호는 상기 추가 센서 데이터에 기초하여 업데이트되는,
    방법.
  23. 제 18 항에 있어서,
    상기 캡처된 제 1 데이터세트에 적어도 부분적으로 기초하여 추가 제어 신호를 생성하는 단계와,
    상기 생성된 추가 제어 신호에 기초하여 상기 제 2 위치에서 특수 효과 재료를 사용하여 특수 효과를 생성하는 단계 ― 상기 특수 효과는 상기 제 1 위치에서의 물리적 매체의 3차원 조작 동안 상기 제 2 위치에서 생성됨 ― 를 포함하는
    방법.
  24. 제 18 항에 있어서,
    상기 출발지 장치로부터의 개시 입력을 검출하는 단계와,
    복수의 출발지 장치로부터의 상기 출발지 장치의 선택을 상기 제 1 사용자로부터 수신하는 단계 ― 선택된 출발지 장치는 복수의 출발지 장치 중 하나의 출발지 장치임 ― 와,
    상기 선택에 기초하여 상기 통신 링크를 수립하는 단계를 포함하는
    방법.
KR1020217012560A 2018-09-28 2019-09-18 특수 효과 통신 기술 KR20210068078A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862738767P 2018-09-28 2018-09-28
US62/738,767 2018-09-28
US16/414,564 2019-05-16
US16/414,564 US10841536B2 (en) 2018-09-28 2019-05-16 Special effects communication techniques
PCT/US2019/051766 WO2020068518A1 (en) 2018-09-28 2019-09-18 Special effects communication techniques

Publications (1)

Publication Number Publication Date
KR20210068078A true KR20210068078A (ko) 2021-06-08

Family

ID=69945269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217012560A KR20210068078A (ko) 2018-09-28 2019-09-18 특수 효과 통신 기술

Country Status (8)

Country Link
US (2) US10841536B2 (ko)
EP (1) EP3857341A1 (ko)
JP (1) JP2022502937A (ko)
KR (1) KR20210068078A (ko)
CN (1) CN112740147A (ko)
CA (1) CA3112423A1 (ko)
SG (1) SG11202102103UA (ko)
WO (1) WO2020068518A1 (ko)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3655272A (en) 1970-03-25 1972-04-11 Carlos Valadez Illusion display apparatus
JPH0451690A (ja) * 1990-06-19 1992-02-20 Fujitsu Ltd テレビ会議録画制御方式
JPH0522753A (ja) * 1991-07-12 1993-01-29 Koudo Eizou Gijutsu Kenkyusho:Kk 立体映像表示装置
JPH08205197A (ja) * 1995-01-27 1996-08-09 Hitachi Ltd ヒューマンインタフェース装置
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
CN2703581Y (zh) 2002-10-08 2005-06-08 湖南大学 雾幕生成器
US7106358B2 (en) 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US8144181B2 (en) * 2008-06-12 2012-03-27 Cisco Technology, Inc. Ad hoc telepresence manager
KR101380482B1 (ko) 2008-08-28 2014-04-01 쿄세라 코포레이션 통신 기기
WO2010102288A2 (en) 2009-03-06 2010-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people
US8262226B2 (en) 2009-08-11 2012-09-11 Disney Enterprises, Inc. Apparatus and method for an anamorphic Pepper's ghost illusion
US8878894B2 (en) * 2010-09-15 2014-11-04 Hewlett-Packard Development Company, L.P. Estimating video cross-talk
JP5645758B2 (ja) * 2011-06-17 2014-12-24 株式会社ナカヨ Ip電話装置およびip電話装置を用いた通信方法
US8567954B2 (en) 2011-06-30 2013-10-29 Disney Enterprises, Inc. 3D display system with rear projection screens formed of water mist or spray
US8795096B2 (en) 2012-05-30 2014-08-05 Daniel James Stoker Motion ride method and apparatus for illusion of teleportation
KR101190456B1 (ko) * 2012-06-05 2012-10-11 이충영 3차원 디지털 만화 뷰어 제공 시스템 및 그 방법
CN103929456B (zh) * 2013-01-16 2018-01-02 陈进 虚拟远端空间状态的方法
US9325936B2 (en) * 2013-08-09 2016-04-26 Samsung Electronics Co., Ltd. Hybrid visual communication
WO2015036003A1 (en) * 2013-09-14 2015-03-19 Taskin Sakarya Virtual transportation machine
JP2015179131A (ja) * 2014-03-18 2015-10-08 カシオ計算機株式会社 スクリーン形成装置、投影システム及びスクリーン制御方法
US9504930B2 (en) * 2014-08-26 2016-11-29 Universal City Studios Llc Special effects techniques
US20170013251A1 (en) 2015-07-10 2017-01-12 Samuel Arledge Thigpen Three-dimensional projection
US20180054720A1 (en) * 2016-08-18 2018-02-22 Hearsay Social, Inc. Shared Numbers in a Multi-Phone Environment

Also Published As

Publication number Publication date
US20210037212A1 (en) 2021-02-04
SG11202102103UA (en) 2021-04-29
JP2022502937A (ja) 2022-01-11
CA3112423A1 (en) 2020-04-02
WO2020068518A1 (en) 2020-04-02
US10841536B2 (en) 2020-11-17
EP3857341A1 (en) 2021-08-04
US11323662B2 (en) 2022-05-03
US20200106989A1 (en) 2020-04-02
CN112740147A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
US20160110922A1 (en) Method and system for enhancing communication by using augmented reality
US20080165195A1 (en) Method, apparatus, and software for animated self-portraits
US20190005732A1 (en) Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program
US11645823B2 (en) Neutral avatars
JP2020500599A (ja) アニメキャラクタヘッドシステム及び方法
JP7502354B2 (ja) 3次元(3d)環境用の統合された入出力(i/o)
JP2024023399A (ja) プログラムおよび情報処理装置
WO2018187640A1 (en) System, method and software for producing virtual three dimensional avatars that actively respond to audio signals while appearing to project forward of or above an electronic display
KR101192314B1 (ko) 실감형 3차원 게임 시스템
KR20210068078A (ko) 특수 효과 통신 기술
JP7104539B2 (ja) シミュレーションシステム及びプログラム
US11986728B2 (en) Game processing method and record medium
JP7367015B2 (ja) 特殊効果可視化手法
Morishima et al. Hypermask talking head projected onto real object
Wang Artificial Intelligence Narration in Virtual Reality
JP7379427B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
WO2015060290A1 (ja) 対話システム及び対話方法
WO2022102446A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法
JP2023067708A (ja) 端末、情報処理方法、プログラム、および記録媒体
KR20220002444A (ko) 환경에 기초한 통신 데이터 제시
JP2015142168A (ja) 画像表示システム及び画像表示方法