KR102411533B1 - 로봇 인터렉션 홀로그램 디스플레이 시스템 및 방법 - Google Patents

로봇 인터렉션 홀로그램 디스플레이 시스템 및 방법 Download PDF

Info

Publication number
KR102411533B1
KR102411533B1 KR1020200078105A KR20200078105A KR102411533B1 KR 102411533 B1 KR102411533 B1 KR 102411533B1 KR 1020200078105 A KR1020200078105 A KR 1020200078105A KR 20200078105 A KR20200078105 A KR 20200078105A KR 102411533 B1 KR102411533 B1 KR 102411533B1
Authority
KR
South Korea
Prior art keywords
robot
hologram
information
image
storage unit
Prior art date
Application number
KR1020200078105A
Other languages
English (en)
Other versions
KR20220000314A (ko
Inventor
김제석
Original Assignee
(주)네오인터넷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)네오인터넷 filed Critical (주)네오인터넷
Priority to KR1020200078105A priority Critical patent/KR102411533B1/ko
Publication of KR20220000314A publication Critical patent/KR20220000314A/ko
Application granted granted Critical
Publication of KR102411533B1 publication Critical patent/KR102411533B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

본 발명은 디스플레이 세트, 상기 세트 내에서 스토리 라인에 관련된 움직임을 수행하는 로봇, 상기 세트에 마련되고 로봇 전방에 배치되는 홀로그램 디스플레이, 홀로그램 영상 정보를 포함하는 제1영상 저장부, 상기 로봇의 특정 부위의 움직임이 상기 홀로그램 디스플레이에 투사되는 제1지점의 동적 정보를 포함하는 제1 로봇정보 저장부, 상기 로봇의 특정 부위의 움직임의 시간 정보를 포함하는 제2 로봇정보 저장부, 상기 제1 로봇정보 저장부의 동적 정보에 연동하여 상기 홀로그램 디스플레이의 제1지점과 관련되는 제2지점에 출력되는 동적 홀로그램 영상 정보를 포함하는 제1 홀로그램정보 저장부, 상기 제2 로봇정보 저장부의 시간 정보에 연동하여 상기 홀로그램 디스플레이의 제2지점에 출력되는 동적 홀로그램 영상 정보의 출력 시점 및 출력 지속 시간 정보를 포함하는 제2 홀로그램정보 저장부, 상기 로봇의 움직임을 제어하는 로봇 제어부, 상기 홀로그램 디스플레이에 출력되는 영상을 제어하는 홀로그램 영상 제어부, 및 시스템 통합 제어부를 포함하는 로봇 인터렉션 홀로그램 디스플레이 시스템을 제공한다.

Description

로봇 인터렉션 홀로그램 디스플레이 시스템 및 방법 {System and method for robot interaction holographic display}
본 발명은 홀로그램 디스플레이에 관한 것으로서, 상세하게는 로봇 동작과 연동하여 영상 및 사운드를 스토리라인에 따라 입체적 및 증강현실적으로 디스플레이할 수 있는 새로운 시스템 및 방법을 제안한다.
컴퓨터 시스템을 이용하여 만들어진 3차원적인 가공의 세계에 인간이 몰입하여 실시간으로 듣고, 만지는 등 여러 가지 현실감을 체험할 수 있는 가상현실(VR)과 더불어, 증강 현실(AR) 기술은 사용자가 현실 공간상에서 컴퓨터가 재현해 내는 가상의 정보 공간을 함께 체험할 수 있게 한다. 가상현실은 가상환경의 제공으로 그 안에서 상호작용하는 사용자가 실제 세계처럼 현실감을 느끼는 것에 한계가 있는 반면, 증강현실은 현실 공간과 가상의 정보 공간이 결합하여 유기적으로 연동하여 제시되며 제공되는 정보를 사용자가 일방적으로 관찰하는 것이 아니라 상호 작용이 가능하도록 실시간으로 처리될 수 있다. 증강 현실은 컴퓨터 그래픽스, 인간-컴퓨터 상호 작용, 영상 및 상황 인식, 위치 기반 서비스(LBS: Location Based Service) 등의 기술과도 깊은 관련이 있다.
증강현실 기술에는 PC를 기반으로 하며 웹캠을 사용하여 마커(Marker), 이미지 또는 움직임(Motion) 감지를 통해 사용자에게 향상된 경험을 제공하는 웹기반 증강현실, 하드웨어를 사용함으로써 강력하고 전문화된 기능들을 가질 수 있을 뿐 아니라 3D, 얼굴인식 등의 기술을 통해서 다양한 경험을 제공하는 키오스크 기반 증강현실, 스마트폰과 같은 전자 기기를 대상으로 휴대한 채로 GPS 등을 활용한 위치 기반 서비스를 제공할 수 있는 모바일 증강현실 등이 있다. 또한, 웨어러블 증강현실 시스템은 HMD(Head Mounted Display)이나 스마트 안경 등을 착용한 채로 카메라에서 찍힌 영상과 컴퓨터로 생성한 영상을 합해 투사해주는 방식을 취하기도 하며, 사용자가 시스템과 인터랙션을 하는 방법으로 마커가 인쇄된 터치패드 등을 사용할 수도 있고, 손에 마커가 인쇄된 장갑을 착용한 채로 인터랙션을 할 수 있는 장점도 있다. 이와 같은 증강현실 기술을 기반으로 다양한 활용 및 관련 제품이 출시되고 있다.
한편, 홀로그램은 빛의 간섭성을 이용해 입체 정보를 기록, 재생, 창출하는 홀로그래피 기술을 이용해 실제 물체의 형상을 재현한 것으로 어떤 각도에서든 완전한 3D 영상을 감상할 수 있는 것이 특징이 있다. 이러한 홀로그램 기술을 공연장이나 무대 연출에 활용하여 관객의 몰입과 참여도를 높이는 시도가 늘고 있다. 또한, 프로젝션 맵핑을 통해 건물의 외벽이나 특정 오브젝트를 스크린으로 사용하여 영상을 투사하는 등 3차원 디스플레이 방식이 활용되고 있다. 프로젝션 맵핑을 통해 오브젝트에 구현한 그래픽은 공간에 대한 증강현실의 영상을 덧입혀 보다 확장된 공간감과 실제감을 불러 일으킬 수 있다.
그러나 기존의 매핑 기술은 정적인 상태의 건축물이나 오브젝트에 매핑을 적용하였고 동적인 상태의 오브젝트에 실시간 매핑을 하는데 한계가 있었다. 특히 홀로그램 영상을 이용하여 증강현실적 입체 영상을 구현함에 있어서 동적 오브젝트에 홀로그램 매핑을 접목하는 것은 상당한 어려움이 있었다.
예를 들어 공개특허 10-2013-0053466호에 따르면, 실제공간에서 추출된 깊이 영상을 근거로 상기 실제공간을 가상공간으로 재구성하여 프리미티브 오브젝트를 매칭하고, 상기 프리미티브 오브젝트에 맵핑되어 상기 재구성된 가상공간에 합성된 가상 3D 오브젝트를 상기 실제공간에 투영하는 증강공간 인식부; 및 상기 실제공간에 투영된 가상 3D 오브젝트에 대한 사용자의 제스처 인터렉션을 인식하고, 상기 인식한 제스처 인터렉션에 대응되는 가상 3D 오브젝트의 변형을 반영하여 상기 실제공간에 투영하는 인터렉션 처리부를 포함하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치를 제안하고 있다. 이 기술은 예를 들어 공연장에 설치된 복수의 카메라를 이용하여 공연장의 투영 실제공간 및 실제 오브젝트들을 인식하고, 또한 복수의 카메라를 이용하여 투영 실제공간에 위치한 두 명의 공연자를 인식하는 과정이 요구된다. 공연장에 설치된 복수의 프로젝터를 이용하여 실제공간에 배치된 실제 오브젝트들에 가상 3D 객체를 직접 투영하고, 이에 따라 실제공간에 배치된 각각의 실제 오브젝트들은 가상 3D 객체인 선물상자, 썰매로 디스플레이되는 효과를 얻는다.
또한, 등록특허 10-1465497호에 따르면, 동적 프로젝션 매핑 장치에 관한 것으로 동적 프로젝션 매핑 시, 영상이 투사되는 객체의 일면에 설치된 복수의 동작 감지 센서로부터 센싱 값을 수신하고, 센싱 값에 기초하여 객체의 이동 값 및 회전 값을 검출하고, 이동 값 및 회전 값에 기초하여, 영상을 객체에 투사하는 프로젝터의 이동 및 투사각을 제어한다.
이와 같은 종래의 동적 매핑은 카메라나 센서로 피투사 오브젝트를 인식하거나 검출하는 과정이 필요하여 전체적인 시스템 및 매핑 과정이 매우 복잡하며, 특히 동적 객체의 움직임에 연동하여 홀로그램 영상을 증강현실적으로 매핑하는 방법은 제안하지 못하고 있다.
증강현실 기술은 다양한 분야에서 여러가지 방식으로 상용화되고 있으나, 소비자에 부합하고 보다 가치있는 기술적 결과를 창출하기 위해서는 추가적인 기술 개발이 필요한 실정이며, 동적 오브젝트에 연동된 홀로그램 영상의 매핑을 응용하여 다양한 입체 콘텐츠를 구현할 수 있는 새로운 증강현실 디스플레이 플랫폼 기술이 요구되고 있다.
본 발명은 전술한 기술적 배경하에서 창안된 것으로, 본 발명의 목적은 입체물의 동작에 연동하여 홀로그램 영상을 동적 매핑하는 새로운 입체 디스플레이 시스템을 제공하는 것이다.
본 발명의 다른 목적은 사실적이고 증강현실적 효과가 뛰어난 입체 홀로그램 디스플레이 시스템 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 센서 없이도 동적 매핑이 가능하여 단순화된 홀로그램 디스플레이 시스템을 구현하는 것이다.
본 발명의 또 다른 목적은 스토리 라인이 있는 역동적인 동적 매핑 홀로그램 디스플레이 구현이 가능하고 입체물의 동작 변화와 홀로그램 영상 변화를 연동하여 최초 세팅값의 큰 변화없이 입체 콘텐츠의 관리 및 유지가 가능하도록 하는 것이다.
기타, 본 발명의 또 다른 목적 및 기술적 특징은 이하의 상세한 설명에서 보다 구체적으로 제시될 것이다.
상기 목적을 달성하기 위하여, 본 발명은 디스플레이 세트, 상기 세트 내에서 스토리 라인에 관련된 움직임을 수행하는 로봇, 상기 세트에 마련되고 로봇 전방에 배치되는 홀로그램 디스플레이, 홀로그램 영상 정보를 포함하는 제1영상 저장부, 상기 로봇의 특정 부위의 움직임이 상기 홀로그램 디스플레이에 투사되는 제1지점의 동적 정보를 포함하는 제1 로봇정보 저장부, 상기 로봇의 특정 부위의 움직임의 시간 정보를 포함하는 제2 로봇정보 저장부, 상기 제1 로봇정보 저장부의 동적 정보에 연동하여 상기 홀로그램 디스플레이의 제1지점과 관련되는 제2지점에 출력되는 동적 홀로그램 영상 정보를 포함하는 제1 홀로그램정보 저장부, 상기 제2 로봇정보 저장부의 시간 정보에 연동하여 상기 홀로그램 디스플레이의 제2지점에 출력되는 동적 홀로그램 영상 정보의 출력 시점 및 출력 지속 시간 정보를 포함하는 제2 홀로그램정보 저장부, 상기 로봇의 움직임을 제어하는 로봇 제어부, 상기 홀로그램 디스플레이에 출력되는 영상을 제어하는 홀로그램 영상 제어부, 및 시스템 통합 제어부를 포함하며, 상기 로봇과 관련하여 제1지점의 동적 정보 및 시간 정보가 변경되면, 상기 시스템 통합 제어부는 제1 로봇정보 저장부 및 제2 로봇정보 저장부에 변경된 정보를 저장하는 한편, 로봇의 변경된 정보와 연동하여 시스템 통합 제어부가 제2지점에 출력되는 동적 홀로그램 영상 정보 및 동적 홀로그램 영상 정보의 출력 시점 및 출력 지속 시간 정보를 제1 홀로그램정보 저장부 및 제2 홀로그램정보 저장부에 각각 저장하는 것을 특징으로 하는 로봇 인터렉션 홀로그램 디스플레이 시스템을 제공한다.
또한, 본 발명은 디스플레이 세트 내에서 스토리 라인에 관련된 움직임을 수행하는 로봇, 상기 세트에 마련되고 로봇 전방에 배치되는 홀로그램 디스플레이, 상기 로봇의 특정 부위의 움직임이 상기 홀로그램 디스플레이에 투사되는 제1지점의 동적 정보를 포함하는 제1 로봇정보 저장부, 상기 로봇의 특정 부위 움직임의 시간 정보를 포함하는 제2 로봇정보 저장부, 상기 제1 로봇정보 저장부의 동적 정보에 연동하여 상기 홀로그램 디스플레이의 제1지점과 관련되는 제2지점에 출력되는 동적 홀로그램 영상 정보를 포함하는 제1 홀로그램정보 저장부, 상기 제2 로봇정보 저장부의 시간 정보에 연동하여 상기 홀로그램 디스플레이의 제2지점에 출력되는 동적 홀로그램 영상 정보의 출력 시점 및 출력 지속 시간 정보를 포함하는 제2 홀로그램정보 저장부를 포함하는 시스템에 있어서, 상기 로봇의 특정 부위의 움직임이 상기 홀로그램 디스플레이의 제1지점에 투사되는 경우 상기 제1 로봇정보 저장부의 동적 정보에 연동하여 상기 디스플레이의 제1지점과 관련되는 제2지점에 동적 홀로그램 영상을 출력하며, 상기 제2지점은 상기 홀로그램 디스플레이상에서 제1지점과 동일하지 않은 적어도 하나의 지점을 포함하는 것을 특징으로 하는 로봇 인터렉션 홀로그램 디스플레이 방법을 제공한다.
본 발명에 따르면, 로봇 액션과 연동된 홀로그램 영상의 동적 매핑을 통해 로봇 동작과 홀로그램 영상이 상호작용하는 입체 콘텐츠를 제공할 수 있다.
특히 기존의 정적 매핑과 달리, 로봇의 동적인 상태에서 실시간 홀로그램 매핑 기술을 적용하여 전체적인 콘텐츠의 스토리 전개를 보다 역동적이고 증강체험형으로 제공할 수 있다.
또한, 로봇 동작 정보의 변화와 홀로그램 영상 정보의 변경을 연동시켜 제어함으로써 로봇 인터렉션 홀로그램 디스플레이 시스템의 설치 환경 변화 또는 디스플레이되는 로봇 동작 및 영상의 변화 시 최초 세팅된 값의 큰 변화없이 스토리라인에 따른 로봇 동작 및 홀로그램 이펙트 등을 그대로 유지할 수 있게 된다.
본 발명은 로봇 동작과 연동한 홀로그램 디스플레이와 관련된 플랫폼을 제공할 수 있고, 다양한 분야의 전시물, 오락물, 기타 교육 목적의 시청각 교재 등으로 활용될 수 있다.
도 1a 및 1b는 본 발명의 로봇 인터렉션 홀로그램 디스플레이 세트의 외관을 보인 모식도
도 2는 로봇 인터렉션 홀로그램 디스플레이를 보인 사진
도 3은 로봇 인터렉션 홀로그램 디스플레이 시스템 구성도
도 4a는 동적 홀로그램 영상 정보 출력 방법을 보인 순서도
도 4b는 로봇 정보에 연동한 동적 홀로그램 정보 변경을 보인 순서도
도 5a 내지 5c는 홀로그램 디스플레이의 제2지점의 예를 보인 사진
도 6은 홀로그램 디스플레이의 제2지점이 복수인 예를 보인 사진
도 7a 및 7b는 홀로그램 디스플레이의 제2지점의 또 다른 예를 보인 사진
도 8a 및 8b는 동적 홀로그램 영상의 제1시점의 예를 보인 사진
도 9a 내지 9c는 동적 홀로그램 영상의 제1시점의 다른 예를 보인 사진
도 10a 내지 10c는 동적 홀로그램 영상의 복수 이펙트를 보인 사진
본 발명은 로봇 인터렉션 홀로그램 디스플레이에 관한 것으로, 로봇 동작과 연동하여 영상 및 사운드를 스토리라인에 따라 입체적 및 증강현실적으로 디스플레이할 수 있는 새로운 시스템 및 방법을 제안한다.
본 발명은 로봇의 실제 움직임에 홀로그램 이펙트를 동적으로 매핑하여 로봇 동작에 연동된 증강현실적 효과를 구현하는 기술적 차별성을 제공하고, 이를 구현하기 위해 로봇의 동적 움직임 정보 및 홀로그램의 동적 움직임 정보를 위치적으로, 그리고 시간적으로 제어한다.
특히 로봇 움직임과 홀로그램 영상 정보가 동적 매핑되어 설정된 후, 로봇 움직임이 변하게 되면 홀로그램 영상 정보도 연동하여 변화되도록 함으로써 영상과 사운드가 조화된 로봇 동작에 관련된 입체적 영상물 제어가 용이하다.
본 발명은 디스플레이와 홀로그램을 동시에 출력하면서, 움직이는 로봇의 동작과 조화시켜 영상을 보이는 한편, 로봇 동작에 매핑하여 다양한 홀로그램 이펙트를 구현하는 입체 콘텐츠 플랫폼을 구현할 수 있다.
이를 위하여, 본 발명의 시스템은 로봇 동작 매핑 이펙트 및 관련 영상을 출력하는 홀로그램 디스플레이, 스토리 라인에 따른 기본 영상을 출력하는 부가 영상 디스플레이, 나레이션 및 사운드 효과와 관련된 사운드 출력부, 다양한 동작이 가능한 유무선 제어 입체 로봇, 및 전체 시스템 제어, 영상 제어, 로봇 동작 제어, 사운드 제어 등을 위한 다수의 제어부를 포함할 수 있다. 이러한 기술적 구성을 통해 로봇의 위치 및 동작을 제어하고, 이에 따른 홀로그램 이펙트 등의 영상을 매칭하는 방법을 다변화한다. 그 결과 센서를 포함하지 않고도 로봇 동작에 홀로그램 영상을 동적 매칭하여 시스템을 단순화시키면서도 증강현실적 입체 홀로그램 효과를 제공할 수 있으며, 스토리 라인이 있는 역동적인 동적 매핑 홀로그램 콘텐츠 구현이 가능하다.
이하에서는 도면을 참조하며 바람직한 실시예를 통하여 본 발명의 기술적 구성 및 효과에 대해 보다 상세하게 설명한다.
도 1a 및 1b는 본 발명의 로봇 인터렉션 홀로그램 디스플레이 세트의 외관 및 측단면을 보인 모식도이다. 디스플레이 세트(100) 중앙 상단에는 홀로그램 영상과 관련된 제1디스플레이(110)가 배치되고, 세트 중앙에 경사지게 배치된 반사판(112)을 통해 홀로그램 영상이 출력된다. 세트 중앙 좌우로는 부가 영상이 출력되는 제2디스플레이(120)가 배치될 수 있다. 이와 더불어 도시되지 않았으나 세트의 측면이나 후방에 사운드 내지 음향효과를 출력하는 스피커가 더 설치될 수 있다. 세트 중앙 내부에는 반사판 안쪽으로 유형물이 설치되는 무대(130)가 설치되며, 이 무대의 중앙부에 로봇이 위치하게 된다(140).
도 2는 실제 제작된 로봇 인터렉션 홀로그램 디스플레이 시스템을 보인 것으로, 디스플레이 세트 중앙에 로봇이 배치되어 있고, 로봇 전방에는 홀로그램 디스플레이로서 반사용 스크린이 배치되어 있다. 로봇은 세트 내에서 스토리 라인에 관련된 움직임을 수행하며, 로봇 동작에 연동하여 홀로그램 디스플레이에 홀로그램 영상이 출력된다. 로봇이 배치되어 있는 세트 중앙은 콘텐츠 내용에 부합하는 입체 조형물이 바닥에 더 형성될 수 있으며, 이와 같은 무대 조형물에 램프 등의 시각 효과를 부가할 수 있고, 전체적으로 디오라마(diorama) 디자인을 구현함으로써 본 발명의 로봇 인터렉션 홀로그램 디스플레이 시스템의 입체 효과 및 스토리 전개 이해도 및 몰입도를 향상시킬 수 있다.
본 발명의 로봇 인터렉션 홀로그램 디스플레이는 입체 형상물이 설치된 무대를 세트 중앙에 포함하면서 전면에 홀로그램 영상이 출력되는 기본 디스플레이와, 세트 좌우측 등에 부가 영상이 출력되는 보조 디스플레이를 배치하여, 입체 형상물의 동작과 더불어 각 디스플레이에서 출력되는 영상들을 조화시켜 증강현실적 입체 콘텐츠를 제공한다. 이러한 입체적 콘텐츠에 사운드 효과를 부가하여 하나의 스토리가 전개되는 복합 문화 콘텐츠로 발전시킬 수 있다. 로봇 동작과 디스플레이를 통해 출력되는 영상은 특정 시나리오를 기반으로 설정될 수 있는데 예를 들어 로봇의 전투 스토리, 모험을 떠나는 여행자의 경험 스토리, 신화속 주인공에 관한 성장 스토리 등 다양한 테마로 로봇 동작과 영상물을 기획할 수 있으며, 해당 스토리에 적합하게 로봇의 형태도 기계 로봇, 동물 또는 인물형 로봇, 상상속의 캐릭터 로봇 등으로 변화될 수 있다.
본 발명에 따른 로봇 인터렉션 홀로그램 디스플레이 시스템은 로봇 동작의 제어, 홀로그램 영상의 제어, 로봇 동작과 홀로그램 이펙트의 매핑 및 기본 세팅값 연동 제어 등을 위해 하드웨어적 구성 요소 및 다양한 소프트웨어적 구성 요소를 포함할 수 있다. 도 3은 시스템 구성도로서, 전체 시스템을 통합적으로 제어하는 시스템 제어부, 로봇의 움직임을 제어하는 로봇 제어부, 홀로그램 디스플레이에 출력되는 영상을 제어하는 홀로그램 영상 제어부를 포함한다.
시스템 (통합) 제어부는 기본적으로 영상 제어부와 로봇 제어부를 컨트롤하여 영상과 로봇 연출에 조화를 맞추는 역할을 하며, 해당 기능이 소프트웨어로서 탑재된 집적회로 형태로 세트 내에 장착될 수 있다. 시스템 제어부는 전체 콘텐츠의 스토리 라인에 기초하여 시간의 흐름이나 연출에 맞게 영상 제어부나 로봇 제어부에 각각 명령을 내려 출력되는 영상과 로봇의 동작에 싱크를 맞추거나 특정 이벤트를 연출하도록 할 수 있고, 이에 따라 로봇과 홀로그램이 조화된 자연스러운 퍼포먼스 연출이 가능하게 된다. 시스템 제어부는 모든 영상 및 홀로그램 이펙트, 로봇 동작 등을 관리하고, 프레임 단위로 시간을 체크할 수 있다. 이를 통해 특정 시간에 특정 이벤트가 발현되도록 영상 제어부와 로봇 제어부에 명령하여 영상 송출 및 로봇 동작을 컨트롤하여 전체적인 스토리 라인을 관리한다. 예를 들어 수 초 내지 수십 초의 영상들과 단위 로봇 동작들을 모아 하나의 스토리 라인으로 구성되도록 배치할 수 있고, 영상이나 로봇의 동작을 변경하는 등 수정이 가능하며, 스토리 변경에 따른 추가 정보를 삽입하는 등의 제어가 가능하다.
로봇 제어부는 시스템 제어부를 통해 컨트롤되어 예를 들어 무선 또는 시리얼포트 등으로 연결되어 있는 로봇에 명령을 내려 동작을 수행하도록 한다. 시스템 제어부를 통해 명령을 받으면 콘텐츠에 맞게 미리 설계된 로봇 동작 정보를 가져와 로봇의 LED를 온(ON)시키거나 색상을 변경하고, 특정 동작을 수행하는 등 직접적인 로봇 동작의 제어를 수행한다.
영상 제어부는 시스템 제어부를 통해 컨트롤되어 각각의 디스플레이를 통해 애니메이션 영상 등을 송출하며, 정해진 콘텐츠에 따라 각 디스플레이마다 다른 영상을 송출하거나 일시정지, 페이드 인/아웃 및 로봇에 대한 매핑 이펙트 효과를 컨트롤한다. 특히 홀로그램 영상 제어부는 로봇 동작에 연관된 또는 연동된 홀로그램 영상의 제어에 관여하여 실제 입체물인 로봇과 홀로그램 영상을 조화시키고 증강현실적 시각물을 제공하게 된다. 이 경우, 홀로그램 영상은 알파 채널을 활용하여 영상을 겹겹이 송출하는 방식으로 기본 영상에 변화를 줄 수도 있다.
본 발명은 상기 홀로그램 디스플레이와 별도로 상기 세트 내에 배치되어, 상기 로봇의 움직임에 연동하여 스토리 라인에 따른 영상을 출력하는 부가 영상 디스플레이를 더 포함할 수 있다. 이 부가 영상 디스플레이는 콘텐츠 스토리에 따른 영상을 부가적으로 출력함으로써 로봇 동작 및 홀로그램 영상의 이해를 높일 수 있고, 입체 콘텐츠의 효과를 배가시킬 수 있다. 부가 영상 디스플레이는 부가 영상 제어부를 통해 스토리 라인에 맞게 출력이 제어된다.
본 발명은 또한, 스토리 라인에 관련된 움직임을 수행하는 로봇의 동작에 연동하여 스토리 라인에 따른 사운드 효과를 출력하는 사운드 제어부를 더 포함하는 것이 바람직하다. 사운드 제어부는 예를 들어 로봇 동작에 연관되는 이펙트 음향이나 콘텐츠의 전반적인 나레이션 음성 정보 등을 해당 장면에 맞게 스피커를 통해 출력되도록 할 수 있다.
또한, 본 발명의 시스템은 필요에 따라 시작 제어부를 부가할 수 있는데, 예를 들어 전시물 형태의 시스템 외표면에 시작 버튼을 장착하고, 이 버튼을 누르면 아두이노 보드 등을 통해 신호를 송출하여 시스템 제어부를 활성화되도록 할 수 있다. 시스템 제어부가 동작하여 영상이 송출되고 로봇이 동작하는 도중에는 버튼이 비활성화하여 대기하고, 콘텐츠가 종료되어 초기 상태로 돌아가게 되면 다시 버튼을 활성화화되도록 시작 제어부를 설정할 수 있다.
본 발명의 시스템에 있어서, 각 제어부의 제어 동작, 실제 로봇의 동작 정보, 및 홀로그램 영상 정보 등의 관리 및 변경 등을 위하여 다양한 데이타베이스를 포함할 수 있다.
먼저, 로봇 동작에 연관된 영상 및 로봇 동작에 연동된 이펙트 등 전체적인 홀로그램 영상 정보를 저장하는 제1영상 저장부를 포함한다.
또한, 로봇 동작과 관련하여 로봇의 특정 부위의 움직임이 상기 홀로그램 디스플레이에 투사되는 제1지점의 동적 정보를 저장하는 제1 로봇정보 저장부, 및 로봇의 특정 부위의 움직임의 시간 정보를 저장하는 제2 로봇정보 저장부를 포함한다. 상기 제1 로봇정보 저장부는 제1지점에서 로봇 움직임에 관련된 동적 정보를 포함하는데 로봇의 특정 부위 예를 들어 팔이나 손, 또는 손 끝에 장착한 무기 등의 움직임에 따라 제1지점이 변화되는 정보도 함께 저장한다. 제2 로봇정보 저장부는 로봇 동작에 있어서 특정 부위의 움직임의 개시 시점, 종료 시점, 및 움직임 지속 시간 정보를 저장한다.
또한, 홀로그램 영상과 관련하여, 상기 제1 로봇정보 저장부의 동적 정보에 연동하여 상기 홀로그램 디스플레이의 제1지점과 관련되는 제2지점에 출력되는 동적 홀로그램 영상 정보를 포함하는 제1 홀로그램정보 저장부, 및 상기 제2 로봇정보 저장부의 시간 정보에 연동하여 상기 홀로그램 디스플레이의 제2지점에 출력되는 동적 홀로그램 영상 정보의 출력 시점 및 출력 지속 시간 정보를 포함하는 제2 홀로그램정보 저장부를 포함한다,
또한, 상기 부가 영상 디스플레이를 통해 출력되는 영상 정보를 저장하는 제2영상 저장부를 포함할 수 있다.
본 발명의 시스템은 디스플레이와 홀로그램 박스의 반사판을 이용하여 홀로그램 영상을 연출하는 환경을 조성하여 홀로그램 영상을 송출함과 동시에 로봇의 움직임을 제어하여 로봇 동작에 다양한 이펙트 효과를 동적 매핑함과 더불어, 영상과 로봇의 상호작용을 일으켜 바라보는 사용자에게 로봇과 홀로그램으로 이루어진 조화로운 퍼포먼스를 제공한다. 도 4a는 동적 홀로그램 영상 정보 출력 방법을 보이고 있다.
로봇 제어부 및 홀로그램 영상 제어부는 예를 들어 시스템 제어부의 관리자 모드하에서 시스템 관리자에 의해 로봇의 위치, 로봇의 동작 내용 등이 변경될 수 있으며, 홀로그램 영상의 내용 및 로봇 동작에 연동하는 홀로그램 이펙트 영상 정보가 변경될 수 있다. 이와 같은 로봇 위치, 동작 내용, 홀로그램 영상 내용 등이 변경되면, 시스템 통합 제어부는 해당 사항의 변경을 인지하고 자동으로 각 정보 변경 사항을 해당 정보 저장부에 저장한다. 도 4b는 로봇 정보에 연동한 동적 홀로그램 정보 변경을 보이고 있다.
로봇과 관련하여 제1지점의 동적 정보 및 시간 정보가 변경되면, 시스템 제어부는 이를 확인하고 제1 로봇정보 저장부 및 제2 로봇정보 저장부에 변경된 정보를 저장하는 한편, 로봇의 변경된 정보와 연동하여 시스템 제어부가 제2지점에 출력되는 동적 홀로그램 영상의 위치 정보 및 동적 홀로그램 영상 정보의 출력 시점 및 출력 지속 시간 정보의 변경 사항을 제1 홀로그램정보 저장부 및 제2 홀로그램정보 저장부에 각각 저장한다. 이와 같은 로봇 동작 정보와 홀로그램 영상 정보의 연동 및 변경사항 자동 변경을 통해 로봇 인터렉션 홀로그램 디스플레이 시스템의 설치 환경 변화 또는 디스플레이되는 로봇 동작 및 영상의 변화 시 최초 세팅된 값의 큰 변화없이 스토리 라인에 따른 로봇 동작 및 홀로그램 이펙트 등을 그대로 유지할 수 있게 된다. 이러한 변경 사항 자동 저장을 통해 예를 들어 전시물 형태의 시스템을 장소를 달리하여 이동하거나 콘텐츠 내용 변화에 따라 부분적인 로봇 위치나 동작이 변화되었을 때 시스템의 관리자 또는 이용자가 큰 불편없이 최초 설정된 정보에 기초한 콘텐츠 구현이 가능하다.
이하에서는 본 발명에 있어서, 로봇 동작에 연동된 홀로그램 영상 출력 방법을 보다 구체적으로 설명한다.
본 발명의 시스템은 전술한 바와 같이, 디스플레이 세트 내에서 스토리 라인에 관련된 움직임을 수행하는 로봇, 상기 세트에 마련되고 로봇 전방에 배치되는 홀로그램 디스플레이, 상기 로봇의 특정 부위의 움직임이 상기 홀로그램 디스플레이에 투사되는 제1지점의 동적 정보를 포함하는 제1 로봇정보 저장부, 상기 로봇의 특정 부위의 움직임의 시간 정보를 포함하는 제2 로봇정보 저장부, 상기 제1 로봇정보 저장부의 동적 정보에 연동하여 상기 홀로그램 디스플레이의 제1지점과 관련되는 제2지점에 출력되는 동적 홀로그램 영상 정보를 포함하는 제1 홀로그램정보 저장부, 상기 제2 로봇정보 저장부의 시간 정보에 연동하여 상기 홀로그램 디스플레이의 제2지점에 출력되는 동적 홀로그램 영상 정보의 출력 시점 및 출력 지속 시간 정보를 포함하는 제2 홀로그램정보 저장부를 포함할 수 있다.
이러한 시스템에 있어서, 상기 로봇의 특정 부위의 움직임이 상기 홀로그램 디스플레이의 제1지점에 투사되는 경우 상기 제1 로봇정보 저장부의 동적 정보에 연동하여 상기 홀로그램 디스플레이의 제1지점과 관련되는 제2지점에 동적 홀로그램 영상을 출력한다.
여기서, 제2지점의 구체적인 의미는 다음과 같다. 제1지점은 로봇 특정 부위의 움직임이 홀로그램 디스플레이상에 투사되는 지점에 해당하는데, 제2지점은 로봇 특정 부위 움직임과 연관되어 홀로그램 디스플레이에 출력되는 특정 영상, 이펙트 효과 영상 등이 출력되는 지점이 해당될 수 있다. 예를 들어, 제2지점은 홀로그램 디스플레이 상에서 제1지점에 근접한 특정 지점 또는 지역이거나, 로봇 동작에 연동하여 동적 홀로그램 영상이 출력되는 홀로그램 디스플레이상의 하나 이상의 지점 또는 영역을 포함할 수 있다.
제1지점과 관련되는 제2지점은 상기 홀로그램 디스플레이에서 동일한 지점이 아닌 것이 바람직한데, 제1지점과 제2지점을 다르게 함으로써 본 시스템 외부에서 로봇 동작과 홀로그램 영상을 시청하는 관객 내지 이용자들이 로봇 모션과 홀로그램 영상을 입체감있게 느낄 수 있고, 특수한 시각적 장치(예를 들어 스마트안경, 3D 안경 등) 없이도 로봇 동작에 더해진 홀로그램 영상을 증강현실적으로 홀로그램 영상을 볼 수 있게 된다.
도 5a 내지 5c는 홀로그램 디스플레이의 제2지점의 예를 보인 사진으로서, 로봇 동작과 관련된 특정 부위를 손에 장착된 무기의 끝단이라고 할 때 이 무기의 끝단이 홀로그램 디스플레이(반사판)에 투사되는 지점이 제1지점에 해당하며, 무기에서 발사되는 폭발 영상과 관련된 홀로그램 이펙트가 출력되는 지점이 제2지점에 해당한다. 제2지점의 홀로그램 이펙트는 로봇 동작과 연동되어 입체 형상의 로봇에 증강현실적으로 결합되며, 3차원 공간에서 로봇에 장착된 무기로부터 폭발물이 발사되는 효과를 발생시킨다. 제2지점은 로봇 특정부위의 동작 변화에 따라 제1지점과의 거리가 시간에 따라 달라질 수 있다.
제2지점은 로봇 동작과 연동되어 하나의 지점 또는 여러 지점이 포함될 수 있다. 도 6은 홀로그램 디스플레이의 제2지점이 복수인 예를 보이고 있다. 이와 같이 복수의 제2지점에서 동시에 홀로그램 영상이 출력됨으로써 현실감있는 입체 영상을 즐길 수 있게 된다.
도 7a 및 7b는 홀로그램 디스플레이의 제2지점의 또 다른 예를 보인 사진으로서, 로봇 외형 전체를 커버하는 홀로그램 디스플레이상의 제2지점에 홀로그램 이펙트가 출력되고 있다. 이러한 이펙트 영상을 통해 시간이 지남에 따라 변화되면서 마치 로봇에 에너지가 충전되는 모습을 입체적으로 구현할 수 있다. 특히 본 실시예에서는 하나의 홀로그램 디스플레이에 로봇 동작에 연동된 이펙트 영상 외에 좌측 및 우측에 다른 캐릭터의 영상이 함께 출력되고 있는 것을 볼 수 있으며, 세트 무대 하부에는 파괴된 도시 조형물과 전복된 모형 차량, 램프 효과 등이 조화되어 디오라마 효과를 상승시키고 있다.
본 발명의 로봇 인터렉션 홀로그램 디스플레이 방법에 있어서, 로봇 동작과 연동되는 홀로그램 영상은 시간적 출력 방식을 달리함으로써 입체 효과 및 증강현실적 효과를 극대화할 수 있다.
예를 들어, 로봇의 특정 부위의 움직임이 시작되는 시간을 t1, 움직임이 종료되는 시간을 t2로 정의할 때, 상기 제2지점에 출력되는 동적 홀로그램 영상은 t1보다 앞선 시점, t1보다 늦고 t2보다 앞선 시점, 또는 t2보다 늦은 시점에서 동적 홀로그램 영상이 시작될 수 있다. 이와 같은 시간차를 통해 로봇 동작에 수반하는 홀로그램 영상의 입체적 효과가 더 강화되고 현실감있는 영상을 제공할 수 있다.
또한, 본 발명의 로봇 인터렉션 홀로그램 디스플레이 방법에 있어서, 로봇 특정부위의 동작 시간인 t1에서 t2 사이의 시간 간격과 다른 시간 동안 동적 홀로그램 영상이 지속되도록 하는 것이 바람직하다. 로봇 동작 시간과 동적 홀로그램 영상의 지속 시간을 다르게 함으로써 관객 내지 이용자들이 로봇 모션과 홀로그램 영상을 입체감 있게 느낄 수 있고, 로봇 동작에 더해진 홀로그램 영상을 현실감 있게 증강현실적으로 즐길 수 있다.
도 8a 및 8b는 동적 홀로그램 영상의 제1시점의 예를 보인 사진으로서, 로봇 동작이 개시되어(도 8a) 완료된 후에 홀로그램 이펙트가 출력되는 것을 볼 수 있다(도 8b). 이러한 영상 출력 시점의 제어를 통해 로봇 동작에 연동된 사실감있는 홀로그램 영상을 구현할 수 있다. 도 9a 내지 9c는 동적 홀로그램 영상의 제1시점의 다른 예를 보인 것으로, 로봇 동작이 발생하기 전에 홀로그램 영상으로서 적군(붉은색)이 근접해오고 있고(도 9a), 그에 따라 로봇 무기에서 폭발물과 관련된 홀로그램 이펙트가 지속되며(도 9b), 최종적으로 적군이 무력화되어 사라진 모습을 보이고 있다(도 9c). 홀로그램 영상을 복수의 제2지점에 각각 다르게, 시간적으로 출력을 제어함으로써 로봇 동작에 따른 스토리 전개에 유리하며, 기존의 평면적 영상물과 달리 로봇에 복합된 홀로그램 영상으로 증강현실적 입체 영상이 가능하게 되었다.
이와 같이 홀로그램 영상은 하나 이상의 영상 및 이펙트를 통해 입체감을 더욱 향상시키며, 스토리 전달을 더욱 명확히 할 수 있고 그에 따른 시각적 즐거움을 극대화한다. 도 10a 내지 10c는 동적 홀로그램 영상의 복수 이펙트를 보인 사진으로서, 적군의 칩입과 공격, 적군의 격퇴 등을 로봇 동작과 매핑된 홀로그램 영상으로 사실감있게 표현하고 있는 것을 볼 수 있다.
본 발명의 로봇 인터렉션 홀로그램 디스플레이 시스템 및 방법은 콘텐츠 스토리에 따라 로봇의 형태 및 동작을 변화시킬 수 있다. 일실시예에서 전사 로봇을 사용하는 경우, 전투 시나리오에 따라 공격과 방어를 수행하는 로봇 동작 및 영상 정보와 연동하여 홀로그램 이펙트가 입체적으로 구현될 수 있다. 또한, 전설이나 신화 속 이미지를 형상화한 로봇(예를 들어, 설문대 할망 로봇)을 사용할 수 있는데, 이러한 로봇의 움직임을 통해 제주 탄생 설화를 스토리적으로 구현하여 이에 따른 영상 정보 및 홀로그램 이펙트(화산 폭발, 분화구 형성 등의 이미지)를 구현할 수 있을 것이다. 기타, 로봇의 형태 및 스토리 라인을 변경하여 교육적 목적의 다양한 콘텐츠 등으로도 활용 가능하다.
이상에서 바람직한 실시예를 통하여 본 발명을 예시적으로 설명하였으나, 본 발명은 이와 같은 특정 실시예에만 한정되는 것은 아니며 본 발명에서 제시한 기술적 사상, 구체적으로는 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있을 것이다.
100:디스플레이 세트 110:제1디스플레이
112:반사판 120:제2디스플레이
130:설치 무대 140:로봇 위치

Claims (5)

  1. 디스플레이 세트,
    상기 세트 내에서 스토리 라인에 관련된 움직임을 수행하는 로봇,
    상기 세트에 마련되고 로봇 전방에 배치되는 홀로그램 디스플레이,
    홀로그램 영상 정보를 포함하는 제1영상 저장부,
    상기 로봇의 특정 부위의 움직임이 상기 홀로그램 디스플레이에 투사되는 제1지점의 동적 정보를 포함하는 제1 로봇정보 저장부,
    상기 로봇의 특정 부위의 움직임의 시간 정보를 포함하는 제2 로봇정보 저장부,
    상기 제1 로봇정보 저장부의 동적 정보에 연동하여 상기 홀로그램 디스플레이의 제1지점과 관련되는 제2지점에 출력되는 동적 홀로그램 영상 정보를 포함하는 제1 홀로그램정보 저장부,
    상기 제2 로봇정보 저장부의 시간 정보에 연동하여 상기 홀로그램 디스플레이의 제2지점에 출력되는 동적 홀로그램 영상 정보의 출력 시점 및 출력 지속 시간 정보를 포함하는 제2 홀로그램정보 저장부,
    상기 로봇의 움직임을 제어하는 로봇 제어부,
    상기 홀로그램 디스플레이에 출력되는 영상을 제어하는 홀로그램 영상 제어부, 및
    시스템 통합 제어부를 포함하며,
    상기 로봇과 관련하여 제1지점의 동적 정보 및 시간 정보가 변경되면, 상기 시스템 통합 제어부는 제1 로봇정보 저장부 및 제2 로봇정보 저장부에 변경된 정보를 저장하는 한편, 로봇의 변경된 정보와 연동하여 시스템 통합 제어부가 제2지점에 출력되는 동적 홀로그램 영상 정보 및 동적 홀로그램 영상 정보의 출력 시점 및 출력 지속 시간 정보를 제1 홀로그램정보 저장부 및 제2 홀로그램정보 저장부에 각각 저장하고,
    상기 제2지점은 상기 홀로그램 디스플레이상에서 제1지점과 동일하지 않은 적어도 하나의 지점을 포함하며,
    로봇 동작과 연동되는 홀로그램 영상은 시간적 출력 방식을 달리하고, 로봇의 특정 부위의 움직임이 시작되는 시간을 t1, 움직임이 종료되는 시간을 t2로 정의할 때, 상기 제2지점에 출력되는 동적 홀로그램 영상은 t1보다 앞선 시점, t1보다 늦고 t2보다 앞선 시점, 또는 t2보다 늦은 시점에서 동적 홀로그램 영상이 시작되며,
    상기 홀로그램 영상 제어부는 로봇 동작에 연동된 홀로그램 영상의 제어에 관여하여 실제 입체물인 로봇과 홀로그램 영상을 조화시키고 증강현실적 시각물을 제공하며, 상기 홀로그램 영상은 알파 채널을 활용하여 영상을 겹겹이 송출하는 방식으로 기본 영상에 변화를 주는 것을 특징으로 하고,
    추가적으로 시작 제어부 및 상기 디스플레이 세트 외부에 장착되는 시작 버튼을 더 포함하고, 상기 시작 제어부는 시작 버튼이 눌러지면 신호를 송출하여 시스템 통합 제어부를 활성화되도록 하여 홀로그램 영상이 송출되고 로봇이 동작하는 도중에 시작 버튼은 비활성화하여 대기하는 한편, 홀로그램 영상이 종료되어 초기 상태로 돌아가면 시작 버튼을 활성화시키는 것을 특징으로 하는
    로봇 인터렉션 홀로그램 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 스토리 라인에 관련된 움직임을 수행하는 로봇의 동작에 연동하여 스토리 라인에 따른 사운드 효과를 출력하는 사운드 제어부를 더 포함하는 것을 특징으로 하는 로봇 인터렉션 홀로그램 디스플레이 시스템.
  3. 제1항에 있어서,
    상기 홀로그램 디스플레이와 별도로 상기 세트 내에 배치되어, 상기 로봇의 움직임에 연동하여 스토리 라인에 따른 영상을 출력하는 부가 영상 디스플레이를 더 포함하며, 상기 부가 영상 디스플레이를 통해 출력되는 영상 정보를 저장하는 제2영상 저장부를 포함하는 것을 특징으로 하는 로봇 인터렉션 홀로그램 디스플레이 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 제2지점에 출력되는 동적 홀로그램 영상은 로봇의 특정 부위의 움직임이 시작되는 시간을 t1, 움직임이 종료되는 시간을 t2로 정의할 때, t1에서 t2 사이의 시간 간격과 다른 시간 동안 동적 홀로그램 영상이 지속되는 것을 특징으로 하는 로봇 인터렉션 홀로그램 디스플레이 시스템.
KR1020200078105A 2020-06-25 2020-06-25 로봇 인터렉션 홀로그램 디스플레이 시스템 및 방법 KR102411533B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200078105A KR102411533B1 (ko) 2020-06-25 2020-06-25 로봇 인터렉션 홀로그램 디스플레이 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200078105A KR102411533B1 (ko) 2020-06-25 2020-06-25 로봇 인터렉션 홀로그램 디스플레이 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220000314A KR20220000314A (ko) 2022-01-03
KR102411533B1 true KR102411533B1 (ko) 2022-06-22

Family

ID=79348613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200078105A KR102411533B1 (ko) 2020-06-25 2020-06-25 로봇 인터렉션 홀로그램 디스플레이 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102411533B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210379A (ja) * 2014-04-25 2015-11-24 株式会社ソニー・コンピュータエンタテインメント 画像融合システム、情報処理装置、情報端末、および情報処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101970211B1 (ko) * 2017-09-25 2019-08-13 (주)더나기술 인터랙션이 가능한 홀로그램 박스를 이용하는 게임 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210379A (ja) * 2014-04-25 2015-11-24 株式会社ソニー・コンピュータエンタテインメント 画像融合システム、情報処理装置、情報端末、および情報処理方法

Also Published As

Publication number Publication date
KR20220000314A (ko) 2022-01-03

Similar Documents

Publication Publication Date Title
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
US10078917B1 (en) Augmented reality simulation
US8419545B2 (en) Method and system for controlling movements of objects in a videogame
Hughes et al. Mixed reality in education, entertainment, and training
US10963140B2 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
Bolter et al. Reality media: Augmented and virtual reality
KR101327995B1 (ko) 디지털 캐릭터를 이용한 무대 공연을 처리하는 장치 및 방법
US20090221368A1 (en) Method and system for creating a shared game space for a networked game
JP6761340B2 (ja) シミュレーションシステム及びプログラム
CN106648074A (zh) 一种智能机器人的人机交互方法
CN104978758A (zh) 基于用户创作的图像的动画视频生成方法和装置
JP2020107251A (ja) 画像生成システム及びプログラム
KR102411533B1 (ko) 로봇 인터렉션 홀로그램 디스플레이 시스템 및 방법
KR101192314B1 (ko) 실감형 3차원 게임 시스템
JP7104539B2 (ja) シミュレーションシステム及びプログラム
JPH04204842A (ja) 映像シミュレーション・システム
CN116139471A (zh) 一种互动观影系统-梦幻乘骑
JP2020204856A (ja) 画像生成システム及びプログラム
WO2022075152A1 (ja) 情報処理装置、情報処理方法及び情報配信システム
Tang et al. Emerging human-toy interaction techniques with augmented and mixed reality
CN108563145A (zh) 消防情景仿真系统和方法
US20060152532A1 (en) The largest toy gallery park with 3D simulation displays for animations and other collectibles juxtaposed with physical-virtual collaborative games and activities in a three-dimension photo-realistic virtual-reality environment
Mazalek et al. Pictures at an exhibition: a physical/digital puppetry performance piece
EP4299153A2 (en) Special effects visualization techniques
JP2016166928A (ja) 演出装置、演出方法、プログラム、ならびにアミューズメントシステム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant