KR20190080530A - 가상현실 영화의 적극적 인터랙션 시스템 및 방법 - Google Patents

가상현실 영화의 적극적 인터랙션 시스템 및 방법 Download PDF

Info

Publication number
KR20190080530A
KR20190080530A KR1020170183037A KR20170183037A KR20190080530A KR 20190080530 A KR20190080530 A KR 20190080530A KR 1020170183037 A KR1020170183037 A KR 1020170183037A KR 20170183037 A KR20170183037 A KR 20170183037A KR 20190080530 A KR20190080530 A KR 20190080530A
Authority
KR
South Korea
Prior art keywords
interaction
movie
virtual reality
plot
interactive
Prior art date
Application number
KR1020170183037A
Other languages
English (en)
Inventor
강지영
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020170183037A priority Critical patent/KR20190080530A/ko
Publication of KR20190080530A publication Critical patent/KR20190080530A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상현실 영화의 적극적 인터랙션 시스템 및 방법에 관한 것이다. 더 상세하게는 줄거리 및 이를 기초로 한 인터랙션 동작을 설계하고, 설계된 인터랙션 동작을 기계 학습하여 영화 필름에 적용하는 인터랙션 영화 제작 기기, 인터랙션 영화 상영 중에 검출되는 인터랙션 영화 관람객의 인터랙션 동작에 따라 줄거리를 재구성하여 상영하는 인터랙션 영화 상영 기기, 인터랙션 영화 관람객의 신체에 부착 또는 착용되고, 인터랙션 영화 상영 중에 검출되는 인터랙션 영화 관람객의 인터랙션 동작을 인터랙션 영화 상영 기기로 제공하는 웨어러블 디바이스를 포함할 수 있다. 이를 통해 가상현실 영화에서의 적극적 상호작용이 가능한 효과를 가진다.

Description

가상현실 영화의 적극적 인터랙션 시스템 및 방법{Active interaction system and method for virtual reality film}
본 발명은 가상현실 인터랙션에 관한 것으로, 구체적으로는 가상현실 영화 상영 중 영화 관람객의 인터랙션 동작을 반영하여 이에 따른 줄거리로 영화를 상영하는 시스템 및 방법에 관한 것이다.
지금 세계는 4차 산업혁명을 앞두고 가상현실 분야에 대한 관심이 매우 뜨겁다. 가상현실 기술은 이미 1940년대 비행시뮬레이터를 시초로 하여 꾸준히 연구되어 왔지만 최근의 관련 하드웨어 및 소프트웨어 기술의 발달로 착용형 가상현실 디바이스인 HMD(Head Mounted Display)가 상용화되면서 미래의 콘텐츠 플랫폼으로 주목을 받고 있다.
그러나 빠르게 성장할 것으로 기대됐던 가상현실 시장은 그 성장세가 주춤하고 있다. 이는 하드웨어 및 관련 기술만을 중심으로 개발된 시장의 불균형으로 인해 아직 가상현실 시장이 확장해나갈 수 있는 가상현실 생태계가 확립되지 못하였기 때문이다. 특히 가상현실 디바이스를 중심으로 빠르게 성장한 시장을 위한 콘텐츠가 부족하다는 것이 가상현실 시장의 문제로 대두되고 있다.
이에 세계는 가상현실 콘텐츠 시장을 선점하기 위해 전력을 다하고 있다. 특히 가상현실 콘텐츠 시장에 발 빠르게 합류한 가상현실 게임들은 이미 스팀 등의 전용 게임 유통 플랫폼을 통해 그 시장을 확장해나가며, 고퀄리티의 가상현실 게임들을 발표하고 있다. 특히 국내 기업인 스코넥 엔터테인먼트가 개발한 가상현실(VR : Virtual reality)게임인 ‘모탈블리츠’는 소니 플레이스테이션(PS) VR용으로 발매하여 북미 지역에서 4주 동안 VR 다운로드 판매 1위, 일본에서도 5월 다운로드 판매 1위, 그리고 7월 유럽 다운로드 판매 1위를 기록하며 국내 가상현실 콘텐츠의 저력을 보여주었다. 영화분야에서도 베니스 국제 영화제에서 처음 선보인 VR 경쟁부문에 김진아 감독의 ‘동두천’이 선정되어 베스트 VR 스토리상을 수상하며 우리 스토리의 힘을 증명하기도 하였다.
이렇듯 국내 콘텐츠 제작 기술과 스토리는 세계 시장에서도 그 두각을 조금씩 보이고 있으며, 향후 시장 선점을 위해 가상현실 킬러 콘텐츠 제작을 위한 많은 연구와 개발이 필요하다. 특히 가상현실 영화 분야는 현재 VR 엔터테인먼트 분야에서도 주목을 받고 있는 한 분야로, 글로벌 시장을 선점하는 것이 중요하다.
가상현실 기술은 컴퓨터 시스템을 통해 생성한 가상공간 안에서 사용자가 실시간 상호작용을 하는 기술로서, 사용자는 이러한 가상공간에서 인체의 오감을 통해 몰입감을 느끼고 실제로 그 공간에 존재하는 것과 같은 현존감을 제공하는 융합기술이라 할 수 있다. 가상현실 콘텐츠는 CAVE(Cave automatic virtual environment, 몰입형 투영 디스플레이)형, 데스크톱형, 3인칭 가상현실 등 다양한 종류가 있다.
이렇듯 가상현실 환경은 사용자에게 360도의 공간을 제공해주는 동시에 사용자가 실시간으로 상호작용할 수 있는 환경을 제공한다. 선행연구에 따르면 사용자는 일반적인 비디오 이미지보다 가상현실 환경에서 신체적 인터랙션을 함으로써, 콘텐츠에 더욱 깊은 몰입효과를 가진다고 한다. 그 중 HMD 기반의 가상현실 환경은 사용자를 현실 세계와 완전히 차단시켜 가상의 공간에 강제적으로 몰입하게 만드는 몰입형 가상현실이다. 이러한 몰입형 가상현실 환경의 장점은 사용자를 가상의 공간에 완전히 몰입하게 하여 사용자의 몰입도가 다른 가상현실 환경보다 높다는 것이다. 이러한 장점으로 인해 최근 가상현실 시장은 HMD 중심의 가상현실 디바이스들의 성장을 중심으로 시장이 형성되고 있다. 이와 함께 HMD 기반의 게임 콘텐츠는 기존 게임 유저들을 타겟으로 하여 가상현실 게임들을 빠르게 쏟아내고 있다. 이는 기존의 게임 콘텐츠가 이미 3차원 가상공간으로 구현되어 있었기 때문에, 가상현실 콘텐츠로의 변화가 용이하기 때문이다. 또한 게임 유저들의 특성상 새로운 디바이스나 환경에 대한 거부감이 적은 것도 가상현실 게임이 빠르게 성장하는 큰 이유이다.
현재 세계적으로 이슈가 되고 있는 가상현실 콘텐츠 분야 중 영화, 영상 콘텐츠는 미래의 콘텐츠 플랫폼으로 주목받고 있는 분야이다. 하지만 그 중 가장 대중적인 엔터테인먼트 콘텐츠 중 하나인 영화는 게임처럼 빠른 속도로 가상현실 영화 시장을 형성하지 못하고 있다. 이는 HMD 기기의 비용적인 문제와 해상도, 지연 속도 등에 따른 인지부조화로 인한 멀미 문제 등 여러 가지 문제들이 있기 때문이다. 또한 영화 관람객들이 가상현실 영화를 찾지 않는 이유는 매력적인 콘텐츠가 없기 때문이다. 가상현실 영화는 기존의 영화와는 다른 특징을 가지고 있기 때문에 이러한 특징에 대한 심도 깊은 연구를 통한 영화의 스토리텔링이 필요한 실정이다.
일반적으로 가상현실 영화들은 3D 그래픽스로 만들어진 애니메이션 콘텐츠를 제외하고는 사용자의 적극적 상호작용을 제공하는 경우가 없다. 프리랜더링(Pre-rendering)된 가상현실 영화들은 소극적 상호작용(고개를 돌려 360도 공간을 체험) 정도밖에 제공하지 못한다. 이는 2D 혹은 3D로 미리 렌더링된 환경에서는 영화 관람객에게 실시간으로 상호작용을 제공하는 것이 어려운 한계가 있기 때문이다.
가상현실 영화는 전통 2D 스크린 기반의 영화와 같이 제작 방법에 따라 크게 실사 영화와 그래픽 영화, 그리고 실사와 그래픽을 합성한 영화로 나뉠 수 있다. 지금까지 가상현실 영화 관련 연구들은 대부분 이러한 제작 방법에 대한 연구가 주류를 이루고 있었으며, 가상현실 영화의 스토리텔링 방법에 대한 연구는 이루어지지 않았다. 이는 가상현실 영화를 기존의 영화 매체에서 파생된 영화의 한 장르로 보고, 가상현실 영화만의 특별한 문법이나 스토리텔링에 대한 필요성을 느끼지 못했기 때문이다. 그러나 이와 같이 전통영화의 스토리텔링 방식을 그대로 차용한 가상현실 영화들은 영화 관람객에게 가상현실 영화만이 가질 수 있는 장점을 제대로 보여주기가 힘든 한계가 있다. 전통 영화가 가진 선형적인 내러티브(Narrative)와 동일한 카메라의 시점 등을 통해 제작된 가상현실 영화들은 전통영화에 360도의 영상만을 더한 미완성된 가상현실 콘텐츠의 형식이라고 할 수 있다.
가상현실의 궁극적인 목표는 사용자로 하여금 원격현전(Telepresence)을 경험하도록 하는 것이다. 원래 현전(Presence)은 ‘어떤 환경 속에서 느끼는 실재감(Sense of being)’을 뜻하는데, 이런 점에서 원격현전은 “커뮤니케이션 매체에 의해 어떤 환경 속 실재하고 있음을 경험하게 되는 것”, 즉 환경에 대한 매개된 지각(Mediated perception)이라 할 수 있다. 360도의 공간에서 고개를 돌려 가상공간을 관찰하는 관찰자의 시점으로는 가상현실 영화를 통한 완전한 현존감을 느끼는 것은 불가능하다. 가상현실 영화 속에서 영화 관람객이 이러한 현전을 느끼게 하기 위해서는 단순히 고개를 돌리는 소극적 커뮤니케이션 이상의 커뮤니케이션, 즉 영화 관람객과 영화라고 하는 매체와의 상호작용이 필요한 실정이다.
도 1은 종래의 가상현실 영화 ‘Draw me close'를 관람하는 영화 관람객을 보여주는 도면이고, 도 2는 종래의 가상현실 영화 ’Tree'의 한 장면을 보여주는 도면이다.
도 1을 참조하면, 2017년 봄, 트라이베카 영화제에서 소개된 ‘Draw me close'는 영화 관람객과 가상현실 영화와의 적극적 커뮤니케이션의 대표 사례라고 할 수 있다. HMD를 끼고 센서를 손에 착용한 영화 관람객은 5살 조단(Jordan)이 되어 암투병으로 세상을 떠난 엄마와의 추억을 경험하게 된다. 영화 관람객은 이 영화 속의 공간, 시간에 직접 참여하여 보는 것 그 이상을 체험하게 된다. 가상현실 공간 속의 엄마는 누워있는 조단을 토닥토닥 재워주기도 하고, 안아주기도 하며, 영화 관람객과 적극적인 신체적 상호작용을 하게 된다. 이러한 체화된 인터랙션을 통하여 영화 관람객은 가상현실 속 조단에게 몰입하게 되고, 감성적 동화를 하게 된다.
다만 도 1에 도시된 가상현실 영화 ’Draw me close'는 인터랙션을 통한 스토리 변화가 일어나지 않는다. 그 이유는 인터랙션을 통한 스토리 변화를 위해서는 VIVE HMD를 연동하기 위한 고사양의 컴퓨터 시스템이 필요하기 때문이다. 이는 영화 시스템 구축이 복잡해진다는 문제점을 가진다.
도 1에 도시된 가상현실 영화 ‘Draw me close'는 영화를 촬영하는 배우와 영화를 관람하는 관람객 모두 모션캡쳐를 위한 별도의 장비를 착용해야하는 불편함이 있다. 또한 모션캡쳐 시스템을 통하여 실시간으로 애니메이션을 구현하는 과정에서 애니메이션 프레임이 지연되는 등의 문제점이 있다.
도 2를 참조하면, 가상현실 영화에서의 적극적 상호작용은 2017년 선댄스 영화제에 소개된 ‘Tree' 작품에서도 경험할 수 있다. 영화 관람객은 이 영화를 통해 오큘러스 리프트 HMD를 착용하고 MIT(Massachusetts institute of technology, 메사추세츠공과대학교)에서 개발한 EMS(Electronic muscle stimulation)센서를 양손에 들고 열대 우림지대의 한 그루 나무가 되어보는 체험을 하게 된다. 나무가 태어나면서 자라 다시 땅으로 돌아가기까지의 모든 순환 과정을 온몸으로 체험함으로써, 영화 관람객은 자연의 일부분이 되는 신비한 경험을 하게 된다.
다만 도 2에 도시된 가상현실 영화 ’Tree‘는 영화 관람객이 오큘러스 리프트 HMD를 착용하고 EMS센서를 양손에 들어 나무가 되어보는 체험을 할 수는 있지만, 이는 영화 관람객의 손 움직임이 나무의 가지가 되는 직관적 경험 이상의 감성적 인터랙션을 제공하지는 않는다. 또한 가상현실 영화 ’Tree'의 나무 체험은 영화의 줄거리와 연관된 인터랙션이 아니었으며, 이에 따른 줄거리 변화가 일어나지 않는다.
미국공개특허공보 2017-0323483호 한국공개특허공보 제2017-0120624호 한국등록특허공보 제1656025호
이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 가상현실 영화에서의 적극적 상호작용이 가능하도록 하는 것을 목적으로 한다.
또한 본 발명은 줄거리를 기초로 한 인터랙션 동작을 설계함으로써, 심도 깊은 인터랙션 영화를 설계하는 것을 목적으로 한다.
또한 본 발명은 인터랙션 영화에서의 신체적 상호작용을 통해 줄거리와의 조화를 이루면서, 인터랙션 영화 관람객의 감성적 몰입도 및 현존감을 향상시키는 것을 목적으로 한다.
또한 본 발명은 인터랙션 영화 관람객이 영화 분기(Plot)에서 미리 설정된 인터랙션 동작을 취함으로써, 해당 인터랙션 동작에 따른 변경된 줄거리를 반영하여 인터랙션 영화의 재미 효과를 높이는 것을 목적으로 한다.
또한 본 발명은 분기에 해당하는 인터랙션 동작을 적어도 2개 이상 설계함으로써, 변경된 줄거리가 다양할 수 있도록 하는 것을 목적으로 한다.
또한 본 발명은 웨어러블 디바이스를 통해 인터랙션 영화 관람객의 움직임을 즉각적으로, 자연스럽게 수집 가능하도록 하는 것을 목적으로 한다.
또한 본 발명은 신체에 부착 또는 착용 가능한 웨어러블 디바이스를 통해 인터랙션 영화 관람객의 편리성을 가중시키며, 인터랙션 시스템의 안정도와 효율성을 향상시키는 것을 목적으로 한다.
또한 본 발명은 기계 학습을 통해 환경에 따른 최적화 과정 및 자가 발전 과정의 속도 향상으로 가상현실 영화 시장을 형성할 수 있도록 하는 것을 목적으로 한다.
또한 본 발명은 인터랙션 동작을 통한 가상현실 콘텐츠와의 커뮤니케이션으로서, 영화뿐만 아니라 교육, 게임 등 사용자의 감성적 몰입이 필요한 다양한 콘텐츠에 적용하여 응용할 수 있도록 하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해할 수 있을 것이다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 가상현실 영화의 적극적 인터랙션 시스템은 줄거리(Story) 및 이를 기초로 한 인터랙션 동작(Interaction gesture)을 설계하고, 설계된 인터랙션 동작을 기계 학습하여 영화 필름에 적용하는 인터랙션 영화 제작 기기, 인터랙션 영화 상영 중에 검출되는 인터랙션 영화 관람객의 인터랙션 동작에 따라 줄거리를 재구성하여 상영하는 인터랙션 영화 상영 기기, 인터랙션 영화 관람객의 신체에 부착 또는 착용되고, 인터랙션 영화 상영 중에 검출되는 인터랙션 영화 관람객의 인터랙션 동작을 인터랙션 영화 상영 기기로 제공하는 웨어러블 디바이스(Wearable device)를 포함할 수 있다.
인터랙션 영화 제작 기기는 줄거리 및 이를 기초로 한 인터랙션 동작을 설계하는 줄거리 및 인터랙션 동작 설계부, 설계된 인터랙션 동작을 기계 학습하는 기계 학습부, 영화 필름이 입력되면 기계 학습한 인터랙션 동작을 입력된 영화 필름에 적용하는 인터랙션 동작 적용부를 포함할 수 있다.
이 때 줄거리 및 인터랙션 동작 설계부는 줄거리를 분기(Plot)로 나누고, 상기 줄거리에 적합한 인터랙션 동작을 각각 설계할 수 있다. 분기에 해당하는 인터랙션 동작은 적어도 2개 이상일 수 있다. 분기에 해당하는 인터랙션 동작은 인터랙션 영화에 등장하는 인물 또는 동물과 교감하는 영화 관람객의 특정 동작일 수 있다.
한편 기계 학습은 설계된 인터랙션 동작과 일반 동작을 구분하는 기계 학습일 수 있다.
인터랙션 영화 상영 기기는 웨어러블 디바이스에 의해 검출된 인터랙션 영화 관람객의 인터랙션 동작 정보를 수신하는 수신부, 인터랙션 영화 제작 기기에 의해 설계된 인터랙션 동작 정보를 저장하는 저장부, 수신부에 의해 수신된 영화 관람객의 인터랙션 동작 정보와 저장부에 의해 저장된 인터랙션 동작 정보를 비교하는 비교부, 수신부에 의해 수신된 영화 관람객의 인터랙션 동작이 저장부에 의해 저장된 인터랙션 동작인 것으로 판단되면, 해당 인터랙션 동작에 따른 변경된 줄거리를 반영하는 반영부, 반영부의 반영에 따라 변경된 줄거리를 출력하는 출력부를 포함할 수 있다.
웨어러블 디바이스는 인터랙션 영화 관람객의 생체 정보 및 인터랙션 동작을 검출하는 인터랙션 정보 검출부, 인터랙션 정보 검출부에 의해 검출된 인터랙션 정보를 인터랙션 영화 상영 기기로 전송하는 인터랙션 정보 전송부를 포함할 수 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 가상현실 영화의 적극적 인터랙션 방법은 (A) 인터랙션 영화 제작 기기에서 줄거리(Story) 및 이를 기초로 한 인터랙션 동작(Interaction gesture)을 설계하는 단계, (B) 인터랙션 영화 제작 기기에서 설계된 인터랙션 동작을 기계 학습하여 영화 필름에 적용하는 단계, (C) 웨어러블 디바이스(Wearable device)에서 인터랙션 영화 상영 중에 인터랙션 영화 관람객의 생체 정보 및 인터랙션 동작을 검출하는 단계, (D) 인터랙션 영화 상영 기기에서 검출된 인터랙션 영화 관람객의 생체 정보 및 인터랙션 동작에 따라 줄거리를 재구성하여 상영하는 단계를 포함할 수 있다.
이 때 (A) 단계는 줄거리를 분기(Plot)로 나누고, 상기 줄거리에 적합한 인터랙션 동작을 각각 설계할 수 있다. 분기에 해당하는 인터랙션 동작은 적어도 2개 이상일 수 있다. 분기에 해당하는 인터랙션 동작은 인터랙션 영화에 등장하는 인물 또는 동물과 교감하는 영화 관람객의 특정 동작일 수 있다.
한편 (B) 단계에서 기계 학습은 설계된 인터랙션 동작과 일반 동작을 구분하는 기계 학습일 수 있다.
(D) 단계는 영화 상영 중에 웨어러블 디바이스에 의해 검출된 인터랙션 영화 관람객의 인터랙션 동작 정보를 수신하는 단계, 인터랙션 영화 제작 기기에 의해 설계된 인터랙션 동작 정보를 저장하는 단계, 수신된 영화 관람객의 인터랙션 동작 정보와 저장된 인터랙션 동작 정보를 비교하는 단계, 수신된 영화 관람객의 인터랙션 동작 정보가 저장된 인터랙션 동작 정보인 것으로 판단되면, 해당 인터랙션 동작에 따른 변경된 줄거리를 반영하는 단계, 반영에 따라 변경된 줄거리를 출력하는 단계를 포함할 수 있다.
이상에서 설명한 바와 같은 가상현실 영화의 적극적 인터랙션 시스템 및 방법에 따르면,
첫째, 가상현실 영화에서의 적극적 상호작용이 가능한 효과를 가진다.
둘째, 줄거리를 기초로 한 인터랙션 동작을 설계함으로써, 심도 깊은 인터랙션 영화를 설계 가능한 효과를 가진다.
셋째, 인터랙션 영화에서의 신체적 상호작용을 통해 줄거리와의 조화를 이루면서, 인터랙션 영화 관람객의 감성적 몰입도 및 현존감을 향상시킬 수 있는 효과를 가진다.
넷째, 인터랙션 영화 관람객이 영화 분기(Plot)에서 미리 설정된 인터랙션 동작을 취함으로써, 해당 인터랙션 동작에 따른 변경된 줄거리를 반영하여 인터랙션 영화의 재미 효과를 높일 수 있다.
다섯째, 분기에 해당하는 인터랙션 동작을 적어도 2개 이상 설계함으로써, 변경된 줄거리가 다양할 수 있는 효과를 가진다.
여섯째, 웨어러블 디바이스를 통해 인터랙션 영화 관람객의 움직임을 즉각적으로, 자연스럽게 수집 가능한 효과를 가진다.
일곱째, 신체에 부착 또는 착용 가능한 웨어러블 디바이스를 통해 인터랙션 영화 관람객의 편리성을 가중시키며, 인터랙션 시스템의 안정도와 효율성을 향상시킬 수 있는 효과를 가진다.
여덟째, 기계 학습을 통해 환경에 따른 최적화 과정 및 자가 발전 과정의 속도 향상으로 가상현실 영화 시장을 형성할 수 있는 효과를 가진다.
아홉째, 인터랙션 동작을 통한 가상현실 콘텐츠와의 커뮤니케이션으로서, 영화뿐만 아니라 교육, 게임 등 사용자의 감성적 몰입이 필요한 다양한 콘텐츠에 적용하여 응용할 수 있도록 하는 효과를 가진다.
도 1은 종래의 가상현실 영화 ‘Draw me close'를 관람하는 영화 관람객을 보여주는 도면.
도 2는 종래의 가상현실 영화 ’Tree'의 한 장면을 보여주는 도면.
도 3은 본 발명의 일 실시예로서, 가상현실 영화의 적극적 인터랙션 시스템을 나타낸 구성도.
도 4는 본 발명의 일 실시예로서, 가상현실 영화의 적극적 인터랙션 방법을 나타낸 순서도.
도 5는 본 발명의 일 실시예로서, 도 4에 따른 S400을 나타낸 순서도.
도 6은 본 발명의 일 실시예에 따라 제작한 인터랙션 영화의 줄거리를 도시한 도면.
도 7은 본 발명의 일 실시예로서, 도 6에 따른 인터랙션 방법을 나타낸 도면.
도 8 및 도 9는 본 발명의 일 실시예에 따라 제작한 인터랙션 영화의 한 장면을 보여주는 도면.
도 10 내지 도 12는 본 발명의 일 실시예에 따라 제작한 인터랙션 영화의 효과를 검증하기 위한 인터랙션 영화 관람객 테스트 결과를 나타낸 도면.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. 본 발명의 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명의 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한 본 발명과 관련된 공지 기능 및 그 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명을 생략하였음에 유의해야할 것이다.
도 3은 본 발명의 일 실시예로서, 가상현실 영화의 적극적 인터랙션 시스템을 나타낸 구성도이다.
도 3을 참조하면, 가상현실 영화의 적극적 인터랙션 시스템은 줄거리(Story) 및 이를 기초로 한 인터랙션 동작(Interaction gesture)을 설계하고, 설계된 인터랙션 동작을 기계 학습하여 영화 필름에 적용하는 인터랙션 영화 제작 기기(100), 인터랙션 영화 상영 중에 검출되는 인터랙션 영화 관람객의 인터랙션 동작에 따라 줄거리를 재구성하여 상영하는 인터랙션 영화 상영 기기(200), 인터랙션 영화 관람객의 신체에 부착 또는 착용되고, 인터랙션 영화 상영 중에 검출되는 인터랙션 영화 관람객의 인터랙션 동작을 인터랙션 영화 상영 기기(200)로 제공하는 웨어러블 디바이스(Wearable device)(300)를 포함할 수 있다.
인터랙션 영화 제작 기기(100)는 줄거리 및 이를 기초로 한 인터랙션 동작을 설계하는 줄거리 및 인터랙션 동작 설계부(110), 설계된 인터랙션 동작을 기계 학습하는 기계 학습부(120), 영화 필름이 입력되면 기계 학습한 인터랙션 동작을 입력된 영화 필름에 적용하는 인터랙션 동작 적용부(130)를 포함할 수 있다.
이 때 줄거리 및 인터랙션 동작 설계부(110)는 줄거리를 분기(Plot)로 나누고, 상기 줄거리에 적합한 인터랙션 동작을 각각 설계할 수 있다. 프리랜더링된 2D 혹은 3D 가상현실 영화를 분기(Plot)별로 나누고, 줄거리에 적합한 인터랙션 동작을 각각 설계하는 것이다. 분기에 해당하는 인터랙션 동작은 적어도 2개 이상일 수 있다. 분기에 해당하는 인터랙션 동작은 인터랙션 영화에 등장하는 인물 또는 동물과 교감하는 영화 관람객의 특정 동작일 수 있다.
한편 기계 학습은 설계된 인터랙션 동작과 일반 동작을 구분하는 기계 학습일 수 있다.
인터랙션 영화 상영 기기(200)는 웨어러블 디바이스(300)에 의해 검출된 인터랙션 영화 관람객의 인터랙션 동작 정보를 수신하는 수신부(210), 인터랙션 영화 제작 기기(100)에 의해 설계된 인터랙션 동작 정보를 저장하는 저장부(220), 수신부(210)에 의해 수신된 영화 관람객의 인터랙션 동작 정보와 저장부(220)에 의해 저장된 인터랙션 동작 정보를 비교하는 비교부(230), 수신부(210)에 의해 수신된 영화 관람객의 인터랙션 동작이 저장부(220)에 의해 저장된 인터랙션 동작인 것으로 판단되면, 해당 인터랙션 동작에 따른 변경된 줄거리를 반영하는 반영부(240), 반영부(240)의 반영에 따라 변경된 줄거리를 출력하는 출력부(250)를 포함할 수 있다.
웨어러블 디바이스(300)는 인터랙션 영화 관람객의 생체 정보 및 인터랙션 동작을 검출하는 인터랙션 정보 검출부(310), 인터랙션 정보 검출부(310)에 의해 검출된 인터랙션 정보를 인터랙션 영화 상영 기기(200)로 전송하는 인터랙션 정보 전송부(320)를 포함할 수 있다.
도 4는 본 발명의 일 실시예로서, 가상현실 영화의 적극적 인터랙션 방법을 나타낸 순서도이고, 도 5는 본 발명의 일 실시예로서, 도 4에 따른 S400을 나타낸 순서도이다.
도 4를 참조하면, 가상현실 영화의 적극적 인터랙션 방법은 먼저 인터랙션 영화 제작 기기(100)에서 줄거리(Story) 및 이를 기초로 한 인터랙션 동작(Interaction gesture)을 설계할 수 있다(S100). S100은 줄거리를 분기(Plot)로 나누고, 상기 줄거리에 적합한 인터랙션 동작을 각각 설계할 수 있다. 프리랜더링된 2D 혹은 3D 가상현실 영화를 분기(Plot)별로 나누고, 줄거리에 적합한 인터랙션 동작을 각각 설계하는 것이다. 이 때 분기에 해당하는 인터랙션 동작은 적어도 2개 이상일 수 있으며, 분기에 해당하는 인터랙션 동작은 인터랙션 영화에 등장하는 인물 또는 동물과 교감하는 영화 관람객의 특정 동작일 수 있다.
설계된 인터랙션 동작은 인터랙션 영화 제작 기기(100)에서 기계 학습하여 영화 필름에 적용할 수 있다(S200). 이 때 S200에서 기계 학습은 설계된 인터랙션 동작과 일반 동작을 구분하는 기계 학습일 수 있다.
인터랙션 영화 상영 중에 웨어러블 디바이스(Wearable device)(300)에서 인터랙션 영화 관람객의 생체 정보 및 인터랙션 동작을 검출할 수 있다(S300).
검출된 인터랙션 영화 관람객의 생체 정보 및 인터랙션 동작에 따라 인터랙션 영화 상영 기기(200)에서는 줄거리를 재구성하여 상영할 수 있다(S400).
S400을 보다 구체적으로 설명하면 다음과 같다.
도 5를 참조하면, S400은 영화 상영 중에 웨어러블 디바이스(300)에 의해 검출된 인터랙션 영화 관람객의 인터랙션 동작 정보를 수신할 수 있다(S410).
인터랙션 영화 제작 기기(100)에 의해 설계된 인터랙션 동작 정보를 저장할 수 있다(S420).
수신된 영화 관람객의 인터랙션 동작 정보와 저장된 인터랙션 동작 정보를 비교할 수 있다(S430).
수신된 영화 관람객의 인터랙션 동작 정보가 저장된 인터랙션 동작 정보인지 여부를 판단할 수 있다(S440).
만약 수신된 영화 관람객의 인터랙션 동작 정보가 저장된 인터랙션 동작 정보인 것으로 판단되면, 해당 인터랙션 동작에 따른 변경된 줄거리를 반영할 수 있다(S450). 만약 수신된 영화 관람객의 인터랙션 동작 정보가 저장된 인터랙션 동작 정보가 아닌 것으로 판단되면, 다시 S410으로 돌아갈 수 있다.
S450의 반영에 따라 변경된 줄거리를 출력할 수 있다(S460).
도 6은 본 발명의 일 실시예에 따라 제작한 인터랙션 영화의 줄거리를 도시한 도면이고, 도 7은 본 발명의 일 실시예로서, 도 6에 따른 인터랙션 방법을 나타낸 도면이다.
도 6 및 도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따라 제작한 인터랙션 영화는 ‘소녀에게’라는 인터랙티브 가상현실 애니메이션이다. ‘소녀에게’는 적극적 상호작용을 적용하여 인터랙션 영화 관람객이 직접 인터랙션 동작을 통해 상호작용하는 가상현실 영화이다.
인터랙션 영화 관람객은 HMD를 착용하고 영화 속 소녀를 마주하게 된다. 인터랙션 영화 관람객은 1인칭 시점으로 도움을 요청하는 소녀의 손을 뿌리치기도 하고, 손을 잡아주기도 한다. 그리고 인터랙션 영화 관람객은 쓰러진 소녀를 쓰다듬어 위로하기도 하는 등 이러한 3가지 다른 적극적인 신체적 인터랙션을 통해 감정적 동화를 하게 된다.
보다 구체적으로 본 발명의 일 실시예에 따라 제작한 인터랙션 영화는 적극적 상호작용을 통한 감성적 몰입과 현존감의 효과를 강화하기 위해 스토리가 3단계로 구분된다. 그리고 인터랙션 영화 관람객이 단계별로 인터랙션 동작을 취하도록 제작되었다. 이 때 인터랙션 영화 관람객에게 제시되는 인터랙션은 인터랙션 영화 속 마주하고 있는 소녀의 상황에 맞도록 주어졌다.
본 발명의 일 실시예에 따라 제작한 인터랙션 영화는 인터랙티브 스토리텔링 구조로 3개의 스테이지(Stage)와 2개의 엔딩(Ending)으로 이루어져 있다. 인터랙션 영화 관람객은 각각의 스테이지에서 어떤 인터랙션을 취하느냐에 따라 다른 결말을 보게 된다. 즉 인터랙션 영화 관람객이 인터랙션 영화 속의 소녀와 적극적으로 상호작용하여 소녀에게 감성적인 인터랙션 동작을 취했을 때와 그렇지 않았을 때 좋은 결말과 나쁜 결말로 나누어진 결말을 볼 수 있다. 각각의 스테이지에서 어떠한 인터랙션 동작을 취했느냐에 따라, 인터랙션 영화의 플롯(Plot) 구조가 짧아지기도 하고 길어지기도 하도록 구성하였다. 이를 통해 인터랙션 영화 관람객은 그들의 감성적인 몰입 정도에 따라 영화 속 소녀에게 취하는 인터랙션 동작이 달라지며, 이에 따라 인터랙션 영화를 관람하는 시간도 달라지는 것이다.
한편, 인터랙션 영화를 상영하는 동안 인터랙션 영화 관람객의 인터랙션 동작을 실시간으로 인식하게 하기 위해서, 인터랙션 영화 관람객은 손목에 웨어러블 밴드를 부착하거나 착용할 수 있다. 이는 인터랙션 영화 관람객의 손목에 웨어러블 밴드를 착용하게 함으로써, 인터랙션 영화 관람객이 인터랙션 영화를 보면서 취하는 손의 움직임을 즉각적으로, 그리고 자연스럽게 수집할 수 있게 할 수 있다. 이 때 웨어러블 밴드는 IMU(Inertial measurement unit) 센서가 탑재되어 인터랙션 영화 관람객이 인터랙션 영화를 상영하는 동안 인터랙션 영화 관람객의 인터랙션 동작을 실시간으로 인식할 수 있다. IMU는 자이로(Gyroscope)와 가속도센서를 혼합한 것으로, 인터랙션 영화 관람객의 편리성을 가중시키고, 영화 시스템의 안정도와 효율성을 높이는 데에 큰 역할을 할 수 있다.
실제 인터랙션 영화 관람객이 인터랙션 영화를 보면서 실시간으로 상호작용할 수 있도록 하는 인터랙션 동작을 제공하기 위해서는 영화의 제작 단계에서부터 줄거리에 맞는 인터랙션 동작을 설계하고, 이에 대해 기계 학습을 하는 과정이 필요하다. 이는 인공지능의 한 분야로서, 환경에 따른 데이터를 추출하고 테스트하여 최적화하거나 자가 발전을 하는 과정을 의미한다. 이러한 기계 학습을 위해서는 서포트벡터머신(SVM : Support vector machine), 신경망(Neural network) 등의 기계 학습 알고리즘을 사용할 수 있다. 이를 통해 인터랙션 영화 관람객의 인터랙션 동작을 인식하여, 인터랙션 영화 관람객이 인터랙션 영화를 보면서 실시간으로 상호작용할 수 있다. 이 때 본 발명의 일 실시예에 따라 제작한 인터렉션 영화에서는 손을 뿌리치는 동작(Refuse a hand), 손을 잡는 동작(Hold a hand), 머리를 쓰다듬는 동작(Stroke hair)을 기계 학습하여, 웨어러블 밴드가 상기와 같은 동작을 인식할 수 있도록 하였다.
이와 같이 적극적 상호작용으로 제시된 인터랙션 동작들은 인터랙션 영화 줄거리와 상황에 적합하게 설계되었으며, 인터랙션 영화 관람객들의 부가적인 학습 없이 자연스럽게 취할 수 있는 감성 인터랙션을 중심으로 개발되었다. 즉 인터랙션 영화 관람객들이 과거의 경험으로부터 자연스럽게 인지된 것을 바탕으로 어떤 인터랙션 동작을 취해야 하는지를 자연스럽게 인지할 수 있도록 하였다. 즉 인터랙션 영화 관람객들이 이러한 적극적인 인터랙션을 통하여 인터랙션 영화 속 상황을 이해하고 해석하며, 각 인터랙션 영화 관람객마다의 의미를 창조할 수 있는 것이다.
이 때 본 발명에서는 인터랙션 영화 관람객의 인터랙션 동작을 실시간으로 인식하기 위한 일 실시예로서 웨어러블 밴드를 사용하였지만, 이는 적극적 상호작용 방법 또는 영화의 특성 등에 따라 용이하게 변경 가능할 수 있는 다양한 웨어러블 디바이스(Wearable device)로 변경 가능할 수 있는 것으로 해석되어야 한다.
웨어러블 디바이스란 신체에 부착하거나 착용하여 컴퓨팅(Computing) 행위를 할 수 있는 모든 것을 지칭하며, 일부 컴퓨팅 기능을 수행할 수 있는 어플리케이션(Application)까지 포함할 수 있다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 제작한 인터랙션 영화의 한 장면을 보여주는 도면이다.
도 8 및 도 9를 참조하면, 본 발명의 일 실시예에 따라 제작한 인터랙션 영화는 인터랙션 영화 관람객을 가상현실 공간으로 초대하여 인터랙션 영화 속 하나의 생명으로 존재하게 한다. 이를 통해 직접 신체적인 상호작용을 하게 한다. 이는 인터랙션 영화 관람객의 잠재적인 움직임을 추적할 수 있는 최적의 환경을 제공하며, 다른 어떤 미디어보다 더 풍부한 상호작용을 제공할 수 있다. 즉 인터랙션 영화에서의 신체적 상호작용은 줄거리와의 조화를 이루어 인터랙션 영화 관람객의 감성적 몰입을 높여주고, 현존감의 정도를 커지게 하는 기능을 가진다.
도 10 내지 도 12는 본 발명의 일 실시예에 따라 제작한 인터랙션 영화의 효과를 검증하기 위한 인터랙션 영화 관람객 테스트 결과를 나타낸 도면이다.
도 10 내지 도 12를 참조하면, 본 발명의 일 실시예에 따라 제작한 인터랙션 영화의 효과를 검증하기 위해 20~40세 남녀 20명을 대상으로 테스트를 진행하였다. 웨어러블 밴드를 착용하여 적극적 상호작용을 한 인터랙션 영화 관람객 집단 A와 적극적 상호작용 없이 인터랙션 영화 관람객 집단 B로 각각 10명씩 나누어 실험을 진행하였다.
집단 A 및 집단 B는 인터랙션 영화 관람 후, 설문과 심층 면접을 통해 인터랙션 영화 관람객의 감성적 몰입과 현존감을 평가하였다. 도 10은 관객이 영화를 보면서 1인칭 주인공 시점으로 소녀를 대하며 줄거리에 이입하여 느끼는 연민의 감정을 측정하는 질문에 대해 평가한 결과를 나타낸 도면이다. 이를 통해 인터랙션 영화 관람객의 감성적 이입효과를 평가하고자 하였다.(5점이 가장 높은 연민의 감정)
도 11 및 도 12는 인터랙션 영화 관람객이 가상현실 공간에서 몰입감(실재감)을 얼마나 느끼는지와, 인터랙션 영화 속 소녀 캐릭터와 상호작용하고 있는 현존감을 얼마나 느끼는지에 대한 질문에 대해 평가한 결과를 나타낸 도면이다. 이를 통해 인터랙션 영화 관람객의 몰입감 효과를 평가하고자 하였다. (5점이 가장 높은 몰입감(실재감)/가장 높은 현존감)
그 결과 도 10 내지 도 12에 도시된 바와 같이, 집단 A의 관객들은 4.1점으로 집단 B의 3.3점보다 인터랙션 영화 속 소녀에 대한 연민의 감정이 더 컸다. 그리고 인터랙션 영화 속 주인공으로의 몰입감 또한 집단 A가 3.8점으로 집단 B보다 2.7점보다 높았다. 마지막으로 인터랙션 영화 속 소녀 캐릭터와 상호작용을 통한 현존감의 정도는 집단 A가 4.3점으로 집단 B의 2.7점보다 높게 나타났다.
이를 통해 가상현실 환경에서 웨어러블 밴드를 착용하여 주어진 상황에 따른 직접적인 인터랙션 동작을 한 집단 A는 인터랙션 동작을 하지 않고 영화를 상영했을 때보다 감성적 이입과 몰입 효과가 크다는 것이 나타난다. 이는 인터랙션 영화 관람객이 가상현실 환경에 몰입하여 인터랙션 영화를 관람할 때 인터랙션 영화의 줄거리와 상황에 적합한 인터랙션 동작이 잘 적용된다면, 인터랙션 콘텐츠에 대한 몰입과 감성적 동화를 강화시킬 수 있다는 것을 의미한다. 이러한 인터랙션 동작을 통한 가상현실 콘텐츠와의 커뮤니케이션은 영화뿐만 아니라 향후 교육, 게임 등 사용자의 감성적 몰입이 필요한 다양한 콘텐츠에 적용 가능할 것으로 이해되어야 한다.
이상에서 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정들도 본 발명의 범위에 속하는 것으로 간주되어야할 것이다.
100 : 인터랙션 영화 제작 기기 110 : 줄거리 및 인터랙션 동작 설계부
120 : 기계 학습부 130 : 인터랙션 동작 적용부
200 : 인터랙션 영화 상영 기기 210 : 수신부
220 : 저장부 230 : 비교부
240 : 반영부 250 : 출력부
300 : 웨어러블 디바이스 310 : 인터랙션 정보 검출부
320 : 인터랙션 정보 전송부

Claims (14)

  1. 줄거리(Story) 및 이를 기초로 한 인터랙션 동작(Interaction gesture)을 설계하고, 상기 설계된 인터랙션 동작을 기계 학습하여 영화 필름에 적용하는 인터랙션 영화 제작 기기;
    인터랙션 영화 상영 중에 검출되는 인터랙션 영화 관람객의 인터랙션 동작에 따라 줄거리를 재구성하여 상영하는 인터랙션 영화 상영 기기; 및
    인터랙션 영화 관람객의 신체에 부착 또는 착용되고, 상기 인터랙션 영화 상영 중에 검출되는 인터랙션 영화 관람객의 인터랙션 동작을 상기 인터랙션 영화 상영 기기로 제공하는 웨어러블 디바이스(Wearable device);를 포함하는 가상현실 영화의 적극적 인터랙션 시스템.
  2. 제 1 항에 있어서, 상기 인터랙션 영화 제작 기기는,
    줄거리 및 이를 기초로 한 인터랙션 동작을 설계하는 줄거리 및 인터랙션 동작 설계부;
    상기 설계된 인터랙션 동작을 기계 학습하는 기계 학습부; 및
    영화 필름이 입력되면 상기 기계 학습한 인터랙션 동작을 상기 입력된 영화 필름에 적용하는 인터랙션 동작 적용부;를 포함하는 가상현실 영화의 적극적 인터랙션 시스템.
  3. 제 1 항에 있어서, 상기 인터랙션 영화 상영 기기는,
    상기 웨어러블 디바이스에 의해 검출된 인터랙션 영화 관람객의 인터랙션 동작 정보를 수신하는 수신부;
    상기 인터랙션 영화 제작 기기에 의해 설계된 인터랙션 동작 정보를 저장하는 저장부;
    상기 수신부에 의해 수신된 영화 관람객의 인터랙션 동작 정보와 상기 저장부에 의해 저장된 인터랙션 동작 정보를 비교하는 비교부;
    상기 수신부에 의해 수신된 영화 관람객의 인터랙션 동작이 상기 저장부에 의해 저장된 인터랙션 동작인 것으로 판단되면, 해당 인터랙션 동작에 따른 변경된 줄거리를 반영하는 반영부; 및
    상기 반영부의 반영에 따라 상기 변경된 줄거리를 출력하는 출력부;를 포함하는 가상현실 영화의 적극적 인터랙션 시스템.
  4. 제 1 항에 있어서, 상기 웨어러블 디바이스는,
    상기 인터랙션 영화 관람객의 생체 정보 및 인터랙션 동작을 검출하는 인터랙션 정보 검출부; 및
    상기 인터랙션 정보 검출부에 의해 검출된 인터랙션 정보를 상기 인터랙션 영화 상영 기기로 전송하는 인터랙션 정보 전송부;를 포함하는 가상현실 영화의 적극적 인터랙션 시스템.
  5. 제 2 항에 있어서, 상기 줄거리 및 인터랙션 동작 설계부는,
    상기 줄거리를 분기(Plot)로 나누고, 상기 줄거리에 적합한 인터랙션 동작을 각각 설계하는 가상현실 영화의 적극적 인터랙션 시스템.
  6. 제 5 항에 있어서,
    상기 분기에 해당하는 인터랙션 동작이 적어도 2개 이상인 가상현실 영화의 적극적 인터랙션 시스템.
  7. 제 6 항에 있어서, 상기 분기에 해당하는 인터랙션 동작은,
    상기 인터랙션 영화에 등장하는 인물 또는 동물과 교감하는 영화 관람객의 특정 동작인 가상현실 영화의 적극적 인터랙션 시스템.
  8. 제 2 항에 있어서, 상기 기계 학습은,
    상기 설계된 인터랙션 동작과 일반 동작을 구분하는 기계 학습인 가상현실 영화의 적극적 인터랙션 시스템.
  9. (A) 인터랙션 영화 제작 기기에서 줄거리(Story) 및 이를 기초로 한 인터랙션 동작(Interaction gesture)을 설계하는 단계;
    (B) 인터랙션 영화 제작 기기에서 상기 설계된 인터랙션 동작을 기계 학습하여 영화 필름에 적용하는 단계;
    (C) 웨어러블 디바이스(Wearable device)에서 인터랙션 영화 상영 중에 인터랙션 영화 관람객의 생체 정보 및 인터랙션 동작을 검출하는 단계; 및
    (D) 인터랙션 영화 상영 기기에서 상기 검출된 인터랙션 영화 관람객의 생체 정보 및 인터랙션 동작에 따라 줄거리를 재구성하여 상영하는 단계;를 포함하는 가상현실 영화의 적극적 인터랙션 방법.
  10. 제 9 항에 있어서, 상기 (D) 단계는,
    영화 상영 중에 상기 웨어러블 디바이스에 의해 검출된 인터랙션 영화 관람객의 인터랙션 동작 정보를 수신하는 단계;
    상기 인터랙션 영화 제작 기기에 의해 설계된 인터랙션 동작 정보를 저장하는 단계;
    상기 수신된 영화 관람객의 인터랙션 동작 정보와 상기 저장된 인터랙션 동작 정보를 비교하는 단계;
    상기 수신된 영화 관람객의 인터랙션 동작 정보가 상기 저장된 인터랙션 동작 정보인 것으로 판단되면, 해당 인터랙션 동작에 따른 변경된 줄거리를 반영하는 단계; 및
    상기 반영에 따라 상기 변경된 줄거리를 출력하는 단계;를 포함하는 가상현실 영화의 적극적 인터랙션 방법.
  11. 제 9 항에 있어서, 상기 (A) 단계는,
    상기 줄거리를 분기(Plot)로 나누고, 상기 줄거리에 적합한 인터랙션 동작을 각각 설계하는 가상현실 영화의 적극적 인터랙션 방법.
  12. 제 11 항에 있어서,
    상기 분기에 해당하는 인터랙션 동작이 적어도 2개 이상인 가상현실 영화의 적극적 인터랙션 방법.
  13. 제 12 항에 있어서, 상기 분기에 해당하는 인터랙션 동작은,
    상기 인터랙션 영화에 등장하는 인물 또는 동물과 교감하는 영화 관람객의 특정 동작인 가상현실 영화의 적극적 인터랙션 방법.
  14. 제 9 항에 있어서, 상기 (B) 단계에서 기계 학습은,
    상기 설계된 인터랙션 동작과 일반 동작을 구분하는 기계 학습인 가상현실 영화의 적극적 인터랙션 방법.
KR1020170183037A 2017-12-28 2017-12-28 가상현실 영화의 적극적 인터랙션 시스템 및 방법 KR20190080530A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170183037A KR20190080530A (ko) 2017-12-28 2017-12-28 가상현실 영화의 적극적 인터랙션 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170183037A KR20190080530A (ko) 2017-12-28 2017-12-28 가상현실 영화의 적극적 인터랙션 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190124621A Division KR20190119008A (ko) 2019-10-08 2019-10-08 가상현실 영화의 적극적 인터랙션 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20190080530A true KR20190080530A (ko) 2019-07-08

Family

ID=67256776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170183037A KR20190080530A (ko) 2017-12-28 2017-12-28 가상현실 영화의 적극적 인터랙션 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20190080530A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210025393A (ko) 2019-08-27 2021-03-09 단국대학교 산학협력단 현실세계가 반영된 인터랙션 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656025B1 (ko) 2016-05-03 2016-09-08 (주) 올림플래닛 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법 및 이를 위한 컴퓨터 프로그램
KR20170120624A (ko) 2015-02-27 2017-10-31 밸브 코포레이션 가상 및 증강 현실 환경에서의 제어기 시각화
US20170323483A1 (en) 2016-05-09 2017-11-09 Unity IPR ApS System and method for temporal manipulation in virtual environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170120624A (ko) 2015-02-27 2017-10-31 밸브 코포레이션 가상 및 증강 현실 환경에서의 제어기 시각화
KR101656025B1 (ko) 2016-05-03 2016-09-08 (주) 올림플래닛 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법 및 이를 위한 컴퓨터 프로그램
US20170323483A1 (en) 2016-05-09 2017-11-09 Unity IPR ApS System and method for temporal manipulation in virtual environments

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210025393A (ko) 2019-08-27 2021-03-09 단국대학교 산학협력단 현실세계가 반영된 인터랙션 시스템 및 방법

Similar Documents

Publication Publication Date Title
US11724177B2 (en) Controller having lights disposed along a loop of the controller
JP7110252B2 (ja) 仮想および拡張現実を作成する方法およびシステム
EP3265864B1 (en) Tracking system for head mounted display
CN106484115B (zh) 用于增强和虚拟现实的系统和方法
JP2018515972A (ja) ヘッドマウントディスプレイによって提示されるパーソナル空間コンテンツの制御
US20210213362A1 (en) Automated player sponsorship system
Berkman History of virtual reality
EP4017606A1 (en) Artificial intelligence (ai) controlled camera perspective generator and ai broadcaster
US20180169517A1 (en) Reactive animation for virtual reality
US11627359B2 (en) Influencer stream customization for follower viewers
EP4021597A1 (en) Artificial intelligence (al) controlled camera perspective generator and ai broadcaster
CN109314800A (zh) 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
US11413547B2 (en) Building a dynamic social community based on real-time in-game context of a player
US11430158B2 (en) Intelligent real-time multiple-user augmented reality content management and data analytics system
KR20190080530A (ko) 가상현실 영화의 적극적 인터랙션 시스템 및 방법
KR20190119008A (ko) 가상현실 영화의 적극적 인터랙션 시스템 및 방법
Wang High-Performance Many-Light Rendering
Huang A method of evaluating user visual attention to moving objects in head mounted virtual reality
Kang et al. Study on augmented context interaction system for virtual reality animation using wearable technology
Bis Virtual Reality. Now.
Chen Augmenting immersive cinematic experience/scene with user body visualization.
Hsieh et al. A Virtual Interactive System for Merchandising Stores
Hung et al. Healthcare Robots with Islamic Practices
CN115997385A (zh) 基于增强现实的界面显示方法、装置、设备、介质和产品
Shriram Effects of Content Variety and Tracking Level on User Presence

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application