KR102289448B1 - 인터렉티브 콘텐츠 제공 장치 - Google Patents

인터렉티브 콘텐츠 제공 장치 Download PDF

Info

Publication number
KR102289448B1
KR102289448B1 KR1020200170619A KR20200170619A KR102289448B1 KR 102289448 B1 KR102289448 B1 KR 102289448B1 KR 1020200170619 A KR1020200170619 A KR 1020200170619A KR 20200170619 A KR20200170619 A KR 20200170619A KR 102289448 B1 KR102289448 B1 KR 102289448B1
Authority
KR
South Korea
Prior art keywords
content
user
drawing object
unit
output
Prior art date
Application number
KR1020200170619A
Other languages
English (en)
Inventor
이정길
임지택
정세준
Original Assignee
믹스비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 믹스비전 주식회사 filed Critical 믹스비전 주식회사
Priority to KR1020200170619A priority Critical patent/KR102289448B1/ko
Application granted granted Critical
Publication of KR102289448B1 publication Critical patent/KR102289448B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Primary Health Care (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 인터렉티브 콘텐츠 제공 방법에 관한 것이다. 상기 방법은, 사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 출력부를 통해 제공하는 단계, 상기 콘텐츠와 연관된 드로잉 객체를 획득하고, 상기 드로잉 객체를 상기 콘텐츠에 삽입하는 단계, 상기 콘텐츠를 시청하는 사용자의 모션 데이터 또는 음성 데이터를 획득하는 단계 및 획득된 어느 하나의 모션 데이터 또는 음성 데이터를 기초로 상기 드로잉 객체의 출력 속성을 변경시키는 단계를 포함하도록 구성된다.

Description

인터렉티브 콘텐츠 제공 장치{APPARATUS FOR PROVIDING INTERACTIVE CONTENT}
본 발명은 인터렉티브 콘텐츠 제공 장치에 관한 것이다.
일반적으로 체험학습 서비스란 콘텐츠 상에 사용자의 모습을 반영하고, 사용자의 동작에 대응하여 콘텐츠 화면이 변경되도록 하여, 사용자가 다양한 간접적인 체험을 통해 특정 주제에 대하여 학습할 수 있는 서비스이다.
이러한 체험학습 서비스는 문화, 교육, 관광, 연구개발 등의 다양한 분야에서 활용될 수 있는데, 보다 적합한 활용을 위해서는 사용자에게 단순히 사실감 넘치는 콘텐츠를 제공하는 것에서 나아가, 사용자가 실제로 만들어진 공간 속에서 체험을 하는 것처럼 사용자의 동작에 따른 동작 구현이 가능하도록 하는 구성이 필수적이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
종래 체험학습 서비스는 콘텐츠 안에서의 객체가 사용자의 대략적인 움직임에 따라 변화하는 단순한 방식으로써, 사용자가 지정된 동작을 정확하게 수행했는지 여부에 관계없이 시뮬레이션이 진행되기 때문에, 명확한 학습 효과를 부여해주지 못할 뿐만 아니라, 사용자의 흥미를 유발하기에 한계가 있다.
따라서, 사용자의 동작이나 음성을 사용자가 의도한 바에 맞게 해석하고, 그에 따라 콘텐츠가 진행될 수 있도록 함으로써, 사용자에게 명확한 학습 효과를 제공할 수 있도록 하는 장치가 요구된다.
이에, 본 발명의 발명자들은 사용자 직접 그린 이미지를 콘텐츠 안에 삽입하고, 삽입된 이미지를 사용자의 동작이나 음성에 맞게 변형시키거나, 이미지와 연관된 특수 효과를 제공함으로써, 사용자의 흥미를 유발함과 동시에 학습 효과를 높일 수 있는 장치를 개발하고자 하였다.
그 결과, 본 발명의 발명자들은 직접 그린 이미지의 삽입 위치나 직접 그린 이미지의 이미지 분석 결과를 통해 콘텐츠 안에서의 이미지가 어떠한 객체로써 인식되어야 하는지 판단하여, 사용자의 의도에 따라 시나리오가 흘러갈 수 있는 장치를 개발하기에 이르렀다.
또한, 본 발명의 발명자들은 사용자가 위치한 장소에 구애 받지 않고, 어느 공간에서든지 간접 체험학습을 할 수 있는 이동식의 간편한 장치를 개발하고자 하였다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 장치가 제공된다. 상기 장치는, 드로잉 객체를 획득하도록 구성된 제1 카메라부, 사용자의 모션 데이터를 획득하도록 구성된 제2 카메라부 또는 사용자의 음성 데이터를 획득하도록 구성된 오디오부 및 상기 드로잉 객체를 포함하는 콘텐츠를 출력부를 통해 제공하고, 상기 모션 데이터 또는 상기 음성 데이터를 기초로 상기 드로잉 객체의 출력 속성을 변경시키도록 구성된 제어부를 포함하도록 구성된다.
본 발명의 특징에 따르면, 상기 제1 카메라부는, 상기 출력부를 통해 안내 콘텐츠가 제공되는 동안 상기 콘텐츠와 연관된 드로잉 객체를 획득하도록 구성되며, 상기 제어부는, 기 설정된 시나리오에 따라 상기 드로잉 객체를 상기 콘텐츠 내 지정된 크기 및 위치에 맞게 삽입하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 상기 출력부는, 상기 콘텐츠를 출력하도록 구성된 디스플레이부를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 제2 카메라부는, 상기 출력부를 통해 안내 콘텐츠가 제공되는 동안 상기 콘텐츠를 시청하는 사용자의 모션 데이터를 획득하도록 구성되며, 상기 제어부는, 상기 모션 데이터를 기초로 사용자의 자세, 자세 유지 시간 및 자세 변화 중 어느 하나를 포함하는 모션 지시를 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 오디오부는, 상기 출력부를 통해 안내 콘텐츠가 제공되는 동안 상기 콘텐츠를 시청하는 사용자의 음성 데이터를 획득하도록 구성되며, 상기 제어부는, 상기 음성 데이터를 기초로 사용자의 발화 내용, 발화 시간 및 발화 크기 중 어느 하나를 포함하는 음성 지시를 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 제어부는, 상기 모션 지시 또는 상기 음성 지시에 따라, 상기 드로잉 객체의 출력 속성을 단계적으로 변경 또는 이동시기커나, 상기 드로잉 객체에 기 설정된 효과음을 상기 출력부를 통해 출력시키도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 제2 카메라부는, 상기 출력부를 통해 안내 콘텐츠가 제공되는 동안 상기 콘텐츠를 시청하는 사용자의 실제 이미지를 실시간으로 획득하도록 구성되며, 상기 제어부는, 상기 드로잉 객체와 동시에 상기 실제 이미지를 상기 콘텐츠 내에 삽입하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 제어부는, 상기 드로잉 객체의 위치에 따라 상기 실제 이미지를 상기 콘텐츠 내 기 설정된 위치에 삽입하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 제어부는, 상기 실제 이미지에서 문자 또는 숫자를 검출하고, 검출된 문자 또는 숫자를 기초로 상기 드로잉 객체의 출력 속성을 변경시키거나, 기 설정된 시나리오에 따라 상기 콘텐츠의 시뮬레이션을 실행하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 제어부는, 상기 콘텐츠의 기 설정된 시나리오의 종료 여부를 확인하고, 상기 시나리오가 종료되지 않은 것으로 확인되면, 추가 모션 데이터 또는 음성 데이터 요청 신호를 상기 출력부를 통해 제공하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 제어부는, 상기 오디오부를 통해 사용자가 위치한 공간에 대한 정보 또는 간접 체험 학습을 희망하는 콘텐츠에 대한 정보를 획득하고, 획득된 정보를 기초로 사용자의 상황 별 간접 체험학습을 위한 콘텐츠를 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 제어부는, 상기 콘텐츠 상에 상기 드로잉 객체를 획득하기 위한 안내 콘텐츠를 제공하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 제1 카메라부, 상기 제2 카메라부, 상기 오디오부 및 상기 제어부 중 어느 하나의 구성 요소가 배치되는 하우징을 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 하우징은, 상기 제1 카메라부와 대향 배치되어, 상기 드로잉 객체가 포함된 대상체가 안착되는 패널부와 상기 제1 카메라부가 배치된 하우징을 상기 패널부에서부터 기 설정된 높이까지 이격시키기 위한 고정부를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 제어부는, 상기 제2 카메라부를 통해 기 설정된 거리에 위치한 사용자의 모션 데이터를 획득할 수 있도록 상기 실시간으로 획득되는 실제 이미지에 따라 상기 제2 카메라부와 사용자 사이의 거리 조정 알림을 생성하도록 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 사용자가 그려 넣은 이미지와 사용자의 동작 또는 음성을 매칭하고, 매칭 결과에 따라 이미지를 출력 속성에 맞게 변경시킴으로써, 사용자에게 학습 효과를 제공할 수 있다. 특히, 이미지의 출력 속성이 한 가지로 정의되는 것이 아니라 사용자의 동작 또는 음성을 해석한 결과에 따라 서로 다르게 정의되어 출력되는 바, 학습 효과를 보다 증진시킬 수 있다.
또한 본 발명은, 사용자가 직접 그린 이미지가 콘텐츠의 위치와 속성에 맞게 삽입되어, 콘텐츠 제작을 용이하게 하면서도 사용자의 상상력을 높이면서, 흥미를 유발할 수 있다.
또한 본 발명은 사용자가 그린 이미지와 사용자의 동작 및 음성을 획득하기 위한 하나의 장치가 휴대 가능한 사이즈로 이루어져 있어, 사용자는 어디서 언제든지 상황 별 간접 체험 학습을 수행할 수 있다. 뿐만 아니라, 인터렉티브 콘텐츠를 제공하는 장치는 사용자의 필요에 따라 크게 제작되고, 장치의 하부에 휠을 장착시킴으로써, 장치를 안정적으로 이동시키고 사용할 수 있다.
또한 본 발명은, 실생활에서 체험하기 힘든 상황들을 간접 체험할 수 있어, 체험에 따른 학습을 수행하기 위한 비용을 절약할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 장치를 활용한 인터렉티브 콘텐츠 제공 방법의 개요를 설명하기 위한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 시스템의 개략도이다.
도 3은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 장치를 예시적으로 나타낸 개략도이다.
도 4는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 장치의 구성을 나타낸 블록도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 장치의 사용 방식을 설명하기 위한 개략도이다.
도 7은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법의 개략적인 순서도이다.
도 8은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법의 구체적인 순서도이다.
도 9a 내지 도 10e는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠가 제공되는 방식을 설명하기 위한 개략도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 장치를 활용한 인터렉티브 콘텐츠 제공 방법의 개요를 설명하기 위한 개략도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법은, 사용자가 재난, 위급 상황 시 행동 요령 등을 간접 체험하게 하는 방법으로서, 인터렉티브 콘텐츠 제공 장치(100)를 통해 수행될 수 있다. 구체적으로, 인터렉티브 콘텐츠 제공 장치(100)는 디스플레이 장치(200)로 콘텐츠를 출력하고, 이와 동시에 인터렉티브 콘텐츠 제공 장치(100)는 해당 콘텐츠를 시청 중인 사용자의 모습(A)을 수집하고, 수집된 사용자의 모습(A)을 콘텐츠에 출력할 수 있다.
본 발명의 일 실시예에서 인터렉티브 콘텐츠 제공 장치(100)는 단순히 콘텐츠 안에 사용자의 모습(A)을 합성하여 넣는 것이 아니라, 디스플레이 장치(200)를 통해 사용자의 모습(A)과 사용자가 그린 이미지(B)를 동시에 콘텐츠 상에 출력할 수 있다. 여기서, 사용자의 모습(A)은 사용자의 실제 이미지, 사용자의 동작, 사용자의 발화 내용 등을 포함하는 사용자 인터렉션을 의미하고, 사용자가 그린 이미지(B)는 드로잉 객체를 의미할 수 있다.
본 발명의 일 실시예에서 인터렉티브 콘텐츠 제공 장치(100)는 드로잉 객체 또는 콘텐츠에 포함된 배경 객체의 출력 속성을 사용자 인터렉션에 따라 변경시킬 수 있다. 예를 들어, 사용자 인터렉션에 따른 변화는 드로잉 객체 또는 배경 객체가 이동/변화하거나, 드로잉 객체 또는 배경 객체와 연관된 이미지가 새롭게 출력되거나, 드로잉 객체 또는 배경 객체가 삭제되는 등의 시각적인 출력 속성 변화를 포함하고, 드로잉 객체 또는 배경 객체와 연관된 오디오가 출력되는 등의 청각적인 출력 속성 변화를 포함할 수 있다.
아울러, 인터렉티브 콘텐츠 제공 장치(100)는 사용자 디바이스(300)로부터 간접 체험 학습 요청을 수신하고, 디스플레이 장치(200)로 콘텐츠를 제공할 수 있다. 또한, 사용자의 모습(A)을 획득하고 이를 콘텐츠 상에 출력하는 동안, 사용자 디바이스(300)로부터 콘텐츠 화면 공유 요청을 수신하고, 사용자 디바이스(300)로 디스플레이 장치(200)가 출력 중인 화면을 공유할 수 있다.
본 발명의 일 실시예에 따른 콘텐츠 제공 방법은, 인터렉티브 콘텐츠 제공 장치(100)가 단순히 사용자의 모습(A)을 콘텐츠 상에 투영하는 것에서 나아가 사용자가 직접 그린 콘텐츠 관련 이미지(B)를 콘텐츠 안에 삽입하고, 그 이미지가 사용자의 인터렉션에 따라 변경되게 함으로써, 사용자가 콘텐츠의 전반적인 내용을 만들어내고 이끌어갈 수 있도록 하며, 그에 따라 사용자의 흥미가 증대되어, 이를 이용한 학습 효과도 증대될 수 있다.
도 2는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 시스템의 개략도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 시스템(1000)은 인터렉티브 콘텐츠 제공 장치(100)(이하, “콘텐츠 제공 장치”라고 함.), 디스플레이 장치(200) 및 사용자 디바이스(300)를 포함할 수 있다.
콘텐츠 제공 장치(100)는 사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 제공하고, 사용자 인터렉션에 따라 콘텐츠를 시나리오에 맞게 시뮬레이션하는 장치로서, 이미지/영상을 촬영하고, 오디오를 입출력하는 기능을 가진 각종 전자 장치를 포함할 수 있다. 구체적으로, 콘텐츠 제공 장치(100)는 각종 출력 수단을 통해 콘텐츠를 제공한 이후, 사용자로부터 콘텐츠와 연관된 드로잉 객체와 드로잉 객체를 변화시킬 모션 데이터/음성 데이터를 획득할 수 있으며, 획득된 두 가지의 데이터를 이용하여 드로잉 객체의 출력 속성을 변경시킬 수 있다. 보다 구체적으로, 콘텐츠 제공 장치(100)는 모션 데이터를 통해 사용자의 현재 자세, 자세 유지 시간, 자세 변화를 파악할 수 있고, 음성 데이터를 통해 사용자의 발화 내용, 발화 시간, 발화 크기 등을 파악할 수 있으며, 파악된 데이터를 기초로 드로잉 객체를 지정된 위치/크기에 맞게 삽입하고, 콘텐츠 안에서 변경/이동시키거나, 드로잉 객체와 관련된 효과음을 출력시킬 수 있다.
즉, 본 발명의 일 실시예에 따른 콘텐츠 제공 장치(100)는 각종 출력 수단을 통해 기 설정된 시나리오에 따라 콘텐츠를 출력하는 과정에서, 사용자가 직접 그린 이미지와 사용자의 행동을 활용함으로써, 사용자의 학습 이해도를 높이고 흥미를 유발시킬 수 있다.
한편, 콘텐츠 제공 장치(100)가 제공하는 콘텐츠의 종류에 따라, 사용자가 위치한 실제 배경을 콘텐츠의 배경으로 설정할 수 있으며, 그에 따라 사용자는 실제 그 공간에 있는 듯한 사실감을 느낄 수 있다.
디스플레이 장치(200)는 콘텐츠 제공 장치(100)와 연결되어, 콘텐츠 제공 장치(100)가 제공하는 각종 콘텐츠를 출력할 수 있다. 여기서 콘텐츠는 상황 별 간접 체험 학습이 가능한 콘텐츠일 수 있다. 예를 들어, 콘텐츠는 재난을 간접 체험할 수 있는 콘텐츠, 동식물을 육성할 수 있는 콘텐츠, 과학 실험을 할 수 있는 콘텐츠, 직업 체험을 할 수 있는 콘텐츠, 교통 안전을 체험할 수 있는 콘텐츠 등을 포함할 수 있다.
디스플레이 장치(200)는 콘텐츠 상에 1)사용자의 실제 모습과 2)사용자가 직접 그린 콘텐츠 관련 그림이 삽입된 화면을 출력할 수 있으며, 사용자 인터렉션에 따른 오디오를 출력할 수도 있다.
실시예에 따라, 디스플레이 장치(200)는 투사 장치(예. 프로젝터)일 수 있으며, 이러한 경우, 디스플레이 장치(200)는 별도의 투사면을 구비할 수 있다.
한편, 인터렉티브 콘텐츠 제공 시스템(1000)은 디스플레이 장치(200)와 같은 시청각적 출력 장치 외에, 비, 바람, 연기, 발향, 진동 장치 등 다양한 특수 효과 장치를 더 포함할 수 있으며, 이를 통해 사용자에게 보다 사실적인 간접 체험 학습을 제공할 수 있다.
사용자 디바이스(300)는 콘텐츠 제공 장치(100)가 제공하는 콘텐츠, 즉 디스플레이 장치(200)에 출력되는 콘텐츠를 시청하는 시청자가 소지한 디바이스로서, 스마트 폰, 태블릿 PC, PC 등의 각종 전자 장치를 포함할 수 있다. 예를 들어, 인터렉티브 콘텐츠 제공 시스템(1000)을 통해 어린이들이 상황 별 간접 체험 학습을 수행하는 동안 보호자들은 각자 자신이 소지한 디바이스(300)를 통해 디스플레이 장치(200)에 출력되는 아이의 모습과 함께 콘텐츠 화면을 실시간으로 시청할 수 있다.
실시예에 따라, 사용자 디바이스(300)는 콘텐츠 제공 장치(100)로 간접 체험 학습을 요청할 수 있으며, 콘텐츠 제공 장치(100)는 사용자 디바이스(300)로 콘텐츠를 제공함과 동시에 사용자 디바이스(300)로부터 사용자가 그린 그림(드로잉 객체), 모션 데이터 및 음성 데이터를 획득한 후, 이를 조합한 콘텐츠를 디스플레이 장치(200) 및 사용자 디바이스(300)로 제공할 수 있다.
지금까지 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 시스템(1000)에 대하여 설명하였다. 본 발명에 따르면, 인터렉티브 콘텐츠 제공 시스템(1000)은 콘텐츠 제공 장치(100)가 사용자가 직접 그린 그림(드로잉 객체)을 사용자의 모션/음성에 따라 다양한 출력 속성을 가지고 변형시킴으로써, 콘텐츠를 통한 학습 효과를 보다 증진시킬 수 있으며, 사용자들에게 다양한 간접 체험 학습의 기회를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 장치를 예시적으로 나타낸 개략도이고, 도 4는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 장치의 구성을 나타낸 블록도이다.
먼저, 도 3을 참조하면, 콘텐츠 제공 장치(100)는 사용자의 모습과 콘텐츠 관련 그림 이미지를 획득하기 위한 구성 요소들을 포함할 수 있다. 구체적으로, 콘텐츠 제공 장치(100)는 물리적인 구성 요소를 기준으로 보았을 때, 하우징(10), 제1, 제2 카메라부(21)(23), 오디오부(31) 및 제어부(40)를 포함할 수 있다.
하우징(10)은 제1, 제2 카메라부(21)(23), 오디오부(31) 및 제어부(40)가 배치 또는 수납될 수 있는 함체로서, 도 3에서는 하우징(10)이 정육면체 형상인 것으로 도시되었지만, 이에 제한되지 않는 다양한 형상이 가능할 수 있다. 예를 들어, 하우징(10)은 원통, 다각형통 형상일 수 있으며, 구 형상으로 이루어질 경우, 콘텐츠 제공 장치(100)를 바닥면에 안착시키기 위한 지지 부재가 더 포함될 수 있다.
아울러, 제1, 제2 카메라부(21)(23), 오디오부(31) 및 제어부(40)가 배치 또는 수납된 위치는 도 3과 같이 제한되지 않고, 다양한 위치에 배치 또는 수납될 수 있다. 예를 들어, 제1, 제2 카메라부(21)(23)는 하우징(10)의 측면에 나란하게 배치될 수 있으며, 180° 반대되는 방향에 배치될 수도 있다.
또한, 하우징(10)의 크기는 사용자의 필요에 따라 휴대 가능한 작은 사이즈로 제작되거나, 어린이나 성인의 시야에 맞게 큰 사이즈로 제작될 수 있다. 그에 따라, 사용자들은 콘텐츠 제공 장치(100)를 이용하여 실내, 실외 장소에 제약 없이 다양한 공간에서 상황 별 간접 체험학습을 수행할 수 있으며, 장치 사용의 편의성을 높여줄 수 있다.
제1 카메라부(21)는 드로잉 객체를 획득할 수 있는 촬영 장치로서, 360° 카메라, 스테레오 카메라, 광각 카메라, 웹캠(Webcam) 등을 포함할 수 있다. 실시예에 따라, 제1 카메라부(31)는 거리에 따른 화각 안에서 드로잉 객체를 포함하는 전체 이미지를 획득하고, 이를 제어부(40)로 전달할 수 있다. 보다 구체적으로, 제1 카메라부(21)는 각종 출력 수단을 통해 안내 콘텐츠가 제공되는 동안, 콘텐츠와 연관된 드로잉 객체를 획득할 수 있다.
실시예에 따라, 제1 카메라부(21)는 하우징(10)의 내부 공간에 배치될 수도 있으며, 이러한 경우, 제1 카메라부(21)의 촬영 방향 및 화각에 맞게 이미지가 하우징(10)의 내측으로 삽입되었을 때, 제1 카메라부(21)가 이미지를 촬영하고, 드로잉 객체를 획득할 수 있다.
제2 카메라부(23)는 사용자의 모션 데이터를 획득할 수 있는 촬영 장치로서, 360° 카메라, 스테레오 카메라, 광각 카메라, 웹캠(Webcam) 등을 포함할 수 있다. 실시예에 따라, 제2 카메라부(23)는 사용자의 움직임과 음성을 영상으로 획득하고, 이를 제어부(40)로 전달할 수 있다. 보다 구체적으로, 제2 카메라부(23)는 각종 출력 수단을 통해 안내 콘텐츠가 제공되는 동안, 사용자의 모션 데이터를 획득할 수 있다.
아울러, 제2 카메라부(23)는 제어부(40)가 영상 속에서 사용자의 모습만을 추출할 수 있도록 객체를 인식하고, 객체의 움직임과 거리 정보를 획득하기 위한 Lidar 센서나 ToF(Time of Flight) 센서를 포함할 수 있다.
오디오부(31)는 사용자의 음성 데이터를 획득할 수 있는 장치로서, 마이크로폰을 포함할 수 있다. 오디오부(31)는 사용자의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있으며, 이를 제어부(40)로 전달할 수 있다.
제어부(40)는 CPU(Central Processing Unit)나 AP(Application Processor)와 같은 연산 장치에 해당할 수 있다. 또한, 제어부(140)는 다양한 연산 장치가 통합된 SoC(System on Chip)와 같은 통합 칩(Integrated Chip (IC))의 형태로 구현될 수 있다.
실시예에 따라, 제어부(40)는 드로잉 객체를 포함하는 콘텐츠를 각종 출력 수단을 통해 제공하고, 드로잉 객체의 출력 속성을 모션 데이터 또는 음성 데이터를 기초로 변경시킬 수 있으며, 이에 대한 보다 구체적인 설명은 후술하도록 한다.
한편, 도 3에 도시되어 있지 않았으나, 콘텐츠 제공 장치(100)는 외부로 노출된 일 면에 디스플레이부를 더 포함할 수 있다. 콘텐츠 제공 장치(100)가 디스플레이부를 포함하는 경우, 인터렉티브 콘텐츠 제공 시스템(1000)은 디스플레이 장치(200) 없이, 콘텐츠 제공 장치(100)만으로도 사용자에게 상황 별 간접 체험학습을 제공할 수 있다.
다음으로, 도 4를 참조하면, 콘텐츠 제공 장치(100)는 기능적인 구성 요소를 기준으로 보았을 때, 통신부(110), 저장부(120), 입력부(130), 출력부(140) 및 제어부(150)를 포함할 수 있다.
통신부(110)는 유/무선 네트워크를 통해 디스플레이 장치(200) 및 사용자 디바이스(300)와 연결되어 데이터를 주고 받을 수 있다. 예를 들어, 통신부(110)는 디스플레이 장치(200)로 간접 체험 상황 별 배경이 되는 콘텐츠, 사용자 인터렉션에 따라 합성/변경된 콘텐츠를 송신할 수 있으며, 사용자로부터 콘텐츠를 진행하기 위한 추가 데이터를 요청 정보를 송신할 수 있다. 다른 예를 들어, 통신부(110)는 사용자 디바이스(300)로부터 간접 체험 학습 요청, 콘텐츠 공유 요청을 수신하고, 그에 따라 디스플레이 장치(200)에 출력되고 있는 콘텐츠 화면을 송신할 수 있다.
저장부(120)는 간접 체험 학습을 제공하기 위한 각종 데이터를 저장할 수 있다. 예를 들어, 저장부(120)는 콘텐츠 별로 기 설정된 시나리오를 저장할 수 있으며, 시나리오에 따라 드로잉 객체가 삽입되어야 할 위치, 크기, 사용자의 모션 데이터, 음성 데이터에 따라 변경되는 드로잉 객체의 출력 속성 정보, 드로잉 객체의 유형에 따른 출력 속성 정보, 사용자들을 통해 인식된 문자, 숫자 별로 상이한 출력 속성 정보, 복수의 사용자들로부터 획득된 드로잉 객체, 간접 체험 학습 히스토리 등을 저장할 수 있다.
보다 구체적으로, 저장부(120)는 사용자의 자세, 자세 유지 시간 및 자세 변화 정보와 함께 상이한 출력 속성 정보를 저장할 수 있다. 예를 들어, 저장부(120)는 사용자의 손 동작 속도가 빠를수록, 손 동작의 크기가 클수록 드로잉 객체에 지정된 이동 속도를 빠르게 하거나, 드로잉 객체의 크기를 보다 크게 확대할 수 있도록 서로 다른 출력 속성 정보를 저장할 수 있다.
또한, 저장부(120)는 사용자의 실제 모습 안에서 “119”라는 문자를 인식할 경우, 콘텐츠 내에서 핸드폰 이미지와 함께 구급 대원으로 전화하는 것과 같은 가상의 이미지(예. 전화기 이미지)와 오디오를 출력할 수 있도록 출력 속성 정보를 저장할 수 있다.
또한, 저장부(120)는 콘텐츠의 종류 별로 드로잉 객체의 유형을 분류하여 저장할 수 있다. 예를 들어, 콘텐츠가 소방 훈련을 제공하는 콘텐츠일 경우, 저장부(120)에는 사용자가 화재를 진압할 수 있는 기구들에 대한 이미지를 유형별로 저장할 수 있으며, 이후 제어부(150)는 저장부(120)에 저장된 기구의 종류(소화기, 양동이, 호스)에 따라 서로 다른 이미지(소화액, 물줄기, 물 웅덩이)가 해당 이미지와 연결되어 출력될 수 있도록 제어할 수 있다.
다양한 실시예에서, 저장부(120)는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 저장부(120)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(SD, XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또한, 저장부(120)는 콘텐츠 제공 장치(100)의 동작을 위한 명령어들이 기록되어 있을 수 있다. 다양한 실시예에서, 저장부(120)는 사용자의 모션 데이터, 음성 데이터에 따라 드로잉 객체의 출력 속성을 변경시키기 위한 어플리케이션(미도시)이 기록되어 있을 수 있다.
입력부(130)는 사용자로부터 다양한 설정 정보를 입력 받을 수 있다. 입력부(130)는 저장부(120)에 저장된 다양한 콘텐츠-시나리오 중 사용자로부터 특정 콘텐츠에 대한 진행 요청을 입력 받을 수 있으며, 콘텐츠 안에서 사용자가 그린 드로잉 객체가 삽입될 위치를 지정 받을 수도 있다. 예를 들어, 출력부(140)를 통해 콘텐츠 안에서 드로잉 객체가 삽입될 기준 영역을 제공하고, 입력부(130)는 사용자로부터 드로잉 객체가 삽입될 위치를 지정 받을 수 있다.
실시예에 따라, 입력부(130)는 제1 카메라부(131) 및 제2 카메라부(133)를 포함할 수 있으며, 제1 및 제2 카메라부(131)(133)를 통해 간접 체험 학습을 제공하기 위한 각종 데이터를 입력 받을 수 있다. 예를 들어, 제1 카메라부(131)는 콘텐츠에 삽입될 드로잉 객체를 획득할 수 있다. 다른 예를 들어, 제2 카메라부(133)는 드로잉 객체와 함께 콘텐츠에 삽입될 사용자의 실제 이미지를 획득할 수 있고, 드로잉 객체의 출력 속성을 변경시킬 수 있는 사용자의 모션 데이터를 획득할 수 있다.
출력부(140)는 저장부(120)에 저장된 다양한 콘텐츠를 출력할 수 있다. 실시예에 따라, 출력부(140)는 오디오부(141) 또는 디스플레이부(143)를 포함할 수 있다. 예를 들어, 오디오부(141)는 사용자의 음성 데이터를 획득할 수 있으며, 디스플레이부(143)는 제2 카메라부(133)가 촬영한 사용자의 실제 모습, 사용자가 그린 드로잉 객체를 하나의 콘텐츠 안에서 출력할 수 있다.
실시예에 따라, 출력부(140)는 사용자의 터치 입력을 수신할 수 있으며, 이러한 경우, 입력부(130)와 출력부(140)는 하나의 물리적 구성 요소로 이루어질 수 있다. 그에 따라, 출력부(140)는 영상을 표시하는 영역에서 발생하는 다양한 입력을 인식할 수 있는 다양한 센싱 수단들을 포함할 수 있다.
제어부(150)는 통신부(110), 저장부(120), 입력부(130) 및 출력부(140)와 동작 가능하게 연결되어, 콘텐츠 제공 장치(100)의 전반적인 동작을 제어할 수 있으며, 저장부(120)에 저장된 어플리케이션 또는 프로그램을 구동하여, 사용자에게 간접 체험 학습을 제공하기 위한 다양한 명령들을 수행할 수 있다.
제어부(150)는 CPU(Central Processing Unit)나 AP(Application Processor)와 같은 연산 장치에 해당할 수 있다. 또한, 제어부(150)는 다양한 연산 장치가 통합된 SoC(System on Chip)와 같은 통합 칩(Integrated Chip (IC))의 형태로 구현될 수 있다.
실시예에 따라, 제어부(150)는 사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 출력부(140)를 통해 제공할 수 있다. 제어부(150)는 사용자의 요청에 따라 지정된 콘텐츠를 제공할 수도 있지만, 이외에도 사용자가 위치한 공간에 대한 정보를 획득하면, 획득된 정보를 토대로 콘텐츠를 제공할 수 있다. 예를 들어, 제어부(150)는 오디오부(141)를 통해 “현재 위치는 과수원”라는 음성 데이터를 획득한 경우, 사용자가 위치한 공간이 과수원인 것으로 판단할 수 있으며, 제어부(150)는 출력부(140)를 통해 식물을 육성할 수 있는 콘텐츠를 제공할 수 있다. 즉, 제어부(150)는 오디오부(141)를 통해 사용자가 위치한 공간에 대한 정보 또는 간접 체험 학습을 희망하는 콘텐츠에 대한 정보를 획득하고, 획득된 정보를 토대로 사용자의 상황 별 간접 체험학습을 위한 콘텐츠를 결정할 수 있다.
이와 같이, 콘텐츠가 제공되는 동안, 제어부(150)는 제1 카메라부(131)를 통해 사용자로부터 콘텐츠와 연관된 드로잉 객체를 획득할 수 있으며, 이를 콘텐츠에 삽입할 수 있다. 여기서, 드로잉 객체는 콘텐츠가 기 설정된 시나리오에 따라 진행되기 위한 구성 요소로서, 제어부(150)는 사용자로부터 드로잉 객체를 획득하기 위해, 콘텐츠와 연관된 안내 콘텐츠를 콘텐츠 상에 제공할 수 있다. 예를 들어, 화재 발생 시 대피하는 방법을 학습하는 콘텐츠에서 화재 진압 시에 필요한 드로잉 객체(소화기, 물 양동이, 수도꼭지)를 얻을 수 있도록, 제어부(150)는 출력부(140)를 통해 “불을 끌 수 있는 이미지를 그려 넣어 주세요”와 같은 문구나, 실제 소화기 이미지, 물 양동이 이미지, 실선/점선으로 그려진 이미지를 제공할 수 있으며, 안내 콘텐츠는 상술한 문구나 이미지가 안내 콘텐츠를 포함할 수 있다. 이와 같이, 제어부(150)가 사용자에게 안내 콘텐츠를 제공해 줄 경우, 제어부(150)는 이후 제1 카메라부(131)를 통해 획득된 드로잉 객체를 가이드 이미지와 동일 유형으로 정의되는 객체인 것으로 식별할 수 있다.
만약, 제어부(150)가 안내 콘텐츠를 제공하지 않는다면, 제어부(150)는 사용자로부터 획득된 드로잉 객체가 어떠한 객체인지 식별하고, 정의하는 과정을 수행할 수 있다. 즉, 제어부(150)는 사용자로부터 획득된 드로잉 객체를 인식하고, 출력 속성을 지정하기 위한 드로잉 객체의 유형을 결정할 수 있다. 구체적으로, 제어부(150)는 콘텐츠 별로 시나리오 진행을 위해 활용될 수 있는 객체의 이미지를 수집하여 저장부(120)에 저장할 수 있으며, 저장된 객체의 이미지와 드로잉 객체와의 유사도를 계산할 수 있다. 그에 따라, 제어부(150)는 계산된 유사도 값을 기초로 사용자가 어떠한 객체를 그린 것인지 판단하고, 판단 결과에 따라 드로잉 객체의 유형을 결정할 수 있다.
한편, 제어부(150)는 콘텐츠에 드로잉 객체의 위치가 지정되어 있는지 콘텐츠 이용 설정을 확인할 수 있다. 구체적으로, 제어부(150)는 사용자의 요청에 따라 간접 체험 학습을 위한 콘텐츠를 진행하기 전에, 입력부(130) 또는 출력부(140)를 통해 사용자로부터 드로잉 객체를 직접 사용자가 원하는 위치에 삽입할 것인지, 콘텐츠 별로 지정된 위치에 맞게 자동으로 삽입할 것인지, 콘텐츠 이용 설정을 확인할 수 있다.
만약, 콘텐츠 이용 설정에 따라 드로잉 객체의 위치가 지정되어 있다면, 제어부(150)는 콘텐츠에 기 설정된 시나리오에 따라 사용자가 그린 드로잉 객체를 콘텐츠 내 지정된 크기 및 위치에 맞게 삽입할 수 있다. 즉, 제1 카메라부(131)를 통해 드로잉 객체를 획득하면, 제어부(150)는 드로잉 객체를 지정된 위치에 삽입하고, 그 크기를 조정할 수 있다.
반대로, 콘텐츠 이용 설정에 따라 드로잉 객체의 위치가 지정되어 있지 않다면, 제어부(150)는 입력부(130) 또는 출력부(140)를 통해 사용자로부터 드로잉 객체가 삽입될 위치를 선택 받고, 선택 받은 위치에 따라 콘텐츠에 삽입될 드로잉 객체의 유형을 결정할 수 있다. 예를 들어, 화재가 발생한 빌딩 주변에 삽입될 드로잉 객체는 화재를 진압하기 위한 차량이 될 수 있으므로, 드로잉 객체의 유형은 차량이 될 수 있으며, 화재가 발생한 빌딩으로 진입하였을 때, 통로 주변에 삽입될 드로잉 객체는 소화기, 물 양동이가 될 수 있으므로, 드로잉 객체의 유형은 손으로 들 수 있는 화재 진압 수단 또는 기구가 될 수 있다.
다른 한편, 제어부(150)는 콘텐츠 상에 드로잉 객체를 삽입한 후, 제2 카메라부(133)를 통해 사용자의 실제 이미지를 획득하고, 실제 이미지를 콘텐츠 내에 삽입할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 콘텐츠 상에 사용자들이 그린 그림과 사용자의 실제 모습이 동시에 출력될 수 있다.
아울러, 제어부(150)는 드로잉 객체의 위치에 따라 실제 이미지를 기 설정된 위치에 삽입할 수 있다. 예를 들어, 드로잉 객체가 소화기인 경우, 사용자의 실제 이미지가 소화기 옆 위치에 삽입될 수 있으며, 드로잉 객체가 소방차인 경우, 사용자의 실제 이미지가 소방차 운전석 또는 좌석 위에 삽입될 수 있다.
또한, 제어부(150)는 사용자의 실제 이미지를 획득한 후에, 실제 이미지 안에서 문자 또는 숫자를 검출할 수 있다. 구체적으로, 제어부(150)는 제2 카메라부(133)를 통해 수신한 영상에서 사용자를 인식하고, 배경을 제외한 사용자의 실제 이미지만을 추출할 수 있으며, 사용자가 들고 있거나, 몸에 부착되어 있는 문자 또는 숫자를 검출할 수 있다. 예를 들어, 검출된 문자가 “119”“”인 경우, 기 설정된 시나리오에 따라 핸드폰 화면이 뜨거나, 구조 대원과의 대화가 가능하도록 오디오가 출력될 수 있다.
상술한 과정을 통해, 콘텐츠 상에 사용자로부터 획득한 드로잉 객체와 사용자의 실제 이미지가 삽입되었다면, 제어부(150)는 제2 카메라부(133) 또는 오디오부(141)를 통해 콘텐츠를 시청하고 있는 사용자의 모션 데이터 또는 음성 데이터를 획득할 수 있으며, 제어부(150)는 획득된 어느 하나의 데이터를 기초로 드로잉 객체의 출력 속성을 변경시킬 수 있다. 구체적으로, 제어부(150)는 모션 데이터를 기초로 사용자의 자세, 자세 유지 시간 및 자세 변화 중 어느 하나를 포함하는 모션 지시를 결정하고, 음성 데이터를 기초로 사용자의 발화 내용, 발화 시간 및 발화 크기 중 어느 하나를 포함하는 음성 지시를 결정할 수 있으며, 결정된 모션 지시 또는 음성 지시에 따라 드로잉 객체의 출력 속성을 변경시킬 수 있다. 예를 들어, 제어부(150)는 사용자가 식물에 물을 뿌리는 자세가 어느 정도 기울어져 있는지에 따라 물 뿌리개에서 쏟아지는 물의 양이 조절할 수 있으며, 사용자의 목소리가 얼마나 크고 오래동안 지속되는지에 따라 소방차를 빠른 속도로 오랫동안 달리게 할 수 있으며, 소화기를 조준하는 자세가 지정된 자세에 부합하지 않는 경우, 소화액이 분사되지 않도록 하며, 사용자가 “불이야”라고 외치는 경우, 콘텐츠 속 객체들이 이동할 수 있도록 하는 등, 드로잉 객체 또는 배경 객체의 출력 속성을 변경시킬 수 있다.
뿐만 아니라, 제어부(150)는 모션 지시 또는 음성 지시에 따라 드로잉 객체의 이미지를 단계적으로 변경 또는 이동시키거나, 출력부(140)를 통해 드로잉 객체에 기 설정된 효과음을 출력할 수 있다. 즉, 제어부(150)는 앞서 설명한 모션 데이터 및 음성 데이터에서 사용자의 자세, 자세 유지 시간 및 자세 변화 중 적어도 하나를 포함하는 모션 지시와 사용자의 발화 내용, 발화 시간, 발화 크기 중 어느 하나를 포함하는 음성 지시를 단계적으로 구분하고, 구분 결과에 따라, 출력 속성을 변경시킬 수 있다. 예를 들어, “소방차”를 외치는 소리가 60dB 이상 70 dB 미만일 경우, 소방차를 빠르게 전진시키고, “소방차”를 외치는 소리가 50dB 이상 60 dB 미만일 경우, 소방차를 느리게 전진시킬 수 있다.
모션 데이터 또는 음성 데이터 세트를 수신한 이후에, 제어부(150)는 콘텐츠 별로 기 설정된 시나리오의 종료 여부를 확인할 수 있다. 만약, 시나리오가 종료되지 않은 것으로 확인되면, 제어부(150)는 출력부(140)를 통해 추가 모션 데이터 또는 음성 데이터 요청 신호를 제공하여 간접 체험 상황이 종료될 때까지 상술한 과정을 반복할 수 있다. 반대로, 시나리오가 종료되었다면, 제어부(150)는 출력부(140)를 통해 사용자에게 콘텐츠의 종료를 알릴 수 있으며, 사용자의 동작 또는 음성에 따라 적절한 학습이 진행되었는지 학습 결과를 함께 제공할 수 있다.
지금까지 본 발명의 일 실시예에 따른 콘텐츠 제공 장치(100)에 대하여 설명하였다. 본 발명에 따르면, 콘텐츠 제공 장치(100)는 사용자가 그려 넣은 이미지와 사용자의 동작 또는 음성을 매칭하고, 매칭 결과에 따라 드로잉 객체 또는 배경 객체를 출력 속성에 맞게 변경시킴으로써, 사용자에게 학습 효과를 제공할 수 있다. 특히, 드로잉 객체 또는 배경 객체의 출력 속성이 한 가지로 정의되는 것이 아니라 사용자의 동작 또는 음성을 해석한 결과에 따라 서로 다르게 정의되어 출력되는 바, 학습 효과를 보다 증진시킬 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 장치의 사용 방식을 설명하기 위한 개략도이다.
도 5를 참조하면, 제1 카메라부(21), 제2 카메라부(23) 및 오디오부(31)가 배치되는 하우징(10)이 바닥면에서 일정 높이 띄워진 상태로 배치될 수 있다. 구체적으로, 하우징(10)은 제1 카메라부(21)와 대향 배치되어, 드로잉 객체(C)가 포함된 대상체(D)가 안착되는 패널부(11)와 제1 카메라부(21)가 배치된 하우징(10)을 패널부(11)에서부터 기 설정된 높이(H)까지 이격시키기 위한 고정부(13)를 더 포함할 수 있다. 예를 들어, 대상체(D)는 양동이 이미지(C)를 포함하는 스케치북이 될 수 있다.
또한, 도 6을 참조하면, 콘텐츠 제공 장치(100)는 별도의 지지 장치 없이 테이블에 배치된 상태에서 제2 카메라부(23)를 통해 사용자의 실제 이미지나 모션 데이터를 획득하고, 오디오부(31)를 통해 음성 데이터를 획득할 수도 있다.
아울러, 콘텐츠 제공 장치(100)는 제2 카메라부(23)를 통해 기 설정된 거리에 위치한 사용자의 모션 데이터를 획득할 수 있도록, 실시간으로 획득되는 실제 이미지에 따라 제2 카메라부(23)와 사용자 사이의 거리(D)를 조정하기 위한 알림을 생성할 수 있다. 예를 들어, 콘텐츠 제공 장치(100)는 시각적 출력 수단을 통해 제2 카메라부(23)가 촬영 중인 화면의 모습과 함께 사용자가 이동해야 하는 위치를 표시하는 알림을 생성하거나, 청각적 출력 수단을 통해 사용자가 앞뒤, 좌우로 어느 정도 폭만큼 이동해야 하는지의 지시 목소리를 제공하는 알림을 생성할 수 있다. 즉, 콘텐츠 제공 장치(100)의 크기 또는 제2 카메라부(23)의 화각에 따라 사용자의 전신을 보다 정확하게 측정할 수 있도록, 콘텐츠 제공 장치(100)는 사용자가 적정 위치로 이동할 수 있는 알림을 제공할 수 있다.
이하에서는, 상술한 콘텐츠 제공 장치(100)의 관점에서 간접 체험 학습을 위한 인터렉티브 콘텐츠 제공 방법의 흐름에 대하여 개략적으로 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법의 개략적인 순서도이다.
도 7을 참조하면, 콘텐츠 제공 장치(100)는 사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 출력부(140)를 통해 제공한다(S110). 콘텐츠 제공 장치(100)는 사용자의 요청에 따라 지정된 콘텐츠를 제공할 수도 있지만, 이외에도 사용자가 위치한 공간에 대한 정보를 획득하면, 획득된 정보를 토대로 콘텐츠를 제공할 수 있다. 예를 들어, 콘텐츠 제공 장치(100)는 오디오부(141)를 통해 “현재 위치는 과수원”라는 음성 데이터를 획득한 경우, 사용자가 위치한 공간이 과수원인 것으로 판단할 수 있으며, 콘텐츠 제공 장치(100)는 출력부(140)를 통해 식물을 육성할 수 있는 콘텐츠를 제공할 수 있다. 즉, 콘텐츠 제공 장치(100)는 오디오부(141)를 통해 사용자가 위치한 공간에 대한 정보 또는 간접 체험 학습을 희망하는 콘텐츠에 대한 정보를 획득하고, 획득된 정보를 토대로 사용자의 상황 별 간접 체험학습을 위한 콘텐츠를 결정할 수 있다.
S110 단계 이후, 콘텐츠 제공 장치(100)는 콘텐츠와 연관된 드로잉 객체를 획득한 후, 드로잉 객체를 콘텐츠에 삽입한다(S120). 실시예에 따라, 콘텐츠 제공 장치(100)는 사용자의 요청에 따라 드로잉 객체를 지정된 위치에 맞게 자동으로 삽입하는지 또는 사용자의 선택에 따라 수동으로 삽입하는지, 콘텐츠 이용 설정을 확인하고, 그에 맞게 드로잉 객체를 콘텐츠의 일 영역에 삽입할 수 있다.
S120 단계 이후, 콘텐츠 제공 장치(100)는 콘텐츠를 시청하는 사용자의 모션 데이터 또는 음성 데이터를 획득한다(S130). 실시예에 따라, 콘텐츠 제공 장치(100)는 콘텐츠를 시청하는 사용자의 모습이 담긴 영상을 획득할 수 있으며, 이 영상 속에서 사용자의 모션 데이터 또는 음성 데이터를 추출할 수 있다. 구체적으로, 콘텐츠 제공 장치(100)는 영상 속에서 배경을 제외한 사용자의 실제 이미지를 획득하고, 실제 이미지를 통해 사용자의 자세, 자세 유지 시간, 제사 변 중 어느 하나를 포함하는 모션 지시를 결정하기 위한 모션 데이터를 추출할 수 있으며, 영상을 통해 사용자의 발화 내용, 발화 시간, 발화 크기 중 어느 하나를 포함하는 음성 지시를 결정하기 위한 음성 데이터를 추출할 수 있다.
S130 단계 이후, 콘텐츠 제공 장치(100)는 획득된 어느 하나의 모션 데이터 또는 음성 데이터를 기초로 드로잉 객체의 출력 속성을 변경한다(S140). 여기서, 출력 속성이란 드로잉 객체와 연결된 이미지가 변화하거나 삭제되는 등의 시각적인 속성, 드로잉 객체와 연관된 효과음이 출력되는 청각적인 속성, 드로잉 객체와 연관된 특수 효과가 구현되는 기타 속성을 포함할 수 있다.
지금까지 콘텐츠 제공 장치(100)를 이용한 인터렉티브 콘텐츠 제공 방법에 대하여 개략적으로 설명하였으며, 인터렉티브 콘텐츠 제공 시스템(1000)을 활용한 인터렉티브 콘텐츠 제공 방법의 흐름에 대하여 구체적으로 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법의 구체적인 순서도이다.
도 8을 참조하면, 콘텐츠 제공 장치(100)는 사용자에게 제공할 콘텐츠를 결정한다(S210). 예를 들어, 콘텐츠는 재난을 간접 체험할 수 있는 콘텐츠, 동식물을 육성할 수 있는 콘텐츠, 과학 실험을 할 수 있는 콘텐츠, 직업 체험을 할 수 있는 콘텐츠, 교통 안전을 체험할 수 있는 콘텐츠 등을 포함할 수 있다.
S210 단계 이후, 콘텐츠 제공 장치(100)는 사용자의 인터렉션이 반영되지 않은 기본 콘텐츠를 출력한다(S220). 이때, 기본 콘텐츠에는 사용자에게 드로잉 객체, 사용자 실제 이미지, 사용자의 모션 데이터 또는 음성 데이터를 요청하는 정보가 포함될 수 있다.
실시예에 따라, 콘텐츠 제공 장치(100)는 장치 자체에 배치된 시각적 출력 장치를 통해 콘텐츠를 출력하거나, 콘텐츠 제공 장치(100)와 연결된 디스플레이 장치(200)를 통해 콘텐츠를 출력할 수 있다. 그에 따라, 도 8에 도시된 “콘텐츠를 출력한다”는 기재는 콘텐츠 제공 장치(100)에서 수행되거나, 콘텐츠 제공 장치(100)와 연결된 디스플레이 장치(200)에서 수행되는 것으로 이해될 수 있다.
S220 단계 이후, 콘텐츠 제공 장치(100)는 사용자의 드로잉 데이터를 획득한다(S230). 여기서의 드로잉 데이터는 콘텐츠를 시청하는 사용자가 직접 그린 그림 또는 사용자가 제공한 이미지를 의미하며, 콘텐츠 제공 장치(100)에 배치된 카메라를 통해 획득할 수 있다.
S230 단계 이후, 콘텐츠 제공 장치(100)는 콘텐츠에 드로잉 객체를 삽입하고(S240), 합성된 콘텐츠를 출력한다(S240). 콘텐츠 제공 장치(100)는 콘텐츠에 드로잉 객체의 위치가 지정되어 있는지를 확인하고, 만약, 드로잉 객체의 위치가 지정되어 있다면, 콘텐츠에 기 설정된 시나리오에 따라 사용자가 그린 드로잉 객체를 콘텐츠 내 지정된 크기 및 위치에 맞게 삽입할 수 있다.
이와 반대로, 드로잉 객체의 위치가 지정되어 있지 않다면, 콘텐츠 제공 장치(100)는 사용자로부터 드로잉 객체가 삽입될 위치를 선택 받고, 선택 받은 위치에 따라 콘텐츠에 삽입될 드로잉 객체의 유형을 결정할 수 있다. 예를 들어, 화재가 발생한 빌딩 주변에 삽입될 드로잉 객체는 화재를 진압하기 위한 차량이 될 수 있으므로, 드로잉 객체의 유형은 차량이 될 수 있으며, 화재가 발생한 빌딩으로 진입하였을 때, 통로 주변에 삽입될 드로잉 객체는 소화기, 물 양동이가 될 수 있으므로, 드로잉 객체의 유형은 손으로 들 수 있는 화재 진압 수단 또는 기구가 될 수 있다.
한편, 콘텐츠 제공 장치(100)는 콘텐츠가 기 설정된 시나리오에 따라 진행될 수 있도록, 드로잉 객체를 획득하기 위한 안내 콘텐츠를 콘텐츠 상에 제공할 수 있다. 예를 들어, 안내 콘텐츠는 사용자가 그려 넣어야 할 객체의 실제 사진이나, 실선/점선으로 그려진 이미지일 수 있으며, 콘텐츠 상에 “토끼를 그려주세요”와 같은 텍스트일 수도 있다. 이와 같이, 콘텐츠 제공 장치(100)가 안내 콘텐츠를 제공해 줄 경우, 콘텐츠 제공 장치(100)는 이후 사용자로부터 획득된 드로잉 객체를 가이드 이미지와 동일 유형으로 정의되는 객체인 것으로 식별할 수 있다.
만약, 콘텐츠 제공 장치(100)가 안내 콘텐츠를 제공하지 않는다면, 콘텐츠 제공 장치(100)는 사용자로부터 획득된 드로잉 객체가 어떠한 객체인지 식별 및 정의하는 과정을 수행할 수 있다. 즉, 콘텐츠 제공 장치(100)는 사용자로부터 획득된 드로잉 객체를 인식하고, 출력 속성을 지정하기 위한 드로잉 객체의 유형을 결정할 수 있다. 구체적으로, 콘텐츠 제공 장치(100)는 콘텐츠 별로 시나리오 진행을 위해 활용될 수 있는 객체의 이미지를 수집하여 저장할 수 있으며, 저장된 객체의 이미지와 드로잉 객체와의 유사도를 계산할 수 있다. 그에 따라, 콘텐츠 제공 장치(100)는 계산된 유사도 값을 기초로 사용자가 어떠한 객체를 그린 것인지 판단하고, 판단 결과에 따라 드로잉 객체의 유형을 결정할 수 있다.
한편, 콘텐츠 제공 장치(100)는 콘텐츠 상에 드로잉 객체를 삽입한 후, 사용자의 실제 이미지를 획득하고, 실제 이미지를 콘텐츠 내에 삽입할 수 있다. 아울러, 콘텐츠 제공 장치(100)는 드로잉 객체의 위치에 따라 실제 이미지를 기 설정된 위치에 삽입할 수도 있다. 예를 들어, 드로잉 객체가 소화기인 경우, 사용자의 실제 이미지가 소화기 옆 위치에 삽입될 수 있으며, 드로잉 객체가 소방차인 경우, 사용자의 실제 이미지가 소방차 운전석 또는 좌석 위에 삽입될 수 있다.
아울러, 콘텐츠 제공 장치(100)는 사용자의 실제 이미지를 획득한 후에, 실제 이미지 안에서 문자 또는 숫자를 검출할 수 있다. 구체적으로, 콘텐츠 제공 장치(100)는 영상에서 사용자를 인식하고, 배경을 제외한 사용자의 실제 이미지만을 추출할 수 있으며, 사용자가 들고 있거나, 몸에 부착되어 있는 문자 또는 숫자를 검출할 수 있다. 예를 들어, 검출된 문자가 “119”“”인 경우, 기 설정된 시나리오에 따라 핸드폰 화면이 뜨거나, 구조 대원과의 대화가 가능하도록 오디오가 출력될 수 있다.
S240 단계 이후, 콘텐츠 제공 장치(100)는 드로잉 객체가 합성된 콘텐츠를 출력하고(S250), 콘텐츠가 출력되는 동안 모션 데이터 또는 음성 데이터와 같은 사용자 데이터를 획득한 후(S260), 이를 분석한다(S270). 실시예에 따라, 콘텐츠 제공 장치(100)는 콘텐츠를 시청하는 사용자의 모습이 담긴 영상을 획득할 수 있으며, 이 영상 속에서 사용자의 모션 데이터 또는 음성 데이터를 추출할 수 있다. 구체적으로, 콘텐츠 제공 장치(100)는 영상 속에서 배경을 제외한 사용자의 실제 이미지를 획득하고, 실제 이미지를 통해 사용자의 자세, 자세 유지 시간, 제사 변 중 어느 하나를 포함하는 모션 지시를 결정하기 위한 모션 데이터를 추출할 수 있으며, 영상을 통해 사용자의 발화 내용, 발화 시간, 발화 크기 중 어느 하나를 포함하는 음성 지시를 결정하기 위한 음성 데이터를 추출할 수 있다.
S270 단계 이후, 콘텐츠 제공 장치(100)는 콘텐츠에 기 설정된 시나리오에 따라 드로잉 객체 또는 콘텐츠 내용을 변경시킨다(S280). 예를 들어, 콘텐츠 제공 장치(100)는 사용자가 식물에 물을 뿌리는 자세가 어느 정도 기울어져 있는지에 따라 물 뿌리개에서 쏟아지는 물의 양이 조절할 수 있으며, 사용자의 목소리가 얼마나 크고 오래동안 지속되는지에 따라 소방차를 빠른 속도로 오랫동안 달리게 할 수 있으며, 소화기를 조준하는 자세가 지정된 자세에 부합하지 않는 경우, 소화액이 분사되지 않도록 하며, 사용자가 “불이야”라고 외치는 경우, 콘텐츠 속 객체들이 이동할 수 있도록 하는 등, 드로잉 객체 또는 배경 객체의 출력 속성을 변경시킬 수 있다.
또한, 콘텐츠 제공 장치(100)는 모션 지시 또는 음성 지시에 따라, 드로잉 객체의 이미지를 단계적으로 변경 또는 이동시키거나, 드로잉 객체에 기 설정된 효과음을 출력할 수 있다. 즉, 콘텐츠 제공 장치(100)는 앞서 설명한 모션 데이터 및 음성 데이터에서 사용자의 자세, 자세 유지 시간 및 자세 변화 중 어느 하나를 포함하는 모션 지시와 사용자의 발화 내용, 발화 시간, 발화 크기 중 어느 하나를 포함하는 음성 지시를 단계적으로 구분하고, 구분 결과에 따라, 출력 속성을 변경시킬 수 있다. 예를 들어, 소화액을 뿜는 사용자의 자세 유지 시간이 3초 미만인 경우, 불을 나타내는 객체의 크기가 소폭 축소하고, 사용자의 자세 유지 시간이 3초 이상인 경우, 불을 나타내는 객체가 사라지도록 출력 속성을 변경시킬 수 있다.
S280 단계 이후, 콘텐츠 제공 장치(100)는 변경된 콘텐츠를 출력하고(S290), 시나리오의 종료 여부를 확인한다(S300). 만약, 시나리오가 종료되지 않은 것으로 확인되면, 콘텐츠 제공 장치(100)는 추가 모션 데이터 또는 음성 데이터 요청 신호를 제공하여(S310-1, 아니오), 간접 체험 상황이 종료될 때까지 상술한 과정을 반복할 수 있다. 반대로, 시나리오가 종료되었다면, 콘텐츠 제공 장치(100)는 사용자에게 콘텐츠의 종료를 알릴 수 있으며, 사용자의 동작 또는 음성에 따라 적절한 학습이 진행되었는지 학습 결과를 함께 제공할 수 있다(S310-2, 예).
지금까지 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 시스템(1000)을 활용한 인터렉티브 콘텐츠 제공 방법의 흐름에 대하여 구체적으로 설명하였다. 본 발명에 따르면, 실생활에서 체험하기 힘든 상황들을 간접 체험할 수 있어, 체험에 따른 학습을 수행하기 위한 비용을 절약할 수 있다.
도 9a 내지 도 10e는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠가 제공되는 방식을 설명하기 위한 개략도이다.
도 9a를 참조하면, 콘텐츠 제공 장치(100)는 디스플레이 장치(200)로 소방 훈련을 간접 체험할 수 있는 콘텐츠를 제공할 수 있으며, 사용자가 그려 넣어야 할 객체에 대한 가이드 이미지(91)를 제공할 수 있다.
한편, 도 9a 내지 10e의 설명에서 디스플레이 장치(200)를 통해 콘텐츠 제공 장치(100)가 제공하는 콘텐츠가 출력되는 것으로 설명하였으나, 이에 제한되지 않으며, 콘텐츠 제공 장치(100)에 구비된 시각적 출력 수단을 통해 콘텐츠가 출력될 수도 있다.
도 9b를 참조하면, 디스플레이 장치(200) 내 콘텐츠에 사용자가 직접 그린 드로잉 객체(92)와 드로잉 객체(92) 상에 앉아있는 듯한 사용자의 실제 이미지(93)가 제공될 수 있다.
도 9c를 참조하면, 콘텐츠 제공 장치(100)는 사용자의 모션 데이터 또는 음성 데이터를 기초로 드로잉 객체의 출력 속성을 변경시킬 수 있다. 예를 들어, 사용자의 자세 이동에 따라 물이 뿜어져 나오는 방향이 좌우로 이동할 수 있으며, 사용자의 발화 내용, 발화 크기, 발화 시간에 따라, 소방차가 앞으로 빠르게 전진하거나, 뒤로 천천히 후진하거나, 좌우로 이동할 수도 있으며, 사용자가 앉아 있는 리프트가 수직 상승할 수 있다.
한편, 드로잉 객체를 삽입하지 않더라도, 사용자의 실제 이미지와 사용자의 모션 데이터 또는 음성 데이터를 기초로 콘텐츠가 기 설정된 시나리오에 따라 진행될 수 있다.
도 10a를 참조하면, 화재 발생 시 대피하는 방법을 학습하는 콘텐츠에서, 상단에 화재 연기(1001)와 함께 “연기가 얼굴에 닿으면 경고음이 울려요!”와 같은 학습 문구가 제공될 수 있으며, 이를 시청하는 사용자들의 실제 이미지(1002)(1003)가 콘텐츠 상에 합성될 수 있다. 사용자들은 콘텐츠를 시청하면서 자신의 몸이 화재 연기(1001)가 형성된 상단에 닿지 않도록 허리를 굽힌 채 이동함으로써, 화재 발생 시 대피하는 방법을 습득할 수 있다.
도 10b를 참조하면, 사용자들이 실제로 머무르는 학교를 배경으로 한 콘텐츠 안에서, 누워있는 사용자의 실제 이미지(1004)와 불을 나타내는 이미지(1005)가 제공될 수 있으며, “뒹굴면 몸에 붙은 불이 꺼져요!”와 같은 학습 문구가 제공될 수 있다. 콘텐츠 제공 장치(100)는 사용자의 실제 이미지(1004)를 통해 사용자의 모션 데이터를 획득하고, 사용자의 자세 변화가 기준 조건을 충족하면, 불을 나타내는 이미지(1005)를 삭제하여, 사용자에게 불을 끄는 방법을 알려 줄 수 있다.
도 10c를 참조하면, 사용자들이 실제로 머무르는 교실을 배경으로 한 콘텐츠 안에서, 콘텐츠 제공 장치(100)가 “불이야!! 대피해!”라는 내용이 담긴 음성 데이터를 획득하고, 발화 시간 또는 발화 크기가 기준 조건을 충족하면, 콘텐츠 안에 배치된 학생들(1006)이 대피할 수 있도록 객체를 지정된 시나리오에 따라 변경할 수 있다.
마지막으로, 도 10e를 참조하면, 식물을 기르는 콘텐츠 안에서, 콘텐츠 제공 장치(100)는 사용자의 모션 데이터를 통해 자세 유지 시간을 파악할 수 있다. 만약, 자세 유지 시간이 기준 조건을 넘어서 점차 증가하면, 콘텐츠 안에서의 식물을 나타내는 이미지(1009)가 점차 변경될 수 있다. 예를 들어, 콘텐츠 제공 장치(100)는 사용자의 자세 유지 시간이 길어질수록 식물이 조금씩 성장할 수 있도록 출력 속성을 변경시킬 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 일 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 인터렉티브 콘텐츠 제공 시스템
100: 인터렉티브 콘텐츠 제공 장치
10: 몸체
11: 패널부
13: 고정부
110: 통신부
120: 저장부
130: 입력부
131, 21: 제1 카메라부
133, 23: 제2 카메라부
140: 출력부
141, 31: 오디오부
143: 디스플레이부
150: 제어부
200: 디스플레이 장치
300: 사용자 디바이스

Claims (15)

  1. 드로잉 객체를 획득하도록 구성된 제1 카메라부;
    사용자의 모션 데이터를 획득하도록 구성된 제2 카메라부 및 사용자의 음성 데이터를 획득하도록 구성된 오디오부;
    상기 드로잉 객체를 포함하는 콘텐츠를 출력부를 통해 제공하고, 상기 모션 데이터 또는 상기 음성 데이터를 기초로 상기 드로잉 객체의 출력 속성을 변경시키도록 구성된 제어부; 및
    상기 제1 카메라부, 상기 제2 카메라부, 상기 오디오부 및 상기 제어부가 함께 수납되는 하우징; 을 포함하되,
    상기 제어부는,
    상기 콘텐츠 별로 시나리오 진행에 활용될 수 있는 복수의 이미지들 중 상기 제1 카메라부를 통해 획득된 드로잉 객체가 어느 이미지에 해당하는지 인식하고, 이미지 인식 결과에 따라 상기 드로잉 객체의 출력 속성을 지정하기 위한 유형을 결정한 뒤, 상기 드로잉 객체를 상기 콘텐츠 상에 기 설정된 시나리오에 따라 삽입하도록 구성되고,
    상기 하우징은, 휴대 가능한 사이즈로 이루어지며,
    상기 제1 카메라부는 상기 하우징이 안착된 상태를 기준으로 측면에 배치되고,
    상기 제2 카메라부는 상기 하우징이 안착된 상태를 기준으로 바닥면을 촬영할 수 있도록 배치되는 인터렉티브 콘텐츠 제공 장치.
  2. 제1항에 있어서,
    상기 제1 카메라부는,
    상기 출력부를 통해 안내 콘텐츠가 제공되는 동안 상기 콘텐츠와 연관된 드로잉 객체를 획득하도록 구성되며,
    상기 제어부는,
    상기 콘텐츠와 연관된 드로잉 객체를 상기 콘텐츠 내 지정된 크기 및 위치에 맞게 삽입하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  3. 제2항에 있어서,
    상기 출력부는,
    상기 콘텐츠를 출력하도록 구성된 디스플레이부, 를 더 포함하는 인터렉티브 콘텐츠 제공 장치.
  4. 제2항에 있어서,
    상기 제2 카메라부는,
    상기 출력부를 통해 안내 콘텐츠가 제공되는 동안 상기 콘텐츠를 시청하는 사용자의 모션 데이터를 획득하도록 구성되며,
    상기 제어부는,
    상기 모션 데이터를 기초로 사용자의 자세, 자세 유지 시간 및 자세 변화 중 어느 하나를 포함하는 모션 지시를 결정하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  5. 제2항에 있어서,
    상기 오디오부는,
    상기 출력부를 통해 안내 콘텐츠가 제공되는 동안 상기 콘텐츠를 시청하는 사용자의 음성 데이터를 획득하도록 구성되며,
    상기 제어부는,
    상기 콘텐츠를 시청하는 사용자의 음성 데이터를 기초로 사용자의 발화 내용, 발화 시간 및 발화 크기 중 어느 하나를 포함하는 음성 지시를 결정하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  6. 제4항 또는 제5항에 있어서,
    상기 제어부는,
    상기 모션 데이터 또는 상기 음성 데이터에 따라, 상기 드로잉 객체의 출력 속성을 단계적으로 변경 또는 이동시기커나, 상기 드로잉 객체에 기 설정된 효과음을 상기 출력부를 통해 출력시키도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  7. 제1항에 있어서,
    상기 제2 카메라부는,
    상기 출력부를 통해 안내 콘텐츠가 제공되는 동안 상기 콘텐츠를 시청하는 사용자의 실제 이미지를 실시간으로 획득하도록 구성되며,
    상기 제어부는,
    상기 드로잉 객체와 동시에 상기 실제 이미지를 상기 콘텐츠 내에 삽입하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 드로잉 객체의 위치에 따라 상기 실제 이미지를 상기 콘텐츠 내 기 설정된 위치에 삽입하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 실제 이미지에서 문자 또는 숫자를 검출하고, 검출된 문자 또는 숫자를 기초로 상기 드로잉 객체의 출력 속성을 변경시키거나,
    기 설정된 시나리오에 따라 상기 콘텐츠의 시뮬레이션을 실행하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  10. 제1항에 있어서,
    상기 제어부는,
    상기 콘텐츠의 기 설정된 시나리오의 종료 여부를 확인하고, 상기 기 설정된 시나리오가 종료되지 않은 것으로 확인되면, 추가 모션 데이터 또는 음성 데이터 요청 신호를 상기 출력부를 통해 제공하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  11. 제1항에 있어서,
    상기 제어부는,
    상기 오디오부를 통해 사용자가 위치한 공간에 대한 정보 또는 간접 체험 학습을 희망하는 콘텐츠에 대한 정보를 획득하고,
    획득된 정보를 기초로 사용자의 상황 별 간접 체험학습을 위한 콘텐츠를 결정하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  12. 제1항에 있어서,
    상기 제어부는,
    상기 콘텐츠 상에 상기 드로잉 객체를 획득하기 위한 안내 콘텐츠를 제공하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  13. 삭제
  14. 제1항에 있어서,
    상기 하우징은,
    상기 제1 카메라부와 대향 배치되어, 상기 드로잉 객체가 포함된 대상체가 안착되는 패널부, 와
    상기 제1 카메라부가 배치된 하우징을 상기 패널부에서부터 기 설정된 높이까지 이격시키기 위한 고정부, 를 더 포함하는 인터렉티브 콘텐츠 제공 장치.
  15. 제7항에 있어서,
    상기 제어부는,
    상기 제2 카메라부를 통해 기 설정된 거리에 위치한 사용자의 모션 데이터를 획득할 수 있도록 상기 실시간으로 획득되는 실제 이미지에 따라 상기 제2 카메라부와 사용자 사이의 거리 조정 알림을 생성하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.

KR1020200170619A 2020-12-08 2020-12-08 인터렉티브 콘텐츠 제공 장치 KR102289448B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200170619A KR102289448B1 (ko) 2020-12-08 2020-12-08 인터렉티브 콘텐츠 제공 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200170619A KR102289448B1 (ko) 2020-12-08 2020-12-08 인터렉티브 콘텐츠 제공 장치

Publications (1)

Publication Number Publication Date
KR102289448B1 true KR102289448B1 (ko) 2021-08-12

Family

ID=77314516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200170619A KR102289448B1 (ko) 2020-12-08 2020-12-08 인터렉티브 콘텐츠 제공 장치

Country Status (1)

Country Link
KR (1) KR102289448B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240129290A (ko) 2023-02-20 2024-08-27 동의대학교 산학협력단 클라우드 데이터베이스 기반의 실시간 협업형 인터랙티브 콘텐츠 제작 방법 및 이를 이용한 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678994B1 (ko) * 2015-06-09 2016-11-24 주식회사 미디어프론트 인터렉티브 미디어 월 시스템 및 인터렉티브 미디어 월 시스템에서의 3차원 객체 디스플레이 방법
KR20160139633A (ko) * 2015-05-28 2016-12-07 주식회사 플렉싱크 증강현실을 이용한 체험형 콘텐츠 제공 시스템 및 방법
KR20190081034A (ko) * 2017-12-29 2019-07-09 주식회사 버넥트 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160139633A (ko) * 2015-05-28 2016-12-07 주식회사 플렉싱크 증강현실을 이용한 체험형 콘텐츠 제공 시스템 및 방법
KR101678994B1 (ko) * 2015-06-09 2016-11-24 주식회사 미디어프론트 인터렉티브 미디어 월 시스템 및 인터렉티브 미디어 월 시스템에서의 3차원 객체 디스플레이 방법
KR20190081034A (ko) * 2017-12-29 2019-07-09 주식회사 버넥트 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240129290A (ko) 2023-02-20 2024-08-27 동의대학교 산학협력단 클라우드 데이터베이스 기반의 실시간 협업형 인터랙티브 콘텐츠 제작 방법 및 이를 이용한 시스템

Similar Documents

Publication Publication Date Title
US11977670B2 (en) Mixed reality system for context-aware virtual object rendering
Craig Understanding augmented reality: Concepts and applications
AU2019262848B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
CN106409030A (zh) 一种个性化外语口语学习系统
CN103533445B (zh) 一种基于主动交互的飞翔影院播放系统
KR102312298B1 (ko) 스마트 글라스를 이용한 cpr 및 aed ar 교육 시스템 및 그 방법
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
KR20190053001A (ko) 이동이 가능한 전자 장치 및 그 동작 방법
EP3385915A1 (en) Method and device for processing multimedia information
JP2016100033A (ja) 再生制御装置
KR102289448B1 (ko) 인터렉티브 콘텐츠 제공 장치
CN114387829A (zh) 一种基于虚拟场景的语言学习系统、存储介质及电子设备
CN114402274A (zh) 程序、信息处理装置以及方法
KR102341294B1 (ko) 인터렉티브 콘텐츠 제공 방법 및 장치
KR20220113204A (ko) 혼합 현실을 이용한 가상 화재 대응 교육 평가 시스템 및 방법
CN113574849A (zh) 用于后续对象检测的对象扫描
WO2020219643A1 (en) Training a model with human-intuitive inputs
US20200211406A1 (en) Managing multi-role activities in a physical room with multimedia communications
KR20190109714A (ko) 증강 현실 기반의 학습 서비스 제공 방법, 단말, 및 컴퓨터 판독 가능한 기록 매체에 저장된 소프트웨어
CN111443564B (zh) 一种电子设备及数据处理方法
EP3385869B1 (en) Method and apparatus for presenting multimedia information
CN109688318B (zh) 一种录制教学视频的方法及装置
Canazza et al. A multimodal learning system for individuals with sensorial, neuropsychological, and relational impairments
CN112073668A (zh) 一种远程教室互动方法、系统、装置和存储介质
KR102635477B1 (ko) 증강현실 기반의 공연 콘텐츠 제공장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant