KR102341294B1 - 인터렉티브 콘텐츠 제공 방법 및 장치 - Google Patents

인터렉티브 콘텐츠 제공 방법 및 장치 Download PDF

Info

Publication number
KR102341294B1
KR102341294B1 KR1020200170618A KR20200170618A KR102341294B1 KR 102341294 B1 KR102341294 B1 KR 102341294B1 KR 1020200170618 A KR1020200170618 A KR 1020200170618A KR 20200170618 A KR20200170618 A KR 20200170618A KR 102341294 B1 KR102341294 B1 KR 102341294B1
Authority
KR
South Korea
Prior art keywords
content
drawing object
user
image
output
Prior art date
Application number
KR1020200170618A
Other languages
English (en)
Inventor
이정길
임지택
정세준
Original Assignee
믹스비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 믹스비전 주식회사 filed Critical 믹스비전 주식회사
Priority to KR1020200170618A priority Critical patent/KR102341294B1/ko
Application granted granted Critical
Publication of KR102341294B1 publication Critical patent/KR102341294B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 인터렉티브 콘텐츠 제공 방법에 관한 것이다. 상기 방법은, 사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 출력부를 통해 제공하는 단계, 상기 콘텐츠와 연관된 드로잉 객체를 획득하고, 상기 드로잉 객체를 상기 콘텐츠에 삽입하는 단계, 상기 콘텐츠를 시청하는 사용자의 모션 데이터 또는 음성 데이터를 획득하는 단계 및 획득된 어느 하나의 모션 데이터 또는 음성 데이터를 기초로 상기 드로잉 객체의 출력 속성을 변경시키는 단계를 포함하도록 구성된다.

Description

인터렉티브 콘텐츠 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING INTERACTIVE CONTENT}
본 발명은 인터렉티브 콘텐츠 제공 방법 및 장치에 관한 것이다.
일반적으로 체험학습 서비스란 콘텐츠 상에 사용자의 모습을 반영하고, 사용자의 동작에 대응하여 콘텐츠 화면이 변경되도록 하여, 사용자가 다양한 간접적인 체험을 통해 특정 주제에 대하여 학습할 수 있는 서비스이다.
이러한 체험학습 서비스는 문화, 교육, 관광, 연구개발 등의 다양한 분야에서 활용될 수 있는데, 보다 적합한 활용을 위해서는 사용자에게 단순히 사실감 넘치는 콘텐츠를 제공하는 것에서 나아가, 사용자가 실제로 만들어진 공간 속에서 체험을 하는 것처럼 사용자의 동작에 따른 동작 구현이 가능하도록 하는 구성이 필수적이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
종래 체험학습 서비스는 콘텐츠 안에서의 객체가 사용자의 대략적인 움직임에 따라 변화하는 단순한 방식으로써, 사용자가 지정된 동작을 정확하게 수행했는지 여부에 관계없이 시뮬레이션이 진행되기 때문에, 명확한 학습 효과를 부여해주지 못할 뿐만 아니라, 사용자의 흥미를 유발하기에 한계가 있다.
따라서, 사용자의 동작이나 음성을 사용자가 의도한 바에 맞게 해석하고, 그에 따라 콘텐츠가 진행될 수 있도록 함으로써, 사용자에게 명확한 학습 효과를 제공할 수 있도록 하는 방법이 요구된다.
이에, 본 발명의 발명자들은 사용자 직접 그린 이미지를 콘텐츠 안에 삽입하고, 삽입된 이미지를 사용자의 동작이나 음성에 맞게 변형시키거나, 이미지와 연관된 특수 효과를 제공함으로써, 사용자의 흥미를 유발함과 동시에 학습 효과를 높일 수 있는 방법 및 이를 수행하는 장치를 개발하고자 하였다.
그 결과, 본 발명의 발명자들은 직접 그린 이미지의 삽입 위치나 직접 그린 이미지의 이미지 분석 결과를 통해 콘텐츠 안에서의 이미지가 어떠한 객체로써 인식되어야 하는지 판단하여, 사용자의 의도에 따라 시나리오가 흘러갈 수 있는 방법 및 장치를 개발하기에 이르렀다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법이 제공된다. 상기 방법은, 콘텐츠 제공 장치의 프로세서에 의해 수행되는 인터렉티브 콘텐츠 제공 방법으로서, 사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 출력부를 통해 제공하는 단계, 상기 콘텐츠와 연관된 드로잉 객체를 획득하고, 상기 드로잉 객체를 상기 콘텐츠에 삽입하는 단계, 상기 콘텐츠를 시청하는 사용자의 모션 데이터 또는 음성 데이터를 획득하는 단계 및 획득된 어느 하나의 모션 데이터 또는 음성 데이터를 기초로 상기 드로잉 객체의 출력 속성을 변경시키는 단계를 포함하도록 구성된다.
본 발명의 특징에 따르면, 상기 출력 속성을 변경시키는 단계는, 상기 모션 데이터를 기초로 상기 사용자의 자세, 자세 유지 시간 및 자세 변화 중 어느 하나를 파악하거나, 상기 음성 데이터를 기초로 상기 사용자의 발화 내용, 발화 시간 및 발화 크기 중 어느 하나를 파악하고, 파악된 결과에 따라 상기 드로잉 객체의 출력 속성을 변경시키는 단계일 수 있다.
본 발명의 다른 특징에 따르면, 상기 출력 속성을 변경시키는 단계는, 상기 모션 데이터 또는 음성 데이터 분석에 따라 상기 드로잉 객체의 이미지를 단계적으로 변경 또는 이동시키거나, 상기 드로잉 객체에 기 설정된 효과음을 상기 출력부를 통해 출력하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 콘텐츠에 삽입하는 단계는, 기 설정된 시나리오에 따라 상기 콘텐츠 상에 상기 드로잉 객체를 지정된 크기 및 위치에 맞게 삽입하는 단계일 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 콘텐츠에 삽입하는 단계는, 상기 콘텐츠 상에 드로잉 객체를 획득하기 위한 가이드 이미지를 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 콘텐츠에 삽입하는 단계는, 상기 획득된 드로잉 객체를 인식하고, 상기 출력 속성을 지정하기 위한 드로잉 객체의 유형을 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 콘텐츠에 삽입하는 단계 이전에, 상기 콘텐츠 상에 드로잉 객체가 삽입될 위치를 선택 받는 단계와 선택 받은 위치에 따라 상기 콘텐츠에 삽입될 드로잉 객체의 유형을 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 콘텐츠에 삽입하는 단계 이후에, 상기 사용자의 실제 이미지를 실시간으로 획득하고, 상기 드로잉 객체의 위치에 따라 상기 실제 이미지를 기 설정된 위치에 삽입하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 삽입하는 단계 이후에, 상기 실제 이미지에서 문자 또는 숫자를 검출하고, 검출된 문자 또는 숫자를 기초로 상기 드로잉 객체의 출력 속성을 변경시키거나, 기 설정된 시나리오에 따른 시뮬레이션을 실행하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 출력 속성을 변경시키는 단계 이후에, 상기 기 설정된 시나리오의 종료 여부를 확인하고, 상기 시나리오가 종료되지 않은 것으로 확인되면, 상기 출력부를 통해 추가 모션 데이터 또는 음성 데이터 요청 신호를 제공하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 인터렉티브 콘텐츠 제공 장치를 제공한다. 상기 장치는, 통신부, 출력부, 저장부 및 상기 통신부, 상기 출력부, 상기 저장부와 동작 가능하게 연결된 프로세서를 포함하되, 상기 프로세서는, 사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 상기 출력부를 통해 제공하고, 상기 콘텐츠와 연관된 드로잉 객체를 획득하고, 상기 드로잉 객체를 상기 콘텐츠에 삽입하며, 상기 콘텐츠를 시청하는 사용자의 모션 데이터 또는 음성 데이터를 획득하고, 획득된 어느 하나의 모션 데이터 또는 음성 데이터를 기초로 상기 드로잉 객체의 출력 속성을 변경시키도록 구성된다.
본 발명의 특징에 따르면, 상기 프로세서는, 상기 모션 데이터를 기초로 상기 사용자의 자세, 자세 유지 시간 및 자세 변화 중 어느 하나를 파악하거나, 상기 음성 데이터를 기초로 상기 사용자의 발화 내용, 발화 시간 및 발화 크기 중 어느 하나를 파악하고, 파악된 결과에 따라 상기 드로잉 객체의 출력 속성을 변경시키도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 상기 프로세서는, 상기 모션 데이터 또는 음성 데이터 분석에 따라 상기 드로잉 객체의 이미지를 단계적으로 변경 또는 이동시키거나, 상기 드로잉 객체에 기 설정된 효과음을 상기 출력부를 통해 출력시키도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 프로세서는, 기 설정된 시나리오에 따라 상기 콘텐츠 상에 상기 드로잉 객체를 지정된 크기 및 위치에 맞게 삽입하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 프로세서는, 상기 콘텐츠 상에 드로잉 객체를 획득하기 위한 가이드 이미지를 제공하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 프로세서는, 상기 획득된 드로잉 객체를 인식하고, 상기 출력 속성을 지정하기 위한 드로잉 객체의 유형을 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 프로세서는, 상기 콘텐츠 상에 드로잉 객체가 삽입될 위치를 선택 받고, 선택 받은 위치에 따라 상기 콘텐츠에 삽입될 드로잉 객체의 유형을 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 프로세서는, 상기 사용자의 실제 이미지를 실시간으로 획득하고, 상기 드로잉 객체의 위치에 따라 상기 실제 이미지를 기 설정된 위치에 삽입하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 프로세서는, 상기 실제 이미지에서 문자 또는 숫자를 검출하고, 검출된 문자 또는 숫자를 기초로 상기 드로잉 객체의 출력 속성을 변경시키거나, 기 설정된 시나리오에 따른 시뮬레이션을 실행하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 프로세서는, 상기 기 설정된 시나리오의 종료 여부를 확인하고, 상기 시나리오가 종료되지 않은 것으로 확인되면, 추가 모션 데이터 또는 음성 데이터 요청 신호를 상기 출력부를 통해 제공하도록 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 사용자가 그려 넣은 이미지와 사용자의 동작 또는 음성을 매칭하고, 매칭 결과에 따라 이미지를 출력 속성에 맞게 변경시킴으로써, 사용자에게 학습 효과를 제공할 수 있다. 특히, 이미지의 출력 속성이 한 가지로 정의되는 것이 아니라 사용자의 동작 또는 음성을 해석한 결과에 따라 서로 다르게 정의되어 출력되는 바, 학습 효과를 보다 증진시킬 수 있다.
또한 본 발명은, 사용자가 직접 그린 이미지가 콘텐츠의 위치와 속성에 맞게 삽입되어, 콘텐츠 제작을 용이하게 하면서도 사용자의 상상력을 높이면서, 흥미를 유발할 수 있다.
또한 본 발명은, 실생활에서 체험하기 힘든 상황들을 간접 체험할 수 있어, 체험에 따른 학습을 수행하기 위한 비용을 절약할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공방법의 개요를 설명하기 위한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 시스템의 개략도이다.
도 3은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 장치의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법의 개략적인 순서도이다.
도 5는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법의 구체적인 순서도이다.
도 6a 내지 도 7e는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠가 제공되는 방식을 설명하기 위한 개략도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공방법의 개요를 설명하기 위한 개략도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법은 콘텐츠를 시청 중인 시청자들(A)(B)의 모습이 디스플레이 장치(100)에 콘텐츠와 함께 출력될 수 있으며, 이에 더하여 시청자들(A)(B)이 그린 이미지(C)가 콘텐츠 상에 출력될 수 있다. 구체적으로, 본 발명의 인터렉티브 콘텐츠 제공 방법은 시청자들(A)(B)이 그린 콘텐츠 관련 이미지(C)가 시청자들(A)(B)의 인터렉션에 따라 그 출력 속성이 변화할 수 있다. 여기서, 인터렉션이란 콘텐츠 및 이미지(C)와 연관 지을 수 있는 사용자의 실제 모습, 사용자의 동작, 사용자의 발화 내용을 의미할 수 있으며, 출력 속성의 변화란 이미지(C)가 이동/변화하거나, 이미지(C)와 연결된 이미지가 새롭게 출력되거나, 이미지(C)가 삭제되는 등 시각적인 출력 속성의 변화를 의미할 수 있으며, 이미지(C)와 연관된 오디오가 출력되는 등의 청각적인 출력 속성의 변화를 의미할 수도 있다.
인터렉티브 콘텐츠 제공 장치(200)는 각종 촬영 장치(300)로부터 사용자 인터렉션과 사용자 드로잉 이미지를 제공받을 수 있으며, 콘텐츠 상에 사용자 이미지와 사용자 인터렉션이 반영된 콘텐츠 관련 이미지(C)를 제공할 수 있다.
한편, 사용자 인터렉션 및 드로잉 이미지를 획득하는 촬영 장치(300)는 일반적인 촬영 장치 외에도 인터렉티브 콘텐츠를 제공할 수 있도록 제작된 특수 촬영 장치(310)를 포함할 수 있다. 여기서, 특수 촬영 장치(310)는 기본적으로 카메라, 마이크 그리고 이미지를 스캔하기 위한 스캐너를 포함할 수 있다.
실시예에 따라, 특수 촬영 장치(310)는 인터렉티브 콘텐츠 제공 장치(200)의 기능을 수행할 수 있으며, 이러한 경우, 인터렉티브 콘텐츠 제공 시스템(1000)은 디스플레이 장치(100)와 특수 촬영 장치(310) 두 가지 구성 요소만을 통해서 사용자에게 인터렉티브 콘텐츠를 제공할 수 있다.
본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법은 인터렉티브 콘텐츠 제공 장치(200)가 단순히 사용자의 모습을 콘텐츠 상에 투영하는 것에서 나아가 사용자가 직접 그린 콘텐츠 관련 이미지를 콘텐츠 안에 삽입하고, 그 이미지가 사용자의 인터렉션에 따라 변경되게 함으로써, 사용자가 콘텐츠의 전반적인 모든 내용을 만들어내고 이끌어갈 수 있도록 하고, 그에 따라 사용자의 흥미가 증대되어, 이를 이용한 학습 효과도 증대될 수 있다.
도 2는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 시스템의 개략도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 시스템(1000)은 디스플레이 장치(100), 인터렉티브 콘텐츠 제공 장치(200)(이하, “콘텐츠 제공 장치”라고 함.), 촬영 장치(300) 및 사용자 디바이스(400)를 포함할 수 있다.
디스플레이 장치(100)는 콘텐츠 제공 장치(200)와 연결되어, 콘텐츠 제공 장치(200)가 제공하는 각종 콘텐츠를 출력할 수 있다. 여기서 콘텐츠는 상황 별 간접 체험 학습이 가능한 콘텐츠일 수 있다. 예를 들어, 콘텐츠는 재난을 간접 체험할 수 있는 콘텐츠, 동식물을 육성할 수 있는 콘텐츠, 과학 실험을 할 수 있는 콘텐츠, 직업 체험을 할 수 있는 콘텐츠, 교통 안전을 체험할 수 있는 콘텐츠 등을 포함할 수 있다.
디스플레이 장치(100)는 콘텐츠 상에 1)사용자의 실제 모습과 2)사용자가 직접 그린 콘텐츠 관련 그림이 삽입된 화면을 출력할 수 있으며, 사용자 인터렉션에 따른 오디오를 출력할 수도 있다.
실시예에 따라, 디스플레이 장치(100)는 투사 장치(예. 프로젝터)일 수 있으며, 이러한 경우, 디스플레이 장치(100)는 별도의 투사면을 구비할 수 있다.
한편, 인터렉티브 콘텐츠 제공 시스템(1000)은 디스플레이 장치(100)와 같은 시청각적 출력 장치 외에, 비, 바람, 연기, 발향, 진동 장치 등 다양한 특수 효과 장치를 더 포함할 수 있으며, 이를 통해 사용자에게 보다 사실적인 간접 체험 학습을 제공할 수 있다.
콘텐츠 제공 장치(200)는 사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 제공하고, 사용자 인터렉션에 따라 콘텐츠를 시나리오에 맞게 시뮬레이션하는 장치로써, PC, 태블릿 PC, 데이터 서버 등 각종 전자 장치를 포함할 수 있다. 구체적으로, 콘텐츠 제공 장치(200)는 각종 출력 장치를 통해 콘텐츠를 제공한 이후, 사용자로부터 콘텐츠와 연관된 드로잉 객체와 드로잉 객체를 변화시킬 모션 데이터/음성 데이터를 획득할 수 있으며, 두 가지의 데이터를 이용하여 드로잉 객체의 출력 속성을 변경시킬 수 있다. 보다 구체적으로, 콘텐츠 제공 장치(200)는 모션 데이터를 통해 사용자의 현재 자세, 자세 유지 시간, 자세 변화를 파악할 수 있고, 음성 데이터를 통해 사용자의 발화 내용, 발화 시간, 발화 크기 등을 파악할 수 있으며, 파악된 데이터를 기초로 드로잉 객체를 지정된 위치/크기에 맞게 삽입하고, 콘텐츠 안에서 변경/이동시키거나, 드로잉 객체와 관련된 효과음을 출력시킬 수 있다.
즉, 본 발명의 일 실시예에 따른 콘텐츠 제공 장치(200)는 콘텐츠에 기 설정된 시나리오에 따라 출력되는 과정에서, 사용자가 직접 그린 이미지와 사용자의 행동을 활용함으로써, 사용자의 학습 이해도를 높이고 흥미를 유발시킬 수 있다.
한편, 콘텐츠 제공 장치(200)가 제공하는 콘텐츠의 종류에 따라, 사용자가 위치한 실제 배경을 콘텐츠의 배경으로 설정할 수 있으며, 그에 따라 사용자는 실제 그 공간에 있는 듯한 사실감을 느낄 수 있다.
촬영 장치(300)는 사용자의 행동과 음성 그리고 사용자가 그린 이미지를 획득할 수 있는 장치로써, 360° 카메라, 스테레오 카메라, 광각 카메라, 웹캠(Webcam) 또는 카메라를 포함하는 스마트 폰, 태블릿 PC 등을 포함할 수 있다. 또한, 촬영 장치(300)는 피사체를 촬영하는 일반적인 촬영 장치 외에도 인터렉티브 콘텐츠를 제공하기 위해 필요한 드로잉 객체를 획득할 수 있도록 스캔 기능이 구비된 특수 촬영 장치(310)를 포함할 수 있다.
뿐만 아니라, 촬영 장치(300)는 사용자의 실제 모습과 움직임을 콘텐츠 안에 삽입할 수 있도록, 영상 촬영 후 배경 속에서 사용자의 모습만을 추출할 수 있다. 이를 위해, 촬영 장치(300)는 객체를 인식하고, 객체의 움직임과 거리 정보를 획득하기 위한 Lidar 센서나 ToF(Time of Flight) 센서를 포함할 수 있다.
실시예에 따라, 촬영 장치(300)는 디스플레이 장치(100)에 내장되거나 외부에 설치될 수 있으며, 휴대 가능한 사이즈로 제작되어 실내, 실외 등 장소에 제약 없이 사용자들에게 상황 별 간접 체험 학습을 수행할 수 있도록 사용의 편의성을 높여 줄 수 있다.
사용자 디바이스(400)는 콘텐츠 제공 장치(200)가 제공하는 콘텐츠, 즉 디스플레이 장치(100)에 출력되는 콘텐츠를 시청하는 시청자가 소지한 디바이스로서, 스마트 폰, 태블릿 PC, PC 등의 각종 전자 장치를 포함할 수 있다. 예를 들어, 인터렉티브 콘텐츠 제공 시스템(1000)을 통해 어린이들이 상황 별 간접 체험 학습을 수행하는 동안 보호자들은 각자 자신이 소지한 디바이스(400)를 통해 디스플레이 장치(100)에 출력되는 아이의 모습과 함께 콘텐츠 화면을 실시간으로 시청할 수 있다.
실시예에 따라, 사용자 디바이스(400)는 콘텐츠 제공 장치(200)로 간접 체험 학습을 요청할 수 있으며, 콘텐츠 제공 장치(200)는 사용자 디바이스(400)로 콘텐츠를 제공함과 동시에 사용자 디바이스(400)로부터 사용자가 그린 그림(드로잉 객체), 모션 데이터 및 음성 데이터를 획득한 후, 이를 조합한 콘텐츠를 사용자 디바이스(400)로 제공할 수 있다.
지금까지 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 시스템(1000)에 대하여 설명하였다. 본 발명에 따르면, 인터렉티브 콘텐츠 제공 시스템(1000)은 콘텐츠 제공 장치(200)가 사용자가 직접 그린 그림(드로잉 객체)을 사용자의 모션/음성에 따라 다양한 출력 속성을 가지고 변형시킴으로써, 콘텐츠를 통한 학습 효과를 보다 증진시킬 수 있으며, 사용자들에게 다양한 간접 체험 학습의 기회를 제공할 수 있다.
이하에서는, 사용자들에게 간접 체험 학습을 제공하는 콘텐츠 제공 장치(200)에 대하여 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 장치의 구성을 나타낸 블록도이다.
도 3을 참조하면, 콘텐츠 제공 장치(200)는 통신부(210), 입력부(220), 출력부(230), 저장부(240) 및 프로세서(250)를 포함할 수 있다.
통신부(210)는 유/무선 네트워크를 통해 디스플레이 장치(100), 촬영 장치(300) 및 사용자 디바이스(400)와 연결되어 데이터를 주고 받을 수 있다. 예를 들어, 통신부(210)는 디스플레이 장치(100)로 간접 체험 상황 별 배경이 되는 콘텐츠, 사용자 인터렉션에 따라 합성/변경된 콘텐츠를 송신할 수 있으며, 사용자로부터 콘텐츠를 진행하기 위한 추가 데이터를 요청 정보를 송신할 수 있다. 다른 예를 들어, 통신부(210)는 촬영 장치(300)로부터 사용자의 드로잉 객체(그림), 모션 데이터 및 음성 데이터를 수신할 수 있으며, 또 다른 예로서, 통신부(210)는 사용자 디바이스(400)로부터 콘텐츠 공유 요청을 수신하고, 그에 따라 디스플레이 장치(100)에 출력되고 있는 콘텐츠 화면을 송신할 수 있다.
입력부(220)는 사용자로부터 다양한 설정 정보를 입력 받을 수 있다. 입력부(220)는 저장부(240)에 저장된 다양한 콘텐츠-시나리오 중 사용자로부터 특정 콘텐츠에 대한 진행 요청을 입력 받을 수 있으며, 콘텐츠 안에서 사용자가 그린 드로잉 객체가 삽입될 위치를 지정 받을 수도 있다. 예를 들어, 출력부(230)를 통해 콘텐츠 안에서 드로잉 객체가 삽입될 기준 영역을 제공하고, 입력부(220)는 사용자로부터 드로잉 객체가 삽입될 위치를 지정 받을 수 있다.
출력부(230)는 저장부(240)에 저장된 다양한 콘텐츠를 출력할 수 있다. 구체적으로, 출력부(230)는 디스플레이 장치(100)의 기능을 대신하여, 콘텐츠와 함께 촬영 장치(300)가 촬영한 사용자의 실제 모습, 사용자가 그린 드로잉 객체를 하나의 콘텐츠 안에 삽입하여 출력할 수 있다.
실시예에 따라, 출력부(230)는 사용자의 터치 입력을 수신할 수 있으며, 이러한 경우, 입력부(220)와 출력부(230)는 하나의 물리적 구성 요소로 이루어질 수 있다. 그에 따라, 출력부(230)는 영상을 표시하는 영역에서 발생하는 다양한 입력을 인식할 수 있는 다양한 센싱 수단들을 포함할 수 있다.
저장부(240)는 간접 체험 학습을 제공하기 위한 각종 데이터를 저장할 수 있다. 예를 들어, 저장부(240)는 콘텐츠 별로 기 설정된 시나리오를 저장할 수 있으며, 시나리오에 따라 드로잉 객체가 삽입되어야 할 위치, 크기, 사용자의 모션 데이터, 음성 데이터에 따라 변경되는 드로잉 객체의 출력 속성 정보, 드로잉 객체의 유형에 따른 출력 속성 정보, 사용자들을 통해 인식된 문자, 숫자 별로 상이한 출력 속성 정보, 복수의 사용자들로부터 획득된 드로잉 객체, 간접 체험 학습 히스토리 등을 저장할 수 있다.
보다 구체적으로, 저장부(240)는 사용자의 자세, 자세 유지 시간 및 자세 변화 정보와 함께 상이한 출력 속성 정보를 저장할 수 있다. 즉, 저장부(240)는 사용자의 손 동작 속도가 빠를수록, 손 동작의 크기가 클수록 드로잉 객체에 지정된 이동 속도를 빠르게 하거나, 드로잉 객체의 크기를 보다 크게 확대할 수 있도록 서로 다른 출력 속성 정보를 저장할 수 있다.
또한, 저장부(240)는 사용자의 실제 모습 안에서 “119”라는 문자를 인식할 경우, 콘텐츠 내에서 핸드폰 이미지와 함께 구급 대원으로 전화하는 것과 같은 가상의 이미지(예. 전화기 이미지)와 오디오를 출력할 수 있도록 출력 속성 정보를 저장할 수 있다.
또한, 저장부(240)는 콘텐츠의 종류 별로 드로잉 객체의 유형을 분류하여 저장할 수 있다. 예를 들어, 콘텐츠가 소방 훈련을 제공하는 콘텐츠일 경우, 저장부(240)에는 사용자가 화재를 진압할 수 있는 기구들에 대한 이미지를 유형별로 저장할 수 있으며, 이후 프로세서(250)는 저장부(240)에 저장된 기구의 종류(소화기, 양동이, 호스)에 따라 서로 다른 이미지(소화액, 물줄기, 물 웅덩이)가 해당 이미지와 연결되어 출력될 수 있도록 제어할 수 있다.
다양한 실시예에서, 저장부(240)는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 저장부(240)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(SD, XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또한, 저장부(240)는 콘텐츠 제공 장치(200)의 동작을 위한 명령어들이 기록되어 있을 수 있다. 다양한 실시예에서, 저장부(240)는 사용자의 모션 데이터, 음성 데이터에 따라 드로잉 객체의 출력 속성을 변경시키기 위한 어플리케이션(미도시)이 기록되어 있을 수 있다.
프로세서(250)는 통신부(210), 입력부(220), 출력부(230) 및 저장부(240)와 동작 가능하게 연결되어, 콘텐츠 제공 장치(200)의 전반적인 동작을 제어할 수 있으며, 저장부(240)에 저장된 어플리케이션 또는 프로그램을 구동하여, 사용자에게 간접 체험 학습을 제공하기 위한 다양한 명령들을 수행할 수 있다.
프로세서(250)는 CPU(Central Processing Unit)나 AP(Application Processor)와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서(250)는 다양한 연산 장치가 통합된 SoC(System on Chip)와 같은 통합 칩(Integrated Chip (IC))의 형태로 구현될 수 있다.
실시예에 따라, 프로세서(250)는 사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 출력부(230)를 통해 제공하고, 사용자로부터 콘텐츠와 연관된 드로잉 객체를 획득할 수 있으며, 이를 콘텐츠에 삽입할 수 있다. 여기서, 프로세서(250)는 콘텐츠에 드로잉 객체의 위치가 지정되어 있는지 확인할 수 있다. 만약, 드로잉 객체의 위치가 지정되어 있다면, 프로세서(250)는 콘텐츠에 기 설정된 시나리오에 따라 사용자가 그린 드로잉 객체를 콘텐츠 내 지정된 크기 및 위치에 맞게 삽입할 수 있다. 즉, 사용자가 콘텐츠 제공 장치(200)로 드로잉 객체를 입력하면, 자동으로 드로잉 객체가 지정된 위치에 삽입되고, 그 크기가 조정될 수 있다.
반대로, 드로잉 객체의 위치가 지정되어 있지 않다면, 프로세서(250)는 입력부(220)를 통해 사용자로부터 드로잉 객체가 삽입될 위치를 선택 받고, 선택 받은 위치에 따라 콘텐츠에 삽입될 드로잉 객체의 유형을 결정할 수 있다. 예를 들어, 화재가 발생한 빌딩 주변에 삽입될 드로잉 객체는 화재를 진압하기 위한 차량이 될 수 있으므로, 드로잉 객체의 유형은 차량이 될 수 있으며, 화재가 발생한 빌딩으로 진입하였을 때, 통로 주변에 삽입될 드로잉 객체는 소화기, 물 양동이가 될 수 있으므로, 드로잉 객체의 유형은 손으로 들 수 있는 화재 진압 수단 또는 기구가 될 수 있다.
한편, 프로세서(250)는 사용자에게 콘텐츠가 기 설정된 시나리오에 따라 진행될 수 있도록, 드로잉 객체를 획득하기 위한 가이드 이미지를 콘텐츠 상에 제공할 수 있다. 예를 들어, 가이드 이미지는 사용자가 그려 넣어야 할 객체의 실제 사진이나, 실선/점선으로 그려진 이미지일 수 있으며, 콘텐츠 상에 “토끼를 그려주세요”와 같은 텍스트가 제공될 수도 있다. 이와 같이, 프로세서(250)가 가이드 이미지를 제공해 줄 경우, 프로세서(250)는 이후 사용자로부터 획득된 드로잉 객체를 가이드 이미지로 정의되는 객체인 것으로 식별할 수 있다.
만약, 프로세서(250)가 가이드 이미지를 제공하지 않는다면, 프로세서(250)는 사용자로부터 획득된 드로잉 객체가 어떠한 객체인지 식별 및 정의하는 과정을 수행할 수 있다. 즉, 프로세서(250)는 사용자로부터 획득된 드로잉 객체를 인식하고, 출력 속성을 지정하기 위한 드로잉 객체의 유형을 결정할 수 있다. 구체적으로, 프로세서(250)는 콘텐츠 별로 시나리오 진행을 위해 활용될 수 있는 객체의 이미지를 수집하고 드로잉 객체와의 유사도를 계산하여, 사용자가 어떠한 객체를 그린 것인지 판단할 수 있으며, 판단 결과에 따라 드로잉 객체의 유형을 결정할 수 있다.
한편, 프로세서(250)는 콘텐츠 상에 드로잉 객체를 삽입한 후, 통신부(210)를 통해 사용자의 실제 이미지를 획득하고, 드로잉 객체의 위치에 따라 실제 이미지를 기 설정된 위치에 삽입할 수 있다. 예를 들어, 드로잉 객체가 소화기인 경우, 사용자의 실제 이미지가 소화기 옆 위치에 삽입될 수 있으며, 드로잉 객체가 소방차인 경우, 사용자의 실제 이미지가 소방차 운전석 또는 좌석 위에 삽입될 수 있다.
아울러, 프로세서(250)는 사용자의 실제 이미지를 획득한 후에, 실제 이미지 안에서 문자 또는 숫자를 검출할 수 있다. 구체적으로, 프로세서(250)는 통신부(210)를 통해 수신한 영상에서 사용자를 인식하고, 배경을 제외한 사용자의 실제 이미지만을 추출할 수 있으며, 사용자가 들고 있거나, 몸에 부착되어 있는 문자 또는 숫자를 검출할 수 있다. 예를 들어, 검출된 문자가 “119”“”인 경우, 기 설정된 시나리오에 따라 핸드폰 화면이 뜨거나, 구조 대원과의 대화가 가능하도록 오디오가 출력될 수 있다.
상술한 과정을 통해, 콘텐츠 상에 사용자로부터 획득한 드로잉 객체와 사용자의 실제 이미지가 삽입되었다면, 프로세서(250)는 콘텐츠를 시청하고 있는 사용자의 모션 데이터 또는 음성 데이터를 획득할 수 있으며, 프로세서(250)는 획득된 어느 하나의 데이터를 기초로 드로잉 객체의 출력 속성을 변경시킬 수 있다. 구체적으로, 프로세서(250)는 모션 데이터를 기초로 사용자의 자세, 자세 유지 시간 및 자세 변화를 파악하고, 음성 데이터를 기초로 사용자의 발화 내용, 발화 시간, 발화 크기를 파악할 수 있으며, 파악된 결과에 따라 드로잉 객체의 출력 속성을 변경시킬 수 있다. 예를 들어, 프로세서(250)는 사용자가 식물에 물을 뿌리는 자세가 어느 정도 기울어져 있는지에 따라 물 뿌리개에서 쏟아지는 물의 양을 조정할 수 있으며, 사용자의 목소리가 얼마나 크고 오래동안 지속되는지에 따라 소방차를 빠른 속도로 오랫동안 달리게 할 수 있으며, 소화기를 조준하는 자세가 지정된 자세에 부합하지 않는 경우, 소화액이 분사되지 않도록 하며, 사용자가 “불이야”라고 외치는 경우, 콘텐츠 속 객체들이 이동할 수 있도록 출성을 변경시킬 수 있다.
뿐만 아니라, 프로세서(250)는 모션 데이터 또는 음성 데이터 분석에 따라, 드로잉 객체의 이미지를 단계적으로 변경 또는 이동시키거나, 드로잉 객체에 기 설정된 효과음을 출력부(230)를 통해 출력할 수 있다. 즉, 프로세서(250)는 앞서 설명한 모션 데이터 및 음성 데이터에서 사용자의 자세, 자세 유지 시간 및 자세 변화와 사용자의 발화 내용, 발화 시간, 발화 크기를 단계적으로 구분하고, 구분 결과에 따라, 출력 속성을 변경시킬 수 있다. 예를 들어, “소방차”를 외치는 소리가 60dB 이상 70 dB 미만일 경우, 소방차를 빠르게 전진시키고, “소방차”를 외치는 소리가 50dB 이상 60 dB 미만일 경우, 소방차를 느리게 전진시킬 수 있다.
모션 데이터 또는 음성 데이터 세트를 수신한 이후에, 프로세서(250)는 콘텐츠 별로 기 설정된 시나리오의 종료 여부를 확인할 수 있다. 만약, 시나리오가 종료되지 않은 것으로 확인되면, 프로세서(250)는 출력부(230)를 통해 추가 모션 데이터 또는 음성 데이터 요청 신호를 제공하여 간접 체험 상황이 종료될 때까지 상술한 과정을 반복할 수 있다. 반대로, 시나리오가 종료되었다면, 프로세서(250)는 출력부(230)를 통해 사용자에게 콘텐츠의 종료를 알릴 수 있으며, 사용자의 동작 또는 음성에 따라 적절한 학습이 진행되었는지 학습 결과를 함께 제공할 수 있다.
지금까지 본 발명의 일 실시예에 따른 콘텐츠 제공 장치(200)에 대하여 설명하였다. 본 발명에 따르면, 콘텐츠 제공 장치(200)는 사용자가 그려 넣은 이미지와 사용자의 동작 또는 음성을 매칭하고, 매칭 결과에 따라 이미지를 출력 속성에 맞게 변경시킴으로써, 사용자에게 학습 효과를 제공할 수 있다. 특히, 이미지의 출력 속성이 한 가지로 정의되는 것이 아니라 사용자의 동작 또는 음성을 해석한 결과에 따라 서로 다르게 정의되어 출력되는 바, 학습 효과를 보다 증진시킬 수 있다.
이하에서는, 상술한 콘텐츠 제공 장치(200)의 관점에서 간접 체험 학습을 위한 인터렉티브 콘텐츠 제공 방법의 흐름에 대하여 개략적으로 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법의 개략적인 순서도이다.
도 4를 참조하면, 콘텐츠 제공 장치(200)는 사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 출력부(230)를 통해 제공한다(S110). 실시예에 따라, 출력부(230)는 콘텐츠 제공 장치(200)에 구비된 시청각적 출력 장치일 수도 있으나, 별도의 디스플레이 장치(100)가 출력 장치의 역할을 수행할 수 있다.
S110 단계 이후, 콘텐츠 제공 장치(200)는 콘텐츠와 연관된 드로잉 객체를 획득한 후, 드로잉 객체를 콘텐츠에 삽입한다(S120). 실시예에 따라, 콘텐츠 제공 장치(200)는 초기 설정에 따라 드로잉 객체를 지정된 위치에 맞게 자동으로 삽입하는지 또는 사용자의 선택에 따라 수동으로 삽입하는지 확인하고, 그에 맞게 드로잉 객체를 콘텐츠의 일 영역에 삽입할 수 있다.
S120 단계 이후, 콘텐츠 제공 장치(200)는 콘텐츠를 시청하는 사용자의 모션 데이터 또는 음성 데이터를 획득한다(S130). 실시예에 따라, 콘텐츠 제공 장치(200)는 콘텐츠를 시청하는 사용자의 모습이 담긴 영상을 획득할 수 있으며, 이 영상 속에서 사용자의 모션 데이터 또는 음성 데이터를 추출할 수 있다. 구체적으로, 콘텐츠 제공 장치(200)는 영상 속에서 배경을 제외한 사용자의 실제 이미지를 획득하고, 실제 이미지를 통해 사용자의 자세, 자세 유지 시간, 제사 변화를 파악할 수 있는 모션 데이터를 추출할 수 있으며, 영상을 통해 사용자의 발화 내용, 발화 시간, 발화 크기를 파악할 수 있는 음성 데이터를 추출할 수 있다.
S130 단계 이후, 콘텐츠 제공 장치(200)는 획득된 어느 하나의 모션 데이터 또는 음성 데이터를 기초로 드로잉 객체의 출력 속성을 변경한다(S140). 여기서, 출력 속성이란 드로잉 객체와 연결된 이미지가 변화하거나 삭제되는 등의 시각적인 속성, 드로잉 객체와 연관된 효과음이 출력되는 청각적인 속성, 드로잉 객체와 연관된 특수 효과가 구현되는 기타 속성을 포함할 수 있다.
지금까지 콘텐츠 제공 장치(200)를 이용한 인터렉티브 콘텐츠 제공 방법에 대하여 개략적으로 설명하였으며, 인터렉티브 콘텐츠 제공 시스템(1000)을 활용한 인터렉티브 콘텐츠 제공 방법의 흐름에 대하여 구체적으로 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 방법의 구체적인 순서도이다.
도 5를 참조하면, 콘텐츠 제공 장치(200)는 디스플레이 장치(100)로 콘텐츠를 제공한다(S210). 예를 들어, 콘텐츠는 재난을 간접 체험할 수 있는 콘텐츠, 동식물을 육성할 수 있는 콘텐츠, 과학 실험을 할 수 있는 콘텐츠, 직업 체험을 할 수 있는 콘텐츠, 교통 안전을 체험할 수 있는 콘텐츠 등을 포함할 수 있다.
실시예에 따라, 디스플레이 장치(100)는 콘텐츠 제공 장치(200)에 하나의 물리적 구성 요소로 포함되거나, 별도의 장치로 마련될 수 있다.
S210 단계 이후, 디스플레이 장치(100)는 사용자의 인터렉션이 반영되지 않은 기본 콘텐츠를 출력한다(S220). 이때, 기본 콘텐츠에는 사용자에게 드로잉 객체, 사용자 실제 이미지, 사용자의 모션 데이터 또는 음성 데이터를 요청하는 정보가 포함될 수 있다.
S220 단계 이후, 촬영 장치(300)는 사용자의 드로잉 데이터를 획득한다(S230). 여기서의 드로잉 데이터는 콘텐츠를 시청하는 사용자가 직접 그린 그림을 의미하며, 촬영 또는 스캔 방식으로 획득할 수 있다.
S230 단계 이후, 콘텐츠 제공 장치(200)는 콘텐츠에 드로잉 객체를 삽입하고, 드로잉 객체가 삽입된 콘텐츠를 디스플레이 장치(100)로 송신한다(S240). 콘텐츠 제공 장치(200)는 콘텐츠에 드로잉 객체의 위치가 지정되어 있는지를 확인하고, 만약, 드로잉 객체의 위치가 지정되어 있다면, 콘텐츠에 기 설정된 시나리오에 따라 사용자가 그린 드로잉 객체를 콘텐츠 내 지정된 크기 및 위치에 맞게 삽입할 수 있다.
이와 반대로, 드로잉 객체의 위치가 지정되어 있지 않다면, 콘텐츠 제공 장치(200)는 사용자로부터 드로잉 객체가 삽입될 위치를 선택 받고, 선택 받은 위치에 따라 콘텐츠에 삽입될 드로잉 객체의 유형을 결정할 수 있다. 예를 들어, 화재가 발생한 빌딩 주변에 삽입될 드로잉 객체는 화재를 진압하기 위한 차량이 될 수 있으므로, 드로잉 객체의 유형은 차량이 될 수 있으며, 화재가 발생한 빌딩으로 진입하였을 때, 통로 주변에 삽입될 드로잉 객체는 소화기, 물 양동이가 될 수 있으므로, 드로잉 객체의 유형은 손으로 들 수 있는 화재 진압 수단 또는 기구가 될 수 있다.
한편, 콘텐츠 제공 장치(200)는 사용자에게 콘텐츠가 기 설정된 시나리오에 따라 진행될 수 있도록, 드로잉 객체를 획득하기 위한 가이드 이미지를 콘텐츠 상에 제공할 수 있다. 예를 들어, 가이드 이미지는 사용자가 그려 넣어야 할 객체의 실제 사진이나, 실선/점선으로 그려진 이미지일 수 있으며, 콘텐츠 상에 “토끼를 그려주세요”와 같은 텍스트가 제공될 수도 있다. 이와 같이, 콘텐츠 제공 장치(200)가 가이드 이미지를 제공해 줄 경우, 콘텐츠 제공 장치(200)는 이후 사용자로부터 획득된 드로잉 객체를 가이드 이미지로 정의되는 객체인 것으로 식별할 수 있다.
만약, 콘텐츠 제공 장치(200)가 가이드 이미지를 제공하지 않는다면, 프로세서(250)는 사용자로부터 획득된 드로잉 객체가 어떠한 객체인지 식별 및 정의하는 과정을 수행할 수 있다. 즉, 콘텐츠 제공 장치(200)는 사용자로부터 획득된 드로잉 객체를 인식하고, 출력 속성을 지정하기 위한 드로잉 객체의 유형을 결정할 수 있다. 구체적으로, 콘텐츠 제공 장치(200)는 콘텐츠 별로 시나리오 진행을 위해 활용될 수 있는 객체의 이미지를 수집하고 드로잉 객체와의 유사도를 계산하여, 사용자가 어떠한 객체를 그린 것인지 판단할 수 있으며, 판단 결과에 따라 드로잉 객체의 유형을 결정할 수 있다.
한편, 콘텐츠 제공 장치(200)는 콘텐츠 상에 드로잉 객체를 삽입한 후, 사용자의 실제 이미지를 획득하고, 드로잉 객체의 위치에 따라 실제 이미지를 기 설정된 위치에 삽입할 수 있다. 예를 들어, 드로잉 객체가 소화기인 경우, 사용자의 실제 이미지가 소화기 옆 위치에 삽입될 수 있으며, 드로잉 객체가 소방차인 경우, 사용자의 실제 이미지가 소방차 운전석 또는 좌석 위에 삽입될 수 있다.
아울러, 콘텐츠 제공 장치(200)는 사용자의 실제 이미지를 획득한 후에, 실제 이미지 안에서 문자 또는 숫자를 검출할 수 있다. 구체적으로, 콘텐츠 제공 장치(200)는 영상에서 사용자를 인식하고, 배경을 제외한 사용자의 실제 이미지만을 추출할 수 있으며, 사용자가 들고 있거나, 몸에 부착되어 있는 문자 또는 숫자를 검출할 수 있다. 예를 들어, 검출된 문자가 “119”“”인 경우, 기 설정된 시나리오에 따라 핸드폰 화면이 뜨거나, 구조 대원과의 대화가 가능하도록 오디오가 출력될 수 있다.
S240 단계 이후, 디스플레이 장치(100)는 드로잉 객체가 합성된 콘텐츠를 출력하고(S250), 콘텐츠 제공 장치(200)는 촬영 장치(300)로부터 모션 데이터 또는 음성 데이터와 같은 사용자 데이터를 획득한 후(S260), 이를 분석한다(S270). 실시예에 따라, 콘텐츠 제공 장치(200)는 콘텐츠를 시청하는 사용자의 모습이 담긴 영상을 획득할 수 있으며, 이 영상 속에서 사용자의 모션 데이터 또는 음성 데이터를 추출할 수 있다. 구체적으로, 콘텐츠 제공 장치(200)는 영상 속에서 배경을 제외한 사용자의 실제 이미지를 획득하고, 실제 이미지를 통해 사용자의 자세, 자세 유지 시간, 제사 변화를 파악할 수 있는 모션 데이터를 추출할 수 있으며, 영상을 통해 사용자의 발화 내용, 발화 시간, 발화 크기를 파악할 수 있는 음성 데이터를 추출할 수 있다.
S270 단계 이후, 콘텐츠 제공 장치(200)는 콘텐츠에 기 설정된 시나리오에 따라 드로잉 객체 또는 콘텐츠 내용을 변경시킨다(S280). 예를 들어, 콘텐츠 제공 장치(200)는 사용자가 식물에 물을 뿌리는 자세가 어느 정도 기울어져 있는지에 따라 물 뿌리개에서 쏟아지는 물의 양을 조정할 수 있으며, 사용자의 목소리가 얼마나 크고 오래동안 지속되는지에 따라 소방차를 빠른 속도로 오랫동안 달리게 할 수 있으며, 소화기를 조준하는 자세가 지정된 자세에 부합하지 않는 경우, 소화액이 분사되지 않도록 하며, 사용자가 “불이야”라고 외치는 경우, 콘텐츠 속 객체들이 이동할 수 있도록 출력 속성을 변경시킬 수 있다.
또한, 콘텐츠 제공 장치(200)는 모션 데이터 또는 음성 데이터 분석에 따라, 드로잉 객체의 이미지를 단계적으로 변경 또는 이동시키거나, 드로잉 객체에 기 설정된 효과음을 출력할 수 있다. 즉, 콘텐츠 제공 장치(200)는 앞서 설명한 모션 데이터 및 음성 데이터에서 사용자의 자세, 자세 유지 시간 및 자세 변화와 사용자의 발화 내용, 발화 시간, 발화 크기를 단계적으로 구분하고, 구분 결과에 따라, 출력 속성을 변경시킬 수 있다. 예를 들어, 소화액을 뿜는 사용자의 자세 유지 시간이 3초 미만인 경우, 불을 나타내는 객체의 크기가 소폭 축소하고, 사용자의 자세 유지 시간이 3초 이상인 경우, 불을 나타내는 객체가 사라지도록 출력 속성을 변경시킬 수 있다.
S280 단계 이후, 디스플레이 장치(100)는 콘텐츠 제공 장치(200)에 의해 변경된 콘텐츠를 출력하고(S290), 콘텐츠 제공 장치(200)는 시나리오의 종료 여부를 확인한다(S300). 만약, 시나리오가 종료되지 않은 것으로 확인되면, 콘텐츠 제공 장치(200)는 디스플레이 장치(100) 또는 촬영 장치(300)로 추가 모션 데이터 또는 음성 데이터 요청 신호를 제공하여(S310-1, 예), 간접 체험 상황이 종료될 때까지 상술한 과정을 반복할 수 있다. 반대로, 시나리오가 종료되었다면, 콘텐츠 제공 장치(200)는 사용자에게 콘텐츠의 종료를 알릴 수 있으며, 사용자의 동작 또는 음성에 따라 적절한 학습이 진행되었는지 학습 결과를 함께 제공할 수 있다(S310-2, 아니오).
지금까지 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠 제공 시스템(1000)을 활용한 인터렉티브 콘텐츠 제공 방법의 흐름에 대하여 구체적으로 설명하였다. 본 발명에 따르면, 실생활에서 체험하기 힘든 상황들을 간접 체험할 수 있어, 체험에 따른 학습을 수행하기 위한 비용을 절약할 수 있다.
도 6a 내지 도 7e는 본 발명의 일 실시예에 따른 인터렉티브 콘텐츠가 제공되는 방식을 설명하기 위한 개략도이다.
도 6a를 참조하면, 콘텐츠 제공 장치(200)는 디스플레이 장치(100)로 소방 훈련을 간접 체험할 수 있는 콘텐츠를 제공할 수 있으며, 사용자가 그려 넣어야 할 객체에 대한 가이드 이미지(61)를 제공할 수 있다.
도 6b를 참조하면, 디스플레이 장치(100) 내 콘텐츠에 사용자가 직접 그린 드로잉 객체(62)와 드로잉 객체(62) 상에 앉아있는 듯한 사용자의 실제 이미지(63)가 제공될 수 있다.
도 6c를 참조하면, 콘텐츠 제공 장치(200)는 사용자의 모션 데이터 또는 음성 데이터를 기초로 드로잉 객체의 출력 속성을 변경시킬 수 있다. 예를 들어, 사용자의 자세 이동에 따라 물이 뿜어져 나오는 방향이 좌우로 이동할 수 있으며, 사용자의 발화 내용, 발화 크기, 발화 시간에 따라, 소방차가 앞으로 빠르게 전진하거나, 뒤로 천천히 후진하거나, 좌우로 이동할 수도 있으며, 사용자가 앉아 있는 리프트가 수직 상승할 수 있다.
한편, 드로잉 객체를 삽입하지 않더라도, 사용자의 실제 이미지와 사용자의 모션 데이터 또는 음성 데이터를 기초로 콘텐츠가 기 설정된 시나리오에 따라 진행될 수 있다.
도 7a를 참조하면, 화재 발생 시 대피하는 방법을 학습하는 콘텐츠에서, 상단에 화재 연기(71)와 함께 “연기가 얼굴에 닿으면 경고음이 울려요!”와 같은 학습 문구가 제공될 수 있으며, 이를 시청하는 사용자들의 실제 이미지(72)(73)가 콘텐츠 상에 합성될 수 있다. 사용자들은 콘텐츠를 시청하면서 자신의 몸이 화재 연기(71)가 형성된 상단에 닿지 않도록 허리를 굽힌 채 이동함으로써, 화재 발생 시 대피하는 방법을 습득할 수 있다.
도 7b를 참조하면, 사용자들이 실제로 머무르는 학교를 배경으로 한 콘텐츠 안에서, 누워있는 사용자의 실제 이미지(74)와 불을 나타내는 이미지(75)가 제공될 수 있으며, “뒹굴면 몸에 붙은 불이 꺼져요!”와 같은 학습 문구가 제공될 수 있다. 콘텐츠 제공 장치(200)는 사용자의 실제 이미지(74)를 통해 사용자의 모션 데이터를 획득하고, 사용자의 자세 변화가 기준 조건을 충족하면, 불을 나타내는 이미지(75)를 삭제하여, 사용자에게 불을 끄는 방법을 알려 줄 수 있다.
도 7c를 참조하면, 사용자들이 실제로 머무르는 교실을 배경으로 한 콘텐츠 안에서, 콘텐츠 제공 장치(200)가 “불이야!! 대피해!”라는 내용이 담긴 음성 데이터를 획득하고, 발화 시간 또는 발화 크기가 기준 조건을 충족하면, 콘텐츠 안에 배치된 학생들(76)이 대피할 수 있도록 객체를 지정된 시나리오에 따라 변경할 수 있다.
도 7d를 참조하면, 콘텐츠 제공 장치(200)가 사용자의 실제 이미지 안에서 “119”라는 숫자를 검출한 경우, 기 설정된 시나리오에 따라 핸드폰 화면(77)이 뜨고, 전화가 연결되어(78) 구조 대원과의 대화가 가능하도록 디스플레이 장치(100)를 통해 오디오가 출력될 수 있다.
마지막으로, 도 7e를 참조하면, 식물을 기르는 콘텐츠 안에서, 콘텐츠 제공 장치(200)는 사용자의 모션 데이터를 통해 자세 유지 시간을 파악할 수 있다. 만약, 자세 유지 시간이 기준 조건을 넘어서 점차 증가하면, 콘텐츠 안에서의 식물을 나타내는 이미지(79)가 점차 변경될 수 있다. 예를 들어, 콘텐츠 제공 장치(200)는 사용자의 자세 유지 시간이 길어질수록 식물이 조금씩 성장할 수 있도록 출력 속성을 변경시킬 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 일 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 인터렉티브 콘텐츠 제공 시스템
100: 디스플레이 장치
200: 인터렉티브 콘텐츠 제공 장치
210: 통신부
220: 입력부
230: 출력부
240: 저장부
250: 프로세서
300: 촬영 장치
310: 특수 촬영 장치
400: 사용자 디바이스

Claims (20)

  1. 콘텐츠 제공 장치의 프로세서에 의해 수행되는 인터렉티브 콘텐츠 제공 방법으로서,
    사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 출력부를 통해 제공하는 단계;
    상기 콘텐츠와 연관된 드로잉 객체를 촬영 장치를 통해 획득하는 단계;
    상기 드로잉 객체를 지정된 위치에 맞게 자동 삽입하는지 또는 수동 삽입하는지 여부를 확인하고,
    확인된 결과에 따라, 상기 드로잉 객체를 자동 삽입하는 경우, 상기 콘텐츠 별로 시나리오 진행에 활용될 수 있는 복수의 이미지들 중 상기 드로잉 객체가 어느 이미지에 해당하는지 인식하고, 이미지 인식 결과에 따라, 상기 드로잉 객체의 출력 속성을 지정하기 위한 유형을 결정한 뒤, 상기 드로잉 객체를 상기 콘텐츠에 삽입하거나,
    확인된 결과에 따라, 상기 드로잉 객체를 수동 삽입하는 경우, 상기 드로잉 객체가 삽입될 위치를 선택 받고, 선택 받은 위치에 따라 상기 드로잉 객체의 유형을 결정한 뒤, 상기 드로잉 객체를 상기 콘텐츠에 삽입하는 단계;
    상기 콘텐츠를 시청하는 사용자의 모션 데이터 또는 음성 데이터를 획득하는 단계; 및
    획득된 어느 하나의 모션 데이터 또는 음성 데이터를 기초로 상기 드로잉 객체의 출력 속성을 변경시키는 단계; 를 포함하고,
    상기 드로잉 객체는,
    사용자가 그린 콘텐츠 관련 이미지에 해당하는 인터렉티브 콘텐츠 제공 방법.
  2. 제1항에 있어서,
    상기 출력 속성을 변경시키는 단계는,
    상기 모션 데이터를 기초로 상기 사용자의 자세, 자세 유지 시간 및 자세 변화 중 어느 하나를 파악하거나, 상기 음성 데이터를 기초로 상기 사용자의 발화 내용, 발화 시간 및 발화 크기 중 어느 하나를 파악하고,
    파악된 결과에 따라 상기 드로잉 객체의 출력 속성을 변경시키는 단계인, 인터렉티브 콘텐츠 제공 방법.
  3. 제2항에 있어서,
    상기 출력 속성을 변경시키는 단계는,
    상기 모션 데이터 또는 음성 데이터 분석에 따라 상기 드로잉 객체의 이미지를 단계적으로 변경 또는 이동시키거나, 상기 드로잉 객체에 기 설정된 효과음을 상기 출력부를 통해 출력하는 단계, 를 포함하는 인터렉티브 콘텐츠 제공 방법.
  4. 제1항에 있어서,
    상기 콘텐츠에 삽입하는 단계는,
    기 설정된 시나리오에 따라 상기 콘텐츠 상에 상기 드로잉 객체를 지정된 크기 및 위치에 맞게 삽입하는 단계인, 인터렉티브 콘텐츠 제공 방법.
  5. 제4항에 있어서,
    상기 콘텐츠에 삽입하는 단계는,
    상기 콘텐츠 상에 드로잉 객체를 획득하기 위한 가이드 이미지를 제공하는 단계, 를 더 포함하는 인터렉티브 콘텐츠 제공 방법.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 콘텐츠에 삽입하는 단계 이후에,
    상기 사용자의 실제 이미지를 실시간으로 획득하고, 상기 드로잉 객체의 위치에 따라 상기 실제 이미지를 기 설정된 위치에 삽입하는 단계, 를 더 포함하는 인터렉티브 콘텐츠 제공 방법.
  9. 제8항에 있어서,
    상기 삽입하는 단계 이후에,
    상기 실제 이미지에서 문자 또는 숫자를 검출하고, 검출된 문자 또는 숫자를 기초로 상기 드로잉 객체의 출력 속성을 변경시키거나, 기 설정된 시나리오에 따른 시뮬레이션을 실행하는 단계, 를 더 포함하는, 인터렉티브 콘텐츠 제공 방법.
  10. 제1항에 있어서,
    상기 출력 속성을 변경시키는 단계 이후에,
    기 설정된 시나리오의 종료 여부를 확인하고, 상기 시나리오가 종료되지 않은 것으로 확인되면, 상기 출력부를 통해 추가 모션 데이터 또는 음성 데이터 요청 신호를 제공하는 단계, 를 더 포함하는 인터렉티브 콘텐츠 제공 방법.
  11. 통신부;
    출력부;
    입력부;
    저장부; 및
    상기 통신부, 상기 출력부, 상기 입력부, 상기 저장부와 동작 가능하게 연결된 프로세서;
    를 포함하되,
    상기 프로세서는,
    사용자의 상황 별 간접 체험 학습을 위한 콘텐츠를 상기 출력부를 통해 제공하고,
    상기 콘텐츠와 연관된 드로잉 객체를 획득하고,
    상기 드로잉 객체를 지정된 위치에 맞게 자동 삽입하는지 또는 수동 삽입하는지 여부를 확인하고,
    확인된 결과에 따라, 상기 드로잉 객체를 자동 삽입하는 경우, 상기 콘텐츠 별로 시나리오 진행에 활용될 수 있는 복수의 이미지들 중 상기 드로잉 객체가 어느 이미지에 해당하는지 인식하고, 이미지 인식 결과에 따라, 상기 드로잉 객체의 출력 속성을 지정하기 위한 유형을 결정한 뒤, 상기 드로잉 객체를 상기 콘텐츠에 삽입하거나,
    확인된 결과에 따라, 상기 드로잉 객체를 수동 삽입하는 경우, 상기 입력부를 통해 상기 드로잉 객체가 삽입될 위치를 선택 받고, 선택 받은 위치에 따라 상기 드로잉 객체의 유형을 결정한 뒤, 상기 드로잉 객체를 상기 콘텐츠에 삽입하고,
    상기 콘텐츠를 시청하는 사용자의 모션 데이터 또는 음성 데이터를 획득하고,
    획득된 어느 하나의 모션 데이터 또는 음성 데이터를 기초로 상기 드로잉 객체의 출력 속성을 변경시키도록 구성되며,
    상기 드로잉 객체는,
    사용자가 그린 콘텐츠 관련 이미지에 해당하는, 인터렉티브 콘텐츠 제공 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 모션 데이터를 기초로 상기 사용자의 자세, 자세 유지 시간 및 자세 변화 중 어느 하나를 파악하거나, 상기 음성 데이터를 기초로 상기 사용자의 발화 내용, 발화 시간 및 발화 크기 중 어느 하나를 파악하고,
    파악된 결과에 따라 상기 드로잉 객체의 출력 속성을 변경시키도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 모션 데이터 또는 음성 데이터 분석에 따라 상기 드로잉 객체의 이미지를 단계적으로 변경 또는 이동시키거나, 상기 드로잉 객체에 기 설정된 효과음을 상기 출력부를 통해 출력시키도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  14. 제11항에 있어서,
    상기 프로세서는,
    기 설정된 시나리오에 따라 상기 콘텐츠 상에 상기 드로잉 객체를 지정된 크기 및 위치에 맞게 삽입하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 콘텐츠 상에 드로잉 객체를 획득하기 위한 가이드 이미지를 제공하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  16. 삭제
  17. 삭제
  18. 제11항에 있어서,
    상기 프로세서는,
    상기 사용자의 실제 이미지를 실시간으로 획득하고, 상기 드로잉 객체의 위치에 따라 상기 실제 이미지를 기 설정된 위치에 삽입하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  19. 제18항에 있어서,
    상기 프로세서는,
    상기 실제 이미지에서 문자 또는 숫자를 검출하고, 검출된 문자 또는 숫자를 기초로 상기 드로잉 객체의 출력 속성을 변경시키거나, 기 설정된 시나리오에 따른 시뮬레이션을 실행하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
  20. 제11항에 있어서,
    상기 프로세서는,
    기 설정된 시나리오의 종료 여부를 확인하고, 상기 시나리오가 종료되지 않은 것으로 확인되면, 추가 모션 데이터 또는 음성 데이터 요청 신호를 상기 출력부를 통해 제공하도록 구성되는, 인터렉티브 콘텐츠 제공 장치.
KR1020200170618A 2020-12-08 2020-12-08 인터렉티브 콘텐츠 제공 방법 및 장치 KR102341294B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200170618A KR102341294B1 (ko) 2020-12-08 2020-12-08 인터렉티브 콘텐츠 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200170618A KR102341294B1 (ko) 2020-12-08 2020-12-08 인터렉티브 콘텐츠 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102341294B1 true KR102341294B1 (ko) 2021-12-21

Family

ID=79165321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200170618A KR102341294B1 (ko) 2020-12-08 2020-12-08 인터렉티브 콘텐츠 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102341294B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102438743B1 (ko) * 2022-03-02 2022-08-31 인하대학교 산학협력단 클라우드 서비스용 3d 매뉴얼을 2d 인터랙티브 비디오로 변환하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678994B1 (ko) * 2015-06-09 2016-11-24 주식회사 미디어프론트 인터렉티브 미디어 월 시스템 및 인터렉티브 미디어 월 시스템에서의 3차원 객체 디스플레이 방법
KR20160139633A (ko) * 2015-05-28 2016-12-07 주식회사 플렉싱크 증강현실을 이용한 체험형 콘텐츠 제공 시스템 및 방법
KR101767569B1 (ko) * 2017-02-20 2017-08-11 주식회사 유조이월드 디스플레이되는 영상컨텐츠와 관련된 증강현실 인터랙티브 시스템 및 상기 시스템의 운영방법
KR20190081034A (ko) * 2017-12-29 2019-07-09 주식회사 버넥트 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160139633A (ko) * 2015-05-28 2016-12-07 주식회사 플렉싱크 증강현실을 이용한 체험형 콘텐츠 제공 시스템 및 방법
KR101678994B1 (ko) * 2015-06-09 2016-11-24 주식회사 미디어프론트 인터렉티브 미디어 월 시스템 및 인터렉티브 미디어 월 시스템에서의 3차원 객체 디스플레이 방법
KR101767569B1 (ko) * 2017-02-20 2017-08-11 주식회사 유조이월드 디스플레이되는 영상컨텐츠와 관련된 증강현실 인터랙티브 시스템 및 상기 시스템의 운영방법
KR20190081034A (ko) * 2017-12-29 2019-07-09 주식회사 버넥트 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2016-0139633호(2016.12.07.) 1부*
공개특허공보 제10-2019-0081034호(2019.07.09.) 1부*
등록특허공보 제10-1678994호(2016.11.24.) 1부*
등록특허공보 제10-1767569호(2017.08.11.) 1부*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102438743B1 (ko) * 2022-03-02 2022-08-31 인하대학교 산학협력단 클라우드 서비스용 3d 매뉴얼을 2d 인터랙티브 비디오로 변환하는 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101992424B1 (ko) 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
CN107240319B (zh) 一种用于k12阶段的互动情景教学系统
AU2019262848B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
WO2018233398A1 (zh) 学习监控方法、装置及电子设备
CN106409030A (zh) 一种个性化外语口语学习系统
CN109521927B (zh) 机器人互动方法和设备
CN111290568A (zh) 交互方法、装置及计算机设备
WO2019100932A1 (zh) 一种运动控制方法及其设备、存储介质、终端
US10726630B1 (en) Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
CN110598576A (zh) 一种手语交互方法、装置及计算机介质
CN106464773B (zh) 增强现实的装置及方法
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
CN109817244A (zh) 口语评测方法、装置、设备和存储介质
WO2018108177A1 (zh) 一种机器人绘画教学方法、装置及其机器人
JP2016100033A (ja) 再生制御装置
US20170213392A1 (en) Method and device for processing multimedia information
KR102341294B1 (ko) 인터렉티브 콘텐츠 제공 방법 및 장치
CN112669422A (zh) 仿真3d数字人生成方法、装置、电子设备及存储介质
CN109084748A (zh) 一种ar导航方法及电子设备
CN113574849A (zh) 用于后续对象检测的对象扫描
KR102289448B1 (ko) 인터렉티브 콘텐츠 제공 장치
KR20180012192A (ko) 유아동용 학습 장치 및 그 동작 방법
US10645274B2 (en) Server apparatus, distribution system, distribution method, and program with a distributor of live content and a viewer terminal for the live content including a photographed image of a viewer taking a designated body pose
CN110599822A (zh) 语音板书显示方法、系统及存储介质
CN112073668B (zh) 一种远程教室互动方法、系统、装置和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant