KR20210156270A - 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버 - Google Patents

대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버 Download PDF

Info

Publication number
KR20210156270A
KR20210156270A KR1020210180392A KR20210180392A KR20210156270A KR 20210156270 A KR20210156270 A KR 20210156270A KR 1020210180392 A KR1020210180392 A KR 1020210180392A KR 20210180392 A KR20210180392 A KR 20210180392A KR 20210156270 A KR20210156270 A KR 20210156270A
Authority
KR
South Korea
Prior art keywords
user
server
education
user device
emotion
Prior art date
Application number
KR1020210180392A
Other languages
English (en)
Other versions
KR102536372B1 (ko
Inventor
김훈
김대식
Original Assignee
김훈
(주)휴먼앤에이아이
김대식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190155800A external-priority patent/KR102341634B1/ko
Application filed by 김훈, (주)휴먼앤에이아이, 김대식 filed Critical 김훈
Priority to KR1020210180392A priority Critical patent/KR102536372B1/ko
Publication of KR20210156270A publication Critical patent/KR20210156270A/ko
Application granted granted Critical
Publication of KR102536372B1 publication Critical patent/KR102536372B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Abstract

본 발명은 사용자 장치와 통신하는 대화형 교육 시스템의 교육 서버에 관한 것이다. 상기 교육 서버는, 상기 사용자 장치로부터 사용자의 사용자 인식 정보를 입력받고, 상기 사용자의 질문에 대한 답변 내용을 상기 사용자 장치로 제공하기 위한 서버 통신부; 상기 사용자의 감정 사례를 저장하기 위한 감정 사례 DB, 상기 사용자 장치를 통해 제공되는 스토리의 내용을 저장하기 위한 스토리보드 DB, 그리고 상기 사용자 장치를 통해 증강현실 기술에 의한 등장 인물을 구현하기 위한 증강현실 DB를 포함하는 서버 저장부; 및 상기 사용자 인식 정보를 기반으로 상기 사용자의 질문 내용에 대한 답변 내용을 사례기반추론을 통해 추론하고, 상기 등장 인물의 답변 내용을 상기 사용자에 맞게 편집하고, 상기 사용자와 상기 등장 인물 사이의 대화 내용을 파일로 처리하여 보관하는 서버 제어부를 포함한다.

Description

대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버 {conversation education system including user device and education server}
본 발명은 교육 시스템에 관한 것으로, 좀 더 상세하게는 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버에 관한 것이다.
기존의 독서는 책의 내용을 일방적으로 독자에게 전달하는 방식이다. 기존의 독서는 독자에게 지루함을 줄 수 있고, 책의 내용 중에 이해하기 어려운 부분을 만나면 그 뜻을 이해하지 못하고 넘어가는 경우가 많다. 또한, 기존의 교제를 통한 외국어 교육도 책의 내용을 일방적으로 이해하고 습득해야 하기 때문에, 지속적으로 하기 어려운 문제가 있다.
이러한 문제로 인해 독서나 외국어 교육을 위한 다양한 프로그램이나 교육 시스템이 개발되고 있다. 대학민국 공개특허공보 제10-2018-0105861호에는 외국어 학습 어플리케이션 및 이에 포함된 콘텐츠를 이용한 외국어 학습 시스템이 게시되어 있다. 상기 공개특허는 2인 이상의 캐릭터가 등장하여 외국어 대사를 주고받는 외국어 학습 콘텐츠 재생이 이루어질 때, 외국어 학습 콘텐츠 내에서 학습자 아바타로 할당된 캐릭터인 학습자 캐릭터의 외국어 대사를 따라하는 학습자 외국어 발음이나 학습자 작성 문장을 입력받아 외국어 학습 서버로 전송하며, 학습자 외국어 발음이나 학습자 작성 문장의 정확도를 나타내는 학습 평가 점수를 상기 외국어 학습 서버로부터 수신하여 표시하는 학습자 단말기를 포함한다.
상기 공개특허는 학습자 캐릭터의 외국어 대사의 원어민 발음과 상기 외국어 대사를 따라하는 학습자 외국어 발음간의 유사도, 또는 학습자 캐릭터의 외국어 대사의 문장과 상기 외국어 대사를 따라하는 학습자 작성 문장간의 유사도에 따른 학습 평가 점수를 산출하여 상기 학습자 단말기로 전송하며, 산출된 학습 평가 점수에 따라서 학습자에게 코인을 적립해주는 외국어 학습 서버를 포함한다. 그리고 상기 공개특허는 상기 학습자 단말기와 외국어 학습 서버간에 유선 통신 또는 무선 통신을 제공하는 유무선 통신망을 포함할 수 있다. 그러나 위와 같은 교육 시스템에서는 사용자의 음성이나 감정과는 상관없이 교육 프로그램에 따라 일방적으로 진행되기 때문에 여전히 지속적인 교육 효과를 얻을 수 없다.
본 발명은 상술한 기술적인 문제를 해결하기 위해 제안된 것으로, 본 발명의 목적은 사용자 또는 독자와 교육 도구 사이에 쌍당향 대화를 통해 독서의 즐거움을 더해주시고 지속적으로 외국어를 공부할 수 있는 대화형 교육 시스템을 제공하는 데 있다.
본 발명은 사용자 장치와 통신하는 대화형 교육 시스템의 교육 서버에 관한 것이다. 상기 교육 서버는, 상기 사용자 장치로부터 사용자의 사용자 인식 정보를 입력받고, 상기 사용자의 질문에 대한 답변 내용을 상기 사용자 장치로 제공하기 위한 서버 통신부; 상기 사용자의 감정 사례를 저장하기 위한 감정 사례 DB, 상기 사용자 장치를 통해 제공되는 스토리의 내용을 저장하기 위한 스토리보드 DB, 그리고 상기 사용자 장치를 통해 증강현실 기술에 의한 등장 인물을 구현하기 위한 증강현실 DB를 포함하는 서버 저장부; 및 상기 사용자 인식 정보를 기반으로 상기 사용자의 질문 내용에 대한 답변 내용을 사례기반추론을 통해 추론하고, 상기 등장 인물의 답변 내용을 상기 사용자에 맞게 편집하고, 상기 사용자와 상기 등장 인물 사이의 대화 내용을 파일로 처리하여 보관하는 서버 제어부를 포함한다.
실시 예로서, 상기 서버 제어부는 상기 사용자의 음성이나 감정을 분석하고, 분석한 결과를 기초로 감정 코드를 생성하고, 상기 감정 사례 DB에서 감정 정보를 선택하고 편집함으로 상기 사용자의 질문에 대한 답변 내용을 생성할 수 있다.
본 발명은 교육 서버와 통신하는 대화형 교육 시스템의 사용자 장치에 관한 것이다. 상기 사용자 장치는 사용자로부터 음성 및 감정 정보를 입력받고, 상기 교육 서버로 사용자 인식 정보를 제공하고 상기 사용자의 질문 내용에 대한 답변 내용을 입력받기 위한 입출력부; 상기 사용자의 음성 인식 정보와 감정 인식 정보를 저장하기 위한 저장부; 및 상기 교육 서버로부터 입력받은 상기 사용자의 질문 내용에 대한 답변을 하기 위한 등장 인물을 화면에 표시하고, 상기 등장 인물을 통해 상기 사용자와 대화를 하도록 하는 제어부를 포함한다.
상기 제어부는 상기 사용자의 발음을 평가하고 발음 평가 정보를 상기 저장부에 저장할 수 있다. 상기 입출력부는 화면 터치를 통해 또는 QR 코드 스캔을 통해 상기 등장 인물을 화면에 표시할 수 있다.
본 발명은 동화를 읽는 사용자의 사고력을 키울 뿐 아니라, 저자와의 대화를 통해 동화 내용에 더욱 몰입할 수 있다. 또한, 본 발명은 외국어 공부를 하는 경우에, 주인공을 친구 삼아 놀이를 하듯 대화를 하면서 회화 공부를 할 수 있기 때문에, 자연스럽게 외국어 능력이 향상될 수 있다. 또한, 본 발명은 음성 인식을 통해 학생의 발음을 분석하고, 주인공을 통해 발음 내용에 대한 의견을 주고 칭찬을 하는 등 친절한 가이드를 제공함으로 교육 효과를 높일 수 있다.
도 1은 본 발명의 실시 예에 따른 대화형 교육 시스템을 보여주는 블록도이다.
도 2는 도 1에 도시된 사용자 장치를 예시적으로 보여주는 블록도이다.
도 3은 도 1에 도시된 교육 서버를 예시적으로 보여주는 블록도이다.
도 4는 도 3에 도시된 서버 제어부의 동작 방법을 예시적으로 보여주는 블록도이다.
도 5는 도 3에 도시된 서버 제어부의 동작 방법을 설명하기 위한 순서도이다.
도 6은 도 3에 도시된 교육 서버의 회원 가입 및 인증 방법을 예시적으로 설명하기 위한 순서도이다.
도 7은 도 2에 도시된 사용자 장치의 동작 방법을 예시적으로 설명하기 위한 순서도이다.
도 8은 도 2에 도시된 사용자 장치의 제어부에 있는 프로세서를 예시적으로 보여주는 블록도이다.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다. 본 발명의 실시 예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
도 1은 본 발명의 실시 예에 따른 대화형 교육 시스템을 보여주는 블록도이다. 도 1을 참조하면, 대화형 교육 시스템(1000)은 사용자 장치(1100), 네트워크(1200), 그리고 교육 서버(1300)를 포함한다. 대화형 교육 시스템(1000)은 독서를 하는 독자(이하에서는 사용자라 함)와 사용자 장치(1100) 내의 가상 인물(1101, 이하에서는 주인공이라 함) 쌍방 간에 대화를 할 수 있게 해준다. 대화형 교육 시스템(1000)은 사용자가 독서나 회화 등과 같은 교육을 재미있고 현실감 있게 받을 수 있도록 해준다.
예를 들면, 사용자가 사용자 장치(1100)를 이용하여 동화를 읽는다고 가정하자. 사용자가 동화 내용 중에 특정한 부분을 클릭하거나 동화책 내의 QR 코드나 동물 사진 또는 캐릭터와 같은 특정 포인트를 사용자 장치(1100)로 스캔하면, 주인공(1101)이 사용자 장치(1100)의 화면에 나타날 수 있다. 사용자는 증강현실(AR)을 이용한 모델로 나타난 주인공(1101)과 대화할 수 있다. 한편, 사용자 장치(1100)의 화면에는 사용자 본인의 아바타(avatar)가 나타날 수 있다. 이 경우에 사용자 아바타와 주인공이 대화를 할 수 있다. 사용자는 증강현실(AR)을 통해 질문을 하고 대답을 구함으로 사용자 아바타와 주인공 간의 대화에 참여할 수 있다. 사용자 장치(1100)는 음성 인식뿐 아니라 감정 인식 기술을 이용하여 현실감 있는 대화형 교육을 유도할 수 있다. 사용자는 시스템 개발자가 만든 인공지능 시스템(AI 시스템)과 책의 저자가 준비한 스토리보드를 통해 대화형 교육을 받을 수 있다.
계속해서 도 1을 참조하면, 사용자 장치(1100)는 사용자의 음성을 인식할 수 있다. 또한, 실시 예에 따라 사용자 장치(1100)는 사용자의 감정을 인식할 수도 있다. 사용자 장치(1100)는 음성 인식 정보 또는 감정 인식 정보 등과 같은 사용자로부터 얻은 정보(이하에서는, 사용자 인식 정보라 함)를 네트워크(1200)를 통해 교육 서버(1300)로 제공할 수 있다. 사용자 장치(1100)는 사용자 인식 정보를 교육 서버(1300)로 전송하기 위해, 유선 또는 무선의 방식으로 네트워크(1200)에 연결될 수 있다.
한편, 사용자 장치(1100)는 교육 서버(1300)로부터 교육 프로그램을 수신할 수 있다. 여기서, 교육 프로그램은 사용자가 사용자 장치(1100)를 통해 주인공과 대화를 하며 독서를 하거나 교육을 받을 수 있는 프로그램일 수 있다. 교육 프로그램은 사용자가 독서나 회화 교육을 지루하지 않고 재미있게 대화를 하며 수행하도록 게임화된 프로그램일 수 있다. 사용자 장치(1100)는 사용자가 독서나 회화 등과 같은 교육을 게임으로 인식할 수 있도록, 교육 서버(1300)로부터 실시간으로 교육 정보를 제공받아 수치화하고, 수치화한 정보를 화면에 나타나게 할 수 있다. 예를 들면, 사용자 장치(1100)는 교육 서버(1300)로부터 제공된 교육 정보를 참조하여, 사용자가 독서를 얼마나 수행했는지를 수치화하여 나타낼 수 있다.
사용자 장치(1100)는 모바일 폰(mobile phone), 스마트 폰(smart phone), 태블릿(tablet), TV, PC(personal computer) 등일 수 있다. 사용자 장치(1100)는 상술한 바에 한정되지 않고, 교육 프로그램을 구동할 수 있고 사용자에게 교육 프로그램의 인터페이스를 화면에 제공할 수 있는 모든 형태의 전자 장치일 수 있다.
교육 서버(1300)는 네트워크(1200)를 통해 사용자 장치(1100)와 연결될 수 있다. 교육 서버(1300)는 사용자 장치(1100)로부터 사용자 인식 정보를 수신할 수 있다. 교육 서버(1300)는 수신된 사용자 인식 정보를 참조하여 사용자에게 맞는 교육 정보를 사용자 장치(1100)로 제공할 수 있다. 또는 교육 서버(1300)는 사전에 저장된 복수의 교육 프로그램 중 사용자에 적합한 교육 프로그램을 추천할 수 있다. 교육 서버(1300)는 사용자에게 적합한 교육 정보나 교육 프로그램을 네트워크(1200)를 통해 사용자 장치(1100)로 전송할 수 있다.
교육 서버(1300)는 적어도 하나 이상의 사용자 장치들로부터 사용자 인식 정보를 수신할 수 있다. 도 1에서는 하나의 사용자 장치(1100)만 도시되어 있지만, 본 발명의 범위는 이에 제한되지 않는다. 교육 서버(1300)는 복수의 사용자 장치에서 전송한 다양한 사용자 인식 정보를 수신하고, 각각의 사용자에게 맞는 교육 정보를 제공할 수 있다. 교육 서버(1300)의 구성 및 동작 원리는 아래에서 좀 더 구체적으로 설명될 것이다.
도 2는 도 1에 도시된 사용자 장치를 예시적으로 보여주는 블록도이다. 도 2를 참조하면, 사용자 장치(1100)는 입출력부(1110), 저장부(1120), 그리고 제어부(1130)를 포함한다.
입출력부(1110)는 입력부(1111)와 출력부(1112)를 포함한다. 입력부(1111)는 사용자로부터 음성이나 감정 정보 등을 입력받을 수 있다. 예를 들면, 입력부(1111)는 마이크를 통해 사용자의 음성 정보를 입력받고, 카메라를 통해 사용자의 감정 정보를 입력받을 수 있다. 또한, 입력부(1111)는 교육 서버(도 1 참조, 1300)로부터 교육 정보나 교육 프로그램 등을 입력받을 수 있다. 입력부(1111)는 사용자로부터 제공된 음성이나 감정 정보, 또는 교육 서버(1300)로부터 제공된 교육 정보나 교육 프로그램 등을 저장부(1120) 또는 제어부(1130)로 제공할 수 있다. 출력부(1112)는 사용자에게 대화형 교육을 위한 다양한 인터페이스를 제공하거나, 교육 서버(1300)로 대화형 교육을 사용자 인식 정보 등을 제공할 수 있다.
저장부(1120)는 입출력부(1110)를 통해 수신하는 정보들을 저장할 수 있다. 저장부(1120)는 음성 인식 정보 저장부(1121), 감정 인식 정보 저장부(1122), 그리고 발음 평가 정보 저장부(1123)를 포함할 수 있다. 음성 인식 정보 저장부(1121)는 사용자의 음성으로부터 얻은 여러 가지 음성 인식 정보를 저장할 수 있다. 감정 인식 정보 저장부(1122)는 사용자의 얼굴 표정이나 행동 등을 통해 분석한 감정 인식 정보를 저장할 수 있다. 발음 평가 정보 저장부(1123)는 사용자가 회화 학습이나 노래 연습 등과 같은 활동을 하는 경우에, 사용자의 발음 평가 정보를 저장할 수 있다.
제어부(1130)는 프로세서나 프로그램 관리 유닛을 포함할 수 있다. 제어부(1130)는 음성 인식 엔진이나 감정 인식 엔진을 포함할 수 있다. 또한, 제어부(1130)는 발음 평가 엔진을 포함할 수 있다. 제어부(1130)는 이러한 하드웨어나 소프트웨어를 통해 사용자의 음성 데이터나 감정 데이터 또는 발음 평가 데이터를 샘플링하고, 인공지능(AI)을 이용하여 음성이나 감정 또는 발음 평가와 관련한 대표값을 얻고, 교육 서버(1300)로 제공할 사용자 인식 정보를 산출할 수 있다.
도 3은 도 1에 도시된 교육 서버를 예시적으로 보여주는 블록도이다. 도 3을 참조하면, 교육 서버(1300)는 서버 통신부(1310), 서버 저장부(1320), 그리고 서버 제어부(1330)를 포함한다. 교육 서버(1300)는 사용자 장치(1100)로부터 수신된 사용자 인식 정보를 이용하여 교육 정보를 생성할 수 있다. 여기에서 교육 정보는 사용자의 질문에 대한 답변일 수 있다. 즉, 교육 서버(1300)는 사용자 인식 정보를 기반으로 사용자의 질문에 대한 주인공 답변을 산출할 수 있다. 교육 서버(1300)는 산출된 주인공 답변을 사용자 장치(1100)로 제공할 수 있다.
계속해서 도 3을 참조하면, 서버 통신부(1310)는 서버 입력부(1311)와 서버 출력부(1312)를 포함한다. 서버 입력부(1311)는 사용자 장치(도 1 참조, 1100)로부터 사용자 인식 정보를 수신한다. 여기에서, 사용자 인식 정보는 사용자의 음성이나 감정 또는 발음이나 억양 또는 읽기 속도 등일 수 있다. 서버 출력부(1312)는 사용자 인식 정보를 기반으로 산출한 교육 정보, 예를 들면 주인공 답변 등을 사용자 장치(1100)로 제공할 수 있다.
서버 저장부(1320)는 감정 사례 DB(1321), 스토리보드 DB(1322), 그리고 증강현실 DB(1333)를 포함할 수 있다. 감정 사례 DB(1321)에는 사용자 장치(1100)의 사용자 인식 정보를 통해 제공된 음성 인식 정보 또는 감정 인식 정보 또는 발음 정보 등이 저장될 수 있다. 또는 감정 사례 DB(1321)에는 이들 정보를 통해 산출한 감정 인식 정보가 저장될 수 있다. 스토리보드 DB(1322)에는 사용자 장치(1322)로 제공될 다양한 스토리 정보가 저장될 수 있다. 여기에서 스토리 정보는 사용자와 대화를 수행하기 위한 다양한 종류의 컨텐츠일 수 있다. 예를 들면, 스토리보드 DB(1322)에는 사용자의 질문에 대한 주인공의 답변들이 저장될 수 있다.
서버 제어부(1330)는 교육 서버(1300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 서버 제어부(1330)는 서버 저장부(1320)의 감정 사례 DB(1321), 스토리보드 DB(1322), 또는 증강현실 DB(1333)에 접근(access)하고, 교육 정보를 생성하기 위한 알고리즘이나 프로그램 명령을 실행함으로, 교육 서버(1300)를 구동할 수 있다. 또한, 서버 제어부(1330)는 교육 서버(1300)의 여러 구성 요소들을 제어하는 컨트롤러, 인터페이스, 그래픽 엔진 등을 포함할 수 있다. 서버 제어부(1330)는 SoC(system-on-chip), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 등의 형태로 구현될 수 있다.
서버 제어부(1330)는 사용자 인식 정보을 이용하여 교육 정보를 산출할 수 있다. 예를 들면, 서버 제어부(1330)는 사용자의 질문에 대한 주인공 답변를 산출할 수 있다. 이를 위해 서버 제어부(1330)는 사례기반추론 엔진(1331)와 주인공 답변 편집기(1332)를 포함할 수 있다. 또한, 서버 제어부(1330)를 실시 예로서 대화 진행 결과물 파일화 유닛(1333)을 더 포함할 수 있다.
사용자가 주인공(도 1 참조, 1101)에게 음성으로 질문이나 이야기를 하면, 서버 제어부(1330)는 사용자 아바타가 자동으로 사용자 장치(1100)의 화면에 나타나고 증강현실(AR) 상에서 사용자와 마치 대화를 하고 있는 것과 같은 환경을 구현할 수 있다. 사용자가 말하면, 사용자 장치(1100)의 음성 인식 엔진이나 감정 인식 엔진이 동작하고, 교육 서버(1300)로 사용자 인식 정보가 제공된다.
사용자 인식 정보가 제공되면, 사례기반추론 엔진(1321)은 스토리 보드 DB(1322) 내용을 기반으로 음성이나 감정을 분석할 수 있다. 음성이나 감정 분석은 소리의 강약이나 길이나 속도, 또는 얼굴의 표정이나 몸짓 등을 고려하여 예를 들면 약 20여 가지로 종류로 분류될 수 있다. 사례기반추론 엔진(1321)은 감정 사례 DB(401)에서 적절한 대응 답변 감정을 선택하고, 주인공 답변 편집기(1332)로 제공할 수 있다. 주인공 답변 편집기(1332)는 스토리보드 DB(1332)를 검색하여 적절한 답변으로 편집할 수 있다. 주인공 답변 편집기(1332)의 답변 내용은 사용자 장치(1100)로 제공될 수 있다.
사용자 장치(1100)의 화면에는 증강현실 DB(1323)를 통해 정해진 주인공(1101)이 사용자에게 보인다. 이와 같은 방식으로 사용자 장치(1100)에는 사용자와 대화할 수 있는 대화형 교육 시스템(1000)의 교육 환경이 제공된다. 또한, 대화형 교육 시스템(1000)의 결과물은 서버 제어부(1330)의 대화 진행 결과물 파일화 유닛(1333)을 통해 사용자와의 대화 진행 결과물을 파일화 하여 보관할 수 있다. 보관된 결과물 데이터는 추후에 빅데이터 분석 자료로 활용될 수 있다. 또한, 사용자는 해당 동화나 회화의 대화 결과물을 새로운 무형의 자산으로 보관할 수 있다.
서버 제어부(1330)는 대화를 구현하기 위해, 하드웨어 보드 내에 프로세서(예를 들면, CPU)를 구비할 수 있다. 프로세서는 음성 인식 및 감정 인식 처리를 위해 메모리에 저장된 알고리즘을 트리거링(Trigering)하여 음성 파일을 사용자 장치(1100)의 스피커로 전달함으로 소리를 외부로 출력하도록 할 수 있다. 또한, 프로세서는 마이크를 통하여 입력된 사용자의 아날로그 음성 데이터를 아날로그-디지털 변환(ADC)을 하여 디지털 형태로 서버 저장부(1320)의 메모리에 저장할 수 있다. 사례기반추론 엔진(1331)은 스토리보드 DB(1322) 내용을 기반으로 음성 감정 분석 알고리즘을 구동하고, 프로세서는 이를 연산 처리하거나 데이터를 분석하여 해당 음성의 대화자가 어떤 감정 상태인지를 구분할 수 있다. 사용자 장치(1100)가 동화 속에 있는 QR 코드나 동물 사진 또는 캐릭터를 카메라로 인식하면, 프로세서는 해당 코드 값을 읽고, 그것에 맞는 증강현실 영상 APK 파일을 구동한다. 이때 사용자 장치(1100)의 화면에는 증강현실(AR) 영상이 보이게 된다.
본 발명의 실시 예에 따른 대화형 교육 시스템(1000)은 사용자의 언어 교육이나 외국어 학습에 사용될 수 있다. 사용자가 책을 읽거나 외국어를 공부하는 경우에, 사용자 장치(1100)의 특정 부분을 터치하거나 QR 코드나 동물 사진 또는 캐릭터와 같은 마크를 스캔하면 증강현실(AR)을 이용한 가상 교육 환경이 화면에 나타날 수 있다.
사용자가 사용자 장치(1100)의 화면에 나타난 주인공과 대화를 하면, 화면에는 사용자 아바타(avatar)가 등장하고, 사용자는 주인공과 대화를 할 수 있다. 사용자는 주인공에게 질문을 하고, 주인공은 사용자에게 질문 내용을 자세하게 설명해줄 수 있다. 또한, 사용자가 외국어를 공부하는 경우에는 사용자의 발음을 시스템이 평가하고 주인공(1101)이 평가 내용을 말로 전달할 수 있다. 또한, 사용자가 주인공(1101)과 대화 시에 말을 따라 하거나 하고 싶은 이야기를 할 수 있다. 이때 사용자 아바타는 자동으로 동시에 증강현실 시스템 상에서 이 말을 외국어로 구현하게 된다.
대화형 교육 시스템(1000)은 사용자가 이야기 하는 회화 수준 정도를 원어민 회화 수준과 비교 평가하고, 주인공(1101)의 입을 통해 적절하고 자연스럽게 이를 평가하도록 할 수 있다. 예를 들면, 너 정말 잘하는구나. 지난 번 보다 이번이 더 나은걸? 하며 사용자에게 동기 부여를 해줄 수 있다. 즉 사용자의 발음이 이전보다 좋아졌을 때 칭찬을 해줌으로 외국어 학습에 지속적으로 흥미를 갖게 할 수 있다. 또한, 이러한 학습 결과물은 파일화 하여, 서버 저장부(1320)에 저장하고, 추후에 빅데이터 분석 자료로 활용되도록 할 수 있다.
또한, 대화형 교육 시스템(1000)은 인공지능 시스템을 이용하여 사용자의 감정을 고려하여 적절하게 편집한 답변 내용을 사용자에게 전함으로 학습 효과를 높일 수 있다. 대화형 교육 시스템(1000)의 전체적인 대화 흐름은 동화 내용에 관한 스토리보드를 참조하여 진행하게 된다.
도 4는 도 3에 도시된 서버 제어부의 동작 방법을 예시적으로 보여주는 블록도이다. 사용자가 질문을 하면, 사용자 장치(1100)는 질문 내용을 음성 인식하고, 음성 인식 정보를 서버 제어부(1330)로 제공한다. 서버 제어부(1330)는 인공지능(AI) 기술을 적용하여 구현될 수 있다. 사례기반추록 엔진(1331)은 사례기반추록(CBR)을 적용하여 사용자의 질문에 대한 가장 적절한 답변을 찾는다. 사용자 장치(1100)는 증강현실 기술을 적용하여 화면에 주인공을 나타내고 음성으로 사용자에게 답변한다.
사례기반추론 엔진(1331)는 질문 내용에 대한 가장 적절한 답변을 찾기 위해서, 질문이나 대화 내용을 분석할 수 있다. 또한, 서버 제어부(1330)는 사용자 장치(1100)로부터 감정 인식 정보를 제공받을 수 있다. 사례기반추론 엔진(1331)은 제공된 감정 코드를 읽어 스토리보드 DB(1322)를 참조하고 판단하되, 감정을 실은 가장 적합한 답변을 결정할 수 있다. 사용자 장치(1100)는 주인공(1101)을 통해 사용자에게 감정을 반영한 음성을 들려줄 수 있다. 이때 사용자 장치(1100)는 TTS(Text to Speech) 엔진을 활용할 수 있다. 감정을 반영한 음성을 들려줄 때, 사용자 장치(1100)는 증강현실 기술을 적용하여 주인공(1101)에게 감정을 표현하도록 할 수 있다. 또한, 사용자 장치(1100)는 증강현실 기술을 적용하여 사용자 아바타도 감정을 표현하거나 주인공(1101)의 감정에 반응하도록 할 수 있다.
이를 통해 본 발명의 대화형 교육 시스템(1000)은 사용자가 원어민 발음의 주인공(1101)과 지속적으로 대화를 하게 할 수 있다. 또한, 본 발명은 사용자가 즐겁게 놀면서 쌍방향 대화를 하며 즐겁게 독서를 하게 할 수 있다. 또한, 본 발명은 영어 회화 교육을 하는 경우에, 주인공(1101)이 교사처럼 지도를 하되 칭찬과 지적을 적절히 하도록 스토리보드를 작성할 수 있다. 본 발명에 의하면, 사용자는 주인공(1101)과 쌍방간에 대화를 하면서 교육을 받을 수 있다.
스토리보드는 디지털 교육 교제를 작성할 때 함께 작성될 수 있으며, 작성된 스토리보드는 스토리보드 DB(1322)에 업데이트될 수 있다. 스토리보드 DB(1322)에는 사용자와 주인공(1101)이 대화한 내용이 업데이트 될 수 있다. 또한, 스토리보드 DB(1322)에는 사용자의 질문에 대한 답변이 제대로 되지 않은 경우에, 사례기반추론 엔진(1331)은 추가로 답변 내용을 추론하고 질문에 가장 맞는 답변 내용을 스토리보드 DB(1322)에 업데이트 할 수 있다.
도 5는 도 3에 도시된 서버 제어부의 동작 방법을 설명하기 위한 순서도이다. 도 5는 인공지능 기술을 적용한 서버 제어부(1330)가 사용자에게 들려줄 답변을 생성하는 과정을 상세하게 보여준다.
S110 단계에서, 서버 제어부(1330)는 사용자 장치(1100)로부터 사용자 인식 정보를 입력받는다. 여기에서, 사용자 인식 정보는 음성 인식 정보 또는 감정 인식 정보일 수 있다. 음성 인식 정보는 사용자 장치(1100)의 음성 인식 엔진에서 생성되고 음성 인식 정보 저장부(도 2 참조, 1121)에 저장될 수 있다. 감정 인식 정보는 감정 인식 엔진에서 생성되고 감정 인식 정보 저장부(도 2 참조, 1122)에 저장될 수 있다. 사용자 장치(1100)에 저장된 사용자 인식 정보는 사용자의 요청에 의해서 또는 실시간으로 교육 서버(1300)로 제공될 수 있다.
S120 단계에서, 서버 제어부(1330)는 사용자 인식 정보를 입력받고, 감정 코드를 분류할 수 있다. 서버 제어부(1330)는 사용자의 음성, 소리의 강약, 소리의 장단, 음성 속도, 억양 등 여러 요소들을 종합하여 감정 코드를 분류할 수 있다. 서버 제어부(1330)는 감정 사례 DB(1321)를 이용하여 감정 코드를 분류하고, 분류한 감정 코드를 감정 사례 DB(1321)에 업데이트할 수 있다. 한편, 서버 제어부(1330)는 복수의 사용자가 있는 경우에, 각각의 사용자 별로 감정 코드를 분류하고 감정 사례 DB(1321)에 업데이트할 수 있다.
S130 단계에서, 서버 제어부(1330)는 감정 코드를 포함한 음성 내용을 확정할 수 있다. 사용자 장치(1100)의 음성 인식 엔진에서 생성된 음성 인식 정보는 교육 서버(1300)로 제공된다. 교육 서버(1300)의 서버 제어부(1330)는 제공된 음성 인식 정보 및 감정 인식 정보를 텍스트 데이터로 확정하는 과정에서 음성 내용을 확정할 수 있다. 확정된 음성 내용에는 감정 코드가 포함될 수 있다. 서버 제어부(1330)는 감정 사례 DB(1321)에 저장된 감정 코드 또는 감정 사례를 참조하여 음성 내용을 확정할 수 있다.
S140 단계에서, 서버 제어부(1330)는 서버 제어부(1330)는 질문 내용을 기반으로 사례기반추론(CBR)을 이용하여 유사도 검색을 할 수 있다. 즉, 사례기반추론 엔진(1331)은 질문 내용에 가장 적합한 답변을 선정하기 위해 스토리보드 DB(1322) 내의 질문 사례들을 대상으로 유사도 검색을 수행할 수 있다.
S150 단계에서, 서버 제어부(1330)는 감정 코드를 적용한 답변을 선정할 수 있다. 사례기반추론 엔진(1331)은 감정 코드를 이용해서 사용자의 질문에 가장 적합한 답변을 스토리보드 DB(1322)에서 검색하고 확인할 수 있다. 여기에서, 감정 코드는 S120 단계에서 분류된 것일 수 있다. 감정 코드는 감정 사례 DB(1321)에 저장된 것일 수 있다. 주인공 답변 편집기(1332)는 감정 코드를 이용하여 주인공 답변 내용을 편집할 수 있다.
S160 단계에서, 서버 제어부(1330)는 답변 내용을 음성으로 처리하고 주인공 답변을 사용자 장치(1100)로 출력할 수 있다. 사용자 장치(1100)는 TTS(Text to Speech) 시스템을 통해 감정을 포함한 주인공 음성을 사용자에게 들려줄 수 있다. 서버 제어부(1330)는 사용자가 답변 내용에 만족하는지 여부를 피드백(feed back) 받을 수 있다. 서버 제어부(1330)는 피드백 정보를 참조하여, 대화형 교육 시스템(1000)을 업그레이드할 수 있다.
도 6은 도 3에 도시된 교육 서버의 회원 가입 및 인증 방법을 예시적으로 설명하기 위한 순서도이다.
S210 단계에서, 사용자는 사용자 장치(1100)를 이용하여 회원 가입을 할 수 있다. 사용자는 교육 서버(1300)에 접속하거나 사용자 어플리케이션을 통해 회원 가입을 할 수 있다. 교육 서버(1300)는 회원 가입 시에 사용자의 이름, 생년월일, 주민번호, 전화번호, 이메일, 주소 등과 같은 인적 사항을 요청할 수 있다. 교육 서버(1300)는 인적 사항 이외에도 사용자가 주로 이용하는 교육 분야나 관심 분야 등을 요청할 수 있다. 또한, 교육 서버(1300)는 사용자가 선호하는 책의 종류나 기호 등을 요청할 수 있다. 사용자는 교육 서버(1300)가 제공하는 요청에 응답하는 방식으로 회원 가입을 할 수 있다.
S220 단계에서, 사용자는 사용자 장치(1100)를 이용하여 본인 인증 절차를 수행할 수 있다. 본인 인증은 간단하게는 사용자 이름, 주민번호, 전화번호 등과 같은 인적 사항을 입력하는 등 기계적인 방법으로 수행되거나, 또는 은행 등에서 사용되는 공인 인증 수단을 통해 수행될 수 있다. 또한, 본인 인증은 홍채나 지문 등과 같은 생체 인증이나 핸드폰 인증 등과 같은 전자적 인증을 통해 수행될 수 있다.
S230 단계에서, 사용자가 입력하는 인증 정보를 기초로 인증 성공 여부를 판단할 수 있다. 교육 서버(1300)는 사용자가 입력하는 인증 정보와 회원 DB에 저장된 인증 정보(예를 들면, 공인 인증)를 비교함으로 인증 성공 여부를 판단할 수 있다. 본인 인증이 성공한 경우에는 S240 단계가 수행되고, 실패한 경우에는 S232 단계가 수행될 수 있다.
S232 단계에서는, S230 단계에서 인증이 성공하지 않은 경우에(NO), 인증 실패 수를 판단할 수 있다. 교육 서버(1300)는 사용자의 인증 실패 수가 N회 반복되었는지를 판단할 수 있다. 인증 실패 수가 N회 반복되지 않았으면, S220 단계가 수행된다. 즉, 교육 서버(1300)는 사용자에게 다시 본인 인증 절차를 수행하도록 안내할 수 있다. 그러나 인증 실패 수가 N회 반복된 경우에는 S234 단계가 수행된다.
S234 단계에서, 교육 서버(1300)는 인증 실패를 안내할 수 있다. 교육 서버(1300)는 사용자가 본인 인증을 N회 반복해서 실패한 경우에, 사용자에게 인증이 실패하였음을 안내하고 본인 인증 절차를 종료할 수 있다. 이때 사용자는 교육 서버(1300)의 운영자에게 요청하여 본인 인증을 다시 수행할 수 있다.
S240 단계에서, 교육 서버(1300)는 사용자 장치(1100)를 통해 사용자에게 회원 ID를 제공할 수 있다. 회원 ID는 교육 프로그램을 이용하는 경우에 사용될 수 있다. 회원 ID는 다음과 같은 순서로 발급 받을 수 있다. 도 6의 예를 참조하면, S241 단계에서 사용자는 사용자 장치(1100)를 이용하여 교육 서버(1300)에 접속할 수 있다. S242 단계에서 교육 서버(1300)는 사용자 정보를 요청할 수 있다. 사용자는 사용자 장치1100)를 이용하여 사용자 정보를 입력할 수 있다. S243 단계에서 사용자는 비밀번호를 입력할 수 있다. 여기에서 사용자 정보와 비밀번호는 회원가입 단계(S210)에서 입력한 정보와 동일한 정보일 수 있다.
도 7은 도 2에 도시된 사용자 장치의 동작 방법을 예시적으로 설명하기 위한 순서도이다. 도 7을 참조하면, 사용자 장치(1100)의 제어부(1130)는 교육 서버(1300)로부터 제공되거나 저장 매체로부터 제공된 교육 프로그램을 설치하도록 지원할 수 있다.
S310 단계에서, 제어부(1130)는 사용자 장치(1100)에 실행 프로그램(예를 들면, 교육 프로그램)을 설치할 수 있다. 실행 프로그램은 이동식 저장매체(예를 들면, USB나 메모리 카드 등) 또는 교육 서버(1300)로부터 다운로드를 통해 사용자 장치(1100)의 저장부(1120)에 저장되고 설치될 수 있다. 실행 프로그램에는 도 6에서 설명한 사용자 장치(1100)의 본인 인증을 위한 인증 데이터가 포함될 수 있다.
S320 단계에서, 제어부(1130)는 실행 프로그램의 설치가 성공했는지를 판단할 수 있다. 실행 프로그램의 설치가 실패하였으면(NO), 제어부(1130)는 프로그램 설치 실패를 안내할 수 있다(S325). 교육 프로그램 설치가 성공하였으면(YES), S330 단계를 수행할 수 있다.
S330 단계에서, 제어부(1130)는 사용자 장치(1100)의 입출력부(1110), 저장부(1120), 그리고 제어부(1130)의 정상 동작 여부를 확인할 수 있다. 제어부(1130)는 사용자가 사용자 장치(1100)를 이용하여 교육 서버(1300)에서 제공하는 교육 프로그램을 정상적으로 이용할 수 있는지를 확인할 수 있다.
S331 단계에서, 제어부(1130)는 사용자 장치(1100)의 입출력부(1110)의 동작을 확인할 수 있다. 먼저, 제어부(1130)는 교육 서버(1300)가 사용자 장치(1100)와 원활하게 연결되는지에 관하여 입출력부(1110)의 동작을 확인할 수 있다. 즉, 입력부(1111)가 사용자로부터 음성이나 감정을 입력받고, 교육 서버(1300)로부터 교육 정보나 질문에 대한 답변을 정상적으로 입력받을 수 있는지를 확인할 수 있다. 출력부(1112)가 사용자의 질문에 대한 답변 내용을 사용자에게 제공할 수 있는지 또는 사용자 인식 정보를 교육 서버(1300)로 제공할 수 있는지를 확인할 수 있다.
S332 단계에서, 제어부(1130)는 사용자 장치(1100)의 저장부(1120)의 동작을 확인할 수 있다. 제어부(1130)는 저장부(1120)가 입출력부(1110)로부터 수신하는 정보들을 정상적으로 저장하는지를 확인할 수 있다. 즉, 음성 인식 정보 저장부(1121)에 사용자로부터 입력된 음성 인식 정보가 저장되고, 감정 인석 정보 저장부(1122)에 감정 인식 정보가 저장되고, 발음 평가 정보 저장부(1123)에 교육 서버(1300)로부터 제공된 발음 평가 정보가 정상적으로 저장되는지를 확인할 수 있다.
S333 단계에서, 제어부(1130)가 정상적으로 동작하는지 여부를 확인할 수 있다. 제어부(1130)는 프로세서가 정상적으로 동작하는지를 확인할 수 있다. 제어부(1130)가 프로세서가 교육 프로그램의 명령에 따라 동작하는지를 확인할 수 있다.
도 8은 도 2에 도시된 사용자 장치의 제어부에 있는 프로세서를 예시적으로 보여주는 블록도이다. 도 8에 예시적으로 도시된 프로세서는 전용 보드 제품이다. 프로세서는 사용자의 질문 등 음성을 인식하고, QR 코드 또는 카메라를 통해 증강현실 시스템을 작동할 수 있으며, 애니메이션 동작을 수행할 수 있다. 스마트 폰과 같은 단말기를 통해서도 음성을 인식하고 시스템으로 활용할 수 있으나, 전용 보드를 이용하면 넓은 화면을 통해 더욱 즐겁게 주인공과 대화를 할 수 있다.
사용자 장치는 QR 코드를 인식하거나 카메라로 사진 영상을 인식하여 화면에 AR, MR 생성시 GPU가 연동하게 되며 이 처리시간이 수십 ms로 처리하도록 구현한다. 화면에 나타난 AR, MR 영상이 사용자와 실시간 음성 대화 할 때 자연스러운 얼굴 표정 변화와 감성있는 음성을 자연스럽게 처리하도록 CPU와 GPU에서 음성과 영상처리를 고속으로 처리하며 메모리 억세스 처리를 효율적으로 하게 한다.
도 8을 참조하면, 사용자 장치(1100)의 제어부(1130)는 CPU 프로세서에 연결되는 다양한 구성을 포함할 수 있다. 예를 들면, JTAG, Touch LCD, USB OTG, T-Flash, UART, PMIC, DDR4, CAMERA, 3-axia sensor, UART Debug, WiFI/BT, eMMC, MPI CSI/DSI, MIC, speaker, Audio CODEC, 그리고 Touch LCD 등을 포함할 수 있다.
종래의 독서는 저자의 일방적인 동화 내용 전달 방식이다. 그러나 사용자의 창의력을 높이고 즐거운 독서를 하기 위해서는 사용자가 주인공의 행위에 대해 자신의 생각을 표현할 필요가 있다. 본 발명은 사용자가 질문이 생각나는 즉시, 주인공과의 대화를 통해 질문에 대한 답변을 얻을 수 있다. 본 발명은 특히 어린이 사용자가 동화책을 읽을 때, 특정 상황에서 증강현실 기술을 활용하여 사용자 장치의 화면에 사용자 아바타 또는 주인공을 나타낼 수 있다. 사용자 아바타와 주인공 쌍방 간 대화를 하면서, 음성 인식 엔진을 통해 사용자의 질문, 의견 등 대화 내용을 음성인식을 하고 이를 분석할 수 있다. 또한, 본 발명은 사용자의 감정을 인식하고, 주인공이 보드 등 위에서 사용자의 감정에 대응하는 적절한 답변을 선택하여 응답을 하도록 할 수 있다.
상술한 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술한 실시 예들 이외에도, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들도 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술한 실시 예들에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.
1000: 대화형 교육 시스템
1100: 사용자 장치
1200: 네트워크
1300: 교육 서버
1310: 서버 통신부
1320: 서버 저장부
1330: 서버 제어부
1340: 시스템 버스

Claims (5)

  1. 사용자 장치와 통신하는 대화형 교육 시스템의 교육 서버에 있어서,
    상기 사용자 장치로부터 사용자의 사용자 인식 정보를 입력받고, 상기 사용자의 질문에 대한 답변 내용을 상기 사용자 장치로 제공하기 위한 서버 통신부;
    상기 사용자의 감정 사례를 저장하기 위한 감정 사례 DB, 상기 사용자 장치를 통해 제공되는 스토리의 내용을 저장하기 위한 스토리보드 DB, 그리고 상기 사용자 장치를 통해 증강현실 기술에 의한 등장 인물을 구현하기 위한 증강현실 DB를 포함하는 서버 저장부; 및
    상기 사용자 인식 정보를 기반으로 상기 사용자의 질문 내용에 대한 답변 내용을 사례기반추론을 통해 추론하고, 상기 등장 인물의 답변 내용을 상기 사용자에 맞게 편집하고, 상기 사용자와 상기 등장 인물 사이의 대화 내용을 파일로 처리하여 보관하는 서버 제어부를 포함하는 대화형 교육 시스템의 교육 서버.
  2. 제 1 항에 있어서,
    상기 서버 제어부는 상기 사용자의 음성이나 감정을 분석하고, 분석한 결과를 기초로 감정 코드를 생성하고, 상기 감정 사례 DB에서 감정 정보를 선택하고 편집함으로 상기 사용자의 질문에 대한 답변 내용을 생성하는 대화형 교육 시스템의 교육 서버.
  3. 제 1 항의 교육 서버와 통신하는 대화형 교육 시스템의 사용자 장치에 있어서,
    사용자로부터 음성 및 감정 정보를 입력받고, 상기 교육 서버로 사용자 인식 정보를 제공하고 상기 사용자의 질문 내용에 대한 답변 내용을 입력받기 위한 입출력부;
    상기 사용자의 음성 인식 정보와 감정 인식 정보를 저장하기 위한 저장부; 및
    상기 교육 서버로부터 입력받은 상기 사용자의 질문 내용에 대한 답변을 하기 위한 등장 인물을 화면에 표시하고, 상기 등장 인물을 통해 상기 사용자와 대화를 하도록 하는 제어부를 포함하는 사용자 장치.
  4. 제 3 항에 있어서,
    상기 제어부는 상기 사용자의 발음을 평가하고 발음 평가 정보를 상기 저장부에 저장하는 사용자 장치.
  5. 제 3 항에 있어서,
    상기 입출력부는 화면 터치를 통해 또는 QR 코드 스캔을 통해 상기 등장 인물을 화면에 표시하는 사용자 장치.
KR1020210180392A 2019-11-28 2021-12-16 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버 KR102536372B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210180392A KR102536372B1 (ko) 2019-11-28 2021-12-16 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190155800A KR102341634B1 (ko) 2018-11-28 2019-11-28 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
KR1020210180392A KR102536372B1 (ko) 2019-11-28 2021-12-16 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190155800A Division KR102341634B1 (ko) 2018-11-28 2019-11-28 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버

Publications (2)

Publication Number Publication Date
KR20210156270A true KR20210156270A (ko) 2021-12-24
KR102536372B1 KR102536372B1 (ko) 2023-05-26

Family

ID=79176052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210180392A KR102536372B1 (ko) 2019-11-28 2021-12-16 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버

Country Status (1)

Country Link
KR (1) KR102536372B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057424A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 증강현실 아바타 상호작용 방법 및 시스템
KR20160100811A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 정보 제공 방법 및 디바이스
KR20180105861A (ko) * 2017-03-16 2018-10-01 이윤창 외국어 학습 어플리케이션 및 이에 포함된 콘텐츠를 이용한 외국어 학습 시스템
JP2018156272A (ja) * 2017-03-16 2018-10-04 国立研究開発法人情報通信研究機構 対話システム、対話装置及びそのためのコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057424A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 증강현실 아바타 상호작용 방법 및 시스템
KR20160100811A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 정보 제공 방법 및 디바이스
KR20180105861A (ko) * 2017-03-16 2018-10-01 이윤창 외국어 학습 어플리케이션 및 이에 포함된 콘텐츠를 이용한 외국어 학습 시스템
JP2018156272A (ja) * 2017-03-16 2018-10-04 国立研究開発法人情報通信研究機構 対話システム、対話装置及びそのためのコンピュータプログラム

Also Published As

Publication number Publication date
KR102536372B1 (ko) 2023-05-26

Similar Documents

Publication Publication Date Title
US20240054118A1 (en) Artificial intelligence platform with improved conversational ability and personality development
US10249207B2 (en) Educational teaching system and method utilizing interactive avatars with learning manager and authoring manager functions
US9378650B2 (en) System and method for providing scalable educational content
WO2008001350A2 (en) Method and system of providing a personalized performance
CN103136971A (zh) 语言音素的练习引擎
US20220093000A1 (en) Systems and methods for multimodal book reading
Andriella et al. Do i have a personality? endowing care robots with context-dependent personality traits
CN110767005A (zh) 基于儿童专用智能设备的数据处理方法及系统
Rehm et al. From observation to simulation: generating culture-specific behavior for interactive systems
Calvo et al. Introduction to affective computing
CN117541444B (zh) 一种互动虚拟现实口才表达训练方法、装置、设备及介质
KR102341634B1 (ko) 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
WO2020111835A1 (ko) 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
KR102536372B1 (ko) 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
US20220309936A1 (en) Video education content providing method and apparatus based on artificial intelligence natural language processing using characters
Toncu et al. Escape from dungeon—modeling user intentions with natural language processing techniques
Gonzalez et al. Passing an enhanced Turing test–interacting with lifelike computer representations of specific individuals
Vieira et al. “Tell Your Day”: Developing Multimodal Interaction Applications for Children with ASD
CN112634684B (zh) 智能教学方法和装置
Zhu Creating your own conversational artificial intelligence agents using convo, a conversational programming system
US20240087465A1 (en) Interactively teaching/improving language skills by generating a visually connected sequence of images
Tewari et al. A question-answering agent using speech driven non-linear machinima
KR102260280B1 (ko) 외국어-수화 동시 학습방법
CN110059231B (zh) 一种回复内容的生成方法及装置
Lyman Comparison of Early Literacy iPad Applications: Children's Engagement

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right