KR20210091945A - 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법 - Google Patents

언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법 Download PDF

Info

Publication number
KR20210091945A
KR20210091945A KR1020200005270A KR20200005270A KR20210091945A KR 20210091945 A KR20210091945 A KR 20210091945A KR 1020200005270 A KR1020200005270 A KR 1020200005270A KR 20200005270 A KR20200005270 A KR 20200005270A KR 20210091945 A KR20210091945 A KR 20210091945A
Authority
KR
South Korea
Prior art keywords
character
data
user
pronunciation
language learning
Prior art date
Application number
KR1020200005270A
Other languages
English (en)
Inventor
이경아
박정훈
주우현
Original Assignee
주식회사 더플랜지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 더플랜지 filed Critical 주식회사 더플랜지
Priority to KR1020200005270A priority Critical patent/KR20210091945A/ko
Publication of KR20210091945A publication Critical patent/KR20210091945A/ko
Priority to KR1020220041114A priority patent/KR102523440B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Acoustics & Sound (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 실시예에 따른 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치는, 언어 학습을 위해 주어진 단어 또는 문자에 대한 사용자 발화 데이터를 획득하고, 상기 획득된 사용자 발화 데이터에 대한 발음 평가를 서비스 제공 서버로 요청하고, 상기 통신부를 통해 상기 서비스 제공 서버로부터 상기 사용자 발화 데이터에 대한 사용자 발음 평가 결과 데이터를 수신하고, 상기 수신된 사용자 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 표시하고, 상기 주어진 단어 또는 문장에 대한 캐릭터의 언어 학습을 상기 서비스 제공 서버로 요청하고, 상기 서비스 제공 서버로부터 상기 사용자 발화 데이터 및 상기 캐릭터의 상태 데이터를 기반으로 생성된 캐릭터 발화 데이터에 대한 발음 평가 결과를 나타내는 캐릭터 발음 평가 결과 데이터를 수신하고, 상기 수신된 캐릭터 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 표시한다.

Description

언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING USER INTERFACE FOR EDUCATING CHARACTER OF LANGUAGE LEARNING CONTENTS}
본 발명은 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법에 관한 것이다.
산업의 전문화 및 국제화의 추세에 따라 외국어에 대한 중요성이 커지고 있으며, 이에 따라 외국어 학습을 위한 다양한 서비스가 제공되고 있다.
일반적으로, 외국어 학습은 원어민 강사의 지도에 의해서 이루어지고 있으나, 이러한 학습은 비용이 많이 소비되고, 장소 및 시간 제약이 있다는 문제점이 있다.
이에, 장소 및 시간 제약 없이 언제 어디서든 적은 비용으로 외국어 학습이 가능한 외국어 학습 방법이 필요로 하게 되었다. 이러한 요구에 부응하기 위해 다양한 어학용 프로그램이 개발되어 제공되고 있다.
그러나, 이러한 어학용 프로그램은 원어민의 발음을 들려주고, 이를 따라하도록 학습하는 것이 대부분이며, 이와 같이 원어민 발음을 단순히 반복적으로 학습할 경우 사용자가 지루함을 느낄 수 있어, 언어 학습 능률이 떨어질 수 있다는 문제점이 있다.
따라서, 사용자가 혼자 반복적인 학습을 수행하는 것이 아닌 가르치는 역할을 수행하도록 하여 언어 학습에 대한 능률을 높일 수 있는 방법이 요구된다.
본 발명이 해결하고자 하는 과제는 언어 학습 콘텐츠의 가상의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법을 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 과제는 사용자가 선생님 입장이 되어 가상의 캐릭터를 교육함으로써, 언어 학습의 능률을 높이기 위한 캐릭터 교육 기반의 사용자 인터페이스 제공 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치는, 데이터를 송수신하도록 구성된 통신부; 데이터를 표시하도록 구성된 표시부; 및 상기 통신부, 및 상기 표시부와 연결하도록 구성된 제어부를 포함하고, 상기 제어부는, 언어 학습을 위해 주어진 단어 또는 문자에 대한 사용자 발화 데이터를 획득하고, 상기 획득된 사용자 발화 데이터에 대한 발음 평가를 서비스 제공 서버로 요청하고, 상기 통신부를 통해 상기 서비스 제공 서버로부터 상기 사용자 발화 데이터에 대한 사용자 발음 평가 결과 데이터를 수신하고, 상기 수신된 사용자 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 상기 표시부를 통해 표시하고, 상기 주어진 단어 또는 문장에 대한 캐릭터의 언어 학습을 상기 서비스 제공 서버로 요청하고, 상기 서비스 제공 서버로부터 상기 사용자 발화 데이터 및 상기 캐릭터의 상태 데이터를 기반으로 생성된 캐릭터 발화 데이터에 대한 발음 평가 결과를 나타내는 캐릭터 발음 평가 결과 데이터를 수신하고, 상기 수신된 캐릭터 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 상기 표시부를 통해 표시하도록 구성된다.
본 발명의 실시예에 따른 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치의 제어부에 의해서 수행되는 사용자 인터페이스 제공 방법은, 언어 학습을 위해 주어진 단어 또는 문자에 대한 사용자 발화 데이터를 획득하는 단계; 상기 획득된 사용자 발화 데이터에 대한 발음 평가를 서비스 제공 서버로 요청하는 단계; 상기 통신부를 통해 상기 서비스 제공 서버로부터 상기 사용자 발화 데이터에 대한 사용자 발음 평가 결과 데이터를 수신하는 단계; 상기 수신된 사용자 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 표시하는 단계; 상기 주어진 단어 또는 문장에 대한 캐릭터의 언어 학습을 상기 서비스 제공 서버로 요청하는 단계; 상기 서비스 제공 서버로부터 상기 사용자 발화 데이터 및 상기 캐릭터의 상태 데이터를 기반으로 생성된 캐릭터 발화 데이터에 대한 발음 평가 결과를 나타내는 캐릭터 발음 평가 결과 데이터를 수신하는 단계; 및 상기 수신된 캐릭터 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 표시하는 단계를 포함한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 사용자가 선생님 입장이 되어 언어 학습 콘텐츠의 가상의 캐릭터를 가르치면서 함께 언어 학습을 수행함으로써, 캐릭터를 교육하는 사용자도 함께 언어 학습을 수행할 수 있는 이중의 교육 효과를 얻을 수 있다.
또한, 본 발명은 사용자의 발음과 캐릭터의 상태를 고려하여 캐릭터의 학습 능력을 변화시킴으로써, 사용자가 실제로 언어 교육을 수행하는 듯한 경험을 가질 수 있다.
또한, 본 발명은 사용자가 단순히 배우는 입장이 아닌 선생님 입장으로 캐릭터를 교육함으로써, 언어 학습에 대한 흥미가 높아지도록 할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스를 제공하는 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 사용자 장치의 개략도이다.
도 3는 본 발명의 실시예에 따른 서비스 제공 서버에 대한 개략도이다.
도 4는 본 발명의 실시예에 따른 사용자 장치에서 언어 학습 콘텐츠의 캐릭터를 교육시키기 위한 사용자 인터페이스를 제공하는 방법을 설명하기 위한 개략적인 흐름도이다.
도 5는 본 발명의 실시예에 따른 사용자 장치 및 서비스 제공 서버 간의 언어 학습 콘텐츠의 캐릭터를 교육시키기 위한 방법을 설명하기 위한 개략적인 흐름도이다.
도 6a, 도 6b, 도 6c, 도 6d, 도 6e, 도 6f, 도 6g 및 도 6h는 본 발명의 실시예에 따른 언어 학습 콘텐츠에 대한 다양한 인터페이스 화면을 나타내는 예시도들이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스를 제공하는 시스템을 설명하기 위한 개략도이다.
도 1을 참조하면, 사용자 인터페이스 제공 시스템(100)은 사용자의 음성을 인식하고, 이를 기반으로 언어 학습 콘텐츠의 캐릭터를 교육시키기 위한 사용자 인터페이스를 제공하는 시스템으로서, 사용자의 발화 데이터를 획득하고, 획득된 발화 데이터에 대한 발음 평가를 요청하는 사용자 장치(110) 및 사용자 발화 데이터에 기반하여 언어 학습 콘텐츠의 캐릭터를 교육시키도록 하기 위한 언어 학습 콘텐츠를 제공하는 서비스 제공 서버(120)를 포함한다. 여기서, 언어 학습 콘텐츠는 언어 학습을 위한 다양한 서비스를 제공하는 어플리케이션, 위젯 또는 프로그램 등과 같은 소프트웨어 일 수 있으나, 이에 한정되지 않으며, 이와 같은 서비스를 제공하는 서버로부터 웹 페이지 형태로 제공되거나, 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다. 예를 들어, 언어 학습 콘텐츠는 사용자가 선생님 역할을 맡아 캐릭터에게 영어를 가르치기 위한 어플리케이션 등일 수 있으나, 이에 한정되지 않는다.
먼저, 사용자 장치(110)는 특정 단어 또는 문장에 대한 사용자의 발화 데이터를 획득하고, 획득된 발화 데이터에 기반하여 언어 학습 콘텐츠의 캐릭터를 교육시키기 위한 사용자 인터페이스를 제공하는 전자 장치로서, 스마트폰, 태블릿 PC(Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
사용자 장치(110)는 서비스 제공 서버(120)로부터 언어 학습 콘텐츠에 관한 런처(launcher)를 수신하고, 수신된 런처를 실행하여 실행된 런처에 대한 적어도 하나의 인터페이스 화면을 표시할 수 있다. 예를 들어, 적어도 하나의 인터페이스 화면은 언어 학습을 위해 주어진 단어 또는 문장에 대한 사용자의 발화 데이터를 획득하고, 획득된 발화 데이터에 대한 발음 평가를 요청하기 위한 제1 인터페이스 화면, 및/또는 사용자 발화 데이터에 대한 발음 평가 결과를 나타내고, 이를 기반으로 캐릭터를 교육하기 위한 제2 인터페이스 화면 등을 포함할 수 있으나, 이에 한정되지 않는다. 다양한 실시예에서 적어도 하나의 인터페이스 화면은 해당 단어 또는 문장에 대한 캐릭터의 발음 및 이에 대한 평가 결과를 나타내고, 평가 결과에 대응하여 캐릭터에 대한 반복 학습 여부를 결정하기 위한 제3 인터페이스 화면을 더 포함할 수 있다.
사용자 장치(110)는 제1 인터페이스 화면을 통해 주어진 단어 또는 문장(또는 청크(chunk))에 대한 사용자의 발화 데이터를 획득하고, 획득된 발화 데이터에 대한 발음 평가를 서비스 제공 서버(120)로 요청할 수 있다. 이때, 사용자 장치(110)에 내장된 마이크를 통해서 발화 데이터가 획득되거나, 외부 장치로서 연결된 마이크를 통해서 발화 데이터가 획득될 수 있다.
서비스 제공 서버(120)로부터 발화 데이터에 대한 발음 평가 결과를 나타내는 결과 데이터가 수신되면 사용자 장치(110)는 수신된 결과 데이터를 나타내는 제2 인터페이스 화면을 표시할 수 있다. 이때, 제2 인터페이스 화면은 발음 평가 결과를 점수로서 나타낸 점수 데이터 및 사용자의 발음과 원어민의 발음을 그래프화하여 비교한 비교 데이터 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서 제2 인터페이스 화면은 캐릭터에게 주어진 단어 또는 문장을 발음하도록 하고, 캐릭터의 발음에 대한 평가를 요청하기 위한 그래픽 객체를 더 포함할 수 있다.
이러한 그래픽 객체가 선택되면 사용자 장치(110)는 주어진 단어 또는 문장에 대한 캐릭터의 발화 데이터를 출력하고, 캐릭터 발화 데이터에 대한 발음 평가를 서비스 제공 서버(120)로 요청할 수 있다. 이때, 캐릭터 발화 데이터는 사용자 발화 데이터 및 캐릭터의 상태 데이터에 기반으로 발화된 음성 데이터로서, 서비스 제공 서버(120)에 의해 생성되어 제공될 수 있다.
서비스 제공 서버(120)로부터 캐릭터의 발음에 대한 평가 결과 데이터가 수신되면 사용자 장치(110)는 수신된 평가 결과 데이터와 함께 캐릭터에 대한 반복 학습을 진행할지 여부를 결정하기 위한 그래픽 객체를 포함하는 제3 인터페이스 화면을 표시할 수 있다.
예를 들어, 제3 인터페이스 화면을 통해 캐릭터에 대한 반복 학습을 결정하는 경우 사용자 장치(110)는 주어진 단어 또는 문장에 대한 캐릭터의 발화 데이터를 출력하고, 캐릭터 발화 데이터에 대한 발음 평가를 서비스 제공 서버(120)로 요청하는 상술한 동작을 다시 수행할 수 있다.
이를 통해 사용자는 캐릭터에게 반복 학습을 시키도록 하여 사용자 또한 언어 학습을 반복함으로써, 사용자의 언어 학습 능률을 향상시킬 수 있다.
다양한 실시예에서 사용자 장치(110)는 사용자와 캐릭터 간의 프리토킹(free-talking)을 위한 인터페이스 화면을 제공할 수 있다. 구체적으로, 사용자 장치(110)는 사용자 발화 데이터를 획득하고, 획득된 사용자 발화 데이터를 서비스 제공 서버(120)에 전달하여 캐릭터와의 프리토킹을 요청할 수 있다. 서비스 제공 서버(120)로부터 사용자 발화 데이터에 대한 응답으로 적절한 캐릭터 발화 데이터가 수신되면 사용자 장치(110)는 수신된 캐릭터 발화 데이터를 출력하고, 다음 대화를 위한 인터페이스 화면을 표시할 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서 사용자 장치(110)는 언어 학습 콘텐츠에 관련된 아이템을 구매하기 위한 인터페이스 화면을 제공할 수 있다. 여기서, 언어 학습 콘텐츠에 관련된 아이템은 캐릭터의 상태 데이터를 업데이트하기 위한 아이템일 수 있다. 이를 위해 언어 학습을 통해 소정의 보상(예: 캐시 또는 사이버 머니 등)이 사용자에게 지급되고, 지급된 보상을 이용하여 사용자는 아이템을 구매할 수 있다. 이와 같이 구매된 아이템이 캐릭터에게 적용되면 캐릭터의 상태 데이터가 업데이트될 수 있다.
다음으로, 서비스 제공 서버(120)는 사용자 장치(110)로부터 제공된 사용자의 음성 데이터에 기반하여 언어 학습 콘텐츠의 캐릭터를 교육시키도록 하기 위한 언어 학습 콘텐츠를 제공하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다.
구체적으로, 서비스 제공 서버(120)는 사용자 장치(110)로부터 언어 학습을 위해 주어진 단어 또는 문장에 대한 사용자 발화 데이터를 수신하고, 수신된 사용자 발화 데이터에 대한 발음 평가를 수행할 수 있다. 예를 들어, 서비스 제공 서버(120)는 사용자 발화 데이터를 텍스트로 변환하고, 변환된 텍스트를 주어진 단어 또는 문장을 나타내는 원본 텍스트와 비교하여 변환된 텍스트와, 원본 텍스트 사이의 유사도를 결정할 수 있으나, 이에 한정되지 않으며, 딥러닝 또는 머신러닝을 기반으로 하는 평가 모델을 통해 발음 평가를 수행할 수도 있다. 이러한 평가 모델은 사용자 발화 데이터를 입력으로 하여 원어민의 발음을 정답으로 사전 학습된 모델로서, 원어민 발음과의 유사도를 수치화한 평가 점수를 생성하거나, 원어민 발음과의 유사도가 높거나, 낮은지를 결정하기 위해 이용될 수 있다.
서비스 제공 서버(120)는 사용자 발화 데이터에 대한 발음 평가 결과를 나타내는 사용자 발음 평가 결과 데이터를 사용자 장치(110)로 제공할 수 있다. 구체적으로, 서비스 제공 서버(120)는 결정된 유사도를 점수화하고, 점수화된 점수 데이터를 사용자 발음 평가 결과 데이터로서 제공할 수 있다. 다양한 실시예에서 결과 데이터는 점수 데이터 이외에 사용자의 발음과 원어민의 발음을 그래프화하여 비교한 데이터를 더 포함할 수 있다.
사용자 장치(110)로부터 캐릭터의 언어 학습에 대한 요청이 수신되면 서비스 제공 서버(120)는 사용자의 발화 데이터 및 캐릭터의 상태 데이터에 기반하여 캐릭터의 발화 데이터를 생성하고, 생성된 캐릭터 발화 데이터를 사용자 장치(110)로 제공할 수 있다. 여기서, 캐릭터의 상태 데이터는 캐릭터의 지능 지수(IQ)를 나타내는 제1 데이터 및 캐릭터의 감정 지수(EQ)를 나타내는 제2 데이터를 포함할 수 있으나, 이에 한정되지 않는다. 예를 들어, 캐릭터의 IQ 및 EQ는 소정의 점수(또는 수치)로서 나타낼 수 있으며, 이러한 점수는 다양하게 설정될 수 있다. 캐릭터의 IQ는 학습이 반복될수록 높아지고, EQ는 학습이 반복될수록 높아지거나 떨어질 수 있다. 또한, 캐릭터의 IQ가 높을수록 캐릭터가 사용자 발음과 유사하게 발음할 확률이 높아지고, 캐릭터의 EQ가 낮을수록 캐릭터가 사용자 발음과 유사하게 발음할 확률이 낮아질 수 있다.
이와 같이 캐릭터의 IQ 및 EQ에 의해 캐릭터가 사용자의 발음과 유사 또는 일치하게 발화할 확률이 결정되고, 결정된 확률에 따라 캐릭터 발화 데이터가 생성될 수 있다. 예를 들어, 발화 확률이 50%인 경우 캐릭터 발화 데이터는 주어진 단어 또는 문장 중 일부를 발음하고, 다른 일부를 발음하지 못하거나, 올바르지 않게 발음하도록 이루어질 수 있다.
다양한 실시예에서 서비스 제공 서버(120)는 사용자 발화 데이터를 입력으로 하여 캐릭터 상태 데이터에 따라 사용자의 발음과 유사하게 발화하도록 학습된 발화 모델을 통해 캐릭터 발화 데이터를 생성할 수도 있다.
서비스 제공 서버(120)는 이와 같이 생성된 캐릭터 발화 데이터에 대한 발음 평가를 수행하고, 이에 대한 발음 평가 결과를 나타내는 캐릭터 발음 평가 결과 데이터를 사용자 장치(110)로 제공할 수 있다. 구체적으로, 서비스 제공 서버(120)는 캐릭터 발화 데이터 및 사용자 발화 데이터를 기반으로 캐릭터의 발음과 사용자의 발음을 비교하여 두 발음 간의 유사도를 점수화한 점수 데이터를 캐릭터 발음 평가 결과 데이터로서 사용자 장치(110)로 제공할 수 있다.
이와 같이 캐릭터의 발음과 사용자의 발음을 비교하여 유사도를 결정하기 위해 서비스 제공 서버(120)는 캐릭터 발음을 평가하기 위한 평가 모델을 이용할 수 있다. 이러한 평가 모델은 캐릭터 발화 데이터를 입력으로 하여 사용자의 발음을 정답으로 사전 학습된 모델일 수 있으나, 이에 한정되지 않는다. 다양한 실시예에서 결과 데이터는 점수 데이터 이외에 캐릭터의 발음과 사용자의 발음을 그래프화하여 비교한 데이터를 더 포함할 수 있다.
다양한 실시예에서 서비스 제공 서버(120)는 캐릭터 발화 데이터에 대한 발음 평가를 위해 캐릭터 발음과 원어민 발음을 비교하여 두 발음 간의 유사도를 점수화한 점수 데이터를 캐릭터 발음 평가 결과 데이터로서 사용자 장치(110)로 제공할 수도 있다.
다양한 실시예에서 서비스 제공 서버(120)는 사용자의 캐릭터에 대한 반복 학습에 따라 캐릭터의 상태 데이터를 업데이트할 수 있다. 구체적으로, 주어진 단어 또는 문장에 대한 언어 학습의 반복 횟수에 따라 서비스 제공 서버(120)는 캐릭터의 IQ 및 EQ 각각에 대응하여 정해진 수치만큼 업데이트할 수 있다. IQ는 정해진 수치에 따라 상승되고, EQ는 정해진 수치에 따라 하락하거나 상승할 수 있다. 예를 들어, IQ는 최대 ‘200’까지 업데이트될 수 있고, EQ는 ‘0~100’까지 업데이트될 수 있으나, 이에 한정되지 않으며, 수치는 다양하게 설정될 수 있다.
다양한 실시예에서 서비스 제공 서버(120)는 캐릭터의 업데이트된 상태 데이터에 따라 캐릭터가 언어 학습을 수행하거나, 거부하도록 결정할 수 있다. 이를 위해 서비스 제공 서버(120)는 캐릭터의 IQ 및 EQ 수치를 기반으로 캐릭터의 학습 상태(condition)을 결정할 수 있다. 예를 들어, 학습 상태를 결정하기 위해 서비스 제공 서버(120)는 ‘condition = EQ + (IQ / 20)’와 같은 알고리즘을 이용할 수 있으나, 이에 한정되지 않는다. 예를 들어, 이를 통해서 획득된 학습 상태를 나타내는 수치가 기 설정된 임계 수치 이상이면 서비스 제공 서버(120)는 캐릭터의 학습 상태를, 학습을 수행할 수 있는 상태로 결정할 수 있다. 학습 상태를 나타내는 수치가 임계 수치 미만이면 서비스 제공 서버(120)는 캐릭터의 학습 상태를, 학습을 거부하는 상태로 결정할 수 있으나, 이에 한정되지 않는다.
이와 같이 결정된 학습 상태에 따라 캐릭터는 사용자의 학습 요청을 승인하거나 거부하도록 동작할 수 있다. 이를 통해 본 발명은 캐릭터가 단순하게 학습만을 수행하는 것이 아닌 사용자의 교육을 거부할 수도 있어 사용자가 실제 사람을 가르치는 듯한 경험을 가질 수 있다.
다양한 실시예에서 서비스 제공 서버(120)는 사용자와 캐릭터 간의 프리토킹을 위해 사용자 장치(110)로부터 제공된 사용자 발화 데이터를 분석하여 사용자 발화 데이터에 대한 응답으로 캐릭터 발화 데이터를 생성할 수도 있다. 예를 들어, 서비스 제공 서버(120)는 사용자 발화 데이터를 텍스트로 변환하고, 해당 텍스트를 인식 및 분석하여 캐릭터의 응답에 해당하는 텍스트를 결정할 수 있다. 서비스 제공 서버(120)는 이와 같이 결정된 텍스트를 사용자 장치(110)로 제공할 수 있다. 다양한 실시예에서 서비스 제공 서버(120)는 이와 같이 텍스트에 대응하는 캐릭터 발화 데이터를 생성하고, 생성된 캐릭터 발화 데이터를 사용자 장치(110)로 제공할 수도 있다.
다양한 실시예에서 서비스 제공 서버(120)는 사용자의 언어 학습이 완료됨에 따라 사용자에게 소정의 보상을 지급할 수 있다. 예를 들어, 소정의 보상은 언어 학습 콘텐츠의 아이템을 구매할 수 있는 캐시 등일 수 있다. 사용자 장치(110)에 의해 이와 같이 지급된 캐시를 이용하여 특정 아이템이 구매되고, 구매된 특정 아이템을 캐릭터에 적용하기 위한 요청이 사용자 장치(110)로부터 수신되면 서비스 제공 서버(120)는 구매된 아이템에 대응하여 캐릭터의 상태 데이터를 업데이트할 수 있다. 예를 들어, 구매된 아이템이 캐릭터의 EQ 수치를 특정 수치만큼 상승시키기 위한 아이템인 경우 서비스 제공 서버(120)는 캐릭터의 EQ 수치를 해당 수치만큼 상승시킬 수 있다. 이를 통해 사용자는 사용자별로 서로 다른 학습 능력을 가지는 캐릭터를 성장시킬 수 있다.
이와 같이 본 발명은 사용자의 발음과 캐릭터의 상태에 따라 언어 학습 콘텐츠의 캐릭터의 언어 실력이 결정됨으로써, 사용자가 실제로 언어 교육을 수행하는 듯한 경험을 가질 수 있고, 이를 통해 사용자 자신의 언어 능력을 상승시킬 수 있다.
하기에서는 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스를 제공하는 사용자 장치(110)에 대해서 도 2를 참조하여 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 사용자 장치의 개략도이다.
도 2를 참조하면, 사용자 장치(200)는 통신부(210), 표시부(220), 저장부(230) 및 제어부(240)를 포함한다. 제시된 실시예에서 사용자 장치(200)는 도 1의 사용자 장치(110)를 의미한다. 또한, 사용자 장치(200)는 사용자의 음성 데이터를 획득하기 위한 마이크와 같은 입력 장치를 내장할 수 있으며, 입력 장치가 내장되지 않은 경우 외부 장치에 해당하는 입력 장치와 연결될 수 있다.
통신부(210)는 사용자 장치(200)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(110)는 유/무선 통신을 이용하여 외부 장치와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부(210)는 언어 학습 콘텐츠에 대한 런처(launcher)를 제공하는 서비스 제공 서버(120)와 연결하고, 서비스 제공 서버(120)로부터 런처를 수신할 수 있다.
통신부(210)는 서비스 제공 서버(120)로 사용자 발화 데이터의 발음 평가에 대한 요청을 전달하고, 서비스 제공 서버(120)로부터 사용자 발화 데이터에 대한 사용자 발음 평가 결과 데이터를 수신할 수 있다. 또한, 통신부(210)는 서비스 제공 서버(120)로 캐릭터의 언어 학습에 대한 요청을 전달하고, 서비스 제공 서버(120)로부터 캐릭터 발화 데이터 및 캐릭터 발화 데이터에 대한 캐릭터 발음 평가 결과 데이터를 수신할 수 있다.
표시부(220)는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 구체적으로, 표시부(220)는 사용자의 음성 데이터에 대한 발음을 평가하고, 발음 평가에 대한 결과 데이터를 나타내며, 이를 통해 언어 학습 콘텐츠의 캐릭터를 교육시키기 위한 다양한 인터페이스 화면을 표시할 수 있다.
다양한 실시예에서 표시부(220)는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접, 드래그(drag), 스와이프(swipe) 또는 호버링(hovering) 입력 등을 수신할 수 있다.
저장부(230)는 사용자의 음성 데이터에 대한 발음을 평가하고, 발음 평가에 대한 결과 데이터를 나타내며, 이를 통해 언어 학습 콘텐츠의 캐릭터를 교육시키기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다.
다양한 실시예에서 저장부(230)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 사용자 장치(200)는 인터넷(internet)상에서 상기 저장부(230)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
제어부(240)는 통신부(210), 표시부(220) 및 저장부(230)와 동작 가능하게 연결되며, 언어 학습을 위해 주어진 단어 또는 문장에 대한 사용자의 음성 데이터를 획득하고, 획득된 음성 데이터에 기반하여 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 제어부(240)는 언어 학습을 위해 주어진 단어 또는 문장에 대한 사용자의 발화 데이터를 획득하고, 획득된 사용자 발화 데이터에 대한 발음 평가를 요청하기 위한 제1 인터페이스 화면을 표시부(220)를 통해 표시할 수 있다. 이러한 제1 인터페이스 화면은 사용자의 발화 데이터를 획득하고, 획득된 사용자 발화 데이터에 대한 발음 평가를 요청하기 위한 기능에 대응하는 제1 그래픽 객체를 포함할 수 있다.
제1 그래픽 객체가 선택되면 제어부(240)는 마이크를 통해서 입력되는 사용자 발화 데이터를 획득하고, 획득된 사용자 발화 데이터를 서비스 제공 서버(120)로 전달하여 사용자 발화 데이터에 대한 발음 평가를 요청할 수 있다. 이때, 사용자 발화 데이터는 사용자가 주어진 단어 또는 문장을 발음한 음성 데이터일 수 있다.
제어부(240)는 서비스 제공 서버(120)로부터 사용자 발화 데이터에 대한 발음 평가 결과를 나타내는 사용자 발음 평가 결과 데이터를 수신하고, 수신된 사용자 발음 평가 결과 데이터를 나타내는 제2 인터페이스 화면을 표시부(220)를 통해 표시할 수 있다. 예를 들어, 사용자 발음 평가 결과 데이터는 사용자의 발음과 원어민의 발음을 그래프화하여 비교한 비교 데이터 및 사용자 발음 및 원어민 발음 간의 유사도를 점수화한 점수 데이터를 포함할 수 있다.
이러한 제2 인터페이스 화면은 사용자 발음 평가 결과 데이터와 함께 언어 학습 콘텐츠의 캐릭터가 주어진 단어 또는 문장을 발음하도록 하고, 캐릭터 발음에 대한 평가를 요청하기 위한 기능에 대응하는 제2 그래픽 객체를 더 포함할 수 있다.
제2 그래픽 객체가 선택되면 제어부(240)는 서비스 제공 서버(120)로부터 주어진 단어 또는 문장에 대하여 사용자 발화 데이터 및 캐릭터의 상태 데이터에 기반하여 생성된 캐릭터 발화 데이터를 수신하고, 수신된 캐릭터 발화 데이터를 스피커와 같은 출력부(미도시)를 통해 출력할 수 있다. 이를 위해 사용자 장치(200)는 음성 데이터를 출력하기 위한 출력부를 더 구비할 수 있다. 다양한 실시예에서 제어부(240)는 캐릭터 발화 데이터를 출력하기 위한 인터페이스 화면이 더 표시할 수 있다.
제어부(240)는 서비스 제공 서버(120)로부터 캐릭터 발화 데이터에 대한 발음 평가 결과를 나타내는 캐릭터 발음 평가 결과 데이터를 수신하고, 수신된 캐릭터 발음 평가 데이터를 나타내는 제3 인터페이스 화면을 표시부(220)를 통해 표시할 수 있다.
이러한 제3 인터페이스 화면은 해당 단어 또는 문장에 대하여 캐릭터의 언어 학습을 반복하기 위한 기능에 대응하는 제3 그래픽 객체 및 다른 단어 또는 문장에 대한 언어 학습을 수행하기 위한 기능에 대응하는 제4 그래픽 객체를 포함할 수 있다.
제3 그래픽 객체가 선택되면 제어부(240)는 사용자의 발화 데이터를 획득하는 등의 상술한 바와 같은 동작을 다시 수행할 수 있다. 제4 그래픽 객체가 선택되면 제어부(240)는 다른 단어 또는 문자에 대한 언어 학습을 위한 동작을 수행할 수 있다.
다양한 실시예에서 제어부(240)는 사용자와 캐릭터 간의 프리토킹을 위한 인터페이스 화면을 제공할 수 있다. 이러한 인터페이스 화면은 사용자의 발화 데이터를 획득하고, 획득된 사용자 발화 데이터를 서비스 제공 서버(120)로 전달하여 캐릭터의 응답을 요청하기 위한 기능에 대응할 수 있다. 제어부(240)는 서비스 제공 서버(120)로부터 사용자 발화 데이터에 대한 응답으로 캐릭터 발화 데이터를 수신하고, 수신된 캐릭터 발화 데이터를 출력할 수 있다. 이를 통해서 사용자는 캐릭터와 직접 대화하는 듯한 경험을 가질 수 있다.
하기에서는 도 3를 참조하여 서비스 제공 서버(120)에 대해서 상세하게 설명하도록 한다.
도 3는 본 발명의 실시예에 따른 서비스 제공 서버에 대한 개략도이다.
도 3를 참조하면, 서비스 제공 서버(300)는 통신부(310), 저장부(320) 및 제어부(330)를 포함한다. 제시된 실시예에서 서비스 제공 서버(300)는 도 1의 서비스 제공 서버(120)를 의미할 수 있다.
통신부(310)는 서비스 제공 서버(300)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(310)는 유/무선 통신을 이용하여 사용자 장치(110)와 연결되어 다양한 데이터를 송수신할 수 있다.
구체적으로, 통신부(310)는 사용자 장치(110)로부터 사용자 발화 데이터를 수신하고, 사용자 장치(110)로 사용자 발음 평가 결과 데이터를 전달할 수 있다. 통신부(310)는 사용자 장치(110)로부터 캐릭터의 언어 학습에 대한 요청을 수신하고, 사용자 장치(110)로 캐릭터 발화 데이터 및 캐릭터 발화 데이터에 대한 캐릭터 발음 평가 결과 데이터를 전달할 수 있다.
저장부(320)는 사용자 발화 데이터에 대한 발음 평가를 수행하고, 사용자 장치(110)의 요청에 따라 캐릭터 발화 데이터를 생성 및 생성된 캐릭터 발화 데이터에 대한 발음 평가를 수행하기 위한 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부(320)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 서비스 제공 서버(300)는 인터넷상에서 상기 저장부(320)의 저장 기능을 수행하는 웹 스토리지와 관련되어 동작할 수도 있다.
제어부(330)는 통신부(310) 및 저장부(320)와 동작 가능하게 연결되며, 사용자 발화 데이터에 대한 발음 평가를 수행하고, 사용자 장치(110)의 요청에 따라 캐릭터 발화 데이터를 생성 및 생성된 캐릭터 발화 데이터에 대한 발음 평가를 수행하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 제어부(330)는 통신부(310)를 통해 사용자 장치(110)로부터 주어진 단어 또는 문장에 관련된 사용자 발화 데이터와 함께 발음 평가에 대한 요청을 수신하고, 요청에 따라 사용자 발화 데이터에 대한 발음 평가를 수행할 수 있다. 이를 위해 제어부(330)는 사용자 발화 데이터를 텍스트로 변환하고, 변환된 텍스트와, 주어진 단어 또는 문장의 원본 텍스트 간의 유사도를 결정하여 결정된 유사도를 나타내는 사용자 발음 평가 결과 데이터를 생성할 수 있다. 예를 들어, 제어부(330)는 변환 텍스트와 원본 텍스트 간의 거리를 비교하여 두 텍스트 간의 거리에 따라 원어민 발음과의 유사도를 수치화한 평가 점수를 생성하거나, 원어민 발음과의 유사도가 높거나 낮은지를 결정할 수 있다. 다양한 실시예에서 제어부(330)는 딥러닝 또는 머신러닝 기반의 평가 모델을 이용하여 유사도를 결정하고, 결정된 유사도를 나타내는 캐릭터 발음 평가 결과 데이터를 생성할 수도 있다.
제어부(330)는 이와 같이 생성된 사용자 발음 평가 결과 데이터를 통신부(310)를 통해 사용자 장치(110)로 전달할 수 있다. 예를 들어, 사용자 발음 평가 결과 데이터는 평가 점수를 나타내거나, 결정된 유사도를 점수화한 점수 데이터, 및 사용자의 발음과 원어민의 발음을 그래프로서 비교한 비교 데이터를 포함할 수 있다.
통신부(310)를 통해 사용자 장치(110)로부터 주어진 단어 또는 문장에 대하여 캐릭터의 언어 학습에 대한 요청이 수신되면 제어부(330)는 사용자 발화 데이터 및 캐릭터의 상태 데이터에 기반하여 캐릭터 발화 데이터를 생성할 수 있다.
구체적으로, 제어부(330)는 사용자 발화 데이터를 텍스트로 변환하고, 캐릭터의 기 설정된 IQ 및 EQ에 따라 캐릭터가 해당 텍스트와 유사하거나 일치하도록 발음하기 위한 확률을 결정할 수 있다. 예를 들어, 캐릭터의 IQ가 ‘0’으로 설정되고, 캐릭터의 EQ가 ‘50’으로 설정된 경우 캐릭터의 IQ가 낮으므로, 제어부(330)는 캐릭터가 사용자의 발음과 유사하게 발음할 확률이 낮다고 결정할 수 있다. 제어부(330)는 이와 같이 IQ 및 EQ 각각에 대한 수치 또는 점수에 대응하여 캐릭터가 텍스트와 유사 또는 일치하도록 발음할 확률을 퍼센티지(또는 수치, 점수 등)로서 결정할 수 있다.
제어부(330)는 이와 같이 결정된 확률에 따라 캐릭터 발화 데이터를 생성하고, 생성된 캐릭터 발화 데이터를 사용자 장치(110)로 전달할 수 있다. 예를 들어, 변환된 텍스트가 ‘This is my sister’이고, 캐릭터의 발음 확률이 ’50%’인 경우 제어부(330)는 ‘This is my sister’ 중 일부에 해당하는 ‘This is’ 또는, ‘This is m sier’와 같이 올바르지 않은 일부 단어를 포함하는 텍스트를 캐릭터의 발화에 관련된 텍스트로서 결정할 수 있다. 제어부(330)는 결정된 텍스트를 음성 데이터로 변환하고, 해당 음성 데이터를 캐릭터 발화 데이터로서 사용자 장치(110)로 전달할 수 있다. 다양한 실시예에서 제어부(330)는 사용자 발화 데이터를 입력으로 하여 캐릭터 상태 데이터에 따라 사용자의 발음과 유사하게 발화하도록 학습된 발화 모델을 통해 캐릭터 발화 데이터를 생성할 수도 있다.
제어부(330)는 생성된 캐릭터 발화 데이터에 대한 발음 평가를 수행하고, 이에 대한 발음 평가 결과를 나타내는 캐릭터 발음 평가 결과 데이터를 사용자 장치(110)로 제공할 수 있다.
구체적으로, 제어부(330)는 캐릭터 발화 데이터 및 사용자 발화 데이터를 기반으로 캐릭터의 발음과 사용자의 발음 간의 유사도를 나타내는 캐릭터 발음 평가 결과 데이터를 생성할 수 있다. 예를 들어, 제어부(330)는 캐릭터 발화 데이터 및 사용자 발화 데이터 각각을 텍스트로 변환하고, 변환된 두 텍스트 간의 거리를 비교하여 두 텍스트 간의 거리에 따라 사용자 발음과의 유사도를 수치화한 평가 점수를 생성하거나, 사용자 발음과의 유사도가 높거나 낮은지를 결정할 수 있다. 이에 따라 생성된 캐릭터 발음 평가 결과 데이터는 평가 점수를 나타내거나, 결정된 유사도를 점수화한 점수 데이터, 및 사용자의 발음과 캐릭터의 발음을 그래프로서 비교한 비교 데이터를 포함할 수 있다.
다양한 실시예에서 제어부(330)는 캐릭터 발화 데이터를 입력으로 하여 사용자 발음 또는 원어민 발음을 정답으로 사전 학습된 평가 모델을 이용하여 사용자 발음 또는 원어민 발음과의 유사도를 수치화한 평가 점수를 생성하거나, 사용자 발음 또는 원어민 발음과의 유사도가 높거나, 낮은지를 결정할 수도 있다.
제어부(330)는 생성된 캐릭터 발음 평가 결과 데이터를 사용자 장치(110)로 제공할 수 있다.
다양한 실시예에서 주어진 단어 또는 문장을 반복 학습하기 위한 요청과 함께 사용자 발화 데이터가 수신되면 제어부(330)는 상술한 동작들을 다시 수행할 수 있다. 이러한 경우 제어부(330)는 반복 학습에 따라 캐릭터의 상태 데이터를 업데이트할 수 있다. 예를 들어, 반복 학습이 수행되면 제어부(330)는 캐릭터의 IQ 수치를 기 설정된 임계 수치만큼 높이고, 캐릭터의 EQ 수치를 기 설정된 임계 수치만큼 낮출 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서 제어부(330)는 사용자 장치(110)로부터 사용자 발화 데이터와 함께 사용자와 캐릭터 간의 프리토킹을 위한 요청을 수신할 수 있다. 이러한 경우 제어부(330)는 사용자 발화 데이터를 텍스트로 변환하고, 사용자의 학습 진도 및 해당 텍스트에 기반하여 캐릭터의 응답을 결정할 수 있다. 예를 들어, 제어부(330)는 텍스트에 대한 의미를 분석하고, 사용자의 학습 진도에 해당하는 단어 또는 문장 중 분석된 의미에 관련된 단어 또는 문장을 나타내는 텍스트를 응답으로 결정할 수 있다. 제어부(330)는 결정된 텍스트를 음성 데이터로 변환하여 캐릭터 발화 데이터로서 사용자 장치(110)로 전달할 수 있다.
다양한 실시예에서 저장부(320)는 프리토킹을 위해 대화 리스트(예: 질문-응답 리스트)를 더 저장하고, 제어부(330)는 저장된 대화 리스트 중 사용자의 언어 학습 진도를 고려하여 사용자 발화 데이터가 변환된 텍스트에 대응하는 질문을 결정한 후 결정된 질문에 대응하는 응답을, 사용자 발화 데이터에 대한 응답으로써 결정할 수도 있다.
이와 같이 본 발명은 사용자가 가상의 캐릭터에게 언어 교육을 수행하는 경험을 통해 캐릭터를 성장시키는 성취감을 주고, 사용자 자신의 언어 수준 또한 향상시킬 수 있어 보다 높은 교육 효과를 얻을 수 있다.
하기에서는 사용자 장치(110)에서 언어 학습 콘텐츠의 캐릭터를 교육시키기 위한 사용자 인터페이스를 제공하는 방법에 대해서 도 4를 참조하여 설명하도록 한다.
도 4는 본 발명의 실시예에 따른 사용자 장치에서 언어 학습 콘텐츠의 캐릭터를 교육시키기 위한 사용자 인터페이스를 제공하는 방법을 설명하기 위한 개략적인 흐름도이다. 하기에서 서술하는 동작들은 사용자 장치(200)의 제어부(240)에 의해서 수행될 수 있다.
도 4를 참조하면, 사용자 장치(200)는 언어 학습을 위해 주어진 단어 또는 문장에 대한 사용자 발화 데이터를 획득한다(S400). 여기서, 사용자 발화 데이터는 주어진 단어 또는 문장에 대하여 사용자가 발음한 음성 데이터일 수 있다.
사용자 장치(200)는 획득된 사용자 발화 데이터에 대한 발음 평가를 서비스 제공 서버(120)로 요청한다(S410). 요청을 위해 사용자 장치(200)는 사용자 발화 데이터를 서비스 제공 서버(120)로 전달할 수 있다.
사용자 장치(200)는 서비스 제공 서버(120)로부터 사용자 발화 데이터에 대한 사용자 발음 평가 결과 데이터를 수신하고(S420), 수신된 사용자 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 표시한다(S430). 여기서, 사용자 발음 평가 결과 데이터는 사용자 발화 데이터에 기반하여 사용자 발음과 원어민 발음 간의 유사도를 수치화한 점수 데이터 및 사용자 발음과 원어민 발음을 그래프화하여 비교한 비교 데이터를 포함할 수 있다.
사용자 장치(200)는 주어진 단어 또는 문장에 대한 캐릭터의 언어 학습을 서비스 제공 서버(120)로 요청한다(S440). 예를 들어, 이러한 요청은 캐릭터가 주어진 단어 또는 문장을 발음하도록 하기 위한 요청일 수 있다.
사용자 장치(200)는 서비스 제공 서버(120)로부터 사용자 발화 데이터 및 캐릭터의 상태 데이터를 기반으로 생성된 캐릭터 발화 데이터에 대한 발음 평가 결과를 나타내는 캐릭터 발음 평가 결과 데이터를 수신하고(S450), 수신된 캐릭터 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 표시한다(S460). 여기서, 캐릭터 발음 평가 결과 데이터는 사용자 발화 데이터 및 캐릭터의 상태 데이터를 기반으로 생성된 캐릭터 발화 데이터에 대한 발음 평가 결과를 나타낼 수 있다.
하기에서는 사용자 장치(110) 및 서비스 제공 서버(120) 간의 언어 학습 콘텐츠의 캐릭터를 교육시키기 위한 방법에 대해서 도 5를 참조하여 설명하도록 한다.
도 5는 본 발명의 실시예에 따른 사용자 장치 및 서비스 제공 서버 간의 언어 학습 콘텐츠의 캐릭터를 교육시키기 위한 방법을 설명하기 위한 개략적인 흐름도이다.
도 5를 참조하면, 사용자 장치(110)는 언어 학습을 위해 주어진 단어 또는 문장에 대한 사용자 발화 데이터를 획득하고(S500), 사용자 발화 데이터에 대한 발음 평가를 서비스 제공 서버(120)로 요청한다(S505).
서비스 제공 서버(120)는 사용자 발화 데이터에 대한 발음 평가를 수행하고(S510), 사용자 발음 평가 결과 데이터를 사용자 장치(110)로 전달한다(S515). 구체적으로, 서비스 제공 서버(120)는 사용자 발화 데이터를 텍스트로 변환하여 해당 텍스트와 주어진 단어 또는 문장에 해당하는 원본 텍스트 간의 유사도를 결정할 수 있다. 서비스 제공 서버(120)는 이와 같이 결정된 유사도를 수치화한 점수 데이터 및 사용자 발음 및 원어민 발음을 그래프화하여 비교한 비교 데이터를 포함하는 사용자 발음 평가 결과 데이터를 생성하고, 생성된 사용자 발음 평가 결과 데이터를 사용자 장치(110)로 전달할 수 있다.
사용자 장치(110)는 서비스 제공 서버(120)로부터 수신된 사용자 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 표시한다(S520).
사용자 장치(110)는 주어진 단어 또는 문장에 대한 캐릭터의 언어 학습을 서비스 제공 서버(120)로 요청하고(S525), 서비스 제공 서버(120)는 사용자 발화 데이터 및 캐릭터의 상태 데이터에 기반하여 캐릭터 발화 데이터를 생성한다(S530). 구체적으로, 서비스 제공 서버(120)는 사용자 발화 데이터를 텍스트로 변환하고, 캐릭터의 기 설정된 IQ 및 EQ에 따라 캐릭터가 해당 텍스트와 유사하거나 일치하도록 발음하기 위한 확률을 결정할 수 있다. 서비스 제공 서버(120)는 이와 같이 결정된 확률에 따라 캐릭터 발화 데이터를 생성할 수 있다.
서비스 제공 서버(120)는 캐릭터 발화 데이터를 사용자 장치(110)로 전달하고(S535), 사용자 장치(110)는 캐릭터 발화 데이터를 출력한다(S540).
서비스 제공 서버(120)는 캐릭터 발화 데이터에 대한 발음 평가를 수행하고(S545), 캐릭터 발음 평가 결과 데이터를 사용자 장치(110)로 전달한다(S550). 구체적으로, 서비스 제공 서버(120)는 사용자 발화 데이터 및 캐릭터 발화 데이터를 기반으로 캐릭터의 발음과 사용자의 발음 간의 유사도를 결정할 수 있다. 서비스 제공 서버(120)는 이와 같이 결정된 유사도를 수치화한 점수 데이터 및 캐릭터 발음과 사용자 발음을 그래프화하여 비교한 비교 데이터를 포함하는 캐릭터 발음 평가 결과 데이터를 생성하고, 생성된 캐릭터 발음 평가 결과 데이터를 사용자 장치(110)로 전달할 수 있다.
사용자 장치(110)는 캐릭터 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 표시한다(S555). 이러한 캐릭터 발음 평가 결과 데이터는 사용자 발음과의 유사도를 수치화한 점수 데이터를 포함하므로, 사용자는 이를 통해 캐릭터에 대한 반복 학습을 수행할지 또는 언어 학습 진도에 따라 다음 언어 학습 단계로 진행할지를 결정할 수 있다.
사용자 장치(110)는 캐릭터에 대한 반복 학습을 수행할지를 결정하여(S560) 반복 학습을 수행하는 경우 S500 내지 S565의 동작을 수행하고, 반복 학습을 수행하지 않은 경우 다음 언어 학습을 수행할 수 있다(S565).
반복 학습이 수행되면 서비스 제공 서버(120)는 사용자의 학습 패턴(예: 반복 학습 횟수)에 따라 캐릭터의 상태 데이터를 업데이트할 수 있다. 예를 들어, 사용자가 반복 학습을 여러 횟수 수행할수록 서비스 제공 서버(120)는 캐릭터의 IQ를 더 높게 설정하지만, 캐릭터의 EQ를 더 낮게 설정할 수 있다. 이후 서비스 제공 서버(120)는 캐릭터 발화 데이터를 생성할 시 업데이트된 상태 데이터를 이용할 수 있다.
이와 같이 본 발명은 사용자의 발음 및 캐릭터의 상태를 고려하여 캐릭터의 언어 학습 능력을 결정하고, 이에 따라 언어 교육을 수행하도록 함으로써, 사용자가 실제로 언어 교육을 수행하는 듯한 경험을 주어 언어 학습에 대한 능률을 향상시킬 수 있다.
하기에서는 언어 학습 콘텐츠에 대한 다양한 인터페이스 화면에 대해서 도 6a, 도 6b, 도 6c, 도 6d, 도 6e, 도 6f, 도 6g 및 도 6h를 참조하여 설명하도록 한다.
도 6a, 도 6b, 도 6c, 도 6d, 도 6e, 도 6f, 도 6g 및 도 6h는 본 발명의 실시예에 따른 언어 학습 콘텐츠에 대한 다양한 인터페이스 화면을 나타내는 예시도들이다. 이러한 인터페이스 화면들은 사용자 장치(200)의 표시부(220)를 통해서 표시될 수 있다. 제시된 실시예에서는 언어 학습 콘텐츠가 스마트폰에 설치되는 어플리케이션인 경우를 설명하도록 한다.
도 6a를 참조하면, 사용자 장치(200)는 언어 학습 콘텐츠에 대한 메인 화면을 나타내는 인터페이스 화면(600)을 표시할 수 있다. 이러한 인터페이스 화면(600)은 언어 학습 콘텐츠의 캐릭터를 나타내는 그래픽 객체(602)와 언어 학습에 관련된 다양한 기능에 대응하는 아이콘들(604)을 포함할 수 있다. 여기서, 아이콘들(604)은 캐릭터의 언어 학습을 위한 기능에 대응하는 제1 아이콘(606), 캐릭터와의 프리토킹을 위한 기능에 대응하는 제2 아이콘(608) 및 언어 학습 콘텐츠에 관한 아이템을 구매하기 위한 기능에 대응하는 제3 아이콘(610)를 포함할 수 있다.
사용자에 의해 제1 아이콘(606)이 선택되면 사용자 장치(200)는 도 6b와 같이 언어 학습을 위해 주어진 문장(예: This is ~)을 나타내는 화면 영역(612)을 표시할 수 있다. 이러한 문장은 언어 학습 진도에 따라 정해진 문장일 수 있다.
도 6b를 참조하면, 화면 영역(612)은 해당 문장에 대한 언어 학습을 수행하기 위한 제1 아이콘(614) 및 다른 문장을 선택하기 위한 제2 아이콘(616)을 포함할 수 있다.
제1 아이콘(614)이 선택되면 사용자 장치(200)는 도 6c와 같이 ‘This is’를 포함하는 문장에 대한 사용자 발화 데이터를 획득하기 화면 영역(618)을 표시할 수 있다.
도 6c을 참조하면, 화면 영역(618)은 주어진 문장인 “This is my sister”를 나타내는 제1 텍스트(620), 주어진 문장의 해석(예: 얘는 내 동생이에요)을 나타내는 제2 텍스트(624), 주어진 문장에 대한 원어민 발음을 제공하기 위한 제1 아이콘(624) 및 사용자의 발화 데이터를 획득하기 위한 제2 아이콘(626)을 포함할 수 있다.
제2 아이콘(626)이 선택되면 사용자 장치(200)는 사용자 발화 데이터를 획득하고, 획득된 사용자 발화 데이터에 대한 발음 평가를 서비스 제공 서버(120)로 요청할 수 있다.
서비스 제공 서버(120)로부터 사용자 발화 데이터에 대한 발음 평가 결과를 나타내는 사용자 발음 평가 결과 데이터가 수신되면 사용자 장치(200)는 도 6d와 같이 화면 영역(618)에 사용자 발음 평가 결과 데이터를 나타내는 그래픽 객체들(628)을 표시할 수 있다.
사용자 발음 평가 결과 데이터를 나타내는 그래픽 객체들(628)은 사용자 발음과 원어민 발음을 그래프화하여 비교한 비교 데이터를 나타내는 제1 그래픽 객체(630), 사용자 발음과 원어민 발음 간의 유사도를 수치화한 점수 데이터를 나타내는 제2 그래픽(632) 및 평가 결과를 나타내는 텍스트(예: 최고인데요? Superb!)(634)를 포함할 수 있다.
또한, 사용자 장치(200)는 화면 영역(618)에 캐릭터 언어 학습을 요청하기 위한 제1 아이콘(636) 및 앞서 설명한 사용자 발화 데이터를 획득하고, 이에 대한 발음 평가를 재수행하기 위한 제2 아이콘(638)을 더 표시할 수 있다.
제1 아이콘(636)이 선택되면 사용자 장치(200)는 주어진 문장에 대한 캐릭터의 언어 학습을 서비스 제공 서버(120)로 요청할 수 있다. 서비스 제공 서버(120)는 요청에 따라 사용자 발화 데이터 및 캐릭터의 상태 데이터에 기반하여 캐릭터 발화 데이터를 생성하고, 생성된 캐릭터 발화 데이터를 사용자 장치(200)로 전달할 수 있다.
캐릭터 발화 데이터를 수신한 사용자 장치(200)는 캐릭터 발화 데이터를 스피커를 통해 출력하고, 도 6e와 같이 화면 영역(618)에 캐릭터의 음성이 출력됨을 나타내는 그래픽 객체(640)를 표시할 수 있다.
서비스 제공 서버(120)는 생성된 캐릭터 발화 데이터에 대한 발음 평가를 수행하고, 캐릭터 발화 데이터에 대한 발음 평가 결과를 나타내는 캐릭터 발음 평가 결과 데이터를 생성할 수 있다. 서비스 제공 서버(120)는 생성된 캐릭터 발음 평가 결과 데이터를 사용자 장치(200)로 전달할 수 있다.
캐릭터 발음 평가 결과 데이터를 수신한 사용자 장치(200)는 도 6f와 같이 화면 영역(618)에 캐릭터 발음 평가 결과 데이터를 나타내는 그래픽 객체들(642)을 표시할 수 있다.
이러한 그래픽 객체들(642)은 캐릭터 발음과 사용자 발음을 그래프화하여 비교한 비교 데이터를 나타내는 제1 그래픽 객체(644), 및 캐릭터 발음과 사용자 발음 간의 유사도를 수치화한 점수 데이터를 나타내는 제2 그래픽 객체(646)를 포함할 수 있다.
또한, 사용자 장치(200)는 화면 영역(618)에 다음 언어 학습을 수행하기 위한 제1 아이콘(648) 및 캐릭터에 대한 반복 학습을 수행하기 위한 제1 아이콘(650)을 더 표시할 수 있다.
제1 아이콘(648)이 선택되면 사용자 장치(200)는 다음 언어 학습을 위한 인터페이스 화면을 표시할 수 있다. 제2 아이콘(650)이 선택되면 사용자 장치(200)는 도 6c 내지 도 6f에서 설명한 바와 같은 동작을 다시 수행할 수 있다. 이와 같이 반복 학습을 통해 캐릭터의 상태 데이터가 업데이트되며, 이와 같이 업데이트된 상태 데이터에 기반하여 캐릭터 발화 데이터 또한 업데이트됨으로써, 캐릭터에 대한 언어 학습이 가능하고, 이에 통해 사용자의 언어 능력 또한 상승시킬 수 있다.
다양한 실시예에서 도 6a에 도시된 바와 같이 캐릭터와의 프리토킹을 위한 기능에 대응하는 제2 아이콘(608)이 선택되면 사용자 장치(200)는 도 6g와 같이 프리토킹을 위한 인터페이스 화면(652)을 표시할 수 있다.
도 6g를 참조하면, 인터페이스 화면(652)은 프리토킹을 위해 사용자 발음 데이터를 획득하기 위한 아이콘(654)를 포함할 수 있다.
해당 아이콘(654)이 선택되면 사용자 장치(200)는 사용자 발화 데이터를 획득하고, 획득된 사용자 발화 데이터를 서비스 제공 서버(120)로 전달하여 캐릭터와의 프리토킹을 요청할 수 있다.
서비스 제공 서버(120)는 사용자 발화 데이터를 분석하고, 언어 학습 진도 및 분석된 사용자 발화 데이터에 기반하여 적절한 응답 데이터를 결정할 수 있다. 예를 들어, 서비스 제공 서버(120)는 질문-응답 리스트를 미리 저장하고, 질문-응답 리스트 중 사용자 발화 데이터에 대응하는 질문을 확인하여 확인된 질문에 대응하는 응답을 적절한 응답 데이터로서 결정할 수 있으나, 이에 한정되지 않는다. 서비스 제공 서버(120)는 이와 같이 결정된 응답 데이터를 사용자 장치(200)로 전달할 수 있다.
사용자 장치(200)는 수신된 응답 데이터를 캐릭터의 응답으로써 출력하고, 사용자 발음 데이터를 획득하기 위한 아이콘(654)을 통해 사용자 발화 데이터를 다시 획득하도록 함으로써, 사용자와 캐릭터 간의 프리토킹을 수행하도록 할 수 있다.
다양한 실시예에서 도 6a에 도시된 바와 같이 언어 학습 콘텐츠에 관한 아이템을 구매하기 위한 기능에 대응하는 제3 아이콘(610)이 선택되면 사용자 장치(200)는 도 6h와 같이 다양한 아이템을 구매하기 위한 인터페이스 화면(656)을 표시할 수 있다. 아이템 구매를 위해 캐릭터 학습이 완료될 때마다 소정의 보상이 수행될 수 있다. 예를 들어, 아이템 구매를 위해 사용되는 재화(예: 캐시)가 보상으로서 지급될 수 있다. 이와 같이 보상을 통해 일정 금액의 캐시가 지급되면 사용자 장치(200)는 획득된 캐시의 금액을 나타내는 그래픽 객체(658)를 표시할 수 있다.
인터페이스 화면(656)을 통해서 구매 가능한 아이템들은 캐릭터의 상태 데이터를 업데이트하기 위해 사용될 수 있다. 예를 들어, 사용자가 인터페이스 화면(656)을 통해서 EQ 수치를 특정 수치만큼 상승시키기 위한 음식 아이템을 구매한 후 이를 캐릭터에 적용하면 캐릭터의 EQ 수치가 특정 수치 만큼 상승할 수 있다. 이러한 아이템을 통해서 사용자별로 서로 다른 학습 능력을 가지도록 캐릭터를 성장시킬 수 있다.
제시된 실시예에서 설명한 인터페이스 화면들의 구성은 상술한 내용으로 한정되지 않으며, 각 인터페이스 화면을 구성하는 객체들은 다양하게 구성될 수 있다.
이와 같이 본 발명은 사용자가 선생님 입장이 되어 가상의 캐릭터를 교육함으로써, 사용자의 언어 학습 능률을 높일 수 있다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 사용자 인터페이스 제공 시스템
110, 200: 사용자 장치
120, 300: 서비스 제공 서버

Claims (14)

  1. 데이터를 송수신하도록 구성된 통신부;
    데이터를 표시하도록 구성된 표시부; 및
    상기 통신부, 및 상기 표시부와 연결하도록 구성된 제어부를 포함하고,
    상기 제어부는,
    언어 학습을 위해 주어진 단어 또는 문자에 대한 사용자 발화 데이터를 획득하고,
    상기 획득된 사용자 발화 데이터에 대한 발음 평가를 서비스 제공 서버로 요청하고,
    상기 통신부를 통해 상기 서비스 제공 서버로부터 상기 사용자 발화 데이터에 대한 사용자 발음 평가 결과 데이터를 수신하고,
    상기 수신된 사용자 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 상기 표시부를 통해 표시하고,
    상기 주어진 단어 또는 문장에 대한 캐릭터의 언어 학습을 상기 서비스 제공 서버로 요청하고,
    상기 서비스 제공 서버로부터 상기 사용자 발화 데이터 및 상기 캐릭터의 상태 데이터를 기반으로 생성된 캐릭터 발화 데이터에 대한 발음 평가 결과를 나타내는 캐릭터 발음 평가 결과 데이터를 수신하고,
    상기 수신된 캐릭터 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 상기 표시부를 통해 표시하도록 구성된, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치.
  2. 제1항에 있어서, 상기 상태 데이터는,
    상기 캐릭터의 지능 지수를 나타내는 제1 데이터 및 상기 캐릭터의 감정 지수를 나타내는 제2 데이터를 포함하는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치.
  3. 제2항에 있어서, 상기 제어부는,
    상기 서비스 제공 서버로부터 상기 사용자 발화 데이터 및 상기 상태 데이터를 기반으로 생성된 캐릭터 발화 데이터를 수신하고,
    상기 수신된 캐릭터 발화 데이터를 출력하는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치.
  4. 제3항에 있어서, 상기 캐릭터 발화 데이터는,
    상기 사용자 발화 데이터 및 상기 상태 데이터에 기반하여 사용자 발음과 유사 또는 일치하게 발화하도록 결정된 확률에 따라 생성되는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치.
  5. 제3항에 있어서, 상기 캐릭터 발음 결과 데이터는,
    캐릭터 발음과 원어민 발음 간의 유사도를 점수화한 점수 데이터 및 상기 캐릭터 발음과 상기 원어민 발음을 그래프화하여 비교한 비교 데이터를 포함하는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치.
  6. 제1항에 있어서, 상기 제어부는,
    상기 캐릭터 발음 평가 결과 데이터에 따라 상기 캐릭터에 대한 반복 학습을 수행하기 위한 인터페이스 화면을 제공하는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치.
  7. 제6항에 있어서, 상기 상태 데이터는,
    상기 캐릭터에 대한 반복 학습에 의해 업데이트되는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치.
  8. 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치의 제어부에 의해서 수행되는 사용자 인터페이스 제공 방법에 있어서,
    언어 학습을 위해 주어진 단어 또는 문자에 대한 사용자 발화 데이터를 획득하는 단계;
    상기 획득된 사용자 발화 데이터에 대한 발음 평가를 서비스 제공 서버로 요청하는 단계;
    상기 통신부를 통해 상기 서비스 제공 서버로부터 상기 사용자 발화 데이터에 대한 사용자 발음 평가 결과 데이터를 수신하는 단계;
    상기 수신된 사용자 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 표시하는 단계;
    상기 주어진 단어 또는 문장에 대한 캐릭터의 언어 학습을 상기 서비스 제공 서버로 요청하는 단계;
    상기 서비스 제공 서버로부터 상기 사용자 발화 데이터 및 상기 캐릭터의 상태 데이터를 기반으로 생성된 캐릭터 발화 데이터에 대한 발음 평가 결과를 나타내는 캐릭터 발음 평가 결과 데이터를 수신하는 단계; 및
    상기 수신된 캐릭터 발음 평가 결과 데이터를 나타내는 인터페이스 화면을 표시하는 단계를 포함하는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 방법.
  9. 제8항에 있어서, 상기 상태 데이터는,
    상기 캐릭터의 지능 지수를 나타내는 제1 데이터 및 상기 캐릭터의 감정 지수를 나타내는 제2 데이터를 포함하는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 방법.
  10. 제9항에 있어서,
    상기 서비스 제공 서버로부터 상기 사용자 발화 데이터 및 상기 상태 데이터를 기반으로 생성된 캐릭터 발화 데이터를 수신하는 단계; 및
    상기 수신된 캐릭터 발화 데이터를 출력하는 단계를 더 포함하는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 방법.
  11. 제10항에 있어서, 상기 캐릭터 발화 데이터는,
    상기 사용자 발화 데이터 및 상기 상태 데이터에 기반하여 사용자 발음과 유사 또는 일치하게 발화하도록 결정된 확률에 따라 생성되는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 방법.
  12. 제10항에 있어서, 상기 캐릭터 발음 결과 데이터는,
    캐릭터 발음과 원어민 발음 간의 유사도를 점수화한 점수 데이터 및 상기 캐릭터 발음과 상기 원어민 발음을 그래프화하여 비교한 비교 데이터를 포함하는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 방법.
  13. 제8항에 있어서,
    상기 캐릭터 발음 평가 결과 데이터에 따라 상기 캐릭터에 대한 반복 학습을 수행하기 위한 인터페이스 화면을 제공하는 단계를 더 포함하는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 방법.
  14. 제13항에 있어서, 상기 상태 데이터는,
    상기 캐릭터에 대한 반복 학습에 의해 업데이트되는, 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 방법.
KR1020200005270A 2020-01-15 2020-01-15 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법 KR20210091945A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200005270A KR20210091945A (ko) 2020-01-15 2020-01-15 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법
KR1020220041114A KR102523440B1 (ko) 2020-01-15 2022-04-01 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200005270A KR20210091945A (ko) 2020-01-15 2020-01-15 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220041114A Division KR102523440B1 (ko) 2020-01-15 2022-04-01 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210091945A true KR20210091945A (ko) 2021-07-23

Family

ID=77155327

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200005270A KR20210091945A (ko) 2020-01-15 2020-01-15 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법
KR1020220041114A KR102523440B1 (ko) 2020-01-15 2022-04-01 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220041114A KR102523440B1 (ko) 2020-01-15 2022-04-01 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법

Country Status (1)

Country Link
KR (2) KR20210091945A (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100357735B1 (ko) * 2000-03-31 2002-10-25 원창업 성장형 캐릭터를 이용한 학습시스템 및 그 시스템의운용방법
KR20020017661A (ko) * 2000-08-31 2002-03-07 황석규 양육 게임을 통한 인터넷 학습 시스템에서의 학습 심화 방법
KR100914502B1 (ko) * 2002-04-15 2009-09-30 윤춘호 네트웍 기반 대화형 멀티미디어 학습 시스템 및 방법
KR102191425B1 (ko) * 2013-07-29 2020-12-15 한국전자통신연구원 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법
KR101822026B1 (ko) 2016-08-31 2018-01-26 주식회사 뮤엠교육 아바타 기반의 언어 학습시스템

Also Published As

Publication number Publication date
KR20220047734A (ko) 2022-04-19
KR102523440B1 (ko) 2023-04-21

Similar Documents

Publication Publication Date Title
US9378650B2 (en) System and method for providing scalable educational content
Evmenova et al. Supporting the writing process with technology for students with disabilities
JP2009503563A (ja) 話し言葉のコンピュータによる習熟度評価
US9536438B2 (en) System and method for customizing reading materials based on reading ability
CN103136971A (zh) 语言音素的练习引擎
Wang et al. Computer assisted language learning system based on dynamic question generation and error prediction for automatic speech recognition
US20200004504A1 (en) Internet-enabled audio visual graphing calculator
KR20190130774A (ko) 언어 교육을 위한 영상의 자막 처리 방법 및 장치
KR102031482B1 (ko) 외국어 학습 관리 시스템 및 학습 방법
Arifi et al. Potentials of Chatbots for Spell Check among Youngsters.
Nuanmeesri Mobile application development of managing elderly household accounts using speech recognition
US20230386355A1 (en) Method And Device For Providing Learning Service By Using Digital Studying Method
KR101080092B1 (ko) 외국어 단어 학습방법 및 이를 이용한 외국어 학습 장치
KR102321141B1 (ko) 발음 평가를 위한 사용자 인터페이스 제공 장치 및 방법
Kizilkaya et al. Design prompts for virtual reality in education
Wolfe et al. Promoting better deaf/hearing communication through an improved interaction design for fingerspelling practice
KR102523440B1 (ko) 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법
Junining et al. Automatic speech recognition in computer-assisted language learning for individual learning in speaking
KR102460272B1 (ko) 모국어 문자기반 원 사이클 온라인 외국어 학습 시스템 및 그 방법
KR20140051607A (ko) 학습자의 능력 수준에 따른 분석 정보 제공 장치 및 방법
Jayakody et al. Mobile application for vision impaired people to facilitate to learn the English language
JP7164590B2 (ja) 人間の発話のきめ細かな評価による発話言語スキルの教育および評価
KR20230088377A (ko) 발음 평가를 위한 사용자 인터페이스 제공 장치 및 방법
Lukeš et al. Building a phonics engine for automated text guidance
KR102675139B1 (ko) 말하기 채점 인공지능 모델을 이용하여 말하기 능력에 대해 평가 항목 별로 평가를 수행하는 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination