KR20220146761A - 가상 현실 및 ai 인식 영어 학습 시스템 - Google Patents

가상 현실 및 ai 인식 영어 학습 시스템 Download PDF

Info

Publication number
KR20220146761A
KR20220146761A KR1020210053421A KR20210053421A KR20220146761A KR 20220146761 A KR20220146761 A KR 20220146761A KR 1020210053421 A KR1020210053421 A KR 1020210053421A KR 20210053421 A KR20210053421 A KR 20210053421A KR 20220146761 A KR20220146761 A KR 20220146761A
Authority
KR
South Korea
Prior art keywords
user
unit
learning
english
voice
Prior art date
Application number
KR1020210053421A
Other languages
English (en)
Other versions
KR102659886B1 (ko
Inventor
정성근
Original Assignee
주식회사 비주얼라이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼라이트 filed Critical 주식회사 비주얼라이트
Priority to KR1020210053421A priority Critical patent/KR102659886B1/ko
Publication of KR20220146761A publication Critical patent/KR20220146761A/ko
Application granted granted Critical
Publication of KR102659886B1 publication Critical patent/KR102659886B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 가상 현실 및 AI 인식 영어 학습 시스템은 가상 현실을 이용한 영어 학습 시스템에 있어서, 사용자에게 콘텐츠의 음성을 출력하는 음성 스피커(110)와, 사용자의 음성을 감지하는 마이크로폰(120)과, 상기 음성 스피커(110)와 디스플레이(140)를 제어하는 사용자 단말기(130)와, 콘텐츠 제공부(200)가 상기 사용자 단말기(130)를 통해 제공하는 콘텐츠의 영상을 시각적으로 표출하는 디스플레이(140), 로 구성되는 가상 현실 재현부(100)와; 사용자가 학습과제를 선택할 수 있게 과제 선택 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 정보를 기초로 과제 선택 메뉴를 추천하는 학습 과제 선택부(210)와, 상기 학습 과제 선택부(210)에서 선택된 학습 과제에 대해, 사용자가 레벨(난이도)을 선택할 수 있게 메뉴를제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 레벨에 따라 사용자의 레벨(난이도)을 자동으로 지정하는 학습 레벨 선택부(230)와, 전 단계에서 선택 또는 지정된 학습 과제 및 학습 레벨에 따라 영어 학습을 진행하는 학습 진행부(300)와, 상기 학습 진행부(300)에 의해 진행된 사용자의 영어 학습 과제에 대한 평가 결과를 저장 관리하는 학습 데이터 관리부(270), 로 구성되는 콘텐츠 제공부(200);를 포함하여 구성되는 것을 특징으로 하는 가상 현실 및 AI 인식 영어 학습 시스템에 관한 것이다.

Description

가상 현실 및 AI 인식 영어 학습 시스템 { VR and AI Recognition English Studying System }
본 발명은 사용자가 가상 현실에서 실제와 같은 체험을 하면서 영어를 학습할 수 있는 가상 현실 및 AI 인식 영어 학습 시스템에 관한 것이다.
한국 특허 제10-1770220호는 가상현실 영상을 제공하는 서비스 제공서버를 포함하는 외국어 학습 서비스 시스템에 있어서, 상기 서비스 제공서버는, 외국어 학습 서비스를 받고자 하는 사용자가 착용하는 적어도 하나의 제1 사용자 단말기 및 강사가 사용하는 제2 사용자 단말기와 네트워크 연결하는 통신부; 상기 제1 사용자 단말기로부터 다수의 시뮬레이션 상황 중에서 학습하고자 하는 시뮬레이션 상황을 선택받는 시뮬레이션 선택부; 데이터베이스에 저장된 다수의 시뮬레이션 상황별 가상현실 영상 중에서 상기 선택된 시뮬레이션 상황에 대응하는 가상현실 영상에, 상기 사용자 및 상기 강사에 대응하는 캐릭터를 각각 반영하여 상기 제1 사용자 단말기 및 제2 사용자 단말기에 각각 제공하는 영상 제공부; 상기 제1 사용자 단말기로부터 음성을 입력받아 상기 제2 사용자 단말기에 전송하는 음성 제공부; 및 상기 제1 사용자 단말기로부터 음성이 설정시간 이상 입력되지 않거나, 사용자의 시선에 따라 변화되는 상기 제1 사용자 단말기의 캐릭터의 표정 및 시선을 포착하여 상기 제1 사용자 단말기를 통해 경고음 또는 경고화면이 출력되도록 하고, 복수의 제1 사용자 단말기가 네트워크 연결된 경우, 어느 하나의 제1 사용자 단말기로부터 음성이 설정횟수 이상 연속으로 입력되면, 다른 제1 사용자 단말기로부터 음성이 입력되기 전까지 입력된 음성을 음소거 처리하는 제어부를 포함하고, 시뮬레이션 상황은 복수의 단계 상황으로 구성되며, 상기 제2 사용자 단말기로부터 해당 단계 상황에 대한 학습 완료 정보를 수신하면, 상기 영상 제공부는 다음 단계 상황에 대응하는 가상 현실 영상을 상기 제1 사용자 단말기 및 제2 사용자 단말기에 각각 제공하는 외국어 학습 서비스 시스템을 개시한다.
종래의 영어 학습은 원격 통신을 이용한 1: 1 학습 또는 초기 단계의 가상 현실 학습 방법으로서 학습자의 흥미를 유발하기에 부족하고 학습 효과가 미미하여 성공한 제품이 거의 없었다.
본 발명은 기존의 통신을 1: 1 대화 등과 같은 딱딱한 영어 학습 방법을 탈피하여 사용자가 이국적 가상 공간(예를들어, 공항, 지하철, 주유소, 숙박시설, 식당)의 환경에 투입되는 수행 과제를 선택하고, 그 가상공간 안에서 NPC(상대방 캐릭터)와 대화나 표정을 주고 받으면서 게임 및 여행하듯이 영어 학습 및 대화 능력을 증가시켜주는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다.
본 발명은 사용자의 가상 체험에 의한 학습 결과를 평가하고 저장 관리함으로써 이를 기초로 사용자에게 과제를 추천하고 평가할 수 있어서 사용자의 영어 학습 과정을 체계적으로 관리하면서 발전 방향을 유도할 수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다.
또한, 본 발명은 사용자의 음성 인식 뿐 아니라 표정 동작 인식에 의한 사용자 아바타의 애니메이션이 가능하여 가상공간의 현실감과 아바타와의 일체감을 증대시킬수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다. 또한, 단어 문장의 감정을 인공지능 수단으로 캡춰하여 사용자 아바타 또는 NPC 의 표정에 반영함으로써 좀더 현실감 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다.
또한, 사용자가 영어 구사가 어려운 경우 영어가 부족한 사용자가 한국어로 말하여 도움을 요청하면 영어가 자막으로 표현되어 사용자의 영어가 부족한 경우에도 체험을 계속하면서 영어 실력을 향상시킬수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다.
본 발명의 가상 현실 및 AI 인식 영어 학습 시스템은, 가상 현실을 이용한 영어 학습 시스템에 있어서, 사용자에게 콘텐츠의 음성을 출력하는 음성 스피커(110)와, 사용자의 음성을 감지하는 마이크로폰(120)과, 상기 마이크로폰(120)의 음성신호를 콘텐츠 제공부(100)에 제공하고 상기 음성 스피커(110)와 디스플레이(140)를 제어하는 사용자 단말기(130)와, 콘텐츠 제공부(200)가 상기 사용자 단말기(130)를 통해 제공하는 콘텐츠의 영상을 시각적으로 표출하는 디스플레이(140), 로 구성되는 가상 현실 재현부(100)와;
사용자가 학습과제를 선택할 수 있게 과제 선택 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 정보를 기초로 과제 선택 메뉴를 추천하는 학습 과제 선택부(210)와, 상기 학습 과제 선택부(210)에서 선택된 학습 과제에 대해, 사용자가 레벨(난이도)을 선택할 수 있게 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 레벨에 따라 사용자의 레벨(난이도)을 자동으로 지정하는 학습 레벨 선택부(230)와,
전 단계에서 선택 또는 지정된 학습 과제 및 학습 레벨에 따라 영어 학습을 진행하는 학습 진행부(300)와, 상기 학습 진행부(300)에 의해 진행된 사용자의 영어 학습 과제에 대한 평가 결과를 저장 관리하는 학습 데이터 관리부(270), 로 구성되는 콘텐츠 제공부(200);를 포함하여 구성되는 것을 특징으로 한다.
본 발명에 따르는 경우, 기존의 통신을 1: 1 대화 등과 같은 딱딱한 영어 학습 방법을 탈피하여 사용자가 이국적 가상 공간(예를들어, 공항, 지하철, 주유소, 숙박시설, 식당)의 환경에 투입되는 수행 과제를 선택하고, 그 가상공간 안에서 NPC(상대방 캐릭터)와 대화나 표정을 주고 받으면서 게임 및 여행하듯이 영어 학습 및 대화 능력을 증가시켜주는 가상 현실 및 AI 인식 영어 학습 시스템 기술이 제공된다.
또한, 본 발명에 따르는 경우, 사용자의 가상 체험에 의한 학습 결과를 평가하고 저장 관리함으로써 이를 기초로 사용자에게 과제를 추천하고 평가할 수 있어서 사용자의 영어 학습 과정을 체계적으로 관리하면서 발전 방향을 유도할 수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술이 제공된다.
또한, 본 발명에 따르는 경우, 사용자의 음성 인식 뿐 아니라 표정 동작 인식에 의한 사용자 아바타의 애니메이션이 가능하여 가상공간의 현실감과 아바타와의 일체감을 증대시킬수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다. 또한, 단어 문장의 감정을 인공지능 수단으로 캡춰하여 사용자 아바타 또는 NPC 의 표정에 반영함으로써 좀더 현실감 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술이 제공된다.
또한, 사용자가 영어 구사가 어려운 경우 영어가 부족한 사용자가 한국어로 말하여 도움을 요청하면 영어가 자막으로 표현되어 사용자의 영어가 부족한 경우에도 체험을 계속하면서 영어 실력을 향상시킬수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술이 제공된다.
도 1은 본 발명의 일실시예에 따른 가상 현실 및 AI 인식 영어 학습 시스템 전체 구성도.
도 2는 본 발명의 일실시예에 따른 가상 현실 및 AI 인식 영어 학습 시스템 콘텐츠 제공부 상세 구성도.
이하에서 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에 대하여 첨부된 도면을 참조하여 상세하게 설명한다. 도 1은 본 발명의 일실시예에 따른 가상 현실 및 AI 인식 영어 학습 시스템 전체 구성도, 도 2는 본 발명의 일실시예에 따른 가상 현실 및 AI 인식 영어 학습 시스템 콘텐츠 제공부 상세 구성도이다.
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템은, 가상 현실 재현부(100)와 콘텐츠 제공부(200)를 포함하여 구성된다.
가상 현실 재현부(100)는, 가상 현실을 이용한 영어 학습 시스템에 있어서, 사용자에게 콘텐츠의 음성을 출력하는 음성 스피커(110)와, 사용자의 음성을 감지하는 마이크로폰(120)과, 상기 마이크로폰(120)의 음성신호를 콘텐츠 제공부(100)에 제공하고 상기 음성 스피커(110)와 디스플레이(140)를 제어하는 사용자 단말기(130)와, 콘텐츠 제공부(200)가 상기 사용자 단말기(130)를 통해 제공하는 콘텐츠의 영상을 시각적으로 표출하는 디스플레이(140)로 구성된다.
도 1, 도 2에 도시된 바와 같이, 콘텐츠 제공부(200)는, 학습 과제 선택부(210)와 학습 레벨 선택부(230)와, 학습 진행부(300)와 학습 데이터 관리부(270)를 포함한다.
학습 과제 선택부(210)는, 사용자가 학습과제를 선택할 수 있게 과제 선택 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 정보를 기초로 과제 선택 메뉴를 추천한다.
학습 레벨 선택부(230)는, 학습 과제 선택부(210)에서 선택된 학습 과제에 대해, 사용자가 레벨(난이도)을 선택할 수 있게 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 레벨에 따라 사용자의 레벨(난이도)을 자동으로 지정한다.
학습 진행부(300)는 전 단계에서 선택 또는 지정된 학습 과제 및 학습 레벨에 따라 영어 학습을 진행한다.
학습 데이터 관리부(270)는 학습 진행부(300)에 의해 진행된 사용자의 영어 학습 과제에 대한 평가 결과를 저장 관리한다.
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에서, 학습 진행부(300)는, 아바타 및 NPC 캐릭터 영상과, 학습 과제 레벨 별로 구성된 3차원 배경 및 공간 영상과, NPC 영어 멘트 정보가 저장된 라이브러리(310)와, 상기 라이브러리(310)에서 가져온 아바타 및 NPC 영상을 애니메이션 하는 아바타 및 NPC 영상 생성부(320)와, 상기 마이크로폰(120)에서 감지된 사용자의 음성을 감지하여 인공지능 수단을 이용하여 언어로 변환하는 사용자 음성 인식부(330)와, 사용자 음성 인식부(330)의 사용자 음성 인식 결과를 이용하여 답변 또는 상황별 내용의 적합성을 판단하는 사용자 음성(답변) 평가부(340)와, 상기 사용자 음성 인식부(330)와 사용자 음성(답변) 평가부(340)의 평가 결과를 기초로 하여 NPC 의 응답 영어 음성을 생성하는 NPC 음성 응답 생성부(350)를 포함하여 구성된다.
<문장 감정 아바타 영상 반영 기능>
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에서, 학습 진행부(300)는, NPC의 음성 응답 내용 및 상기 사용자 음성 인식부(330)의 번역 내용을 기초로 문장 단어의 감정을 추론하는 문장 단어 감정 추정부(360)와, 상기 문장 단어 감정 추정부(360)에서 제공되는 사용자 및 NPC의 추정 감정을 표현하는 얼굴 표정 애니메이션 데이터를 생성하는 아바타 및 NPC 표정 영상 생성부(370),를 더 포함하여 구성된다. 아바타 및 NPC 영상 생성부(320)는 아바타 및 NPC 표정 영상 생성부(370)에서 제공되는 얼굴 표정 영상 애니메이션 데이터를 추가로 정합하여 영상을 생성한다.
<사용자 표정 및 동작 인식 기능>
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에서, 가상 현실 재현부(100)는, 사용자의 동작 및 표정을 촬영하는 영상 카메라(150)를 더 포함하여 구성된다. 학습 진행부(300)는, 상기 영상 카메라(150)의 사용자 영상을 인공지능으로 분석하여 동작 및 표정을 추출하는 AI 사용자 동작 인식부(380)와, 상기 AI 사용자 동작 인식부(380)에서 추출된 사용자의 동작 및 표정을 콘텐츠의 사용자 아바타 영상에 반영하는 사용자 표정 및 동작 영상 반영부(390)를 더 포함하여 구성된다. AI 사용자 동작 인식부(380)에서 추출된 사용자의 동작 및 표정은 사용자 음성(답변) 평가부(340)의 평가 결과와 함께 NPC 음성 응답 생성부(350)에 전송되어 NPC 영어 응답 생성에 기초자료로 사용된다.
<한국어 보조 기능>
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에서, 사용자 음성 인식부(330)는, 영어 인식부(331)에 더하여 한국어 인식부(335)로 구성되고, 상기 영어 인식부(331)에 의해 영어로 문자 변환(음성 영어 문자 변환)이 되지 않은 경우 상기 한국어 인식부(335)가 사용자 음성을 한국어로 문자 변환(음성 한글 문자 변환)한다.
학습 진행부(300)는 영어 변환부(410)와 영어 자막 영상 생성부(420)를 더 포함하여 구성되고, 영어 변환부(410)는 상기 한국어 인식부(335)에서 생성된 한국어 문자를 영어 문자로 변환하고, 영어 자막 영상 생성부(420)는 변환된 영어 문자를 자막 영상으로 생성하여 상기 아바타 및 NPC 영상 생성부(320)에서 제공되는 영상과 함께 표출되게 한다. 사용자가 영어 음성 표현이 어려워서 한국어로 말하는 경우 이를 번역하여 영어 자막을 생성하여 줌으로써 사용자의 학습을 보조하는 것이다.
<수정 문장 제안부>
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에서, 학습 진행부(300)는, 사용자 음성(답변) 평가부(340)가 사용자의 답변이 부적합 하다고 판단하였을 때, 사용자의 디스플레이(140)에 자막으로 표출되는 수정 문장을 생성하여 제공하는 수정 문장 제안부(430),를 더 포함하여 구성되는 것이 바람직하다.
학습 데이터 관리부(270)는, 사용자의 영어 학습 과제에 대한 평가 결과를 리스닝(Listening), 문법, 어휘력, 및 발음 분야로 분리하여 평가 관리하는 것이 바람직하다.
본 발명은 상기에서 언급한 바람직한 실시예와 관련하여 설명됐지만, 본 발명의 범위가 이러한 실시예에 한정되는 것은 아니며, 본 발명의 범위는 이하의 특허청구범위에 의하여 정하여지는 것으로 본 발명과 균등 범위에 속하는 다양한 수정 및 변형을 포함할 것이다.
아래의 특허청구범위에 기재된 도면부호는 단순히 발명의 이해를 보조하기 위한 것으로 권리범위의 해석에 영향을 미치지 아니함을 밝히며 기재된 도면부호에 의해 권리범위가 좁게 해석되어서는 안될 것이다.
100 : 가상 현실 재현부 110 : 음성 스피커
120 : 마이크로폰 130 : 사용자 단말기
140 : 디스플레이 150 : 영상 카메라
200 : 콘텐츠 제공부 210 : 학습 과제 선택부 270 : 학습 데이터 관리부 230 : 학습 레벨 선택부
300 : 학습 진행부 310 : 라이브러리 320 : 아바타 및 NPC 영상 생성부 330 : 사용자 음성 인식부
331 : 영어 인식부 335 : 한국어 인식부
340 : 사용자 음성(답변) 평가부 350 : NPC 음성 응답 생성부
360 : 문장 단어 감정 추정부
370 : 아바타 및 NPC 표정 영상 생성부
380 : AI 사용자 동작 인식부
390 : 사용자 표정 및 동작 영상 반영부
410 : 영어 변환부
420 : 영어 자막 영상 생성부
430 : 수정 문장 제안부

Claims (7)

  1. 가상 현실을 이용한 영어 학습 시스템에 있어서,
    사용자에게 콘텐츠의 음성을 출력하는 음성 스피커(110)와,
    사용자의 음성을 감지하는 마이크로폰(120)과,
    상기 마이크로폰(120)의 음성신호를 콘텐츠 제공부(100)에 제공하고 상기 음성 스피커(110)와 디스플레이(140)를 제어하는 사용자 단말기(130)와,
    콘텐츠 제공부(200)가 상기 사용자 단말기(130)를 통해 제공하는 콘텐츠의 영상을 시각적으로 표출하는 디스플레이(140),
    로 구성되는 가상 현실 재현부(100)와;

    사용자가 학습과제를 선택할 수 있게 과제 선택 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 정보를 기초로 과제 선택 메뉴를 추천하는 학습 과제 선택부(210)와,

    상기 학습 과제 선택부(210)에서 선택된 학습 과제에 대해, 사용자가 레벨(난이도)을 선택할 수 있게 메뉴를제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 레벨에 따라 사용자의 레벨(난이도)을 자동으로 지정하는 학습 레벨 선택부(230)와,

    전 단계에서 선택 또는 지정된 학습 과제 및 학습 레벨에 따라 영어 학습을 진행하는 학습 진행부(300)와,
    상기 학습 진행부(300)에 의해 진행된 사용자의 영어 학습 과제에 대한 평가 결과를 저장 관리하는 학습 데이터 관리부(270),
    로 구성되는 콘텐츠 제공부(200);
    를 포함하여 구성되는 것을 특징으로 하는 가상 현실 및 AI 인식 영어 학습 시스템.
  2. 제1항에 있어서,
    상기 학습 진행부(300)는,
    아바타 및 NPC 캐릭터 영상과, 학습 과제 레벨 별로 구성된 3차원 배경 및 공간 영상과, NPC 영어 멘트 정보가 저장된 라이브러리(310)와,
    상기 라이브러리(310)에서 가져온 아바타 및 NPC 영상을 애니메이션 하는 아바타 및 NPC 영상 생성부(320)와,

    상기 마이크로폰(120)에서 감지된 사용자의 음성을 감지하여 인공지능 수단을 이용하여 언어로 변환하는 사용자 음성 인식부(330)와,

    상기 사용자 음성 인식부(330)의 사용자 음성 인식 결과를 이용하여 답변 또는 상황별 내용의 적합성을 판단하는 사용자 음성(답변) 평가부(340)와,

    상기 사용자 음성 인식부(330)와 사용자 음성(답변) 평가부(340)의 평가 결과를 기초로 하여 NPC 의 응답 영어 음성을 생성하는 NPC 음성 응답 생성부(350),를 포함하여 구성되는 것을 가상 현실 및 AI 인식 영어 학습 시스템.
  3. 제2항에 있어서,
    상기 학습 진행부(300)는,
    NPC의 음성 응답 내용 및 상기 사용자 음성 인식부(330)의 번역 내용을 기초로 문장 단어의 감정을 추론하는 문장 단어 감정 추정부(360)와,
    상기 문장 단어 감정 추정부(360)에서 제공되는 사용자 및 NPC의 추정 감정을 표현하는 얼굴 표정 애니메이션 데이터를 생성하는 아바타 및 NPC 표정 영상 생성부(370),를 더 포함하여 구성되고,

    상기 아바타 및 NPC 영상 생성부(320)는 아바타 및 NPC 표정 영상 생성부(370)에서 제공되는 얼굴 표정 영상 애니메이션 데이터를 추가로 정합하여 영상을 생성하는 것을 특징으로 하는 가상 현실 및 AI 인식 영어 학습 시스템.
  4. 제2항에 있어서,
    상기 가상 현실 재현부(100)는,
    사용자의 동작 및 표정을 촬영하는 영상 카메라(150)를 더 포함하여 구성되고,

    상기 학습 진행부(300)는,
    상기 영상 카메라(150)의 사용자 영상을 인공지능으로 분석하여 동작 및 표정을 추출하는 AI 사용자 동작 (표정) 인식부(380)와,

    상기 AI 사용자 동작 인식부(380)에서 추출된 사용자의 동작 및 표정을 콘텐츠의 사용자 아바타 영상에 반영하는 사용자 표정 및 동작 영상 반영부(390),를 더 포함하여 구성되고,

    상기 AI 사용자 동작 인식부(380)에서 추출된 사용자의 동작 및 표정은 사용자 음성(답변) 평가부(340)의 평가 결과와 함께 NPC 음성 응답 생성부(350)에 전송되어 NPC 영어 응답 생성에 기초자료로 사용되는 것을 특징으로 하는 가상 현실 및 AI 인식 영어 학습 시스템.
  5. 제2항에 있어서,
    상기 사용자 음성 인식부(330)는, 영어 인식부(331)에 더하여 한국어 인식부(335)로 구성되고,
    상기 영어 인식부(331)에 의해 영어로 문자 변환(음성 영어 문자 변환)이 되지 않은 경우 상기 한국어 인식부(335)가 사용자 음성을 한국어로 문자 변환(음성 한글 문자 변환)하고,

    상기 학습 진행부(300)는 영어 변환부(410)와 영어 자막 영상 생성부(420)를 더 포함하여 구성되고,
    상기 영어 변환부(410)는 상기 한국어 인식부(335)에서 생성된 한국어 문자를 영어 문자로 변환하고,
    상기 영어 자막 영상 생성부(420)는 변환된 영어 문자를 자막 영상으로 생성하여 상기 아바타 및 NPC 영상 생성부(320)에서 제공되는 영상과 함께 표출되게 함으로써,

    사용자가 영어 음성 표현이 어려워서 한국어로 말하는 경우 이를 번역하여 영어 자막을 생성하여 줌으로써 사용자의 학습을 보조하는 것을 특징으로 하는 가상 현실 및 AI 인식 영어 학습 시스템.
  6. 제2항에 있어서,
    상기 학습 진행부(300)는,
    상기 사용자 음성(답변) 평가부(340)가 사용자의 답변이 부적합 하다고 판단하였을 때, 사용자의 디스플레이(140)에 자막으로 표출되는 수정 문장을 생성하여 제공하는 수정 문장 제안부(430),를 더 포함하여 구성되는 것을 특징으로 하는 가상 현실 및 AI 인식 영어 학습 시스템.
  7. 제2항에 있어서,
    상기 학습 데이터 관리부(270)는,
    사용자의 영어 학습 과제에 대한 평가 결과를 리스닝(Listening), 문법, 어휘력, 및 발음 분야로 분리하여 평가 관리하는 것을 특징으로 하는 가상 현실 및 AI 인식 영어 학습 시스템.
KR1020210053421A 2021-04-26 2021-04-26 가상 현실 및 ai 인식 영어 학습 시스템 KR102659886B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210053421A KR102659886B1 (ko) 2021-04-26 2021-04-26 가상 현실 및 ai 인식 영어 학습 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210053421A KR102659886B1 (ko) 2021-04-26 2021-04-26 가상 현실 및 ai 인식 영어 학습 시스템

Publications (2)

Publication Number Publication Date
KR20220146761A true KR20220146761A (ko) 2022-11-02
KR102659886B1 KR102659886B1 (ko) 2024-04-23

Family

ID=84084458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210053421A KR102659886B1 (ko) 2021-04-26 2021-04-26 가상 현실 및 ai 인식 영어 학습 시스템

Country Status (1)

Country Link
KR (1) KR102659886B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100855563B1 (ko) * 2007-03-27 2008-09-02 안희달 대화식 로봇을 이용한 영어 학습시스템 및 그 방법
KR20100043393A (ko) * 2008-10-20 2010-04-29 주식회사 엔씨소프트 가상공간에서의 영어 학습 서비스 시스템
KR101743230B1 (ko) * 2016-04-18 2017-06-05 (주)케이디엠티 가상현실 및 음성인식 기반의 실감 어학학습 콘텐츠 제공 장치 및 방법
KR101925440B1 (ko) * 2018-04-23 2018-12-05 이정도 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100855563B1 (ko) * 2007-03-27 2008-09-02 안희달 대화식 로봇을 이용한 영어 학습시스템 및 그 방법
KR20100043393A (ko) * 2008-10-20 2010-04-29 주식회사 엔씨소프트 가상공간에서의 영어 학습 서비스 시스템
KR101743230B1 (ko) * 2016-04-18 2017-06-05 (주)케이디엠티 가상현실 및 음성인식 기반의 실감 어학학습 콘텐츠 제공 장치 및 방법
KR101925440B1 (ko) * 2018-04-23 2018-12-05 이정도 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법

Also Published As

Publication number Publication date
KR102659886B1 (ko) 2024-04-23

Similar Documents

Publication Publication Date Title
WO2022048403A1 (zh) 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
CN111541908A (zh) 交互方法、装置、设备以及存储介质
CN109086860B (zh) 一种基于虚拟人的交互方法及系统
WO2022170848A1 (zh) 人机交互方法、装置、系统、电子设备以及计算机介质
CN107403011B (zh) 虚拟现实环境语言学习实现方法和自动录音控制方法
CN110808038B (zh) 普通话评测方法、装置、设备及存储介质
WO2022182064A1 (ko) 인공지능 아바타 튜터를 활용한 회화 학습 시스템 및 그 방법
KR20180105861A (ko) 외국어 학습 어플리케이션 및 이에 포함된 콘텐츠를 이용한 외국어 학습 시스템
KR20220129989A (ko) 아바타에 기초한 인터랙션 서비스 방법 및 장치
CN110767005A (zh) 基于儿童专用智能设备的数据处理方法及系统
WO2020070923A1 (ja) 対話装置、その方法、およびプログラム
CN117313785A (zh) 一种基于弱势人群的智能数字人交互方法、设备和介质
KR100898104B1 (ko) 상호 대화식 학습 시스템 및 방법
CN112634886A (zh) 一种智能设备的交互方法、服务器、计算设备及存储介质
JP6656529B2 (ja) 外国語の会話訓練システム
US20220301250A1 (en) Avatar-based interaction service method and apparatus
KR102659886B1 (ko) 가상 현실 및 ai 인식 영어 학습 시스템
KR20030079497A (ko) 대화형 언어학습 시스템 및 서비스방법
CN115442495A (zh) 一种ai演播室系统
CN113282170A (zh) 虚拟现实及ai识别英语学习系统
CN110718119A (zh) 基于儿童专用穿戴智能设备的教育能力支持方法及系统
CN112632262A (zh) 一种对话方法、装置、计算机设备及存储介质
KR20020024828A (ko) 인터넷을 이용한 상호 대화식 언어 학습방법
KR102260280B1 (ko) 외국어-수화 동시 학습방법
KR20200064021A (ko) 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant