KR20220140304A - 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법 - Google Patents

학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법 Download PDF

Info

Publication number
KR20220140304A
KR20220140304A KR1020210046638A KR20210046638A KR20220140304A KR 20220140304 A KR20220140304 A KR 20220140304A KR 1020210046638 A KR1020210046638 A KR 1020210046638A KR 20210046638 A KR20210046638 A KR 20210046638A KR 20220140304 A KR20220140304 A KR 20220140304A
Authority
KR
South Korea
Prior art keywords
learner
instructor
voice
learning
native speaker
Prior art date
Application number
KR1020210046638A
Other languages
English (en)
Other versions
KR102687849B1 (ko
Inventor
장현석
Original Assignee
주식회사 퀄슨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 퀄슨 filed Critical 주식회사 퀄슨
Priority to KR1020210046638A priority Critical patent/KR102687849B1/ko
Publication of KR20220140304A publication Critical patent/KR20220140304A/ko
Application granted granted Critical
Publication of KR102687849B1 publication Critical patent/KR102687849B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Acoustics & Sound (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법에 대한 것이다.
본 발명에 따른 화상 학습 시스템은 학습자에 의해 발화된 음성을 인식하는 음성 인식부, 키워드를 설정하고, 수신된 학습자의 음성을 분석하여 키워드와의 매칭되는 음성을 인식할 경우에 인식된 키워드 이후의 학습자의 음성을 텍스트 형태로 변환하는 음성-텍스트 변환부, 자연어처리(Natural Language Processing, NLP) 모듈 및 자연 언어 이해 (Natural　Language　Understanding, NLU)을 이용하여 변환된 텍스트로부터 학습자의 의도를 분석하고, 분석된 결과에 따라 학습자의 음성을 명령으로 인식하는 음성명령인식부, 그리고 상기 학습자의 음성 명령에 따라 대응되는 원어민 강사를 추출하고, 추출된 원어민 강사에 대한 정보를 학습자 단말기에 제공하며, 상기 학습자 단말기로부터 특정 원어민 강사에 대한 연결 요청신호를 수신하면, 원어민 강사 단말기에 수업 요청 신호를 전송하여 강사와 학습자를 연결시키는 제어부를 포함한다.

Description

학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법{ Video learning systems for recognize learners' voice commands }
본 발명은 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 학습자의 음성을 분석하여 음성 명령을 인식하고, 학습자의 음성 명령에 따라 학습자의 특성에 맞는 맞춤형 서비스를 제공하여 학습자의 학습 효율을 극대화하는 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법에 관한 것이다.
딥러닝 및 AI 기술이 발전함에 따라, 영상 및 소리와 관련된 다양한 기술(TTS, STT)에도 딥러닝 기반의 AI 기술이 적용되며 빠르게 발전해가고 있다. AI 스피커 또한, 딥러닝 기술과 함께 빠르게 발전하고 있는 분야 중 하나이다.
다양한 분야에서 AI 스피커를 통한 음성 명령 기반의 비즈니스들이 만들어지고 있으며, 어학 학습 분야에서는 기존의 예약 기반의 전화 영어에서 화상 기반의 온디맨드 어학 학습 기술로 점차 진화해 나가고 있다.
기존의 어학 학습 프로그램은 시스템을 운영하는 관리자에 의해 짜여진 시간표를 제공하고, 학습자는 제공된 시간표 중에서 수업 가능한 시간을 선택한다.
그리고, 학습자는 선택한 시간에 다시 어학 학습 프로그램에 접속한 다음, 화상 수업을 수행한다.
만약 정해진 시간 내에 수업에 참여하지 못할 경우, 학습자는 재수강 신청을 하여 정해진 시간에 다시 참여를 하거나, 재수강 신청을 하지 못하는 경우에는 수업 자체를 아예 진행하지 못하는 문제점이 있었다.
또한, 최근 코로나 팬데믹과 같이 외부활동에 제약을 받게 되면서 집이라는 공간에서 어학 학습을 진행하고자 요구가 확대됨에 따라 어학적인 관점에서의 인프라 및 기술을 필요로 하고 있다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2130006호(2020.07.03. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 학습자의 음성을 분석하여 음성 명령을 인식하고, 학습자의 음성 명령에 따라 학습자의 특성에 맞는 맞춤형 서비스를 제공하여 학습자의 학습 효율을 극대화하는 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따른 학습자의 음성 명령을 인식하는 화상 학습 시스템에 있어서, 학습자에 의해 발화된 음성을 인식하는 음성 인식부, 키워드를 설정하고, 수신된 학습자의 음성을 분석하여 키워드와의 매칭되는 음성을 인식할 경우에 인식된 키워드 이후의 학습자의 음성을 텍스트 형태로 변환하는 음성-텍스트 변환부, 자연어처리(Natural Language Processing, NLP) 모듈 및 자연 언어 이해 (Natural　Language　Understanding, NLU)을 이용하여 변환된 텍스트로부터 학습자의 의도를 분석하고, 분석된 결과에 따라 학습자의 음성을 명령으로 인식하는 음성명령인식부, 그리고 상기 학습자의 음성 명령에 따라 대응되는 원어민 강사를 추출하고, 추출된 원어민 강사에 대한 정보를 학습자 단말기에 제공하며, 상기 학습자 단말기로부터 특정 원어민 강사에 대한 연결 요청신호를 수신하면, 원어민 강사 단말기에 수업 요청 신호를 전송하여 강사와 학습자를 연결시키는 제어부를 포함한다.
상기 제어부는, 식별하고자 하는 학습자의 음성에서 변환된 텍스트가 강사 연결 요청 의도일 경우, 식별된 학습자의 학습 내역 및 선호 강사 유형에 대한 정보를 추출할 수 있다.
원어민 강사명, 수업 가능 시간, 강사 평가 정보를 포함하는 강사 정보를 수집하는 강사 정보 수집부를 더 포함할 수 있다.
상기 제어부는, 상기 강사 정보를 이용하여 매칭 가능한 원어민 강사를 추출하고, 추출된 원어민 강사와의 매칭될 경우, WebRTC 기반의 저지연 화상 학습으로 어학 학습을 수행하게 할 수 있다.
상기 제어부는, 학습이 완료되면 학습 영상, 학습한 문장 및 학습 피드백 정보를 포함하는 학습 정보를 학습자와 매칭하여 저장하고, 상기 학습 정보를 학습자 단말기에 전달할 수 있다.
또한, 본 발명의 실시 예에 따른 화상 학습 시스템을 이용한 화상 학습 방법에 있어서, 학습자에 의해 발화된 음성을 인식하는 단계, 키워드를 설정하고, 수신된 학습자의 음성을 분석하여 키워드와의 매칭되는 음성을 인식할 경우에 인식된 키워드 이후의 학습자의 음성을 텍스트 형태로 변환하는 단계, 자연어처리(Natural Language Processing, NLP) 모듈 및 자연 언어 이해 (Natural　Language　Understanding, NLU)을 이용하여 변환된 텍스트로부터 학습자의 의도를 분석하고, 분석된 결과에 따라 학습자의 음성을 명령으로 인식하는 단계, 그리고 상기 학습자의 음성 명령에 따라 대응되는 원어민 강사를 추출하고, 추출된 원어민 강사에 대한 정보를 학습자 단말기에 제공하며, 상기 학습자 단말기로부터 특정 원어민 강사에 대한 연결 요청신호를 수신하면, 강사 단말기에 수업 요청 신호를 전송하여 강사와 학습자를 연결시키는 단계를 포함한다.
이와 같이 본 발명에 따르면, 화면이 있는 AI 스피커를 통한 강사와의 온디맨드 1:1 화상 영어 학습 기술에 적용하는 것으로, 학습자의 어학학습 음성명령을 인식해 학습자의 특성에 맞는 원어민 강사를 연결시켜주며, 기존 어학 앱과 달리, AI 기반의 음성 명령을 통해 학습자가 원하는 시간에 원어민 강사를 화상으로 연결해 학습할 수 있게 해줌으로써, 집이라는 공간에서의 어학 학습효율을 극대화할 수 있다.
도 1은 본 발명의 실시예에 따른 화상 학습 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 매칭 서버를 설명하기 위한 블록구성도이다.
도 3은 본 발명의 실시예에 따른 화상 학습 시스템을 이용한 학습자와 강사의 매칭하여 학습하는 방법을 설명하기 위한 순서도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서는 본 발명의 실시예에 따른 화상 학습 시스템에 대해 더욱 구체적으로 설명한다.
도 1은 본 발명의 실시예에 따른 화상 학습 시스템을 설명하기 위한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 화상 학습 시스템은 매칭 서버(100), 학습자 단말기(200) 및 원어민 강사 단말기(300)를 포함한다.
먼저, 매칭 서버(100)는 학습자 단말기(200)로부터 수신된 학습자의 음성 신호를 분석하고, 분석 결과에 따라 학습자의 음성을 명령으로 인식한다. 그리고 매칭 서버(100)는 학습자의 음성명령에 따라 원어민 강사를 매칭할 경우, 매칭 가능한 원어민 강사 정보를 추출하고, 추출된 원어민 강사 정보를 학습자 단말기에 전달한다. 그 다음, 학습자 단말기(200)로부터 연결 요청 신호를 수신하면, 매칭 서버(100)는 수신된 연결 요청 신호에 따라 학습자와 원어민 강사를 매칭시킨다.
본 발명의 실시예에 따르면, 학습자는 단말기(200)를 매칭 서버(100)에서 제공하는 어학 학습이 가능한 앱 또는 웹페이지 접속한 상태에서 발화하고, 학습자로부터 발화된 음성을 인식한 학습자 단말기(200)는 학습자의 음성 신호를 매칭 서버(100)에 전달한다.
그러면, 매칭 서버(100)는 전달받은 음성 신호를 통해 학습자의 의도를 판단한다. 이때, 학습자의 의도가 원어민 강사 매칭 요청으로 판단되면, 매칭 서버(100)는 발화한 학습자의 학습 정보를 이용하여 매칭 가능한 원어민 강사 정보를 추출한다. 그리고, 매칭 서버(100)는 추출된 원어민 강사 정보를 학습자 단말기(200)에 전달하여 학습자 단말기(200)로부터 연결 요청 신호를 수신하면, 해당 되는 학습자 단말기(200)에 수업 진행 요청 신호를 전달하여 학습자 단말기(200)와 원어민 강사 단말기(300)를 연결하여 학습을 수행하게 하도록 한다
본 발명의 실시예에서 학습자 단말기(200) 및 원어민 강사 단말기(300)는 통신망을 통해 네트워크에 접속 가능한 공지된 다양한 수단일 수 있다. 예를 들어 스마트 폰, 스마트 패드, 각종 모바일 기기, 노트북 등이 이에 해당될 수 있다. 여기서, 학습자 단말기(200) 및 원어민 강사 단말기(300)에 대한 모바일 앱의 제공 정보 및 관리 권한은 사용자 속성에 따라 달리 주어지므로 모바일 앱의 구동 화면 역시 차별화된 형태로 제공되는 것은 자명하다.
학습자 단말기(200) 및 원어민 강사 단말기(300)는 실질적으로 동일한 기능을 수행하는 단말기로서, 본 발명의 실시예에서는 설명의 편의상 단말기를 사용하는 주체에 따라 각각 다른 명칭으로 구별하기로 한다.
도 2는 도 1에 도시된 매칭 서버를 설명하기 위한 블록구성도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 매칭 서버(100)는 음성 인식부(110), 음성-텍스트 변환부(120), 음성명령인식부(130), 강사 정보 수집부(140) 및 제어부(150)를 포함한다.
먼저, 음성 인식부(110)는 학습자 단말기(200)로부터 발화된 음성 신호를 수신한다.
그 다음, 음성-텍스트 변환부(120)는 수신된 음성 신호를 분석한다. 부연하자면, 음성-텍스트 변환부(120)는 수신된 음성 신호와 기 설정된 키워드를 매칭하고, 매칭되는 음성 신호가 존재하면 해당 음성 신호를 텍스트 형태로 변환한다.
음성명령인식부(130)는 변환된 텍스트를 이용하여 학습자의 의도를 분석하고, 분석 결과에 따라 변환된 텍스트를 음성명령으로 인식한다.
그리고, 강사 정보 수집부(140)는 원어민 강사 단말기(300)로부터 전달받은 원어민 강사명, 수업 가능 시간, 강사 평가 정보를 포함하는 강사 정보를 수집한다.
마지막으로 제어부(150)는 판단된 학습자의 의도가 강사 연결 요청 신호일 경우, 학습자에 대한 학습 정보를 이용하여 학습자에 대응되며 현재 시점에서 학습 가능한 원어민 강사를 추출한다. 그리고 제어부(150)는 추출된 원어민 강에 대한 정보를 학습자 단말기(200)에 제공하고, 학습자 단말기(200)로부터 연결 요청 신호를 수신하면, 강사 단말기에 수업 요청 신호를 전송하여 강사와 학습자를 연결시킨다.
본 발명의 실시예에 따른 화상 학습 시스템은 학습 계획에 따른 스케줄을 제공하지 않고 학습자가 원하는 시간에 어학 학습을 제공하는 것으로서, 학습자가 발화한 음성을 이용하여 어학 학습 진행 명령을 할 경우, 화상 학습 시스템은 현재 시점에서 수업 가능한 원어민 강사를 추출하고, 추출된 원어민 강사와 학습자를 매칭시켜 어학 수업을 진행하게 한다.
이하에서는 도 3은 이용하여 본 발명의 실시예에 따른 화상 학습 시스템을 이용한 학습자와 강사의 매칭하여 학습하는 방법에 대해 더욱 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 화상 학습 시스템을 이용한 학습자와 강사의 매칭하여 학습하는 방법을 설명하기 위한 순서도이다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따르면, 매칭 서버(100)는 학습자 단말기(200)로부터 음성 신호를 수신한다(S310).
부연하자면, 학습자는 단말기(200)를 이용하여 학습을 수행할 수 있는 앱 또는 웹페이지에 접속하고, 앱 또는 웹페이지를 실행시킨 상태에서 발화한다. 그러면, 학습자 단말기(200)는 획득한 음성 신호를 매칭 서버(100)에 전달한다.
학습자의 음성 신호를 수신한 음성 인식부(110)는 음성 신호를 전처리하고, 음성 신호의 주파수 대역을 이용하여 등록된 학습자인지 여부를 판단한다.
등록된 학습자이면, 음성 인식부(110)는 수신된 음성신호를 음성-텍스트 변환부(120)에 전달한다.
음성-텍스트 변환부(120)는 수신된 음성 신호와 기 저장된 키워드를 매칭시켜 동일한 음성이 포함되어 있는지 여부를 판단한다(S320)
예를 들어, "하이"라는 단어를 키워드로 설정하였다고 가정한다. 그리고 학습자가 "하이 제시카"라고 발화하였다면, 음성-텍스트 변환부(120)는 "하이 제시카"라는 음성과 "하이"를 매칭하여 동일한 음성이 포함되어 있는지 여부를 판단한다.
그 다음, 음성-텍스트 변환부(120)는 키워드 이후의 음성 신호를 텍스트 형태로 변환하고, 변환된 텍스트를 이용하여 학습자의 의도를 분석한다(S330).
부연하자면, 음성-텍스트 변환부(120)는 키워드와 동일한"하이"라는 음성 이후에 생성된 음성 신호를 텍스트 형태로 변환한다. 그리고, 동작 수행부(130)는 자연어처리(Natural Language Processing, NLP) 모듈 및 자연 언어 이해 (Natural　Language　Understanding, NLU)을 이용하여 변환된 텍스트의 어휘, 어순 등을 분석하여 학습자의 의도를 분석한다.
그리고 분석한 결과 원어민 강사와의 연결을 요청하는 것일 경우, 매칭 서버(100)는 학습자의 성향에 따라 온멘디드 형식으로 학습자와 원어민 강사를 연결하기 위하여 학습자의 학습 내역 및 선호 강사 유형에 대한 학습자 정보를 추출하고, 추출된 학습자 정보와 매칭되는 원어민 강사를 추출한다(S340).
자세히는, 제어부(150)는 강사 정보 수집부(160)로부터 연결 가능한 유휴 원어민 강사 정보를 획득한다. 그리고 제어부(150)는 복수의 유휴 원어민 강사 중에서 학습자 정보와 매칭되는 원어민 강사를 추출하고, 추출된 원어민 강사에 대한 정보는 학습자 단말기(200)에 전달된다.
S340단계를 완료하면, 학습자는 단말기(200)를 통해 전달받은 원어민 강사에 대한 정보를 확인하고, 그 중에서 특정한 원어민 강사를 선택한다. 학습자 단말기(200)는 선택된 원어민 강사에 대해 연결 요청신호를 매칭 서버(100)에 전달한다.
그러면, 제어부(150)는 해당 강사 단말기(300)에 수업 요청 신호을 송신하고 그에 대한 응답신호를 수신한다. 그러면, 매칭 서버(100)는 학습자와 원어민 강사가 매칭된 것으로 판단하여 매칭 완료 신호와 함께 온라인 어학 학습을 제공한다(S350).
학습이 완료되면 제어부(170)는 학습 영상, 학습한 문장 및 학습 피드백 정보를 포함하는 학습 정보를 학습자와 매칭하여 저장하고, 학습 정보를 학습자 단말기(200)에 전달한다.
본 발명의 실시예에 따른 화상 학습 시스템은 학습자가 현재 시점에서 음성을 이용하여 학습 요청을 수행하고, 학습 요청에 따라 매칭 가능한 강사 정보를 제공하여 어학 학습을 수행하는 방법에 대해 설명하였다.
한편, 학습자가 원하는 시간대에 특정 강사와 어학 학습을 수행하고자 할 경우, 화상 학습 시스템은 특정된 강사 단말기에 학습 시간 정보를 제공하여 가능여부를 수신한다. 그리고 해당되는 시간에 수업 가능하면, 화상 학습 시스템은 해당되는 시간대에 어학 학습을 제공한다.
즉, 본 발명의 실시예에 따른 화상 학습 시스템은 학습자 중심으로 특정 시간, 특정 강사를 선택하여 어학 학습을 수행할 수 있다는 데 특징을 가진다.
이와 같이 본 발명에 따른 화상 학습 시스템은 화면이 있는 AI 스피커를 통한 강사와의 온디맨드 1:1 화상 영어 학습 기술에 적용하는 것으로, 학습자의 어학학습 음성명령을 인식해 학습자의 특성에 맞는 원어민 강사를 연결시켜주며, 기존 어학 앱과 달리, AI 기반의 음성 명령을 통해 학습자가 원하는 시간에 원어민 강사를 화상으로 연결해 학습할 수 있게 해줌으로써, 집이라는 공간에서의 어학 학습효율을 극대화할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 매칭 서버
110 : 음성 인식부
120 : 음성-텍스트 변환부
130 : 음성명령인식부
140 : 강사 정보 수집부
150 : 제어부
200 : 학습자 단말기
300 : 원어민 강사 단말기

Claims (10)

  1. 학습자의 음성 명령을 인식하는 화상 학습 시스템에 있어서,
    학습자에 의해 발화된 음성을 인식하는 음성 인식부,
    키워드를 설정하고, 수신된 학습자의 음성을 분석하여 키워드와의 매칭되는 음성을 인식할 경우에 인식된 키워드 이후의 학습자의 음성을 텍스트 형태로 변환하는 음성-텍스트 변환부,
    자연어처리(Natural Language Processing, NLP) 모듈 및 자연 언어 이해 (Natural　Language　Understanding, NLU)을 이용하여 변환된 텍스트로부터 학습자의 의도를 분석하고, 분석된 결과에 따라 학습자의 음성을 명령으로 인식하는 음성명령인식부, 그리고
    상기 학습자의 음성 명령에 따라 대응되는 원어민 강사를 추출하고, 추출된 원어민 강사에 대한 정보를 학습자 단말기에 제공하며, 상기 학습자 단말기로부터 특정 원어민 강사에 대한 연결 요청 신호를 수신하면, 원어민 강사 단말기에 수업 요청 신호를 전송하여 강사와 학습자를 연결시키는 제어부를 포함하는 화상 학습 시스템.
  2. 제1항에 있어서,
    상기 제어부는,
    식별하고자 하는 학습자의 음성에서 변환된 텍스트가 강사 연결 요청 의도일 경우, 식별된 학습자의 학습 내역 및 선호 강사 유형에 대한 정보를 추출하는 화상 학습 시스템.
  3. 제1항에 있어서,
    원어민 강사명, 수업 가능 시간, 강사 평가 정보를 포함하는 강사 정보를 수집하는 강사 정보 수집부를 더 포함하는 화상 학습 시스템.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 강사 정보를 이용하여 매칭 가능한 원어민 강사를 추출하고, 추출된 원어민 강사와의 매칭될 경우, WebRTC 기반의 저지연 화상 학습으로 어학 학습을 수행하게 하는 화상 학습 시스템.
  5. 제4항에 있어서,
    상기 제어부는,
    학습이 완료되면 학습 영상, 학습한 문장 및 학습 피드백 정보를 포함하는 학습 정보를 학습자와 매칭하여 저장하고, 상기 학습 정보를 학습자 단말기에 전달하는 화상 학습 시스템.
  6. 화상 학습 시스템을 이용한 화상 학습 방법에 있어서,
    학습자에 의해 발화된 음성을 인식하는 단계,
    키워드를 설정하고, 수신된 학습자의 음성을 분석하여 키워드와의 매칭되는 음성을 인식할 경우에 인식된 키워드 이후의 학습자의 음성을 텍스트 형태로 변환하는 단계,
    자연어처리(Natural Language Processing, NLP) 모듈 및 자연 언어 이해 (Natural　Language　Understanding, NLU)을 이용하여 변환된 텍스트로부터 학습자의 의도를 분석하고, 분석된 결과에 따라 학습자의 음성을 명령으로 인식하는 단계, 그리고
    상기 학습자의 음성 명령에 따라 대응되는 원어민 강사를 추출하고, 추출된 원어민 강사에 대한 정보를 학습자 단말기에 제공하며, 상기 학습자 단말기로부터 특정 원어민 강사에 대한 연결 요청 신호를 수신하면, 강사 단말기에 수업 요청 신호를 전송하여 강사와 학습자를 연결시키는 단계를 포함하는 화상 학습 방법.
  7. 제6항에 있어서,
    상기 강사와 학습자를 연결시키는 단계는,
    식별하고자 하는 학습자의 음성에서 변환된 텍스트가 강사 연결 요청 의도일 경우, 식별된 학습자의 학습 내역 및 선호 강사 유형에 대한 정보를 추출하는 화상 학습 방법.
  8. 제6항에 있어서,
    원어민 강사명, 수업 가능 시간, 강사 평가 정보를 포함하는 강사 정보를 수집하는 강사 정보 수집부를 더 포함하는 화상 학습 방법.
  9. 제8항에 있어서,
    상기 강사와 학습자를 연결시키는 단계는,
    상기 강사 정보를 이용하여 매칭 가능한 원어민 강사를 추출하고, 추출된 원어민 강사와의 매칭될 경우, WebRTC 기반의 저지연 화상 학습으로 어학 학습을 수행하게 하는 화상 학습 방법.
  10. 제9항에 있어서,
    상기 강사와 학습자를 연결시키는 단계는,
    학습이 완료되면 학습 영상, 학습한 문장 및 학습 피드백 정보를 포함하는 학습 정보를 학습자와 매칭하여 저장하고, 상기 학습 정보를 학습자 단말기에 전달하는 화상 학습 방법.
KR1020210046638A 2021-04-09 2021-04-09 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법 KR102687849B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210046638A KR102687849B1 (ko) 2021-04-09 2021-04-09 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210046638A KR102687849B1 (ko) 2021-04-09 2021-04-09 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220140304A true KR20220140304A (ko) 2022-10-18
KR102687849B1 KR102687849B1 (ko) 2024-07-24

Family

ID=83803773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210046638A KR102687849B1 (ko) 2021-04-09 2021-04-09 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102687849B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102639379B1 (ko) * 2023-09-11 2024-02-23 주식회사 릴리즈 인공지능 모델 기반 사용자 맞춤형 골프 프로 매칭 플랫폼 서비스 제공 방법, 장치 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090131716A (ko) * 2008-06-19 2009-12-30 권오중 인터넷을 이용한 수준별 다자간 그룹 외국어 회화 학습방법 및 그 시스템
KR101773752B1 (ko) * 2016-04-05 2017-08-31 김현수 프로그래밍 화상 교육을 위한 웹 기반 플랫폼 시스템 및 그 제어방법
KR20180011035A (ko) * 2017-10-11 2018-01-31 천혜진 학습자 적응형 외국어 학습 방법 및 이를 실행하는 장치
KR20200063346A (ko) * 2018-11-22 2020-06-05 삼성전자주식회사 발화의 음성 데이터를 처리하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090131716A (ko) * 2008-06-19 2009-12-30 권오중 인터넷을 이용한 수준별 다자간 그룹 외국어 회화 학습방법 및 그 시스템
KR101773752B1 (ko) * 2016-04-05 2017-08-31 김현수 프로그래밍 화상 교육을 위한 웹 기반 플랫폼 시스템 및 그 제어방법
KR20180011035A (ko) * 2017-10-11 2018-01-31 천혜진 학습자 적응형 외국어 학습 방법 및 이를 실행하는 장치
KR20200063346A (ko) * 2018-11-22 2020-06-05 삼성전자주식회사 발화의 음성 데이터를 처리하는 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102639379B1 (ko) * 2023-09-11 2024-02-23 주식회사 릴리즈 인공지능 모델 기반 사용자 맞춤형 골프 프로 매칭 플랫폼 서비스 제공 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR102687849B1 (ko) 2024-07-24

Similar Documents

Publication Publication Date Title
US9430467B2 (en) Mobile speech-to-speech interpretation system
JP5405672B2 (ja) 外国語学習装置及び対話システム
US11494161B2 (en) Coding system and coding method using voice recognition
JP2017058673A (ja) 対話処理装置及び方法と知能型対話処理システム
KR20090090613A (ko) 멀티모달 대화형 이미지 관리 시스템 및 방법
JP6625772B2 (ja) 検索方法及びそれを用いた電子機器
KR20120038686A (ko) 단말기의 어학 어플리케이션을 통한 학습 평가 방법 및 시스템
CN111916088A (zh) 一种语音语料的生成方法、设备及计算机可读存储介质
CN117809641A (zh) 一种终端设备及基于查询文本改写的语音交互方法
JP6689953B2 (ja) 通訳サービスシステム、通訳サービス方法及び通訳サービスプログラム
CN111554280A (zh) 对利用人工智能的翻译内容和口译专家的口译内容进行混合的实时口译服务系统
CN111144138A (zh) 一种同声传译方法及装置、存储介质
KR102687849B1 (ko) 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법
CN112712806A (zh) 一种视障人群辅助阅读方法、装置、移动终端及存储介质
KR102684930B1 (ko) 인공지능을 통해 학습자 식별이 가능한 화상 학습 시스템 및 그 방법
US11790913B2 (en) Information providing method, apparatus, and storage medium, that transmit related information to a remote terminal based on identification information received from the remote terminal
JP2022105982A (ja) 話者分離基盤の自動通訳方法、話者分離基盤の自動通訳サービスを提供するユーザ端末、及び、話者分離基盤の自動通訳サービス提供システム
CN113973095A (zh) 发音教学方法
CN114179083B (zh) 一种引领机器人语音信息的生成方法、装置和引领机器人
CN108630201B (zh) 一种用于建立设备关联的方法和装置
Hughes et al. Voice Interaction for Accessible Immersive Video Players.
KR20220060098A (ko) 두 나라의 언어를 사용하는 대화를 통한 언어학습 시스템 및 방법
KR20240042964A (ko) 음성 명령의 키워드 분석을 통한 관련 영상데이터 선정 및 송출방법
KR101672300B1 (ko) 언어 학습을 위한 채팅 방법 및 채팅 시스템
KR20220116859A (ko) 시각장애인을 위한 음성 챗봇 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right