KR101964608B1 - 영상 및 모션 센싱 정보를 이용한 단어 및 문장 학습 서비스 제공 방법 및 장치 - Google Patents

영상 및 모션 센싱 정보를 이용한 단어 및 문장 학습 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
KR101964608B1
KR101964608B1 KR1020170141353A KR20170141353A KR101964608B1 KR 101964608 B1 KR101964608 B1 KR 101964608B1 KR 1020170141353 A KR1020170141353 A KR 1020170141353A KR 20170141353 A KR20170141353 A KR 20170141353A KR 101964608 B1 KR101964608 B1 KR 101964608B1
Authority
KR
South Korea
Prior art keywords
sentence
word
learning
learned
displayed
Prior art date
Application number
KR1020170141353A
Other languages
English (en)
Inventor
이범준
Original Assignee
이범준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이범준 filed Critical 이범준
Priority to KR1020170141353A priority Critical patent/KR101964608B1/ko
Application granted granted Critical
Publication of KR101964608B1 publication Critical patent/KR101964608B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 일 실시예에 따른, 사용자 단말에서 수행되는 단어 및 문장 학습 서비스 제공 방법에 있어서, (a) 학습 대상 단어 및 문장의 철자를 표시하는 단계; (b) 학습 대상 단어 및 문장에 대응되는 원어민 발음 영상을 표시하는 단계; (c) 사용자로부터 입력된 음성 신호로부터 텍스트를 검출하고, 텍스트 및 학습 대상 단어 및 문장을 비교하는 단계; (d) 사용자 단말의 모션 센서 정보를 획득하고, 모션 센서 정보에 기초하여 학습 대상 단어 및 문장에 대응되는 동영상 프레임의 전체 영역 중 일부 영역을 표시하는 단계; (e) 표시되는 일부 영역 내에 학습 대상 단어 및 문장에 대응되는 포인트가 포함된 것으로 판단된 경우, 포인트에 아이콘을 표시하는 단계; 및 (f) 학습 대상 단어 및 문장의 의미를 제공하는 단계;를 포함한다.

Description

영상 및 모션 센싱 정보를 이용한 단어 및 문장 학습 서비스 제공 방법 및 장치 {METHOD AND APPARATUS FOR PROVIDING WORD AND SENTENCE LEARNING SERVICE USING VIDEO AND MOTION SENSING INFORMATION}
본 발명은 영상 및 모션 센싱 정보를 이용한 단어 및 문장 학습 서비스 제공 방법 및 장치에 관한 것이며, 이중부호화 이론을 바탕으로 VR기기와 모션센서를 이용하여, 사용자의 언어 학습 효과를 높이기 위한 기술에 관한 것이다.
언어 학습에 있어서 단어 및 문장의 암기는 필수적인 조건으로 수반되어야 하는데 종래의 학습방식은 영어단어 및 문장과 한글의미를 매칭하여 제공함으로써 단순한 사용자가 기본적으로 보유한 암기력을 기반으로 학습을 진행해야 한다는 한계가 있었다.
또한, 단순 영상이나 음성에서 들리는 영어 문장을 따라서 읽기만 하는 쉐도우 스피킹(Shadow speaking)학습법은 학습자의 집중력을 높이는 것에는 큰 도움이 되지 못하는 단점이 존재한다.
최근 언어 학습에 있어서, 이중 부호화 이론(Dual coding theory)을 적용한 학습 방법이 늘고 있는 추세이다. 이중 부호화 이론이란 항목을 시각 부호와 어문 부호로 표상하면 기억이 형상된다는 이론으로, 한 항목을 표상하는 두 개의 기억 부호를 가지면 하나의 기억부호를 갖는 것보다 그 항목을 기억할 확률이 증가한다는 것이다.
따라서 휴대용 단말의 모션 센서 및 VR 기술의 발전에 따라 이중 부호화 이론을 효과적으로 적용한 다양한 학습 방법이 주목을 받고 있다.
한국등록특허 제 10-0968795호 (명칭: 그림을 이용하여 어휘를 암기하는 영어 학습 장치 및 시스템)
상기 상술한 문제점을 해결하기 위한, 본 발명의 목적은 종래의 언어 학습법인 아날로그 음성데이터를 디지털화 하여, 단순히 일치여부를 판단하는 쉐도우 스피킹(Shadow speaking)학습법에서 벗어나, 이중부호화 이론(Dual coding theory)을 바탕으로 단어 및 문장과 그것을 연상시키는 영상을 이용하여 사용자의 영어 학습 효과를 증진시키는 것을 목적으로 한다.
상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른, 사용자 단말에서 수행되는 단어 및 문장 학습 서비스 제공 방법에 있어서, (a) 학습 대상 단어 및 문장의 철자를 표시하는 단계; (b) 학습 대상 단어 및 문장에 대응되는 원어민 발음 영상을 표시하는 단계; (c) 사용자로부터 입력된 음성 신호로부터 텍스트를 검출하고, 텍스트 및 학습 대상 단어 및 문장을 비교하는 단계; (d) 사용자 단말의 모션 센서 정보를 획득하고, 모션 센서 정보에 기초하여 학습 대상 단어 및 문장에 대응되는 동영상 프레임의 전체 영역 중 일부 영역을 표시하는 단계; (e) 표시되는 일부 영역 내에 학습 대상 단어 및 문장에 대응되는 포인트가 포함된 것으로 판단된 경우, 포인트에 아이콘을 표시하는 단계; 및 (f) 학습 대상 단어 및 문장의 의미를 제공하는 단계;를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른, 단어 및 문장 학습 서비스 제공 장치에 있어서, 단어 및 문장 학습 서비스 제공 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 프로그램을 실행하기 위한 프로세서;를 포함하며, 프로세서는 프로그램의 실행에 의해, 디스플레이에 학습 대상 단어 및 문장의 철자를 표시하고, 학습 대상 단어 및 문장에 대응하는 원어민 발음 영상을 표시하고, 사용자로부터 수신한 음성 신호로부터 텍스트를 검출 후 상기 학습 대상 단어 및 문장을 비교하고, 사용자 단말의 모션 센서 정보에 기초하여 상기 학습 대상 단어 및 문장에 대응하는 동영상 프레임의 전체 영역 중 일부 영역을 표시하고, 학습 대상 단어 및 문장에 대응되는 동영상 영역에 맞추면, 음성인식 표식을 표시하고, 학습 대상 단어 및 문장의 의미를 제공하는, 단어 및 문장 학습 서비스 제공 장치를 포함할 수 있다.
본 발명의 일 실시예에 따른, 이중부호화 이론을 바탕으로 한 영어 단어 및 문장과 한글 의미를 연상시키는 영상을 이용하여 사용자의 영어 학습효과를 증진시키는 영상을 이용하여 사용자의 영어 학습을 증진시킬 수 있다.
또한, 본 발명에 따르면 사용자가 학습하는 영어 단어 및 문장과 영상을 매칭함으로써 사용자가 실제로 영어 단어 및 문장을 체감할 수 있게 하여 영어 학습 효과를 증진 시키는 효과를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 단어 및 문장 학습 서비스 제공 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 단어 및 문장 학습 서비스가 진행되는 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른, 학습 대상 단어 및 문장을 디스플레이 영역에 표시하는 모습을 나타낸 예시도이다.
도 4은 본 발명의 일 실시예에 따른, 학습 대상 단어 및 문장의 발음 영상을 디스플레이 영역에 나타낸 예시도이다.
도 5은 본 발명의 일 실시예에 따른, 학습 대상 단어 및 문장에 대응하는 동영상 프레임의 동작 방식을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른, 학습 대상 단어 및 문장의 사전적인 정의를 디스플레이 영역에 나타낸 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
도 1은 본 발명의 일 실시예에 따른, 단어 및 문장 학습 서비스 제공 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 단어 및 문장 학습 서비스 제공 장치의 구성은 프로세서(110), 메모리(120), 데이터베이스(130), 디스플레이 모듈(140), 음성 인식 모듈(150), 모션 센서 인식 모듈(160)을 포함할 수 있다.
프로세서(110)는 단어 및 문장 학습 서비스를 제공하기 위한 일종의 중앙처리장치로서 발명의 전체 과정을 제어한다.
여기서, 프로세서(110)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
또한, 단어 및 문장 학습 서비스를 제공하기 위한 프로그램은 메모리(120)에 기록되는데, 프로세서(110)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서 메모리(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터 베이스(130)는 단어 및 문장 학습 서비스를 제공하기 위해 필요한 데이터들이 저장되어 있다. 예컨대 학습 대상의 단어 및/또는 문장들과 그와 대응하는 학습에 사용되는 동영상들이 포함될 수 있다.
단어 및 문장 학습 서비스를 제공하기 위한 프로그램 및 데이터는 장치 자체에 내장된 어플리케이션이거나, 어플리케이션 배포 서버로부터 다운로드되어 각각의 장치에 설치된 어플리케이션일 수 있다. 하지만, 프로그램이 설치되는 경로가 본 발명을 제한하지는 않는다.
또한, 단어 및 문장 학습 서비스를 제공하는 장치는 핸드헬드 컴퓨팅 디바이스(예를 들면, PDA, 이메일 클라이언트 등), 핸드폰의 임의의 형태, 또는 다른 종류의 컴퓨팅 또는 커뮤니케이션 플랫폼의 임의의 형태를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니며, 상술한 바와 같이 어플리케이션을 탑재할 수 있는 단말에 대해서 제한 없이 차용될 수 있다.
디스플레이 모듈(140)은 단어 및 문장 학습 서비스를 제공하기 위한 어플리케이션의 실행화면을 표시하고, 학습에 필요한 인터페이스 및 이미지, 영상이 제공될 수 있다.
음성 인식 모듈(150)과 모션 센서 인식 모듈(160) 모두 사용자로부터 조작정보를 수신하는 역할을 수행할 수 있다.
먼저 음성 인식 모듈(150)은 사용자의 음성 신호를 수신하고, 이를 데이터화 하는 역할을 수행하며, 모션 센서 인식 모듈(160)은 사용자가 모션 인식 장치를 통해 입력하는 모든 정보를 데이터화 하는 역할을 수행할 수 있다. 이때 본 발명에 적용될 수 있는 모션 센서 종류는 예컨대 가속도 센서, 자이로 센서, IR 센서 등이 될 수 있다.
도 2는 본 발명의 일 실시예에 따른, 단어 및 문장 학습 서비스가 진행되는 방법을 나타낸 흐름도이다.
도 2를 살펴보면, 먼저 사용자가 학습을 수행하는 학습 대상 단어 및/또는 문장의 철자를 디스플레이에 표시하는 단계를 가진다(S201).
사용자가 학습에 필요한 단어 및/또는 문장을 디스플레이 모듈(140)을 통해 표시하는데, 이때 단어 및/또는 문장을 표현하기 위한 크기나 글꼴과 같은 형태나 화면 배치 등은 본 발명의 범위를 제한하지 않는다. 하지만, 디스플레이 모듈(140)의 종류와 장치의 종류를 고려하여, 사용자의 학습에 최적화된 학습 대상 단어 및/또는 문장의 형태와 배치를 진행할 수 있다.
다음은 학습 대상 단어 및/또는 문장의 원어민 발음을 확인할 수 있는 단계를 가진다(S202).
이는 원어민 발음을 오디오로 재생하는 단순 음성 정보뿐만 아니라, 디스플레이 모듈(140)을 통해 원어민이 단어 및/또는 문장을 직접 발음하는 입술 영상이 함께 제공될 수 있다.
영상으로 제공되는 입술의 위치나 크기는 디스플레이 모듈(140) 내에서 자유롭게 제공될 수 있으나, 단계(S201)와 마찬가지로 사용자의 학습에 최적화된 형태와 배치를 사용할 수 있다.
다음은 사용자가 학습 대상 단어 및/또는 문장을 발음하고, 이를 장치가 수신하는 단계를 가진다(S203).
이전 단계(S202)에서 확인한 학습 대상 단어 및/또는 문장의 음성과 입술모양을 사용자가 따라 하면서, 장치에 입력할 수 있다.
다음은 사용자에게서 수신한 음성 신호를 학습 대상 단어 및/또는 문장의 발음과 비교하여 일치 여부를 판단하는 단계를 가진다(S204).
이전 단계를 통해 사용자에게서 수신한 음성 신호는 텍스트 정보와 음성 크기 정보로 추출되고, 기 설정된 학습 대상 단어 및/또는 문장의 텍스트 정보와 음성 크기 정보와 비교하여 허용 범위 내에서 일치한다면 다음 단계로 진행하며, 그렇지 않으면 단계(S202)부터 해당 단계까지를 반복하게 된다.
단계(S204)를 효과적으로 마친다면 맞음 카운트를 증가시키게 되며, 기 설정된 맞음 카운트의 조건을 충족시킬 때까지 해당 단계를 반복한다. 실시예에 따른 본 도면에서는 5회의 맞음 카운트가 누적된다면, 다음 단계를 그렇지 않으면 단계(S202)를 반복하게 된다(S205).
성공적으로 단계(S205)를 마친다면, 디스플레이 모듈은 학습 대상 단어 및/또는 문장과 관련된 영상을 재생한다(S206).
이 때 재생되는 영상은 앞의 단계(S202)에서 재생하는 영상과는 다른 종류의 영상으로, 사용자가 영상만으로 학습 대상 단어 및/또는 문장의 뜻을 유추할 수 있어야 한다.
여기서 사용자가 보는 영상은 전체 영상 중 일부 영역만 볼 수 있어야 한다.
다음 단계로 시스템은 사용자가 VR기기, 혹은 모션 센서 입력장치를 통해 입력하는 정보를 수신하고, 이에 대응하여 단계(S206)에서 재생 중인 영상 영역을 이동시켜 다른 영역을 재생하게 한다(S207).
해당 과정에서 적용되는 센서는 가속도 센서, 자이로 센서, IR센서 등이 될 수 있으나, 적용 가능한 모션 센서의 종류는 재생을 수행하는 단말의 기종에 따라 달라질 수 있기에, 적용될 수 있는 센서의 숫자가 본 발명을 제한하지는 않는다.
단계(S207)에서 사용자가 학습 대상 단어 및/또는 문장과 관련성이 높은 영상의 영역에 화면을 매칭한다면, 디스플레이 모듈에는 사용자의 음성 수신을 요구하는 인디케이터가 표시되고, 다시 한번 학습 대상 단어 및/또는 문장에 대한 사용자의 음성 신호를 수신한다(S208).
이를 자세히 설명하면, 사용자가 VR기기나 모션 센서 인식장치를 동작하면, 지속적으로 센서값이 변하게 되고 그에 맞춰 디스플레이 되는 동영상의 영역이 달라지게 된다. 이때 디스플레이되는 영상의 영역이 기 설정된 임계치 범위 내에 위치하게 된다면, 음성 인식 인디케이터가 발동하게 되는 것이다. 또한 실시예로 사용자가 현재 보는 영상의 전체 영역을 한번 디스플레이 하여 재생할 수 있다.
즉, 사용자가 동영상 내에서 해당 단어 및/또는 문장에 매칭되는 타겟 영상 부분을 직접 찾게 할 수 있으며, 이 과정을 통해 사용자는 동영상 내의 상황이나 등장캐릭터에 대해 자연스럽게 잘 이해할 수 있게 되고, 이는 사용자의 해당 단어 및 문장에 대한 인지도, 기억력, 의미파악을 향상시킬 수 있다.
사용자의 음성을 수신하는 인디케이터가 표시된다면, 단계(S203)와 마찬가지로 음성 신호를 수신하게 된다.
사용자의 음성 수신한다면, 단계(S204)와 같이 이를 학습 대상 단어 및/또는 문장과 발음의 일치 여부를 판단하게 된다(S209).
앞서 서술한 것과 같이 사용자의 음성 신호를 분석 후 학습 대상 단어 및/또는 문장과 일치한다면 다음 단계를, 일치하지 않는다면 단계(S208)를 반복하게 된다.
단계(S209)를 성공적으로 마친다면, 학습 대상단어 및/또는 문장의 사전적인 정의를 디스플레이 모듈을 통해 사용자에게 표시하며 학습을 마친다(S210).
학습 대상 단어 및/또는 문장의 사전적 정의는 앞에서 서술한 단계(S201)와 같이 디스플레이 모듈(140)을 통해 표시하는데, 이때 단어 및/또는 문장을 표현하기 위한 크기나 글꼴과 같은 형태나 화면 배치 등은 본 발명의 범위를 제한하지 않는다. 하지만, 디스플레이 모듈(140)의 종류와 장치의 종류를 고려하여, 사용자의 학습에 최적화된 학습 대상 단어 및/또는 문장의 형태와 배치를 진행할 수 있다.
도 3은 본 발명의 일 실시예에 따른, 학습 대상 단어 및/또는 문장을 디스플레이 영역에 표시하는 모습을 나타낸 예시도이다.
도 3을 살펴보면, 사용자가 VR이나 단말의 디스플레이 영역(300)을 통해 학습 대상 단어 및/또는 문장(301)를 확인하는 과정으로 앞에서 설명한 도 2의 단계(S201)에 대응하는 예시도이다.
학습 대상 단어 및/또는 문장(301) 외 디스플레이 영역(300)은 어떠한 형태나 색상이 사용되어도 무관하다. 하지만, 실시예로 단어 및/또는 문장의 가독성과 학습을 수행하는 사용자의 집중력을 방해하지 않아야 한다.
도 4은 본 발명의 일 실시예에 따른, 학습 대상 단어 및/또는 문장의 발음 영상을 디스플레이 영역에 나타낸 예시도이다.
도 4를 살펴보면, 앞에서 서술한 도 2의 단계(S202)에 대응하는 예시도로, 디스플레이 영역(300)에 원어민의 입술 영상(302)을 재생하는 것이다. 사용자의 이를 영상을 보며 단어 및/또는 문장을 발음함으로써 정확하고 높은 학습 효율을 가지게 된다.
도 5은 본 발명의 일 실시예에 따른, 학습 대상 단어 및/또는 문장에 대응하는 동영상 프레임의 동작 방식을 나타낸 예시도이다.
도 5를 살펴보면 학습 대상 단어 및/또는 문장에 대응하는 동영상의 프레임 영역 중 일부가 디스플레이 영역(300)에 표시되는 것을 뜻한다. 먼저 실시예로 사용자가 해당 단계에 진입하게 되면, 사용자는 (a)의 좌측 예시처럼 영상의 무작위 영역을 보게 된다. 예를 들면 디스플레이 영역(300)이 (a)의 좌측 예시처럼 위치하는 경우 사용자는 예시 (b)를 보는 것과 같은 형태가 된다. 이를 모션 센서 인식 모듈(160)을 이용하여 (a)의 우측 예시처럼 이동시키게 되면 사용자는 (c)와 같은 화면을 볼 수 있게 된다.
여기서 모션 인식 센서의 움직임을 실시예를 들어 자세히 설명하면, 가속도 센서의 x, y, z축의 이동 값이 8bit(-256 ~ 256)로 지정하고, 학습자가 단말기의 현재 위치를 0'(x=-256, y=0, z=0)으로 지정한 후, x축으로 180'로 돌렸을 때 x=0으로 이미지 중 x=0, y=0을 중심점으로 좌우가 보여지게 된다. 또한, 지속적으로 모션 인식 센서의 6축 센서값이 변하고 학습 대상 단어 및 문장에 대응하는 동영상의 일부가 이에 매핑되어 움직이게 된다.
예시 (c)는 사용자가 학습 대상 단어 및/또는 문장과 관련 있는 디스플레이 영역(300)으로 화면을 이동시키면 사용자의 음성 인식을 유도하는 인디케이터가 표시되고 음성 인식 모듈(150)을 통해 사용자의 학습 대상 단어 및/또는 문장의 음성 신호를 수신하게 된다.
도 6은 본 발명의 일 실시예에 따른, 학습 대상 단어 및 문장의 사전적인 정의를 디스플레이 영역에 나타낸 예시도이다.
도 5를 살펴보면, 앞에서 서술한 도 2의 단계(S210)에 대응하는 예시도이며, 디스플레이 영역(300)에 학습 대상 단어 및/또는 문장의 사전적 정의(307)가 표시된다.
학습 대상 단어 및/또는 문장의 사전적 정의(307)도 앞에서 서술한 것과 마찬가지로 단어 및/또는 문장을 표현하기 위한 크기나 글꼴과 같은 형태나 화면 배치 등은 본 발명의 범위를 제한하지 않으며, 디스플레이 영역(300)도 어떠한 형태나 색상이 사용되어도 무관하다. 하지만, 실시예로 단어 및/또는 문장의 가독성과 학습을 수행하는 사용자의 집중력을 방해하지 않아야 한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 프로세서 120: 메모리
130: 데이터베이스 140: 디스플레이 모듈
150: 음성 인식 모듈 160: 모션 센서 인식 모듈

Claims (10)

  1. 사용자 단말에서 수행되는 학습 서비스 제공 방법에 있어서,
    (a) 학습 대상 단어 또는 문장의 철자를 표시하는 단계;
    (b) 상기 학습 대상 단어 또는 문장에 대응되는 원어민 발음 영상을 표시하고 원어민 발음을 상기 사용자 단말의 오디오로 재생하는 단계;
    (c) 사용자로부터 입력된 음성 신호로부터 텍스트를 검출하고, 상기 텍스트 및 상기 학습 대상 단어 또는 문장을 비교하는 단계;
    (d) 상기 (a) 단계에 표시된 학습 대상 단어 또는 문장의 철자에 대응되는 원어민 발음 영상과 상이한 상기 학습 대상 단어 또는 문장에 대응되는 동영상 프레임을 표시하고, 상기 사용자 단말의 모션 센서 정보를 획득하고, 상기 모션 센서 정보에 기초하여 상기 학습 대상 단어 또는 문장에 대응되는 동영상 프레임의 전체 영역 중 일부 영역만을 표시하는 단계;
    (e) 상기 표시되는 일부 영역 내에 상기 학습 대상 단어 또는 문장에 대응되는 포인트가 포함되는 경우, 상기 포인트에 아이콘을 표시하는 단계; 및
    (f) 상기 학습 대상 단어 또는 문장의 의미를 제공하는 단계;
    를 포함하되,
    상기 원어민 발음 영상은 원어민이 단어 또는 문장을 직접 발음하는 입술 영상을 포함하고,
    상기 학습 대상 단어 또는 문장에 대응되는 동영상 프레임의 전체 영역 중 일부 영역은 상기 학습 대상 단어 또는 문장을 연상할 수 있는 영상을 포함하고,
    상기 (d) 단계는
    상기 표시되는 일부 영역은 동영상 프레임의 전체 영역 중 무작위 영역을 나타내되, 상기 모션 센서 정보에 포함된 모션 값의 변화에 기초하여 상기 동영상 프레임의 전체 영역 내에서 상기 표시되는 일부 영역을 이동시켜 상기 학습 대상 단어 또는 문장을 연상할 수 있는 영상을 찾도록 상기 사용자를 유도하고,
    상기 (e) 단계는
    상기 표시되는 일부 영역 내에서 상기 학습 대상 단어 또는 문장을 연상할 수 있는 영상이 기 설정된 임계치 범위 내에 위치하게 되면, 상기 아이콘을 표시하되, 상기 학습 대상 단어 또는 문장에 대응되는 동영상 프레임의 전체 영역을 재생하고,
    상기 아이콘은 음성 인식인디케이터가 발동되는 것을 의미하는 것인, 학습 서비스 제공 방법.
  2. 제 1 항에 있어서,
    상기 원어민 발음 영상은
    상기 학습 대상 단어 또는 문장을 발음하기 위한 원어민의 입술 모양 영상을 포함하는 것인, 학습 서비스 제공 방법.
  3. 제 2 항에 있어서,
    상기 (c) 단계는
    상기 텍스트 및 상기 학습 대상 단어 또는 문장의 유사도가 기설정된 기준 유사도 이상인 경우 맞음 카운트를 증가시키고, 상기 맞음 카운트가 기설정된 기준 맞음 카운트 미만인 경우, 새로운 음성 신호에 대해 상기 비교를 반복하는 것인, 학습 서비스 제공 방법.
  4. 제 3 항에 있어서,
    상기 음성 신호로부터 음성 크기 정보를 획득하고, 상기 텍스트 및 상기 학습 대상 단어 또는 문장의 유사도가 기설정된 기준 유사도 이상이고 상기 음성 크기 정보가 기설정된 기준 음성 크기 범위 내인 경우 상기 맞음 카운트를 증가시키는 것인, 학습 서비스 제공 방법.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 (e) 단계는
    상기 학습 대상 단어 또는 문장에 대응되는 포인트가 표시되는 일부 부분 내에 위치하는 경우 음성 인식 표식을 표시하고, 음성 인식 모듈을 작동시키는 것인, 학습 서비스 제공 방법.
  7. 제 6 항에 있어서,
    상기 (e) 단계는
    (e1) 상기 음성 인식 모듈의 작동에 따라 상기 사용자로부터 추가 음성 신호를 수신하는 단계; 및
    (e2) 상기 추가 음성 신호에서 추가 텍스트를 검출하고, 상기 추가 텍스트 및 상기 학습 대상 단어 또는 문장을 비교하는 단계;
    를 더 포함하는 것인, 학습 서비스 제공 방법.
  8. 제 7 항에 있어서,
    상기 (f) 단계는
    상기 (e2) 단계의 비교 결과, 상기 추가 텍스트 및 상기 학습 대상 단어 또는 문장의 유사도가 기설정된 기준 유사도 이상인 경우에, 상기 학습 대상 단어 또는 문장의 의미를 제공하는 것인, 학습 서비스 제공 방법.
  9. 학습 서비스 제공 장치에 있어서,
    학습 서비스 제공 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
    상기 프로그램을 실행하기 위한 프로세서;를 포함하며,
    상기 프로세서는 상기 프로그램의 실행에 의해,
    디스플레이에 학습 대상 단어 또는 문장의 철자를 표시하고,
    상기 학습 대상 단어 또는 문장에 대응하는 원어민 발음 영상을 표시하고, 원어민 발음을 사용자 단말의 오디오로 재생하고,
    사용자로부터 수신한 음성 신호로부터 텍스트를 검출 후 상기 텍스트 및 상기 학습 대상 단어 또는 문장을 비교하고,
    상기 학습 대상 단어 또는 문장의 철자에 대응되는 원어민 발음 영상과 상이한 상기 학습 대상 단어 또는 문장에 대응되는 동영상 프레임을 표시하고, 상기 단어 또는 문장 학습 서비스 제공 장치인 사용자 단말의 모션 센서 정보에 기초하여 상기 학습 대상 단어 또는 문장에 대응하는 동영상 프레임의 전체 영역 중 일부 영역만을 표시하고,
    상기 표시되는 일부 영역 내에 상기 학습 대상 단어 또는 문장에 대응되는 포인트가 포함되는 경우, 상기 포인트에 음성인식 표식인 아이콘을 표시하고,
    상기 사용자로부터 수신한 추가 음성 신호로부터 추가 텍스트를 검출 후 상기 추가 텍스트 및 상기 학습 대상 단어 또는 문장을 비교하고
    상기 학습 대상 단어 또는 문장의 의미를 제공하되,
    상기 원어민 발음 영상은 원어민이 단어 또는 문장을 직접 발음하는 입술 영상을 포함하고,
    상기 학습 대상 단어 또는 문장에 대응되는 동영상 프레임의 전체 영역 중 일부 영역은 상기 학습 대상 단어 또는 문장을 연상할 수 있는 영상을 포함하고,
    상기 학습 대상 단어 또는 문장에 대응되는 동영상 프레임의 전체 영역 중 일부 영역만을 표시하는 과정에서는 상기 표시되는 일부 영역은 동영상 프레임의 전체 영역 중 무작위 영역을 나타내되, 상기 모션 센서 정보에 포함된 모션 값의 변화에 기초하여 상기 동영상 프레임의 전체 영역 내에서 상기 표시되는 일부 영역을 이동시켜 상기 학습 대상 단어 또는 문장을 연상할 수 있는 영상을 찾도록 상기 사용자를 유도하고,
    상기 포인트에 아이콘을 표시하는 과정에서는 상기 표시되는 일부 영역 내에서 상기 학습 대상 단어 또는 문장을 연상할 수 있는 영상이 기 설정된 임계치 범위 내에 위치하게 되면, 상기 아이콘을 표시하되, 상기 학습 대상 단어 또는 문장에 대응되는 동영상 프레임의 전체 영역을 재생하고,
    상기 아이콘은 음성 인식인디케이터가 발동되는 것을 의미하는 학습 서비스 제공 장치.
  10. 제 1항 내지 제 4 항 및 제 6 항 내지 제 8항 중 어느 한 항에 따른 학습 서비스 제공 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.
KR1020170141353A 2017-10-27 2017-10-27 영상 및 모션 센싱 정보를 이용한 단어 및 문장 학습 서비스 제공 방법 및 장치 KR101964608B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170141353A KR101964608B1 (ko) 2017-10-27 2017-10-27 영상 및 모션 센싱 정보를 이용한 단어 및 문장 학습 서비스 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170141353A KR101964608B1 (ko) 2017-10-27 2017-10-27 영상 및 모션 센싱 정보를 이용한 단어 및 문장 학습 서비스 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101964608B1 true KR101964608B1 (ko) 2019-08-07

Family

ID=67621170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170141353A KR101964608B1 (ko) 2017-10-27 2017-10-27 영상 및 모션 센싱 정보를 이용한 단어 및 문장 학습 서비스 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101964608B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210103794A (ko) 2020-02-14 2021-08-24 (주)비상엠러닝 낱말 학습 지원 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100968795B1 (ko) 2009-08-28 2010-07-21 (주)위버스마인드 그림을 이용하여 어휘를 암기하는 영어 학습 장치 및 시스템
KR100979634B1 (ko) * 2010-06-22 2010-09-01 강호준 요동을 이용한 학습기능을 갖는 모바일기기
KR20140074457A (ko) * 2012-12-09 2014-06-18 주홍찬 의미단위와 이미지 데이터 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법
KR20150055921A (ko) * 2013-11-14 2015-05-22 주식회사 디오텍 동영상 재생 제어 방법 및 장치
KR20160107000A (ko) * 2015-03-03 2016-09-13 헬로챗 주식회사 다국어 학습 서비스 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100968795B1 (ko) 2009-08-28 2010-07-21 (주)위버스마인드 그림을 이용하여 어휘를 암기하는 영어 학습 장치 및 시스템
KR100979634B1 (ko) * 2010-06-22 2010-09-01 강호준 요동을 이용한 학습기능을 갖는 모바일기기
KR20140074457A (ko) * 2012-12-09 2014-06-18 주홍찬 의미단위와 이미지 데이터 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법
KR20150055921A (ko) * 2013-11-14 2015-05-22 주식회사 디오텍 동영상 재생 제어 방법 및 장치
KR20160107000A (ko) * 2015-03-03 2016-09-13 헬로챗 주식회사 다국어 학습 서비스 제공 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210103794A (ko) 2020-02-14 2021-08-24 (주)비상엠러닝 낱말 학습 지원 시스템 및 방법

Similar Documents

Publication Publication Date Title
US8793118B2 (en) Adaptive multimodal communication assist system
CN108563780B (zh) 课程内容推荐方法和装置
EP3701521B1 (en) Voice recognition apparatus and operation method thereof cross-reference to related application
TWI446257B (zh) 使用平行極化語言模型的自動閱讀教導
CN107680585B (zh) 一种中文分词方法、中文分词装置和终端
KR101819458B1 (ko) 음성 인식 장치 및 시스템
US10460731B2 (en) Apparatus, method, and non-transitory computer readable storage medium thereof for generating control instructions based on text
CN108763552B (zh) 一种基于家教机的学习方法及家教机
CN106910503A (zh) 用于智能终端显示用户操控指令的方法、装置和智能终端
CN108877334B (zh) 一种语音搜题方法及电子设备
KR20170035529A (ko) 전자 기기 및 그의 음성 인식 방법
CN103745214A (zh) 一种字符的识别方法和识别设备
KR101985900B1 (ko) 텍스트 콘텐츠 작성자의 메타정보를 추론하는 방법 및 컴퓨터 프로그램
CN104505103A (zh) 语音质量评价设备、方法和系统
CN111144101B (zh) 错别字处理方法和装置
CN111523532A (zh) 一种矫正ocr文字识别错误的方法及终端设备
KR101964608B1 (ko) 영상 및 모션 센싱 정보를 이용한 단어 및 문장 학습 서비스 제공 방법 및 장치
KR102409873B1 (ko) 증강된 일관성 정규화를 이용한 음성 인식 모델 학습 방법 및 시스템
KR20210061728A (ko) 인공지능 추천 서비스를 제공하는 외국어 학습 시스템, 방법 및 컴퓨터 프로그램
CN110111640B (zh) 练字学习方法、练字笔及终端设备
KR100944755B1 (ko) 언어학습물 제공 시스템 및 언어 언어학습물이 포함된 컴퓨터가 판독가능한 프로그램이 기록된 기록매체
US11501504B2 (en) Method and apparatus for augmented reality
CN112951013A (zh) 一种学习交互方法、装置、电子设备以及存储介质
KR102450973B1 (ko) 단어 추천 방법 및 이를 위한 장치
CN112364700A (zh) 一种内容标记方法及终端设备