KR101990023B1 - 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템 - Google Patents

외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템 Download PDF

Info

Publication number
KR101990023B1
KR101990023B1 KR1020170065610A KR20170065610A KR101990023B1 KR 101990023 B1 KR101990023 B1 KR 101990023B1 KR 1020170065610 A KR1020170065610 A KR 1020170065610A KR 20170065610 A KR20170065610 A KR 20170065610A KR 101990023 B1 KR101990023 B1 KR 101990023B1
Authority
KR
South Korea
Prior art keywords
chunk
unit
separation
sentence
key word
Prior art date
Application number
KR1020170065610A
Other languages
English (en)
Other versions
KR20180129486A (ko
Inventor
이만홍
Original Assignee
주식회사 엠글리쉬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠글리쉬 filed Critical 주식회사 엠글리쉬
Priority to KR1020170065610A priority Critical patent/KR101990023B1/ko
Publication of KR20180129486A publication Critical patent/KR20180129486A/ko
Application granted granted Critical
Publication of KR101990023B1 publication Critical patent/KR101990023B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G06F17/2755—
    • G06F17/2775—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템에 관한 것으로, 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현을 위한 변환 어플리케이션(100)이 음성 정보를 갖는 영상에 대한 문장별 음성 인식 및 텍스트 자막 생성을 수행하는 제 1 단계; 변환 어플리케이션(100)이 텍스트 자막에 대한 문장별 품사 분리에 의한 구문 분석과, 구분 분석에 따라 생성된 문장별 품사 정보 기반 텍스트에 대해서 미리 설정된 청크 분리 알고리즘을 통해 소리단위 구문인 청크단위로 분리하는 제 2 단계; 및 변환 어플리케이션(100)이 분리된 각 청크단위를 기준으로 적어도 하나 이상의 청크단위에서의 핵심어 추출 및 추출된 핵심어에 대한 강세 표시를 생성한 뒤, 생성된 정보를 사용자 스마트 디바이스(200)로 제공하여 구현되도록 하는 제 3 단계; 를 포함한다. 이에 의해, 외국어, 특히 영어학습을 위해 기존의 텍스트 문장단위를 통한 학습위주가 아닌 소리단위 구문이라는 새로운 청크단위를 제시하고, 청크단위로 새롭게 개편된 영어학습 기반으로 각 청크단위에서 추출 가능한 핵심어를 기준으로 자동 강세를 제공함으로써, 실제의 영어학습이 기존의 눈을 통한 학습에서 말하고 들을 수 있는 학습으로의 획기적인 전환이 최소의 알고리즘을 통해서 수행될 수 있는 효과를 제공한다.

Description

외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템{METHOD FOR CHUNK-UNIT SEPARATION RULE AND DISPLAY AUTOMATED KEY WORD TO DEVELOP FOREIGN LANGUAGE STUDYING, AND SYSTEM THEREOF}
본 발명은 외국어학습을 위한 청크단위 분리(청크) 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템에 관한 것으로, 보다 구체적으로는, 초·중·고 영어학습, 그리고 성인 영어시장 등의 영어학습 콘텐츠 제공을 위한 영어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템에 관한 것이다.
개인용 컴퓨터와 초고속 인터넷 서비스의 확산, 그리고 스마트폰, 스마트 패드 등과 같은 모바일 스마트 디바이스의 보급으로 인하여, 다양한 멀티미디어 컨텐츠(multi media contents)로의 접근이 용이하게 되었고, 교육 분야에서도 오프라인 및 온라인을 통한 다양한 컨텐츠와 학습방법들이 개발되고 있다.
그러나, 종래의 영어 학습을 위한 화상, 컨텐츠 교육은 오프라인의 학습방법을 그대로 온라인에 옮겨놓은 수준에 불과한 것이 대부분이어서, 리딩(reading) 위주로 말하기 듣기에 있어서는 큰 효과를 얻지 못하고 있다.
이에 따라 해당 기술분야에 있어서는 말하기/듣기 영어학습에 완벽한 솔루션을 제공할 뿐만 아니라, 영어학습용 동영상 콘텐츠에는 필수적으로 요구하는 학습방법을 제공함으로써, 영어학습 시장의 트렌드가 읽기/문법의 재래식 시장에서 듣기/말하기 학습 시장으로 급변하는 추세에 있어 고객 니즈에 부합하도록 하기 위한 기술 개발이 요구되고 있다.
대한민국 특허출원 출원번호 제10-2009-0119555호 "어학학습 전자기기 구동 방법, 시스템 및 이를 응용한 동시통역 학습기(SYSTEM AND METHOD FOR OPERATING LANGUAGE TRAINING ELECTRONIC DEVICE AND REAL-TIME TRANSLATION TRAINING APPARATUS OPERATED THEREOF)" 대한민국 특허공개공보 공개번호 제10-2015-0055921호 "동영상 재생 제어 방법 및 장치(METHOD AND APPARATUS FOR CONTROLLING PLAYING VIDEO)" 대한민국 특허등록공보 등록번호 제10-0879667호 "멀티미디어 처리 장치의 어학 학습 방법(METHOD OF LEARNING LANGUAGE IN MULTIMEDIA PROCESSING APPARATUS)"
본 발명은 상기의 문제점을 해결하기 위한 것으로, 외국어학습을 위해 기존의 텍스트 문장단위를 통한 학습위주의 단점인 실제로 오랜 기간 동안의 학습에도 외국어, 특히 영어의 실제 구사력이 떨어지는 한계점을 극복하기 위해 소리단위 구문이라는 새로운 청크단위(chunk unit)를 제시하도록 하기 위한 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템을 제공하기 위한 것이다.
또한, 본 발명은 청크단위로 새롭게 개편된 외국어학습 기반으로 각 청크단위에서 추출 가능한 핵심어를 기준으로 자동 강세를 제공함으로써, 실제의 영어학습이 기존의 눈을 통한 학습에서 말하고 들을 수 있는 학습으로의 획기적인 전환이 최소의 알고리즘을 통해서 수행될 수 있도록 하기 위한 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템을 제공하기 위한 것이다.
또한, 본 발명은 외국어 특히, 영어학습 외에 일어, 중국어, 독어 등과 같은 제 2 외국어에 대한 언어 식별을 위한 언어 정보 추가로 최소의 알고리즘을 통해서 전환되어 수행될 수 있을 뿐만 아니라, 모바일, PC 플레이어 등으로 광범위하게 적용할 수 있도록 하기 위한 영어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해, 본 발명의 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법은,
외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현을 위한 변환 어플리케이션(100)이 음성 정보를 갖는 영상에 대한 문장별 음성 인식 및 텍스트 자막 생성을 수행하는 제 1 단계; 변환 어플리케이션(100)이 텍스트 자막에 대한 문장별 품사 분리에 의한 구문 분석과, 구분 분석에 따라 생성된 문장별 품사 정보 기반 텍스트에 대해서 미리 설정된 청크 분리 알고리즘을 통해 소리단위 구문인 청크단위로 분리하는 제 2 단계; 및 변환 어플리케이션(100)이 분리된 각 청크단위를 기준으로 적어도 하나 이상의 청크단위에서의 핵심어 추출 및 추출된 핵심어에 대한 강세 표시를 생성한 뒤, 생성된 정보를 사용자 스마트 디바이스(200)로 제공하여 구현되도록 하는 제 3 단계; 를 포함할 수 있다.
이때, 본 발명의 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법에 있어서, 상기 제 1 단계는, 변환 어플리케이션(100)이 음성인식 Open API(Open Application Programming interface)를 기반으로 음성 정보를 갖는 영상에서 영어 음성 오디오 인식을 음성 인터페이스(141)를 통해 아날로그 신호에 대한 수집 이후 디지털 변환 방식을 통해 수행하는 제 1-1 단계; 및 변환 어플리케이션(100)이 상기 제 1-1 단계에서 생성된 음성 인식 디지털 신호를 자막 텍스트로 변환하는 제 1-2 단계; 를 포함할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법에 있어서, 상기 제 1-2 단계는, 변환 어플리케이션(100)이 음성 인식 디지털 신호를 자막 텍스트 형식 중 문장별 시작 시간(Start Time) 및 종료 시간(End Time)을 갖는 SRT(SubRip Text file format) 자막 형식으로 추출하는 것이 바람직하다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법에 있어서, 상기 제 1-2 단계에서 변환 어플리케이션(100)에 의해 생성되는 각 자막 형식 공통으로 음성 정보를 갖는 영상 재생의 동기를 맞추기 위한 동기 시작 시각, 동기 유지 시간, 동기 종료 시각과 같은 동기 정보를 문장별로 포함하고 있을 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법에 있어서, 상기 제 2 단계는, 변환 어플리케이션(100)이 자막 의미 단위 분석, 품사 단위 의미 분석, 영상 음성단위 시간 분석과 강세단위 시간 분석, 음소 단위 분석, 청크(chunk) 분리를 함께 수행하는 것이 바람직하다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법에 있어서, 상기 제 2 단계는, 변환 어플리케이션(100)이 문장별로 생성된 자막 텍스트에 대한 구문 분석(또는 품사 분석) 알고리즘(예:Tokenizer algorithm)을 통해 문장별 품사 분리를 수행하여, 문장별 품사 정보 기반 텍스트를 생성하는 제 2-1 단계; 및 변환 어플리케이션(100)이 문장별 품사 정보 기반 텍스트에 대해서 미리 설정된 청크 분리 알고리즘을 통해 청크단위로 분리하는 제 2-2 단계; 를 포함할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법은, 상기 제 2-2 단계에서, 청크단위 분리시 변환 어플리케이션(100)이 청크 기준 문장 설정 과정, 미리 설정된 복수의 청크 분리 알고리즘 중 하나에 의해 구분된 청크단위에 대해서 ","(쉼표), "Pause" 기준 분리 과정, 문자 음절 수 연산 과정, 기능어 및 핵심어 기준 음절 수 연산 과정, 단어와 기능어/핵심어 음절 수, 또는 음소 수로 구분하여 상기 제 1 단계에서 인식된 아날로그 신호의 주파수 파형의 시간을 연산하며, 기준 분리 과정에서 구분된 각 청크단위별 실소요 시간을 연산하는 것이 바람직하다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법에 있어서, 상기 제 3 단계는, 변환 어플리케이션(100)이 상기 제 2 단계에서 청크단위별 실소요 시간으로 구분된 청크 내에 핵심어를 추출한 뒤, 추출된 핵심어에 대한 음절의 강세를 설정하는 제 3-1 단계; 및 변환 어플리케이션(100)이 최종적으로 추출된 음절의 강세 정보를 활용해 청크내 핵심어 강세를 최종 적용하고, 문장별 청크단위에 대한 구분 기호(1), 그리고 핵심어 추출/강세 표시 모듈(130)에 의해 추출된 각 청크단위 중 핵심어 강세에 관한 정보(2)를 포함하는 청크단위 강세 학습 파일을 생성한 뒤, 사용자 스마트 디바이스(200)로 제공하는 제 3-2 단계; 를 포함할 수 있다.
상기의 목적을 달성하기 위해, 본 발명의 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템은,
변환 어플리케이션(100)과 사용자 스마트 디바이스(200)를 포함하는 영어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 시스템에 있어서, 변환 어플리케이션(100)은, 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현을 위한 변환 어플리케이션(100)이 음성 정보를 갖는 영상에 대한 문장별 음성 인식 및 텍스트 자막 생성을 수행하는 음성 인식/자막 생성 모듈(110); 텍스트 자막에 대한 문장별 품사 분리에 의한 구문 분석과, 구분 분석에 따라 생성된 문장별 품사 정보 기반 텍스트에 대해서 미리 설정된 청크 분리 알고리즘을 통해 소리단위 구문인 청크단위로 분리하는 구문 분석/청크 분리 모듈(120); 및 분리된 각 청크단위를 기준으로 적어도 하나 이상의 청크단위에서의 핵심어 추출 및 추출된 핵심어에 대한 강세 표시를 생성한 뒤, 생성된 정보를 사용자 스마트 디바이스(200)로 제공하여 구현되도록 하는 핵심어 추출/강세 표시 모듈(130); 을 포함할 수 있다.
이때, 본 발명의 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템에 있어서, 음성 인식/자막 생성 모듈(110)은, 음성인식 Open API(Open Application Programming interface)를 기반으로 음성 정보를 갖는 영상에서 영어 음성 오디오 인식을 음성 인터페이스(141)를 통해 아날로그 신호에 대한 수집 이후 디지털 변환 방식을 통해 수행하는 음성 인식 수단(111); 및 음성 인식 수단(111)에 의해 생성된 음성 인식 디지털 신호를 자막 텍스트로 변환하는 자막 생성 수단(112); 을 포함할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템에 있어서, 자막 생성 수단(112)은, 음성 인식 디지털 신호를 자막 텍스트 형식 중 문장별 시작 시간(Start Time) 및 종료 시간(End Time)을 갖는 SRT(SubRip Text file format) 자막 형식으로 추출할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템에 있어서, 자막 생성 수단(112)은, 생성되는 각 자막 형식 공통으로 음성 정보를 갖는 영상 재생의 동기를 맞추기 위한 동기 시작 시각, 동기 유지 시간, 동기 종료 시각과 같은 동기 정보를 문장별로 포함시킬 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템에 있어서, 구문 분석/청크 분리 모듈(120)은, 자막 의미 단위 분석, 품사 단위 의미 분석, 영상 음성단위 시간 분석과 강세단위 시간 분석, 청크(chunk) 분리를 함께 수행할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템에 있어서, 구문 분석/청크 분리 모듈(120)은, 문장별로 생성된 자막 텍스트에 대한 구문 분석(또는 품사 분석) 알고리즘(예:Tokenizer algorithm)을 통해 문장별 품사 분리를 수행하여, 문장별 품사 정보 기반 텍스트를 생성하는 구문 분석(또는 품사 분석) 수단(121); 및 변환 어플리케이션(100)이 문장별 품사 정보 기반 텍스트에 대해서 미리 설정된 청크 분리 알고리즘을 통해 청크단위로 분리하는 청크 분리 수단(122); 을 포함할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템에 있어서, 청크 분리 수단(122)은, 청크단위 분리시 청크 기준 문장 설정 과정, 미리 설정된 복수의 청크 분리 알고리즘 중 하나에 의해 구분된 청크단위에 대해서 ","(쉼표), "Pause" 기준 분리 과정, 문자 음절 수 연산 과정, 기능어 및 핵심어 기준 음절 수 연산 과정, 단어와 기능어/핵심어 음절 수, 음소 수로 구분하여 음성 인식 수단(111)에 의해 인식된 아날로그 신호의 주파수 파형의 시간을 연산하며, 기준 분리 과정에서 구분된 각 청크단위별 실소요 시간을 연산할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템에 있어서, 핵심어 추출/강세 표시 모듈(130)은, 구문 분석/청크 분리 모듈(120)에 의해 청크단위별 실소요 시간으로 구분된 청크 내에 핵심어를 추출하는 핵심어 추출 수단(131); 및 추출된 핵심어에 대한 음절의 강세를 설정하는 강세 표시 수단(132); 을 포함하되, 변환 어플리케이션(100)이 최종적으로 추출된 음절의 강세 정보를 활용해 청크내 핵심어 강세를 최종 적용하고, 문장별 청크단위에 대한 구분 기호(1), 그리고 핵심어 추출/강세 표시 모듈(130)에 의해 추출된 각 청크단위 중 핵심어 강세에 관한 정보(2)를 포함하는 청크단위 강세 학습 파일을 생성한 뒤, 사용자 스마트 디바이스(200)로 제공할 수 있다.
본 발명의 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템은, 외국어, 특히 영어학습을 위해 기존의 텍스트 문장단위를 통한 학습위주의 단점인 실제로 오랜 기간 동안의 학습에도 영어의 실제 구사력이 떨어지는 한계점을 극복하기 위해 소리단위 구문이라는 새로운 청크단위를 제시하도록 하는 효과를 제공한다.
또한, 본 발명의 다른 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템은, 청크단위로 새롭게 개편된 영어학습 기반으로 각 청크단위에서 추출 가능한 핵심어를 기준으로 자동 강세를 제공함으로써, 실제의 영어학습이 기존의 눈을 통한 학습에서 말하고 들을 수 있는 학습으로의 획기적인 전환이 최소의 알고리즘을 통해서 수행될 수 있는 효과를 제공한다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템은, 영어학습 외에 일어, 중국어, 독어 등과 같은 제 2 외국어에 대한 언어 식별을 위한 언어 정보 추가로 최소의 알고리즘을 통해서 전환되어 수행될 수 있을 뿐만 아니라, 모바일, PC 플레이어 등으로 광범위하게 적용할 수 있도록 하는 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 시스템 중 변환 어플리케이션(100)의 구성요소 및 동작 원리를 구체적으로 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 시스템 중 사용자 스마트 디바이스(200)에 구현된 유저 인터페이스 화면을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 시스템 중 구문 분석(또는 품사 분석) 알고리즘(예: Tokenizer algorithm)을 통한 문장별 품사 분리가 수행된 것을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 시스템 중 강세 표시 수단(132)에 의한 강세 설정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법을 나타내는 도면이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 시스템을 나타내는 도면이다. 도 2는 본 발명의 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 시스템 중 변환 어플리케이션(100)의 구성요소 및 동작 원리를 구체적으로 나타내는 도면이다. 도 3은 본 발명의 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 시스템 중 사용자 스마트 디바이스(200)에 구현된 유저 인터페이스(User Interface, 이하 'UI') 화면을 나타내는 도면이다.
도 1 내지 도 3을 참조하면, 외국어, 특히 영어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 시스템은 변환 어플리케이션(100)과 사용자 스마트 디바이스(200)를 포함할 수 있다.
여기서, 변환 어플리케이션(100)은 사용자 스마트 디바이스(200) 내부에 설치되거나 별도의 외부 서버(미도시)에 설치된 뒤 네트워크를 통해 사용자 스마트 디바이스(200)로 결과물인 청크단위 강세 학습 파일을 전송할 수 있다. 본 발명에서 청크(chunk)는 문장별 소리분리단위를 의미한다.
변환 어플리케이션(100)은 음성 인식/자막 생성 모듈(110), 구문 분석/청크 분리 모듈(120), 그리고 핵심어 추출/강세 표시 모듈(130)을 포함할 수 있다. 그리고 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
그리고, 음성 인식/자막 생성 모듈(110)은 음성 인식 수단(111) 및 자막 생성 수단(112)으로 구분될 수 있다.
음성 인식 수단(111)은 음성인식 Open API(Open Application Programming interface)를 기반으로 영화, 동영상 등에서 영어 음성 오디오 인식을 음성 인터페이스(141)를 통해 아날로그 신호에 대한 수집 이후 디지털 변환 방식을 통해 수행할 수 있다. 여기서 음성 인터페이스(interface)(141)는 외부의 음향을 인식하기 위한 마이크로폰, 또는 저장 매체에 영화, 동영상 등이 저장된 경우 이 저장 데이터베이스일 수 있다.
여기서 음성 인식 수단(111)은 문장단위 또는 단어단위로 영어 음성 오디오 인식을 수행한 결과로 음성 인식 디지털 신호를 생성한 뒤 자막 생성 수단(112)으로 제공할 수 있다. 여기서, 음성인식 Open API는 통상의 음성인식 엔진을 포함한다.
자막 생성 수단(112)은 음성 인식 수단(111)에 의해 인식된 음성 인식 디지털 신호를 자막 텍스트로 변환할 수 있다. 본 발명의 일 실시예로, 자막 생성 수단(112)은 음성 인식 디지털 신호를 자막 텍스트 형식 중 문장별 시작 시간(Start Time) 및 종료 시간(End Time)을 갖는 SRT(SubRip Text file format) 자막 형식으로 추출할 수 있다.
또한, 본 발명의 다른 실시예로, 자막 생성 수단(112)은 문장별 시작 시간(Start Time) 및 종료 시간(End Time)을 갖는 SMI(SAMI, Synchronized Accessible Media Interchange) 자막 형식, SSA(SubStation Alpha 또는 Sub Station Alpha), ASS(Advanced SSA Subtitles) 등의 자막 형식으로도 추출할 수 있다. 자막 생성 수단(112)에 의해 생성되는 각 자막 형식 공통으로 영화, 동영상 등과 재생의 동기를 맞추기 위한 동기 시작 시각, 동기 유지 시간, 동기 종료 시각과 같은 동기 정보를 문장별로 포함하고 있어야 한다.
구문 분석/청크 분리 모듈(120)은 구문 분석(품사 분석) 수단(121) 및 청크 분리 수단(122)으로 구분될 수 있다.
구문 분석 수단(121)은 자막 생성 수단(112)에 의해 문장별로 생성된 자막 텍스트에 대한 구문 분석(또는 품사 분석) 알고리즘(예: Tokenizer algorithm)을 통해 문장별 품사 분리를 수행함으로써, 문장별 품사 정보 기반 텍스트를 생성한다. 한편, 도 4는 구문 분석(또는 품사 분석) 알고리즘(예: Tokenizer algorithm)을 통한 문장별 품사 분리가 수행된 것을 나타내는 도면이다.
본 발명의 일 실시예로, 구문 분석 수단(121)은 구문 분석 알고리즘으로 구문 분석 Open API(Apache Open NLP)을 활용할 수 있다.
청크 분리 수단(122)은 문장별 품사 정보 기반 텍스트에 대해서 미리 설정된 청크 분리 알고리즘을 통해 청크단위로 분리할 수 있다.
제 1 청크 분리 알고리즘의 실시예로, 청크 분리 수단(122)은 문장별 품사 정보 기반 텍스트에 대해서 단어 기반 청크 수 분석을 위해 구문 분석 수단(121)에 의해 구분된 각 품사로 구분된 단어 간의 발음기호 연속성 구분 DB(142)로 저장된 연속 및 불연속 정보를 기준으로 문장별 청크를 분리하는 방식으로 사전적 청크 수를 연산할 수 있다.
또한, 본 명세서에서 DB라 함은, 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함할 수도 있다.
또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 데이터베이스의 형태 등 다양한 방식으로 구현될 수 있으며, 데이터베이스에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.
제 2 청크 분리 알고리즘의 실시예로, 청크 분리 수단(122)은 문장별 품사 정보 기반 텍스트에 대해서 구문 DB(143)에 기저장된 문장 핵심어와 문장 기능어를 기준으로 문장별로 청크 수 분석을 위한 기능어, 핵심어로 구분한 뒤, 기능어와 핵심어를 기준으로 문장별 청크를 분리하는 방식으로 음절적 청크 수를 연산할 수 있다.
여기서, 청크 분리 수단(122)은 음절단위, 및 음소단위 별로 청크를 분리하여 청크 수를 연산할 수 있음은 물론이다.
제 3 청크 분리 알고리즘의 실시예로, 청크 분리 수단(122)은 문장별 품사 정보 기반 텍스트에 대해서 음성인식과 연계하여 주파수 파형 DB(144)에 기저장된 구문 주파수 DB(144)에 기저장된 주파수 파형 특성을 기준으로 문장별로 청크 수 분석을 위한 단어 및 음절별 시간 분석을 통해 문장별 청크를 분리하는 방식으로 주파수적 청크 수를 연산할 수 있다.
보다 구체적으로, 청크 분리 수단(122)은 음성 인식 수단(111)에 의해 인식된 아날로그 신호의 주파수 파형 중 영어 강세 주파수를 추출한 뒤, 추출된 영어 강세 주파수 파형의 길이와 비례하는 미리 설정된 가중치(α)에 따른 영어 강세 주파수 전후 주파수 길이 특성 연산을 통해 문장별 청크단위로 분리할 수 있다.
본 발명의 다른 실시예로 청크 분리 수단(122)에 의해 청크 분리를 위해 "제 1 청크 분리 단계"로 예를들면 문장기호(?!.)와 같은 다양한 지표를 기준으로 하는 청크 기준 문장 설정 과정, "제 2 청크 분리 단계"로 상술한 제 1 내지 제 3 청크 분리 알고리즘 중 하나에 의해 구분된 청크단위에 대해서 예를들면 ","(쉼표), "Pause"와 같은 지표를 기준으로 하는 분리 과정, "제 3 청크 분리 단계"로 문자 음절 수 연산 과정, "제 4 청크 분리 단계"로 기능어 및 핵심어 기준 음절 수 연산 과정, "제 5 청크 분리 단계"로 청크단위별 실소요시간 연산 과정을 순차적으로 수행할 수 있다.
보다 구체적으로, 제 3 청크 분리 단계에서, 청크 분리 수단(122)은 ","(쉼표), "Pause" 기준으로 분리된 문장 요소에 포함된 문장별 품사 정보 기반 텍스트에 대해서 문자 음절 수 분석을 위해 구문 분석 수단(121)에 의해 구분된 각 품사로 구분된 단어의 발음기호 분석을 통해 사전적 음절 수를 연산할 수 있다.
마찬가지로, 청크 분리 수단(122)은 음소 수를 연산할 수 있음은 물론이다.
이후, 제 4 청크 분리 단계에서, 청크 분리 수단(122)은 사전적 음절 수를 이용하되, 사전적 음절 간에 연속성과 불연속성을 구문 분석 수단(121)에 의해 구분된 각 품사 중 기능어 및 핵심어를 기준으로 구분하는 방식으로 최종적인 음절 수를 연산할 수 있다.
이후, 제 5 청크 분리 단계에서, 청크 분리 수단(122)은 단어와 기능어/핵심어로 구분하여 음성 인식 수단(111)에 의해 인식된 아날로그 신호의 주파수 파형의 시간을 연산함으로써, 제 2 청크 분리 단계에서 구분된 각 청크단위별 실소요 시간을 연산할 수 있다.
본 발명에서는 청크 분리 수단(122)에 의한 청크 분리를 위해 청크 기준 문장 설정을 문장기호(?!.) 기준으로 하고, 청크 분리 알고리즘 중 하나에 의해 구분된 청크단위에 대해서 ","(쉼표), "Pause" 를 기준으로 분리하고 이로부터 문자 음절 수 연산 및, 기능어와 핵심어 기준 음절 수 연산을 수행하는 것으로 설명하고 있으나, 이는 설명을 위한 일실시예에 해당되는 것으로 이에 한정되는 것은 아니며, 변형가능한 다양한 청크 기준 설정 및 음소단위로 연산수행이 가능함은 물론이다.
핵심어 추출/강세 표시 모듈(130)은 핵심어 추출 수단(131) 및 강세 표시 수단(132)으로 구분될 수 있다.
핵심어 추출 수단(131)은 청크 분리 수단(122)에 의해 구분된 청크 내에 핵심어를 추출한다. 즉, 핵심어 추출 수단(131)은 사전에 구축된 핵심어 DB(144)에 기저장된 핵심어와의 대조를 통해 청크별 핵심어를 추출한다. 본 발명의 일 실시예로, 도 2와 같이 핵심어 추출 수단(131)에 의해 추출되는 핵심어는 하나의 청크 내의 단어가 하나인 경우 하나의 단어일 수 있으며, 하나의 청크 내에 복수의 단어가 있는 경우 동사로 설정될 수 있다.
강세 표시 수단(132)은 핵심어 추출 수단(131)에 의해 추출된 핵심어에 대한 강세를 설정할 수 있다. 여기서 강세 설정은 도 5와 같이 핵심어 추출 수단(131)에 의해 추출된 핵심어에 대해서 IPA(International Phonetic Alphabet, 국제 음성 기호) 발음을 기반 조음 규칙을 적용하여 음절을 분리한 뒤, 분리된 음절 중 강세에 관한 정보를 단어별 강세 DB(145)에서 추출한다.
이후, 강세 표시 수단(132)은 추출된 음절의 강세 정보를 활용해 청크내 핵심어 강세를 최종 적용한다.
이와 같이, 상술한 구성을 갖는 변환 어플리케이션(100)은 구문 분석/청크 분리 모듈(120)에 의해 수행된 문장별 청크단위에 대한 구분 기호(1), 그리고 핵심어 추출/강세 표시 모듈(130)에 의해 추출된 각 청크단위 중 핵심어 강세에 관한 정보(2)를 포함하는 청크단위 강세 학습 파일을 생성한 뒤, 사용자 스마트 디바이스(200)로 제공할 수 있다.
이에 따라 사용자 스마트 디바이스(200)는 도 2와 같이 영어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 영역(10)에 원본 영어 자막 텍스트(21) 및 한글 번역 자막 텍스트(22)와는 별도로 구현할 수 있다.
도 6은 본 발명의 실시예에 따른 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법을 나타내는 도면이다. 도 6을 참조하면, 영어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현을 위한 변환 어플리케이션(100)은 동영상, 영화 등에 대한 음성 인식 및 텍스트 자막 생성을 수행한다(S10). 보다 구체적으로, 변환 어플리케이션(100)은 음성인식 Open API(Open Application Programming interface)를 기반으로 영화, 동영상 등에서 영어 음성 오디오 인식을 음성 인터페이스(141)를 통해 아날로그 신호에 대한 수집 이후 디지털 변환 방식을 통해 수행한 뒤, 음성 인식 디지털 신호를 자막 텍스트로 변환한다.
단계(S10) 이후, 변환 어플리케이션(100)은 구문 분석 및 청크 분리를 수행한다(S20). 단계(S20)에서 변환 어플리케이션(100)은 자막 의미 단위 분석, 품사 단위 의미 분석, 영상 음성단위 시간 분석과 강세단위 시간 분석, 청크(chunk) 분리 등을 함께 수행할 수 있다.
보다 구체적으로, 변환 어플리케이션(100)은 단계(S10)에서 문장별로 생성된 자막 텍스트에 대한 구문 분석(또는 품사 분석) 알고리즘(예: Tokenizer algorithm)을 통해 문장별 품사 분리를 수행함으로써, 문장별 품사 정보 기반 텍스트를 생성한 뒤, 문장별 품사 정보 기반 텍스트에 대해서 미리 설정된 청크 분리 알고리즘을 통해 청크단위로 분리할 수 있다.
또한, 단계(S20)에서 청크단위 분리시 변환 어플리케이션(100)은 문장기호(?!.) 기준 청크 기준 문장 설정 과정, 미리 설정된 복수의 청크 분리 알고리즘 중 하나에 의해 구분된 청크단위에 대해서 ","(쉼표), "Pause" 기준 분리 과정, 문자 음절 수 연산 과정, 기능어 및 핵심어 기준 음절 수 연산 과정, 단어와 기능어/핵심어 음절 수로 구분하여 단계(S10)에서 인식된 아날로그 신호의 주파수 파형의 시간을 연산하며, 기준 분리 과정에서 구분된 각 청크단위별 실소요 시간을 연산할 수 있다.
단계(S20) 이후, 변환 어플리케이션(100)은 핵심어 및 강세 표시를 생성한 뒤, 생성된 정보를 사용자 스마트 디바이스(200)로 제공하여 구현되도록 한다(S30). 즉, 단계(S30)에서는 청크내 핵심어 추출, 추출된 핵심어 음절, 음소 및 강세 사전 활용을 통한 강세 분석을 수행하며, 플레이어를 통한 연동 표시를 수행하는 것이다.
보다 구체적으로, 변환 어플리케이션(100)은 단계(S20)에서 청크단위별 실소요 시간으로 구분된 청크 내에 핵심어를 추출한 뒤, 추출된 핵심어에 대한 강세를 설정할 수 있으며, 강세 설정시 추출된 핵심어에 대해서 IPA(International Phonetic Alphabet, 국제 음성 기호) 발음을 기반 조음 규칙을 적용하여 음절을 분리한 뒤, 분리된 음절 중 강세에 관한 정보를 단어별 강세 DB(145)에서 추출할 수 있다. 변환 어플리케이션(100)은 최종적으로 추출된 음절의 강세 정보를 활용해 청크내 핵심어 강세를 최종 적용하고, 문장별 청크단위에 대한 구분 기호(1), 그리고 핵심어 추출/강세 표시 모듈(130)에 의해 추출된 각 청크단위 중 핵심어 강세에 관한 정보(2)를 포함하는 청크단위 강세 학습 파일을 생성한 뒤, 사용자 스마트 디바이스(200)로 제공할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 변환 어플리케이션
110 : 음성 인식/자막 생성 모듈
120 : 구문 분석/청크 분리 모듈
130 : 핵심어 추출/강세 표시 모듈
141 : 음성 인터페이스
142 : 발음기호 연속성 구분 DB
143 : 구문 DB
144 : 주파수 파형 DB
145 : 단어별 강세 DB
200 : 사용자 스마트 디바이스

Claims (16)

  1. 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현을 위한 변환 어플리케이션(100)이 음성 정보를 갖는 영상에 대한 문장별 음성 인식 및 텍스트 자막 생성을 수행하는 제 1 단계;
    상기 변환 어플리케이션(100)이 텍스트 자막에 대한 문장별 품사 분리에 의한 구문 분석과, 구분 분석에 따라 생성된 문장별 품사 정보 기반 텍스트에 대해서 미리 설정된 청크 분리 알고리즘을 통해 소리단위 구문인 청크단위로 분리하는 제 2 단계; 및
    상기 변환 어플리케이션(100)이 분리된 각 청크단위를 기준으로 적어도 하나 이상의 청크단위에서의 핵심어 추출 및 추출된 핵심어에 대한 강세 표시를 생성한 뒤, 생성된 정보를 사용자 스마트 디바이스(200)로 제공하여 구현되도록 하는 제 3 단계; 를 포함하며,
    상기 제 1 단계는,
    상기 변환 어플리케이션(100)이 음성인식 Open API(Open Application Programming interface)를 기반으로 음성 정보를 갖는 영상에서 영어 음성 오디오 인식을 음성 인터페이스(141)를 통해 아날로그 신호에 대한 수집 이후 디지털 변환 방식을 통해 수행하는 제 1-1 단계; 및
    상기 변환 어플리케이션(100)이 상기 제 1-1 단계에서 생성된 음성 인식 디지털 신호를 자막 텍스트로 변환하는 제 1-2 단계; 를 포함하고,
    상기 제 2 단계는,
    상기 변환 어플리케이션(100)이 자막 의미 단위 분석, 품사 단위 의미 분석, 영상 음성단위 시간 분석과 강세단위 시간 분석, 음소 단위 분석, 청크(chunk) 분리를 함께 수행하며,
    청크단위로 분리시 음성 인식 수단에 의해 인식된 아날로그 신호의 주파수 파형 중 영어 강세 주파수를 추출한 뒤, 추출된 영어 강세 주파수 파형의 길이와 비례하는 미리 설정된 가중치(α)에 따른 영어 강세 주파수 전후 주파수 길이 특성 연산을 통해 문장별 청크단위로 분리하는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법.
  2. 삭제
  3. 청구항 1에 있어서, 상기 제 1-2 단계는,
    상기 변환 어플리케이션(100)이 음성 인식 디지털 신호를 자막 텍스트 형식 중 문장별 시작 시간(Start Time) 및 종료 시간(End Time)을 갖는 SRT(SubRip Text file format) 자막 형식으로 추출하는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법.
  4. 청구항 1에 있어서, 상기 제 1-2 단계에서,
    상기 변환 어플리케이션(100)에 의해 생성되는 각 자막 형식 공통으로 음성 정보를 갖는 영상 재생의 동기를 맞추기 위한 동기 시작 시각, 동기 유지 시간, 동기 종료 시각과 같은 동기 정보를 문장별로 포함하고 있는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법.
  5. 삭제
  6. 청구항 1에 있어서, 상기 제 2 단계는,
    상기 변환 어플리케이션(100)이 문장별로 생성된 자막 텍스트에 대한 구문 분석 알고리즘을 통해 문장별 품사 분리를 수행하여, 문장별 품사 정보 기반 텍스트를 생성하는 제 2-1 단계; 및
    상기 변환 어플리케이션(100)이 문장별 품사 정보 기반 텍스트에 대해서 미리 설정된 청크 분리 알고리즘을 통해 청크단위로 분리하는 제 2-2 단계; 를 포함하는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법.
  7. 청구항 6에 있어서, 상기 제 2-2 단계에서,
    청크단위 분리시 상기 변환 어플리케이션(100)이 청크 기준 문장 설정 과정, 미리 설정된 복수의 청크 분리 알고리즘 중 하나에 의해 구분된 청크단위에 대해서 ","(쉼표), "Pause" 기준 분리 과정, 문자 음절 수 연산 과정, 기능어 및 핵심어 기준 음절 수 연산 과정, 단어와 기능어/핵심어 음절 수, 또는 음소 수로 구분하여 상기 제 1 단계에서 인식된 아날로그 신호의 주파수 파형의 시간을 연산하며, 기준 분리 과정에서 구분된 각 청크단위별 실소요 시간을 연산하는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법.
  8. 청구항 1에 있어서, 상기 제 3 단계는,
    상기 변환 어플리케이션(100)이 상기 제 2 단계에서 청크단위별 실소요 시간으로 구분된 청크 내에 핵심어를 추출한 뒤, 추출된 핵심어에 대한 음절의 강세를 설정하는 제 3-1 단계;
    상기 변환 어플리케이션(100)이 최종적으로 추출된 음절의 강세 정보를 활용해 청크내 핵심어 강세를 최종 적용하고, 문장별 청크단위에 대한 구분 기호(1), 그리고 핵심어 추출/강세 표시 모듈(130)에 의해 추출된 각 청크단위 중 핵심어 강세에 관한 정보(2)를 포함하는 청크단위 강세 학습 파일을 생성한 뒤, 상기 사용자 스마트 디바이스(200)로 제공하는 제 3-2 단계; 를 포함하는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 방법.
  9. 변환 어플리케이션(100)과 사용자 스마트 디바이스(200)를 포함하는 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 시스템에 있어서,
    상기 변환 어플리케이션(100)은,
    외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현을 위한 변환 어플리케이션(100)이 음성 정보를 갖는 영상에 대한 문장별 음성 인식 및 텍스트 자막 생성을 수행하는 음성 인식/자막 생성 모듈(110);
    텍스트 자막에 대한 문장별 품사 분리에 의한 구문 분석과, 구분 분석에 따라 생성된 문장별 품사 정보 기반 텍스트에 대해서 미리 설정된 청크 분리 알고리즘을 통해 소리단위 구문인 청크단위로 분리하는 구문 분석/청크 분리 모듈(120); 및
    분리된 각 청크단위를 기준으로 적어도 하나 이상의 청크단위에서의 핵심어 추출 및 추출된 핵심어에 대한 강세 표시를 생성한 뒤, 생성된 정보를 상기 사용자 스마트 디바이스(200)로 제공하여 구현되도록 하는 핵심어 추출/강세 표시 모듈(130); 을 포함하며,
    상기 음성 인식/자막 생성 모듈(110)은,
    음성인식 Open API(Open Application Programming interface)를 기반으로 음성 정보를 갖는 영상에서 영어 음성 오디오 인식을 음성 인터페이스(141)를 통해 아날로그 신호에 대한 수집 이후 디지털 변환 방식을 통해 수행하는 음성 인식 수단(111); 및
    상기 음성 인식 수단(111)에 의해 생성된 음성 인식 디지털 신호를 자막 텍스트로 변환하는 자막 생성 수단(112); 을 포함하고,
    상기 구문 분석/청크 분리 모듈(120)은,
    자막 의미 단위 분석, 품사 단위 의미 분석, 영상 음성단위 시간 분석과 강세단위 시간 분석, 청크(chunk) 분리를 함께 수행하며,
    청크단위로 분리시 상기 음성 인식 수단(111)에 의해 인식된 아날로그 신호의 주파수 파형 중 영어 강세 주파수를 추출한 뒤, 추출된 영어 강세 주파수 파형의 길이와 비례하는 미리 설정된 가중치(α)에 따른 영어 강세 주파수 전후 주파수 길이 특성 연산을 통해 문장별 청크단위로 분리하는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템.
  10. 삭제
  11. 청구항 9에 있어서, 상기 자막 생성 수단(112)은,
    음성 인식 디지털 신호를 자막 텍스트 형식 중 문장별 시작 시간(Start Time) 및 종료 시간(End Time)을 갖는 SRT(SubRip Text file format) 자막 형식으로 추출하는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템.
  12. 청구항 9에 있어서, 상기 자막 생성 수단(112)은,
    생성되는 각 자막 형식 공통으로 음성 정보를 갖는 영상 재생의 동기를 맞추기 위한 동기 시작 시각, 동기 유지 시간, 동기 종료 시각과 같은 동기 정보를 문장별로 포함시키는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템.
  13. 삭제
  14. 청구항 9에 있어서, 상기 구문 분석/청크 분리 모듈(120)은,
    문장별로 생성된 자막 텍스트에 대한 구문 분석 알고리즘을 통해 문장별 품사 분리를 수행하여, 문장별 품사 정보 기반 텍스트를 생성하는 구문 분석 수단(121); 및
    상기 변환 어플리케이션(100)이 문장별 품사 정보 기반 텍스트에 대해서 미리 설정된 청크 분리 알고리즘을 통해 청크단위로 분리하는 청크 분리 수단(122); 을 포함하는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템.
  15. 청구항 14에 있어서, 상기 청크 분리 수단(122)은,
    청크단위 분리시 청크 기준 문장 설정 과정, 미리 설정된 복수의 청크 분리 알고리즘 중 하나에 의해 구분된 청크단위에 대해서 ","(쉼표), "Pause" 기준 분리 과정, 문자 음절 수 연산 과정, 기능어 및 핵심어 기준 음절 수 연산 과정, 단어와 기능어/핵심어 음절 수, 또는 음소 수로 구분하여 음성 인식 수단(111)에 의해 인식된 아날로그 신호의 주파수 파형의 시간을 연산하며, 기준 분리 과정에서 구분된 각 청크단위별 실소요 시간을 연산하는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템.
  16. 청구항 9에 있어서, 상기 핵심어 추출/강세 표시 모듈(130)은,
    상기 구문 분석/청크 분리 모듈(120)에 의해 청크단위별 실소요 시간으로 구분된 청크 내에 핵심어를 추출하는 핵심어 추출 수단(131); 및
    추출된 핵심어에 대한 음절의 강세를 설정하는 강세 표시 수단(132); 을 포함하되,
    상기 변환 어플리케이션(100)이 최종적으로 추출된 음절의 강세 정보를 활용해 청크내 핵심어 강세를 최종 적용하고, 문장별 청크단위에 대한 구분 기호(1), 그리고 핵심어 추출/강세 표시 모듈(130)에 의해 추출된 각 청크단위 중 핵심어 강세에 관한 정보(2)를 포함하는 청크단위 강세 학습 파일을 생성한 뒤, 상기 사용자 스마트 디바이스(200)로 제공하는 것을 특징으로 하는 외국어학습을 위한 청크단위 분리와 핵심어 자동 강세 표시를 동시에 구현하는 시스템.
KR1020170065610A 2017-05-26 2017-05-26 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템 KR101990023B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170065610A KR101990023B1 (ko) 2017-05-26 2017-05-26 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170065610A KR101990023B1 (ko) 2017-05-26 2017-05-26 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180129486A KR20180129486A (ko) 2018-12-05
KR101990023B1 true KR101990023B1 (ko) 2019-06-18

Family

ID=64744202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170065610A KR101990023B1 (ko) 2017-05-26 2017-05-26 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101990023B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220038852A (ko) 2020-09-21 2022-03-29 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 방법 및 그 장치
KR20220078875A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 프로그램
KR20220078862A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 제공 프로그램을 기록한 기록매체
KR20220078870A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 발음 현상을 기반으로 영어 문장의 청해력을 향상시키는 영어 교육 방법
KR20220078876A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 문장의 청해력을 향상시키는 영어 교육 프로그램
KR20220078873A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 제공 프로그램
KR20220078874A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 제공 프로그램
KR20220078868A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 방법
KR20220078861A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 기록매체
KR20220078867A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 프로그램을 기록한 기록매체
KR20220078865A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 발음 현상을 기반으로 영어 문장의 청해력을 향상시키는 영어 교육 프로그램을 기록한 기록매체
KR20220078872A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102188553B1 (ko) * 2019-10-24 2020-12-09 김형민 애니메이션 기반의 스토리텔링을 통한 한글 교육 시스템
KR102403074B1 (ko) * 2019-11-17 2022-05-30 주식회사 이볼케이노 영어 문장 학습을 위한 이미지 구조화 시스템
KR20210089426A (ko) 2020-01-08 2021-07-16 주식회사 에듀에스알티 청크 단위 모바일 학습 방법
KR102583764B1 (ko) 2022-06-29 2023-09-27 (주)액션파워 외국어가 포함된 오디오의 음성 인식 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140068292A (ko) * 2012-11-22 2014-06-09 (주)케이믹글로벌 말소리 유창성 향상을 위한 훈련 학습 시스템
US20140272820A1 (en) * 2013-03-15 2014-09-18 Media Mouth Inc. Language learning environment
KR20170009486A (ko) * 2015-07-17 2017-01-25 박상준 청크 기반 언어 학습용 데이터베이스 구축 방법 및 이를 수행하는 전자 기기

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220038852A (ko) 2020-09-21 2022-03-29 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 방법 및 그 장치
KR20220078875A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 프로그램
KR20220078862A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 제공 프로그램을 기록한 기록매체
KR20220078870A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 발음 현상을 기반으로 영어 문장의 청해력을 향상시키는 영어 교육 방법
KR20220078876A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 문장의 청해력을 향상시키는 영어 교육 프로그램
KR20220078873A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 제공 프로그램
KR20220078874A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 제공 프로그램
KR20220078868A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 방법
KR20220078861A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 기록매체
KR20220078867A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 프로그램을 기록한 기록매체
KR20220078865A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 발음 현상을 기반으로 영어 문장의 청해력을 향상시키는 영어 교육 프로그램을 기록한 기록매체
KR20220078872A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 장치

Also Published As

Publication number Publication date
KR20180129486A (ko) 2018-12-05

Similar Documents

Publication Publication Date Title
KR101990023B1 (ko) 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템
KR102061044B1 (ko) 수화 번역 및 화면 해설 서비스 방법 및 시스템
CN105704538A (zh) 一种音视频字幕生成方法及系统
US20130196292A1 (en) Method and system for multimedia-based language-learning, and computer program therefor
JP2005504395A (ja) マルチリンガルトランスクリプションシステム
US11942093B2 (en) System and method for simultaneous multilingual dubbing of video-audio programs
CN105635782A (zh) 一种字幕输出方法及装置
Blache et al. Creating and exploiting multimodal annotated corpora: the ToMA project
CN113035199B (zh) 音频处理方法、装置、设备及可读存储介质
Álvarez et al. Automating live and batch subtitling of multimedia contents for several European languages
EP4322029A1 (en) Method and apparatus for generating video corpus, and related device
JP2004170983A (ja) 付加情報提供機能付きのテキスト／音声変換装置及びその方法
JP2012181358A (ja) テキスト表示時間決定装置、テキスト表示システム、方法およびプログラム
CN110781649A (zh) 一种字幕编辑方法、装置及计算机存储介质、电子设备
CN114996506A (zh) 语料生成方法、装置、电子设备和计算机可读存储介质
Martín et al. Deep-Sync: A novel deep learning-based tool for semantic-aware subtitling synchronisation
KR101932340B1 (ko) 원어민 동영상의 자막인지 및 해석기능을 갖는 영어 학습시스템을 이용한 영어 교육방법
JP4934090B2 (ja) 番組登場人物抽出装置及び番組登場人物抽出プログラム
KR101990019B1 (ko) 하이브리드 자막 효과 구현 단말 및 방법
US20220237379A1 (en) Text reconstruction system and method thereof
KR20160002081A (ko) 음성 인식을 활용한 수화 번역 장치 및 그 방법
Spolaôr et al. A video indexing and retrieval computational prototype based on transcribed speech
KR101920653B1 (ko) 비교음 생성을 통한 어학학습방법 및 어학학습프로그램
KR20160131730A (ko) 자연어 처리 시스템, 자연어 처리 장치, 자연어 처리 방법 및 컴퓨터 판독가능 기록매체
Lakritz et al. The semi-automatic generation of audio description from screenplays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant