KR20140084438A - 청취 난이도를 이용하여 학습 데이터를 생성하는 서버 및 방법 - Google Patents

청취 난이도를 이용하여 학습 데이터를 생성하는 서버 및 방법 Download PDF

Info

Publication number
KR20140084438A
KR20140084438A KR1020120153300A KR20120153300A KR20140084438A KR 20140084438 A KR20140084438 A KR 20140084438A KR 1020120153300 A KR1020120153300 A KR 1020120153300A KR 20120153300 A KR20120153300 A KR 20120153300A KR 20140084438 A KR20140084438 A KR 20140084438A
Authority
KR
South Korea
Prior art keywords
data
learning
unit
listening
moving picture
Prior art date
Application number
KR1020120153300A
Other languages
English (en)
Other versions
KR101981332B1 (ko
Inventor
한영호
류창선
박성원
박종세
안동훈
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020120153300A priority Critical patent/KR101981332B1/ko
Publication of KR20140084438A publication Critical patent/KR20140084438A/ko
Application granted granted Critical
Publication of KR101981332B1 publication Critical patent/KR101981332B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

동영상 데이터에 대응하는 학습 데이터를 생성하는 서버는 동영상 데이터로부터 복수의 장면 중 제 1 장면에 대응하는 자막 데이터를 추출하는 자막 추출부, 상기 동영상 데이터로부터 상기 제 1 장면에 대응하는 음성 데이터를 추출하는 음성 추출부, 상기 추출된 자막 데이터 및 상기 추출된 음성 데이터에 기초하여 상기 자막 데이터에 포함된 복수의 단어 각각의 청취 난이도를 결정하는 청취 난이도 결정부 및 상기 결정된 청취 난이도에 기초하여 상기 제 1 장면에 대응하는 학습 데이터를 생성하는 학습 데이터 생성부를 포함한다.

Description

청취 난이도를 이용하여 학습 데이터를 생성하는 서버 및 방법{SERVER FOR GENERATING EDUCATION DATA BY USING LISTENING DIFFICULTY LEVER AND METHOD THEREOF}
동영상 데이터의 재생 화면에 포함된 자막의 청취 난이도를 이용하여 학습 데이터를 생성하는 서버 및 방법에 관한 것이다.
정보 통신 기술의 발전에 따라, 종래 단방향의 서비스를 제공하던 재생 장치, 예를 들어 TV는 근래들어 서비스 이용자와 밀접한 연관을 갖고 상호 작용을 하는, 이른바 양방향 서비스를 제공하는 재생 장치로 탈바꿈하였다. 대표적인 양방향 재생 장치는 IPTV, 스마트TV 등을 예로 들 수 있다.
서비스 이용자는 IPTV의 응용 프로그램을 이용하여 다양한 서비스를 제공받을 수 있고, 방송 컨텐츠 뿐만 아니라 VOD 컨텐츠를 제공받는 것이 대표적인 예이다.
다만, 이러한 VOD 컨텐츠 제공 서비스에 있어서, 외국어 학습능력을 향상시키는 컨텐츠를 제공받으려는 니즈 및 서비스 이용자의 수준에 맞는 컨텐츠를 제공받으려는 니즈가 계속되어 왔다.
동영상 데이터의 재생 화면에 포함된 자막의 청취 난이도를 이용하여 학습 데이터를 생성하는 서버 및 방법을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 동영상 데이터에 대응하는 학습 데이터를 생성하는 서버는 동영상 데이터로부터 복수의 장면 중 제 1 장면에 대응하는 자막 데이터를 추출하는 자막 추출부, 상기 동영상 데이터로부터 상기 제 1 장면에 대응하는 음성 데이터를 추출하는 음성 추출부, 상기 추출된 자막 데이터 및 상기 추출된 음성 데이터에 기초하여 상기 자막 데이터에 포함된 복수의 단어 각각의 청취 난이도를 결정하는 청취 난이도 결정부 및 상기 결정된 청취 난이도에 기초하여 상기 제 1 장면에 대응하는 학습 데이터를 생성하는 학습 데이터 생성부를 포함하는 것을 특징으로 한다.
한편, 본 발명의 다른 측면에 따른 동영상 데이터에 대응하는 학습 데이터를 생성하는 방법은 동영상 데이터로부터 복수의 장면 중 제 1 장면에 대응하는 자막 데이터를 추출하는 단계, 상기 동영상 데이터로부터 상기 제 1 장면에 대응하는 음성 데이터를 추출하는 단계, 상기 추출된 자막 데이터 및 상기 추출된 음성 데이터에 기초하여 상기 자막 데이터에 포함된 복수의 단어 각각의 청취 난이도를 결정하는 단계 및 상기 결정된 청취 난이도에 기초하여 상기 제 1 장면에 대응하는 학습 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명의 다른 측면에 따른 학습 동영상 데이터를 재생하는 장치는 학습 데이터 생성 서버로부터 상기 학습 동영상 데이터를 수신하는 통신부, 상기 수신된 학습 동영상 데이터를 이용하여 복수의 장면을 디스플레이 장치를 통해 재생하는 재생부, 상기 학습 동영상 데이터로부터 상기 복수의 장면 중 제 1 장면에 대응하는 학습 데이터를 추출하는 추출부 및 상기 추출된 학습 데이터를 상기 제 1 장면에 오버랩시켜 표시하는 표시부를 포함하고, 상기 학습 데이터는 상기 제 1 장면의 자막에 포함된 복수의 단어 각각의 청취 난이도의 차이를 반영하고, 상기 청취 난이도는 상기 제 1 장면에 대응하는 자막 데이터 및 음성 데이터에 기초하여 상기 학습 데이터 생성 서버에서 결정된 것을 특징으로 한다.
한편, 본 발명의 다른 측면에 따른 학습 동영상 데이터를 재생하는 방법은 학습 데이터 생성 서버로부터 상기 학습 동영상 데이터를 수신하는 단계, 상기 학습 동영상 데이터에 포함된 복수의 장면 중 제 1 장면에 대응하는 학습 데이터를 추출하는 단계, 상기 추출된 학습 데이터를 상기 제 1 장면에 오버랩시키는 단계 및 상기 추출된 학습 데이터가 오버랩된 복수의 장면을 디스플레이 장치를 통해 재생하는 단계를 포함하고, 상기 학습 데이터는 상기 제 1 장면의 자막에 포함된 복수의 단어 각각의 청취 난이도의 차이를 반영하고, 상기 청취 난이도는 상기 제 1 장면에 대응하는 자막 데이터 및 음성 데이터에 기초하여 상기 학습 데이터 생성 서버에서 결정된 것을 특징으로 한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 학습 데이터 생성 서버는 동영상 데이터의 재생 화면에 포함된 자막의 청취 난이도를 이용함으로써, 사용자의 수준에 맞는 맞춤형 학습 데이터를 제공하는 등 이용자 편의성을 도모할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 학습 데이터 생성 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 학습 데이터 생성 서버의 구성도이다.
도 3은 본 발명의 다른 실시예에 따른, 도 2에 도시된 청취 난이도 결정부의 구성도이다.
도 4는 본 발명의 일 실시예에 따른, 청취 난이도를 결정하는 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른, 추출된 음성 데이터를 분석한 그래프의 일례이다.
도 6은 본 발명의 일 실시예에 따른, 추출된 음성 데이터의 확률값을 도시한 그래프의 일례이다.
도 7은 본 발명의 일 실시예에 따른, 음소 별 데이터를 도시한 표의 일례이다.
도 8은 본 발명의 일 실시예에 따른, 자막형 학습 데이터를 생성하는 방법을 나타낸 동작 흐름도이다.
도 9는 본 발명의 일 실시예에 따른, 문제형 학습 데이터를 생성하는 방법을 나타낸 동작 흐름도이다.
도 10은 본 발명의 일 실시예에 따른, 반복 청취형 학습 데이터를 생성하는 방법을 나타낸 동작 흐름도이다.
도 11은 본 발명의 일 실시예에 따른, 컨텐츠 별 청취 난이도가 표시된 컨텐츠 제공 서비스를 도시한 화면의 일례이다.
도 12는 본 발명의 일 실시예에 따른, 도 1에 도시된 재생 장치의 구성도이다.
도 13은 본 발명의 일 실시예에 따른, 학습 데이터 생성 서버가 학습 데이터를 생성하는 방법을 나타낸 동작 흐름도이다.
도 14는 본 발명의 일 실시예에 따른, 재생 장치가 학습 동영상 데이터를 재생하는 방법을 나타낸 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 학습 데이터 생성 시스템의 구성도이다. 도 1을 참조하면, 학습 데이터 생성 시스템은 재생 장치(100), 모바일 단말(200), 학습 데이터 생성 서버(300), 청취 난이도 계산 서버(400), 컨텐츠 제공 서버(500) 및 네트워크를 포함할 수 있다. 다만, 이러한 도 1의 학습 데이터 생성 시스템은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.
재생 장치(100)는 사용자의 요청에 의해 컨텐츠 제공 서버(500)로부터 컨텐츠를 제공 받을 수 있다.
또한, 재생 장치(100)는 학습 데이터 생성 서버(300)로부터 학습 데이터를 수신할 수 있다. 재생 장치(100)는 컨텐츠 제공 서버(500)로부터 제공받은 컨텐츠와 학습 데이터 생성 서버(300)로부터 수신한 학습 데이터를 이용하여 학습 데이터가 표시된 컨텐츠를 사용자에게 제공할 수 있다.
재생 장치(100)에서 학습 데이터가 표시된 컨텐츠가 제공되는 동안, 모바일 단말(200)은 학습 데이터가 표시된 컨텐츠에 대한 보조 단말로서 이용될 수 있다. 예를 들어, 모바일 단말(200)은 학습 데이터를 별도로 수신하여 사용자에게 제공할 수 있다. 이 때 학습 데이터는 자막에 포함된 단어 별로 표시 형태를 달리하는 자막형 학습 데이터 또는 자막에 포함된 단어 중 적어도 하나 이상을 공백(blank)으로 표시한 주관식 문제 또는 복수의 보기를 표시하는 객관식 문제형 학습 데이터일 수 있다.
모바일 단말(200)은 학습 데이터 생성 서버(300)로부터 재생 장치(100) 또는 모바일 단말(200)에서 이용된 학습 데이터에 대한 정보를 수신할 수 있다. 이 때, 수신된 학습 데이터에 대한 정보는 wav파일, text파일, 음소 정보, 유사단어 정보, 문제 정보 등을 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면 재생 장치(100) 및 모바일 단말(200)은 다양한 형태일 수 있다. 예를 들어, 재생 장치(100) 및 모바일 단말(200)은 네트워크를 통해 원격지의 서버에 접속할 수 있는 TV 장치, 컴퓨터 또는 휴대용 단말일 수 있다. 여기서, TV 장치의 일 예에는 스마트 TV, IPTV 셋톱박스 등이 포함되고, 컴퓨터의 일 예에는 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등이 포함되고, 휴대용 단말의 일 예에는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치가 포함될 수 있다.
학습 데이터 생성 서버(300)는 청취 난이도 계산 서버(400)로부터 자막 데이터에 포함된 복수의 단어 각각의 청취 난이도를 수신할 수 있다. 이 때, 자막 데이터는 컨텐츠 제공 서버(500)에서 재생 장치(100)에게 제공 되는 컨텐츠에 대한 자막 데이터이다. 학습 데이터 생성 서버(300)는 수신한 청취 난이도와 자막 데이터를 이용하여 학습 데이터를 생성할 수 있다.
여기서, 자막 데이터에 포함된 단어들은 여러 종류의 언어일 수 있다. 즉, 해당 단어들은 제 2 외국어로서 영어, 일본어, 중국어, 독일어, 프랑스어, 이탈리아어 등 다양한 국가의 언어들을 포함할 수 있고, 제 2 외국어뿐만 아니라 모국어로서 한국어일 수 있다.
이하에서는 자막 데이터를 영어로 가정하고 설명한다.
학습 데이터 생성 서버(300)는 생성한 학습 데이터를 재생 장치(100)에게 전송할 수 있고, 재생 장치에 전송된 학습 데이터는 컨텐츠와 동기화되어 사용자에게 제공될 수 있다. 즉, 학습 데이터 생성 서버(300)는 컨텐츠 제공 서버(500)와 동기화(sync)될 수 있다. 이 때, 학습 데이터 생성 서버(300)는 사용자에게 제공된 학습 데이터에 대한 응답으로, 재생 장치(100)로부터 학습 데이터에 대응하는 정보를 수신할 수 있다. 예를 들어, 학습 데이터에 대응하는 정보는 객관식 또는 주관식 문제형 학습 데이터에 대한 사용자의 답이 될 수 있다.
또한, 학습 데이터 생성 서버(300)가 재생 장치(100)에게 전송하는 학습 데이터는, 사용자 관리 서버(600)에 저장된 재생 장치(100)의 사용자의 청취 능력과 학습 로그를 반영하여 결정된 것일 수 있다.
청취 난이도 계산 서버(400)는 컨텐츠 제공 서버(500)로부터 동영상 데이터를 수신하고, 수신한 동영상 데이터로부터 자막 데이터와 음성 데이터를 추출할 수 있다. 청취 난이도 계산 서버(400)는 추출된 자막 데이터와 음성 데이터에 기초하여 자막 데이터에 포함된 복수의 단어 각각의 청취 난이도를 결정할 수 있다.
본 발명의 다른 실시예에 따르면, 청취 난이도 계산 서버(400)는 컨텐츠 제공 서버(500)로부터 자막 데이터와 음성 데이터를 수신할 수도 있다. 즉, 자막 데이터와 음성 데이터의 추출은 청취 난이도 계산 서버(400)에서 수행될 수도 있고, 컨텐츠 제공 서버(500)에서 수행될 수도 있다.
컨텐츠 제공 서버(500)는 사용자의 요청에 대한 응답으로, 재생 장치(100)에게 컨텐츠를 전송할 수 있다. 또한, 컨텐츠 제공 서버(500)는 컨텐츠의 자막 데이터와 음성 데이터를 추출하여 청취 난이도 계산 서버(400)에게 전송할 수 있다. 또는, 컨텐츠 제공 서버(500)는 컨텐츠를 청취 난이도 계산 서버(400)에게 전송함으로써, 청취 난이도 계산 서버(400)에서 컨텐츠로부터 자막 데이터와 음성 데이터를 추출하게 할 수 있다.
사용자 관리 서버(600)는 학습 데이터 생성 서버(300)에서 재생 장치(100)로부터 수신한 학습 데이터에 대응하는 정보에 기초하여, 사용자의 청취 능력과 학습 로그를 저장할 수 있다. 이 때, 사용자의 청취 능력은 추후 수신하는 학습 데이터에 대응하는 정보에 기초하여 업데이트 될 수 있다. 또한, 사용자 관리 서버(600)는 재생 장치(100) 또는 모바일 단말(200) 또는 학습 데이터 생성 서버(300)로부터 특정 사용자의 청취 능력과 학습 로그를 요청받은 경우, 특정 사용자에 대한 청취 능력과 학습 로그를 재생 장치(100) 또는 모바일 단말(200) 또는 학습 데이터 생성 서버(300)에게 전송할 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(network)의 일 예에는 인터넷(Internet), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, LTE(Long Term Evolution), WiFi(Wireless Fidelity), WiMAX(World Interoperability for Microwave Access), WiGig(Wireless Gigabit) 등이 포함되나 이에 한정되지는 않는다.
본 발명의 다른 실시예에 따른, 학습 데이터 생성 서버(300), 청취 난이도 계산 서버(400) 및 컨텐츠 제공 서버(500)는 하나의 장치로서 동작할 수 있다.
이하에서는 학습 데이터 생성 서버(300)에서 청취 난이도 계산 서버(400) 및 컨텐츠 제공 서버(500)의 역할을 함께 하는 것으로 설명하겠다.
재생 장치(100)가 학습 데이터를 이용하여 사용자에게 제공하는 학습 서비스는 재생 장치(100)에 설치되어있는 애플리케이션을 통해 제공될 수 있다. 여기서 애플리케이션은 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함할 수 있다.
이하에서는 도 1의 학습 데이터 생성 서버(300)의 동작에 대해 보다 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 학습 데이터 생성 서버(300)의 구성도이다. 도 2를 참조하면, 자막 추출부(310), 음성 추출부(320), 청취 난이도 결정부(330), 학습 데이터 생성부(340), 동영상 데이터 생성부(350), 통신부(360) 및 DB(390)를 포함할 수 있다. 다만, 도 2에 도시된 학습 데이터 생성 서버(300)는 본 발명의 하나의 구현 예에 불과하며, 도 2에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다. 예를 들어, 학습 데이터 생성 서버(300)는 사용자로부터 어떤 명령 내지 정보를 입력받기 위한 유저 인터페이스가 더 포함될 수 있다. 이 경우, 유저 인터페이스는 일반적으로 키보드, 마우스 등과 같은 입력 장치가 될 수도 있으나, 영상 표시 장치에 표현되는 그래픽 유저 인터페이스(GUI, Graphical User interface)가 될 수도 있다.
자막 추출부(310)는 동영상 데이터로부터 복수의 장면 중 제 1 장면에 대응하는 자막 데이터를 추출할 수 있다. 이 때 동영상 데이터는 재생 장치(100)의 사용자로부터 제공을 요청받은 컨텐츠이다.
음성 추출부(320)는 동영상 데이터로부터 복수의 장면 중 제 1 장면에 대응하는 음성 데이터를 추출할 수 있다.
청취 난이도 결정부(330)는 추출된 자막 데이터 및 추출된 음성 데이터에 기초하여 추출된 자막 데이터에 포함된 복수의 단어 각각의 청취 난이도를 결정할 수 있다. 이 때, 자막 데이터는 구체적으로 제 1 장면의 재생 화면에 표시된 자막을 의미한다.
청취 난이도 결정부(330)는 청취 난이도 결정부(330)에서 결정된 단어 각각의 청취 난이도를 이용하여 전체 동영상 데이터의 청취 난이도를 결정할 수 있다.
또한, 청취 난이도 결정부(330)는 자막 데이터에 포함된 복수의 단어 각각의 빈도에 기초하여 청취 난이도를 결정할 수 있다.
이하에서는 도 2의 청취 난이도 결정부(330)의 동작에 대해 보다 구체적으로 설명한다.
도 3은 본 발명의 다른 실시예에 따른, 도 2에 도시된 청취 난이도 결정부의 구성도이다. 도 3을 참조하면, 청취 난이도 결정부(330)는 표준 발음 분석부(331), 대상 발음 분석부(332) 및 발음 비교부(333)를 포함할 수 있다.
표준 발음 분석부(331)는 발음 사전을 이용하여 자막 추출부(310)에서 추출한 자막 데이터의 표준 발음을 음소 단위로 분석할 수 있다.
대상 발음 분석부(332)는 음성 추출부(320)에서 추출한 음성 데이터의 대상 발음을 표준 발음 분석부(331)에서 분석된 음소 단위를 이용하여 분석할 수 있다.
발음 비교부(333)는 표준 발음 분석부(331)에서 분석된 표준 발음 및 대상 발음 분석부(332)에서 분석된 대상 발음을 비교함으로써 복수의 단어 각각의 청취 난이도를 결정할 수 있다. 예를 들어, 대상 발음에서 생략된 음소 또는 짧게 발음된 음소가 많을수록 청취 난이도는 높을 수 있다.
구체적으로, 표준 발음 분석부(331) 및 대상 발음 분석부(332)는 복수의 음소 각각의 지속시간 및 에너지를 분석할 수 있다.
이하에서는 도 4 내지 7을 이용하여 청취 난이도를 결정하는 방법에 대해 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 따른, 청취 난이도를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S401에서 재생 장치(100)는 동영상 데이터를 재생하고 있다.
단계 S402에서 자막 추출부(310)는 단계 S401에서 재생되는 동영상 데이터의 재생 화면에 포함된 자막을 추출할 수 있다.
단계 S403 및 단계 S404에서 표준 발음 분석부(331)는 발음 사전을 이용하여 단계 S402에서 추출된 자막을 음소 단위로 분리할 수 있다.
단계 S405에서 음성 추출부(320)는 단계 S401에서 재생되는 동영상 데이터의 음성 데이터를 추출할 수 있다.
단계 S406 및 S407에서 대상 발음 분석부(332)는 단계 S404에서 분리된 음소 단위를 이용하여 단계 S405에서 추출된 음성 데이터를 분석할 수 있다. 분석 결과로서, 대상 발음 분석부(332)는 단계 S405에서 추출된 음성 데이터의 음소 단위별 지속시간을 표시할 수 있다.
단계 S408에서 발음 비교부(333)는 단계 S404에서 분리된 음소 단위의 단위별 지속시간과 단계 S407에서 분석된 결과를 이용하여 청취 난이도를 계산할 수 있다. 이 때, 추가적으로 음소 단위별 에너지를 더 이용할 수 있다.
도 5는 본 발명의 일 실시예에 따른, 추출된 음성 데이터를 분석한 그래프의 일례이다.
그래프의 세로축을 살펴보면 음소별로 가로축의 구간이 분리되어 있는 영역(501)을 볼 수 있다. 이 때 가로 축은 시간축이므로 음소별 지속시간을 알 수 있다.
또한, 음소별 에너지 영역(502)은 에너지를 dB(데시벨) 단위의 선 그래프로 표시하였다.
도 6은 본 발명의 일 실시예에 따른, 추출된 음성 데이터의 확률값을 도시한 그래프의 일례이다.
도 6의 (a)는 에너지 확률값 p(e)를 세로축으로 갖는, 음소별 표준 발음 에너지 분포도이다.
도 6의 (b)는 지속시간 확률값 p(e)를 세로축으로 갖는, 음소별 표준 발음 지속시간 분포도이다. 이 때, T, AH, ER 각각은 도 5의 503 영역에 해당하는 음소이다.
도 7은 본 발명의 일 실시예에 따른, 음소 별 데이터를 도시한 표의 일례이다. 청취 난이도 결정부(330)는 도 7의 테이블을 이용하여 청취 난이도를 결정할 수 있다.
구체적으로 청취 난이도를 결정하는 수식은 다음과 같다.
[수식 1]
Figure pat00001
이 때,
Figure pat00002
는 i번째 단어의 난이도를 의미하고,
Figure pat00003
은 해당 단어에서 n번째 음소의 난이도를 의미한다. 또한,
Figure pat00004
는 i-2번째에 wi -2라는 단어와 i-1번째에 wi -1이라는 단어가 나왔을 때 i번째에 wi라는 단어가 주어질 확률(3-gram 확률)을 의미하고,
Figure pat00005
는 i-1번째에 wi -1이 주어졌을때, i번째에 wi라는 단어가 주어질 확률(2-gram 확률)을 의미하고,
Figure pat00006
는 i번째에 wi라는 단어가 주어질 확률(1-gram 확률)을 의미한다. 여기서, N-gram 확률은 낮을수록 알아듣기가 어려울 수 있다. 마지막으로,
Figure pat00007
는 weight로서 가중치를 의미한다.
이하 수식 2 내지 5에서는
Figure pat00008
,
Figure pat00009
,
Figure pat00010
,
Figure pat00011
각각을 구하는 수식을 설명한다.
[수식 2]
Figure pat00012
여기서,
Figure pat00013
및
Figure pat00014
는 각각 에너지 확률값, 지속시간 확률값을 의미하고,
Figure pat00015
및
Figure pat00016
는 각각 가중치를 의미한다. 추가적으로,
Figure pat00017
는 가우시안 분포도를 따르고,
Figure pat00018
는 쁘아송 분포도를 따를 수 있다.
[수식 3]
Figure pat00019
여기서
Figure pat00020
는 연속한 단어 wi -2, wi -1, wi가 동시에 발생할 빈도이고,
Figure pat00021
는 연속한 단어 wi -2, wi -1가 동시에 발생할 빈도이다.
[수식 4]
Figure pat00022
여기서
Figure pat00023
는 연속한 단어 wi -1, wi가 동시에 발생할 빈도이고,
Figure pat00024
는 단어 wi -1가 발생할 빈도이다.
[수식 5]
Figure pat00025
여기서
Figure pat00026
는 단어 w가 발생할 빈도이고,
Figure pat00027
는 확률 분포를 계산할 때 사용되는 훈련용 데이타베이스에서 출현한 단어의 개수를 의미한다.
이상에서 설명한 빈도, 확률 등은 DB(390)에 저장된 신문, 영화 자막, 서적 등의 훈련용 데이타를 분석하여 구할 수 있다.
도 2를 참조하면, 학습 데이터 생성부(340)는 청취 난이도 결정부(330)에서 결정된 청취 난이도에 기초하여 제 1 장면에 대응하는 학습 데이터를 생성할 수 있다.
또한, 학습 데이터 생성부(340)는 제 1 장면에 대응하는 반복 청취형 학습 데이터를 생성할 수 있다. 이하, 도 10을 참조하여 자세히 설명한다.
도 10은 본 발명의 일 실시예에 따른, 반복 청취형 학습 데이터를 생성하는 방법을 나타낸 동작 흐름도이다.
단계 S1001에서 재생 장치(100)는 컨텐츠의 제 1 장면을 재생할 수 있다.
단계 S1002에서 자막 추출부(310)는 단계 S1001에서 재생되는 컨텐츠의 제 1 장면에 대응하는 자막 데이터를 추출하고, 음성 추출부(320)는 단계 S1001에서 재생되는 컨텐츠의 제 1 장면에 대응하는 음성 데이터를 추출할 수 있다.
단계 S1003에서 대상 발음 분석부(332)는 단계 S1002에서 추출된 자막 데이터 및 음성 데이터를 음소 별로 분리할 수 있다. 이 때, 대상 발음 분석부(332)는 분리된 복수의 음소에 대한 정보 테이블을 작성할 수 있다.
단계 S1004에서 학습 데이터 생성부(340)는 단계 S1003에서 작성된 정보 테이블을 이용하여 테이블에 포함된 인덱스를 재생 화면에 표시할 수 있다.
따라서, 임의의 인덱스를 선택하는 유저 입력을 전송하면, 사용자는 유저 입력에 대응하는 단어를 반복해서 청취할 수 있다. 이 때, 복수의 단어별 청취 난이도를 이용해서 청취속도를 조절할 수 있다.
학습 데이터 생성부(340)는 청취 난이도 결정부(330)에서 결정된 청취 난이도에 기초하여 복수의 단어간의 표시 형태를 다르게 결정하고, 결정된 표시 형태에 기초하여 자막 데이터로부터 자막형 학습 데이터를 생성할 수 있다. 이 때, 표시 형태는 색상, 명암, 투명도, 모양 등이 될 수 있다. 이하에서는 도 8을 이용하여 자막형 학습 데이터를 설명한다.
도 8은 본 발명의 일 실시예에 따른, 자막형 학습 데이터를 생성하는 방법을 나타낸 동작 흐름도이다.
단계 S801에서 자막 추출부(310)는 동영상 데이터로부터 "It's our tradition. I have new traditions now."라는 자막 데이터를 추출할 수 있다.
단계 S802에서 청취 난이도 결정부(330)는 자막 데이터에 포함된 단어 각각에 대한 청취 난이도를 결정할 수 있다. 예를 들어, "our"는 0.25의 청취 난이도를 갖고, "new"는 0.71의 청취 난이도를 갖는다.
단어 S803에서 학습 데이터 생성부(340)는 복수의 단어들 각각의 청취 난이도에 따라서 명암을 달리하는 자막형 학습 데이터를 생성할 수 있다. 이 때, 청취 난이도가 낮아 알아듣기 쉬운 단어는 어둡게 표시되고, 청취 난이도가 높아 알아듣기 힘든 단어는 밝게 표시될 수 있다.
다시 도 2를 참조하면, 학습 데이터 생성부(340)는 청취 난이도 결정부(330)에서 결정된 청취 난이도에 기초하여 복수의 단어 중 어느 하나에 대한 문제형 학습 데이터를 생성할 수 있다. 이 때, 문제는 해당 단어가 공백 처리되는 주관식 문제일 수 있고, 복수의 지문 중 해당 단어가 포함된 객관식 문제일 수 있다. 문제형 학습 데이터는 재생 장치(100)의 사용자에 대응하는 청취 능력값에 더 기초하여 생성될 수 있다. 이하에서는 도 9를 이용하여 문제형 학습 데이터를 설명한다.
도 9는 본 발명의 일 실시예에 따른, 문제형 학습 데이터를 생성하는 방법을 나타낸 동작 흐름도이다.
단계 S901에서 학습자, 즉, 재생 장치(100)의 사용자는 0.4의 청취 능력값(수준)을 갖는다. 이 때, 사용자의 수준은 사용자로부터 입력받은 것일 수도 있고, 학습 데이터 생성 서버(300)에서 재생 장치(100)의 사용자의 학습 데이터 서비스 이력에 기초하여 결정할 수 있다.
단계 S902에서 자막 추출부(310)는 동영상 데이터로부터 "It's our tradition. I have new traditions now."라는 자막 데이터를 추출할 수 있다.
단계 S903에서 청취 난이도 결정부(330)는 자막 데이터에 포함된 단어 각각에 대한 청취 난이도를 결정할 수 있다. 예를 들어, "our"는 0.25의 청취 난이도를 갖고, "traditions"는 0.43의 청취 난이도를 갖는다.
이 때, 학습 데이터 생성부(340)는 사용자의 수준과 가장 비슷한 청취 난이도를 갖는 단어를 선택할 수 있다. 학습 데이터 생성부(340)에 의해 선택된 단어는 사용자 수준인 0.4에 가장 가까운 0.43의 청취 난이도를 갖는 "traditions"이다. 다만, 본 발명의 다른 실시예에 따른 학습 데이터 생성부(340)는 미리 설정된 복수개의 단어를 문제 대상으로 결정할 수 있다.
단계 S904에서 청취 난이도 결정부(330)는 "traditions" 앞의 두 단어 "have new" 이후에 올 수 있는 단어를 DB(390)로부터 추출할 수 있다. 이 때 추출된 단어는 "traditions"와의 발음 유사도와 함께 표시될 수 있다.
단계 S905에서 청취 난이도 결정부(330)는 DB(390)로부터 추출된 복수의 단어들 중 미리 설정된 개수만큼의 지문을 선택함으로써 문제형 학습 데이터를 생성할 수 있다. 이 때, 복수의 단어를 선택하는 방식은, 사용자의 수준과 비슷한 단어들을 선택하는 방식일 수 있다.
이 후, 통신부(360)는 재생 장치(100) 또는 모바일 단말(200)로부터 4개의 지문 중 하나를 선택하는 유저 입력을 수신할 수 있다.
다시 도 2를 참조하면, 동영상 데이터 생성부(350)는 동영상 데이터 및 학습 데이터 생성부(340)에서 생성된 학습 데이터를 이용하여 학습 동영상 데이터를 생성할 수 있다. 이 때, 동영상 데이터 생성부(350)는 청취 난이도 결정부(330)에서 결정된 동영상 데이터의 청취 난이도를 학습 동영상 데이터에 포함시킬 수 있다.
동영상 데이터의 청취 난이도와 관련하여 도 11을 참조한다. 도 11은 본 발명의 일 실시예에 따른, 컨텐츠 별 청취 난이도가 표시된 컨텐츠 제공 서비스를 도시한 화면의 일례이다.
컨텐츠 제공 서비스 화면에서 복수의 컨텐츠가 포함된 영역(1102)은 컨텐츠의 청취 난이도가 표시될 수 있다. 또한, 컨텐츠 제공 서비스 화면에는 사용자의 청취 능력값(1101)이 표시되어 컨텐츠를 선택하는데 도움을 줄 수 있다.
통신부(360)는 동영상 데이터 생성부(350)에서 생성된 학습 동영상 데이터를 재생 장치(100)에게 전송할 수 있다. 또한, 통신부(360)는 재생 장치(100)와 연동된 모바일 단말(200)에게 학습 데이터 생성부(340)에서 생성된 학습 데이터를 전송할 수 있다.
통신부(360)는 재생 장치(100) 또는 모바일 단말(200)로부터 문제형 학습 데이터에 대응하는 응답을 수신할 수 있다.
청취 능력값 조정부(미도시)는 통신부(360)에서 수신한 문제형 학습 데이터에 대응하는 응답에 기초하여 사용자에 대응하는 청취 능력값을 조정할 수 있다.
DB(390)는 데이터를 저장한다. 이 때, 데이터는 학습 데이터 생성 서버(300) 내부의 각 구성요소들 간에 입력 및 출력되는 데이터를 포함하고, 학습 데이터 생성 서버(300)와 학습 데이터 생성 서버(300) 외부의 구성요소들간에 입력 및 출력되는 데이터를 포함한다. 예를 들어, DB(390)는 음성 추출부(320)에서 추출한 음성 데이터를 저장할 수 있다. 이러한 DB(390)의 일 예에는 학습 데이터 생성 서버(300) 내부 또는 외부에 존재하는 하드디스크드라이브, ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬메모리 및 메모리카드 등이 포함된다.
당업자라면, 자막 추출부(310), 음성 추출부(320), 청취 난이도 결정부(330), 학습 데이터 생성부(340), 동영상 데이터 생성부(350), 통신부(360), 청취 능력값 조정부(미도시) 및 DB(390) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
이하에서는 도 1의 재생 장치(100)의 동작에 대해 보다 구체적으로 설명한다.
도 12는 본 발명의 일 실시예에 따른, 도 1에 도시된 재생 장치의 구성도이다. 도 12를 참조하면, 재생 장치(100)는 통신부(110), 재생부(120), 추출부(130), 표시부(140) 및 DB(190)를 포함할 수 있다. 다만, 도 12에 도시된 재생 장치(100)는 본 발명의 하나의 구현 예에 불과하며, 도 12에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다. 예를 들어, 재생 장치(100)는 사용자로부터 어떤 명령 내지 정보를 입력받기 위한 유저 인터페이스가 더 포함될 수 있다. 이 경우, 유저 인터페이스는 일반적으로 키보드, 마우스 등과 같은 입력 장치가 될 수도 있으나, 영상 표시 장치에 표현되는 그래픽 유저 인터페이스(GUI, Graphical User interface)가 될 수도 있다.
통신부(110)는 학습 데이터 생성 서버(300)로부터 학습 동영상 데이터를 수신할 수 있다.
재생부(120)는 통신부(110)에서 수신한 학습 동영상 데이터를 이용하여 복수의 장면을 디스플레이 장치를 통해 재생할 수 있다.
추출부(130)는 통신부(110)에서 수신한 학습 동영상 데이터로부터 복수의 장면 중 제 1 장면에 대응하는 학습 데이터를 추출할 수 있다. 이 때, 학습 데이터는 제 1 장면의 자막에 포함된 복수의 단어 각각의 청취 난이도의 차이를 반영할 수 있고, 청취 난이도는 제 1 장면에 대응하는 자막 데이터 및 음성 데이터에 기초하여 학습 데이터 생성 서버(300)에서 결정될 수 있다. 구체적으로, 제 1 장면의 자막에 포함된 복수의 단어들은 복수의 단어 각각의 청취 난이도에 기초하여 다른 형태로 표시될 수 있다.
표시부(140)는 추출부(130)에서 추출한 학습 데이터를 제 1 장면에 오버랩시켜 표시할 수 있다. 즉, 재생부(120)는 통신부(110)에서 수신한 학습 동영상 데이터를 이용하여 추출부(130)에서 추출한 학습 데이터가 오버랩된 복수의 장면을 디스플레이 장치를 통해 재생할 수 있다.
DB(190)는 데이터를 저장한다. 이 때, 데이터는 재생 장치(100) 내부의 각 구성요소들 간에 입력 및 출력되는 데이터를 포함하고, 재생 장치(100)와 재생 장치(100) 외부의 구성요소들간에 입력 및 출력되는 데이터를 포함한다. 예를 들어, DB(190)는 추출부(130)에서 추출한 학습 데이터를 저장할 수 있다. 이러한 DB(190)의 일 예에는 재생 장치(100) 내부 또는 외부에 존재하는 하드디스크드라이브, ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬메모리 및 메모리카드 등이 포함된다.
당업자라면, 통신부(110), 재생부(120), 추출부(130), 표시부(140) 및 DB(190) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 13은 본 발명의 일 실시예에 따른, 학습 데이터 생성 서버가 학습 데이터를 생성하는 방법을 나타낸 동작 흐름도이다. 도 13에 도시된 실시예에 따른 학습 데이터 생성 서버가 학습 데이터를 생성하는 방법은 도 2 내지 도 12에 도시된 실시예에 따른 학습 데이터 생성 서버(300)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 2 내지 도 12의 학습 데이터 생성 서버(300)에 관하여 기술된 내용은 도 13에 도시된 실시예에 따른 학습 데이터 생성 서버가 학습 데이터를 생성하는 방법에도 적용된다.
단계 S1301에서 학습 데이터 생성 서버(300)는 동영상 데이터로부터 복수의 장면 중 제 1 장면에 대응하는 자막 데이터 추출할 수 있다.
단계 S1302에서 학습 데이터 생성 서버(300)는 동영상 데이터로부터 제 1 장면에 대응하는 음성 데이터 추출할 수 있다.
단계 S1303에서 학습 데이터 생성 서버(300)는 추출된 자막 데이터 및 추출된 음성 데이터에 기초하여 자막 데이터에 포함된 복수의 단어 각각의 청취 난이도를 결정할 수 있다.
단계 S1304에서 학습 데이터 생성 서버(300)는 단계 S1303에서 결정된 청취 난이도에 기초하여 제 1 장면에 대응하는 학습 데이터 생성할 수 있다.
도 14는 본 발명의 일 실시예에 따른, 재생 장치가 학습 동영상 데이터를 재생하는 방법을 나타낸 동작 흐름도이다. 도 14에 도시된 실시예에 따른 재생 장치가 학습 동영상 데이터를 재생하는 방법은 도 2 내지 도 12에 도시된 실시예에 따른 학습 데이터 재생 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 2 내지 도 12의 재생 장치(100)에 관하여 기술된 내용은 도 13에 도시된 실시예에 따른 재생 장치가 학습 동영상 데이터를 재생하는 방법에도 적용된다.
단계 S1401에서 재생 장치(100)는 학습 데이터 생성 서버(300)로부터 학습 동영상 데이터를 수신할 수 있다.
단계 S1402에서 재생 장치(100)는 학습 동영상 데이터에 포함된 복수의 장면 중 제 1 장면에 대응하는 학습 데이터를 추출할 수 있다. 이 때, 학습 데이터는 제 1 장면의 자막에 포함된 복수의 단어 각각의 청취 난이도의 차이를 반영하고, 청취 난이도는 제 1 장면에 대응하는 자막 데이터 및 음성 데이터에 기초하여 학습 데이터 생성 서버(300)에서 결정될 수 있다.
단계 S1403에서 재생 장치(100)는 단계 S1402에서 추출된 학습 데이터를 제 1 장면에 오버랩시킬 수 있다.
단계 S1404에서 재생 장치(100)는 단계 S1402에서 추출된 학습 데이터가 오버랩된 복수의 장면을 디스플레이 장치를 통해 재생할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 재생 장치
200: 모바일 단말
300: 학습 데이터 생성 서버
400: 청취 난이도 계산 서버
500: 컨텐츠 제공 서버

Claims (15)

  1. 동영상 데이터에 대응하는 학습 데이터를 생성하는 서버에 있어서,
    동영상 데이터로부터 복수의 장면 중 제 1 장면에 대응하는 자막 데이터를 추출하는 자막 추출부;
    상기 동영상 데이터로부터 상기 제 1 장면에 대응하는 음성 데이터를 추출하는 음성 추출부;
    상기 추출된 자막 데이터 및 상기 추출된 음성 데이터에 기초하여 상기 자막 데이터에 포함된 복수의 단어 각각의 청취 난이도를 결정하는 청취 난이도 결정부; 및
    상기 결정된 청취 난이도에 기초하여 상기 제 1 장면에 대응하는 학습 데이터를 생성하는 학습 데이터 생성부를 포함하는 학습 데이터 생성 서버.
  2. 제 1 항에 있어서,
    상기 동영상 데이터 및 상기 생성된 학습 데이터를 이용하여 학습 동영상 데이터를 생성하는 동영상 데이터 생성부; 및
    상기 생성된 학습 동영상 데이터를 재생 장치에게 전송하는 통신부를 포함하는 학습 데이터 생성 서버.
  3. 제 2 항에 있어서,
    상기 학습 데이터 생성부는 상기 복수의 단어간의 표시 형태를 다르게 결정하고, 결정된 표시 형태에 기초하여 상기 자막 데이터로부터 자막형 학습 데이터를 생성하는 것인, 학습 데이터 생성 서버.
  4. 제 2 항에 있어서,
    상기 학습 데이터 생성부는 상기 복수의 단어 중 어느 하나에 대한 문제형 학습 데이터를 생성하는 것인, 학습 데이터 생성 서버.
  5. 제 2 항에 있어서,
    상기 청취 난이도 결정부는 상기 결정된 단어 각각의 청취 난이도를 이용하여 상기 동영상 데이터의 청취 난이도를 결정하고,
    상기 동영상 데이터 생성부는 상기 결정된 동영상 데이터의 청취 난이도를 상기 학습 동영상 데이터에 포함시키는 것인, 학습 데이터 생성 서버.
  6. 제 2 항에 있어서,
    상기 통신부는 상기 재생 장치와 연동된 모바일 단말에게 상기 생성된 학습 데이터를 전송하는 것인, 학습 데이터 생성 서버.
  7. 제 4 항에 있어서,
    상기 문제형 학습 데이터는 상기 재생 장치의 사용자에 대응하는 청취 능력값에 더 기초하여 생성되는 것인, 학습 데이터 생성 서버.
  8. 제 7 항에 있어서,
    상기 통신부에 의해 문제형 학습 데이터에 대응하는 응답을 수신하고, 상기 수신된 응답에 기초하여 상기 사용자에 대응하는 청취 능력값을 조정하는 청취 능력값 조정부를 더 포함하는 학습 데이터 생성 서버.
  9. 제 1 항에 있어서,
    상기 청취 난이도 결정부는,
    발음 사전을 이용하여 상기 추출된 자막 데이터의 표준 발음을 음소 단위로 분석하는 표준 발음 분석부;
    상기 추출된 음성 데이터의 대상 발음을 상기 분석된 음소 단위를 이용하여 분석하는 대상 발음 분석부; 및
    상기 분석된 표준 발음 및 상기 분석된 대상 발음을 비교함으로써 상기 복수의 단어 각각의 청취 난이도를 결정하는 발음 비교부를 포함하는 학습 데이터 생성 서버.
  10. 제 9 항에 있어서,
    상기 표준 발음 분석부 및 상기 대상 발음 분석부는 복수의 음소 각각의 지속시간 및 에너지를 분석하는 것인, 학습 데이터 생성 서버.
  11. 제 1 항에 있어서,
    상기 청취 난이도는 상기 복수의 단어 각각의 빈도에 기초하여 결정되는 것인, 학습 데이터 생성 서버.
  12. 동영상 데이터에 대응하는 학습 데이터를 생성하는 방법에 있어서,
    동영상 데이터로부터 복수의 장면 중 제 1 장면에 대응하는 자막 데이터를 추출하는 단계;
    상기 동영상 데이터로부터 상기 제 1 장면에 대응하는 음성 데이터를 추출하는 단계;
    상기 추출된 자막 데이터 및 상기 추출된 음성 데이터에 기초하여 상기 자막 데이터에 포함된 복수의 단어 각각의 청취 난이도를 결정하는 단계; 및
    상기 결정된 청취 난이도에 기초하여 상기 제 1 장면에 대응하는 학습 데이터를 생성하는 단계를 포함하는 학습 데이터 생성 방법.
  13. 학습 동영상 데이터를 재생하는 장치에 있어서,
    학습 데이터 생성 서버로부터 상기 학습 동영상 데이터를 수신하는 통신부;
    상기 수신된 학습 동영상 데이터를 이용하여 복수의 장면을 디스플레이 장치를 통해 재생하는 재생부;
    상기 학습 동영상 데이터로부터 상기 복수의 장면 중 제 1 장면에 대응하는 학습 데이터를 추출하는 추출부; 및
    상기 추출된 학습 데이터를 상기 제 1 장면에 오버랩시켜 표시하는 표시부를 포함하고,
    상기 학습 데이터는 상기 제 1 장면의 자막에 포함된 복수의 단어 각각의 청취 난이도의 차이를 반영하고,
    상기 청취 난이도는 상기 제 1 장면에 대응하는 자막 데이터 및 음성 데이터에 기초하여 상기 학습 데이터 생성 서버에서 결정된 것인, 재생 장치.
  14. 제 13 항에 있어서,
    상기 제 1 장면의 자막에 포함된 복수의 단어들은 상기 복수의 단어 각각의 청취 난이도에 기초하여 다른 형태로 표시된 것인, 재생 장치.
  15. 학습 동영상 데이터를 재생하는 방법에 있어서,
    학습 데이터 생성 서버로부터 상기 학습 동영상 데이터를 수신하는 단계;
    상기 학습 동영상 데이터에 포함된 복수의 장면 중 제 1 장면에 대응하는 학습 데이터를 추출하는 단계;
    상기 추출된 학습 데이터를 상기 제 1 장면에 오버랩시키는 단계; 및
    상기 추출된 학습 데이터가 오버랩된 복수의 장면을 디스플레이 장치를 통해 재생하는 단계를 포함하고,
    상기 학습 데이터는 상기 제 1 장면의 자막에 포함된 복수의 단어 각각의 청취 난이도의 차이를 반영하고,
    상기 청취 난이도는 상기 제 1 장면에 대응하는 자막 데이터 및 음성 데이터에 기초하여 상기 학습 데이터 생성 서버에서 결정된 것인, 재생 방법.
KR1020120153300A 2012-12-26 2012-12-26 청취 난이도를 이용하여 학습 데이터를 생성하는 서버 및 방법 KR101981332B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120153300A KR101981332B1 (ko) 2012-12-26 2012-12-26 청취 난이도를 이용하여 학습 데이터를 생성하는 서버 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120153300A KR101981332B1 (ko) 2012-12-26 2012-12-26 청취 난이도를 이용하여 학습 데이터를 생성하는 서버 및 방법

Publications (2)

Publication Number Publication Date
KR20140084438A true KR20140084438A (ko) 2014-07-07
KR101981332B1 KR101981332B1 (ko) 2019-05-23

Family

ID=51734310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120153300A KR101981332B1 (ko) 2012-12-26 2012-12-26 청취 난이도를 이용하여 학습 데이터를 생성하는 서버 및 방법

Country Status (1)

Country Link
KR (1) KR101981332B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023022316A1 (ko) * 2021-08-16 2023-02-23 박봉래 외국어 동영상의 자막 필터링 방법 및 이를 수행하는 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102267725B1 (ko) * 2019-10-22 2021-06-22 주식회사 카카오 데이터베이스 구축 방법 및 장치
KR20220048958A (ko) 2020-10-13 2022-04-20 봉래 박 외국어 동영상의 자막 필터링 방법 및 이를 수행하는 시스템
WO2023022323A1 (ko) * 2021-08-16 2023-02-23 박봉래 외국어 음성의 청취 난이도 평가 방법, 장치 및 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007597A (ko) * 2000-07-18 2002-01-29 윤덕용 인터넷 상에서의 자동발음 비교방법을 이용한 외국어 발음학습 및 구두 테스트 방법
JP2007257341A (ja) * 2006-03-23 2007-10-04 Sharp Corp 音声データ再生装置および音声データ再生装置のデータ表示方法
JP2009210829A (ja) * 2008-03-04 2009-09-17 Nippon Hoso Kyokai <Nhk> 音響モデル学習装置およびプログラム
KR20120015576A (ko) * 2010-08-12 2012-02-22 에스케이 텔레콤주식회사 학습 관리 서비스 시스템 및 방법
KR20120050185A (ko) 2010-11-10 2012-05-18 임권세 멀티미디어 플레이어 제공 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007597A (ko) * 2000-07-18 2002-01-29 윤덕용 인터넷 상에서의 자동발음 비교방법을 이용한 외국어 발음학습 및 구두 테스트 방법
JP2007257341A (ja) * 2006-03-23 2007-10-04 Sharp Corp 音声データ再生装置および音声データ再生装置のデータ表示方法
JP2009210829A (ja) * 2008-03-04 2009-09-17 Nippon Hoso Kyokai <Nhk> 音響モデル学習装置およびプログラム
KR20120015576A (ko) * 2010-08-12 2012-02-22 에스케이 텔레콤주식회사 학습 관리 서비스 시스템 및 방법
KR20120050185A (ko) 2010-11-10 2012-05-18 임권세 멀티미디어 플레이어 제공 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023022316A1 (ko) * 2021-08-16 2023-02-23 박봉래 외국어 동영상의 자막 필터링 방법 및 이를 수행하는 시스템

Also Published As

Publication number Publication date
KR101981332B1 (ko) 2019-05-23

Similar Documents

Publication Publication Date Title
US11463779B2 (en) Video stream processing method and apparatus, computer device, and storage medium
US11272257B2 (en) Method and apparatus for pushing subtitle data, subtitle display method and apparatus, device and medium
US11252444B2 (en) Video stream processing method, computer device, and storage medium
US11350178B2 (en) Content providing server, content providing terminal and content providing method
US10893307B2 (en) Video subtitle display method and apparatus
US9547642B2 (en) Voice to text to voice processing
US10652592B2 (en) Named entity disambiguation for providing TV content enrichment
US20160021334A1 (en) Method, Apparatus and System For Regenerating Voice Intonation In Automatically Dubbed Videos
CN109348145B (zh) 基于字幕生成关联弹幕的方法及设备、计算机可读介质
KR101473249B1 (ko) 콘텐츠 재생 속도 테이블 생성 서버, 디바이스 및 방법
KR20160056734A (ko) 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR101981332B1 (ko) 청취 난이도를 이용하여 학습 데이터를 생성하는 서버 및 방법
CN103984772A (zh) 文本检索字幕库生成方法和装置、视频检索方法和装置
CN113035199B (zh) 音频处理方法、装置、设备及可读存储介质
US20180069914A1 (en) Enhancing digital media with supplemental contextually relevant content
CN108491178B (zh) 信息浏览方法、浏览器和服务器
JP2018528730A (ja) 動画提供装置、動画提供方法及びそのコンピュータプログラム
Martín et al. Deep-Sync: A novel deep learning-based tool for semantic-aware subtitling synchronisation
KR101962126B1 (ko) 음성 인식 결과에 따라 데이터베이스에 액세스하는 멀티미디어 디바이스 및 그 제어 방법
KR101472014B1 (ko) 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 장치 및 방법
US20230326369A1 (en) Method and apparatus for generating sign language video, computer device, and storage medium
KR101482148B1 (ko) 개인화된 발음열을 이용한 그룹 매핑 데이터 생성 서버, 음성 인식 서버 및 방법
KR20160131730A (ko) 자연어 처리 시스템, 자연어 처리 장치, 자연어 처리 방법 및 컴퓨터 판독가능 기록매체
KR20220135203A (ko) 스트리밍 방송에서의 자동 추천 음악 지원 시스템
CN112562733A (zh) 媒体数据处理方法及装置、存储介质、计算机设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant