KR20220135901A - 맞춤형 교육 콘텐츠 제공 장치, 방법 및 프로그램 - Google Patents

맞춤형 교육 콘텐츠 제공 장치, 방법 및 프로그램 Download PDF

Info

Publication number
KR20220135901A
KR20220135901A KR1020210042180A KR20210042180A KR20220135901A KR 20220135901 A KR20220135901 A KR 20220135901A KR 1020210042180 A KR1020210042180 A KR 1020210042180A KR 20210042180 A KR20210042180 A KR 20210042180A KR 20220135901 A KR20220135901 A KR 20220135901A
Authority
KR
South Korea
Prior art keywords
educational
image
video
search keyword
information
Prior art date
Application number
KR1020210042180A
Other languages
English (en)
Inventor
정민혁
Original Assignee
주식회사 비전서치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비전서치 filed Critical 주식회사 비전서치
Priority to KR1020210042180A priority Critical patent/KR20220135901A/ko
Publication of KR20220135901A publication Critical patent/KR20220135901A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7343—Query language or query format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 맞춤형 교육 콘텐츠 제공 장치에 관한 것으로, 교육 영상에서 음성 데이터 및 영상 데이터를 추출하고, 추출된 데이터 내에서 기 설정된 조건에 부합하는 영상/음성 정보를 인식한 후에, 타임 로그와 함께 데이터베이스에 저장함으로써, 사용자로부터 특정 검색 키워드가 수신되면 데이터베이스를 검색하여 맞춤형 교육 콘텐츠를 제공할 수 있는 효과가 있다.

Description

맞춤형 교육 콘텐츠 제공 장치, 방법 및 프로그램 {Devices, methods and programs for providing customized educational content}
본 발명은 맞춤형 교육 콘텐츠 제공 장치에 관한 것이다.
최근 들어, 비대면으로 교육을 진행할 수 있는 교육용 동영상의 공급 및 소비가 양적으로 증가하는 추세이다.
하지만, 이러한 양적 증가는 기존 대면 교육의 대체 방안에만 머무르고 있을 뿐, 방대한 교육용 동영상을 쉽고 효율적으로 활용하거나 사용자 기반으로 맞춤형 교육은 제공되지 못하고 있다는 문제점이 있다.
예를 들어, 종래의 교육용 동영상을 이용하여 학습하기 위해서, 이용자는 방대한 교육용 동영상 내에서 본인이 필요로 하는 교육 콘텐츠를 찾는데 많은 시간을 할애해야 하는 단점이 있다.
이에, 본 출원인은 교육 영상에서 콘텐츠를 추출함으로써 효율적인 교육 방법을 제시하는 것은 물론, 빅데이터를 구축하여 맞춤형 교육까지 진행할 수 있도록 하기 위해서 본 발명을 안출하게 되었다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 교육 영상에서 음성 데이터 및 영상 데이터를 추출하고, 추출된 데이터 내에서 기 설정된 조건에 부합하는 영상/음성 정보를 인식한 후에, 타임 로그와 함께 데이터베이스에 저장함으로써, 사용자로부터 특정 검색 키워드가 수신되면 데이터베이스를 검색하여 맞춤형 교육 콘텐츠를 제공하고자 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 맞춤형 교육 콘텐츠 제공 방법은, 컴퓨터에 의해 수행되는 방법으로, 교육 영상에서 음성 데이터 및 영상 데이터를 추출하는 단계; 상기 영상 및 음성 데이터에서 기 설정된 조건에 부합하는 적어도 하나의 영상 및 음성 정보를 인식하고, 인식된 영상 및 음성 정보를 문자 정보로 추출하여 타임 로그와 함께 상기 데이터베이스에 콘텐츠 로그 데이터로 저장하는 단계; 특정 사용자로부터 적어도 하나의 검색 키워드를 수신하는 단계; 상기 수신된 검색 키워드를 상기 데이터베이스에 검색하여, 상기 검색 키워드와 매칭되는 문자 정보를 포함하는 교육 영상을 추출하는 단계; 및 상기 사용자 단말로 상기 추출된 교육 영상을 제공하되, 상기 사용자의 검색 키워드에 매칭되는 문자 정보가 존재하는 타임 라인에 대한 정보를 함께 제공하는 단계를 포함한다.
또한, 상기 음성 데이터 및 영상 데이터 추출 단계 이전에, 데이터베이스에 저장된 검색 키워드를 기반으로 온라인 동영상 플랫폼에서 분석 대상 교육 영상을 검색하는 단계를 더 포함할 수 있다.
또한, 상기 데이터베이스에 저장된 검색 키워드는 온라인 동영상 플랫폼에서 분석 대상 교육 영상을 검색하기 위한 적어도 하나의 키워드를 포함하는 것이고, 상기 컴퓨터는 상기 온라인 동영상 플랫폼에서 검색된 복수 개의 교육 영상 내 메타 데이터를 기반으로 분석 우선순위를 설정하는 것을 특징으로 한다.
또한, 상기 컴퓨터는, 교육 영상과 상기 검색 키워드의 적합도, 교육 영상의 일일 평균 조회수, 교육 영상을 게시한 채널의 이용자수, 교육 영상을 게시한 채널에서 게시된 동영상의 수 중 적어도 하나를 기반으로 우선순위를 설정하는 것을 특징으로 한다.
또한, 상기 컴퓨터는, 상기 추출된 교육 영상을 데이터베이스에서 로딩한 후, 상기 추출된 교육 영상에서 상기 검색 키워드와 매칭되는 문자 정보를 포함하는 재생 구간의 영상을 상기 사용자 단말로 제공하거나, 또는 상기 추출된 교육 영상에서 상기 검색 키워드와 매칭되는 문자 정보를 포함하는 재생 구간을 재생할 수 있는 링크 주소를 생성하여 상기 사용자 단말로 제공할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 맞춤형 교육 콘텐츠 제공 장치는, 적어도 하나의 검색 키워드가 저장된 데이터베이스; 및 교육 영상에서 음성 데이터 및 영상 데이터를 추출하고, 상기 영상 및 음성 데이터에서 기 설정된 조건에 부합하는 적어도 하나의 영상 및 음성 정보를 인식하고, 인식된 영상 및 음성 정보를 문자 정보로 추출하여 타임 로그와 함께 상기 데이터베이스에 콘텐츠 로그 데이터로 저장하고, 특정 사용자로부터 적어도 하나의 검색 키워드를 수신하고, 상기 수신된 검색 키워드를 상기 데이터베이스에 검색하여, 상기 검색 키워드와 매칭되는 교육 영상을 추출하고, 상기 사용자 단말로 상기 추출된 교육 영상을 제공하되, 상기 사용자의 검색 키워드에 매칭된 문자 정보가 존재하는 타임 라인에 대한 정보를 함께 제공하는 프로세서를 포함한다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 교육 영상에서 음성 데이터 및 영상 데이터를 추출하고, 추출된 데이터 내에서 기 설정된 조건에 부합하는 영상/음성 정보를 인식한 후에, 타임 로그와 함께 데이터베이스에 저장함으로써, 사용자로부터 특정 검색 키워드가 수신되면 데이터베이스를 검색하여 맞춤형 교육 콘텐츠를 제공할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 맞춤형 교육 콘텐츠 제공 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따른 정보 수집부를 예시한 도면이다.
도 3은 본 발명의 실시예에 따른 검색 키워드 DB를 예시한 도면이다.
도 4는 본 발명의 실시예에 따른 정보 추출부를 예시한 도면이다.
도 5는 교육 영상에서 영상 정보를 인식하고, 이를 문자 정보로 추출하여 저장하는 것을 예시한 도면이다.
도 6은 음성 데이터를 전처리하는 것을 예시한 도면이다.
도 7은 본 발명의 실시예에 따른 추출정보 DB를 예시한 도면이다.
도 8은 본 발명의 실시예에 따른 정보 제공부를 예시한 도면이다.
도 9는 사용자 단말로부터 수신된 검색 키워드를 기반으로 검색된 결과를 제공하는 것을 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 맞춤형 교육 콘텐츠 제공 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따른 정보 수집부를 예시한 도면이다.
도 3은 본 발명의 실시예에 따른 검색 키워드 DB를 예시한 도면이다.
도 4는 본 발명의 실시예에 따른 정보 추출부를 예시한 도면이다.
도 5는 교육 영상에서 영상 정보를 인식하고, 이를 문자 정보로 추출하여 저장하는 것을 예시한 도면이다.
도 6은 음성 데이터를 전처리하는 것을 예시한 도면이다.
도 7은 본 발명의 실시예에 따른 추출정보 DB를 예시한 도면이다.
도 8은 본 발명의 실시예에 따른 정보 제공부를 예시한 도면이다.
도 9는 사용자 단말로부터 수신된 검색 키워드를 기반으로 검색된 결과를 제공하는 것을 예시한 도면이다.
이하, 도 1 내지 도 9를 참조하여, 본 발명의 실시예에 따른 맞춤형 교육 콘텐츠 제공 장치, 방법 및 프로그램에 대해서 설명하도록 한다.
도 1을 참조하면, 본 발명의 실시예에 따른 맞춤형 교육 콘텐츠 제공 시스템은 맞춤형 교육 콘텐츠 제공 장치를 포함하며, 맞춤형 교육 콘텐츠 제공 장치는 프로세서, 정보 수집부, 정보 추출부, 정보 제공부, 데이터베이스를 포함한다.
다만, 몇몇 실시예에서 맞춤형 교육 콘텐츠 제공 장치는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.
예를 들어, 맞춤형 교육 콘텐츠 제공 장치는 사용자 단말과 통신하기 위한 통신부, 관리자/운영자로부터 각종 정보를 입력받고 정보를 출력하기 위한 입출력부 등을 구성으로 더 포함할 수 있다.
프로세서는 맞춤형 교육 콘텐츠 제공 장치 내 모든 구성들의 제어/동작을 수행하며, 데이터베이스, 메모리에 저장된 알고리즘, 명령어 등을 실행함으로써 본 발명의 실시예에 따른 콘텐츠 추출 방법을 수행할 수 있다.
데이터베이스는 검색 키워드 DB, 영상 목록 DB, 추출정보 DB 등을 포함하여 구성될 수 있으나, 각각의 DB가 분리되는 것으로 한정되는 것은 아니다.
또한, 본 발명의 실시예에 따른 맞춤형 교육 콘텐츠 제공 장치는 기 설정된 각종 프로세스를 진행하여 콘텐츠를 추출하여 데이터베이스에 빅데이터를 구축하고, 사용자 단말로부터 검색어가 수신되면 검색어를 기반으로 맞춤형 콘텐츠를 검색하여 제공하게 된다.
본 발명의 실시예에 따른 맞춤형 교육 콘텐츠 제공 장치는 컴퓨터, 정보처리수단으로 구현될 수 있으며, 바람직하게는 비대면으로 사용자(예: 학생)에게 교육 콘텐츠를 제공하는 것을 목적으로 하고 있으므로, 콘텐츠 추출 서버, 콘텐츠 제공 서버로 실시되는 것이 바람직하다.
또한, 사용자 단말은 데스크탑 컴퓨터, 노트북 컴퓨터, 태블릿PC, 스마트폰과 같이 디스플레이 수단, 통신수단 등을 구비하고 있는 장치라면 무엇이든 적용이 가능하다.
먼저, 프로세서가 정보 수집부를 제어하여 데이터베이스에 저장된 검색 키워드를 기반으로, 온라인 동영상 플랫폼에서 분석 대상 교육 영상을 검색한다.
이때, 온라인 동영상 플랫폼은 Youtube와 같이 동영상을 인터넷을 통해서 제공하는 플랫폼을 의미하며, 인터넷 상에서 동영상을 제공하는 플랫폼이라면 무엇이든 적용될 수 있다.
데이터베이스에 저장된 적어도 하나의 검색 키워드는 온라인 동영상 플랫폼에서 분석 대상 교육 영상을 검색하기 위한 키워드로, 시스템 운영자, 관리자에 의해서 미리 설정되어 있을 수 있다.
일 실시예로, 프로세서는 정보 수집부에 의해 검색, 선택된 교육 영상을 교육 영상 리스트로 데이터베이스에 저장할 수 있으며, 이때, 교육 영상의 주소(예: URL), 제목, 채널(게시자, 게시채널), 게시일, 설명, 영상의 길이, 조회수 등에 대한 정보와 우선순위 점수를 함께 저장할 수 있다.
일 실시예로, 프로세서는 온라인 동영상 플랫폼에서 검색된 복수 개의 교육 영상 내 메타 데이터를 기반으로 분석 우선순위를 설정할 수 있다.
상세하게는, 프로세서는 교육 영상과 검색 키워드의 적합도, 교육 영상의 일일 평균 조회수, 교육 영상을 게시한 채널의 이용자수(예: 구독자수), 교육 영상을 게시한 채널에서 게시된 동영상의 수 중 적어도 하나를 기반으로 우선순위 점수를 산출하고, 이를 참고하여 우선순위를 설정할 수 있다.
다음으로, 프로세서가 정보 추출부를 제어하여, 교육 영상에서 음성 데이터 및 영상 데이터 중 적어도 하나를 추출한다.
프로세서가 정보 추출부를 제어하여, 추출된 영상 및 음성 데이터에서 기 설정된 조건에 부합하는 적어도 하나의 영상 및 음성 정보를 인식하고, 인식된 영상 정보, 음성 정보를 문자 정보로 추출하여 타임 로그와 함께 데이터베이스에 콘텐츠 로그 데이터로 저장한다.
이때, 데이터 관리부는 영상목록 DB에 포함된 데이터를 다운로드하고, 동영상의 형식을 변환하며, 교육 영상에서 영상 데이터와 음성 데이터를 분리하여 각각 음성정보 추출부와 영상정보 추출부에 전달한다.
그리고, 음성정보 추출부는 컴퓨터가 음성의 내용을 이해하여 문자 정보를 추출할 수 있도록 하기 위해서, 데이터 관리부로부터 전달받은 음성 데이터를 시간에 따라 분할하고 변환한다.
또한, 영상정보 추출부는 컴퓨터가 영상의 내용을 이해하여 문자 정보를 추출할 수 있도록 하기 위해서, 데이터 관리부로부터 전달받은 영상 데이터를 시간에 따라 분할하고 변환한다.
프로세서는 교육 영상의 영상 데이터 및 음성 데이터에 포함된 문자 정보를 해당 정보가 표시된 시간을 함께 기록함으로써 타임 라인 정보를 저장하게 된다.
따라서, 프로세서는 사용자 단말로부터 사용자가 원하는 교육 콘텐츠를 검색하였을 때, 사용자 단말로부터 수신된 검색 키워드를 기반으로 매칭되는 문자 정보를 검색하고 해당 문자 정보의 영상 콘텐츠 내 재생 시간을 확인할 수 있게 된다.
도 2를 참조하면, 검색 키워드 DB는 대상 교육 영상을 검색하기 위한 적어도 하나의 키워드가 저장되어 있다.
프로세서는 영상 검색 키워드를 입력하여 대상 교육 영상을 검색하고, 우선순위를 분석한다.
일 실시예로, 검색 키워드는 계층적으로 구성되어 있다.
프로세서는 검색 키워드 DB에 포함되어 있는 키워드를 이용하여 기 설정된 시간마다 자동으로 온라인 동영상 플랫폼을 검색할 수 있다.
프로세서는 검색 키워드의 계층 구조를 트리 구조로 변환할 수 있으며, 트리를 구성하는 하나의 분기에 해당되는 키워드 군에서 특정 개수의 키워드를 선택하여 조합할 수 있는 모든 경우의 수를 순차적으로 입력할 수 있다.
예시: 수학 - 방정식 - 이차방정식 - 인수분해
2개 조합: 수학 & 이차방정식; 수학 & 인수분해; 이차방정식 & 인수분해 등
3개 조합: 수학 & 이차방정식 & 인수분해, 방정식 & 이차방정식 & 인수분해
프로세서는 온라인 동영상 플랫폼에 키워드 군을 입력하여 검색된 교육 영상 목록 중에서 특정 개수(예: 100개)를 대상으로 하여, 동영상의 온라인 주소, 조회수, 게시일, 게시 일자, 게시자, 게시 채널, 채널의 보유 동영상의 수, 채널 보유 동영상의 총 조회수 등의 정보를 수집하여 저장할 수 있다.
도 3을 참조하면, 검색 키워드 DB가 예시되어 있으며, 도면 상에 도시된 것과 같이 검색 키워드 DB는 사용자/관리자의 설정에 의해 저장될 수 있으며, 도 3의 아래와 같이, 프로세서는 검색 키워드 DB의 입력정보를 트리 구조로 변환할 수 있다.
도 4를 참조하면, 정보 추출부의 동작이 예시되어 있다.
프로세서는 데이터 관리부를 제어하여 동영상을 다운로드할 수 있으며, 추출정보 DB에 포함되어 있는 교육 영상 중에서 우선순위가 높은 교육 영상을 대상으로 동영상을 다운로드할 수 있다.
그리고, 프로세서는 데이터 관리부를 제어하여 교육 영상에서 영상 데이터와 음성 데이터를 분리 추출할 수 있다.
프로세서는 데이터 관리부를 제어하여, 교육 영상을 문자 정보 추출이 가능한 형태로 변환할 수 있다.
예를 들어, 프로세서는 영상 데이터를 사전에 정의된 영상의 크기, 초당 프레임 수, 동영상 파일 포맷으로 변환할 수 있다.
프로세서는 음성 데이터를 사전에 정의된 샘플링레이트(Sampling Rate), 샘플링비트(Sampling Bit), 채널(Channel), 음성데이터 파일 포맷으로 변환할 수 있다.
프로세서는 영상정보 추출부를 제어하여, 데이터 관리부에서 전달된 영상 데이터에 포함되어 있는 프레임별 영상(이미지) 데이터를 추출할 수 있다.
프로세서는 각 프레임의 영상 데이터에 포함되어 있는 문자, 그림(도, 표 등)를 기계학습 알고리즘을 이용하여 탐지, 감지, 인식할 수 있다.
일 예로, 프로세서는 기계학습 알고리즘을 이용하여 인식된 문자, 그림의 이미지 상 위치정보와 이미지를 분석하여 이미지가 의미하는 문자 정보를 판단할 수 있다.
프로세서는 인식된 문자, 그림이 위치하는 부분을 사각형(Bounding box)의 형태로 추정하고, Bounding box 내부에 포함되어 있는 문자와 그림의 종류에 대한 데이터를 분류하여 텍스트 형태를 추정할 수 있고, 저장되어 있는 교정 알고리즘을 이용하여 문자 정보의 맞춤법, 띄어쓰기 등을 바로잡을 수 있다.
프로세서는 최종적으로 각 교육 영상의 프레임 정보에 포함되어 있는 문자 정보를 영상추출정보 통합부로 제공할 수 있다.
프로세서는 교육 영상의 각 프레임 별로 추출된 문자 정보와 위치 정보를 이용하여, 동일한 정보 혹은 상이한 정보를 판단하여 데이터를 통합하고 기록할 수 있다.
프로세서는 복수 개의 프레임에서 탐지된 객체와 그에 상응하는 문자 정보가 동일한 정보인지 판단할 때 IOU (Intersection Over Union)을 이용할 수 있다.
프로세서는 IOU를 기반으로, 두 프레임에서 추출된 객체들의 위치정보(bounding box) 영역을 중첩시킨 면적과 새로운 시점(프레임)에서의 위치정보(bounding box)의 면적의 비율로 계산할 수 있다.
프로세서는 특정 기준값 이상일 경우가 다른 프레임에 인식된 객체 및 문자 정보가 동일한 데이터로부터 추출된 것으로 판단하여 통합할 수 있다.
이와 같이, 프로세서는 인접한 모든 프레임에 정보의 중복성을 검토하여 중복되었을 경우 해당 텍스트가 처음 출현 시점과 마지막으로 출현된 시점을 기록하여 정보를 통합할 수 있다.
프로세서는 음성정보 추출부를 제어하여, 음성 데이터를 전처리할 수 있다.
프로세서는 데이터 관리부에서 전달된 음성 데이터를 특정 길이(시간)을 갖는 음성 데이터로 가공, 분할할 수 있다.
이때, 프로세서는 음성 데이터로부터 문자 정보를 추출하는 기계학습 알고리즘에서 정의된 길이로 음성 데이터의 분할 길이를 결정할 수 있다.
프로세서는 음성 데이터를 일부 중첩되도록 분할함으로써, 데이터의 경계에서 데이터 추출의 정확도가 저하되는 것을 방지할 수 있다.
일 실시예로, 프로세서는 각 분할된 음성 데이터를 멜 주파수 켑스트럼 계수(MFCC; Mel Frequency Cepstral Coefficient), 선형 예측 켑스트럼 계수(LPCC; Linear Prediction Cepstral Coefficient), 로그 멜 에너지(Log Mel Energy)를 이용하여 스펙트로그램으로 변형할 수 있다.
프로세서는 분할된 음성 데이터에 포함되어 있는 음성을 기계학습 알고리즘을 이용하여 문자 정보를 추출할 수 있으며, 이때 교정 알고리즘을 이용하여 추출된 문자 정보의 맞춤법, 띄어쓰기 등을 바로잡을 수 있다.
프로세서는 각 분할된 음성 데이터로부터 추출된 문자 정보로부터 중첩되는 정보를 제거하며, 인접한 시점에서 시작하는 두 개의 분할된 음성 데이터에서 중복되는 문자 정보가 존재하는 경우 과거 시점의 텍스트에서 중복되는 부분을 삭제할 수 있다.
프로세서는 각 분할된 음성 데이터의 시작 시점, 그리고 다음 음성 데이터의 시작 시점을 각 문자 정보가 출현된 시작 및 종료 시점으로 하여 추출된 문자 정보를 기록할 수 있다.
프로세서는 데이터 관리부를 제어하여, 영상정보 추출부와 음성정보 추출부에서 추출된 문자 정보를 데이터의 시작 및 종료 시점, 추출 방식 정보와 함께 추출정보 DB에 저장할 수 있다.
다음으로, 프로세서가 통신부를 통해 특정 사용자 단말로부터 적어도 하나의 검색 키워드를 수신한다.
프로세서가 사용자 단말로부터 수신된 검색 키워드를 데이터베이스에 검색하여, 검색 키워드와 매칭되는 문자 정보를 포함하는 교육 영상을 추출한다.
프로세서가 추출된 교육 영상을 사용자 단말로 제공하되, 사용자의 검색 키워드에 매칭되는 문자 정보가 존재하는 타임 라인에 대한 정보를 함께 제공한다.
일 예로, 특정 사용자(예: 학생)이 본인이 학습하고자 하는 교육 콘텐츠가 필요한 경우 이를 검색하기 위한 검색 키워드를 사용자 단말로 입력하게 된다.
이때, 본 발명의 실시예에 따른 맞춤형 교육 콘텐츠 제공 장치는 상술한 구성, 프로세스 등을 통해서 데이터베이스에 이미 빅데이터를 구축해 놓았기 때문에, 사용자 단말로부터 입력된 검색 키워드를 데이터베이스에 검색함으로써 사용자에게 맞춤형 교육 콘텐츠를 검색하여 제공할 수 있게 된다.
이때, 단순하게 사용자에게 맞춤형 교육 콘텐츠를 제공할 수 있는 교육 영상을 제공하는 것이 아니라, 사용자에게 필요한 교육 콘텐츠가 존재하는 재생 위치, 타임 라인에 대한 정보를 함께 제공함으로써, 종래에 사용자가 교육 콘텐츠를 찾기 위해서 많은 시간들을 허비하는 문제점을 해결할 수 있게 된다.
일 실시예로, 프로세서는 추출된 교육 영상을 데이터베이스에서 로딩한 후, 추출된 교육 영상에서 사용자의 검색 키워드와 매칭되는 문자 정보를 포함하는 재생 구간의 영상을 편집하여 사용자 단말로 제공하거나, 또는 추출된 교육 영상에서 사용자의 검색 키워드와 매칭되는 문자 정보를 포함하는 재생 구간을 재생할 수 있는 링크 주소를 생성하여 사용자 단말로 제공할 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (7)

  1. 컴퓨터에 의해 수행되는 방법으로,
    교육 영상에서 음성 데이터 및 영상 데이터를 추출하는 단계;
    상기 영상 및 음성 데이터에서 기 설정된 조건에 부합하는 적어도 하나의 영상 및 음성 정보를 인식하고, 인식된 영상 및 음성 정보를 문자 정보로 추출하여 타임 로그와 함께 데이터베이스에 콘텐츠 로그 데이터로 저장하는 단계;
    특정 사용자로부터 적어도 하나의 검색 키워드를 수신하는 단계;
    상기 수신된 검색 키워드를 상기 데이터베이스에 검색하여, 상기 검색 키워드와 매칭되는 문자 정보를 포함하는 교육 영상을 추출하는 단계; 및
    상기 사용자 단말로 상기 추출된 교육 영상을 제공하되, 상기 사용자의 검색 키워드에 매칭되는 문자 정보가 존재하는 타임 라인에 대한 정보를 함께 제공하는 단계를 포함하는,
    맞춤형 교육 콘텐츠 제공 방법.
  2. 제1항에 있어서,
    상기 음성 데이터 및 영상 데이터 추출 단계 이전에,
    데이터베이스에 저장된 검색 키워드를 기반으로 온라인 동영상 플랫폼에서 분석 대상 교육 영상을 검색하는 단계를 더 포함하는,
    맞춤형 교육 콘텐츠 제공 방법.
  3. 제2항에 있어서,
    상기 데이터베이스에 저장된 검색 키워드는 온라인 동영상 플랫폼에서 분석 대상 교육 영상을 검색하기 위한 적어도 하나의 키워드를 포함하는 것이고,
    상기 컴퓨터는 상기 온라인 동영상 플랫폼에서 검색된 복수 개의 교육 영상 내 메타 데이터를 기반으로 분석 우선순위를 설정하는 것을 특징으로 하는,
    맞춤형 교육 콘텐츠 제공 방법.
  4. 제3항에 있어서,
    상기 컴퓨터는,
    교육 영상과 상기 검색 키워드의 적합도, 교육 영상의 일일 평균 조회수, 교육 영상을 게시한 채널의 이용자수, 교육 영상을 게시한 채널에서 게시된 동영상의 수 중 적어도 하나를 기반으로 우선순위를 설정하는 것을 특징으로 하는,
    맞춤형 교육 콘텐츠 제공 방법.
  5. 제1항에 있어서,
    상기 컴퓨터는,
    상기 추출된 교육 영상을 데이터베이스에서 로딩한 후, 상기 추출된 교육 영상에서 상기 검색 키워드와 매칭되는 문자 정보를 포함하는 재생 구간의 영상을 상기 사용자 단말로 제공하거나, 또는
    상기 추출된 교육 영상에서 상기 검색 키워드와 매칭되는 문자 정보를 포함하는 재생 구간을 재생할 수 있는 링크 주소를 생성하여 상기 사용자 단말로 제공하는 것을 특징으로 하는,
    맞춤형 교육 콘텐츠 제공 방법.
  6. 적어도 하나의 검색 키워드가 저장된 데이터베이스; 및
    교육 영상에서 음성 데이터 및 영상 데이터를 추출하고, 상기 영상 및 음성 데이터에서 기 설정된 조건에 부합하는 적어도 하나의 영상 및 음성 정보를 인식하고, 인식된 영상 및 음성 정보를 문자 정보로 추출하여 타임 로그와 함께 상기 데이터베이스에 콘텐츠 로그 데이터로 저장하고, 특정 사용자로부터 적어도 하나의 검색 키워드를 수신하고, 상기 수신된 검색 키워드를 상기 데이터베이스에 검색하여, 상기 검색 키워드와 매칭되는 교육 영상을 추출하고, 상기 사용자 단말로 상기 추출된 교육 영상을 제공하되, 상기 사용자의 검색 키워드에 매칭된 문자 정보가 존재하는 타임 라인에 대한 정보를 함께 제공하는 프로세서를 포함하는,
    맞춤형 교육 콘텐츠 제공 장치.
  7. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 실행시키기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
KR1020210042180A 2021-03-31 2021-03-31 맞춤형 교육 콘텐츠 제공 장치, 방법 및 프로그램 KR20220135901A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210042180A KR20220135901A (ko) 2021-03-31 2021-03-31 맞춤형 교육 콘텐츠 제공 장치, 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210042180A KR20220135901A (ko) 2021-03-31 2021-03-31 맞춤형 교육 콘텐츠 제공 장치, 방법 및 프로그램

Publications (1)

Publication Number Publication Date
KR20220135901A true KR20220135901A (ko) 2022-10-07

Family

ID=83595809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210042180A KR20220135901A (ko) 2021-03-31 2021-03-31 맞춤형 교육 콘텐츠 제공 장치, 방법 및 프로그램

Country Status (1)

Country Link
KR (1) KR20220135901A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102583004B1 (ko) * 2022-10-19 2023-09-27 주식회사 율러닝 동영상 기반의 온라인 학습 서비스를 제공하는 방법 및 이를 위한 서버
US11971920B1 (en) 2022-10-13 2024-04-30 Actionpower Corp. Method for determining content associated with voice signal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11971920B1 (en) 2022-10-13 2024-04-30 Actionpower Corp. Method for determining content associated with voice signal
KR102583004B1 (ko) * 2022-10-19 2023-09-27 주식회사 율러닝 동영상 기반의 온라인 학습 서비스를 제공하는 방법 및 이를 위한 서버

Similar Documents

Publication Publication Date Title
US10733197B2 (en) Method and apparatus for providing information based on artificial intelligence
Yang et al. Content based lecture video retrieval using speech and video text information
CN107481720B (zh) 一种显式声纹识别方法及装置
KR101160597B1 (ko) 의미 연관성에 기초한 콘텐츠 검색
CN107193962B (zh) 一种互联网推广信息的智能配图方法及装置
US7853582B2 (en) Method and system for providing information services related to multimodal inputs
US20180130496A1 (en) Method and system for auto-generation of sketch notes-based visual summary of multimedia content
CN109558513B (zh) 一种内容推荐方法、装置、终端及存储介质
US11494434B2 (en) Systems and methods for managing voice queries using pronunciation information
JP6361351B2 (ja) 発話ワードをランク付けする方法、プログラム及び計算処理システム
CN110781328A (zh) 基于语音识别的视频生成方法、系统、装置和存储介质
KR20220135901A (ko) 맞춤형 교육 콘텐츠 제공 장치, 방법 및 프로그램
US20210034662A1 (en) Systems and methods for managing voice queries using pronunciation information
CN113704507A (zh) 数据处理方法、计算机设备以及可读存储介质
CN113407775B (zh) 视频搜索方法、装置及电子设备
US20180011828A1 (en) Method and system for recommending multimedia segments in multimedia content for annotation
KR20060100646A (ko) 영상물의 특정 위치를 검색하는 방법 및 영상 검색 시스템
US20240037941A1 (en) Search results within segmented communication session content
CN114430832A (zh) 数据处理方法、装置、电子设备和存储介质
JPWO2009113505A1 (ja) 映像分割装置、方法及びプログラム
CN116738250A (zh) 提示文本扩展方法、装置、电子设备和存储介质
US20210035587A1 (en) Systems and methods for managing voice queries using pronunciation information
KR102357313B1 (ko) 비디오 콘텐츠에 포함된 오디오 데이터를 기반으로 색인어를 설정하는 전자 장치의 콘텐츠 인덱싱 방법
CN113449094A (zh) 语料获取方法、装置、电子设备及存储介质
JP7078837B2 (ja) 情報処理システム、情報処理装置、その制御方法及びプログラム