KR102610999B1 - 인공지능 기반 데이터베이스화된 동영상 강의의 검색 및 추천 서비스 제공 방법, 장치 및 시스템 - Google Patents

Abstract

일실시예에 따르면, 인공지능 기반 데이터베이스화된 동영상 강의의 검색 및 추천 서비스 제공 방법은 사용자의 단말로부터 동영상 강의 및 동영상 강의와 관련된 제1 키워드를 획득하고, 동영상 강의의 내용에 기반하여 동영상 강의와 관련된 제2 키워드를 추출하고, 학습자 데이터로부터 동영상 강의의 검색에 활용된 키워드를 확인하여 동영상 강의와 관련된 제3 키워드를 추출하고, 제1 키워드, 제2 키워드 및 제3 키워드를 인공신경망에 적용하여, 동영상 강의와 관련된 대표 키워드를 추출하고, 대표 키워드, 제1 키워드, 제2 키워드 및 제3 키워드의 계층을 분류하고, 계층 분류를 기초로, 동영상 강의의 목차를 생성하고, 학습자의 단말로부터 검색 키워드를 획득하고, 검색 키워드와 동영상 강의의 목차를 비교하여, 검색 키워드에 대응하는 동영상 강의를 학습자의 단말로 제공한다.

Description

인공지능 기반 데이터베이스화된 동영상 강의의 검색 및 추천 서비스 제공 방법, 장치 및 시스템 {METHOD, DEVICE AND SYSTEM FOR PROVIDING SEARCH AND RECOMMENDATION SERVICE FOR VIDEO LECTURES BASED ON ARTIFICIAL INTELLIGENCE}

아래 실시예들은 인공지능 기반 데이터베이스화된 동영상 강의의 검색 및 추천 서비스 제공 방법에 관한 것이다.

인터넷과 디지털 미디어의 급격한 발달에 따라 온라인을 활용한 동영상 강의가 급격하게 증가하고 있다. 온라인을 통한 동영상 강의는 비교적 적은 비용으로 높은 효용성을 발휘할 수 있으며, 특히, 스마트폰, 태블릿 등과 같은 개인 단말 장치를 이용하여 사용자가 원하는 시간과 장소에서 자유롭게 강의를 들을 수 있다는 장점으로 인해 새로운 학습문화로 자리잡고 있다.

한편, 학습자들은 동영상 강의에서 자신이 필요한 부분이나, 자신이 틀린 문제에 대한 파트만 추가로 학습하고자 하는 요구가 증대되고 있다. 즉, 강의 동영상을 통해 과목을 학습한 이후, 해당 과목에 대한 문제를 푼 경우, 학습자는 자신이 틀린 문제에 대한 키워드와 관련된 내용을 빠르게 복습하고 싶어 한다.

하지만, 기존에는 자신이 틀린 부분이 어떤 목차의 어떤 강의와 매칭되어 있는지 학습자 스스로 찾아보거나 동영상 강의를 직접 다시 다 들어봐야 하는 불편함이 있다.

따라서, 동영상 강의의 내용을 분석하여 키워드를 추출하고, 키워드와 동영상 강의를 매칭하여 데이터베이스화함으로써 학습자가 원하는 키워드를 검색하거나, 학습자의 시험 이력을 통해 학습자가 부족한 부분의 키워드를 획득하여 학습자에게 매칭된 동영상 강의를 제공하고자 하는 요구가 증대되고 있어, 이와 관련된 기술에 대한 연구가 요구된다.

한국등록특허 제10-2046148호 한국등록특허 제10-2375755호 한국공개특허 제10-2022-0051592호 한국공개특허 제10-2021-0121387호

실시예들은 동영상 강의에 대한 키워드 및 대표 키워드를 추출하고 데이터베이스에 매칭하여 저장함으로써, 학습자의 검색 키워드에 대응하는 동영상 강의를 제공하고자 한다.

실시예들은 동영상 강의로부터 음성을 추출하고, 음성을 텍스트로 변환하고, 변환된 텍스트를 분석하여, 동영상 강의의 키워드를 선정하고자 한다.

실시예들은 학습자에게 문제를 제공하고, 학습자의 답변에 따라 다음 강의를 추천하거나, 학습자가 틀린 문제에 대한 동영상 강의를 제공하고자 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

일실시예에 따르면, 인공지능 기반 데이터베이스화된 동영상 강의의 검색 및 추천 서비스 제공 방법은 사용자의 단말로부터 동영상 강의 및 상기 동영상 강의와 관련된 제1 키워드를 획득하는 단계; 상기 동영상 강의의 내용에 기반하여 상기 동영상 강의와 관련된 제2 키워드를 추출하는 단계; 학습자 데이터로부터 상기 동영상 강의의 검색에 활용된 키워드를 확인하여 상기 동영상 강의와 관련된 제3 키워드를 추출하는 단계; 상기 제1 키워드, 상기 제2 키워드 및 상기 제3 키워드를 인공신경망에 적용하여, 상기 동영상 강의와 관련된 대표 키워드를 추출하는 단계; 상기 대표 키워드, 상기 제1 키워드, 상기 제2 키워드 및 상기 제3 키워드의 계층을 분류하고, 상기 계층 분류를 기초로, 상기 동영상 강의의 목차를 생성하는 단계; 학습자의 단말로부터 검색 키워드를 획득하는 단계; 및 상기 검색 키워드와 상기 동영상 강의의 목차를 비교하여, 상기 검색 키워드에 대응하는 동영상 강의를 상기 학습자의 단말로 제공하는 단계;를 포함한다.

상기 동영상 강의의 내용에 기반하여 상기 동영상 강의의 제2 키워드를 추출하는 단계는 상기 동영상 강의의 음성을 추출하는 단계; 상기 추출된 음성을 텍스트로 변환하는 단계; 상기 텍스트의 형태소를 분석하여 단어 단위로 분류하는 단계; 상기 단어를 기초로, 상기 단어들 중 일상 단어 및 습관 단어를 포함하는 부가 단어를 제외하는 단계; 상기 단어들 중 상기 부가 단어를 제외하고 남은 단어를 핵심 단어로 선정하는 단계; 상기 핵심 단어의 빈도수 및 상기 핵심 단어 간의 연관도를 기초로, 상기 제2 키워드를 추출하는 단계;를 포함한다.

상기 제1 키워드, 상기 제2 키워드 및 상기 제3 키워드를 인공신경망에 적용하여, 상기 동영상 강의와 관련된 대표 키워드를 추출하는 단계는 상기 제1 키워드로부터 상기 제1 키워드의 정보를 획득하는 단계; 상기 제2 키워드로부터 상기 제2 키워드의 정보 및 상기 제2 키워드의 빈도수를 획득하는 단계; 상기 제3 키워드로부터 상기 제3 키워드의 정보 및 상기 제3 키워드의 빈도수를 획득하는 단계; 상기 제1 키워드의 정보, 상기 제2 키워드의 정보, 상기 제2 키워드의 빈도수, 상기 제3 키워드의 정보 및 상기 제3 키워드의 빈도수를 기초로, 입력 신호를 생성하는 단계; 상기 생성된 입력 신호를 상기 인공신경망에 적용하여, 출력 신호를 생성하는 단계; 및 상기 출력 신호에 기초하여, 상기 동영상 강의의 대표 키워드를 추출하는 단계;를 포함하고, 상기 인공신경망은 상기 제2 키워드의 빈도수 및 상기 제3 키워드의 빈도수에 기반하여 가중치가 설정되고, 유사 키워드 확인 노드 및 중복 키워드 확인 노드를 포함하는 인공신경망이다.

인공지능 기반 데이터베이스화된 동영상 강의의 검색 및 추천 서비스 제공 방법은 학습자가 상기 동영상 강의의 시청을 완료한 경우, 상기 학습자의 단말로부터 상기 동영상 강의에 대한 문제 요청을 수신하는 단계; 상기 동영상 강의에 매칭되어 있는 문제를 추출하여 제1 시험지를 생성하고, 상기 생성된 제1 시험지를 상기 학습자의 단말로 제공하는 단계; 상기 학습자의 단말로부터 상기 제1 시험지에 대한 답안을 획득하는 단계; 상기 제1 시험지에 대한 답안을 기초로, 상기 동영상 강의에 대한 학습자 점수를 생성하는 단계; 상기 학습자 점수가 미리 설정된 기준 값보다 큰지 여부를 확인하는 단계; 상기 학습자 점수가 상기 기준 값보다 크다고 확인되면, 상기 학습자의 단말로 다음 단계의 동영상 강의를 추천하는 단계; 및 상기 학습자 점수가 상기 기준 값보다 크지 않다고 확인되면, 상기 학습자의 단말로 상기 동영상 강의의 재수강을 추천하는 단계;를 더 포함한다.

상기 학습자의 단말로 다음 단계의 동영상 강의를 추천하는 단계는 상기 동영상 강의의 목차에서 최상위 계층의 제1 목차와 상기 제1 목차의 다음 계층의 제2 목차와 상기 제2 목차의 다음 계층의 제3 목차를 확인하고, 상기 제1 목차와 상기 제2 목차를 목차로 포함하는 동영상 강의를 추출하고, 상기 추출된 동영상 강의 중 상기 제3 목차를 포함하지 않는 동영상 강의를 다음 단계의 동영상 강의로 추천하는 동작을 포함한다.

인공지능 기반 데이터베이스화된 동영상 강의의 검색 및 추천 서비스 제공 방법은 상기 학습자의 단말로부터 다양한 목차가 섞여 있는 과목에 대한 문제 요청을 수신하는 단계; 상기 과목에 포함되어 있는 동영상 강의에 매칭되어 있는 문제를 추출하여 제2 시험지를 생성하고, 상기 제2 시험지를 상기 학습자의 단말로 제공하는 단계; 상기 학습자의 단말로부터 상기 제2 시험지에 대한 답안을 획득하는 단계; 상기 제2 시험지에 대한 답안을 기초로, 상기 학습자가 틀린 문제를 획득하는 단계; 상기 학습자가 틀린 문제에 매칭된 키워드 및 동영상 강의를 확인하는 단계; 및 상기 학습자의 단말로 해당 키워드 및 동영상 강의를 제공하는 단계;를 더 포함한다.

인공지능 기반 데이터베이스화된 동영상 강의의 검색 및 추천 서비스 제공 방법은 상기 동영상 강의가 동영상 공유 사이트에 업로드 되면, 상기 동영상 강의에서 제1 시점의 영상 이미지를 제1 이미지로 추출하는 단계; 상기 제1 이미지에서 판서가 차지하고 있는 영역을 제1 영역으로 구분하고, 상기 제1 이미지에서 상기 제1 영역이 있는 부분을 분할하여 제1-1 이미지를 추출하는 단계; 상기 제1-1 이미지에 상기 사용자가 있는 것으로 확인되면, 상기 제1-1 이미지에서 상기 사용자가 차지하고 있는 영역을 제2 영역으로 구분하는 단계; 상기 동영상 강의를 상기 제1 시점으로부터 시간상 역순으로 재생하여 분석한 결과, 제2 시점에 상기 제2 영역 내에 상기 사용자가 없는 것으로 확인되면, 상기 콘텐츠에서 상기 제2 시점의 영상 이미지를 제2 이미지로 추출하는 단계; 상기 제2 이미지에서 상기 제2 영역이 있는 부분을 분할하여 제2-1 이미지를 추출하는 단계; 및 상기 제1-1 이미지에서 상기 제2 영역이 있는 부분을 상기 제2-1 이미지로 교체하는 단계;를 더 포함한다.

실시예들은 동영상 강의에 대한 사용자로부터 획득한 키워드, 동영상 강의를 분석하여 획득한 키워드 및 학습자 데이터로부터 획득한 키워드를 통해 대표 키워드를 추출하고, 데이터베이스에 키워드들, 대표 키워드, 강의 목차를 동영상 강의에 매칭하여 저장함으로써, 학습자의 검색 키워드에 대응하는 동영상 강의를 제공할 수 있다.

실시예들은 동영상 강의로부터 음성을 추출하고, 음성을 텍스트로 변환하고, 변환된 텍스트를 분석하여, 동영상 강의의 키워드를 선정할 수 있다.

실시예들은 학습자에게 문제를 제공하고, 학습자의 답변에 따라 다음 강의를 추천하거나, 학습자가 틀린 문제에 대한 동영상 강의를 제공할 수 있다.

한편, 실시예들에 따른 효과들은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 일실시예에 따른 인공지능 기반의 데이터베이스화된 동영상 강의의 검색 및 추천 서비스를 제공하는 과정을 설명하기 위한 순서도이다.
도 3은 일실시예에 따른 동영상 강의의 내용을 분석하여 키워드를 선정하는 과정을 설명하기 위한 순서도이다.
도 4는 일실시예에 따른 획득된 키워드 및 추출된 키워드를 인공신경망에 적용하여 대표 키워드를 추출하는 과정을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 학습자가 동영상 강의를 듣고 문제를 푼 경우, 점수에 따라 동영상 강의를 추천하는 과정을 설명하기 위한 순서도이다.
도 6은 일실시예에 따른 다음 단계의 동영상 강의를 추천하는 과정을 설명하기 위한 순서도이다.
도 7은 일실시예에 따른 다양한 목차가 섞여 있는 문제를 푼 경우, 학습자가 틀린 문제를 분석하여 틀린 문제에 대응하는 동영상 강의를 제공하는 과정을 설명하기 위한 순서도이다.
도 8은 일실시예에 따른 동영상 강의를 기록하여 저장하는 과정을 설명하기 위한 순서도이다.
도 9는 일실시예에 따른 장치의 구성의 예시도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.

도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 일실시예에 따른 시스템은 통신망을 통해 서로 통신 가능한 사용자의 단말(100), 학습자의 단말(200) 및 장치(300)를 포함할 수 있다.

먼저, 통신망은 유선 및 무선 등과 같이 그 통신 양태를 가리지 않고 구성될 수 있으며, 서버와 서버 간의 통신과 서버와 단말 간의 통신이 수행되도록 다양한 형태로 구현될 수 있다.

사용자의 단말(100)은 동영상 강의를 제작하고 동영상 강의를 업로드하는 사용자가 사용하는 단말로, 휴대전화기, 데스크톱 PC, 랩탑 PC, 태블릿 PC, 스마트폰 등으로 구현될 수 있으나, 이에 제한되지는 않으며, 외부 서버와 연결될 수 있는 다양한 형태의 통신 장치로 구현될 수도 있다. 예를 들어, 도 1에 도시된 바와 같이, 사용자의 단말(100)은 스마트폰일 수 있으며, 실시예에 따라 달리 채용될 수도 있다.

학습자의 단말(200)은 동영상 강의를 통해 수업을 듣는 학습자가 사용하는 단말로, 휴대전화기, 데스크톱 PC, 랩탑 PC, 태블릿 PC, 스마트폰 등으로 구현될 수 있으나, 이에 제한되지는 않으며, 외부 서버와 연결될 수 있는 다양한 형태의 통신 장치로 구현될 수도 있다. 예를 들어, 도 1에 도시된 바와 같이, 학습자의 단말(200)은 스마트폰일 수 있으며, 실시예에 따라 달리 채용될 수도 있다.

사용자의 단말(100) 및 학습자의 단말(200) 각각은 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 사용자의 단말(100) 및 학습자의 단말(200) 각각은 장치(300)와 유무선으로 통신하도록 구성될 수 있다.

사용자의 단말(100) 및 학습자의 단말(200) 각각은 장치(300)를 이용하여 서비스를 제공하는 자 내지 단체가 운영하는 웹 사이트에 접속되거나, 장치(300)를 이용하여 서비스를 제공하는 자 내지 단체가 개발·배포한 애플리케이션이 설치될 수 있다. 사용자의 단말(100) 및 학습자의 단말(200) 각각은 웹 사이트 또는 애플리케이션을 통해 장치(300)와 연동될 수 있다.

도1 및 이하의 설명에서는, 설명의 편의상, 사용자의 단말(100), 학습자의 단말(200) 각각 하나만을 도시하고 설명하였으나, 단말들의 수는 실시예에 따라 얼마든지 달라질 수 있다. 장치(300)의 처리 용량이 허용하는 한, 단말들의 수는 특별한 제한이 없다.

장치(300)는 장치(300)를 이용하여 서비스를 제공하는 자 내지 단체가 보유한 자체 서버일수도 있고, 클라우드 서버일 수도 있고, 분산된 노드(node)들의 p2p(peer-to-peer) 집합일 수도 있다. 장치(300)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 장치(300)는 사용자의 단말(100) 및 학습자의 단말(200)과 유무선으로 통신하도록 구성될 수 있으며, 사용자의 단말(100) 및 학습자의 단말(200) 각각의 동작을 제어하고, 사용자의 단말(100) 및 학습자의 단말(200) 각각의 화면에 어느 정보를 표시할 것인지에 대해 제어할 수 있다.

장치(300)는 동영상 강의 서비스를 제공하는 서버로 구현되어, 학습자와 사용자들 사이에 동영상 강의를 통해 수업이 진행되도록 제어하고, 사용자에 의해 동영상 강의가 업로드되면 동영상 강의의 키워드를 분석하여 데이터베이스에 저장하여 관리할 수 있다. 이때, 장치(300)는 목차, 키워드 등을 기준으로 하여, 동영상 강의를 분류할 수 있으며, 분류된 동영상 강의는 데이터베이스에 구분하여 저장할 수 있다.

일실시예에 따르면, 장치(300)는 데이터베이스에 목차와 매칭하여 대표 키워드, 제1 키워드, 제2 키워드, 제3 키워드 및 동영상 강의를 저장할 수 있고, 동영상 강의와 매칭된 문제가 추가로 저장될 수 있다.

장치(300)는 사용자의 단말(100)로부터 동영상 강의 및 동영상 강의와 관련된 제1 키워드를 획득하고, 동영상 강의의 내용에 기반하여 동영상 강의와 관련된 제2 키워드를 추출하고, 학습자 데이터로부터 동영상 강의의 검색에 활용된 키워드를 확인하여 동영상 강의와 관련된 제3 키워드를 추출하고, 제1 키워드, 제2 키워드 및 제3 키워드를 인공신경망에 적용하여, 동영상 강의와 관련된 대표 키워드를 추출하고, 대표 키워드, 제1 키워드, 제2 키워드 및 제3 키워드의 계층을 분류하고, 계층 분류를 기초로, 동영상 강의의 목차를 생성하고, 학습자의 단말(200)로부터 검색 키워드를 획득하고, 검색 키워드와 동영상 강의의 목차를 비교하여, 검색 키워드에 대응하는 동영상 강의를 학습자의 단말로 제공할 수 있다.

이를 통해, 장치(300)는 키워드를 통해 학습자가 원하는 목차의 동영상 강의를 빠르게 제공할 수 있고, 데이터베이스에 키워드, 목차 및 문제와 매칭되어 저장된 동영상 강의를 통해 학습자의 실력 및 학습도를 확인할 수 있고, 학습자가 틀린 문제와 매칭되어 있는 동영상을 제공할 수 있어 학습자는 효과적으로 틀린 문제에 대한 강의를 복습할 수 있다.

도 2는 일실시예에 따른 인공지능 기반의 데이터베이스화된 동영상 강의의 검색 및 추천 서비스를 제공하는 과정을 설명하기 위한 순서도이다.

도 2을 참조하면, 먼저, S201 단계에서, 장치(300)는 사용자의 단말(100)로부터 동영상 강의 및 동영상 강의와 관련된 제1 키워드를 획득할 수 있다.

구체적으로, 장치(300)는 동영상 강의를 제작하고, 업로드하는 사용자의 단말(100)로부터 동영상 강의를 획득할 수 있고, 사용자의 단말(100)로부터 사용자가 사용자 단말을 통해 입력한 동영상 강의와 관련된 제1 키워드를 함께 획득할 수 있다. 여기서 동영상 강의는 AVI, MGP, FLV, M4V, MP4, WMV, OGV, WEBM, MOV 확장자 형식이 될 수 있으며, 그 외의 동영상 확장자 형식이 될 수도 있다.

S202 단계에서, 장치(300)는 동영상 강의의 내용에 기반하여 동영상 강의와 관련된 제2 키워드를 추출할 수 있다.

구체적으로, 장치(300)는 사용자의 단말(100)로부터 획득한 동영상 강의를 기초로, 동영상 강의의 음성을 추출하고, 음성을 텍스트로 변환하여, 변환된 텍스트를 분석하여 동영상 강의와 관련된 제2 키워드를 추출할 수 있다. 이와 관련하여 구체적인 설명은 도 3을 참조하여 하기로 한다.

S203 단계에서, 장치(300)는 학습자 데이터로부터 동영상 강의의 검색에 활용된 키워드를 확인하여 동영상 강의와 관련된 제3 키워드를 추출할 수 있다.

구체적으로, 장치(300)는 학습자 데이터를 수집 및 저장할 수 있는데, 학습자 데이터는 학습자가 동영상 강의를 검색할 때 사용했던 키워드 및 학습자가 어떤 문제를 틀렸을 때 어떤 동영상 강의를 많이 들었는지 등이 포함될 수 있다. 또한, 학습자 데이터는 복수의 학습자와 관련된 데이터를 수집 및 분석하여 저장된 것일 수 있다.

예를 들어, 장치(300)는 학습자 데이터를 통해 학습자들이 'A' 동영상 강의를 듣기 위해 100명의 학습자가 'A' 키워드를 활용되었고, 75명의 학습자가 'B' 키워드를 활용한 것을 확인할 수 있고, 또한 장치(300)는 학습자 데이터를 통해 학습자들이 'A' 문제를 틀렸을 때, 90명의 학습자가 'A' 동영상 강의를 들었고, 80명의 학습자가 'B' 동영상 강의를 들었단 것을 확인할 수 있다.

S204 단계에서, 장치(300)는 제1 키워드, 제2 키워드 및 제3 키워드를 인공신경망에 적용하여 동영상 강의와 관련된 대표 키워드를 추출할 수 있다.

구체적으로, 장치(300)는 제1 키워드를 통해 제1 키워드의 정보를 획득할 수 있고, 제2 키워드를 통해 제2 키워드의 정보 및 제2 키워드의 빈도수를 획득할 수 있고, 제3 키워드를 통해 제3 키워드의 정보 및 제3 키워드의 빈도수를 획득할 수 있다. 또한, 장치(300)는 획득한 제1 키워드의 정보, 제2 키워드의 정보, 제2 키워드의 빈도수, 제3 키워드의 정보 및 제3 키워드의 빈도수를 인공신경망에 적용하여 대표 키워드를 도출할 수 있다. 여기서, 인공신경망은 제2 키워드의 빈도수 및 제3 키워드의 빈도수에 기반하여 가중치가 설정되고, 유사 키워드 확인 노드 및 중복 키워드 확인 노드를 포함하는 인공신경망이다. 이와 관련하여 구체적인 설명은 도 4를 참조하기로 한다.

S205 단계에서, 장치(300)는 대표 키워드, 제1 키워드, 제2 키워드 및 제3 키워드의 계층을 분류하고, 계층 분류를 기초로, 동영상 강의의 목차를 생성할 수 있다. 이 때, 계층은 과목, 단원, 목차 등이 포함될 수 있다.

구체적으로, 장치(300)는 대표 키워드, 제1 키워드, 제2 키워드 및 제3 키워드를 분석하여, 키워드들의 계층을 분류를 할 수 있고, 키워드 및 계층 분류를 통해 해당 동영상 강의가 어떤 과목의 어떤 단원의 어떤 목차에 포함되는지를 파악하여 해당 동영상 강의의 목차를 생성할 수 있다.

예를 들어, 동영상 강의의 대표 키워드, 제1 키워드, 제2 키워드 및 제3 키워드가 소수, 인수, 소인수분해, 배수, 약수, 소인수, 거듭제곱, 최대공약수, 최소공배수인 경우, 장치(300)는 키워드를 분석하여 해당 동영상 강의의 과목이 수학인 것을 알 수 있고, 해당 동영상 강의의 단원이 중학교 1학년 1단원인 수와 연산인 것을 알 수 있다. 또한, 장치(300)는 해당 동영상 강의의 목차로 최대공약수와 최소공배수로 생성할 수 있다.

또한, 장치(300)는 대표 키워드, 제1 키워드, 제2 키워드 및 제3 키워드의 계층을 분류하고, 계층 분류를 기초로, 동영상 강의의 목차를 생성하게 되면, 데이터베이스에 대표 키워드, 제1 키워드, 제2 키워드, 제3 키워드 및 동영상 강의와 목차를 매칭하여 저장할 수 있다.

S206 단계에서, 장치(300)는 학습자의 단말(200)로부터 검색 키워드를 획득할 수 있다.

구체적으로, 장치(300)는 동영상 강의를 통해 학습하고자 하는 학습자의 단말(200)로부터 학습자가 듣고 싶은 키워드를 획득할 수 있다.

S207 단계에서, 장치(300)는 검색 키워드와 동영상 강의의 목차를 비교하여 검색 키워드에 대응하는 동영상 강의를 학습자의 단말(200)로 제공할 수 있다.

구체적으로, 장치(300)는 학습자의 단말(200)로부터 획득한 검색 키워드와 데이터베이스에 저장되어 있는 동영상 강의의 목차를 비교하여 검색 키워드에 대응하는 동영상 강의를 추출할 수 있고, 추출된 동영상 강의를 학습자의 단말(200)로 제공할 수 있다.

도 3은 일실시예에 따른 동영상 강의의 내용을 분석하여 키워드를 선정하는 과정을 설명하기 위한 순서도이다.

도 3을 참조하면, 먼저, S301 단계에서, 장치(300)는 동영상 강의의 음성을 추출할 수 있다.

구체적으로, 장치(300)는 사용자의 단말(100)로부터 획득한 동영상 강의를 통해 음성을 추출할 수 있다.

S302 단계에서, 장치(300)는 추출된 음성을 텍스트로 변환할 수 있다. 구체적으로, 장치(300)는 STT 기술을 수행할 수 있는데, STT는 Speech-to-Text로, 음성 데이터로부터 음향모델, 어휘/발음사전, 언어모델을 포함한 인식 네트워크 모델을 생성하는 오프라인 학습단계와 사용자가 발성한 음성을 인식하는 온라인 탐색 단계를 통해 동영상 강의를 통해 추출된 음성을 텍스트로 변환할 수 있다.

S303 단계에서, 장치(300)는 텍스트의 형태소를 분석하여 단어 단위로 분류할 수 있다.

S304 단계에서, 장치(300)는 단어를 기초로, 단어들 중 일상 단어 및 습관 단어를 포함하는 부가 단어를 제외할 수 있다.

구체적으로, 장치(300)는 단어를 기초로, 단어들 중 부가 단어를 제외하기 위해 사용자의 단말(100)로부터 일상 단어 및 습관 단어를 포함하는 부가 단어 리스트를 획득하여 부가 단어 리스트에 포함된 단어를 제외할 수도 있고, 장치(300)는 텍스트로부터 분류된 단어들의 연관도를 분석하여 연관도가 미리 설정한 기준 비율 이하인 단어를 부가 단어로 선정하여 부가 단어를 제외할 수도 있다.

즉, 장치(300)는 동영상 강의의 음성을 통해 추출된 텍스트에서, 텍스트의 형태소를 분석하여 단어 단위로 분류하고, 단어들 중 일상 단어 및 습관 단어를 포함하는 부가 단어를 제외할 수 있다.

S305 단계에서, 장치(300)는 단어들 중 부가 단어를 제외하고 남은 단어를 핵심 단어로 선정할 수 있다.

구체적으로, 장치(300)는 단어들 중 부가 단어를 제외하고 남은 단어를 동영상 강의와 관련된 단어로 판단할 수 있고, 부가 단어를 제외하고 남은 단어를 핵심 단어로 선정할 수 있다.

S306 단계에서, 장치(300)는 핵심 단어의 빈도수 및 핵심 단어 간의 연관도를 기초로, 제2 키워드를 추출할 수 있다.

구체적으로, 장치(300)는 핵심 단어를 분석하여 핵심 단어의 빈도수 및 핵심 단어 간의 연관도를 파악할 수 있고, 빈도수가 높고 단어 간의 연관도가 미리 설정한 목표 비율 이상인 핵심 단어들을 제2 키워드로 추출할 수 있다.

즉, 장치(300)는 동영상 강의의 음성을 통해 텍스트로 변환하여 텍스트를 통해 내용을 분석하고, 키워드를 획득할 수 있는데, 이는 동영상 강의의 경우 정적인 형식으로 생성되기 때문에 음성을 통해 텍스트 추출이 용이하기 때문이다.

도 4는 일실시예에 따른 획득된 키워드 및 추출된 키워드를 인공신경망에 적용하여 대표 키워드를 추출하는 과정을 설명하기 위한 도면이다.

도 4를 참조하면, 먼저, S401 단계에서, 장치(300)는 제1 키워드로부터 제1 키워드의 정보를 획득할 수 있다. 이때, 제1 키워드의 정보는 제1 키워드의 명칭, 제1 키워드의 관련 과목, 제1 키워드와 관련된 키워드를 포함할 수 있고, 제1 키워드와 관련된 키워드는 제1 키워드의 유의어, 제1 키워드의 반의어, 제1 키워드의 하위어, 제1 키워드의 상위어가 될 수 있다.

구체적으로, 장치(300)는 사용자의 단말(100)로부터 동영상 강의와 함께 획득한 제1 키워드로부터 제1 키워드의 명칭, 제1 키워드의 관련 과목, 제1 키워드와 관련된 키워드를 포함하는 제1 키워드의 정보를 획득할 수 있다.

S402 단계에서, 장치(300)는 제2 키워드로부터 제2 키워드의 정보 및 제2 키워드의 빈도수를 획득할 수 있다. 이때, 제2 키워드의 정보는 제2 키워드의 명칭, 제2 키워드의 관련 과목, 제2 키워드와 관련된 키워드를 포함할 수 있고, 제2 키워드와 관련된 키워드는 제2 키워드의 유의어, 제2 키워드의 반의어, 제2 키워드의 하위어, 제2 키워드의 상위어가 될 수 있다.

구체적으로, 장치(300)는 동영상 강의로부터 음성을 추출하고, 추출된 음성을 텍스트로 변환하여, 변환된 텍스트를 분석하여 획득한 제2 키워드로부터 제2 키워드의 명칭, 제2 키워드의 관련 과목, 제2 키워드와 관련된 키워드를 포함하는 제2 키워드의 정보를 획득할 수 있고, 동영상 강의에 제2 키워드가 몇 번 포함되는지에 관한 정보인 제2 키워드의 빈도수를 획득할 수 있다.

S403 단계에서, 장치(300)는 제3 키워드로부터 제3 키워드의 정보 및 제3 키워드의 빈도수를 획득할 수 있다. 이때, 제3 키워드의 정보는 제3 키워드의 명칭, 제3 키워드의 관련 과목, 제3 키워드와 관련된 키워드를 포함할 수 있고, 제3 키워드와 관련된 키워드는 제3 키워드의 유의어, 제3 키워드의 반의어, 제3 키워드의 하위어, 제3 키워드의 상위어가 될 수 있다.

구체적으로, 장치(300)는 학습자 데이터로부터 획득한 제3 키워드로부터 제3 키워드의 명칭, 제3 키워드의 관련 과목, 제3 키워드와 관련된 키워드를 포함하는 제3 키워드의 정보를 획득할 수 있고, 해당 동영상 강의를 검색하기 위해 제3 키워드를 몇 번 또는 몇 명의 학습자가 활용하였는지에 관한 정보인 제3 키워드의 빈도수를 획득할 수 있다.

S404 단계에서, 장치(300)는 제1 키워드의 정보, 제2 키워드의 정보, 제2 키워드의 빈도수, 제3 키워드의 정보 및 제3 키워드의 빈도수를 기초로, 입력 신호를 생성할 수 있다.

구체적으로, 장치(300)는 제1 키워드의 정보, 제2 키워드의 정보, 제2 키워드의 빈도수, 제3 키워드의 정보 및 제3 키워드의 빈도수를 전처리하는 과정을 수행할 수 있다. 전처리가 수행된 제1 키워드의 정보, 제2 키워드의 정보, 제2 키워드의 빈도수, 제3 키워드의 정보 및 제3 키워드의 빈도수는 인공신경망의 입력으로 그대로 사용하거나, 불필요한 정보를 제거하는 통상의 처리를 거쳐 입력을 생성할 수 있다.

S405 단계에서, 장치(300)는 생성된 입력 신호를 인공신경망에 적용하여, 출력 신호를 생성할 수 있다.

여기서, 장치(300)는 트레이닝 제1 키워드의 정보들, 트레이닝 제2 키워드의 정보들, 트레이닝 제2 키워드의 빈도수 정보들, 트레이닝 제3 키워드의 정보들, 트레이닝 제3 키워드의 빈도수 정보들, 출력 신호들 및 트레이닝 대표 키워드 정보들을 획득하고, 이에 기초하여 인공신경망을 미리 학습시킬 수 있다. 장치(300)는 미리 학습된 인공신경망에 입력 신호를 적용하여 출력 신호를 생성할 수 있다. 이때, 트레이닝 대표 키워드 정보들은 트레이닝 제1 키워드의 정보들, 트레이닝 제2 키워드의 정보들, 트레이닝 제2 키워드의 빈도수 정보들, 트레이닝 제3 키워드의 정보들, 트레이닝 제3 키워드의 빈도수 정보들에 각각 대응하는 대표 키워드 매칭 정보들일 수 있다. 출력 신호들은 트레이닝 제1 키워드의 정보들, 트레이닝 제2 키워드의 정보들, 트레이닝 제2 키워드의 빈도수 정보들, 트레이닝 제3 키워드의 정보들, 트레이닝 제3 키워드의 빈도수 정보들에 기초하여 생성된 트레이닝 입력 신호들이 인공신경망에 적용되어 생성된 출력 신호들일 수 있다.

장치(300)는 트레이닝 출력들과 출력 신호들 및 트레이닝 대표 키워드 정보들에 기초하여 인공신경망을 학습시킬 수 있다. 장치(300)는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 인공신경망 내 노드들의 연결 관계를 최적화하여 인공신경망을 학습시킬 수 있다. 장치(300)는 학습이 완료된 인공신경망을 이용하여 제1 키워드의 정보, 제2 키워드의 정보, 제2 키워드의 빈도수, 제3 키워드의 정보 및 제3 키워드의 빈도수로부터 대표 키워드를 추출할 수 있다.

인공신경망은 트레이닝 샘플들이 입력되는 입력 레이어와 트레이닝 출력들을 포함하는 출력 레이어를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 제1 키워드의 정보, 제2 키워드의 정보, 제2 키워드의 빈도수, 제3 키워드의 정보 및 제3 키워드의 빈도수들에 기초하여 정의될 수 있다. 인공신경망은 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.

장치(300)는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 인공신경망을 학습시킬 수 있다. 장치(300)는 인공신경망의 출력들 및 레이블들 의해 설계된 손실 함수(Loss Function)를 이용할 수 있다.

장치(300)는 미리 정의된 손실 함수를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 제1 인공신경망 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.

장치(300)는 역전파(Backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 인공신경망 내 노드들 사이의 관계들이다. 장치(300)는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 장치(300)는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.

인공신경망은 제2 키워드의 빈도수 및 제3 키워드의 빈도수에 기반하여 가중치가 설정되고, 유사 키워드 확인 노드 및 중복 키워드 확인 노드를 포함하는 인공신경망이다.

S406 단계에서, 장치(300)는 출력 신호에 기초하여, 동영상 강의의 대표 키워드를 추출할 수 있다.

구체적으로, 장치(300)는 제1 키워드의 정보, 제2 키워드의 정보, 제2 키워드의 빈도수, 제3 키워드의 정보 및 제3 키워드의 빈도수를 기초로 입력 신호를 생성할 수 있다. 장치(300)는 제2 키워드의 빈도수 및 제3 키워드의 빈도수에 기반하여 가중치가 설정되고 유사 키워드 확인 노드 및 중복 키워드 확인 노드를 포함하는 인공신경망에 생성된 입력 신호를 적용하여 출력 신호를 획득할 수 있다. 장치(300)는 획득한 출력 신호에 기초하여 동영상 강의의 대표 키워드를 추출할 수 있다.

즉, 장치(300)는 제1 키워드의 정보, 제2 키워드의 정보, 제2 키워드의 빈도수, 제3 키워드의 정보 및 제3 키워드의 빈도수를 인공신경망에 입력하여 제1 키워드, 제2 키워드, 제3 키워드에 포함된 키워드 중 대표 키워드를 추출할 수 있다.

도 5는 일실시예에 따른 학습자가 동영상 강의를 듣고 문제를 푼 경우, 점수에 따라 동영상 강의를 추천하는 과정을 설명하기 위한 순서도이다.

도 5를 참조하면, 먼저, S501 단계에서, 장치(300)는 학습자가 동영상 강의의 시청을 완료한 경우, 학습자의 단말(200)로부터 동영상 강의에 대한 문제 요청을 수신할 수 있다.

구체적으로, 장치(300)는 학습자의 단말(200)을 통해 학습자가 동영상 강의의 시청을 완료하여 동영상 강의를 통해 수강을 완료했는지 여부를 판단할 수 있고, 학습자가 동영상 강의의 시청을 완료한 경우, 학습자의 단말(200)로부터 동영상 강의에 대한 문제 요청을 수신할 수 있다.

S502 단계에서, 장치(300)는 동영상 강의에 매칭되어 있는 문제를 추출하여 제1 시험지를 생성하고, 생성된 제1 시험지를 학습자의 단말(200)로 제공할 수 있다. 이때, 추출된 문제의 개수는 실시 예에 따라 달라질 수 있으며, 10문제를 추출하여 제1 시험지를 생성할 수도 있고, 20문제를 추출하여 제1 시험지를 생성할 수도 있고, 그 외의 개수의 문제를 추출하여 제1 시험지를 생성할 수도 있다.

구체적으로, 장치(300)는 데이터베이스에 목차와 매칭하여 대표 키워드, 제1 키워드, 제2 키워드, 제3 키워드 및 동영상 강의를 저장할 수 있고, 동영상 강의와 매칭된 문제가 추가로 저장될 수 있다. 이 때, 동영상 강의와 문제를 매칭하는 방법은 문제의 지문 및 답변을 분석하여 문제의 키워드를 추출하고, 추출된 키워드에 대응하는 동영상 강의를 획득하여 해당 동영상 강의와 문제를 매칭할 수도 있고, 문제를 틀린 학습자의 학습자 데이터를 기초로, 문제를 틀린 학습자가 많이 학습한 동영상 강의를 획득하여 해당 동영상 강의와 문제를 매칭할 수도 있다.

S503 단계에서, 장치(300)는 학습자의 단말(200)로부터 제1 시험지에 대한 답안을 획득할 수 있다.

S504 단계에서, 장치(300)는 제1 시험지에 대한 답안을 기초로, 동영상 강의에 대한 학습자 점수를 생성할 수 있다.

S505 단계에서, 장치(300)는 학습자 점수가 기준 값보다 큰지 여부를 확인할 수 있다. 여기서, 기준 값은 미리 설정된 값으로 실시 예에 따라 달라질 수 있다.

S505 단계에서, 학습자 점수가 기준 값보다 크다고 확인되면, S506 단계에서, 장치(300)는 학습자의 단말(200)로 다음 단계의 동영상 강의를 추천할 수 있다.

예를 들어, 학습자 점수가 90점이고, 기준 값이 75점일 경우, 장치(300)는 학습자 점수인 90점이 기준 값인 75점보다 큰 것을 확인하여, 학습자의 단말(200)로 다음 단계의 동영상 강의를 추천할 수 있다.

S505 단계에서, 학습자 점수가 기준 값보다 크지 않다고 확인되면, S507 단계에서, 장치(300)는 학습자의 단말(200)로 해당 동영상 강의의 재수강을 추천할 수 있다.

예를 들어, 학습자 점수가 40점이고, 기준 값이 75점일 경우, 장치(300)는 학습자 점수인 40점이 기준 값인 75점보다 작은 것을 확인하여, 학습자의 단말(200)로 해당 동영상 강의의 재수강을 추천할 수 있다.

이를 통해, 장치(300)는 키워드를 통해 학습자가 원하는 목차의 동영상 강의를 빠르게 제공할 수 있고, 데이터베이스에 키워드, 목차 및 문제와 매칭되어 저장된 동영상 강의를 통해 학습자의 실력 및 학습도를 확인할 수 있다.

도 6은 일실시예에 따른 다음 단계의 동영상 강의를 추천하는 과정을 설명하기 위한 순서도이다.

도 6을 참조하면, 먼저, S601 단계에서, 장치(300)는 동영상 강의의 목차에서 최상위 계층의 제1 목차와 제1 목차의 다음 계층의 제2 목차와 제2 목차의 다음 계층의 제3 목차를 확인할 수 있다.

구체적으로, 장치(300)는 다음 단계로 넘어가기 전 기존의 동영상 강의의 목차에서 최상위 계층의 제1 목차와 제1 목차의 다음 계층의 제2 목차와 제2 목차의 다음 계층의 제3 목차를 확인할 수 있다.

예를 들어, 동영상 강의가 중1 수학과 관련된 내용일 경우, 장치(300)는 기존의 동영상 강의의 제1 목차로 '수와 연산'을 확인할 수 있고, 제2 목차로 '정수와 유리수'를 확인할 수 있고, 제3 목차로 '정수와 유리수의 개념'을 확인할 수 있다.

S602단계에서, 장치(300)는 제1 목차와 제2 목차를 목차로 포함하는 동영상 강의를 추출할 수 있다.

구체적으로, 장치(300)는 기존의 동영상 강의의 제1 목차와 제2 목차를 포함하는 동영상 강의를 추출할 수 있다.

예를 들어, 동영상 강의가 중1 수학과 관련된 내용이고, 기존의 동영상 강의의 제1 목차가 '수와 연산'이고, 기존의 동영상 강의의 제2 목차로 '정수와 유리수'인 경우, 장치(300)는 제1 목차로 '수와 연산', 제2 목차로 '정수와 유리수', 제3 목차로 '정수와 유리수의 개념'을 포함하는 제1 동영상 강의, 제1 목차로 '수와 연산', 제2 목차로 '정수와 유리수', 제3 목차로 '정수와 유리수의 덧셈과 뺄셈'을 포함하는 제2 동영상 강의, 제1 목차로 '수와 연산', 제2 목차로 '정수와 유리수', 제3 목차로 '정수와 유리수의 곱셈과 나눗셈'을 포함하는 제3 동영상 강의를 추출할 수 있다.

S603 단계에서, 장치(300)는 추출된 동영상 강의 중 제3 목차를 포함하지 않는 동영상 강의를 다음 단계의 동영상 강의로 추천할 수 있다.

구체적으로, 장치(300)는 기존의 동영상 강의의 제1 목차와 제2 목차를 포함하고, 기존의 동영상 강의의 제3 목차를 포함하지 않는 동영상 강의를 다음 단계의 동영상 강의로 추천할 수 있다.

예를 들어, 동영상 강의가 중1 수학과 관련된 내용이고, 기존 동영상 강의의 제1 목차가 '수와 연산'이고, 기존 동영상 강의의 제2 목차로 '정수와 유리수'이고, 기존 동영상 강의의 제3 목차가 '정수와 유리수의 개념'인 경우, 장치(300)는 제1 목차로 '수와 연산', 제2 목차로 '정수와 유리수', 제3 목차로 '정수와 유리수의 개념'을 포함하는 제1 동영상 강의, 제1 목차로 '수와 연산', 제2 목차로 '정수와 유리수', 제3 목차로 '정수와 유리수의 덧셈과 뺄셈'을 포함하는 제2 동영상 강의, 제1 목차로 '수와 연산', 제2 목차로 '정수와 유리수', 제3 목차로 '정수와 유리수의 곱셈과 나눗셈'을 포함하는 제3 동영상 강의 중에서 기존 동영상 강의의 제3 목차인 '정수와 유리수의 개념'을 포함하지 않는 제2 동영상 강의 및 제3 동영상 강의를 다음 단계의 동영상 강의로 추천할 수 있다.

도 7은 일실시예에 따른 다양한 목차가 섞여 있는 문제를 푼 경우, 학습자가 틀린 문제를 분석하여 틀린 문제에 대응하는 동영상 강의를 제공하는 과정을 설명하기 위한 순서도이다.

도 7을 참조하면, 먼저, S701 단계에서, 장치(300)는 학습자의 단말(200)로부터 다양한 목차가 섞여 있는 과목에 대한 문제 요청을 수신할 수 있다. 여기서, 과목은 사용자의 단말(100)로부터 생성된 동영상 강의의 과목으로 데이터베이스에 동영상 강의와 매칭되어 저장되어 있는 과목일 수 있으며, 국어, 영어, 수학, 한국사, 과학, 화학, 생명과학, 물리학, 지구과학, 사회, 생활과윤리, 윤리와사상, 한국지리, 세계지리, 동아시아사, 세계사, 경제, 정치와법, 사회문화 등이 될 수 있다.

구체적으로, 장치(300)는 학습자의 단말(200)로부터 동영상 강의에 대한 문제 뿐만 아니라 다양한 목차가 섞여 있는 과목에 대한 문제 요청을 수신할 수 있다. 이 때, 과목의 문제 범위는 학습자의 단말(200)을 통해 입력받을 수 있다.

예를 들어, 장치(300)는 학습자의 단말(200)로부터 목차와 관계없이 중학교 1학년 수학과 관련된 문제 요청을 수신할 수 있다

S702 단계에서, 장치(300)는 과목에 포함되어 있는 문제를 추출하여 제2 시험지를 생성하고, 제2 시험지를 학습자의 단말(200)로 제공할 수 있다.

구체적으로, 장치(300)는 데이터베이스를 통해 학습자가 선택한 과목에 매칭되어 있는 문제를 임의로 추출할 수 있고, 임의로 추출된 문제를 기초로 제2 시험지를 생성하여 제2 시험지를 학습자의 단말(200)로 제공할 수 있다. 이때, 추출된 문제의 개수는 실시 예에 따라 달라질 수 있으며, 10문제를 추출하여 제2 시험지를 생성할 수도 있고, 20문제를 추출하여 제2 시험지를 생성할 수도 있고, 그 외의 개수의 문제를 추출하여 제2 시험지를 생성할 수도 있다.

S703 단계에서, 장치(300)는 학습자의 단말(200)로부터 제2 시험지에 대한 답안을 획득할 수 있다.

S704 단계에서, 장치(300)는 제2 시험지에 대한 답안을 기초로, 학습자가 틀린 문제를 획득할 수 있다.

S705 단계에서, 장치(300)는 학습자가 틀린 문제에 매칭된 키워드 및 동영상 강의를 확인할 수 있다.

구체적으로, 장치(300)는 학습자가 틀린 문제에 매칭된 키워드 및 동영상 강의가 있는 경우, 해당 키워드 및 동영상 강의를 확인할 수 있고, 학습자가 틀린 문제에 매칭된 키워드 및 동영상 강의가 없는 경우, 학습자가 틀린 문제의 지문 및 답변을 분석하여 문제의 키워드를 추출하고, 추출된 키워드에 대응하는 동영상 강의를 획득하여 추출된 키워드와 추출된 키워드에 대응하는 동영상 강의를 확인할 수 있다.

S706 단계에서, 장치(300)는 학습자의 단말(200)로 학습자가 틀린 문제에 매칭된 키워드 및 동영상 강의를 제공할 수 있다.

이를 통해, 장치(300)는 학습자가 틀린 문제와 매칭되어 있는 동영상을 제공할 수 있어 학습자는 효과적으로 틀린 문제에 대한 강의를 복습할 수 있다.

도 8은 일실시예에 따른 동영상 강의를 기록하여 저장하는 과정을 설명하기 위한 순서도이다.

도 8을 참조하면, 먼저, S801 단계에서, 장치(300)는 동영상 강의가 동영상 공유 사이트에 업로드 된 것을 확인할 수 있다.

S802 단계에서, 장치(300)는 동영상 강의에서 제1 시점의 영상 이미지를 제1 이미지로 추출할 수 있다. 즉, 장치(300)는 동영상 강의에서 제1 시점의 영상을 캡처하여, 캡처한 이미지를 제1 이미지로 추출할 수 있다. 여기서, 제1 시점은 실시예에 따라 상이하게 설정될 수 있다.

S803 단계에서, 장치(300)는 제1 이미지에서 판서가 차지하고 있는 영역을 제1 영역으로 구분할 수 있다.

구체적으로, 장치(400)는 제1 이미지를 분석하여, 제1 이미지 상에 있는 판서를 인식할 수 있으며, 제1 이미지 상에서 가장 좌측에 위치하는 판서의 위치를 제1 위치로 확인하고, 제1 이미지 상에서 가장 상측에 위치하는 판서의 위치를 제2 위치로 확인하고, 제1 이미지 상에서 가장 우측에 위치하는 판서의 위치를 제3 위치로 확인하고, 제1 이미지 상에서 가장 하측에 위치하는 판서의 위치를 제4 위치로 확인할 수 있다.

이후, 장치(300)는 제1 위치를 기준으로 상하 방향으로 확장한 제1 직선을 생성하고, 제2 위치를 기준으로 좌우 방향으로 확장한 제2 직선을 생성하고, 제3 위치를 기준으로 상하 방향으로 확장한 제3 직선을 생성하고, 제4 위치를 기준으로 좌우 방향으로 확장한 제4 직선을 생성할 수 있다.

이후, 장치(300)는 제1 직선, 제2 직선, 제3 직선 및 제4 직선을 연결한 영역을 제1 영역으로 설정한 후, 제1 이미지에서 제1 영역을 구분할 수 있다.

S804 단계에서, 장치(300)는 제1 이미지에서 제1 영역이 있는 부분을 분할하여, 분할된 이미지를 제1-1 이미지로 추출할 수 있다.

S805 단계에서, 장치(300)는 제1-1 이미지에 제1 사용자가 있는 것으로 인식되는지 여부를 확인할 수 있다. 즉, 장치(300)는 제1-1 이미지 상에서 글자 이외에 사람 형태의 객체가 인식되는지 여부를 확인하여, 제1-1 이미지에 사용자가 있는지 여부를 확인할 수 있다.

S805 단계에서 제1-1 이미지에 사용자가 있는 것으로 확인되면, S806 단계에서, 장치(300)는 제1-1 이미지에서 사용자가 차지하고 있는 영역을 제2 영역으로 구분할 수 있다. 이때, 장치(300)는 제1 이미지에서 제1 영역을 구분하는 방식과 동일한 방식을 통해, 제1-1 이미지에서 제2 영역을 구분할 수 있다.

S807 단계에서, 장치(300)는 동영상 강의를 제1 시점으로부터 시간상 역순으로 재생하여 분석할 수 있다.

S808 단계에서, 장치(300)는 동영상 강의를 제1 시점으로부터 시간상 역순으로 재생하여 분석한 결과, 제2 시점에 제2 영역 내에 사용자가 없는 것을 확인할 수 있다.

즉, 장치(300)는 동영상 강의를 제1 시점으로부터 시간상 역순으로 재생하여 제2 영역 내에 있는 사용자가 역으로 움직이는 것을 모니터링할 수 있으며, 제2 영역 내에 있는 사용자가 제2 영역을 벗어난 것으로 확인되는 시점을 제2 시점으로 설정할 수 있다.

S809 단계에서, 장치(300)는 동영상 강의에서 제2 시점의 영상 이미지를 제2 이미지로 추출할 수 있다. 즉, 장치(300)는 동영상 강의에서 제2 시점의 영상을 캡처하여, 캡처한 이미지를 제2 이미지로 추출할 수 있다.

S810 단계에서, 장치(300)는 제2 이미지에서 제2 영역이 있는 부분을 분할하여 제2-1 이미지를 추출할 수 있다.

S811 단계에서, 장치(300)는 제1-1 이미지에서 제2 영역이 있는 부분을 제2-1 이미지로 교체할 수 있다.

구체적으로, 장치(300)는 제1-1 이미지에 사용자가 있는 것으로 확인되면, 제1-1 이미지에서 사용자가 차지하고 있는 영역을 제2 영역으로 구분할 수 있고, 제1-1 이미지에서 제2 영역이 있는 부분을 삭제하고, 삭제된 위치에 제2-1 이미지를 삽입하여, 제1-1 이미지와 제2-1 이미지가 결합된 제1-1 이미지를 생성할 수 있다. 즉, 제1-1 이미지에서 제2 영역이 있는 부분이 제2-1 이미지로 교체되어, 제1-1 이미지에 있었던 사용자가 삭제되고, 삭제된 자리에 사용자가 없는 부분이 추가되어, 제1-1 이미지에서는 더 이상 사용자가 인식되지 않을 수 있다.

도 9는 일실시예에 따른 장치의 구성의 예시도이다.

일실시예에 따른 장치(300)는 프로세서(310) 및 메모리(320)를 포함한다. 프로세서(310)는 도 1 내지 도 8을 참조하여 전술된 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 8을 참조하여 전술된 적어도 하나의 방법을 수행할 수 있다. 장치(300)를 이용하는 자 또는 단체는 도 1 내지 도 8을 참조하여 전술된 방법들 일부 또는 전부와 관련된 서비스를 제공할 수 있다.

메모리(320)는 전술된 방법들과 관련된 정보를 저장하거나 후술되는 방법들이 구현된 프로그램을 저장할 수 있다. 메모리(320)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

프로세서(310)는 프로그램을 실행하고, 장치(300)를 제어할 수 있다. 프로세서(310)에 의하여 실행되는 프로그램의 코드는 메모리(320)에 저장될 수 있다. 장치(300)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 유무선 통신을 통해 데이터를 교환할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (3)

1. 장치에 의해 수행되는, 인공지능 기반 데이터베이스화된 동영상 강의의 검색 및 추천 서비스 제공 방법에 있어서,
   사용자의 단말로부터 동영상 강의 및 상기 동영상 강의와 관련된 제1 키워드를 획득하는 단계;
   상기 동영상 강의를 기초로, 상기 동영상 강의의 음성을 추출하고, 상기 추출된 음성을 텍스트로 변환하고, 상기 변환된 텍스트를 분석하여 상기 동영상 강의와 관련된 제2 키워드를 추출하는 단계;
   학습자 데이터로부터 상기 동영상 강의의 검색에 활용된 키워드를 확인하여 제3 키워드를 추출하는 단계;
   상기 제1 키워드, 상기 제2 키워드 및 상기 제3 키워드를 인공신경망에 적용하여, 상기 동영상 강의와 관련된 대표 키워드를 추출하는 단계;
   상기 대표 키워드, 상기 제1 키워드, 상기 제2 키워드 및 상기 제3 키워드의 계층을 분류하고, 상기 계층 분류를 기초로, 상기 동영상 강의의 목차를 생성하는 단계;
   학습자의 단말로부터 검색 키워드를 획득하는 단계; 및
   상기 검색 키워드와 상기 동영상 강의의 목차를 비교하여, 상기 검색 키워드에 대응하는 동영상 강의를 상기 학습자의 단말로 제공하는 단계;를 포함하고,
   학습자가 상기 동영상 강의의 시청을 완료한 경우, 상기 학습자의 단말로부터 상기 동영상 강의에 대한 문제 요청을 수신하는 단계;
   상기 동영상 강의에 매칭되어 있는 문제를 추출하여 제1 시험지를 생성하고, 상기 생성된 제1 시험지를 상기 학습자의 단말로 제공하는 단계;
   상기 학습자의 단말로부터 상기 제1 시험지에 대한 답안을 획득하는 단계;
   상기 제1 시험지에 대한 답안을 기초로, 상기 동영상 강의에 대한 학습자 점수를 생성하는 단계;
   상기 학습자 점수가 미리 설정된 기준 값보다 큰지 여부를 확인하는 단계;
   상기 학습자 점수가 상기 기준 값보다 크다고 확인되면, 상기 학습자의 단말로 다음 단계의 동영상 강의를 추천하는 단계;
   상기 학습자 점수가 상기 기준 값보다 크지 않다고 확인되면, 상기 학습자의 단말로 상기 동영상 강의의 재수강을 추천하는 단계;를 더 포함하고,
   상기 제1 키워드, 상기 제2 키워드 및 상기 제3 키워드를 인공신경망에 적용하여, 상기 동영상 강의와 관련된 대표 키워드를 추출하는 단계는
   상기 제1 키워드로부터 상기 제1 키워드의 정보를 획득하는 단계;
   상기 제2 키워드로부터 상기 제2 키워드의 정보 및 상기 제2 키워드의 빈도수를 획득하는 단계;
   상기 제3 키워드로부터 상기 제3 키워드의 정보 및 상기 제3 키워드의 빈도수를 획득하는 단계;
   상기 제1 키워드의 정보, 상기 제2 키워드의 정보, 상기 제2 키워드의 빈도수, 상기 제3 키워드의 정보 및 상기 제3 키워드의 빈도수를 기초로, 입력 신호를 생성하는 단계;
   상기 생성된 입력 신호를 상기 인공신경망에 적용하여, 출력 신호를 생성하는 단계;
   상기 출력 신호에 기초하여, 상기 동영상 강의의 대표 키워드를 추출하는 단계;를 포함하고,
   상기 동영상 강의에 매칭되어 있는 문제는 상기 문제의 지문 및 답변을 분석하여 상기 문제의 키워드를 추출하고, 상기 추출된 키워드에 대응하는 동영상 강의를 획득하고, 상기 문제를 틀린 학습자의 학습 데이터를 기초로, 상기 문제를 틀린 학습자가 많이 학습한 동영상 강의를 획득하여, 상기 키워드에 대응하는 동영상 강의 및 상기 학습자의 학습 데이터에 대응하는 동영상 강의를 기초로, 상기 문제에 대응하는 동영상 강의를 확인하고, 상기 문제에 대응하는 동영상 강의에 매칭하여 저장된,
   인공지능 기반 데이터베이스화된 동영상 강의의 검색 및 추천 서비스 제공 방법.
2. 제1항에 있어서,
   상기 동영상 강의를 기초로, 상기 동영상 강의의 음성을 추출하고, 상기 추출된 음성을 텍스트로 변환하고, 상기 변환된 텍스트를 분석하여 상기 동영상 강의와 관련된 제2 키워드를 추출하는 단계는,
   상기 텍스트의 형태소를 분석하여 단어 단위로 분류하는 동작,
   상기 단어를 기초로, 상기 단어들 중 일상 단어 및 습관 단어를 포함하는 부가 단어를 제외하는 동작,
   상기 단어들 중 상기 부가 단어를 제외하고 남은 단어를 핵심 단어로 선정하는 동작, 및
   상기 핵심 단어의 빈도수 및 상기 핵심 단어 간의 연관도를 기초로, 상기 제2 키워드를 추출하는 동작을 포함하는,
   인공지능 기반 데이터베이스화된 동영상 강의의 검색 및 추천 서비스 제공 방법.
3. 삭제