KR102252522B1 - 내용 기반 동영상 목차 자동생성 방법 및 시스템 - Google Patents

내용 기반 동영상 목차 자동생성 방법 및 시스템 Download PDF

Info

Publication number
KR102252522B1
KR102252522B1 KR1020200018991A KR20200018991A KR102252522B1 KR 102252522 B1 KR102252522 B1 KR 102252522B1 KR 1020200018991 A KR1020200018991 A KR 1020200018991A KR 20200018991 A KR20200018991 A KR 20200018991A KR 102252522 B1 KR102252522 B1 KR 102252522B1
Authority
KR
South Korea
Prior art keywords
video content
information
video
contents
section
Prior art date
Application number
KR1020200018991A
Other languages
English (en)
Inventor
손영석
Original Assignee
제주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제주대학교 산학협력단 filed Critical 제주대학교 산학협력단
Priority to KR1020200018991A priority Critical patent/KR102252522B1/ko
Priority to PCT/KR2020/018634 priority patent/WO2021167220A1/ko
Priority to PCT/KR2021/000093 priority patent/WO2021167238A1/ko
Application granted granted Critical
Publication of KR102252522B1 publication Critical patent/KR102252522B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 목차 생성 대상 동영상 콘텐츠를 선택하는 단계, 동영상 콘텐츠에서 발화되는 음성정보를 추출하여 텍스트 정보를 생성하는 단계, 상기 텍스트 정보를 형태소로 구분하여, 각 형태소의 품사, 사용된 횟수를 포함하는 형태소 정보를 데이터화하는 단계, 상기 동영상 콘텐츠를 복수의 구간으로 구획하고, 상기 형태소 정보를 기초로 동영상 콘텐츠의 구획 구간에서 특징어를 선택하는 단계, 상기 동영상 콘텐츠의 구획 구간에서 선택된 특징어들을 순차적으로 나열하여 목차 정보를 생성하는 단계, 상기 동영상 콘텐츠에서 상기 특징어의 발화된 시점 정보를 기초로 동영상 콘텐츠의 개별 재생 구간을 설정하는 단계, 상기 목차 정보와 동영상 콘텐츠의 개별 재생 구간을 링크시키는 단계, 및 상기 동영상 콘텐츠와 관련하여 상기 목차 정보가 디스플레이되도록 연동시키는 단계를 포함하는 내용 기반 동영상 목차 자동생성 방법을 제공한다.

Description

내용 기반 동영상 목차 자동생성 방법 및 시스템 {Method and system for automatic creating contents list of video based on information}
본 발명은 동영상 목차 자동생성 방법 및 시스템에 관한 것으로서, 상세하게는 사용자의 수작업 없이 동영상 콘텐츠의 내용을 기반으로 자동으로 목차를 생성하고, 해당 목차와 관련된 구간을 자동으로 재생할 수 있는 새로운 방법 및 시스템을 제안한다.
컴퓨터 등 정보통신의 비약적인 발전으로 모든 분야에서 정보화가 이루어진 지식정보화사회에서는 초고속정보통신망에 의해 세계가 하나로 연결되고 수많은 정보가 디지털화되고 있다. 정보통신 시설 및 이용이 고도화된 기반 위에서 온갖 정보와 창의적인 지식이 융합되어 기술과 산업을 이끄는 사회라고 할 수 있다.
지식정보화사회에서는 정보의 생산 및 공급을 위한 시스템 뿐만 아니라, 정보의 원활한 공유를 위한 기술적 기반이 매우 중요하다. 특히 기하급수적으로 쏟아지는 정보의 바다에서 사용자가 원하는 정보를 선택하고, 해당 정보에서 특정 부분을 쉽고 빠르게 찾아내는 것은 정보 활용 측면에서 필수적인 요소라고 할 수 있다.
퍼스널 컴퓨터와 웹 기반의 인터넷망이 각종 디지털 정보를 생산하고 공유하는 수단이 된 지 오래이며, 최근에는 정보의 생산 및 공유를 더 확산시키는 모바일 플랫폼이 계속 증가되고 있다. 정보화 플랫폼의 개발에 따라 정보의 활용 기술도 함께 반전하고 있는데, 종래의 서적으로 대표되는 인쇄물의 경우, 인쇄물에 포함된 내용이 목차로 제공되므로 첫 페이지부터 순차적으로 읽지 않아도 목차를 바탕으로 이용자가 원하는 정보가 어느 곳에 적혀있는지를 찾아볼 수 있다. 반면 동영상 콘텐츠의 경우 목차가 제공되지 않으므로 영상 시작부부터 종료부까지 순차적으로 시청하지 않으면 어느 부분에서 어떠한 내용이 발화되었는지를 짐작하기가 어려워 원하는 정보를 찾기가 쉽지 않다.
불과 몇 년 전까지만 하여도 대부분의 정보검색은 텍스트에 기반하여 이뤄져왔다. 하지만 최근에는 급속한 속도로 동영상에 기반한 정보검색이 확산되고 있다. 이러한 사실은 최근 10, 20대 등 젊은 층은 물론 중장년층에서도 네이버 등의 포털사이트 검색 보다 유투브 등 동영상 공유 서비스를 10배 이상 많이 사용한다는 통계 결과를 통해서도 확인할 수 있다.
동영상 관련 기술의 비약적인 발달에 따라, 네트워크상에서 관심 있는 동영상 파일을 검색하고자 하는 사용자의 요구가 커지고 있다. 이러한 요구를 충족시키지 위해 여러 형태의 동영상 검색 방법이 개발되고 있는데, 현재 통상적으로 사용되고 있는 동영상 검색 방법으로는 입력된 텍스트 키워드를 이용하여 전체 동영상 파일에 대한 텍스트 주석을 검색하는 주석 기반 검색, 엔진에 의한 검색 방법이 있다. 이러한 방식에서는, 특정한 동영상 파일을 대표할 수 있는 영화 타이틀이나 관련 신문 기사 제목 등이 주석으로 붙여진 동영상을 키워드 입력에 따라 텍스트 주석과 텍스트 키워드를 비교하여 검색하게 된다. 또 다른 방식으로, 동영상에서 특정인물이 등장하는 구간정보를 바탕으로 동영상에서 특정인물이 등장하는 구간을 자동적으로 검색하는 시스템이 제안되고 있다.
이처럼 동영상의 검색은 '제목'이나 '해시태그(#)'를 이용하는데 그치고 있다. 즉 현재의 동영상 검색 방법은 이용자가 검색한 키워드가 (동영상을 업로드한 이가 임의로 붙인) 동영상의 제목 또는 해시태그와 일치하지 않으면 원하는 동영상을 찾아볼 수 없다. 이와 같은 동영상 검색 방법만으로는 인터넷상의 무수한 동영상을 검색하는데 한계가 있으며, 쏟아지는 동영상 콘텐츠의 대중적 이용 및 확산의 걸림돌이 되고 있다.
이러한 상황에서 본 발명자는 사용자가 검색하고자 하는 내용이 동영상 파일 내의 특정한 내용에 해당하는 경우, 그 특정한 내용이 반영된 구간의 장면만이 재생되도록 제어하는 내용을 기반으로 하는 동영상 검색시스템을 제안한 바 있다(등록특허 10-1940289 참조).
이 기술은 여러 개의 동영상 중에서 특정 단어가 사용된 부분의 영상만을 발췌 및 정렬하여 연속해서 재생해주는 기술로서, 구체적으로는 검색키워드를 이용하여 동영상 검색을 요청하는 동영상 검색자 단말기와; 인터넷 상에서 서비스되는 동영상 컨텐츠를 저장관리하는 동영상 저장서버들과; 상기 동영상 검색자 단말기로부터 동영상 검색 요청에 의해 전송된 검색키워드를 토대로 상기 동영상 저장서버들에 저장관리되는 동영상 컨텐츠 중 상기 검색키워드가 발화되는 동영상 컨텐츠를 수집하고, 그 수집된 동영상 컨텐츠마다 상기 검색키워드가 발화되는 재생구간인 '검색키워드 재생구간'을 설정하여 상기 동영상 검색자 단말기에 제공함으로써, 상기 동영상 검색자 단말기에서 그 제공되는 동영상 컨텐츠를 시청 시 검색키워드 재생구간 부문만 재생되도록 제어하는 동영상 검색서버;로 이루어진다.
상기 동영상 검색서버에는 DB부; 및 동영상 검색엔진;이 탑재되고, 상기 DB부에는, 상기 동영상 저장서버들에서 저장관리되는 동영상 컨텐츠를 식별하는 식별자인 저장위치별 동영상 컨텐츠 식별정보, 상기 동영상 저장서버들에서 저장관리되는 동영상 컨텐츠에서 출력되는 대화가 문장단위로 기록되되, 그 동영상 컨텐츠에서 '대화가 발화되는 시점'에 따라 기록 저장되는 동영상 컨텐츠 대화내용 텍스트정보가 각 동영상 컨텐츠별로 구분되어 저장된 저장위치 동영상 컨텐츠별 대화내용 텍스트정보 DB를 포함하며, 상기 동영상 검색엔진은 상기 동영상 검색자 단말기로부터 전송된 검색키워드를 상기 저장위치 동영상 컨텐츠별 대화내용 텍스트정보 DB의 동영상 컨텐츠 대화내용 텍스트정보와 매칭하고, 그 매칭되는 동영상 컨텐츠 대화내용 텍스트정보와 연계되는 저장위치별 동영상 컨텐츠 식별정보를 인지하며, 그 인지된 저장위치별 동영상 컨텐츠 식별정보와 매칭되는 해당 검색키워드가 포함된 동영상 컨텐츠를 수집하며, 상기 동영상 컨텐츠 대화내용 텍스트정보를 참조하여 그 수집된 동영상 컨텐츠의 영상 중 상기 검색키워드를 중심으로 전 문맥과 후 문맥을 포함하는 문장단위에 해당하는 시간영역 만큼 재생되도록 링크시킨다.
이와 같은 종래의 동영상 검색 방법은 사용자가 검색하고자 하는 내용이 동영상 파일 내의 특정한 내용에 해당하는 경우, 그 특정 내용이 반영된 동영상들을 검색할 수 있다는 점에서 의의가 있으나, 동영상 내에서 내용에 따른 목차를 확인하기 어려워 사용자가 보다 구체적으로 동영상을 검색하고 특정 동영상 중 원하는 부분만을 선별하여 재생시키는 것은 불가능하였다.
본 발명은 전술한 기술적 배경하에서 창안된 것으로, 본 발명의 목적은 온라인을 통해 제공되는 다양한 동영상 콘텐츠의 검색에 있어서 사용자의 니즈에 맞춘 새로운 동영상 검색방법을 제공하는 것이다.
본 발명의 다른 목적은 동영상 전체를 재생해보지 않아도 사용자가 원하는 부분을 확인하고 해당 부분만 재생할 수 있는 동영상 재생방법을 제공하는 것이다.
본 발명의 또 다른 목적은 동영상 콘텐츠 제작자가 동영상 내용에 따라 일일히 목차를 생성하고 동영상의 해당 부분이 재생되도록 목차와 영상 부분을 링크시키는 번거로운 작업 없이, 동영상 콘텐츠에 대해 자동적으로 목차를 생성하고 해당 목차에 관련된 동영상 부분이 재생되도록 하는 시스템을 제공하는 것이다.
기타, 본 발명의 또 다른 목적 및 기술적 특징은 이하의 상세한 설명에서 보다 구체적으로 제시될 것이다.
상기 목적을 달성하기 위하여, 본 발명은 목차 생성 대상 동영상 콘텐츠를 선택하는 단계, 동영상 콘텐츠에서 발화(發話)되는 음성정보를 추출하여 텍스트 정보를 생성하는 단계, 상기 텍스트 정보를 형태소(形態素)로 구분하여, 각 형태소의 품사, 사용된 횟수를 포함하는 형태소 정보를 데이터화하는 단계, 상기 동영상 콘텐츠를 복수의 구간으로 구획하고, 상기 형태소 정보를 기초로 동영상 콘텐츠의 구획 구간에서 특징어를 선택하는 단계, 상기 동영상 콘텐츠의 구획 구간에서 선택된 특징어들을 순차적으로 나열하여 목차 정보를 생성하는 단계, 상기 동영상 콘텐츠에서 상기 특징어의 발화된 시점 정보를 기초로 동영상 콘텐츠의 개별 재생 구간을 설정하는 단계, 상기 목차 정보와 동영상 콘텐츠의 개별 재생 구간을 링크시키는 단계, 및 상기 동영상 콘텐츠와 관련하여 상기 목차 정보가 디스플레이되도록 연동시키는 단계를 포함하는 내용 기반 동영상 목차 자동생성 방법을 제공한다.
본 발명에 있어서, 상기 동영상 콘텐츠의 음성정보로부터 텍스트 정보 생성 시 음성정보에 해당하는 언어의 문자로 텍스트 정보를 생성하는 것이 바람직하다.
본 발명에 있어서, 상기 동영상 콘텐츠의 구간 구획 시, 동영상 콘텐츠의 전체 재생 시간을 균등한 시간으로 나누어 복수의 구간으로 구획할 수 있다. 또한, 상기 특징어는 동영상 콘텐츠의 구획 구간에서 발화된 빈도가 가장 많은 텍스트를 선택할 수 있다.
또한, 본 발명에 있어서, 상기 동영상 콘텐츠에서 제1특징어가 최초 발화된 시점과 제2특징어가 최초 발화된 시점을 기초로 동영상 콘텐츠의 개별 재생 구간을 설정할 수 있다.
본 발명은 또한, 목차 생성 대상 동영상 콘텐츠를 선택하고 선택된 동영상 콘텐츠를 복수의 구간으로 구획하는 동영상 관리부, 동영상 콘텐츠에서 발화되는 음성정보를 추출하고 추출된 음성정보로부터 텍스트 정보를 생성하는 텍스트 변환부, 상기 텍스트 정보를 형태소로 구분하여 각 형태소의 품사, 사용된 횟수를 포함하는 형태소 정보를 데이터화하는 형태소 분석부, 상기 형태소 정보를 기초로 동영상 콘텐츠의 구획 구간에서 특징어를 선택하고 동영상 콘텐츠의 구획 구간에서 선택된 특징어들을 순차적으로 나열하여 목차 정보를 생성하는 목차 생성부, 상기 동영상 콘텐츠에서 상기 특징어의 발화된 시점 정보를 기초로 동영상 콘텐츠의 개별 재생 구간을 설정하고 상기 목차 정보와 동영상 콘텐츠의 개별 재생 구간을 링크시키며 상기 동영상 콘텐츠와 관련하여 상기 목차 정보가 디스플레이되도록 연동시키는 출력 제어부를 포함하는 내용 기반 동영상 목차 자동생성 시스템을 제공한다.
본 발명에 따르면, 인터넷을 통해 제공되는 각종 동영상 콘텐츠에 대해 선택적으로 또는 일괄적으로 목차 정보를 자동으로 생성할 수 있으며, 동영상이 어떤 내용을 담고 있는지를 전체를 재생하지 않더라도 동영상의 개별 구간에 대해 생성된 목차 정보를 통해 동영상의 내용을 확인할 수 있으며, 필요에 따라 해당 목차 정보를 통해 원하는 구간만을 재생하는 것이 가능하다.
본 발명은 개인 유투버나 인터넷 상에서 동영상을 스트림 형식으로 제공하고 있는 각종 동영상 플랫폼 및 관련 IT기업들에서 널리 활용될 수 있을 것으로 기대된다.
도 1은 본 발명의 목차생성 시스템의 구성을 보인 모식도
도 2는 본 발명의 동영상 목차생성 방법을 보인 순서도
도 3은 핵심어 추출 방법을 보인 모식도
도 4는 구획 구간과 재생 구간을 보인 모식도
도 5는 동영상 콘텐츠와 목차 정보를 보인 인터넷 화면
본 발명은 동영상 콘텐츠의 내용을 기반으로 자동으로 목차를 생성하고, 해당 목차와 관련된 구간을 자동으로 재생할 수 있는 새로운 방법 및 시스템을 제안한다.
동영상 목차 자동 생성에 있어서, 목차가 동영상의 내용을 기반으로 하기 위해, 본 발명의 바람직한 실시예에서는 동영상 내 일정 부분에서 빈출(頻出)한 단어(특징어)들을 바탕으로 해당 동영상의 목차를 생성하고, 생성된 목차를 해당 동영상 부분과 각각 연동시켜 목차와 관련된 동영상이 재생되도록 한다. 내용 기반 목차 생성에는 빈출 단어를 특징어로 선택하는 것 이외에도 다양한 방식이 이용될 수 있다.
이와 같은 목차 자동 생성은 개별 동영상 콘텐츠에 대해 적용하여 하나의 동영상 내에서 원하는 목차에 해당하는 동영상 부분을 선택적으로 시청할 수도 있고, 내용이나 카테고리가 유사한 복수의 동영상에 대해 목차를 생성한 후 복수의 동영상 중 원하는 목차에 해당하는 동영상을 선택적으로 시청하는 것도 가능하다.
본 발명의 목차 생성방법을 구현하기 위해서는 동영상의 선택, 목차의 생성 및 디스플레이, 동영상의 구분(분할) 방식 및 핵심어 추출 방법, 디스플레이된 목차와 동영상의 해당 부분의 링크 등의 기술적 수단이 중요하며, 이를 위하여 본 발명에 따른 시스템은 여러가지 하드웨어적 및 소프트웨어적 수단이 필요하다. 도 1을 참조하면, 본 발명의 목차생성 시스템(100)의 각 기능 처리부 구성을 도시한 것으로, 동영상 관리부(110), 텍스트 변환부(120), 형태소 분석부(130), 목차 생성부(140) 및 출력 제어부(150)를 포함하고 있으며, 예를 들어 온라인 플랫폼 형태로 구축될 수 있고 컴퓨터 단말 등의 서버를 구비할 수 있으며, 유무선 통신망을 통해 다른 서버 내지 인터넷 웹사이트 등과 네트워킹이 가능하다.
동영상 관리부는 기본적으로 목차 생성 대상 동영상 콘텐츠를 선택하고 해당 콘텐츠 정보를 관리하며, 선택된 동영상 콘텐츠를 복수의 구간으로 구획하는 추가적인 기능도 수행한다. 동영상 관리부는 전체 시스템과 관련된 서버 내에 포함될 수 있다.
텍스트 변환부는 동영상 콘텐츠에서 발화(發話)되는 음성정보를 추출하고 추출된 음성정보로부터 텍스트 정보를 생성하는 기능을 담당하며, 음성정보 이외에 문자 정보나 기타 정보를 텍스트로 변환할 수 있고, 음성정보가 특정 국가나 민족의 언어에 해당할 경우 그 언어를 판별하는 기능도 포함한다. 텍스트 변환부에는 음성정보로부터 변환된 문자 정보를 저장하는 텍스트 데이터베이스를 포함할 수 있다. 형태소 분석부는 상기 텍스트 정보를 형태소(形態素)로 구분하여, 각 형태소의 품사, 사용된 횟수를 포함하는 형태소 정보를 데이터화하며, 얻어진 형태소 정보를 저장하는 데이터베이스를 포함할 수 있다.
상기 텍스트 변환부와 형태소 분석부는 각각 독립된 기능을 하는 구성요소로서 서버 내에 포함될 수 있으며, 외부의 오픈 API를 이용할 경우 시스템 서버 내에는 외부 API를 이용한 결과물을 저장하는 데이터베이스만을 포함할 수도 있다.
목차 생성부는 상기 형태소 정보를 기초로 동영상 콘텐츠의 구획 구간에서 특징어를 선택하고, 동영상 콘텐츠의 구획 구간에서 선택된 특징어들을 순차적으로 나열하여 목차 정보를 생성한다. 생성된 목차는 텍스트 형태의 목차 정보와 함께 동영상의 해당 부분(특정 재생 구간)과 관련된 연결 정보를 포함할 수 있다.
출력 제어부는 동영상 콘텐츠에서 상기 특징어의 발화된 시점 정보를 기초로 동영상 콘텐츠의 개별 재생 구간을 설정하는 한편, 상기 목차 정보와 동영상 콘텐츠의 개별 재생 구간을 링크시키며, 상기 동영상 콘텐츠와 관련하여 상기 목차 정보가 디스플레이되도록 연동시킨다. 출력 제어부는 독립적으로 구성되어 시스템 서버 내에 포함될 수도 있으며, 상기 동영상 관리부 또는 목차 생성부에 포함되어 통합적인 동영상 제어부로 구성하는 것도 가능하다.
또한, 본 발명에 있어서, 상기 동영상 관리부와 출력 제어부는 외부의 동영상 제공서버(S), 예를 들어 인터넷을 통한 동영상 제공 관련 웹사이트 또는 모바일 플랫폼 등과 실시간으로 통신하면서, 데이터를 송수신하고 목차 정보(재생 정보 포함)를 제공할 수 있다.
이와 같은 내용 기반 동영상 목차 자동생성 시스템을 통해, 사용자 자체 제작 동영상은 물론 인터넷에 공개되는 제3자의 동영상에 대해서 자동으로 목차를 생성할 수 있으며, 생성된 목차를 선택하여 동영상에서 해당 영역만을 재생시킬 수 있다. 이러한 방법은 다음과 같은 주요 단계를 통해 구현되는데, 동영상 내에서 발화된 내용을 자동으로 녹취하여 문자화 텍스트를 생성하는 단계, 문자화 텍스트를 형태소해석 프로그램 등에 기반하여 단어단위로 구분하는 단계, 동영상 내 일정 부분에서 빈출 단어 또는 특징어 등을 바탕으로 목차를 생성하는 단계, 목차를 바탕으로 '목차 구간'의 장면만 재생되도록 동영상을 제어하는 단계를 포함한다.
이와 같은 동영상 목차 자동 생성 방법에 대해 도 2를 참조하여 보다 구체적으로 설명한다.
먼저, 시스템의 동영상 관리부는 목차 생성 대상 동영상 콘텐츠를 선택하거나 또는 수신한다(단계 S110). 동영상의 선택은 서버가 자체적으로 진행할 수도 있고, 외부로부터 목차 생성을 의뢰받은 동영상 정보를 수신할 수도 있으며, 개별 동영상뿐만 아니라 복수의 동영상에 대해 목차 생성을 의뢰받을 수도 있다.
목차 생성 동영상이 결정되면, 텍스트 변환부는 동영상 콘텐츠에서 발화되는 음성정보를 추출하고, 추출된 음성정보로부터 텍스트 정보를 생성한다(단계 S120), 동영상의 음성정보는 대부분 하나 이상의 언어를 포함하고 있는데, 이러한 음성정보로부터 텍스트 정보 생성 시 음성정보에 해당하는 언어의 문자로 텍스트 정보를 생성하고, 복수의 언어가 포함되면 각 언어에 해당하는 문자로 텍스트를 변환하는 것이 바람직하다. 필요에 따라 두 개 이상의 언어로 된 음성정보를 하나의 언어도 통일하여 텍스트 정보를 일원화시키는 것도 가능하다. 동영상 내에서 발화된 내용을 자동으로 녹취하여 문자화텍스트를 생성하는 과정은 해당 알고리즘이 포함된 텍스트 변환부를 서버 내에 자체적으로 구비할 수도 있지만, 외부의 서비스를 이용하는 것도 가능하다. 예를 들어 음성을 녹취하여 자동으로 텍스트로 전환해주는 STT(Speech to Text) 서비스를 이용할 수 있으며, 이 경우 시스템 서버에는 텍스트 변환 관련 제어부와 변환된 텍스트 정보의 데이터베이스를 구비한다.
다음으로, 상기 텍스트 정보를 형태소로 구분하여, 각 형태소의 품사, 사용된 횟수를 포함하는 형태소 정보를 데이터화한다(단계 S130). 문자화 텍스트(문장)는 형태소해석 프로그램(형태소분석기)에 기반하여 단어 단위로 구분할 수 있는데, 예를 들어 '까치 까치 설날은 어저께고요, 우리 우리 설날은 오늘이래요.'라는 문장을 '까치/ 까치/ 설날/은/ 어저께/고/요/, 우리/ 우리/ 설날/은/ 오늘/이래/요.'로 자동으로 구분할 수 있다. 또한, 까치(명사) 2회, 우리(명사) 2회, 설날(명사) 2회, 요(조사) 2회, 오늘(명사) 1회와 같이 각 단어의 품사, 사용 횟수 등을 확인할 수 있다. 형태소 해석기는 시스템 서버내에 자체적으로 구비할 수도 있으며, 외부의 공개 프로그램을 이용하는 것도 가능하다. 이 경우 시스템 서버에는 형태소 정보 변환 관련 제어부와 추출된 형태소 정보의 데이터베이스를 구비한다.
텍스트 변환 및 형태소 정보의 데이터화가 완료되면, 상기 동영상 콘텐츠를 복수의 구간으로 구획하고, 상기 형태소 정보를 기초로 동영상 콘텐츠의 구획 구간에서 특징어를 선택한다(단계 S140).
도 3은 핵심어 추출 방법을 보인 모식도로서, 특정 구획 구간(section 1)에서 발화된 다수의 단어 중 빈도가 높은 단어(AAA)를 핵심어로 선정하는 것을 보이고 있다. 여기서, 동영상 콘텐츠의 구획 구간과 후술하는 동영상 재생 구간과는 상이하며(도 4 참조), 특징어 추출을 위해 임시적으로 동영상 콘텐츠를 복수개의 영역으로 나눈 분할 영상에 해당한다. 구간의 구획은 다양한 기준에 의해 설정될 수 있는데, 예를 들어 동영상 콘텐츠의 전체 재생 시간을 균등한 시간으로 나누어 복수의 구간으로 구분할 수 있으며, 동영상의 분량에 따라 구획되는 구간(시간)이 달라질 수 있다.
동영상의 경우 물리적인 경계가 없는 관계로, 소정 시간 간격으로 구분된 구간에서 많이 사용된 단어를 해당 구간의 특징어로 선택할 수 있다. 예를 들어 10분 분량의 동영상이라면 먼저 기계적으로 동영상의 구간을 10등분한 후 1분 단위로 나눠진 각각의 구간에서 특히 많이 사용된 각 단어(다른 구간에서는 적게 등장)를 특징어로 선택한다. 특징어는 명사, 동사, 또는 명사와 동사가 결합된 단문 형태가 될 수도 있다. 또한, 빈출어가 없을 경우 해당 구간에서 최초 단어를 임시 특징어로 결정할 수도 있다.
구획 구간에서 특징어(중요 어휘)를 방법론적으로 어떻게 추출해낼지는 본 발명의 동영상 목차 생성에 있어서 매우 중요하다. 전술한 바와 같이, 소정 시간 간격으로 구분된 구간에서 많이 사용된 단어를 해당 구간의 특징어로 삼을 수도 있고, 다른 특징어 추출기법에 따라 알고리즘이 수행되도록 할 수도 있다. TF-IDF(Term Frequency - Inverse Document Frequency)는 대표적인 특징어 산출 방법 중 하나이다. TF-IDF는 정보 검색과 텍스트 마이닝에서 이용하는 가중치로, 여러 문서로 이루어진 문서군이 있을 때 어떤 단어가 특정 문서 내에서 얼마나 중요한 것인지를 통계적 수치로 나타낸다. 이 방법을 이용하여 동영상 구획 구간에서 핵심어를 추출하거나, 복수의 구획 구간에서 비슷한 핵심어들을 비교하여 특징어를 구별하는데 사용할 수 있다.
다음으로, 동영상 콘텐츠의 구획 구간에서 선택된 특징어들을 순차적으로 나열하여 목차 정보를 생성한다(단계 S150). 예를 들어, 동영상 내 일정 부분에서만 빈출한 단어(특징어)들을 바탕으로 목차를 생성할 수 있으며, 목차는 선정된 특징어에 해당하는 명사, 동사, 또는 명사와 동사가 결합된 단문 형태가 될 수도 있다.
목차 정보를 생성한 다음, 출력 제어부는 목차를 바탕으로 '목차 구간'의 장면만이 재생되도록 동영상을 제어한다. 구체적으로, 동영상 콘텐츠에서 상기 특징어의 발화된 시점 정보를 기초로 동영상 콘텐츠의 개별 재생 구간을 설정하고, 상기 목차 정보와 동영상 콘텐츠의 개별 재생 구간을 링크시킨다(단계 S160).
도 4는 구획 구간과 재생 구간을 보인 모식도이다. 구획 구간이 예를 들어 전체 동영상을 균등한 시간으로 분할한 것인데 반하며, 재생 구간은 추출된 특징어의 발화된 시점 정보를 기초로 설정되기 때문에 각 재생 구간의 길이가 서로 달라질 수 있다. 재생 구간은 동영상 콘텐츠에서 제1특징어가 최초 발화된 시점과 제2특징어가 최초 발화된 시점을 기초로 동영상 콘텐츠의 재생 구간을 설정할 수 있다. 예를 들어 특징어 A가 처음 등장한 시점부터 특징어 B가 등장하기 직전까지의 구간을 하나의 특징어 A와 관련된 제1목차 재생 구간으로 설정하고, 특징어 B가 처음 등장한 시점부터 특징어 C가 등장하기 직전까지의 구간을 특징어 B와 관련된 제2목차 재생 구간으로 설정할 수 있다. 이 경우 목차 정보에서 특징어 A와 관련된 제1목차를 클릭하게 되면 동영상의 최초 시작 시점이 아닌, 특징어 A가 처음 등장한 지점부터 동영상이 재생되도록 할 수 있다. 이를 위하여 출력 제어부는 선정된 특징어에 해당하는 목차 정보와 설정된 동영상의 개별 재생 구간을 상호 링크시킨다. 재생 구간은 특징어가 최초 발화되는 지점보다 앞선 시점에서 시작되도록 설정하는 것도 가능하다.
출력 제어부는 또한 동영상 콘텐츠와 관련하여 상기 목차 정보가 디스플레이되도록 연동하는 단계를 포함한다. 이 경우 목차 정보는 목차 리스트에 대해 디스플레이에 적합한 레이아웃, 및 개별 목차에 대한 동영상 재생 구간과 링크 정보를 포함할 수 있다. 도 5는 동영상 콘텐츠(210)와 목차 정보를 보인 인터넷 화면(200)으로서, 목차 정보는 동영상 콘텐츠 내에 일체화되어 디스플레이될 수도 있고(300a 참조), 동영상 바깥의 다른 영역에 별도로 디스플레이될 수도 있다(300b).
특징어 기반으로 생성된 목차 정보와 재생 구간의 링크를 통해, 특정 동영상이 어떤 내용을 담고 있는지를 전체적으로 재생해보지 않아도, 개별 동영상 구간을 선별적으로 재생하여 원하는 내용을 시청할 수 있게 된다. 이러한 동영상 콘텐츠의 목차 자동생성을 통해 사용자의 동영상 이용 편리성이 향상되며, 인터넷상에서 각종 동영상을 스트림 형식으로 제공하는 동영상 플랫폼 기업에서의 활용이 기대된다.
특히, 본 발명에 따른 목차 생성 방법은 강의 동영상이나 음악(노래) 동영상 등에 적용될 수 있고, 길이가 긴 드라마나 영화 관련 동영상에도 효과적으로 적용될 수 있으며, 언어 음성 정보가 없는 경우에는 문자 정보를 활용하여 목차 정보를 생성하는 것도 가능하다. 또한, 본 발명은 본 발명자가 기 개발한 등록특허 10-1940289호의 내용 기반 동영상 검색 시스템과 기술적으로 연계하여, 온라인을 통해 제공되는 다양한 동영상 콘텐츠에 대해 사용자가 핵심어 중심으로 내용 기반의 동영상 검색을 수행하는 한편, 핵심어 중심으로 제공된 목차 서비스를 통해 동영상을 시청하도록 할 수도 있을 것이다.
이상에서 바람직한 실시예를 통하여 본 발명을 예시적으로 설명하였으나, 본 발명은 이와 같은 특정 실시예에만 한정되는 것은 아니며 본 발명에서 제시한 기술적 사상, 구체적으로는 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.
100:동영상 목차 생성 시스템 110:동영상 관리부
120:텍스트 변환부 130:형태소 분석부
140:목차 생성부 150:출력 제어부
200:인터넷 화면 210:동영상 콘텐츠
300a,300b:목차 정보

Claims (5)

  1. 목차 생성 대상 동영상 콘텐츠를 선택하는 단계,
    동영상 콘텐츠에서 발화(發話)되는 음성정보를 추출하여 텍스트 정보를 생성하는 단계,
    상기 텍스트 정보를 형태소(形態素)로 구분하여, 각 형태소의 품사, 사용된 횟수를 포함하는 형태소 정보를 데이터화하는 단계,
    상기 동영상 콘텐츠를 복수의 구간으로 구획하고, 상기 형태소 정보를 기초로 동영상 콘텐츠의 구획 구간에서 특징어를 선택하는 단계,
    상기 동영상 콘텐츠의 구획 구간에서 선택된 특징어들을 순차적으로 나열하여 목차 정보를 생성하는 단계,
    상기 동영상 콘텐츠에서 상기 특징어의 발화된 시점 정보를 기초로 동영상 콘텐츠의 개별 재생 구간을 설정하는 단계,
    상기 목차 정보와 동영상 콘텐츠의 개별 재생 구간을 링크시키는 단계, 및
    상기 동영상 콘텐츠와 관련하여 상기 목차 정보가 디스플레이되도록 연동시키는 단계를 포함하며,
    상기 동영상 콘텐츠의 음성정보로부터 텍스트 정보 생성 시 음성정보에 해당하는 언어의 문자로 텍스트 정보를 생성하며,
    상기 동영상 콘텐츠에서 제1특징어가 최초 발화된 시점과 제2특징어가 최초 발화된 시점을 기초로 동영상 콘텐츠의 개별 재생 구간을 설정하는 것을 특징으로 하는
    내용 기반 동영상 목차 자동생성 방법.
  2. 제1항에 있어서,
    상기 동영상 콘텐츠의 구간 구획 시, 동영상 콘텐츠의 전체 재생 시간을 균등한 시간으로 나누어 복수의 구간으로 구획하는 것을 특징으로 하는 내용 기반 동영상 목차 자동생성 방법.
  3. 제1항에 있어서,
    상기 특징어는 동영상 콘텐츠의 구획 구간에서 발화된 빈도가 가장 많은 텍스트를 선택하는 것을 특징으로 하는 내용 기반 동영상 목차 자동생성 방법.
  4. 삭제
  5. 목차 생성 대상 동영상 콘텐츠를 선택하고 선택된 동영상 콘텐츠를 복수의 구간으로 구획하는 동영상 관리부,
    동영상 콘텐츠에서 발화되는 음성정보를 추출하고 추출된 음성정보로부터 텍스트 정보를 생성하는 텍스트 변환부,
    상기 텍스트 정보를 형태소로 구분하여, 각 형태소의 품사, 사용된 횟수를 포함하는 형태소 정보를 데이터화하는 형태소 분석부,
    상기 형태소 정보를 기초로 동영상 콘텐츠의 구획 구간에서 특징어를 선택하고, 동영상 콘텐츠의 구획 구간에서 선택된 특징어들을 순차적으로 나열하여 목차 정보를 생성하는 목차 생성부,
    상기 동영상 콘텐츠에서 상기 특징어의 발화된 시점 정보를 기초로 동영상 콘텐츠의 개별 재생 구간을 설정하고, 상기 목차 정보와 동영상 콘텐츠의 개별 재생 구간을 링크시키며, 상기 동영상 콘텐츠와 관련하여 상기 목차 정보가 디스플레이되도록 연동시키는 출력 제어부를 포함하며,
    상기 출력 제어부는 동영상 콘텐츠에서 제1특징어가 최초 발화된 시점과 제2특징어가 최초 발화된 시점을 기초로 동영상 콘텐츠의 개별 재생 구간을 설정하는 것을 특징으로 하는
    내용 기반 동영상 목차 자동생성 시스템.
KR1020200018991A 2020-02-17 2020-02-17 내용 기반 동영상 목차 자동생성 방법 및 시스템 KR102252522B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200018991A KR102252522B1 (ko) 2020-02-17 2020-02-17 내용 기반 동영상 목차 자동생성 방법 및 시스템
PCT/KR2020/018634 WO2021167220A1 (ko) 2020-02-17 2020-12-18 내용 기반 동영상 목차 자동생성 방법 및 시스템
PCT/KR2021/000093 WO2021167238A1 (ko) 2020-02-17 2021-01-05 내용 기반 동영상 목차 자동생성 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200018991A KR102252522B1 (ko) 2020-02-17 2020-02-17 내용 기반 동영상 목차 자동생성 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102252522B1 true KR102252522B1 (ko) 2021-05-13

Family

ID=75913247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200018991A KR102252522B1 (ko) 2020-02-17 2020-02-17 내용 기반 동영상 목차 자동생성 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102252522B1 (ko)
WO (2) WO2021167220A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102618768B1 (ko) * 2022-08-30 2023-12-29 호서대학교 산학협력단 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법
WO2024091086A1 (ko) * 2022-10-27 2024-05-02 주식회사 일만백만 영상 스킵 기능 제공 방법 및 영상 스킵 기능 제공 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326404A (ja) * 2003-04-24 2004-11-18 Nec Corp インデックス作成装置、インデックス作成方法、および、インデックス作成プログラム
KR20150022088A (ko) * 2013-08-22 2015-03-04 주식회사 엘지유플러스 컨텍스트 기반 브이오디 검색 시스템 및 이를 이용한 브이오디 검색 방법
KR20190061734A (ko) * 2017-11-28 2019-06-05 삼성에스디에스 주식회사 동영상 콘텐츠 제공 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3409828B2 (ja) * 1996-03-01 2003-05-26 日本電信電話株式会社 映像目次生成方法および装置
KR102057706B1 (ko) * 2018-08-06 2019-12-19 조돈제 컨텐츠의 목차 입력 방법 및 재생 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326404A (ja) * 2003-04-24 2004-11-18 Nec Corp インデックス作成装置、インデックス作成方法、および、インデックス作成プログラム
KR20150022088A (ko) * 2013-08-22 2015-03-04 주식회사 엘지유플러스 컨텍스트 기반 브이오디 검색 시스템 및 이를 이용한 브이오디 검색 방법
KR20190061734A (ko) * 2017-11-28 2019-06-05 삼성에스디에스 주식회사 동영상 콘텐츠 제공 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102618768B1 (ko) * 2022-08-30 2023-12-29 호서대학교 산학협력단 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법
WO2024091086A1 (ko) * 2022-10-27 2024-05-02 주식회사 일만백만 영상 스킵 기능 제공 방법 및 영상 스킵 기능 제공 장치

Also Published As

Publication number Publication date
WO2021167238A1 (ko) 2021-08-26
WO2021167220A1 (ko) 2021-08-26

Similar Documents

Publication Publication Date Title
US9372926B2 (en) Intelligent video summaries in information access
US10325397B2 (en) Systems and methods for assembling and/or displaying multimedia objects, modules or presentations
KR101326897B1 (ko) 텔레비전 시퀀스를 제공하는 장치 및 방법
KR100478934B1 (ko) 객체기반 엠팩-4 컨텐츠 편집/저작과 검색 장치 및 방법
WO2015101155A1 (zh) 向用户推荐信息的方法
CN101300567A (zh) 在Web上的媒体共享和创作
JP4354441B2 (ja) 映像データ管理装置及び方法及びプログラム
US11379518B2 (en) Detecting musical references in natural language search input
KR102252522B1 (ko) 내용 기반 동영상 목차 자동생성 방법 및 시스템
Messer et al. SeeNSearch: A context directed search facilitator for home entertainment devices
JP2002108892A (ja) データ管理システム、データ管理方法、及び、記録媒体
WO2012145561A1 (en) Systems and methods for assembling and/or displaying multimedia objects, modules or presentations
EP1405212B1 (en) Method and system for indexing and searching timed media information based upon relevance intervals
JP5474591B2 (ja) 画像選定装置、画像選定方法および画像選定プログラム
JP2011049707A (ja) 動画再生装置、動画再生方法及びプログラム
JP2002304420A (ja) 視聴覚コンテンツ配信システム
JP2008288804A (ja) 画像再生装置、画像再生装置の制御方法および制御プログラム
JP2006195900A (ja) マルチメディアコンテンツ生成装置及び方法
Bozzon et al. Chapter 8: Multimedia and multimodal information retrieval
WO2006030995A9 (en) Index-based authoring and editing system for video contents
Di Bono et al. WP9: A review of data and metadata standards and techniques for representation of multimedia content
Steiner DC proposal: Enriching unstructured media content about events to enable semi-automated summaries, compilations, and improved search by leveraging social networks
JP2004328568A (ja) 番組制作システム、番組制作端末、番組制作サーバ、及び番組制作端末における番組制作プログラム
JP2002175298A (ja) データ管理システム、データ管理方法、及び、プログラム
Hwang et al. An implementation of searchable video player

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant