KR101956373B1 - 요약 정보 생성 방법, 장치 및 서버 - Google Patents

요약 정보 생성 방법, 장치 및 서버 Download PDF

Info

Publication number
KR101956373B1
KR101956373B1 KR1020120127225A KR20120127225A KR101956373B1 KR 101956373 B1 KR101956373 B1 KR 101956373B1 KR 1020120127225 A KR1020120127225 A KR 1020120127225A KR 20120127225 A KR20120127225 A KR 20120127225A KR 101956373 B1 KR101956373 B1 KR 101956373B1
Authority
KR
South Korea
Prior art keywords
information
delete delete
generating
summary information
present
Prior art date
Application number
KR1020120127225A
Other languages
English (en)
Other versions
KR20140060659A (ko
Inventor
정호영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120127225A priority Critical patent/KR101956373B1/ko
Priority to US13/850,646 priority patent/US9426411B2/en
Publication of KR20140060659A publication Critical patent/KR20140060659A/ko
Application granted granted Critical
Publication of KR101956373B1 publication Critical patent/KR101956373B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/007—Systems with supplementary picture signal insertion during a portion of the active part of a television signal, e.g. during top and bottom lines in a HDTV letter-box system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

본 발명은 멀티미디어 자료의 전체 내용을 파악할 수 있도록 자동 요약하는 것에 관한 것이다. 본 발명에 따른 요약 정보 생성 방법은 입력 신호 중 특정 오디오 신호 또는 특정 비디오 신호에 대한 색인 정보를 생성하는 단계; 상기 입력 신호에서 추출되는 또는 상기 입력 신호에 대하여 입력 받은 텍스트 정보와 상기 색인 정보를 동기화하는 단계; 및 상기 동기화된 텍스트 정보와 상기 색인 정보를 이용하여 제1 요약 정보를 생성하는 단계를 포함한다. 본 발명에 따르면, 멀티미디어 자료의 요약을 자동적으로 생성하여 사용자가 원하는 장르의 비디오물을 검색한 후 감상하고자 하는 의도 더 적합한 것을 선택할 수 있도록 하며, 스포츠물의 전체 내용을 볼 시간이 없는 경우 짧은 시간에 경기내용을 파악할 수 있도록 하며, 구매하려는 음악을 미리 경험함으로써 사용자 편의를 높여주는 효과를 가져온다.

Description

요약 정보 생성 방법, 장치 및 서버{Method and apparatus for generating summarized data, and a server for the same}
본 발명은 멀티미디어 자료의 전체 내용을 파악할 수 있도록 자동 요약하는 것에 관한 것이다.
스포츠의 주요장면 추출, 대중 음악 요약, 텍스트 자료의 주요내용 요약 등에 관한 종래 기술로 객체 형상 정보를 이용한 요약비디오 추출 장치 및 그 방법과, 그를 이용한 동영상 요약 및 색인 시스템에 관한 것으로, 카메라의 움직임 또는 객체 자체의 움직임으로 인해 비디오 객체의 형상 또는 위치 변화를 표현하는 동영상에서 비디오 객체의 일련의 변화하는 형상 및 위치를 추출하고 이를 하나의 비디오 프레임으로 대표함으로써, 동영상이 표현하는 객체의 형상 또는 위치 변화를 기술할 수 있어, 동영상에 대한 내용기반 검색을 제안하는 방법(한국등록특허(10-0547370)), 객체 형상 정보를 이용한 요약비디오 추출 장치 및 그 방법과 그를 이용한 동영상 요약 및 색인 시스템)이 있으나 비디오 신호의 객체 정보를 중심으로 요약하는 것으로 한가지 정보를 이용하는 수준으로 볼 수 있다.
본 발명은 상기 종래 기술의 문제를 해결하기 위하여 안출된 것으로서, 비디오 정보, 음성 인식으로부터 얻은 문맥 정보, 오디오 색인 정보, 관련 배경지식을 종합하여 해당 자료를 요약하는 기술을 제안하는 것을 목적으로 한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일실시예에 따른 요약 정보 생성 방법은 입력 신호 중 특정 오디오 신호 또는 특정 비디오 신호에 대한 색인 정보를 생성하는 단계; 상기 입력 신호에서 추출되는 또는 상기 입력 신호에 대하여 입력 받은 텍스트 정보와 상기 색인 정보를 동기화하는 단계; 및 상기 동기화된 텍스트 정보와 상기 색인 정보를 이용하여 제1 요약 정보를 생성하는 단계를 한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일실시예에 따른 요약 정보 생성 장치는 입력 신호 중 특정 오디오 신호 또는 특정 비디오 신호에 대한 색인 정보를 생성하는 신호 해석부; 상기 입력 신호에서 추출되는 또는 상기 입력 신호에 대하여 입력 받은 텍스트 정보와 상기 색인 정보를 동기화하는 동기화부; 및 상기 동기화된 텍스트 정보와 상기 색인 정보를 이용하여 요약 정보를 생성하는 요약부를 한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일실시예에 따른 요약 정보 생성 서버는 입력 신호 중 특정 오디오 신호 또는 특정 비디오 신호에 대한 색인 정보를 생성하는 신호 해석부; 상기 입력 신호에서 추출된 또는 상기 입력 신호에 대하여 입력 받은 텍스트 정보와 상기 색인 정보를 동기화하는 동기화부; 상기 동기화된 텍스트 정보와 상기 색인 정보를 이용하여 요약 정보를 생성하는 요약부; 상기 입력 신호를 콘텐츠 제공 서버로부터 수신하고 상기 요약 정보를 상기 콘텐츠 제공 서버로 송신하는 통신부; 및 상기 신호 해석부, 동기화부, 요약부, 통신부를 제어하는 제어부를 포함 한다.
본 발명에 따르면, 멀티미디어 자료의 요약을 자동적으로 생성하여 사용자가 원하는 장르의 비디오물을 검색한 후 감상하고자 하는 의도 더 적합한 것을 선택할 수 있도록 하며, 스포츠물의 전체 내용을 볼 시간이 없는 경우 짧은 시간에 경기내용을 파악할 수 있도록 하며, 구매하려는 음악을 미리 경험함으로써 사용자 편의를 높여주는 효과를 가져온다.
도 1은 본 발명의 일실시예에 따른 요약 정보 생성 시스템의 구성을 나타내는 도이다.
도 2는 본 발명의 일실시예에 따른 요약 정보 생성 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일실시예에 따른 요약 정보 생성 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일실시예에 따른 제2 요약 정보 생성 단계를 포함하는 요약 정보 생성 방법을 나타내는 흐름도이다.
도 5는 본 발명의 일실시예에 따른 요약 정보 생성 방법을 나타내는 세부 흐름도이다.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 요약 정보 생성 시스템의 전체 구성을 나타내는 도이다.
도 1을 참조하면 본 실시예에 따른 요약 정보 생성 시스템은 요약 정보 생성 서버(100), 사용자 단말기(200), 콘텐츠 제공 서버(300)를 포함한다.
요약 정보 생성 서버(100)는 사용자 단말기(200)를 통해 콘텐츠를 입력 받아 멀티미디어 요약 기술을 이용하여 입력된 콘텐츠의 요약 정보로서 요약본을 생성하고 이를 콘텐츠 제공 서버(300)로서 유튜브 같은 미디어 공유 서버나 포털 사이트, 각종 유료 콘텐츠 사이트에 배포한다. 또한 콘텐츠 제공 서버(300)로부터 직접 콘텐츠를 입력 받고 이에 대한 요약본을 생성하여 다시 콘텐츠 제공 서버(300)에 제공하는 것도 가능하다.
보유 콘텐츠의 요약본을 생성하여 홍보하려는 배급 업체나 개인 제작자는 콘텐츠 제공 서버(300)에 콘텐츠를 등록하고, 요약 정보 생성 서버(100)를 통해 요약본을 생성하고 이를 게재하거나, 여러 사이트에 홍보를 위해 배포할 수 있다. 요약 정보 생성 서버(100)는 유료 콘텐츠 업체와 연계하여 생성된 요약본을 통해 원본 콘텐츠의 유통을 관리하는 것도 가능하다.
사용자 단말기(200)는 사용자가 요약하고자 하는 콘텐츠를 직접 요약 정보 생성 서버(100)로 전송하고, 콘텐츠에 대한 요약 정보로서 요약본을 수신하기 위한 장치로서, 사용자의 PC, 스마트폰, 태블릿 PC, 디지털 카메라 및 캠코더 등을 포함한다.
따라서 본 실시예에서 요약 정보 생성 서버(100)는 영화나 드라마, 음악 같은 대중 매체에 의해 제작된 콘텐츠 외에, 사용자에 의해 제작된 개인용 콘텐츠를 직접 입력 받거나, 유투브(YouTube)와 같은 동비디오 공유 서비스 벤더의 콘텐츠 제공 서버(300)로부터 입력 받고 이에 대한 요약 정보를 생성하는 것도 가능하다.
이하 도 2를 참고하여, 본 실시예에 따른 요약 정보 생성 서버(100)에 대하여 보다 상세히 설명한다.
도 2를 참고하면, 요약 정보 생성 서버(100)는 신호 해석부(110), 동기화부(120), 요약부(130), 메모리부, 통신부(150) 및 제어부(160)를 포함할 수 있다.
신호 해석부(110)는 입력 신호 중 특정 오디오 신호 또는 특정 비디오 신호에 대한 색인 정보를 생성한다.
동기화부(120)는 입력 신호에서 추출된 또는 입력 신호에 대하여 입력 받은 텍스트 정보와 색인 정보를 동기화한다.
요약부(130)는 동기화된 텍스트 정보와 색인 정보를 이용하여 제1 요약 정보를 생성하며, 나아가 입력 신호에 대한 웹 상에 존재하는 부가 정보와 제1 요약 정보를 이용하여 제 2 요약 정보를 생성한다.
메모리부는 주요 텍스트 정보를 추출하기 위하여 미리 결정된 텍스트 패턴 정보를 저장한다.
통신부(150)는 입력 신호를 콘텐츠 제공 서버(300)로부터 수신하고 요약 정보를 콘텐츠 제공 서버(300)로 송신한다.
제어부(160)는 신호 해석부(110), 동기화부(120), 요약부(130), 통신부(150)를 제어한다.
이상의 본 실시예에 따른 구성요소 중 통신부(150)는 요약 정보 생성 방법이 서버를 통해 구현되는 경우 서버와 다른 콘텐츠 제공 서버(300) 또는 사용자 단말기(200)간의 정보 송수신을 위한 구성이다.
또한 사용자 단말기(200)의 내부 모듈을 통해 요약 정보 생성 장치가 구현되는 경우는 통신부(150)는 사용자 단말기(200)와 콘텐츠 제공 서버(300)간의 정보 송수신을 위한 동작을 수행한다. 이때 통신부(150)는 입력 신호로서 콘텐츠 제공 서버(300)로부터 요약 하고자 하는 콘텐츠 정보를 수신하고, 요약부(130)를 통해 생성된 요약 정보를 콘텐츠 제공서버로 송신한다.
이상의 본 실시예에 따른 요약 정보 생성 서버(100)의 각 구성요소를 통한 요약 정보 생성 방법은 도 3내지 도 5를 참고하여 보다 상세히 설명한다.
도 3을 참고하면, 본 실시예에 따른 요약 정보 생성 서버(100)에서 요약 정보를 생성하는 방법은 색인 정보 생성 단계(S100), 동기화 단계(S200), 제1 요약 정보 생성 단계(S300)를 포함한다.
색인 정보 생성 단계(S100)는 신호 해석부(110)가 입력 신호 중 특정 오디오 신호 또는 특정 비디오 신호에 대한 색인 정보를 생성한다. 도 5를 참고하면, 색인 정보 생성 단계(S100)는 신호 입력 단계, 오디오/비디오 신호 분리 단계, 오디오 색인 정보 생성 단계(S100), 비디오 색인 정보 생성 단계(S100), 음성 인식 단계, 텍스트 정보 입력 단계를 포함한다.
신호 입력 단계(S105)는 신호 해석부(110)가 통신부(150)에서 수신한 요약하고자 하는 콘텐츠에 대한 신호를 입력 받는다.
오디오/비디오 신호 분리 단계(S110)는 신호 해석부(110)가 입력 신호의 그 종류에 따라, 영화, 드라마 등의 비디오 콘텐츠에 대한 입력 신호는 먼저 오디오 및 비디오 신호로 분리한다.
나아가 본 실시예에 따른 요약 정보를 생성하는 방법은 색인 정보를 생성하는 단계(S100)에서 생성된 색인 정보와 입력 신호에서 추출된 또는 입력 신호에 대하여 입력 받은 텍스트 정보를 후술하는 동기화 단계(S200)에서 동기화하는바, 텍스트 정보 입력 단계는 오디오 신호에 대해 오디오 색인정보 및 대본이 있는 경우 대본을 입력 신호에 대하여 입력 받은 텍스트 정보로서 입력 받는다.
나아가 대본이 없는 경우 본 실시예에 따른 음성 인식 단계는 분리된 오디오 신호에 대한 음성 인식을 수행하고, 텍스트 정보 입력 단계는 텍스트 정보를 추출하여 입력 받는다.
본 실시예에서 오디오 색인 정보 생성 단계(S120)는 음성과 비음성으로 나누어져 비음성구간에 존재하는 여러가지 배경소리나, 영상물의 주제에 결정적인 영향을 주는 소리를 오디오 인덱싱 기술을 이용하여 추출한다.
나아가 음성구간에 대해서는 상술한 음성 인식 단계(S130)에서 음성인식을 적용하여 텍스트 정보를 추출하게 된다.
비디오 색인 정보 생성 단계(S120’)는 분리된 비디오 신호 중 장면변화가 많은 부분을 골라내고 영상물의 주제에 적합한 장면을 추출하게 된다.
본 실시예에서 오디오 및 비디오 색인 정보 생성 단계(S100)에서 영상물의 주제는 영상물의 종류에 따라 결정될 수 있다. 예를 들어 영상물이 영화와 같은 오락 목적인 경우 영화의 시놉시스를 통해 주제를 결정할 수 있으며, 스포츠인 경우 득점 장면을 주제로 결정할 수 있다.
나아가 세부적으로 영화의 경우 장르에 따라 세부적인 주제를 결정할 수 있으며, 스포츠인 경우 그 종목에 따라 결정할 수 있다.
오디오 색인 정보 생성 단계(S120)는 오디오 오디오 해석을 통해 음성과 비음성으로 나누어져 비음성구간에 존재하는 응원소리 등의 배경소리나, 해당 스포츠의 종류에 따라 자주 등장하는 소리를 추출한다. 또한 음성구간에 대해서는 음성인식을 적용하여 캐스트나 해설자가 말하는 텍스트 정보를 추출하게 된다.
비디오 색인 정보 생성 단계(S120’)는 비디오해석을 통해 장면변화가 많은 부분을 골라내고 스포츠물의 종류에 따라 중요하게 고려되는 배경장면을 추출하게 된다
동기화 단계(S200)는 동기화부(120)가 입력 신호에서 추출된 또는 입력 신호에 대하여 입력 받은 텍스트 정보와 색인 정보를 동기화한다. 동기화 단계(S200)는 추출된 색인 정보와 텍스트 정보를 대응시켜 정렬하는 것을 의미한다.
도 5를 참조하면 본 실시예에 따른 동기화 단계(S200)는 주요 텍스트 정보 추출 단계(S210), 시간 순 동기화 단계(S220)를 포함한다. 주요 텍스트 정보 추출 단계(S210)는 텍스트 정보를 이용하여 입력 신호의 주요 텍스트 정보를 추출한다.
주요 텍스트 정보 추출 단계(S210)는, 대본 혹은 음성인식으로부터 얻은 텍스트 정보를 이용하여 topic 검출 및 topic tracking 기술을 적용하고 이를 통해 주제에 적합한 중요 줄거리를 텍스트 정보 중 주요 텍스트 정보로 추출한다.
나아가 영상물이 스포츠물인 경우 주요 텍스트 정보 추출 단계(S210)는 음성인식으로부터 얻은 텍스트 정보를 이용하여 해설자가 말하는 내용의 의미를 분석 및 스포츠 경기별로 미리 준비해 놓은 주요 텍스트 패턴이 많이 출현하는 부분을 추출하여 경기 흐름을 나타내는 줄거리를 생성한다.
따라서 본 실시예에 따른 요약 정보 생성 서버(100)는 주요 텍스트 정보의 추출을 위한 텍스트 패턴에 대한 정보를 저장하고 관리하는 메모리부를 더 포함할 수 있다.
시간 순 동기화 단계(S200)는 오디오해석과 비디오해석이 완료되면 추출된 오디오 색인 정보, 비디오 장면정보, 주요부분의 텍스트 정보를 시간 동기가 맞도록 정렬한다. 이하 본 실시예에 따른 요약 정보를 생성하는 단계에 대하여 설명한다.
본 실시예에 따른 요약 정보 생성 방법은 멀티미디어 자료로부터 얻을 수 있는 음성, 영상, 오디오 정보를 종합하여 문맥정보, 주요 장면 전환, 주요 배경 오디오 등을 추출하여 요약을 위한 주요 부분을 결정하고 또한 해당 멀티미디어 자료의 배경지식을 인터넷 검색으로부터 얻은 후 흥미로운 요약을 위한 스토리를 생성하고 여기에 결정된 주요 부분을 도입하여 최종 요약을 만들어내는 2단계로 이루어 진다.
따라서 도 3 및 도 4를 참고하면, 요약 정보를 생성하는 단계는 제1 요약 정보 생성 단계(S300) 및 제2 요약 정보 생성 단계(S420)를 포함한다.
제1 요약 정보 생성 단계(S300)는 요약부(130)가 동기화된 텍스트 정보와 색인 정보를 이용하여 제1 요약 정보를 생성한다.
나아가 제2 요약 정보 생성 단계(S420)는 요약부(130)가 입력 신호에 대한 웹 상에 존재하는 부가 정보와 제1 요약 정보를 이용하여 제 2 요약 정보를 생성한다.
제 1 요약 정보 생성 단계는 비디오/오디오로부터 추출된 색인 정보와 텍스트 정보에 대한 언어처리를 통해 얻은 줄거리를 시간에 따라 정화된 정보를 통합 및 분석하여 제1 요약 정보를 생성한다.
도 4를 참고하면 본 실시예에 따른 요약 정보 생성 방법은 부가 정보 검색 단계(S410)를 더 포함한다.
부가 정보 검색 단계(S410)는 입력 신호에 대한 웹 상에 존재하는 부가 정보를 검색한다. 즉 본 실시예에서 부가 정보란 웹 검색을 통해 추출되는 입력 신호에 대한 배경 지식을 의미한다. 예를 들어 입력 신호가 영화에 대한 것인 경우, 영화에 대한 주인공 정보를 검색을 통해 인식할 수 있으며, 이러한 경우 주요 텍스트 정보 추출시 주인공의 대사를 중심으로 추출할 수 있다.
또한 스포츠에 대한 것이라면, 스포츠의 기사를 부가 정보로 검색할 수 있으며, 기사에 드러나는 오늘 경기의 키플레이어 정보를 추출할 수 있다. 따라서 키플레이어에 대한 해설자의 언급을 음성 인식하고, 이를 주요 텍스트 정보로 추출할 수 있다.
도 5를 참고하면, 제2 요약 정보 생성 단계(S420)는 요지 정보 생성 단계(S422)를 더 포함할 수 있다.
요지 정보 생성 단계(S422)는 부가 정보와 제1 요약 정보를 이용하여 입력 신호에 대한 시간 순에 따른 요지 정보를 생성한다.
본 실시예에서 요지 정보는 제1 요약 정보와 배경지식을 이용하여 생성되는 영상물의 함축적인 스토리를 의미한다.
요지 정보 따른 제2 요약 정보 생성 단계(S424)는 요지 정보에 따른 제2 요약 정보를 생성한다. 즉 제1 요약 정보에 대하여 웹 검색을 바탕으로 추출된 부가 정보를 적용시켜, 불필요한 정보를 제거하고, 주제에 가까운 정보를 강조하여 보다 고차원 적인 요약 정보를 생성한다.
나아가 상술한 요약 정보 생성 방법은 입력 신호가 어떠한 콘텐츠 정보 인지를 분류하는 콘텐츠 분류 단계를 더 포함할 수 있다. 콘텐츠 분류 단계는 요약대상인 입력 신호를 가져와서 영상물/스포츠물/음악의 종류로 분류한다.
이때는 각 자료에 첨부된 태그정보를 이용할 수 있으며, 영상물의 경우는 액션/드라마/스릴러/오락 등의 주제와 관련된 태그정보를 가지고 스포츠물의 경우 축구/야구/농구 등의 경기 종목에 대한 태그정보를 가진다. 해당 멀티미디어 자료의 종류가 결정되면 각각에 대해 보다 구체화된 요약 정보 생성 방법을 수행한다.
한편 본 발명의 요약 정보 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. (a) 영상물의 종류에 따라 영상물의 주제를 결정하고, 영상물의 장르와 종목에 따라 세부 주제를 결정하여, 입력 신호 중 특정 오디오 신호 또는 특정 비디오 신호에 대한 색인 정보를 생성하는 단계;
    (b) 상기 입력 신호에서 추출되는 또는 상기 입력 신호에 대하여 입력 받은 텍스트 정보를 이용하여 토픽 검출 및 토픽 트래킹을 수행하여, 주제에 적합한 중요 줄거리를 주요 텍스트 정보로 추출하고, 상기 주요 텍스트 정보와 상기 색인 정보를 시간 순에 따라 동기화하는 단계;
    (c) 상기 동기화된 텍스트 정보와 상기 색인 정보를 이용하여 제1 요약 정보를 생성하는 단계를 포함하고,
    (d) 상기 입력 신호에 대한 배경 지식을 웹 검색으로부터 추출하여, 부가 정보를 검색하는 단계; 및
    (e) 상기 제1 요약 정보에 상기 부가 정보를 적용시켜 불필요한 정보를 제거하고, 주제에 가까운 정보를 강조하여 제2 요약 정보를 생성하는 단계
    를 포함하는 요약 정보 생성 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 (e) 단계는 상기 부가 정보와 상기 제1 요약 정보를 이용하여 상기 입력 신호에 대한 시간 순에 따른 요지 정보를 생성하고 상기 요지 정보에 따른 제2 요약 정보를 생성하는 것을 특징으로 하는 요약 정보 생성 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020120127225A 2012-11-12 2012-11-12 요약 정보 생성 방법, 장치 및 서버 KR101956373B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120127225A KR101956373B1 (ko) 2012-11-12 2012-11-12 요약 정보 생성 방법, 장치 및 서버
US13/850,646 US9426411B2 (en) 2012-11-12 2013-03-26 Method and apparatus for generating summarized information, and server for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120127225A KR101956373B1 (ko) 2012-11-12 2012-11-12 요약 정보 생성 방법, 장치 및 서버

Publications (2)

Publication Number Publication Date
KR20140060659A KR20140060659A (ko) 2014-05-21
KR101956373B1 true KR101956373B1 (ko) 2019-03-08

Family

ID=50681374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120127225A KR101956373B1 (ko) 2012-11-12 2012-11-12 요약 정보 생성 방법, 장치 및 서버

Country Status (2)

Country Link
US (1) US9426411B2 (ko)
KR (1) KR101956373B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640504B2 (en) 2019-05-17 2023-05-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101975029B1 (ko) 2012-05-17 2019-08-23 삼성전자주식회사 리프레쉬 주기를 조절하는 반도체 메모리 장치, 메모리 시스템 및 그 동작방법
KR20150138742A (ko) * 2014-06-02 2015-12-10 삼성전자주식회사 컨텐츠 처리 방법 및 그 전자 장치
KR101994291B1 (ko) 2014-10-14 2019-06-28 한화테크윈 주식회사 통합써머리를 제공하는 영상재생장치 및 방법
KR102350917B1 (ko) 2015-06-15 2022-01-13 한화테크윈 주식회사 감시 시스템
KR102535121B1 (ko) * 2017-12-05 2023-05-22 한국전자통신연구원 컨텐츠의 태그정보 생성 장치 및 방법
CN109996123A (zh) * 2018-01-03 2019-07-09 阿里巴巴集团控股有限公司 多媒体数据的处理方法和系统及存储介质、移动设备
KR102585777B1 (ko) 2018-05-29 2023-10-10 삼성전자주식회사 전자 장치 및 그 제어방법
US10970040B2 (en) * 2019-03-01 2021-04-06 Bose Corporation Systems and methods for augmented reality content harvesting and information extraction
US11675822B2 (en) * 2020-07-27 2023-06-13 International Business Machines Corporation Computer generated data analysis and learning to derive multimedia factoids

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148121A (ja) * 2006-12-12 2008-06-26 Yahoo Japan Corp 動画要約自動作成装置、方法、及びコンピュータ・プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870573B2 (en) * 1999-01-22 2005-03-22 Intel Corporation Method and apparatus for dynamically generating a visual program summary from a multi-source video feed
US20020083473A1 (en) * 2000-12-21 2002-06-27 Philips Electronics North America Corporation System and method for accessing a multimedia summary of a video program
US20020083471A1 (en) * 2000-12-21 2002-06-27 Philips Electronics North America Corporation System and method for providing a multimedia summary of a video program
US20030038796A1 (en) * 2001-02-15 2003-02-27 Van Beek Petrus J.L. Segmentation metadata for audio-visual content
KR100547370B1 (ko) 2001-06-30 2006-01-26 주식회사 케이티 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
US20080187231A1 (en) 2005-03-10 2008-08-07 Koninklijke Philips Electronics, N.V. Summarization of Audio and/or Visual Data
JP2010034953A (ja) 2008-07-30 2010-02-12 Ricoh Co Ltd マルチメディアコンテンツ編集方法及び編集装置、並びにプログラム
KR101028475B1 (ko) * 2009-05-18 2011-04-15 한국외국어대학교 연구산학협력단 영화 요약 장치 및 방법
US9628673B2 (en) 2010-04-28 2017-04-18 Microsoft Technology Licensing, Llc Near-lossless video summarization
US8687941B2 (en) 2010-10-29 2014-04-01 International Business Machines Corporation Automatic static video summarization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148121A (ja) * 2006-12-12 2008-06-26 Yahoo Japan Corp 動画要約自動作成装置、方法、及びコンピュータ・プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640504B2 (en) 2019-05-17 2023-05-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Also Published As

Publication number Publication date
US9426411B2 (en) 2016-08-23
US20140132836A1 (en) 2014-05-15
KR20140060659A (ko) 2014-05-21

Similar Documents

Publication Publication Date Title
KR101956373B1 (ko) 요약 정보 생성 방법, 장치 및 서버
KR101994592B1 (ko) 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템
US10455297B1 (en) Customized video content summary generation and presentation
KR102080315B1 (ko) 동영상 서비스 제공 방법 및 이를 이용하는 서비스 서버
EP3009959B1 (en) Identifying content of interest
US8750681B2 (en) Electronic apparatus, content recommendation method, and program therefor
CN105120304B (zh) 信息显示方法、装置及系统
KR102197098B1 (ko) 콘텐츠 추천 방법 및 장치
US9009054B2 (en) Program endpoint time detection apparatus and method, and program information retrieval system
US20100005485A1 (en) Annotation of video footage and personalised video generation
KR101265960B1 (ko) 하이라이트 추출 장치 및 그 방법
CN103765910B (zh) 用于视频流和其他内容的基于关键字的非线性导航的方法和设备
CN101398843B (zh) 用于浏览视频概要描述数据的设备及方法
KR20100134610A (ko) 비디오 인터벌 주석
JP2008070959A (ja) 情報処理装置および方法、並びに、プログラム
US9558784B1 (en) Intelligent video navigation techniques
US9564177B1 (en) Intelligent video navigation techniques
Wang et al. Affection arousal based highlight extraction for soccer video
US11922968B2 (en) Audio processing for detecting occurrences of loud sound characterized by brief audio bursts
KR20190063352A (ko) 클립 간 유사도 분석에 의한 영상 콘텐츠의 클립 연결 장치 및 방법
US20090132510A1 (en) Device for enabling to represent content items through meta summary data, and method thereof
Oh et al. Video abstraction
KR20090126525A (ko) 재생 위치에 따라 디지털 컨텐츠를 관리하는 방법과 장치및 실행하는 방법 및 장치
Baraldi et al. Neuralstory: an interactive multimedia system for video indexing and re-use
Janin et al. Joke-o-Mat HD: browsing sitcoms with human derived transcripts

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant