KR101265960B1

KR101265960B1 - 하이라이트 추출 장치 및 그 방법

Info

Publication number: KR101265960B1
Application number: KR1020070084127A
Authority: KR
Inventors: 엄기완; 쉬얀얀; 주선; 김지연; 이재원
Original assignee: 삼성전자주식회사
Priority date: 2007-08-21
Filing date: 2007-08-21
Publication date: 2013-05-22
Also published as: KR20090019582A

Abstract

본 발명은 하이라이트 추출 장치 및 방법을 제공한다. 본 발명의 하이라이트 추출 장치는 영상 정보를 오디오 신호와 비디오 신호로 분류하고 오디오 신호를 복수의 오디오 구간으로 분류하며, 비디오 신호 중 키워드의 문자 분석과 오디오 구간 중 키워드의 음소열 매칭을 통해 키워드를 생성하는 키워드 생성부 및, 키워드 생성부로 입력되는 오디오 구간 중 사운드를 분석함으로써 하이라이트 구간을 추출하고 키워드 중 특정 키워드의 출현 빈도가 높은 하이라이트 구간을 결합하여 키워드별 하이라이트 구간을 생성하는 하이라이트 생성부를 포함한다. 동영상의 하이라이트 뿐만 아니라 키워드별 하이라이트를 브라우징할 수 있는 장점이 있다.

하이라이트, 자막 추출, 오디오 분류, 키워드 인덱싱

Description

하이라이트 추출 장치 및 그 방법{APPARATUS OF EXTRACTING HIGHLIGHT AND METHOD OF THE SAME}

본 발명은 하이라이트 추출 장치 및 그 방법에 관한 것으로, 더 상세하게는 사용자가 원하는 키워드에 따른 하이라이트를 제공하는 하이라이트 추출 장치 및 그 방법에 관한 것이다.

오늘날 동영상에 대한 IT기술이 하루가 다르게 발전하고 있다. 이러한 동영상 서비스는 위성 DMB 방송, 지상파 DMB 방송, 데이터 방송, 인터넷 방송 등 각종 신 영상 서비스의 제공은 물론이며, PC나 노트북, 휴대 단말기 등을 통해 주문형 비디오(VOD) 형태로 서비스를 제공하는 등 그 종류와 범위가 날로 확대되어 가고 있다.

최근 공급자가 일방적으로 프로그램을 선정 방송하는 종래의 방송 형태를 벗어나 사용자가 원하는 프로그램을 스스로 선택할 수 있고 그 시간과 장소도 마음대로 선택하는 수요자 맞춤형 동영상 서비스에 대한 기술이 특히 주목받고 있다. 특히 수요자 맞춤형 동영상 서비스 중 사용자가 원하는 정보만을 요약하여 보고자 하는 하이라이트 동영상 추출에 대한 수요가 증가하고 있다.

종래의 동영상 제공 장치는 영상정보처리기술 또는 사운드 신호를 이용하는 MPEG-7 기술을 이용하여 경기 전체 중 일부 하이라이트를 추출하거나, 사용자가 스스로 별도의 하이라이트 추출 프로그램을 이용하여 수동으로 하이라이트를 추출하는 방법을 사용하고 있다.

기존의 하이라이트 추출 장치 중 중요 하이라이트를 자동 추출하는 프로그램을 포함하는 하이라이트 추출 장치도 미리 정해진 키워드, 예를 들어 스포츠 동영상에서 고정된 선수명만을 키워드로 인식하여 영상을 인덱싱하므로 가변적인 키워드, 즉 유명하지 않지만 좋은 경기를 펼칠 수 있는 선수명을 하이라이트로 추출하기가 쉽지 않다.

더욱이 스포츠 동영상의 경우 TV 나 PVR에 하이라이트 추출 프로그램을 적용하는데 종래 장치에서는 사용자가 원하는 키워드를 입력하기 위한 입력수단이 없기 때문에 사용자가 원하는 선수명을 자동으로 추출할 수 없다.

특히, 추출된 하이라이트 동영상이 어떤 키워드, 예를 들어 키워드가 스포츠 선수명인 경우, 어떤 선수에 관한 것인지 구분하기가 어려운 점이 있다.

본 발명이 해결하고자 하는 과제는 고정된 키워드 뿐만 아니라 가변적인 키워드에 따른 하이라이트 추출을 가능하게 하고자 한다.

또한 본 발명이 해결하고자 하는 과제는 키워드 입력수단이 없어도 키워드에 따른 하이라이트 추출을 가능하게 하고자 한다.

본 발명은 상술한 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 가변적인 키워드를 인식하여 키워드별 하이라이트를 추출할 수 있는 하이라이트 추출 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 가변적인 키워드를 인식하여 키워드별 하이라이트를 추출할 수 있는 하이라이트 추출 방법을 제공하는 것을 목적으로 한다.

본 발명에 따르면, 특정 동영상의 하이라이트 뿐만 아니라 사용자가 원하는 키워드에 따른 하이라이트를 선택하여 볼 수 있는 하이라이트 추출 장치가 제공된다.

본 발명에 따르면, 특정 동영상의 하이라이트 뿐만 아니라 사용자가 원하는 키워드에 따른 하이라이트를 선택하여 볼 수 있는 하이라이트 추출 방법이 제공된다.

상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은

영상 정보를 오디오 신호와 비디오 신호로 분류하고 상기 오디오 신호를 복수의 오디오 구간으로 분류하며, 상기 비디오 신호 중 키워드의 문자 분석과 상기 오디오 구간 중 키워드의 음소열 비교(매칭)를 통해 키워드를 생성하는 키워드 생성부; 및 상기 키워드 생성부로 입력되는 상기 오디오 구간 중 사운드를 분석함으로써 하이라이트 구간을 추출하고 상기 키워드 중 특정 키워드의 출현 빈도가 높은 하이라이트 구간을 결합하여 키워드별 하이라이트 구간을 생성하는 하이라이트 생성부;를 포함하는 것을 특징으로 하는 하이라이트 추출 장치를 제공한다.

본 발명은 또한,

영상 정보를 오디오 신호와 비디오 신호로 분류하고 상기 오디오 신호를 특성에 따라 복수의 오디오 구간으로 분류하는 신호 분류 단계; 상기 비디오 신호 중 문자 분석을 통해 키워드를 인식하고 상기 오디오 구간 중 음소열 분석을 통해 키워드를 인식한 다음, 상기 키워드를 음소열 비교(매칭)하여 키워드를 생성하는 키워드 생성 단계; 및 상기 오디오 구간 중 사운드를 분석함으로써 하이라이트 구간을 추출하고 상기 키워드 중 특정 키워드의 출현 빈도가 높은 하이라이트 구간을 결합하여 키워드별 하이라이트 구간을 생성하는 하이라이트 생성 단계;를 포함하는 것을 특징으로 하는 하이라이트 추출 방법을 제공한다.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예를 상세히 설명한다.

도 1 내지 도 4는 본 발명의 실시예에 따른 하이라이트 추출 장치의 개략적 인 블록도이다. 도 1은 본 발명의 실시예에 따른 하이라이트 추출 장치의 구조를 개략적으로 나타낸 블럭도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 하이라이트 추출 장치(300)은, 입력되는 영상 정보를 오디오 신호와 비디오 신호로 분류하고 상기 오디오 신호를 복수의 오디오 구간으로 분류하며 상기 비디오 신호 중 키워드의 문자 분석과 상기 오디오 구간 중 키워드의 음소열 비교(매칭)를 통해 키워드를 생성하는 키워드 생성부(100)와, 상기 오디오 구간 중 사운드를 분석함으로써 하이라이트 구간을 추출하고 상기 키워드 중 특정 키워드의 출현 빈도가 높은 하이라이트 구간을 결합하여 키워드별 하이라이트 구간을 생성하는 하이라이트 생성부(200)로 이루어진다.

상기 키워드는 스포츠 경기의 경우 선수명, 팀명 등이 될 수 있다. 상기 통합자막영역은 화면에 선수명 또는 팀명이 모두 나타나는 레이블링 영역이 될 수 있다.

여기서, 키워드 생성부(100)는 상기 영상 정보를 오디오 신호와 비디오 신호로 분류하고 상기 오디오 신호를 복수의 오디오 구간으로 분류하는 신호 분류기(110)와, 상기 비디오 신호 중 통합자막영역을 검출하여 문자 분석을 통해 키워드를 형성하는 통합자막 검출기(120)와, 상기 통합자막 검출기의 키워드와 상기 오디오 구간 중 음성에서 인색된 음소열의 비교를 통해 키워드를 추출하는 키워드 인덱싱기(130)를 포함한다. 키워드 인덱싱기(130)에서 생성된 키워드는 하이라이트 생성부(200)로 전송된다.

하이라이트 생성부(200)는 상기 오디오 구간 중 특정 사운드가 포함된 하이라이트 구간을 검색하고 상기 비디오 신호를 이용하여 상기 하이라이트의 시작과 끝을 검색하는 하이라이트 구간 검색기(210) 및, 상기 하이라이트 구간 중 특정 키워드의 출현 빈도가 높은 하이라이트 구간을 결합하여 키워드별 하이라이트 구간을 연관시키는 하이라이트 키워드 매칭기(220)를 구비한다.

도 2는 도 1의 신호 분류기(110)의 구조를 나타낸 블록도이다.

도 2를 참조하면, 도 2의 신호 분류기(110)는 상기 영상 정보를 디멀티플렉싱하여 오디오 신호와 비디오 신호로 분류하고 상기 오디오 신호 및 상기 비디오 신호를 디코딩하는 디멀티플렉서(112) 및, 상기 오디오 신호를 복수의 오디오 구간으로 분류하는 오디오 분류기(114)를 구비한다.

오디오 분류기(114)는 상기 오디오 신호를 특정 시간 단위의 오디오 클립으로 분할하는 클립 분할 모듈(114-a), 상기 오디오 클립으로부터 오디오 특징값을 추출하는 특징 추출 모듈(114-b) 및, 상기 오디오 특징값과 학습 모델을 기반으로 상기 오디오 클립을 복수의 오디오 구간으로 분류하는 사운드 분류 모듈(114-c)로 이루어진다.

클립 분할 모듈(114-a)은 입력된 연속된 오디오 신호를 초 단위의 오디오 클립으로 분할하는 세그멘테이션(segmentation)을 실행한다. 이렇게 분할된 오디오 신호의 일 단위인 오디오 클립에서 Mel-Frequency Cepstral Coefficient(MFCC)와 Derived MFCC(DMFCC)와 같은 오디오 특징값을 추출하는 특징 추출(Feature Extraction)을 실행한다. 상기 오디오 특징값과 학습 모델, 예를 들어 가우션 혼합 모델(Gaussian Mixture Model)을 이용한 학습을 통해 생성된 학습모델을 기반으 로 가우션 혼합 분류기(Gaussian Mixture Classifier)와 같은 사운드 분류 모듈(114-c)로 상기 오디오 클립을 분류하여 복수의 오디오 구간, 예를 들어 음성 구간, 사운드 구간, 음악혼재 구간으로 분류할 수 있다.

상기 오디오 클립을 음성 구간, 사운드 구간, 음악혼재 구간과 같은 오디오 특성에 따른 클래스로 분류하는 이유는 하이라이트 구간 선별시 특히 스포츠 경기와 같은 동영상의 경우 하이라이트 구간에 관중의 함성 소리, 특정 스포츠의 플레이 소리가 동영상이 진행되는 동안 주류를 이루는 특징이 있기 때문이다. 오디오 신호의 이러한 분류로 인해 본 발명의 키워드별 하이라이트 구간의 편집도 가능하게 된다.

도 3은 도 1의 통합자막 검출기(120)의 구조를 자세히 나타낸 블록도이다.

도 3을 참조하면, 통합자막 검출기(120)는 상기 비디오 신호 중 상기 오디오 구간을 분석하여 통합자막 영역을 검색하는 통합자막 검색모듈(121), 상기 통합자막 영역 중 텍스트 영역을 검출하는 텍스트 검출 모듈(123), 상기 텍스트를 배경으로부터 분리하는 텍스트 분리 모듈(125), 상기 텍스트의 문자를 인식하는 문자 인식 모듈(127) 및, 상기 문자로부터 상기 키워드를 형성하는 키워드 형성 모듈(129)를 포함한다.

통합자막 검색모듈(121)은 신호 분류기(110)에서 입력되는 비디오 신호를 분석하여 통합자막 영역을 검색한다. 이 경우 특정 오디오 구간에 해당하는 비디오 신호를 분석하여 쉽게 통합자막 영역을 검색하기도 한다. 예를 들어, 음악이 배경으로 편집되는 오디오 구간에 선수명이 소개되는 경우가 많으므로 이러한 음악 혼재 구간의 비디오 신호를 분석하여 통합자막 영역을 검색할 수도 있다.

통합자막 검색을 위한 방법으로는 영상의 에지나 칼라 특성에 기반하여 문자영역을 검출하는 방법, CGV(Constant Gradient Variance), 그레이(Gray), 그레디언트(Gradient) 등을 기초로 단일의 머신학습 분류기를 생성하고 이를 기반으로 문자영역을 검출하거나 멀티 해상도(multi-resolution) 기법을 활용하여 각 피라미드 레벨에서 머신 학습 기반하에 문자영역을 검출하도록 하고 검출된 결과를 단순 통합하여 최종적인 문자영역을 검출하는 방식등을 사용하거나, 본 출원인이 제안한 에지 특성을 이용한 문자 검출 방법 등 통합자막 검색을 할 수 있는 어떠한 방법도 이용할 수 있다.

일단 키워드가 나타나는 통합자막이 검출되면, 텍스트 검출 모듈(123)은 동영상 화면 중 텍스트 영역만을 검출하고, 텍스트 분리 모듈(125)은 화면 중 텍스트를 제외한 나머지 배경, 예를 들어 자연이나 텍스트를 제외한 레이블링 화면을 삭제하는 등의 처리를 통해 텍스트 만을 분리한다. 문자 인식 모듈(127)은 문자를 인식하여 그 결과를 키워드 형성 모듈(129)로 전송하며, 키워드 형성 모듈(129)은 전송 결과에 따라 키워드를 형성하고 그 결과를 키워드 인덱싱기(130)로 송신한다.

도 4는 도 1의 키워드 인덱싱기(130)의 구조를 나타낸 블럭도이다.

도 4를 참조하면, 본 발명의 키워드 인덱싱기(130)는 신호분류기(110)로부터 입력되는 상기 비디오 신호 중 상기 오디오 구간 중 음성을 음소 단위로 인식하여 음소열을 추출하고 저장하는 음성 인식 모듈(131), 통합자막 검출기(120)로부터 입력되는 상기 키워드를 음소열로 변환시키는 음성발화 사전 모듈(133) 및, 음성 인식 모듈(131)의 상기 음소열과 음성발화 사전 모듈(133)의 상기 음소열을 비교하여(매칭시켜) 상기 키워드를 추출(인덱싱)하고 상기 키워드를 하이라이트 생성부(200)로 송신하는 키워드 매칭 모듈(135)로 이루어진다.

여기서, 음소 정보는 세 개의 음소열(phone) 단위로 결합되는 3 그램(Gram) 추출 (Extraction) 형식으로 음성 인식 모듈(131)의 음소 데이터 베이스에 저장된다. 통합자막에 의해 형성된 각 키워드는 음성발화 사전 모듈(133)에 의해 음소열로 변환되어, 키워드 매칭 모듈(135)에 의해 음소 데이터 베이스에 저장된 음소열과 비교되고(매칭되고) 상기 키워드 리스트가 인덱싱된다. 생성된 상기 키워드 리스트는 하이라이트 생성부(200)로 송신된다.

도 5 내지 도 9는 본 발명의 실시예에 따른 하이라이트 추출 방법을 나타낸 플로우 차트이다. 도 5는 본 발명의 실시예에 따른 하이라이트 추출 방법을 개략적으로 보이는 플로우 차트이다.

도 5를 참조하면, 본 발명의 실시예에 따른 하이라이트 추출 방법은 영상 정보가 입력되면 상기 영상 정보를 오디오 신호와 비디오 신호로 분류하고 상기 오디오 신호를 특성에 따라 복수의 오디오 구간으로 분류하는 신호 분류 단계(S10), 상기 비디오 신호 중 문자 분석을 통해 키워드를 인식하고 상기 오디오 구간 중 음소열 분석을 통해 키워드를 인식한 다음, 상기 키워드를 음소열 비교(매칭)되어 키워드를 생성하는 키워드 생성 단계(S20) 및, 상기 오디오 구간 중 사운드를 분석함으로써 하이라이트 구간을 추출하고 상기 키워드 중 특정 키워드의 출현 빈도가 높은 하이라이트 구간을 결합하여 키워드별 하이라이트 구간을 생성하는 하이라이트 생성 단계(S30)로 이루어진다.

도 6은 도 5의 신호 분류 단계(S10)을 좀 더 자세히 나타내는 플로우 차트이다.

도 6을 참조하면, 신호 분류 단계(S10)는 상기 영상 정보를 오디오 신호와 비디오 신호로 분류하는 단계(S11), 상기 오디오 신호를 특정 시간 단위의 오디오 클립으로 분할하는 단계(S12), 상기 오디오 클립으로부터 오디오 특징값을 추출하는 단계(S13) 및, 상기 오디오 특징값과 학습 모델을 기반으로 상기 오디오 클립을 복수의 오디오 구간으로 분류하는 단계(S14)로 이루어진다.

여기서, 상기 오디오 구간은 예를 들어, 음성 구간, 사운드 구간 및, 음악 혼재 구간으로 나누어 질 수 있으며, 상기 오디오 특징값은 MFCC 또는 DMFCC가 될 수 있다. 상기 학습 모델은 가우션 혼합 모델을 이용할 수 있다.

도 7은 도 5의 키워드 생성 단계(S20)을 자세히 나타낸 플로우 차트이다. 키워드 생성 단계(S20)는 크게 상기 비디오 신호 중 통합자막 영역을 검출하여 문자 분석을 통해 키워드를 인식하는 통합자막 검출 단계와 상기 인식된 키워드와 상기 오디오 구간 중 음성에서 인식된 음소열을 비교(매칭)하여 키워드를 추출하는 키워드 인덱싱 단계로 이루어질 수 있다.

도 7을 참조하면, 상기 통합자막 검출 단계는 상기 비디오 신호 중 상기 오디오 구간을 분석하여 통합자막영역을 검색하는 단계(S21), 상기 통합자막영역 중 텍스트 영역을 검출하는 단계(S22), 상기 텍스트를 배경으로부터 분리하는 단계(S23), 상기 텍스트의 문자를 인식하는 단계(S24) 및, 상기 문자로부터 상기 키워드를 형성하는 단계(S25)를 포함한다.

상기 문자로부터 상기 키워드를 형성한 다음(S25), 이미 형성되었던 키워드와 비교하여 상기 키워드를 명확히 하는 단계(미도시)를 더 포함할 수 있다. 또한, 바람직하게는 상기 키워드를 키워드 리스트 데이터 베이스에 저장하는 단계(미도시)를 더 포함할 수 있다.

도 8은 상기 키워드 인덱싱 단계를 자세히 나타낸 플로우 차트이다.

도 8을 참조하면, 상기 키워드 인덱싱 단계는 상기 오디오 구간 중 음성을 음소 단위로 인식하여 음소열을 추출하는 단계(S26), 상기 통합자막 검출 단계에서 형성된 상기 키워드를 음소열로 변환시키는 단계(S27) 및, 상기 음성의 음소열과 상기 키워드의 음소열을 비교(매칭)하여 키워드를 추출하는 단계(S28)를 포함한다.

도 9는 도 5의 하이라이트 생성 단계(S30)를 자세히 나타낸 플로우 차트이다.

도 9를 참조하면 하이라이트 생성 단계(S30)는 상기 오디오 구간 중 특정 사운드가 포함된 하이라이트 구간을 추출하는 단계(S31), 상기 비디오 신호를 상기 하이라이트 구간에 적용하여 상기 하이라트 구간의 시작과 끝을 검색하는 단계(S32) 및, 상기 하이라이트 구간 중 특정 키워드의 출현 빈도가 높은 하이라이트 구간을 결합하여 키워드별 하이라이트 구간을 연관시키는 단계(S33)로 이루어진다.

여기서, 상기 특정 사운드는 박수 소리 또는 환호성 소리를 포함한다. 특히 동영상 정보가 스포츠에 관한 것인 경우 스포츠 특유의 사운드 예를 들어, 골프의 스윙 사운드, 축구의 슛 사운드, 야구의 타구 소리 등이 될 수 있을 것이다. 이경 우 상기 키워드는 스포츠 선수명이 되며, 상기 통합자막영역은 상기 비디오 신호 중 스포츠 선수명이 기록된 레이블이 될 것이다.

도 10은 본 발명의 하이라이트 추출 장치를 골프 동영상에 적용한 경우의 하이라이트가 추출되는 방법에 관한 발명의 실시예를 도시한 블록도이다.

도 10을 참조하면, 본 발명의 하이라이트 추출 장치에서 골프 비디오(1)의 영상 정보(V1)가 입력되면, 상기 영상 정보(V1)을 디멀티플렉스(2)하고 디코딩한 다음 오디오 신호와 비디오 신호로 분류하여 상기 오디오 신호는 오디오 분류를 위해 송신하고, 상기 비디오 신호는 통합자막 검출을 위해 송신한다.

상기 오디오 신호를 사운드 구간, 음성 구간, 음악혼재 구간으로 분류하고(3), 음성 구간과 사운드 구간은 음소열 분석을 위해 음소 정보를 추출한다. 이는 경기에 등장하는 선수 중 가변적인 선수명을 인식하기 위해서이다. 일반적으로 골프경기에 등장하는 선수명은 동일한 유명 선수들이 출전하는 경향이 있으나 알려지지 않은 선수가 등장하여 우수한 경기를 펼치는 경우가 종종 발생하기 때문이다.

상기 비디오 신호 중 출전 선수명이 나타나 있는 통합자막을 추출한다(Name Board Image Detection). 상기 통합자막으로부터 텍스트 영역(V2)을 검출하고(text localization), 상기 검출된 텍스트 영역에서 텍스트를 배경으로부터 분리한 다음(text segmentation), 배경으로부터 분리된 텍스트의 문자를 인식하여(text recognition), 인식된 선수명을 미리 저장된 선수명 데이터베이스와 비교하여 출전 선수명을 명확히 생성할 수 있다(4). 새롭게 등장한 선수와 함께 출전된 선수명단은 다음 골프 경기에 사용될 수 있도록 선수명 데이터베이스에 저장한다.

생성된 선수명단은 키워드 인덱싱을 위해 송신되고, 음성발화 사전에 의해 음소열로 변환된다. 상기 음성발화 사전에 의해 변환된 음소열은 음성 구간 및 사운드 구간의 음소열 분석을 통해 인식된 음소열과 비교(매칭)되어 선수명을 인덱싱(5)한다.

오디오 신호 분류 중 특히 관중의 박수소리, 스윙 사운드가 있는 오디오 신호는 하이라이트 구간 검색의 기준이 되는 신호가 되어 상기 구간의 비디오 신호를 검색하여 하이라이트의 시작과 끝을 검색(6)할 수 있다.

이렇게 검색된 하이라이트 구간은 특히 이 구간에서 자주 언급되는 출현 빈도가 높은 선수명과 결합되어(7) 해당 선수에 관한 하이라이트 구간이 브라우징 될 수 있다(8).

도 11은 본 발명의 실시예에 따른 하이라이트 추출 장치 및 방법을 이용한 선수별 하이라이트의 추출예이다.

도 11을 참조하면, 각 영상 안에 오디오 분류에 의해 인식된 박수 소리나 골프 스윙 사운드들이 기록되어 있다. 각 영상 안에 흰 글씨로 기록된 선수명은 측정을 위해 레이블링을 통해 기록되어 있다. 각 영상 정보 밑에는 아나운서와 리포터의 멘트에서 인식된 선수명으로서 통합자막에 의해 생성된 출전 선수명을 이용하여 음성 정보로부터 인식한 선수명을 빨간 글씨로 기록하였다. 영상을 둘러싸고 있는 빨간 테두리는 하이라이트 구간의 시작과 끝을 기반으로 구성된 하이라이트 요약본이다.

검출된 하이라이트가 어떤 선수의 하이라이트에 해당되는지를 결정짓기 위 해 음성신호로부터 인식된 선수명을 이용할 수 있다. 추출된 하이라이트 구간을 살펴보면 아나운서와 리포터가 한 선수가 플레이하는 동안 그 선수를 다른 선수와 비교하여 멘트를 진행하는데 많은 선수의 이름이 언급될 수도 있고 플레이 중인 선수명만이 언급되기도 한다. 플레이 중인 선수명만이 언급되는 경우 그 선수명과 하이라이트 구간을 매칭시켜 해당 선수의 하이라이트 구간을 생성할 수 있다.

많은 선수의 이름이 언급되는 경우 음성인식을 이용해 하이라이트 구간에서 아나운서로부터 언급되는 여러 명의 선수명을 인식할 수 있다. 하이라이트 구간에서 아나운서와 리포터는 플레이하는 선수의 이름을 차례로 언급하게 되는데 이렇게 하이라이트 구간에서 언급되는 선수명의 횟수를 기록하여 추출된 하이라이트 구간이 어느 선수의 경기 장면인지를 결정짓고 하이라이트 부분을 선수별로 모으면 각 선수별 하이라이트 요약본이 생성된다.

다시 도 10으로 돌아가면 이러한 방식으로 형성된 선수별 경기를 브라우징(8)하여 선수별 하이라이트(V3)를 원하는 사용자에게 방영할 수 있다. 본 발명에서는 경기 자체의 하이라이트 뿐만 아니라, 원하는 선수명, 박세리, 김미현 등의 선수명에 따라 하이라이트가 구성되고 사용자는 원하는 선수에 따른 하이라이트 구간을 선택하여 시청할 수 있다. 특히 기존의 유명한 선수가 아닌 선수 중에서 특정 경기에서 좋은 플레이를 보이는 경우 본 발명의 하이라이트 추출 장치 및 방법을 이용해 하이라이트가 생성되므로, 비록 키워드를 별도로 입력하는 장치가 없어도 선수명의 가변적인 변화와 관계없이 사용자는 원하는 하이라이트를 선택하여 볼 수 있는 장점이 있다.

상술한 본 발명의 하이라이트 추출 방법은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한 컴퓨터 프로그램으로 실행될 수 있고, 이를 구현하는 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

상기한 설명에서 많은 사항이 구체적으로 기재되어 있으나, 그들은 발명의 범위를 한정하는 것이라기보다, 바람직한 실시예의 예시로서 해석되어야 한다.

예를 들어 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상에 의해 동영상 장치의 프로그램에 따라 가변적인 선수명을 별도로 입력할 수 있는 장치를 더 포함할 수 있을 것이다. 입력장치의 유무를 불문하고 본 발명은 경기 자체의 하이라이트 뿐만 아니라 가변적인 키워드에 따른 하이라이트를 추출할 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 상기 기재로부터 다양한 수정 및 변형이 가능하다는 점은 자명하다. 따라서, 본 발명 사상은 아래에 기재된 특허 청구 범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한 다고 할 것이다.

도 1은 본 발명의 실시예 따른 하이라이트 추출 장치를 개략적으로 보이는 블록도.

도 2는 도 1의 신호 분류기의 구조를 보이는 블록도,

도 3은 도 1의 통합자막 검출기의 구조를 보이는 블록도,

도 4는 도 1의 키워드 인덱싱기의 구조를 보이는 블록도,

도 5는 본 발명의 실시예에 따른 하이라이트 추출 방법을 보이는 플로우 차트,

도 6은 도 5의 신호 분류 단계를 상세히 나타낸 플로우 차트,

도 7은 도 5의 키워드 생성 단계 중 통합자막 검출 단계를 상세히 보이는 플로우 차트,

도 8은 도 5의 키워드 생성 단계 중 키워드 인덱싱 단계를 상세히 보이는 플로우 차트,

도 9는 도 5의 하이라이트 생성 단계를 상세히 보이는 플로우 차트,

도 10은 본 발명의 하이라이트 추출 장치 및 방법을 골프 경기에 적용한 경우를 개략적으로 보이는 도면,

도 11은 본 발명의 하이라이트 추출 장치 및 방법을 골프 경기에 적용한 경우 동영상 화면에서의 자막 추출 과정 및 하이라이트 추출 과정을 보이는 도면.

<도면의 주요부분에 대한 부호의 설명>

100: 키워드 생성부 110: 신호 분류기

112: 디멀티플렉서 114 : 오디오 분류기

114-a: 클립 분할 모듈 114-b: 특징 추출 모듈

114-c: 사운드 분류 모듈 120 : 통합자막 검출기

121: 통합자막 검색 모듈 123 : 텍스트 검출 모듈

125: 텍스트 분리 모듈 127 : 문자 인식 모듈

129 : 키워드 형성 모듈 130 : 키워드 인덱싱기

131 : 음성 인식 모듈 133 : 음성발화 사전 모듈

135 : 키워드 매칭 모듈 200 : 하이라이트 생성부

210 : 하이라이트 구간 검색기 220 : 하이라이트 키워드 매칭기

Claims

영상 정보를 오디오 신호와 비디오 신호로 분류하고, 상기 오디오 신호를 복수의 오디오 구간으로 분류하며, 상기 비디오 신호 중 문자 분석을 통해 제1 키워드를 추출하고, 상기 오디오 구간 중 인식된 음소열과 상기 제1 키워드의 비교를 통해 제2 키워드를 생성하는 키워드 생성부; 및

상기 키워드 생성부로 입력되는 상기 오디오 구간 중 사운드를 분석함으로써 하이라이트 구간을 추출하고, 상기 제2 키워드 중 특정 키워드의 출현 빈도가 높은 하이라이트 구간을 결합하여 키워드별 하이라이트 구간을 생성하는 하이라이트 생성부

를 포함하는 하이라이트 추출 장치.
제1항에 있어서,

상기 키워드 생성부는

상기 영상 정보를 오디오 신호와 비디오 신호로 분류하고 상기 오디오 신호를 복수의 오디오 구간으로 분류하는 신호 분류기;

상기 비디오 신호 중 통합자막영역을 검출하여 문자 분석을 통해 상기 제1 키워드를 형성하는 통합자막 검출기; 및

상기 통합자막 검출기에서 추출된 상기 제1 키워드와 상기 오디오 구간 중 음성에서 인식된 음소열의 비교를 통해 상기 제2 키워드를 추출하고 상기 제2 키워드를 상기 하이라이트 생성부로 송신하는 키워드 인덱싱기

를 포함하는 하이라이트 추출 장치.
제2항에 있어서,

상기 신호 분류기는,

상기 영상 정보를 디멀티플렉싱하여 오디오 신호와 비디오 신호로 분류하고 상기 오디오 신호 및 상기 비디오 신호를 디코딩하는 디멀티플렉서; 및

상기 오디오 신호를 복수의 오디오 구간으로 분류하고 상기 오디오 구간을 상기 통합자막 검출기와 상기 키워드 인덱싱기로 송신하는 오디오 분류기

를 포함하는 하이라이트 추출 장치.
제3항에 있어서,

상기 오디오 분류기는,

상기 오디오 신호를 특정 시간 단위의 오디오 클립으로 분할하는 클립 분할 모듈;

상기 오디오 클립으로부터 오디오 특징값을 추출하는 특징 추출 모듈; 및

상기 오디오 특징값과 학습 모델을 기반으로 상기 오디오 클립을 복수의 오디오 구간으로 분류하고 상기 통합자막 검출기와 상기 키워드 인덱싱기로 송신하는 사운드 분류 모듈

을 포함하는 하이라이트 추출 장치.
제1항에 있어서,

상기 오디오 구간은, 음성 구간, 사운드 구간 및, 음악혼재 구간으로 나뉘는 하이라이트 추출 장치.
제4항에 있어서,

상기 오디오 특징값은 MFCC 및 DMFCC 중 적어도 하나인 하이라이트 추출 장치.
제4항에 있어서,

상기 학습모델은 가우션 혼합 모델인 하이라이트 추출 장치.
제2항에 있어서,

상기 통합자막 검출기는,

상기 신호 분류기로부터 입력되는 상기 비디오 신호를 분석하여 통합자막영역을 검색하는 통합자막 검색 모듈;

상기 통합자막영역 중 텍스트 영역을 검출하는 텍스트 검출 모듈;

상기 텍스트를 배경으로부터 분리하는 텍스트 분리 모듈;

상기 텍스트의 문자를 인식하는 문자 인식 모듈; 및

상기 문자로부터 상기 제1 키워드를 형성하고 상기 제1 키워드를 상기 키워드 인덱싱기로 송신하는 키워드 형성 모듈

을 포함하는 하이라이트 추출 장치.
제8항에 있어서,

상기 오디오 구간은 특성에 따라 음성 구간, 사운드 구간 및, 음악혼재 구간으로 나뉘는 하이라이트 추출 장치.
제9항에 있어서,

상기 통합자막 검색 모듈은 상기 비디오 신호 중 특정 오디오 구간에 해당하는 상기 통합자막영역을 검색하는 하이라이트 추출 장치.
제8항에 있어서,

상기 키워드 형성 모듈은 상기 형성된 제1 키워드를 이미 생성되었던 키워드와 비교하는 하이라이트 추출 장치.
제11항에 있어서,

상기 키워드 형성 모듈은 상기 형성된 제1 키워드를 저장하는 키워드 리스트 데이터 베이스를 포함하는 하이라이트 추출 장치.
제2항에 있어서,

상기 키워드 인덱싱기는,

상기 신호 분류기로부터 입력되는 상기 오디오 구간 중 음성을 음소 단위로 인식하여 음소열을 추출하고 저장하는 음성 인식 모듈;

상기 통합자막 검출기로부터 입력되는 상기 제1 키워드를 음소열로 변환시키는 음성발화 사전 모듈; 및

상기 음성 인식 모듈에 저장된 상기 음소열과 상기 음성발화 사전 모듈의 상기 음소열을 비교하여 상기 제2 키워드를 추출하고 상기 제2 키워드를 상기 하이라이트 생성부로 송신하는 키워드 매칭 모듈

을 포함하는 하이라이트 추출 장치.
제1항에 있어서,

상기 하이라이트 생성부는,

상기 키워드 생성부로부터 입력되는 상기 오디오 구간 중 특정 사운드가 포함된 하이라이트 구간을 검색하고, 상기 비디오 신호를 이용하여 상기 하이라이트의 시작과 끝을 검색하는 하이라이트 구간 검색기; 및

상기 하이라이트 구간 중 특정 키워드의 출현 빈도가 높은 하이라이트 구간을 결합하여 키워드별 하이라이트 구간을 연관시키는 하이라이트 키워드 매칭기

를 포함하는 하이라이트 추출 장치.
제14항에 있어서,

상기 특정 사운드는 박수 소리 또는 환호성 소리를 포함하는 하이라이트 추출 장치.
제14항에 있어서,

상기 특정 사운드는 골프의 스윙 사운드를 포함하는 하이라이트 추출 장치.
제1항에 있어서,

상기 제1 키워드는 스포츠 선수명인 하이라이트 추출 장치.
제2항에 있어서,

상기 제1 키워드는 스포츠 선수명인 하이라이트 추출 장치.
제18항에 있어서,

상기 통합자막 영역은 상기 비디오 신호 중 스포츠 선수명이 기록된 레이블링 영역인 하이라이트 추출 장치.
영상 정보를 오디오 신호와 비디오 신호로 분류하고 상기 오디오 신호를 특성에 따라 복수의 오디오 구간으로 분류하는 신호 분류 단계;

상기 비디오 신호 중 문자 분석을 통해 제1 키워드를 인식하고, 상기 오디오 구간 중 인식된 음소열과 상기 제1 키워드를 비교하여 제2 키워드를 생성하는 키워드 생성 단계; 및

상기 오디오 구간 중 사운드를 분석함으로써 하이라이트 구간을 추출하고 상기 제2 키워드 중 특정 키워드의 출현 빈도가 높은 하이라이트 구간을 결합하여 키워드별 하이라이트 구간을 생성하는 하이라이트 생성 단계

를 포함하는 하이라이트 추출 방법.
제20항에 있어서,

상기 신호 분류 단계는,

상기 영상 정보를 오디오 신호와 비디오 신호로 분류하는 단계;

상기 오디오 신호를 특정 시간 단위의 오디오 클립으로 분할하는 단계;

상기 오디오 클립으로부터 오디오 특징값을 추출하는 단계; 및

상기 오디오 특징값과 학습 모델을 기반으로 상기 오디오 클립을 복수의 오디오 구간으로 분류하는 단계

를 포함하는 하이라이트 추출 방법.
제20항에 있어서,

상기 오디오 구간은 음성 구간, 사운드 구간 및, 음악혼재 구간으로 나뉘는 하이라이트 추출 방법.
제21항에 있어서,

상기 오디오 구간은 음성 구간, 사운드 구간 및, 음악혼재 구간으로 나뉘는 하이라이트 추출 방법.
제21항에 있어서,

상기 오디오 특징값은 MFCC 및 DMFCC 중 적어도 하나인 하이라이트 추출 방법.
제21항에 있어서,

상기 학습 모델은 가우션 혼합 모델인 하이라이트 추출 방법.
제20항에 있어서,

상기 키워드 생성 단계는,

상기 비디오 신호 중 통합자막 영역을 검출하여 문자 분석을 통해 상기 제1 키워드를 인식하는 통합자막 검출 단계; 및

상기 인식된 제1 키워드와 상기 오디오 구간 중 음성에서 인식된 음소열을 비교하여 상기 제2 키워드를 추출하는 키워드 인덱싱 단계

를 포함하는 하이라이트 추출 방법.
제26항에 있어서,

상기 통합자막 검출 단계는,

상기 비디오 신호 중 상기 오디오 구간을 분석하여 통합자막영역을 검색하는 단계;

상기 통합자막 영역 중 텍스트 영역을 검출하는 단계;

상기 텍스트를 배경으로부터 분리하는 단계;

상기 텍스트의 문자를 인식하는 단계; 및

상기 문자로부터 상기 제1 키워드를 형성하는 단계

를 포함하는 하이라이트 추출 방법.
제27항에 있어서,

상기 오디오 구간은 음성 구간, 사운드 구간 및, 음악혼재 구간으로 나누고 상기 음악혼재 구간을 분석하여 상기 통합자막 영역을 검색하는 하이라이트 추출 방법.
제27항에 있어서,

상기 형성된 제1 키워드를 이미 형성되었던 키워드와 비교하는 단계

를 더 포함하는 하이라이트 추출 방법.
제27항에 있어서,

상기 형성된 제1 키워드를 키워드 리스트 데이터 베이스에 저장하는 단계

를 더 포함하는 하이라이트 추출 방법.
제26항에 있어서,

상기 키워드 인덱싱 단계는,

상기 오디오 구간 중 음성을 음소 단위로 인식하여 음소열을 추출하는 단계;

상기 통합자막 검출 단계에서 형성된 상기 제1 키워드를 음소열로 변환시키는 단계; 및

상기 음성의 음소열과 상기 제1 키워드의 음소열을 비교하여 상기 제2 키워드를 추출하는 단계

를 포함하는 하이라이트 추출 방법.
제20항에 있어서,

상기 하이라이트 생성 단계는,

상기 오디오 구간 중 특정 사운드가 포함된 하이라이트 구간을 추출하는 단계;

상기 비디오 신호를 상기 하이라이트 구간에 적용하여 상기 하이라이트 구간의 시작과 끝을 검색하는 단계; 및

상기 하이라이트 구간 중 특정 키워드의 출현 빈도가 높은 하이라이트 구간을 결합하여 키워드별 하이라이트 구간을 연관시키는 단계

를 포함하는 하이라이트 추출 방법.
제32항에 있어서,

상기 특정 사운드는 박수 소리 또는 환호성 소리를 포함하는 하이라이트 추출 방법.
제32항에 있어서,

상기 특정 사운드는 골프의 스윙 사운드를 포함하는 하이라이트 추출 방법.
제20항에 있어서,

상기 제1 키워드는 스포츠 선수명인 하이라이트 추출 방법.
제26항에 있어서,

상기 제1 키워드는 스포츠 선수명인 하이라이트 추출 방법.
제36항에 있어서,

상기 통합자막 영역은 상기 비디오 신호 중 스포츠 선수명이 기록된 레이블링 영역인 하이라이트 추출 방법.
제26항 내지 제36항의 항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.