KR100833807B1 - 오디오 성질들을 이용하여 비디오 프로그램에서하이라이트들을 검출하는 시스템 및 방법 - Google Patents

오디오 성질들을 이용하여 비디오 프로그램에서하이라이트들을 검출하는 시스템 및 방법 Download PDF

Info

Publication number
KR100833807B1
KR100833807B1 KR1020027008464A KR20027008464A KR100833807B1 KR 100833807 B1 KR100833807 B1 KR 100833807B1 KR 1020027008464 A KR1020027008464 A KR 1020027008464A KR 20027008464 A KR20027008464 A KR 20027008464A KR 100833807 B1 KR100833807 B1 KR 100833807B1
Authority
KR
South Korea
Prior art keywords
energy level
signal energy
audio signal
video
program
Prior art date
Application number
KR1020027008464A
Other languages
English (en)
Other versions
KR20020067581A (ko
Inventor
닥타스세르한
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020067581A publication Critical patent/KR20020067581A/ko
Application granted granted Critical
Publication of KR100833807B1 publication Critical patent/KR100833807B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215—Recordable discs
    • G11B2220/216—Rewritable discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

비디오 프로그램에서 프로그램 하이라이트들을 검출하는 장치가 개시된다. 본 장치는, 1) 비디오 프로그램의 오디오 트랙에서 선택된 키워드의 위치를 검출하는 키워드 검출 회로와, 2) 선택된 키워드의 검출된 위치에 근사한 오디오 트랙의 오디오 신호 에너지 레벨을 결정하고, 오디오 신호 에너지 레벨을 미리 정해진 임계값과 비교하는 오디오 신호 에너지 레벨 검출 회로를 포함한다. 오디오 신호 에너지 레벨 검출 회로는, 오디오 신호 에너지 레벨이 미리 정해진 임계값을 초과한다는 결정에 응답하여, 선택된 키워드의 검출된 위치를 프로그램 하이라이트로서 식별한다.
오디오 트랙, 오디오 신호 에너지 레벨, 프로그램 하이라이트, 키워드, 음성 인식 프로그램

Description

오디오 성질들을 이용하여 비디오 프로그램에서 하이라이트들을 검출하는 시스템 및 방법{System and method for detecting highlights in a video program using audio properties}
본 발명은 일반적으로 비디오 재생 장치들에 관한 것이며, 특히 스포츠 프로그램과 같은 비디오 프로그램의 하이라이트들을 검출 및 재생하는 시스템에 관한 것이다.
다양한 비디오 재생 장치들이 시장에서 이용가능하다. 대부분의 사람들은, 비디오 테이프 레코더(VTR)라고도 또한 불리는, 비디오 카세트 레코더(VCR)를 소유하고 있거나 또는 이에 친숙하다. 특히 최근에, 비디오 프로그램들을 저장하기 위해 자기 카세트 테이프들보다는 컴퓨터 자기 하드 디스크들을 이용하는 비디오 레코더들이 시장에 나타났다. 예를들어, 리플레이 TVTM 레코더 및 TiVOTM 레코더는, 예를들어, MPEG-2 압축을 이용하여 하드 디스크 드라이브들상에 텔레비전 프로그램들을 디지털적으로 기록한다. 부가적으로, 몇몇 비디오 재생 장치들은 자기 디스크보다는 판독가능/기록가능 디지털 다용도 디스크(digital versatile disk)(DVD)상에 기록할 수 있다.
비디오 프로그램들을 재생할 수 있는 실질상의 모든 시스템은 시청자가 기록된 비디오 프로그램들을 통해 스캐닝하는 것을 허용하는 빨리 감기 모드와 되감기 모드를 가진다. 이들 모드들은 귀중한 시간 절약자들이다. 많은 사람들이 프로그램의 흥미있는 부분들(즉, "하이라이트들(highlights)")을 시청하고, 광고들을 포함하는 프로그램의 흥미없는 부분들을 건너뛰도록 빠른 감기(FF) 및 되감기(REW)를 이용한다. 통상적인 시나리오에서, 스포츠 팬들은, 정상 속도에서 흥미있는 플레이들(터치다운들 또는 롱 패스들과 같은)을 시청하기 위해 빠른 감기 모드를 중지시키면서, 더 짧은 주기의 시간에서 풋볼 게임을 스캐닝하기 위해 빠른 감기 모드를 이용할 수 있다.
그러나, 프로그램 시청의 이러한 방법은 여전히 많은 양의 인간의 상호작용을 요구하며, 사실상 약간 우연적이다. 시청자는 흥미있는 이벤트들을 검출하기 위해 빠른 감기 모드에서 스크린을 계속 모니터링해야 한다. 시청자는 어떤 흥미있는 것이 일어나고 있다는 것을 알아채기 전에는, 전부는 아니지만, 흥미있는 이벤트(터치다운같은)의 대부분에 걸쳐 종종 스캐닝한다. 그다음에, 시청자는 정상 속도에서 흥미있는 이벤트를 약간 되감고 재생해야 한다.
다수의 기술들이, 제한된 정도의 성공만으로, 비디오 프로그램에서 하이라이트들 (또는 흥미있는 이벤트들)을 선택적으로 시청하는 프로세스를 자동화시키도록 도입되었다. 이들 종래 기술 시스템들은, 비디오 프로그램에 관련된 단어들의 정의된 라이브러리를 탐색하는 키워드에 기초한 방법들, 특정한 카테고리들의 음향들(즉, 음성, 음악, 침묵)을 찾는 오디오 콘텐트에 기초한 방법들 및, 예를들어, 장면 변화들에 기초하여 비디오 프로그램을 자동적으로 분석하는 비디오 처리 방법들을 이용하였다. 애석하게도, 비디오 하이라이트들을 선택하는 것이 인간을 위한 올바 른 방법이지만, 비디오 프로그램에서 진정으로 흥미있는 이벤트들을 자동적으로 검출하는 것은 많은 양의 계산력을 요구하는 매우 에러나기 쉬운 프로세스인 것으로 항상 증명된다.
그러므로, 비디오 프로그램에서 흥미있는 이벤트들을 검출할 수 있는 개선된 시스템들 및 방법들을 위한 그 기술분야에서의 필요성이 있다. 특히, 비디오 프로그램을 기록할 수 있고, 기록된 비디오 프로그램에서 흥미있는 이벤트들을 식별할 수 있는 비디오 재생 장치에 대한 필요성이 있다. 특히, 기록된 비디오 프로그램에서 하이라이트들을 식별할 수 있고, 후속하는 시청자 요청에 응답하여 하이라이트들을 선택적으로 재생할 수 있는 비디오 재생 장치에 대한 필요성이 있다.
종래 기술의 상기에 언급된 부족한 점들을 다루기 위해, 본 발명의 주 목적은, 비디오 재생 장치내의 저장 매체상에 기록된 비디오 프로그램을 재생할 수 있는 비디오 재생 장치에서의 이용을 위해, 비디오 프로그램에서 프로그램 하이라이트들을 검출하는 장치를 제공하는 것이다. 본 발명의 유리한 실시예에 따라, 상기 장치는 1) 비디오 프로그램의 오디오 트랙에서, 선택된 키워드의 위치를 검출할 수 있는 키워드 검출 회로와, 2) 선택된 키워드의 검출된 위치에 근사한 오디오 트랙의 오디오 신호 에너지 레벨을 결정할 수 있고, 미리 정해진 임계값과 오디오 신호 에너지 레벨 을비교할 수 있는 오디오 신호 에너지 레벨 검출 회로를 포함한다.
본 발명의 일 실시예에 따라, 오디오 신호 에너지 레벨 검출 회로는, 오디오 신호 에너지 레벨이 미리 정해진 임계값을 초과한다는 결정에 응답하여, 선택된 키 워드의 검출된 위치를 프로그램 하이라이트로서 식별한다.
본 발명의 다른 실시예에 따라, 키워드 검출 회로는, 비디오 프로그램에서 클로즈드 캡션 텍스트를 캡처할 수 있는 클로즈드 캡션 검출기(closed caption text)와, 캡처된 클로즈드 캡션 텍스트에서 키워드들을 검출하는 프로세서를 포함한다.
본 발명이 또다른 실시예에 따라, 프로세서는 프로세서와 연관된 메모리에 저장된 복수의 키워드들과 캡처된 클로즈드 캡션 텍스트를 비교함으로써 캡처된 클로즈드 텍스트에서 키워드들을 검출한다.
본 발명의 또다른 실시예에 따라, 키워드 검출회로는 오디오 트랙에서 검출된 발성된 단어들을 텍스트 단어들로 변환하는 음성 인식 애플리케이션 프로그램을 실행할 수 있는 오디오 프로세서를 포함하며, 오디오 프로세서는 또한, 변환된 텍스트 단어들에서 키워드들을 검출할 수 있다.
본 발명의 다른 실시예에 따라, 오디오 프로세서는 프로세서와 연관된 메모리에 저장된 복수의 키워드들과 변환된 텍스트 단어들을 비교함으로써 변환된 텍스트 단어들에서 키워드들을 검출한다.
본 발명의 또 다른 실시예에 따라, 오디오 신호 에너지 레벨 검출회로는 선택된 키워드의 검출된 위치에 근사한 윈도우에서 평균 오디오 신호 에너지 레벨을 결정함으로써 오디오 트랙의 오디오 신호 에너지 레벨을 결정한다.
본 발명의 또 다른 실시예에 따라, 오디오 신호 에너지 레벨 검출회로는, 선택된 키워드의 검출된 위치에 선행하는 프로그램 하이라이트의 시작 포인트를 결정 하고 선택된 키워드의 검출된 위치에 뒤따르는 프로그램 하이라이트의 정지 포인트를 결정함으로써, 선택된 키워드의 검출된 위치를 프로그램 하이라이트로서 식별한다.
본 발명의 다른 주 목적은 키워드 검출회로의 이용을 요구하지 않는 비디오 프로그램에서 프로그램 하이라이트들을 검출하는 장치를 제공하는 것이다. 본 발명의 일실시예에서, 상기 장치는 1) 오디오 트랙의 N개의 연속적인 세그먼트들의 오디오 신호 에너지 레벨을 결정할 수 있고 오디오 신호 에너지 레벨을 미리 정해진 임계값과 비교할 수 있는 오디오 신호 에너지 레벨 검출 회로를 포함한다. 오디오 신호 에너지 레벨 검출 회로는, 오디오 신호 에너지 레벨이 미리 정해진 임계값을 초과한다는 결정에 응답하여, N개의 연속적인 세그먼트들을 프로그램 하이라이트로서 식별한다. 예시적인 실시예에서, 프로그램 하이라이트는 평균 오디오 신호 에너지 레벨이 미리 정해진 임계값을 초과하는 N개의 연속적인 세그먼트들을 결정함으로써 식별된다.
앞의 내용은 그 분야에서 숙련된 자들이 뒤따르는 본 발명의 상세한 서술을 더 잘 이해할 수 있도록 본 발명의 특징들 및 기술적인 장점들을 다소 넓게 개요를 설명했다. 본 발명의 청구항들의 주제를 형성하는 본 발명의 부가적인 특징들 및 장점들은 이후에 서술될 것이다. 그 분야에 숙련된 자들은 본 발명의 동일한 목적들을 실행하는 다른 구조들을 수정 또는 설계하는 기초로서 개시된 특정한 실시예 및 개념을 즉시 이용할 수 있다는 것을 이해해야 한다. 그 분야에 숙련된 자들은 또한 그와같은 동등한 구성들이 가장 넓은 형태에서 본 발명의 정신 및 범위를 벗 어나지 않는다는 것을 깨달아야 한다.
상세한 설명에 착수하기 전에, 본 특허 문서를 통해 이용된 어떤 단어들 및 구절들의 정의들을 설명하는 것이 유리할 수 있으며, 용어들 "포함하다(include)" 및 "구비하다(comprise)" 뿐아니라 그 파생어들은 제한없는 포함을 의미하며, 용어 "또는(or)"은 및/또는을 의미하는 포괄적인 것이며, 구절들 "와 연관된(associated with)" 및 "그것과 연관된(associated therewith)" 뿐아니라 그 파생어들은, 포함하는, 내에 포함되는, 와 상호접속하는, 를 포함하는, 내에 포함된, 에 또는 와 접속하는, 에 또는 와 연결되는, 와 통신가능한, 와 협력하는, 인터리브하는, 병렬로 놓는, 에 근사한, 에 또는 와 묶인, 의 성질을 가진 등을 포함하는 것을 의미할 수 있으며, 용어 "제어기"는 적어도 하나의 동작을 제어하는 임의의 장치, 시스템 또는, 그 부분을 의미하며, 그와같은 장치는 하드웨어, 펌웨어(firmware) 또는 소프트웨어에서 또는, 동일한 것중 적어도 2개의 어떤 결합에서 수행될 수 있다. 임의의 특정 제어기와 연관된 기능성은 국부적으로 또는 원격적으로 중앙화되거나 분배될 수 있다는 것이 유의되어야 한다. 특히, 제어기는 하나 또는 그이상의 데이터 프로세서들 및, 연관된 입력/출력 장치들과 메모리를 포함할 수 있으며, 이것들은 하나 또는 그이상의 애플리케이션 프로그램들 및/또는 동작 시스템 프로그램을 실행한다. 어떤 단어들 및 구절들에 대한 정의들은 본 특허 문서를 통해 제공되며, 그 분야에서 통상의 기술을 지닌 자들은, 대부분은 아니지만 많은 경우들에서, 그와같은 정의들이 그와같이 정의된 단어들 또는 구절들의 미래의 이용들뿐 아니라 종래의 이용들에도 적용된다는 것을 이해해야 한다.
본 발명의 더 완전한 이해 및, 그 장점들을 위해서, 첨부된 도면들과 연결하여 취해진 다음의 서술에서 참조번호가 이제 만들어지며, 같은 번호들은 같은 대상들을 지정한다.
도 1은 본 발명의 일실시예에 따른 예시적인 비디오 재생 장치를 더 자세히 도시하는 도면.
도 2는 본 발명의 일실시예에 따른 예시적인 비디오 재생 장치를 더 자세히 예시한 도면.
도 3은 본 발명의 일실시예에 따른 예시적인 비디오 재생 장치에서 하드 디스크 드라이브상에 저장된 예시적인 비디오 프로그램을 예시한 도면.
도 4는 본 발명의 일실시예에 따른 예시적인 비디오 재생 장치의 동작을 예시하는 흐름도.
하기에 논의된, 도 1 내지 도 4와, 본 특허 문서에서 본 발명의 원리들을 서술하는데 이용된 다양한 실시예들은 단지 예시적인 것이며, 본 발명의 범위를 한정하도록 임의의 방식으로 해석되어서는 안된다. 그 분야에 숙련된 자들은 본 발명의 원리들이 임의의 적합하게 배열된 비디오 재생 장치에서 수행될 수 있다는 것을 이해할 것이다.
도 1은 본 발명의 일 실시예에 따른 예시적인 비디오 재생 장치(150)과 텔레비전 세트(105)를 예시한다. 비디오 재생 장치(150)는, 케이블 텔레비전 서비스 제 공자(케이블 회사), 지역 안테나, 인터넷 또는, DVD 또는 VHS 테이프 플레이어와 같은 외부 공급원으로부터 인입하는 텔레비젼 신호들을 수신하고, 시청자가 선택한 채널을 텔레비전(105)에 전송한다. 기록 모드에서, 비디오 재생 장치(150)는 비디오 재생 장치(150)내의 저장 매체상에 기록되고 저장되거나 또는 비디오 재생 장치(150)에 접속된 베이스밴드 비디오 신호를 생성하도록 인입하는 무선 주파수 (RF) 텔레비전 신호를 복조할 수 있다. 플레이 모드에서, 비디오 재생 장치(150)는 저장 매체로부터 이용자에 의해 선택된 저장된 베이스밴드 비디오 신호(즉, 프로그램)을 판독하고 그것을 텔레비전 세트(105)에 전송한다.
예를들어, 비디오 재생 장치(150)가 비디오 테이프 레코더(VTR)라 또한 불리는 비디오 카세트 레코더(VCR)이라면, 비디오 재생 장치(150)는 인입하는 텔레비전 신호들을 자기 카세트 테이프에 저장하고, 저장된 텔레비전 신호들을 자기 카세트 테이프로부터 검색한다. 비디오 재생 장치(150)가 리플레이TVTM 레코더 또는 TiVOTM 레코더와 같은 디스크 드라이브-기반 장치라면, 비디오 재생 장치(150)는 인입하는 텔레비전 신호들을 자기 카세트 테이프보다는 컴퓨터 자기 하드 디스크에 저장하고, 저장된 텔레비전 신호들을 하드 디스크로부터 검색한다. 또다른 실시예들에서, 비디오 재생 장치(150)는 국부적 판독/기록(R/W) 디지털 다용도 디스크(DVD) 또는 판독-기록(R-W) CD-ROM으로부터 저장 및 검색할 수 있다. 따라서, 국부적 저장 매체는 고정될 수 있거나(즉, 하드 디스크 드라이브) 또는 제거될 수 있다(즉, DVD, CD-ROM).
비디오 재생 장치(150)는 시청자에 의해 동작되는 원격 제어 장치로부터 명 령들(채널 업, 채널 다운, 볼륨 업, 볼륨 다운, 기록, 재생, 빠른 감기(FF), 되감기 등과 같은)을 수신하는 적외선(IR) 센서(160)를 포함한다. 텔레비전 세트(105)는 스크린(110), 적외선(IR) 센서(115) 및, 하나 또는 그이상의 수동 제어들(120)(점선에 의해 둘러싸임)을 포함하는 종래의 텔레비전이다. IR 센서(115)는 또한 시청자에 의해 동작되는 원격 제어 장치로부터 명령들(볼륨 업, 볼륨 다운, 전원 온/오프와 같은)을 또한 수신한다.
비디오 재생 장치(150)는 특정한 타입의 공급원으로부터 특정한 타입의 인입하는 텔레비전 신호를 수신하는데 한정되지 않는다. 상기에 언급된 바와같이, 외부 공급원은 케이블 서비스 제공자, 종래의 RF 방송 안테나, 위성 접시, 인터넷 접속 또는, DVD 플레이어 또는 VHS 테이프 플레이어와 같은 다른 국부 저장 장치일 수 있다. 몇몇 실시예들에서, 비디오 재생 장치(150)는, 제거가능한 DVD 또는 CD-ROM으로부터 검색되는 텔레비전 신호들을 기록할 수 없을 수도 있지만, 상기 텔레비전 신호들을 재생하는데 한정될 수 있다. 따라서, 인입하는 신호는 디지털 신호, 아날로그 신호 또는, 인터넷 프로토콜(IP) 패킷들일 수 있다. 그러나, 본 발명의 원리들을 설명하는데 있어서 간단함과 명료함의 목적을 위해, 뒤따르는 서술들은 일반적으로 비디오 재생 장치(150)가 인입하는 텔레비전 신호들(아날로그 및/또는 디지털)을 케이블 서비스제공자로부터 수신하는 실시예에 관한 것이 될 것이다. 그럼에도 불구하고, 그 분야에 숙련된 자들은 본 발명의 원리들이 무선 방송 텔레비전 신호들, 국부적 저장 시스템들, MPEG 데이터를 포함하는 IP 패킷들의 인입하는 스트림 등과 함께 이용하기 위해 즉시 적응될 수 있다는 것을 이해할 것이다.
도 2는 본 발명의 일실시예에 따라 더 상세히 예시적인 비디오 재생 장치(150)를 예시한다. 비디오 재생 장치(150)는 IR 센서(160), 비디오 프로세서 (210), MPEG2 인코더(220), 하드 디스크 드라이브(230), MPEG2 디코더/NTSC 인코더(240) 및, 비디오 레코더(VR) 제어기(250)를 포함한다. 비디오 재생 장치(150)는 클로즈드 캡션(CC) 검출기(260), 오디오 프로세서(270) 및, 메모리(280)를 더 포함한다. VR 제어기(250)는, 다른 것들중에서 시청 모드, 기록 모드, 재생 모드, 빠른 감기(FF) 모드, 되감기 모드를 포함하는, 비디오 재생 장치(150)의 전체적 동작을 명령한다. 본 발명의 원리들에 따라, 비디오 재생 장치(150)는 또한, 선택된 하이라이트들을 하기에 더 상세히 서술된 비디오 프로그램으로부터 배생하는 스캔 모드를 제공한다.
시청 모드에서, VR 제어기(250)는, 하드 디스크 드라이브(230)로부터 저장 또는 검색하지 않고서, 케이블 서비스 제공자로부터의 인입하는 텔레비전 신호가 비디오 프로세서(210)에 의해 복조 및 처리되고 텔레비전 세트 (105)로 전송되게 한다. 비디오 프로세서(210)는 인입하는 텔레비전 신호들을 케이블 서비스 제공자로부터 수신하고, 이용자가 선택한 채널로 튜닝하고, 텔레비전 세트(105)상의 디스플레이에 적합한 베이스밴드 텔레비전 신호(예를들어, 수퍼 비디오 신호)로 상기 선택된 RF 신호를 변환하는, 무선 주파수(RF) 프론트-엔드 회로를 포함한다. 비디오 프로세서(210)는 또한 재생 모드동안에 MPEG2 디코더/NTSC 인코더(240)로부터 종래의 NTSC 신호를 수신할 수 있고, 베이스밴드 텔레비전 신호를 텔레비전 세트(105)에 전송할 수 있다.
기록 모드에서, VR 제어기(250)는 인입하는 텔레비전 신호가 하드 디스크 드라이브(230)상에 저장되게 한다. VR 제어기(250)의 제어하에, MPEG2 인코더(220)는 인입하는 텔레비전 신호를 케이블 서비스 제공자로부터 수신하고, 하드 디스크 드라이브(230)상의 저장을 위해 상기 수신된 RF 신호를 MPEG 포맷으로 변환한다. 재생 모드에서, VR 제어기(250)는 하드 디스크 드라이브(230)가 상기 저장된 텔레비전 신호(즉, 프로그램)를 MPEG2 디코더/NTSC 인코더(240)로 흘러가게 하는 것을 명령하며, MPEG2 디코더/NTSC 인코더(240)는 하드 디스크 드라이브(230)로부터의 MPEG2 데이터를, 예를들어, 텔레비전 세트에 전송되는 수퍼 비디오(S-비디오) 신호로 변환한다. MPEG2 디코더/NTSC 인코더(240) 및 MPEG2 인코더(220)에 대한 MPEG2 표준의 선택은 단지 예시적인 것이라는 점이 유의되어야 한다. 본 발명의 대안의 실시예들에서, MPEG 인코더 및 디코더는 MPEG-1, MPEG-2, MPEG-4 및, MPEG-7 표준중 하나 또는 그이상의 표준에 따를 수 있다.
뒤따르는 청구항들 및 본 출원의 목적들을 위해, 하드 디스크 드라이브(230)는, 판독-기록 디지털 다용도 디스크들(DVD-RW), 재기록가능한 CD-ROM들, VCR 테이프들 등을 위한 종래의 자기 디스크 드라이브들 및 광학 디스크 드라이브들을 포함하는, 판독 및 기록이 모두 가능한 임의의 대용량 저장 장치를 포함하도록 정의된다. 사실상, 하드 디스크 드라이브(230)는 비디오 재생 장치(150)에 영구적으로 삽입된다는 종래의 의미로 고정될 필요가 없다. 오히려, 하드 디스크 드라이브(230)는 기록된 비디오 프로그램들을 저장할 목적으로 비디오 재생 장치(150)에 전용인 임의의 대용량 저장 장치를 포함한다. 따라서, 하드 디스크 드라이브(230)는, 판독-기록 DVD들 또는 재기록가능 CD-ROM들을 유지하는 쥬크 박스 장치(juke box device)와 같은, 부착된 주변 드라이브 또는 제거가능한 디스크 드라이브들(삽입되어 있든지 또는 외부에 부착되어 있든지)을 포함할 수 있다. 또한, 본 발명의 유리한 실시예에서, 하드 디스크 드라이브(230)는, 예를들어, 이용자의 홈 퍼스널 컴퓨터(PC)내의 디스크 드라이브 또는 이용자의 인터넷 서비스 제공자(ISP)에서의 서버상의 디스크 드라이브를 포함하는, 네트워크 접속(예를들어, 인터넷 프로토콜(IP) 접속)을 통해 비디오 재생 장치(150)가 액세스 및 제어할 수 있는 외부 대용량 저장 장치들을 포함할 수 있다.
재생 모드동안에, VR 제어기(250)는 IR 센서(160)를 통해 이용자로부터 스캔 명령을 수신할 수 있다. 스캔 모드에서, 비디오 재생 장치(150)는 하드 디스크 드라이브(230)상에 저장된 비디오 프로그램(예를들어, 스포츠 프로그램)으로부터 추출된 하이라이트들만을 재생할 수 있다. 이것을 이루기위해, 비디오 재생 장치 (150)는 비디오 프로그램이 하드 디스크 드라이브(230)에 기록되면서(또는 기록된 후에) 비디오 프로그램을 분석할 수 있고, 비디오 프로그램의 하이라이트 부분들을 자동적으로 검출하고 라벨을 붙이도록 텍스트-기반 탐색 및 선택된 오디오 성질들의 결합을 이용할 수 있다. 후속 스캔 모드동안, 비디오 재생 장치(150)는 저장된 비디오 프로그램의 라벨이 붙여진 하이라이트 부분들을 검출하고, 텔레비전(105)상의 재생을 위해 라벨이 붙여진 하이라이트 부분들만을 추출한다.
본 발명의 예시적인 실시예에서, 메모리(280)는 음성 인식 프로그램(282)과 키워드(KW) 라이브러리(284)를 저장하는 랜덤 액세스 메모리(RAM)를 포함할 수 있 다. 음성 인식 프로그램(282)은 비디오 프로그램의 오디오 트랙내의 발성된 단어들을 검출하고 상기 검출된 발생된 단어들을 텍스트 단어들로 변환하는 오디오 프로세서(270)에 의해 실행되는 프로그램 명령들을 포함한다. 그다음에, 오디오 프로세서(270)는 키워드(KW) 라이브러리(284)에 저장된 선택된 키워드들과 텍스트 단어들을 비교한다. 매칭이 일어날 때, 오디오 프로세서(270)는 저장된 비디오 프로그램의 대응하는 세그먼트와 연관된 키워드 식별자를 하드 디스크 드라이브(230)상에 저장한다. 스포츠 프로그램들에 대해서, 키워드들은 터치다운, 색(sack), 인터셉션, 펌블(fumble), 필드 골, 홈런, 런 스코어드(run scored), 트리플, 스톨른 베이스(stolen base), 쓰리 포인터(three pointer), 블락킹된 샷(blocked shot), 패스트 브레이크(fast break), 타임아웃 콜드(timeout called), 골, 세이브, 파워 플레이, 해트 트릭 등과 같은 단어들 및 구절들을 포함할 수 있다.
본 발명의 대안의 실시예에서, 오디오 프로세서(270)는 비디오 프로그램에서 키워드들을 식별하도록 클로즈드 캡션(CC) 검출기(260)로부터 수신된 텍스트를 이용할 수 있다. 클로즈드 캡션 검출기(260)는 MPEG2 디코더/NTSC 인코더(240)로부터 비디오 스트림을 수신하고 NTSC 출력 신호에서 CC 텍스트를 검출한다. CC 텍스트는 통상적으로 비디오 신호의 라인(21)의 단부에서 블랭킹 구간(blanking interval)에 삽입된다. CC 검출기(260)는 CC 텍스트에 대응하는 비디오 프로그램의 세그먼트를 식별하도록 CC 데이터의 각 라인과 연관된 시간 스탬프를 이용한다. CC 검출기 (260)는 CC 텍스트와 시간 스탬프의 각 라인을 오디오 프로세서(270)에 전송한다. 그다음에, 오디오 프로세서(270)는 키워드(KW) 라이브러리(284)에 저장된 선택된 키워드들과 CC 텍스트 단어들을 비교한다. 매칭이 일어날 때, 오디오 프로세서 (270)는 시간 스탬프에 의해 식별된 저장된 비디오 프로그램의 대응하는 세그먼트와 연관된 키워드 식별자를 하드 디스크 드라이브(230)상이 저장한다.
실제의 스포츠 방송들에서, 많은 키워드들이, 잠재적 하이라이트 이벤트동안 보다는, 아나운서들 사이의 일상적인 대화들동안 이용될 수 있다. 이것은, 하이라이트들에 대응하지 않는 저장된 비디오 프로그램의 세그먼트들에 오디오 프로세서 (270)가 키워드 식별자들을 부착하는, 다수의 "잘못된 포지티브들(false positives )"을 발생시킬 것이다. 잘못된 포지티브들의 수를 감소시키기 위해, 오디오 프로세서(270)는 또한, 저장된 비디오 프로그램에서 식별된 키워드들의 발생에 대응하는, 높은 오디오 에너지(예를들어, 군중 소음(crowd noise))의 주기들을 식별하도록 상기 저장된 비디오 프로그램의 오디오 트랙을 분석한다.
오디오 트랙 정보는, 비디오 스트림들을 인식하고, 분류하고, 어떤 의미론적 특성들을 가진 세그먼트들로 분할하는데 효과적으로 이용되었다. 이것은 음성 인식에 의한 키워드들의 배치 및 새로운 프로그램들의 화자-기반 분할(speaker-based segmentation)에 이용되었다. 오디오 데이터는 비디오 처리에 비해 현저히 적은 처리 능력 및 저장 공간을 요구하므로 콘텐트 인덱싱을 위해 매우 효율적으로 또한 이용될 수 있다.
오디오 프로세서(270)는 오디오 트랙 정보의 텍스트 탐색을 먼저 수행한다. 이 단계는 대개 후보자들의 긴 리스트(즉, 지정된 키워드들을 포함하는 프로그램의 세그먼트들)를 반환한다. 상기에 언급된 바와같이, 이들 세그먼트들중 많은 세그먼트들은, 해설자들이 이전의 게임들 또는 플레이들을 참조하여 이들 단어들을 종종 이용하므로, 실제의 하이라이트를 나타내지 않는다. 그다음에, 오디오 프로세서(270)는, 잘못된 포지티브들로부터 실제의 하이라이트들을 구별하도록, 검출된 키워드주위의 각 세그먼트로부터 오디오 신호 성질들을 이용한다.
본 발명의 예시적인 실시예에서, 오디오 프로세서(270)는 1초 길이 세그먼트들에서 오디오 트랙 정보를 처리한다. 오디오 프로세서(270)는, 각 세그먼트에 대한 평균 절대값 진폭으로서, 오디오 자극 레벨(audio excitement level)(X(A))를 계산한다. A가 오디오 신호라면, 자극 레벨 X(A)=AVG(ABS(A))이고, 여기서 ABS는 절대값 함수이다. 다음으로, 오디오 프로세서(270)는 평균 강도들을 계산하도록 예를들어 5개의 세그먼트들(5초와 동등함)의 슬라이딩 윈도우를 이용하는데, 대부분의 경우들에서 진정으로 흥미있는 이벤트들(즉, 하이라이트들)은 적어도 5초동안 지속되기 때문이다. 그다음에, 어떤 임계값위의 평균 자극 레벨을 가진 5개의 세그먼트들의 그룹들은 하이라이크 시퀀스를 형성하도록 결합되고 하드 디스크 드라이브(230)상의 하이라이트로서 식별된다(즉, 마킹된다). 예시적인 실시예에서, 오디오 프로세서(270)는 전체 프로그램에 대해 최대값의 절반(즉, 스포츠 프로그램에 대해 근사적으로 2 내지 3시간)인 임계값을 이용할 수 있다. 대안의 실시예에서, 오디오 프로세서(270)는, 비디오 프로그램의 10분 또는 15분과 같은, 프로그램의 연장된 부분에 대해 최대값의 절반인 임계값을 이용할 수 있다.
본 발명은 또한, 토크쇼로부터 하이라이트들(즉, 조크들)을 추출하는 것과 같은, 비-스포츠 이벤트들과 연결되어 이용될 수 있다. 조크들 또는 다른 하이라이 크들을 검출하기 위해, 오디오 프로세서(270)는 토크쇼로부터 "최상의" 조크들을 찾기위해 위에서 윤곽이 잡혀진 오디오-기반 알고리즘의 변화를 이용할 수 있다. 예를들어, 오디오 프로세서(270)는 스튜디오 환경에서 기록된 낮은 볼륨의 웃음소리 효과들을 검출하도록, 정규화된 자극 레벨 NX(A)를 이용할 수 있으며, 여기서 NX(A)=AVG(ABS(A))/MAX(ABS(A))이고, ABS는 절대값 함수이다. 오디오 프로세서 (270)는 모든 1초길이의 오버랩핑하지 않은 윈도우에 대해서 이 값을 다시 계산할 수 있고, 가장 높은 값들을 후보자들로서 고를 수 있다. 제 2 패스에서, 오디오 프로세서(270)는, 프로그램 세그먼트들의 바로 시작 부분 또는 끝부분에서, 상업광고들동안 일어나는 피크들 및 고립된 피크들을 제거할 수 있다.
도 3은 본 발명의 일실시예에 따라 하드 디스크 드라이브(230)상에 저장된 예시적인 비디오 프로그램(300)을 예시한다. 비디오 프로그램(300)에서 예시적인 하이라이트들은 비디오 재생 장치(150)에 의한 스캔 모드에서의 후속 재생을 위해 오디오 프로세서(270)에 의해 식별되고 라벨이 붙여졌다. 비디오 프로그램(300)은 복수의 순차적인 1초 세그먼트들(S0 내지 Sn)을 포함한다. 2개의 예시적인 키워드들(KW1 및 KW2)의 위치들이 표시된다. (KW1)은, 세그먼트들(S256 및 S258)의 경계에서, 비디오 프로그램(300)으로 근사적으로 4분 16초(즉, 256초)에서 발생한다. (KW2)는, 세그먼트들(S918 및 S919)의 경계에서, 비디오 프로그램(300)으로 근사적으로 15분 18초에서 발생한다.
(KW1) 및 (KW2) 주위의 오디오 에너지 레벨이 상기에 서술된 미리 정해진 임계값 레벨들을 초과한다는 오디오 프로세서(270)의 결정의 결과로서, 오디오 프로 세서 (270)는 식별된 세그먼트들(S252 및 S261)을 하이라이트(하이라이트1로 라벨이 붙음)로서 식별하였고, 식별된 세그먼트들(S914 및 S923)을 하이라이트(하이라이트2로 라벨이 붙음) 로서 식별하였다. 스캔 모드동안, 비디오 재생 장치(150)는 하이라이트1(세그먼트 S0에서의 시작부분보다는)으로 직접 건너뛰고(또는 빨리 감고), 정상 속도에서 하이라이트1(즉, S252 내지 S261)을 재생한다. 하이라이트1이 재생된 후에, 비디오 재생 장치(150)는 하이라이트1과 하이라이트2사이의 세그먼트들 (S262 내지 S913)을 건너뛰고(또는 빨리 감고), 정상 속도에서 하이라이트2(즉, S914 내지 S923)를 재생한다.
예시적인 비디오 프로그램(300)에서, 하이라이트들 1과 2(즉, 10초)의 길이들은 단지 예시에 의한 것이다. 대안의 실시예들에서, 오디오 프로세서(270)는 예시적인 10초 하이라이트들보다 크거나 작은 키워드들과 연관된 하이라이트들을 식별할 수 있다. 예를들어, 오디오 프로세서(270)는 20 초, 30초 길이 또는, 이용자가 정의한 길이인 하이라이트들을 식별할 수 있다. 부가적으로, 키워드가 하이라이트의 중심에 위치된다는 요구조건이 없다. 예를들어, 오디오 프로세서(270)는 높은 오디오 신호 에너지 레벨의 주기동안 일어나는 키워드에 선행하는 20초와 상기 키워드에 뒤따르는 10초로서 30초의 하이라이트를 식별할 수 있다.
마지막으로, 오디오 프로세서(270)에 의해 식별된 하이라이트의 길이는 키워드를 둘러싸는 높은 오디오 신호 에너지 레벨의 주기의 길이와 동일하다는 요구조건이 없다. 상기 서술에서, 오디오 프로세서(270)는, 평균 오디오 자극 레벨이 미리 정해진 임계값 레벨을 초과한, 키워드의 발생과 일치하는 5초 윈도우를 찾았다. 그러나, 일단 오디오 프로세서(270)가 그와같은 5초 윈도우를 검출하고, 하이라이트가 존재한다는 것을 결정한다면, 오디오 프로세서(270)는 키워드에 선행하는 20초와 키워드에 뒤따르는 10초로서 하이라이트를 정의할 수 있다. 이런 방식으로, 비디오 재생 장치(150)는 중요한 이벤트의 발생으로 유도하는 상대적으로 낮은 오디오 자극의 주기를 재생할 수 있다.
도 4는 흐름도를 도시하며, 이것은 본 발명의 일실시예에 따른 예시적인 비디오 재생 장치(150)의 동작을 도시한다. 비디오 하이라이트들을 발생시키고 시청하는 프로세스는 비디오 재생 장치(150)가 하드디스크 드라이브(230)상으로 비디오 프로그램을 기록할 때 시작된다(프로세스 단계 405). 비디오 재생 장치(150)는 프로그래밍된 시간에 또는 원격 제어를 동작시키는 시청자에 의한 수동 RECORD(기록) 명령에 응답하여 비디오 프로그램을 기록할 수 있다. 다음으로, 오디오 프로세서 (270)는 기록된 비디오 프로그램의 오디오 트랙에서 키워드들을 검출한다. 키워드들은 음성 인식 프로그램(282)에 의해 검출된 단어들을 키워드 라이브러리(284)에 저장된 키워드들과 비교하거나 또는 클로즈드 캡션(CC) 검출기(260)로부터 수신된 텍스트를 키워드 라이브러리(284)에 저장된 키워드들과 비교함으로써 검출될 수 있다. 오디오 프로세서(270)는 비디오 프로그램의 기록중에(즉, 실시간으로) 키워드들을 검출할 수 있거나 또는 비디오 프로그램이 검출된 후에(즉, 오프-라인) 키워드들을 검출할 수 있다(프로세스 단계 410).
키워드들이 발생하는 각 위치에서, 오디오 프로세서(270)는, 이전에 서술된 바와같이, 각 키워드의 위치주위에 배치된 가변크기의 원도우내의 오디오 신호들의 에너지를 미리 정해진 임계값과 비교한다(프로세스 단계 415). 윈도우내의 오디오 신호 에너지 레벨들이 임계값을 초과한다면, 오디오 프로세서(270)는 키워드 위치를 비디오 프로그램 하이라이트로서 식별한다(프로세스 단계 420). 키워드 위치를 하이라이트로서 식별하도록, 오디오 프로세서(270)는 검출가능한 마커들(markers)(또는 플래그들(flags))을 비디오 프로그램내의 각 하이라이트의 시작 포인트와 종료 포인트에서 삽입할 수 있다. 기록된 비디오 프로그램이 디스크 드라이브상에 저장된다면, 오디오 프로세서는 비디오 프로그램과 연관된 데이터 파일에서 각 하이라이트의 시작 포인트 어드레스 및 종료 포인트 어드레스를 저장함으로써 각 하이라이트의 위치를 식별할 수 있다. 상기에 언급된 바와같이, 검출된 키워드의 위치에 대한 하이라이트의 위치와 길이는 가변일 수 있다. 유리한 실시예에서, 하이라이트의 길이와 위치는 VR 제어기(250)에 의해 제어된 TV(105)상의 그래픽 이용자 인터페이스를 통해 이용장 의해 변화될 수 있다. 마지막으로, 스캔 모드동안에, 비디오 재생 장치(150)는 TV상의 재생을 위해 하드 디스크 드라이브(230)로부터 비디오 프로그램 하이라이트들만을 검색한다(프로세스 단계 425).
본 발명이 상세히 서술되었지만, 그 분야에 숙련된 자들은 가장 넓은 형태에서 본 발명의 사상과 범위로부터 벗어나지 않고서 본 명세서에서 다양한 변화들, 대치들 및, 변경들을 이룰 수 있다는 것을 이해해야 한다.

Claims (19)

  1. 비디오 재생 장치(150)내 저장 매체(230)상에 기록된 비디오 프로그램을 재생할 수 있는 상기 비디오 재생 장치(150)에서 이용하기 위한 장치에 있어서,
    상기 비디오 재생 장치(150)에서 이용하기 위한 장치는 상기 비디오 프로그램에서 프로그램 하이라이트들을 검출하고,
    상기 비디오 프로그램의 오디오 트랙에서 선택된 키워드의 위치를 검출할 수 있는 키워드 검출 회로(260, 280); 및
    상기 선택된 키워드의 상기 검출된 위치에 관련된 상기 오디오 트랙의 오디오 신호 에너지 레벨을 결정할 수 있고, 상기 오디오 신호 에너지 레벨을 미리 정해진 임계값과 비교할 수 있는 오디오 신호 에너지 레벨 검출 회로를 포함하는, 비디오 재생 장치(150)에서 이용하기 위한 장치.
  2. 제 1 항에 있어서,
    상기 오디오 신호 에너지 레벨 검출 회로는, 상기 오디오 신호 에너지 레벨이 상기 미리 정해진 임계값을 초과한다는 결정에 응답하여, 상기 선택된 키워드의 상기 검출된 위치를 프로그램 하이라이트로서 식별하는, 비디오 재생 장치(150)에서 이용하기 위한 장치.
  3. 제 2 항에 있어서,
    상기 키워드 검출 회로(260, 280)는, 상기 비디오 프로그램에서 클로즈드 캡션 텍스트(closed caption text)를 캡처할 수 있는 클로즈드 캡션 검출기(260)와, 상기 캡처된 클로즈드 캡션 텍스트에서 키워드들을 검출하는 오디오 프로세서(270)를 포함하는, 비디오 재생 장치(150)에서 이용하기 위한 장치.
  4. 제 3 항에 있어서,
    상기 오디오 프로세서(270)는 상기 오디오 프로세서(270)와 연관된 메모리에 저장된 복수의 키워드들과 상기 캡처된 클로즈드 캡션 텍스트를 비교함으로써 상기 캡처된 클로즈드 캡션 텍스트에서 상기 키워드들을 검출하는, 비디오 재생 장치(150)에서 이용하기 위한 장치.
  5. 제 2 항에 있어서,
    상기 키워드 검출 회로(260, 280)는 상기 오디오 트랙에서 검출된 발성된 단어들을 텍스트 단어들로 변환하는 음성 인식 애플리케이션 프로그램을 실행할 수 있는 오디오 프로세서(270)를 포함하고, 상기 오디오 프로세서(270)는 또한 상기 변환된 텍스트 단어들에서 키워드들을 검출할 수 있는, 비디오 재생 장치(150)에서 이용하기 위한 장치.
  6. 제 5 항에 있어서,
    상기 오디오 프로세서(270)는 상기 오디오 프로세서(270)와 연관된 메모리에 저장된 복수의 키워드들과 상기 변환된 텍스트 단어들을 비교함으로써 상기 변환된 텍스트 단어들에서 상기 키워드들을 검출하는, 비디오 재생 장치(150)에서 이용하기 위한 장치.
  7. 제 2 항에 있어서,
    상기 오디오 신호 에너지 레벨 검출 회로는 상기 선택된 키워드의 상기 검출된 위치에 관련된 윈도우에서 평균 오디오 신호 에너지 레벨을 결정함으로써 상기 오디오 트랙의 상기 오디오 신호 에너지 레벨을 결정하는, 비디오 재생 장치(150)에서 이용하기 위한 장치.
  8. 제 2 항에 있어서,
    상기 오디오 신호 에너지 레벨 검출 회로는, 상기 선택된 키워드의 상기 검출된 위치에 선행하는 상기 프로그램 하이라이트의 시작 포인트를 결정하고, 상기 선택된 키워드의 상기 검출된 위치에 뒤따르는 상기 프로그램 하이라이트의 정지 포인트를 결정함으로써 상기 선택된 키워드의 상기 검출된 위치를 프로그램 하이라이트로서 식별하는, 비디오 재생 장치(150)에서 이용하기 위한 장치.
  9. 비디오 장치(150)에 있어서,
    복수의 비디오 프로그램들을 저장할 수 있는 저장 장치(230);
    인입하는 비디오 프로그램을 수신할 수 있고, 상기 저장 장치에 상기 인입하는 비디오 프로그램을 저장할 수 있는 비디오 기록 회로(220); 및
    비디오 재생 장치를 포함하고,
    상기 비디오 재생 장치는:
    상기 비디오 프로그램의 오디오 트랙에서 선택된 키워드의 위치를 검출할 수 있는 키워드 검출 회로(260, 280); 및
    상기 선택된 키워드의 상기 검출된 위치에 관련된 상기 오디오 트랙의 오디오 신호 에너지 레벨을 결정할 수 있고, 상기 오디오 신호 에너지 레벨을 미리 정해진 임계값과 비교할 수 있는 오디오 신호 에너지 레벨 검출 회로를 포함하는 장치를 더 포함하는, 비디오 장치(150).
  10. 비디오 재생 장치(150)내 저장 매체(230)상에 기록된 비디오 프로그램을 재생할 수 있는 상기 비디오 재생 장치(150)에서 이용하기 위한 방법에 있어서,
    상기 비디오 재생 장치(150)에서 이용하기 위한 방법은 상기 비디오 프로그램에서 프로그램 하이라이트들을 검출하고,
    상기 비디오 프로그램의 오디오 트랙에서 선택된 키워드의 위치를 검출하는 단계;
    상기 선택된 키워드의 검출된 위치에 연관된 상기 오디오 트랙의 오디오 신호 에너지 레벨을 결정하는 단계; 및
    상기 오디오 신호 에너지 레벨을 미리 정해진 임계값과 비교하는 단계를 포함하는, 비디오 재생 장치(150)에서 이용하기 위한 방법.
  11. 제 10 항에 있어서,
    상기 오디오 신호 에너지 레벨이 상기 미리 정해진 임계값을 초과하는지를 결정하는 단계; 및
    상기 오디오 신호 에너지 레벨이 상기 미리 정해진 임계값을 초과한다는 결정에 응답하여, 상기 선택된 키워드의 검출된 위치를 프로그램 하이라이트로서 식별하는 단계를 더 포함하는, 비디오 재생 장치(150)에서 이용하기 위한 방법.
  12. 제 11 항에 있어서,
    키워드의 위치를 검출하는 상기 단계는,
    클로즈드 캡션 텍스트를 상기 비디오 프로그램에서 캡처하는 서브단계; 및
    상기 캡처된 클로즈드 캡션 텍스트에서 키워드들을 검출하는 서브단계를 포함하는, 비디오 재생 장치(150)에서 이용하기 위한 방법.
  13. 제 12 항에 있어서,
    상기 캡처된 클로즈드 캡션 텍스트에서 키워드들을 검출하는 단계는, 상기 비디오 재생 장치(150)와 연관된 키워드 라이브러리에 저장된 복수의 키워드들과 상기 캡처된 클로즈드 캡션 텍스트를 비교하는 서브단계를 포함하는, 비디오 재생 장치(150)에서 이용하기 위한 방법.
  14. 제 13 항에 있어서,
    키워드의 위치를 검출하는 단계는,
    상기 오디오 트랙에서 검출된 발성된 단어들을 텍스트 단어들로 변환하는 음성 인식 애플리케이션 프로그램을 실행하는 서브단계; 및
    상기 변환된 텍스트 단어들에서 키워드들을 검출하는 서브단계를 포함하는, 비디오 재생 장치(150)에서 이용하기 위한 방법.
  15. 제 14 항에 있어서,
    상기 변환된 텍스트 단어들에서 키워드들을 검출하는 단계는, 상기 비디오 재생 장치(150)와 연관된 키워드 라이브러리에 저장된 복수의 키워드들과 상기 변환된 텍스트 단어들을 비교하는 서브단계를 포함하는, 비디오 재생 장치(150)에서 이용하기 위한 방법.
  16. 제 11 항에 있어서,
    상기 오디오 신호 에너지 레벨을 결정하는 단계는, 상기 선택된 키워드의 검출된 위치에 연관된 윈도우에서 평균 오디오 신호 에너지 레벨을 결정하는 서브단계를 포함하는, 비디오 재생 장치(150)에서 이용하기 위한 방법.
  17. 비디오 재생 장치(150)내 저장 매체(230)상에 기록된 비디오 프로그램을 재생할 수 있는 상기 비디오 재생 장치(150)에서 이용하기 위한 장치에 있어서,
    상기 비디오 재생 장치(150)에서 이용하기 위한 장치는 상기 비디오 프로그램에서 프로그램 하이라이트들을 검출하고,
    상기 비디오 프로그램의 오디오 트랙의 N개의 연속적인 세그먼트들의 오디오 신호 에너지 레벨을 결정할 수 있고, 상기 오디오 신호 에너지 레벨을 미리 정해진 임계값과 비교할 수 있는, 오디오 신호 에너지 레벨 검출 회로를 포함하는, 비디오 재생 장치(150)에서 이용하기 위한 장치.
  18. 제 17 항에 있어서,
    상기 오디오 신호 에너지 레벨 검출 회로는, 상기 오디오 신호 에너지 레벨이 상기 미리 정해진 임계값을 초과한다는 결정에 응답하여, 상기 N개의 연속적인 세그먼트들을 프로그램 하이라이트로서 식별하는, 비디오 재생 장치(150)에서 이용하기 위한 장치.
  19. 제 18 항에 있어서,
    상기 오디오 신호 에너지 레벨 검출 회로는 상기 N개의 연속적인 세그먼트들의 평균 오디오 신호 에너지 레벨을 결정함으로써 상기 오디오 트랙의 상기 오디오 신호 에너지 레벨을 결정하는, 비디오 재생 장치(150)에서 이용하기 위한 장치.
KR1020027008464A 2000-10-30 2001-10-16 오디오 성질들을 이용하여 비디오 프로그램에서하이라이트들을 검출하는 시스템 및 방법 KR100833807B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/699,605 US6973256B1 (en) 2000-10-30 2000-10-30 System and method for detecting highlights in a video program using audio properties
US09/699,605 2000-10-30

Publications (2)

Publication Number Publication Date
KR20020067581A KR20020067581A (ko) 2002-08-22
KR100833807B1 true KR100833807B1 (ko) 2008-05-30

Family

ID=24810056

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027008464A KR100833807B1 (ko) 2000-10-30 2001-10-16 오디오 성질들을 이용하여 비디오 프로그램에서하이라이트들을 검출하는 시스템 및 방법

Country Status (6)

Country Link
US (1) US6973256B1 (ko)
EP (1) EP1332497A2 (ko)
JP (1) JP2004513547A (ko)
KR (1) KR100833807B1 (ko)
CN (1) CN100364008C (ko)
WO (1) WO2002037498A2 (ko)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233389B1 (en) 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
US7558472B2 (en) 2000-08-22 2009-07-07 Tivo Inc. Multimedia signal processing system
CN100379273C (zh) 1999-09-20 2008-04-02 提维股份有限公司 闭式字幕添加标签的系统
US7266287B2 (en) * 2001-12-14 2007-09-04 Hewlett-Packard Development Company, L.P. Using background audio change detection for segmenting video
US7386217B2 (en) * 2001-12-14 2008-06-10 Hewlett-Packard Development Company, L.P. Indexing video by detecting speech and music in audio
FR2842014B1 (fr) * 2002-07-08 2006-05-05 Lyon Ecole Centrale Procede et appareil pour affecter une classe sonore a un signal sonore
US7483624B2 (en) * 2002-08-30 2009-01-27 Hewlett-Packard Development Company, L.P. System and method for indexing a video sequence
US7783486B2 (en) * 2002-11-22 2010-08-24 Roy Jonathan Rosser Response generator for mimicking human-computer natural language conversation
US20040167767A1 (en) * 2003-02-25 2004-08-26 Ziyou Xiong Method and system for extracting sports highlights from audio signals
US8959567B1 (en) * 2003-08-15 2015-02-17 Verizon Patent And Licensing Inc. Identification and recording of program sub-segments
US20080193016A1 (en) * 2004-02-06 2008-08-14 Agency For Science, Technology And Research Automatic Video Event Detection and Indexing
US7505671B2 (en) * 2004-02-25 2009-03-17 Casio Computer Co., Ltd. Recording/reproduction apparatus, system and program which reproduces a section of a recorded program based on a keyword relating to the section and a reproduction speed corresponding to the keyword
CA2588630C (en) 2004-11-19 2013-08-20 Tivo Inc. Method and apparatus for secure transfer of previously broadcasted content
US9210368B2 (en) * 2004-12-28 2015-12-08 Google Technology Holdings LLC Digital video recorder for automatically recording an upcoming program that is being advertised
CN100426847C (zh) * 2005-08-02 2008-10-15 智辉研发股份有限公司 以语音特征为基础的精采片段检测电路及其相关方法
JP4683281B2 (ja) * 2005-08-23 2011-05-18 ソニー株式会社 再生システム、再生装置、再生方法、情報処理装置、情報処理方法、およびプログラム
US7584428B2 (en) * 2006-02-09 2009-09-01 Mavs Lab. Inc. Apparatus and method for detecting highlights of media stream
JP4662208B2 (ja) * 2006-03-30 2011-03-30 株式会社デンソー 移動体用放送受信装置
TW200742431A (en) * 2006-04-21 2007-11-01 Benq Corp Playback apparatus, playback method and computer-readable medium
US8151291B2 (en) * 2006-06-15 2012-04-03 The Nielsen Company (Us), Llc Methods and apparatus to meter content exposure using closed caption information
US7873982B2 (en) 2006-06-22 2011-01-18 Tivo Inc. Method and apparatus for creating and viewing customized multimedia segments
US7661121B2 (en) * 2006-06-22 2010-02-09 Tivo, Inc. In-band data recognition and synchronization system
US8457768B2 (en) * 2007-06-04 2013-06-04 International Business Machines Corporation Crowd noise analysis
JP2009027430A (ja) * 2007-07-19 2009-02-05 Canon Inc 動画再生装置
KR101370904B1 (ko) * 2007-08-17 2014-03-10 엘지전자 주식회사 영상물의 녹화 방법 및 그 방법을 채용한 방송 수신기
US8659657B2 (en) * 2008-01-25 2014-02-25 International Business Machines Corporation System and method for pattern based thresholding applied to video surveillance monitoring
US8805689B2 (en) 2008-04-11 2014-08-12 The Nielsen Company (Us), Llc Methods and apparatus to generate and use content-aware watermarks
US8707342B2 (en) * 2008-06-19 2014-04-22 Microsoft Corporation Referencing data in triggers from applications
US20090320061A1 (en) * 2008-06-19 2009-12-24 Microsoft Corporation Advertising Based on Keywords in Media Content
US20090320064A1 (en) * 2008-06-19 2009-12-24 Microsoft Corporation Triggers for Media Content Firing Other Triggers
JP2010011038A (ja) * 2008-06-26 2010-01-14 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP5528008B2 (ja) * 2008-07-17 2014-06-25 キヤノン株式会社 再生装置及び再生方法
KR101628237B1 (ko) * 2009-01-21 2016-06-22 삼성전자주식회사 하이라이트 영상 구성 방법 및 장치
US20110066437A1 (en) * 2009-01-26 2011-03-17 Robert Luff Methods and apparatus to monitor media exposure using content-aware watermarks
US20100194988A1 (en) * 2009-02-05 2010-08-05 Texas Instruments Incorporated Method and Apparatus for Enhancing Highlight Detection
KR101264070B1 (ko) * 2009-03-25 2013-05-13 후지쯔 가부시끼가이샤 재생 제어 프로그램을 기록한 컴퓨터 판독 가능한 매체, 재생 제어 방법 및 재생 장치
US8438596B2 (en) 2009-04-08 2013-05-07 Tivo Inc. Automatic contact information transmission system
WO2010140355A1 (ja) * 2009-06-04 2010-12-09 パナソニック株式会社 音響信号処理装置および方法
CN102073635B (zh) * 2009-10-30 2015-08-26 索尼株式会社 节目端点时间检测装置和方法以及节目信息检索系统
CN102073636A (zh) * 2009-10-30 2011-05-25 索尼株式会社 节目高潮检索方法和系统
TW201122863A (en) * 2009-12-31 2011-07-01 Hon Hai Prec Ind Co Ltd Video search device, search system, and search method
KR101086810B1 (ko) 2010-02-02 2011-11-25 인하대학교 산학협력단 자막이 입혀진 동영상을 검출하기 위한 장치 및 방법
US8606090B2 (en) 2011-03-17 2013-12-10 Sony Corporation Sport program chaptering
CN102724598A (zh) * 2011-12-05 2012-10-10 新奥特（北京）视频技术有限公司 一种拆分新闻条目的方法
KR20130071873A (ko) * 2011-12-21 2013-07-01 삼성전자주식회사 컨텐츠재생장치 및 그 제어방법
KR20150021258A (ko) * 2013-08-20 2015-03-02 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9693030B2 (en) 2013-09-09 2017-06-27 Arris Enterprises Llc Generating alerts based upon detector outputs
BR112016006860B8 (pt) 2013-09-13 2023-01-10 Arris Entpr Inc Aparelho e método para criar um único fluxo de dados de informações combinadas para renderização em um dispositivo de computação do cliente
US9924148B2 (en) * 2014-02-13 2018-03-20 Echostar Technologies L.L.C. Highlight program
CN105407382A (zh) * 2014-09-15 2016-03-16 扬智科技股份有限公司 车辆间的无线通信方法、多媒体快播方法与缓存方法
KR101994291B1 (ko) * 2014-10-14 2019-06-28 한화테크윈 주식회사 통합써머리를 제공하는 영상재생장치 및 방법
KR102306538B1 (ko) 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
US9824279B2 (en) * 2015-03-24 2017-11-21 Facebook, Inc. Systems and methods for providing playback of selected video segments
CN105047203B (zh) * 2015-05-25 2019-09-10 广州酷狗计算机科技有限公司 一种音频处理方法、装置及终端
CN105120195B (zh) * 2015-09-18 2019-04-26 谷鸿林 内容录制、再现系统和方法
US10575036B2 (en) 2016-03-02 2020-02-25 Google Llc Providing an indication of highlights in a video content item
CN106571137A (zh) * 2016-10-28 2017-04-19 努比亚技术有限公司 一种终端语音打点控制装置及其方法
CN106603381B (zh) * 2016-11-24 2020-06-02 北京小米移动软件有限公司 处理聊天信息的方法及装置
CN107154264A (zh) * 2017-05-18 2017-09-12 北京大生在线科技有限公司 在线教学精彩片段提取的方法
CN108093124B (zh) * 2017-11-15 2021-01-08 维沃移动通信有限公司 一种音频定位方法、装置及移动终端
CN108521612B (zh) * 2018-04-25 2021-02-09 腾讯科技（深圳）有限公司 视频摘要的生成方法、装置、服务器及存储介质
KR102153201B1 (ko) 2018-12-19 2020-09-07 서울과학기술대학교 산학협력단 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
KR102153211B1 (ko) 2019-01-11 2020-09-07 서울과학기술대학교 산학협력단 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치 및 방법
US11308273B2 (en) * 2019-05-14 2022-04-19 International Business Machines Corporation Prescan device activation prevention
CN111131844A (zh) * 2019-12-02 2020-05-08 钛马信息网络技术有限公司 一种行车记录仪的资源共享方法及系统
CN114822512B (zh) * 2022-06-29 2022-09-02 腾讯科技（深圳）有限公司 音频数据的处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10136297A (ja) 1996-10-01 1998-05-22 Matsushita Electric Ind Co Ltd デジタルビデオデータから索引付け情報を抽出する方法と装置
JPH1155613A (ja) 1997-07-30 1999-02-26 Hitachi Ltd 記録および／または再生装置およびこれに用いられる記録媒体
JPH11224266A (ja) 1997-11-10 1999-08-17 Nippon Telegr & Teleph Corp <Ntt> 電子映像文書作成利用方法及びプログラム格納媒体
JP2000250944A (ja) * 1998-12-28 2000-09-14 Toshiba Corp 情報提供方法、情報提供装置、情報受信装置、並びに情報記述方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136655A (en) 1990-03-26 1992-08-04 Hewlett-Pacard Company Method and apparatus for indexing and retrieving audio-video data
US5481296A (en) * 1993-08-06 1996-01-02 International Business Machines Corporation Apparatus and method for selectively viewing video information
US5664227A (en) 1994-10-14 1997-09-02 Carnegie Mellon University System and method for skimming digital audio/video data
US5794249A (en) 1995-12-21 1998-08-11 Hewlett-Packard Company Audio/video retrieval system that uses keyword indexing of digital recordings to display a list of the recorded text files, keywords and time stamps associated with the system
JPH09284707A (ja) * 1996-04-12 1997-10-31 Sony Corp 記録装置
KR100206804B1 (ko) * 1996-08-29 1999-07-01 구자홍 하일라이트 부분 자동 선택 녹화 방법
EP1450306A3 (en) 1996-10-31 2009-07-15 Sensormatic Electronics Corporation Intelligent video information management system
GB9705999D0 (en) * 1997-03-22 1997-05-07 Philips Electronics Nv Video signal analysis and storage
US6163510A (en) * 1998-06-30 2000-12-19 International Business Machines Corporation Multimedia search and indexing system and method of operation using audio cues with signal thresholds
EP0984367B1 (en) 1998-09-03 2003-05-14 Ricoh Company, Ltd. Recording media with video, respectively audio index information, information management and retrieval methods for video, respectively audio information and a video retrieval system
US6236395B1 (en) * 1999-02-01 2001-05-22 Sharp Laboratories Of America, Inc. Audiovisual information management system
US6332120B1 (en) * 1999-04-20 2001-12-18 Solana Technology Development Corporation Broadcast speech recognition system for keyword monitoring

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10136297A (ja) 1996-10-01 1998-05-22 Matsushita Electric Ind Co Ltd デジタルビデオデータから索引付け情報を抽出する方法と装置
JPH1155613A (ja) 1997-07-30 1999-02-26 Hitachi Ltd 記録および／または再生装置およびこれに用いられる記録媒体
JPH11224266A (ja) 1997-11-10 1999-08-17 Nippon Telegr & Teleph Corp <Ntt> 電子映像文書作成利用方法及びプログラム格納媒体
JP2000250944A (ja) * 1998-12-28 2000-09-14 Toshiba Corp 情報提供方法、情報提供装置、情報受信装置、並びに情報記述方法

Also Published As

Publication number Publication date
KR20020067581A (ko) 2002-08-22
CN1404609A (zh) 2003-03-19
JP2004513547A (ja) 2004-04-30
WO2002037498A3 (en) 2002-08-22
EP1332497A2 (en) 2003-08-06
CN100364008C (zh) 2008-01-23
US6973256B1 (en) 2005-12-06
WO2002037498A2 (en) 2002-05-10

Similar Documents

Publication Publication Date Title
KR100833807B1 (ko) 오디오 성질들을 이용하여 비디오 프로그램에서하이라이트들을 검출하는 시스템 및 방법
JP4317127B2 (ja) 音楽ビデオを索引化して要約するシステム及び方法
US7046911B2 (en) System and method for reduced playback of recorded video based on video segment priority
US6819863B2 (en) System and method for locating program boundaries and commercial boundaries using audio categories
US7136571B1 (en) System and method for fast playback of video with selected audio
KR100865042B1 (ko) 비디오 프로그램의 멀티미디어 설명 데이터를 생성하는 시스템 및 방법, 비디오 디스플레이 시스템, 및 컴퓨터 판독 가능 기록 매체
JP2004516752A (ja) 映像番組のマルチメディア要約にアクセスするシステム及び方法
JP2004511972A (ja) クローズドキャプションテキストと共にビデオを再生するシステム及び方法
US20050100314A1 (en) Method of recording and reproducing video and audio stream
JP2001320674A (ja) 映像記録再生方法、及び映像記録再生装置
KR20020062752A (ko) 오디오의 피치 왜곡 없는 사전-기록된 비디오의 가변 속도재생을 위한 비디오 재생 장치
JP2002133837A (ja) 録画シーン検索方法および記録再生装置
JPH05347085A (ja) 磁気記録再生装置
KR20060018737A (ko) 복합 영상 기기에서의 더빙 기록 제어장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee