KR101083100B1 - 디지털 비디오 스트림 내의 컨텐트 아이템 검출 - Google Patents

디지털 비디오 스트림 내의 컨텐트 아이템 검출 Download PDF

Info

Publication number
KR101083100B1
KR101083100B1 KR1020067001170A KR20067001170A KR101083100B1 KR 101083100 B1 KR101083100 B1 KR 101083100B1 KR 1020067001170 A KR1020067001170 A KR 1020067001170A KR 20067001170 A KR20067001170 A KR 20067001170A KR 101083100 B1 KR101083100 B1 KR 101083100B1
Authority
KR
South Korea
Prior art keywords
content item
video stream
bit rate
boundary
detecting
Prior art date
Application number
KR1020067001170A
Other languages
English (en)
Other versions
KR20060037371A (ko
Inventor
마우로 바르비에리
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060037371A publication Critical patent/KR20060037371A/ko
Application granted granted Critical
Publication of KR101083100B1 publication Critical patent/KR101083100B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • H04N21/44055—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption by partially decrypting, e.g. decrypting a video stream that has been partially encrypted

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 디지털 비디오 스트림 내의 컨텐트 아이템의 경계를 검출하는 방법에 관한 것이다. 상기 방법은 일정 기간(period of time) 동안의 비디오 스트림의 평균 비트율을 결정하는 단계(130)와, 컨텐트 아이템의 경계를 나타내는 평균 비트율의 변화를 검출하는 단계(140)를 포함한다. 비트율의 이동 평균이 결정될 수 있다. 상기 방법은 암호화된 디지털 비디오 스트림에 사용될 수 있다. 본 발명은 또한 디지털 비디오 스트림 내의 컨텐트 아이템의 경계를 검출하는 장치에 관한 것이다. 본 발명은 또한 디지털 방송 비디오 스트림 내의 적어도 하나의 컨텐트 아이템을 수신하는 수신기와, 적어도 하나의 TV 프로그램을 레코딩하는 비디오 레코더에 관한 것이다.
컨텐트 아이템, 경계, 평균 비트율

Description

디지털 비디오 스트림 내의 컨텐트 아이템 검출{Detecting a content item in a digital video stream}
본 발명은 디지털 비디오 스트림 내의 컨텐트 아이템의 경계(boundary)를 검출하는 방법에 관한 것이다. 본 발명은 또한 디지털 비디오 스트림 내의 컨텐트 아이템의 경계를 검출하는 장치에 관한 것이다. 본 발명은 또한 디지털 방송 비디오 스트림 내의 적어도 하나의 컨텐트 아이템을 수신하는 수신기와, 적어도 하나의 TV 프로그램을 레코딩하기 위한 비디오 레코더에 관한 것이다.
US 특허 2002/0186768은 예컨대, MPEG 인코더에 의한 비디오 압축 처리시에 획득되는 데이터에 기초하는 컨텐트 검출의 방법을 기술한다. MPEG 인코더는 TV 방송국, 인터넷 등과 같은 것으로부터의 비디오 데이터를 인코딩한다. MPEG 인코더는 예컨대, 시각적으로 복잡한 화상들이나 빠른 움직임을 포함하는 화상들을 나타내는 것과 같이, 비디오 내에 있는 빠르게 변하거나 매우 복잡한 장면들을 나타내기 위해, 일정한 값(quantizer value)과 결합된 현재 비트율 값과 같은 데이터를 발생시킨다. 상기 인코딩 비트율은 하나의 비디오를 인코딩하기 위해 요구되는 비트들의 양을 측정하고, 그것은 일반적으로 빠르게 움직이는 화상화상 시각적으로 복잡한 장면들에 대해서는 증가한다.
그러나, 인코딩 비트율은, 예를 들면, 비디오가 빠른 움직임을 포함하는 동영상으로부터 발생했는지, 아니면 빠르게 움직이는 장면들을 갖는 광고로부터 발생했는지를, 신뢰할 수 있게 나타낼 수 없다. 알려져 있는 방법은 인코딩 비트율을 사용하여 컨텐트 아이템의 경계를 신뢰할 수 있게 나타낼 수 없다. 또한, US 2002/0186768로부터 알려진 방법은 MPEG 인코더가 사용가능할 때에만 사용될 수 있다.
이미지 처리에 대한 국제 학술회의(International Conference on Image Processing; ICIP)의 기록에 공개된 지앙 펭(Jiang Feng) 등의 논문 "MPEG 비디오 시퀀스용 장면 변화 검출 알고리즘(Scene Change Detection Algorithm for MPEG Video Sequence)"(1996년 9월 16-19일, 로잔, 뉴욕 IEEE, p821-824)는 2개의 연속한 P-프레임들의 비트율이 크게 증가했는지 여부를 확인함으로써 장면 변화를 검출하는 것을 개시한다.
본 발명의 목적은 알려져 있는 방법의 결점들을 제거하고, 보다 신뢰할 수 있고, MPEG 인코더 없이도 사용될 수 있는, 디지털 비디오 스트림 내의, 프로그램 또는 광고인 컨텐트 아이템의 경계를 검출하는 방법을 제공하는 것이다.
상기 목적은, 비디오 스트림의 복수의 프레임들의 지속 기간에 대응하는 일정 기간(period of time) 동안의 비디오 스트림의 평균 비트율을 결정하는 단계와, 컨텐트 아이템의 경계를 나타내는 평균 비트율의 변화를 검출하는 단계를 포함하는 본 발명의 방법으로 실현된다.
컨텐트 아이템들은 그 품질이 다를 수 있으며, 따라서 비트율이 다를 수 있다. 예를 들면, 회사들은 일반적으로 고품질의 광고 자료를 위해 비용을 지불하기 때문에, 광고들은 보다 높은 비트율을 가질 수 있다. 방송 디지털 비디오 스트림의 경우, 예를 들면, 방송 장치들은 채널의 비트율은 일정하게 유지하지만, 컨텐트 타입에 따라 컨텐트 아이템들에 상이한 비트율을 할당한다.
비트율은 디지털 비디오 스트림 내의 컨텐트 아이템에 할당된 데이터율이다. 비트율은 디지털 스트림에 부가적인 정보로서 나타날 수 있다. 예를 들면, 디지털 비디오 방송(DVB)에서, 임의 타입의 패킷들로 형성된 비디오, 오디오, 제어 데이터를 전달하는 다수의 스트림들이 전송될 수 있다. 미리 결정된 또는 지정된 크기를 갖는 패킷들의 비디오 데이터로, 비디오 스트림의 비트율을 결정하는 것이 가능하다.
평균 비트율은, 예를 들면 간단하게는 연속하는 기간들 동안 다양한 방법들로 계산될 수 있거나, 대안적으로, 비트율 이동 평균이 결정될 수 있다. 물론, 일정 기간 동안의 비트율의 값을 계산하는 다른 방법들도 관찰될 수 있다.
컨텐트 아이템의 경계는, 예를 들면 미리 결정된 임계값을 초과하는 평균 비트율 값의 편차, 상기 값의 임의의 퍼센트를 초과하는 평균 비트율 값의 변화의 편차 등을 결정함으로써 평균 비트율의 변화를 검출하는 것에 기초하여 확인될 수 있다.
본 발명은, 평균 비트율이 종래 기술에 알려져 있는 인코딩 비트율보다 더 신뢰할 수 있고 강하다는 이점을 갖는다. 일정 기간 동안의 평균 비트율의 결정은 컨텐트 타입의 실제 변화들을 나타내지 않는 변동들을 평활하게 한다(smooth).
컨텐트 검출에 대한 알려져 있는 방법과 연관된 또 다른 문제는, 컨텐트가 암호화된 디지털 스트림인 경우에 발견된다. 종래 기술의 문서인 US2002/0186768에 알려져 있는 방법은 암호화된 디지털 스트림에 적용될 수 없다. 이 알려져 있는 방법은 스트림을 해독하고, 스트림을 압축 해제하기 위해 그것을 디코딩하며, 인코딩 비트 스트림을 계산하기 위해 스트림을 재인코딩하는 것을 요구한다. 알려져 있는 방법은 스트림 내의 화상 그룹들을 나타내는 MPEG 데이터에만 적용될 수 있고, MAD(mean absolute difference) 값에 기초한다. 이 MAD 값은 프레임들에서 비디오 블록들의 움직임을 기술하는데 사용된 벡터들의 크기들의 평균을 나타낸다. 분명히, 이 정보는 인코딩된 비디오 스트림에 이용할 수 없다.
반면, 본 발명에 따라 컨텐트 아이템의 경계를 검출하는 방법은 암호화된 디지털 비디오 스트림에 적용될 수 있다. 상기 방법은 스트림의 평균 비트율에 기초하고, 암호화된 스트림의 경우에 실질적으로 영향을 미치지 않는다.
본 발명의 방법은, 암호화된 스트림들에 대해 빨리 수행하는 이점, 즉, 어떤 해독화 없이도 암호화된 스트림들에 대해서도 또한 평균 비트율이 쉽게 계산될 수 있다는 이점을 갖는다. 게다가, 암호화된 스트림 내의 컨텐트 아이템의 경계가 검출되면, 컨텐트 아이템에 속하는 디지털 암호화된 스트림 중 일부만이 컨텐트 아이템을 레코딩하는 것과 같은 또 다른 목적들을 위해 해독될 필요가 있을 수 있지만, 상기 스트림 중 그 나머지 부분은 해독될 필요가 없다.
일 실시예에서, 본 발명의 방법은 TV 시스템의 전자 프로그램 가이드(EPG)에 적용될 수 있다. EPG에서, 적어도 하나의 컨텐트 아이템 방송의 시작 및/또는 종료를 나타내는 방송 스케쥴 데이터(EPG 데이터)는 미리, 즉, 컨텐트 아이템의 방송 전에 이용가능하다. 본 발명의 방법에 따라, 컨텐트 아이템의 경계의 검출은, EPG 데이터가 비디오 스트림 내의 각 컨텐트 아이템의 검출된 경계에 따르는지를 검증하도록 사용될 수 있다. 이것은 방송 컨텐트 아이템 레코딩의 시작 및 종료를 정확히 제어하기 위해 비디오 레코더에 이용될 수 있다.
본 발명의 목적은 또한, 디지털 비디오 스트림 내의, 프로그램 또는 광고인 컨텐트 아이템의 경계를 검출하기 위한 장치에 있어서, 비디오 스트림의 복수의 프레임들의 지속 기간에 대응하는 일정 기간 동안의 비디오 스트림의 평균 비트율을 결정하는 수단과, 컨텐트 아이템의 경계를 나타내는 평균 비트율의 변화를 검출하는 수단을 포함하는, 상기 컨텐트 아이템의 경계 검출 장치를 제공하는 방법으로 실현된다.
상기 장치는 디지털 방송 비디오 스트림 내의 적어도 하나의 컨텐트 아이템을 수신하는 수신기에 통합되거나, 비디오 스트림 내의 검출된 경계에 기초하여 TV 프로그램을 레코딩하는 수단 및 상기 수신기를 포함하는, 적어도 하나의 TV 프로그램을 레코딩하는 비디오 레코더에 통합될 수 있다.
본 발명의 상기 및 다른 양상들은 첨부 도면들을 참조하여 기술되고 보다 명료해질 것이다.
도 1은 본 발명의 방법의 실시예를 도시하는 도면.
도 2는 비디오 스트림의 계산된 평균 비트율의 예를 도시하는 다이어그램.
도 3은 컨텐트 아이템의 종료시 계산된 평균 비트율의 예를 도시하는 확대된 다이어그램.
도 4는 본 발명을 구현하는데 적합한 장치의 동작을 도시하는 다이어그램.
도 1은 디지털 비디오 스트림 내의 컨텐트 아이템의 경계를 검출하는 방법의 실시예를 도시한다. 비디오 스트림은 CD-ROM 디스크(Compact Disk Read Only Memory), DVD 디스크(Digital Versatile Disk), 마그네틱 캐리어(magnetic carrier) 등과 같은 데이터 캐리어로부터 정보를 독출함으로써 획득될 수 있다. 대안적으로, 비디오 데이터는 예컨대, 디지털 비디오 방송(DVB), VOD 시스템(video on demand systems), 인터넷 등을 사용하여, 비디오 방송국으로부터 알려진 방식으로 수신될 수 있다.
비디오 스트림의 비트율은 단계(110)에서 결정될 수 있다. 비디오 스트림은 일반적으로 패킷화되어 소위 프레임들로 유지된다. 프레임들은 헤더와 바디를 가질 수 있고, 상기 헤더는 바디에 포함된 데이터에 관한 정보를 포함할 수 있다. 헤더는 초당 전송되는 비트들의 수로서 일반적으로 표현되는 비트율에 관한 정보를 나타낼 수 있다. 예를 들면, DVB 방송을 사용하거나 DVD 디스크 트랙으로부터 획득되는, MPEG 표준에 따르는 디지털 스트림은, 복수의 패킷화된 기초 스트림들(elementary streams)을 포함할 수 있다. 기초 스트림의 패킷들은 고정된 또는 가변하는 크기를 가질 수 있다. 패킷들은 상이한 타입들을 갖고, 상이한 기초 스트림들에 속할 수 있다. 그러므로, 예컨대, 소위 전송 스트림들(transport streams) 같이, 페이로드 정보를 전달하는 기초 스트림들에 속하는 패킷들은, 필터링될 필요가 있을 수 있다. 전송 스트림의 고정된 크기의 패킷은 예를 들면, 페이로드의 184B와 헤더의 4B를 포함할 수 있다.
다른 예에서, 비디오 스트림은 디지털 비디오(DV) 표준으로 획득될 수 있다. 예를 들면, DV 패킷들은 IEEE1394 프로토콜(일반적으로 파이어와이어(FireWire)로 알려져 있음)을 통해, 예컨대, DV 캠코더나 DV 레코더와 같은 DV 장비들로부터 획득될 수 있다. DV 포맷에서, NTSC(National Television System Committee) 비디오 방법에 따르는 비디오 프레임(525라인들/프레임, 초당 30개의 비디오 프레임들)은 80B의 크기를 갖는 1500개의 DV 블록들로 구성된다. DV 장비로부터 획득된 DV/IEEE1394 패킷들은 12B의 헤더와 480B의 바디(6DV 블록들)를 갖는 포맷을 가질 수 있다. 따라서, 비디오 프레임은 250개의 DV 블록들을 포함할 수 있다. 이 정보에 기초하여, 상기 DV 장비로부터 획득된 비디오 스트림의 비트율을 결정할 수 있다. 다른 포맷들의 비디오 스트림의 비트율이 계산될 수 있다.
단계(120)에서, 비디오 스트림의 평균 비트율을 계산하기 위한 기간이 결정된다. 상기 기간은 2초 내지 5초 또는 그 이상과 같이, 몇 초의 값으로 미리 설정될 수 있다(단계(121)). 대안적으로, 상기 기간은 변할 수 있다. 예를 들면, 단계(125)에서, 예컨대, 장면 변화들과 같이 비디오 컨텐트 아이템 내의 샷 컷들(shot cuts)이 검출될 수 있고, 특정한 기간이 장면 변화들 사이의 기간과 동일할 수 있도록, 단계(126)에서, 상기 기간이 검출된 샷 컷들에 따라 조정될 수 있다. 또 다른 예에서, 검출된 장면 변화들 사이의 기간이 예컨대, 미리 설정된 최대 임계치를 초과하는 것과 같이 매우 크다면, 평균 비트율이 계산될 수 있는 보다 짧은 기간들로 분할될 수 있다. 장면 변화들은 예를 들면, 문서 EP1,006,685로부터 알려진 장면 변화 검출기를 사용함으로써 결정될 수 있다. 장면 변화 검출기는 연속하는 프레임 이미지들의 역 상관 값(inverse correlation value)을 계산한다. 상기 상관 값은 이미지들의 대응하는 화소들의 화소 값들 간의 차들의 절대값들에 기초하여 추정된다. 상기 상관 값이 미리 결정된 임계값을 초과할 때, 장면 변화가 결정된다. 종래에 알려진 빠른 움직임 검출기들이 장면 변화들을 검출하기 위해 사용될 수도 있다. 비디오 스트림이 인코딩되면, 패킷들의 헤더들의 분배를 획득하고 장면 변화들을 검출하기 위해서는, 예컨대, MPEG 스트림과 같은 비디오 스트림의 완전한 디코딩 없이, 스트림의 부분적인 디코딩만으로도 충분할 수 있다.
다음 단계(130)에서, 결정된 기간 동안의 비디오 스트림의 평균 비트율이 상이한 방식들로 추정될 수 있다. 평균 비트율은 결정된 기간 동안의 비트율의 값들을 더하여 그 합을 값들의 개수로 나눔으로써 계산될 수 있다. 다른 예에서, 예컨대, 고정된 길이의 경과된 이전 기간 동안에 계산된 평균값과 같이, 이동 평균 비트율이 계산될 수 있다. 비트율의 평균은, 예컨대 컨텐트 아이템의 실제 경계 대신 잡음으로 인한 비트율의 작은 변화들과, 컨텐트 타입의 실제 변화들을 평활하게 할 수 있다.
결정된 평균 비트율의 변화를 검출함으로써, 단계(140)에서, 컨텐트 아이템의 경계가 발견될 수 있다. 예를 들면, 임계 비트율 값은 결정된 평균 비트율과 비교되어, 임계값이 초과되면, 컨텐트 아이템의 경계가 결정될 수 있다. 임계값은 고정 또는 가변일 수 있다. 예를 들면, 임계값은, 이전 기간 또는 몇 개의 선행하는 기간들 동안 계산된 평균 비트율의 값들에 관하여 변화할 수 있는 평균 비트율의 퍼센트일 수 있다. 이 경우, 평균 비트율에 대한 임계값의 절대값은 고정되지 않는다. 다른 예에서, 연속하는 기간들 동안의 평균 비트율의 값들의 제1 도함수(derivative)는 평균 비트율의 빠른 변화를 검출하도록 추정될 수 있다.
평균 비트율을 계산하는 기간이 예컨대, 0.5초, 1초 등과 같이 수용 가능한 정확도로 컨텐트 아이템의 경계를 결정할 만큼 충분히 짧지 않을 때, 단계(150)에서, 컨텐트 아이템의 검출된 경계의 위치가 대응하는 기간 내에 결정될 수 있다. 경계의 위치는, 비디오 스트림 내의 진행하는 프레임들에 대한 비트율의 값들을 비교하고, 주어진 기간을 작은 세그먼트들로 분할하여, 컨텐트 아이템의 경계가 결정되는 시간과 각각의 연속하는 세그먼트에 대한 평균 비트율 값들과 비교함으로써, 또는 다른 방식들로 결정될 수 있다.
도 2는 디지털 방송으로부터 수신된 TV 프로그램 "의혹(Presumed Innocent)"에 대해 계산된 비디오 스트림의 평균 비트율을 도시한다. 상기 프로그램은 약 2시간 55분의 지속 기간을 갖는다. 상기 프로그램 방송의 시작 시간과 종료 시간은 TV 프로그램 가이드(EPG)에 기초하고 몇 분 정도 연장된다. 프로그램의 실제 시작 및 종료와 광고 블록들은 하이라이트된다. 도 2 및 도 3의 수직축은 초당 킬로비트의 평균 비트율을 기록하고, 수평축은 진행하는 프레임 수를 기록한다.
이 예에서, 도 2에 도시된 평균 비트율은 프로그램 경계들과 광고 블록들 동안 극적으로 변화한다. 평균 비트율은 프로그램의 시작시, 특히 처음 1500개의 프레임들에서 상당히 변화했다. 프로그램의 3개의 광고들도 또한 평균 비트율의 많은 변화들을 초래했다. 마지막으로, 평균 비트율은 프로그램의 종료시에 현저하게 변화했고, 이것은 도 3에 도시된다. 도 3은 프로그램의 종료시 1000개의 비디오 프레임들 내의 평균 비트율의 변화들을 도시한다. 이 변화들은, 비용이 들고 컨텐트의 품질을 감소시킬 수 있는 재인코딩과 디코딩에 대한 필요성 없이, 이미 디지털화된 비디오 컨텐트에 광고들과 같은 디지털 컨텐트를 삽입하기 위해, 비디오 컨텐트의 제공자들에 의해 사용된 스플라이서들(splicers)에 의해 초래될 수 있다.
일반적으로, TV 방송국들 또는 다른 컨텐트 제공자들은 예를 들면 시작 및/또는 종료시에 상이한 컨텐트 아이템들인 광고 블럭들을 삽입하고, 컨텐트 아이템들 중간에 여러번 삽입할 수도 있다. 컨텐트 아이템들 내에 광고들을 특정하게 전형적으로 위치시키는 이런 패턴은, 컨텐트 아이템의 경계를 검출하는 장치에 의해 알려지고, 검출된 평균 비트율의 변화가 컨텐트 아이템의 광고 블록을 나타내는지를 신뢰할 수 있게 결정하기 위해 사용된다. 게다가, 컨텐트 아이템의 오디오 및/또는 비디오 특징들을 분석하는 것에 기초하여 광고 블록들을 인식하는 알려진 방법들은, 검출된 경계가 광고에 속하는지를 검증하기 위해 사용될 수 있다.
전술된 바와 같은 컨텐트 아이템의 경계를 검출하는 방법은 또한 컨텐트 아이템들을 갖는 암호화된 비디오 스트림들에 적용될 수 있다. 예컨대, PayTV 및 Pay per View와 같은 대부분의 디지털 비디오 스트림들은 통상적인 방식으로 패킷화되지만, 상기 패킷들은 특정한 키들과 방법들을 사용함으로써 암호화된다. 방송 장치들 및 셋 탑 박스 제조업자들에 의해 채택된 조건부 액세스 시스템들은 스트림상에서 임의의 동작을 수행하는 것을 허용하지 않지만, 시청을 위해 실시간으로 디코딩한다. 암호화된 스트림들에 대한 처리는 저장 장치를 갖는 모든 제품들과 매우 관련될 것이다.
본 발명에 따른 방법은, 특정한 기간 동안의 평균 비트율에 기초하고 스트림의 암호화가 평균 비트율에 실질적으로 영향을 미치지 않기 때문에, 암호화된 스트림에 적용될 수 있다. 컨텐트 아이템의 경계를 검출하기 위해 비디오 스트림을 해독할 필요가 없다. 필요하다면, 암호화된 비디오 스트림은, 경계가 검출된 부분들만이 해독될 수 있다. 이것은 컨텐트 아이템의 경계를 검출하기 위해 전체 스트림을 해독화 또는 디코딩하는 것보다 훨씬 효과적이고 데이터 처리가 쉽다.
암호화된 스트림의 평균 비트율은 예를 들면 패킷들의 헤더들로부터 스트림의 페이로드를 추출함으로써 계산될 수 있다. 예를 들면, H.Benoit, 1997, Arnold에 의한 "디지털 텔레비젼:MPEG-1, MPEG-2 및 DVB 시스템의 원리들"이라는 책에서 스크램블링 및 조건부 액세스 시스템들에 대해 기술된 바와 같이(5장 75 내지 80페이지), DVB 스트림이 스크램블링되면, 헤더들은 인코딩되지 않을 수 있다.
도 4는 디지털 비디오 스트림 내의 컨텐트 아이템의 경계를 검출하기 위한 장치의 실시예를 도시한다. 상기 장치는 일정한 기간 동안의 비디오 스트림을 처리하고 비디오 스트림의 평균 비트율을 결정하도록 구성된 프로세서(410)와, 컨텐트 아이템의 경계를 나타내는 평균 비트율의 변화를 검출하는 검출기(420)를 포함할 수 있다.
프로세서(410)는 전술된 본 발명의 방법의 단계들(110 내지 130)을 수행하도록 구성될 수 있다. 예컨대, 프로세서가 그에 상응해서 기능할 수 있게 하도록 프로세서에 의해 실행될 명령들을 저장하는 메모리를 구비할 수 있는 것과 같은 알려진 방식으로 프로세서는 당업자에 의해 구현될 수 있다. 검출기(420)는 본 발명의 방법의 단계(140)를 참조하여 상기 개시된 동작들을 수행하도록 구성될 수 있다. 검출기는 동일한 프로세서(410)를 사용함으로써 구현될 수 있거나, 예를 들면, 상기 검출기는 프로세서에 의해 결정된 평균 비트율을 임계 비트율 값과 비교하고, 컨텐트 아이템의 경계가 검출되었다는 것을 나타내는 신호를 발생하도록 구성된 별개의 회로일 수 있다.
프로세서(410)는 예컨대, TV 튜너, DVB-T 또는 DVB-S 수신기와 같이, 디지털 방송 비디오 스트림 내의 적어도 하나의 컨텐트 아이템을 수신하는 수신기(430)에 결합될 수 있다. 상기 튜너/수신기는 통상적이고, 당업계에 알려진 바와 같이 구현될 수 있다.
상기 장치는 스트림 내의 프로그램의 검출된 경계에 기초하여 TV 프로그램을 레코딩하는 레코더(440)에 결합될 수 있다. 레코더는, 예컨대 프로그램의 시작 및 종료를 나타내는 EPG 데이터와 같은 방송 스케쥴 데이터에 기초하여 TV 프로그램을 레코딩하도록 구성될 수 있다. 그러나, 프로그램이 스케쥴에 따르지 않고 수신기에 의해 수신되고, 레코더가 요구되지 않은 컨텐트를 레코딩하는 일이 발생할 수 있다. 이것은 전술된 바와 같이 컨텐트 아이템의 경계를 검출하는 장치에 의해 제거될 수 있다. 상기 장치는, 방송 스케쥴 데이터가 각 컨텐트 아이템의 검출된 경계에 따르는지를 검증하도록 구성될 수 있다. 상기 검출된 경계와 스케쥴 데이터 간에 약간의 시간 차가 존재하면, 즉, 컨텐트 아이템이 실제로 스케쥴 데이터가 나타내는 것보다 좀 더 늦게 또는 좀 더 빨리 수신되면, 레코더는, 경계가 결정된 위치에서 컨텐트 아이템을 레코딩하기 시작하도록 명령받을 수 있다. 또한, 광고 블록들이 장치에 의해 스트림 내에서 검출되면, 레코더는 그것들을 스킵하도록 명령받을 수 있고, 실제 컨텐트 아이템만이 레코딩될 것이다.
다양한 프로그램 제품들은 본 발명의 장치 및 방법의 기능들을 구현할 수 있고, 하드웨어에 의해 몇 가지 방법들로 결합되거나 상이한 다른 장치들에 배치될 수 있다. 기술된 실시예의 변경들 및 수정들은 본 발명의 개념의 범위 내에서 가능하다. 따라서, 예를 들면, 동사 "포함하다"와 그 활용형의 사용은 청구항에 정의된 것 이외의 요소들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 몇몇 별개의 요소들을 포함하는 하드웨어와, 적합하게 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 몇몇 수단을 열거하는 장치 청구항에서, 이 수단 중 몇몇은 하나의 하드웨어와 하드웨어의 동일 아이템에 의해 구현될 수 있다.

Claims (13)

  1. 디지털 비디오 스트림 내의, 프로그램 또는 광고인 컨텐트 아이템의 경계를 검출하는 방법에 있어서,
    상기 비디오 스트림의 복수의 프레임들의 지속 기간에 대응하는 일정 기간(period of time) 동안의 상기 비디오 스트림의 평균 비트율을 결정하는 단계(130); 및
    상기 컨텐트 아이템의 상기 경계를 나타내는 상기 평균 비트율의 변화를 검출하는 단계(140)를 포함하는, 컨텐트 아이템의 경계를 검출하는 방법.
  2. 제1항에 있어서, 상기 컨텐트 아이템은 디지털 방송 비디오 스트림 내에 있는, 컨텐트 아이템의 경계를 검출하는 방법.
  3. 제1항에 있어서,
    상기 컨텐트 아이템 내의 샷-컷들(shot-cuts)을 검출하는 단계(125); 및
    상기 기간을 검출된 샷 컷들에 조정하는 단계(126)를 포함하는, 컨텐트 아이템의 경계를 검출하는 방법.
  4. 제1항에 있어서, 상기 비트율의 이동 평균이 결정되는, 컨텐트 아이템의 경계를 검출하는 방법.
  5. 삭제
  6. 제1항에 있어서, 상기 디지털 비디오 스트림은 MPEG 압축되는, 컨텐트 아이템의 경계를 검출하는 방법.
  7. 제1항에 있어서, 상기 컨텐트 아이템은 암호화된 디지털 비디오 스트림인, 컨텐트 아이템의 경계를 검출하는 방법.
  8. 제1항에 있어서,
    적어도 하나의 컨텐트 아이템 방송의 시작, 종료, 및 시작과 종료 중 하나를 나타내는 방송 스케쥴 데이터를 획득하는 단계; 및
    상기 방송 스케쥴 데이터가 상기 비디오 스트림 내의 각 컨텐트 아이템의 검출된 상기 경계에 따르는지를 검증하는 단계를 더 포함하는, 컨텐트 아이템의 경계를 검출하는 방법.
  9. 제1항에 있어서, 대응하는 기간 내에 상기 컨텐트 아이템의 검출된 상기 경계의 위치를 결정하는 단계(150)를 더 포함하는, 컨텐트 아이템의 경계를 검출하는 방법.
  10. 디지털 비디오 스트림 내의, 프로그램 또는 광고인 컨텐트 아이템의 경계를 검출하는 장치에 있어서,
    상기 비디오 스트림의 복수의 프레임들의 지속 기간에 대응하는 일정 기간 동안의 상기 비디오 스트림의 평균 비트율을 결정하는 수단(410); 및
    상기 컨텐트 아이템의 상기 경계를 나타내는 상기 평균 비트율의 변화를 검출하는 수단(420)을 포함하는, 컨텐트 아이템의 경계를 검출하는 장치.
  11. 제10항에 청구된 장치를 포함하며, 디지털 방송 비디오 스트림 내의 적어도 하나의 컨텐트 아이템을 수신하는 수신기.
  12. 적어도 하나의 TV 프로그램을 레코딩하는 비디오 레코더에 있어서,
    디지털 비디오 스트림 내의 적어도 하나의 TV 프로그램을 수신하는 수신기(430);
    제10항에 청구된 상기 장치로서, 상기 컨텐트 아이템은 상기 TV 프로그램인, 제10항에 청구된 상기 장치; 및
    상기 비디오 스트림 내의 검출된 경계에 기초하여 상기 TV 프로그램을 레코딩하는 수단(440)을 포함하는, 비디오 레코더.
  13. 컴퓨터 프로그램 제품을 실행할 때, 프로그램 가능한 장치를 제10항에 청구된 장치로서 기능할 수 있게 하는, 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
KR1020067001170A 2003-07-18 2004-07-14 디지털 비디오 스트림 내의 컨텐트 아이템 검출 KR101083100B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03102221.3 2003-07-18
EP03102221 2003-07-18
PCT/IB2004/051219 WO2005009043A1 (en) 2003-07-18 2004-07-14 Detecting a content item in a digital video stream

Publications (2)

Publication Number Publication Date
KR20060037371A KR20060037371A (ko) 2006-05-03
KR101083100B1 true KR101083100B1 (ko) 2011-11-16

Family

ID=34072656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067001170A KR101083100B1 (ko) 2003-07-18 2004-07-14 디지털 비디오 스트림 내의 컨텐트 아이템 검출

Country Status (6)

Country Link
US (1) US7936973B2 (ko)
EP (1) EP1649695A1 (ko)
JP (1) JP4795947B2 (ko)
KR (1) KR101083100B1 (ko)
CN (1) CN1823529A (ko)
WO (1) WO2005009043A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4501808B2 (ja) * 2005-08-02 2010-07-14 船井電機株式会社 再生装置
JP2007221269A (ja) * 2006-02-14 2007-08-30 Canon Inc 表示信号制御装置、表示信号制御方法、プログラム及び記憶媒体
US9020048B2 (en) * 2008-04-30 2015-04-28 Zeevee, Inc. Dynamically modifying video and coding behavior
US20090320063A1 (en) * 2008-06-23 2009-12-24 Microsoft Corporation Local advertisement insertion detection
KR20100037573A (ko) * 2008-10-01 2010-04-09 삼성전자주식회사 무선 통신 망에서의 데이터 송수신 장치 및 방법
GB2483282B (en) * 2010-09-03 2017-09-13 Advanced Risc Mach Ltd Data compression and decompression using relative and absolute delta values
CN103634594B (zh) * 2012-08-21 2015-04-29 华为技术有限公司 一种获得视频编码压缩质量的方法及装置
US9590952B2 (en) * 2014-09-05 2017-03-07 Microsoft Technology Licensing, Llc Lossy data stream decoder
CA3087809C (en) 2017-04-21 2021-03-09 Zenimax Media Inc. Systems and methods for rendering & pre-encoded load estimation based encoder hinting
US10997426B1 (en) * 2019-03-05 2021-05-04 Amazon Technologies, Inc. Optimal fragmentation of video based on shot analysis

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485219A (en) 1994-04-18 1996-01-16 Depromax Limited Electric service to record transmissions without recording commercials
JPH09322174A (ja) * 1996-05-30 1997-12-12 Hitachi Ltd 動画データの再生方法
JP2000165806A (ja) 1998-11-30 2000-06-16 Sony Corp 情報処理装置および方法、並びに提供媒体
US6714594B2 (en) 2001-05-14 2004-03-30 Koninklijke Philips Electronics N.V. Video content detection method and system leveraging data-compression constructs
JP3903912B2 (ja) * 2002-12-02 2007-04-11 株式会社日立製作所 記録装置および記録方法
GB2396069B (en) * 2002-12-03 2005-10-05 British Broadcasting Corp Analysis of digital signals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jian Feng et al, "Scene Change Detection Algorithm for MPEG Video Sequence", ICIP, 16 September 1996, IEEE, Page 821-824

Also Published As

Publication number Publication date
EP1649695A1 (en) 2006-04-26
WO2005009043A1 (en) 2005-01-27
CN1823529A (zh) 2006-08-23
JP2007528146A (ja) 2007-10-04
US20060227250A1 (en) 2006-10-12
JP4795947B2 (ja) 2011-10-19
KR20060037371A (ko) 2006-05-03
US7936973B2 (en) 2011-05-03

Similar Documents

Publication Publication Date Title
US8249167B2 (en) PVR-support video decoding system
US7920713B2 (en) Recorded video broadcast, streaming, download, and disk distribution with watermarking instructions
US8761452B2 (en) System, method and computer program product for video fingerprinting
US20030123841A1 (en) Commercial detection in audio-visual content based on scene change distances on separator boundaries
US20100238792A1 (en) Information acquisition system, transmit apparatus, data obtaining apparatus, transmission method, and data obtaining method
JP2005229587A (ja) 多重化方式変換装置
CA2627267C (en) System, method & computer program product for video fingerprinting
KR101083100B1 (ko) 디지털 비디오 스트림 내의 컨텐트 아이템 검출
GB2419489A (en) Method of identifying video by creating and comparing motion fingerprints
US20070147429A1 (en) Stream file format for digital video recording
KR100978995B1 (ko) 정보 기록 처리 장치, 정보 재생 처리 장치, 및 방법, 및 기록 매체
CA2206454A1 (en) Method and apparatus for coding digital video signals
WO2000048401A1 (en) Apparatus and method for videosignal watermarking
Eerenberg Signal processing for improved MPEG-based communication systems
US20020110367A1 (en) Recording device with a still picture record mode

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee