KR20040070269A - 광고방송 및 다른 비디오 콘텐츠의 검출을 위한 패밀리히스토그램 기반으로 한 기술들 - Google Patents

광고방송 및 다른 비디오 콘텐츠의 검출을 위한 패밀리히스토그램 기반으로 한 기술들 Download PDF

Info

Publication number
KR20040070269A
KR20040070269A KR10-2004-7009879A KR20047009879A KR20040070269A KR 20040070269 A KR20040070269 A KR 20040070269A KR 20047009879 A KR20047009879 A KR 20047009879A KR 20040070269 A KR20040070269 A KR 20040070269A
Authority
KR
South Korea
Prior art keywords
histogram
family
histograms
extracted
video signal
Prior art date
Application number
KR10-2004-7009879A
Other languages
English (en)
Inventor
디미트로바네벤카
아그리호트리랠리타
매기토마스에프엠
야신스치라두에스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040070269A publication Critical patent/KR20040070269A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

비디오 신호에서 광고방송 또는 다른 특정 유형의 비디오 콘텐츠를 검출하는 기술들이 개시된다. 예시된 실시예에서, 칼러 히스토그램들(color histograms)은 비디오 신호의 프레임들로부터 추출된다. 적어도 추출된 칼러 히스토그램들의 서브세트 각각에 대해서, 추출된 칼러 히스토그램은 패밀리 히스토그램(family histogram)과 비교된다. 추출된 칼러 히스토그램이 패밀리 히스토그램의 규정된 범위 내에 있다면, 이 패밀리 히스토그램은 새로운 멤버로서 추출된 칼러 히스토그램을 포함하도록 갱신된다. 추출된 칼러 히스토그램이 패밀리 히스토그램의 규정된 범위 내에 있지 않다면, 패밀리 히스토그램은 완전한 것으로 간주되고, 추출된 칼러 히스토그램은 다음 추출된 칼러 히스토그램들을 처리하는데 사용하기 위한 새로운 패밀리 히스토그램을 생성하도록 사용된다. 이로 인한 패밀리 히스토그램들은 비디오 신호에서 광고방송 또는 다른 특정 유형의 비디오 콘텐츠를 검출하는데 사용된다.

Description

광고방송 및 다른 비디오 콘텐츠의 검출을 위한 패밀리 히스토그램 기반으로 한 기술들{Family histogram based techniques for detection of commercials and other video content}
방송 또는 녹화된 비디오 신호로부터 광고방송들을 검출하여 추출하기 위한 많은 시스템들이 개발되어 왔다. 예를 들어, 발명의 명칭이 "Editing Method and Apparatus for Commercials During Video Recording"인 미국 특허 제4,782,401호는 광고방송들을 묘사하기 위하여 사용되는 다크 또는 블랭크 프레임들(dark or blank frames)의 존재를 토대로, 아날로그 도메인에서 광고방송들을 편집하여 삭제하는하드웨어-지향 솔루션(hardware-oriented solution)을 서술한다.
발명의 명칭이 "Reciprocating Recording Method and Apparatus for Editing Commercial Messages from Television Signals"인 PCT 출원 WO 83/00971호에 이와 유사한 시스템이 서술되어 있다. 이 시스템은 처음과 끝에서 페이드-인 및 페이드-아웃(fade-in and fade-out)을 토대로 광고방송들을 편집하여 삭제한다.
발명의 명칭이 "Apparatus and Method for Deleting Selected Program Intervals from Recorded Television Broadcasts"인 미국 특허 제4,750,052호에 기재된 또 다른 방식은 페이드 검출기를 사용하여, 녹화 방송 프로그램으로부터 광고방송들을 편집한다.
발명의 명칭이 "Method and Apparatus for Classifying Patterns of Television Programs and Commercials"인 PCT 출원 WO94/27404호는 특징 추출 및 신경망을 사용하여 비디오 신호들을 분류한다. 이 시스템은 주파수 스펙트럼에 걸친 전력, 칼러 및 휘도(brightness), 수직 기간 타임 코드(vertical interval time code), 클로우즈드 캡션 신호(closed caption signal) 및 칼러 캐리어 지터 신호(color carrier jitter signal)와 같은 특징들의 변화를 검출한다.
발명의 명칭이 "Process and Device for Detecting Undesirable Video Scenes"인 PCT 출원 WO 95/06985호에 기재된 시스템은 브레이크 광고방송(commercial break)을 진행시키는 방송 프로그램으로부터 화상을 저장하여, 브레이크 광고방송의 끝을 현재 화상과 저장된 화상을 비교하여 검출한다. 이 방식은 방송국들(broadcasters)이 종종 광고방송 시간이 끝난 후에 작은 프로그램부분을 반복한다는 점을 이용한 것이다.
발명의 명칭이 "Method and Apparatus for the Classification of Television Signals"인 유럽 특허 출원 제 EP735754호는 한 세트의 특징들 및 관련된 규칙들을 사용하여, 현재 광고방송들이 어느 정도의 "퍼지니스(fuzziness)"를 가진채 상기 기준을 충족하는지를 결정한다. 특징들의 세트는 예를 들어, 광고방송들을 특징화하는데 사용되는 스테레오 대 모노, 2채널 오디오, 음 레벨, 화상 휘도 및 칼러, 및 로고들을 포함한다. 이들 특징들에 대한 임계값들 및 파라미터 변화들을 수용하는데 방대한 규칙들의 세트가 필요로 된다.
발명의 명칭이 "Video Signal Identifier for Controlling a VCR and Television Based on the Occurrence of Commercials"인 미국 특허 제5,708,477호는 비디오 신호 식별자를 사용하여 사전에 식별된 광고방송 재료를 인지하여 텔레비젼 음을 뮤팅(muting) 및/또는 녹화 모드일 때 VCR을 휴지(pausing)시킴으로써 상기 재료를 거부한다. 이 방식의 중요한 문제는, 자동 검출할 수 없다는 것인데, 즉 검출에 앞서 어떤 방식으로든 식별될 재료를 필요로 한다는 것이다.
발명의 명칭이 "Apparatus and Method for Detection of Unwanted Broadcast Information"인 미국 특허 제5,668,917호에 기재된 시스템은 광고 방송들의 반복성(repetitivenss)을 사용하여 광고방송 재료를 식별한다. 이 시스템은 압축된 포맷으로 비디오 프레임들을 저장하고 원래의 "생(raw)" 포맷에서 한 픽셀마다 프레임들을 비교한다. 이 방식의 중요한 결점은 지나치게 많은 메모리 및 계산 자원들이 필요로 된다는 것이다. 특히, 심지어 압축된 형태로 비디오를 저장하여도 비실용적으로 큰 메모리 공간 량, 예를 들어, 고선명 텔레비젼(HDTV) 콘텐츠의 한 채널에 대한 매일 대략 200GB를 필요로 한다. 게다가, 생 비디오(raw video)를 비교하는 것은 매우 많은 시간을 소모하게 한다. 비디오를 압축 및 압축해제하는 것은 부가적인 계산 비용을 필요로 하고 프레임들을 비교하는 것은 공정을 매우 느리게할 것으로 추정된다. 소정의 인입하는 프레임이 상술된 많은 량의 저장된 비디오 재료와 비교될 수 있고, 이 비교는 다음 프레임이 도달하기 전 완료된다.
상술된 미국 특허 제09/417,288호에 서술된 기술들은 시그너쳐-기반으로 한 스포팅(signature-based spotting), 학습 및 추출을 사용함으로써 상기 개요적으로 설명된 종래 방식들에 비해서 실질적으로 개선된다. 그러나, 실제 개선사항들이 이들 기술들에 의해 제공됨에도 불구하고, 광고방송들 및 다른 유형들의 비디오 콘텐츠를 식별하여 추출하는데 더욱 개선할 필요성이 있다.
본 발명은 발명자들인 N.Dimitrova, L.Agnihotri 및 T.McGee가 1999년 10월 13일에 출원한 발명의 명칭이 "Automatic Signature-Based Spotting, Learning and Extracting of Commercials and Other Video Content"인 미국 특허 출원 제09/417,288호에 개시된 발명에 관한 것이며, 이 특허 출원이 본원에 참조되어 있다.
본 발명은 일반적으로, 비디오 신호 처리에 관한 것이며, 특히, 비디오 신호들을 처리하여, 특정한 특징들을 지닌 광고방송들 또는 다른 유형들의 비디오 콘텐츠를 식별하여 추출하는 기술들에 관한 것이다.
도1은 본 발명이 수행될 수 있는 비디오 처리 시스템의 블록도.
도2는 도1의 비디오 처리 시스템에서 수행될 수 있는 본 발명의 실시예에 따른 광고방송 검출 공정의 순서도.
도3은 본 발명의 기술들에 따라서 패밀리 히스토그램의 생성을 도시한 도면.
본 발명은 패밀리 히스토그램들(family histograms)의 그룹들을 기반으로 한 방식을 사용하여 비디오 신호에서 광고방송들 또는 다른 특정 유형들의 비디오 콘텐츠를 검출하는 개선된 기술들을 제공하는 것이다. 이 특정 유형의 비디오 콘텐츠는 예를 들어, 생 또는 녹화 방송 프로그램에서 광고방송일 수 있다.
본 발명의 한 양상을 따르면, 칼러 히스토그램들은 비디오 신호의 프레임들로부터 추출되고, 적어도 추출된 칼러 히스토그램들의 서브세트 각각에 대해, 추출된 칼러 히스토그램들은 추출될 수 있는데, 예를 들어 키프레임들(keyframes)이 비디오 신호의 샷 경계들(shot boundaries), 비디오 신호들의 인트라-코딩된 프레임들(I-프레임들), 또는 비디오 신호의 모든 프레임들에서 추출될 수 있다. 추출된 칼러 히스토그램들중 제1 히스토그램을 처리하는데 사용되는 패밀리 히스토그램은 소정 형태로 초기화된 초기 패밀리 히스토그램을 포함할 수 있다. 또 다른 예로서, 추출된 칼러 히스토그램들중 제1 히스토그램 자체는 초기 패밀리 히스토그램으로서 지정될 수 있다. 추출된 칼러 히스토그램이 규정된 범위의 패밀리 히스토그램 내에 있다면, 이 패밀리 히스토그램은 새로운 멤버로서 추출된 칼러 히스토그램을 포함하도록 갱신된다. 추출된 칼러 히스토그램이 규정된 범위의 패밀리 히스토그램 내에 있지 않다면, 패밀리 히스토그램은 완전한 것으로 간주되고, 추출된 칼러 히스토그램은 다음의 추출된 칼러 히스토그램들을 처리하는데 사용하기 위한 새로운 패밀리 히스토그램을 생성시키는데 사용된다. 복수의 프레임들에 걸쳐서 생성되는 이에 따른 패밀리 히스토그램들은 비디오 신호에서 광고방송들 또는 다른 특정 유형의 비디오 콘텐츠를 검출하는데 사용된다.
본 발명의 또 다른 양상을 따르면, 패밀리 히스토그램은 패밀리 히스토그램을 소정의 추출된 칼러 히스토그램과 결합함으로써 규정된 범위의 패밀리 히스토그램 내에 있는 추출된 칼러 히스토그램들중 소정의 한 히스토그램을 위하여 갱신된다.
본 발명의 또한 다른 양상을 따르면, 패밀리 히스토그램들의 지속기간 및/또는 반복성은 광고방송 세그먼트 또는 다른 특정 유형의 비디오 콘텐츠의 경계들을 표시(mark)하도록 사용된다. 예를 들어, 패밀리 히스토그램이 생 또는 녹화 방송 프로그램에서 광고방송을 포함하는 비디오 콘텐츠에 대해 약 15 내지 60초와 같은규정된 범위 내에 있는 지속기간을 가지면, 이 패밀리 히스토그램은 특정 유형의 비디오 콘텐츠과 관련되는 것으로서 나타낼 수 있다. 반복성 결정은, 패밀리 히스토그램이 규정된 지속기간을 각각 갖는 일련의 연속적인 패밀리 히스토그램들중 한 히스토그램인지를 결정하는 것, 또는 패밀리 히스토그램이 사전 패밀리 히스토그램 이후에 지정된 시간 기간 내에서 발생되는 상기 사전 패밀리 히스토그램의 실질적인 반복인지를 결정하는 것을 포함할 수 있다.
본 발명은 특히 정확하고 효율적인 방식으로 광고방송들 및 다른 유형들의 비디오 콘텐츠를 식별하는데 유용하다. 본 발명의 이들 및 그외 다른 특징들 및 장점들은 첨부한 도면 및 이하의 상세한 설명으로부터 보다 명백하게 될 것이다.
도1은 본 발명을 따른 비디오 검출 기술들을 수행할 수 있는 비디오 처리 시스템(100)을 도시한 것이다. 이 시스템(100)은 텔레비젼, 셋탑 박스, 데스크탑, 랩탑 또는 팜탑 컴퓨터, 개인 휴대 정보 단말기(PDA), 비디오 카세트 레코더(VCR)와 같은 비디오 저장 장치, 디지털 비디오 레코더(DVR), TiVO 장치 등 뿐만 아니라 이들 및 그외 다른 비디오 처리 장치들의 부분들 또는 조합들을 나타낼 수 있다.
이 시스템(100)은 하나 또는 그 이상의 비디오 소스들(102), 하나 또는 그 이상의 입력/출력 장치들(104), 프로세서(105) 및 메모리(106)를 포함한다. 비디오 소스(들)(102)는 예를 들어, 텔레비젼 수상기, VCR 또는 다른 비디오 저장 장치, 또는 다른 어떤 유형의 비디오 소스 뿐만 아니라 이와 같은 다수의 소스들의 각종 조합들을 나타낼 수 있다. 소스(들)(102)은 대안적으로, 인테넷과 같은 글로벌 컴퓨터 통신 네트워크, 광역망, 대도시 통신망, 구내 통신망, 지상 방송 시스템, 케이블 네트워크, 위성 네트워크, 무선 네트워크, 또는 전화망 뿐만 아니라 이들 및 다른 유형들의 네트워크들의 부분들 또는 조합들을 통해서 서버 또는 서버들로부터 비디오를 수신하기 위한 하나 또는 그 이상의 접속부들(connections)을 나타낼 수 있다.
입력/출력 장치(104), 프로세서(105), 및 메모리(106)는 통신 매체(107)를 통해서 통신한다. 이 통신 매체(107)는 예를 들어, 버스, 유선 또는 무선 통신망, 하나 또는 그 이상의 내부 회로 접속부들, 회로 카드 또는 다른 장치 뿐만 아니라 이들 및 다른 통신 매체의 부분들 및 조합들을 나타낼 수 있다.
소스(들)(102)로부터의 입력 비디오는 메모리(106)에 저장되고 프로세서(105)에 의해 실행되는 하나 또는 그 이상의 소프트웨어 프로그램들에 따라서 처리되어, 예를 들어 텔레비젼 디스플레이, 컴퓨터 모니터 등일 수 있는 디스플레이 장치(108)에 공급되는 출력 비디오를 발생시킨다. 예를 들어, 하나 또는 그 이상의 소프트웨어 프로그램들은 도2와 관련하여 후술되는 광고방송 검출 공정의 적어도 일부분을 수행하도록 사용될 수 있는데, 이로 인한 출력 비디오는 신호내의광고방송 경계들을 위한 적절한 마크들을 포함한다. 그 후, 디스플레이 장치(108)는 예를 들어, 다른 종래 방식으로 상기 마크들을 처리하여, 디스플레이된 비디오로부터 광고방송들을 제거한다.
도1에 도시된 바와 같은 시스템(100)의 특정한 구성이 단지 예에 지나지 않다는 것을 이해하여야 한다. 당업자는 본 발명이 각종 또 다른 시스템 형태들을 사용하여 구현될 수 있다는 것을 인지할 것이다.
예를 들어, 디스플레이 장치(108)는 출력 비디오를 다음 사용을 위하여 저장하도록 하는 비디오 저장 장치로 대체되거나 이 장치와 관련하여 사용될 수 있다. 비디오 저장 장치는 디스플레이 장치(108)와 결합되거나, 디스플레이 장치(108)에 결합된 독립형 장치로서 구현될 수 있다. 이와 같은 저장 장치들은 종래 기술에 널리 공지되어 있기 때문에 본원에선 더 이상 설명하지 않았다.
본 발명은 비디오 신호에서 광고방송들 또는 다른 유형들의 비디오 콘텐츠를 검출하는 개선된 기술들을 제공하는 것이다. 본원에 기재된 예시적인 실시예들에서 본 발명은 비디오 프레임들로부터 추출된 칼러 히스토그램들을 사용하여 소위 "패밀리 히스토그램들"을 형성하고 나서 상기 패밀리 히스토그램들을 처리하여, 비디오 신호 내에서 광고방송들을 식별한다. 예를 들어, 패밀리 히스토그램이 약 15 및 60초 길이 사이에 있다면, 광고방송 영역은 다수의-브레이크 광고방송의 총 지속기간, 예를 들어, 약 2 내지 3분, 3 내지 5분 등에 대응하는 지정된 시간 기간 내에서 이와 같은 여러 패밀리 히스토그램들의 존재로 나타낼 수 있다. 이는 비디오 신호 내에서 광고방송 영역 또는 세그먼트에서 여러 광고방송들의 존재를 나타낸다. 상술된 바와 같이, 검출된 광고방송들의 경계들이 결정되고 표시되어, 광고방송이 제거, 고속-전진, 뮤팅되거나, 이와 달리 시스템(100)의 장치(108)와 같은 비디오 디스플레이 장치에서 처리될 수 있도록 한다.
도2는 본 발명에 따라서 방송 비디오 신호에서 광고방송들을 검출하는 공정(200) 예를 도시한 순서도이다. 이 예에에서, 입력 비디오가 하나 또는 그 이상의 프로그램 및 다수의 광고방송들을 포함하는 방송 비디오 신호를 포함한다라고 가정하자. 그러나, 이는 단지 예에 지나지 않고 어떤 방식으로든 본 발명의 범위를 제한하지 않아야만 한다. 특히, 당업자는 본 발명이 다른 유형들의 비디오 신호들에서 광고방송들 이외의 특정 유형들의 비디오 콘텐츠를 식별하는데 사용될 수 있고 예를 들어 도2에 사용된 단계들과 상이한 공정 단계들을 사용하여 구현될 수 있다는 것을 인지할 것이다.
이 공정(200)의 단계(202)에서, 종래의 프레임 그래버(frame grabber)는 입력 비디오 신호의 하나 또는 그 이상의 프레임들을 포착하는데 사용된다. 예를 들어, 프레임 그래버는 아날로그 비디오 소스에 의해 공급되는 아날로그 신호로부터 하나 또는 그 이상의 "생" 비디오 프레임들을 포착하거나 종래의 MPEG(Moving Pictures Experts Group) 디지털 비디오 비트스트림과 같은 디지털 소스로부터 이와 같은 프레임들을 추출할 수 있다.
프레임 그래버에 의해 포착되고 그 후에 칼러 히스토그램들을 후술되는 바와 같이 추출하는 프레임들의 세트는 예를 들어, 비디오 신호의 샷 경계들, 비디오 신호의 인트라-코딩된 프레임들(I-프레임들) 또는 비디오 신호의 모든 프레임들에서추출되는 하나 또는 그 이상의 키프레임들일 수 있다. 대표적인 키프레임은 또한, 도3과 관련하여 예시되는 바와 같이 사용될 수 있다. 본원에 사용되는 용어 "프레임"은 이와 같은 대표적인 프레임을 포함하도록 한다.
프레임 또는 프레임들이 얻어지면, 칼러 히스토그램 정보는 단계(204)에서 나타난 바와 같이 이로부터 추출된다. 본원에 사용되는 칼러 히스토그램들은 공지된 종래 기술들에 따라서 생성될 수 있다. 예를 들어, 칼러 히스토그램들의 생성 및 처리에 관한 상세사항들은 N.Dimitrova, J.Martino, L.Agnihotri 및 H.Elenbass가 1999년 일본 코베에서 개최된 IEEE International Conference on Image Processing에서 발표한 "Color Superhistograms for Video Representation"; L.Agnihotri 및 N.Dimitrova가 2000년 11월 프랑스 리용에서 개최된 Visual 2000에서 발표한 "Video Clustering Using Superhistograms in Large Archives,"; 및 발명자들인 J.Martino, N.Dimitrova, H.Elenbass 및 J.Rutgers가 1999년 7월 7일에 출원한 발명의 명칭이 "A Histogram Method for Characterizing Video Content"인 유럽 특허 출원 제EP1038269호 에서 알수 있으며, 상기 문헌들은 본원에 참조되어 있다.
상술된 바와 같이, 본 발명은 부분적으로, "패밀리 히스토그램"의 개념을 기반으로 하는데, 이 패밀리 히스토그램은 본원에 사용된 바와 같이 일반적으로, 다수의 관련된 프레임들, 예를 들어, 유사한 칼러 팔레트(color palette)를 갖는 복수의 프레임들에 대해 생성된 히스토그램이라 칭하거나, 그렇치 않다면 관련되도록 결정된다. 단계(206)는 단계(204)에서 추출되는 소정의 칼러 히스토그램을 사전의패밀리 히스토그램과 비교함으로써 이 유형의 패밀리 히스토그램을 형성한다. 초기에 단계들(202, 204, 206 및 208)을 통해서, 사전 패밀리 히스토그램은 제1 추출된 칼러 히스토그램에 초기화될 수 있거나, 그렇치 않다면, 특정한 형태로 초기화될 수 있다. 그 후, 또한 현재 추출된 히스토그램이라 칭하는 단계(204)로부터 추출된 소정의 칼러 히스토그램은 단계(206)에서 처리되어, 사전 패밀리 히스토그램에 "속하는"지를 결정한다. 예를 들어, 현재 추출된 히스토그램은 사전 패밀리 히스토그램, 평균 히스토그램, 상기 패밀리로부터의 대표적인 프레임 또는 비교하는데 적합한 또 다른 요소와 비교된다.
현재 추출된 히스토그램이 사전 패밀리 히스토그램의 부분이라고 간주되면, 이 패밀리 히스토그램은 단계(206)에서 갱신되어 새로운 멤버를 포함하는데, 이로 인한 패밀리 히스토그램을 현재 패밀리 히스토그램이라 칭한다. 그 후, 현재 패밀리 히스토그램은 불완전한 것으로 간주되어, 이 공정이 단계(208)를 통해서 단계(202)로 귀환되어 다음 프레임을 처리하도록 하는데, 이로 인해 현재 패밀리 히스토그램은 사전 패밀리 히스토그램이 된다. 그러나, 현재 추출된 히스토그램이 사전 패밀리 히스토그램과 정합하지 않으면, 사전 패밀리 히스토그램은 완전한 것으로 간주되고, 이 공정은 단계(208)를 통해서 단계(210)로 이동한다.
상술된 바와 같이, 규정된 프레임들의 수 각각에 대한 도2의 공정은 칼러 히스토그램을 계산하고 나서 하나 또는 그 이상의 사전-계산된 패밀리 히스토그램들을 탐색하여, 가장 근접한 패밀리 히스토그램 정합을 찾는다. 소정의 현재 히스토그램(H c ) 및 사전 패밀리 히스토그램들(H p )간의 비교는 히스토그램 차(D) 또는 다른관련된 비교 엔티티들을 계산하는 다음 방법들중 한 방법을 사용하여 계산될 수 있다. 당업자에게 명백한 바와 같이, 본원에 명백하게 서술되지 않은 다른 방법들이 또한 사용될 수 있다.
(1) 히스토그램 차(D)는 다음 식을 사용하여 계산될 수 있다.
여기서,N은 사용되는 총 칼러 빈들(bins)의 수이다. 예를 들어, 빈들의 수(N)는 9로서 선택될 수 있지만, 다른 빈들의 수가 또한 사용될 수 있다. 이 식을 사용하여 구해진 값들은 0 및 각 프레임들의 최대 픽셀들의 수의 2배 사이의 범위에 있다. 유사도(similarity)의 백분율을 얻는 것이 바람직하기 때문에, 상기 구한 값들을 픽셀들의 총 수로 나눔으로써 정규화할 수 있다. 정규화된 값들은 0 및 1 사이에 있는데, 여기서 0에 근사한 값들은 프레임들이 유사하다는 것을 의미하고 1에 근사한 값들은 프레임들이 유사하지 않다는 것을 의미한다.
(2) 히스토그램 차(D)는 대안적으로 다음 식을 사용하여 계산될 수 있다.
이 경우에D의 값들은 상기 (1)의 경우에 대해 서술된 방식과 유사한 방식으로 정규화될 수 있다.
(3) 히스토그램 교차(intersection)(I)는 다음 식을 사용하여 계산될 수 있다.
이 식을 사용하여 구한 값들은 0 및 1 사이의 범위에 있다. 0에 근사한 값들은 프레임들이 유사하지 않는다는 것을 의미하고 1에 근사한 값들은 프레임들이 유사하다는 것을 의미한다. 히스토그램들을 상기 유사도 해석과 비교하기 위하여, 거리 측정으로D=1-I를 사용할 수 있다.
(4) 2개의 프레임 히스토그램들을 비교하는 카이-제곱 테스트(chi-square test)는 다음 식을 사용하여 계산될 수 있다.
이 경우에, 이 값들은 0 및 칼러 빈들의 수(N) 사이의 범위에 있는데,N, 즉으로 정규화될 수 있다.
(5) 빈-형 히스토그램 교차는 다음 식을 사용하여 계산될 수 있다.
상술된 히스토그램 교차와 유사하게,B의 저값들은 프레임들이 유사하지 않다는 것을 의미하고, 고값들은 프레임들이 유사하다는 것을 의미한다. 사전 측정들과 일치되도록,D=1-B/N을 사용하여 그 거리를 계산할 수 있다.
이와 관련하여 서술된 도2의 공정으로부터 명백한 바와 같이, 패밀리 히스토그램은 연속 프레임들, I-프레임들, 브레이크 화면들(scene breaks), 등등으로부터의 프레임들을 나타내는 히스토그로램들로부터 유도된 누적 평균화된 히스토그램일 수 있다. 상술된 바와 같이, 이와 같은 프레임들을 본원에서 키프레임들이라 칭한다. 가장먼저 부닥치는 프레임의 히스토그램이 제1 패밀리를 위한 패밀리 히스토그램으로 처리될 수 있다. 제2 프레임으로부터 시작하고 각각 새롭게 부닥치는 프레임에 대해서, 새로운 프레임이 기존의 패밀리 히스토그램과 병합될 수 있는지 여부 또는 현재 프레임이 실질적으로 상이한지 여부를 결정하여, 새로운 패밀리가 시작되도록 한다. 예로서, 2개의 프레임들 또는 2개의 키프레임들로부터 추출된 2개의 히스토그램들이 제공되면, 이들 2개의 히스토그램들간의 차가 계산될 수 있다. 이 차가 어떤 임계값 보다 작으면, 현재 히스토그램은 패밀리 히스토그램에 병합된다.
패밀리 히스토그램은 각 성분 히스토그램들 및 상응하는 프레임 수들에 대한 포인터, 병합된 패밀리 히스토그램, 및 총 지속기간을 나타내는 변수를 포함하는 데이터 구조로서 구현될 수 있다. 후자의 변수는 현재의 히스토그램으로 표현되는 화면의 지속기간으로 초기화될 수 있다. 패밀리 히스토그램들의 병합은 다음 식에 따라서 수행될 수 있다.
이 식에서,l은 빈 수를 나타내는 변수이며,fam은 이 특정 패밀리에 대한인덱스이며,H fam 은 패밀리 히스토그램을 나타내는 벡터이며,i는 패밀리 히스토그램에서 샷 수를 나타내는 인덱스이며,dur i 는 화면(i)의 지속기간을 나타내는 변수이며,H i (l)은 키프레임 수(i)에 대한 빈(l)의 픽셀들의 수를 나타내는 수치값이고,total_dur fam 은 패밀리 내에 이미 있는 모든 화면들의 총 지속기간을 나타내는 변수이다.
사전 패밀리 히스토그램들에 대한 현재 히스토그램을 비교하는 2가지 예의 실시예들을 본원에서 비연속 및 연속 비교라 칭한다.
비연속 비교의 경우에서, 각 프레임 또는 키프레임에 대하여, 히스토그램을 계산하고 나서 다수의 사전 계산된 패밀리 히스토그램들을 탐색하여, 지정된 시간 기간에 걸쳐서 가장근접한 패밀리 히스토그램 정합을 찾는다. 지정된 시간 기간 내에서 프레임 또는 키프레임 및 가장근접한 패밀리 히스토그램 간의 차가 어떤 임계값 보다 작다면, 현재 프레임 또는 키프레임은 패밀리에 부가되고 새로운 패밀리 히스토그램이 계산되어 새로운 히스토그램을 포함한다. 이는 상호 인접하지 않지만, 그럼에도 불구하고, 유사한 칼라 팔레트들을 갖는 프레임들의 클러스터링(clustering)을 발생시킨다.
연속 비교의 경우에, 각 프레임 또는 키프레임에 대해서, 히스토그램을 계산하고 나서 사전 패밀리 히스토그램에 대해서만 탐색한다. 프레임 또는 키프레임 및 사전 패밀리 히스토그램간의 차가 어떤 임계값 보다 작으면, 현재 프레임 또는 키프레임은 사전 프레임에 부가된다. 그렇치 않다면, 새로운 패밀리는 자신의 패밀리 히스토그램으로서 새로운 히스토그램으로 시작된다.
도3은 본 발명의 기술들을 따라서 패밀리 히스토그램을 생성시키는 한 가지 가능한 방식의 예를 도시한 것이다. 이 예에서, 키프레임(K1)은 192개의 프레임들의 시퀀스를 나타내고, 키프레임(K2)은 79개의 프레임들의 시퀀스를 나타낸다. 칼라 히스토그램들(H1및 H2)은 도2의 단계(204)에서 나타낸 바와 같이, 키프레임들(K1및 K2) 각각으로부터 추출된다. 또한, 이 예에 대해서, 도2와 관련하여 상술된 다른 처리 동작들을 토대로, 칼러 히스토그램들(H1및 H2)를 결합한다라고 결론 지울수 있다라고 가정하자. 그러므로, 이들 히스토그램들은 도면에 도시된 바와 같이 패밀리 히스토그램(FH1)과 결합된다.
도3의 예는 단지 예시를 위한 것이고 어떤 방식으로든 본 발명의 범위를 제한하는 것으로서 구성될 수 없다는 것을 이해하여야 한다. 당업자는 수많은 다른 기술들을 사용하여 본 발명을 따른 패밀리 히스토그램들을 형성하는데 사용될 수 있다는 것을 인지할 것이다.
도2를 다시 참조하면, 단계(210)에서, 현재 패밀리 히스토그램은 광고방송을 나타내는 특성들을 위하여 분석된다. 단계(210)에서 현재 패밀리 히스토그램에 적용되는 분석은 예시된 실시예에서 지속기간 및 반복성의 분석을 포함하는 것이 바람직하다. 지속기간과 관련하여, 소정의 패밀리 히스토그램이 약 15 및 60초 길이 사이에 있다면, 소정의 패밀리 히스토그램은 광고방송과 관련될 수 있다. 소정의패밀리 히스토그램이 광고방송과 관련된 지속기간을 가지면, 또한, 하나 또는 그 이상의 부가적인 패밀리 히스토그램들과 관련하여 상술된 반복성이 바람직하게 분석된다. 예로서, 소정의 패밀리 히스토그램이 약 15 및 60초 사이의 길이를 각각 갖는 일련의 또는 다른 그룹의 패밀리 히스토그램들중 한 히스토그램이면, 입력 비디오에서 광고방송 세그먼트가 나타난다. 그 후, 특정 광고방송 및/또는 광고방송 세그먼트는 단계(212)에서 나타낸 바와 같이 표시될 수 있다.
또 다른 예에서, 단계(210)에서 광고방송 검출은 약 3 내지 5 분 길이의 전형적인 브레이크 광고방송 시간 기간 내에서 약 10초 보다 작은 지속기간의 다수의 짧은 패밀리 히스토그램들 각각을 검출하도록 구성될 수 있다.
단계(210)에서 광고방송 검출은 브레이크 광고방송의 전형적인 지속기간 예를 들어, 약 3 내지 5분 내에서 분당 또는 다른 시간 기간당 고유한(unique) 패밀리 히스토그램들의 수를 검출하도록 구성될 수 있다. 특히, 브레이크 광고방송 은 분당 적어도 4개의 고유한 패밀리 히스토그램, 또는 분당 또는 다른 시간 기간당 어떤 다른 소정수의 고유한 패밀리 히스토그램들의 존재로 나타낼 수 있다. 용어 "고유(unique)"는 규정된 방식으로 서로 상이하게 되는 패밀리 히스토그램들을 지칭한다.
부가적인 예로서, 단계(210)에서 광고방송 검출은 약 30초 보다 큰 지속기간과 같은 규정된 시간량 보다 큰 지속기간을 갖는 어떤 패밀리 히스토그램의 부재를 검출하도록 구성될 수 있다.
단계(210)에서 광고방송 검출은 부가적인 유형들의 분석들을 사용할 수 있다. 이와 같은 분석들은 예를 들어, 패밀리들 사이에서 블랙 프레임들 또는 오디오 사일런스을 탐색하는 것과, 이 패밀리들 내에서 컷 율(cut rate)을 측정하는 것을 포함할 수 있다. 게다가, 특정 클로우즈드 캡션 텍스트 또는 다른 일부 공지된 특징의 존재는 실제로 광고방송 영역에 있는지를 증명하는데 사용될 수 있다. 본 발명과 관련하여 사용하는데 적합한 부가적인 분석들의 다른 예들은 미국 특허 출원 제09/417,288호에서 알 수 있다.
또한, 약 15 내지 60초의 상술된 짧은 지속기간을 갖는 패밀리 히스토그램들은 지정된 길이의 사전 지속기간 예를 들어, 약 15분 이하의 기간동안 발견되는 보다 긴 패밀리 히스토그램들과 비교될 수 있다. 이들 보다 긴 패밀리 히스토그램들은 통상적으로, 광고방송과 관련되는 것이 아니라 방송 프로그램과 관련된다. 일반적으로, 방송 프로그램들은 보다 긴 패밀리 히스토그램들을 갖는 경향이 있는데, 그 이유는 영상 콘텐츠가 많은 프레임들에 걸쳐서 유사하기 때문이다. 그러나, 광고방송들의 경우에, 짧은 패밀리 히스토그램들은 일반적으로, 프로그램들과 관련된 보다 긴 패밀리 히스토그램들과 크게 상이한데, 그 이유는 광고방송들의 영상 콘텐츠가 짧은 시간 기간 내에서 프로그램 콘텐츠과 상이하고 "단속적(catchy)"이되도록 의도적으로 설계되어 있기 때문이다.
또 다른 예로서, 상술된 방식으로 결정된 짧은 패밀리 히스토그램들은 상응하는 프로그램의 포괄적인 슈퍼히스토그램과 비교될 수 있다.
게다가, 종래의 전자 프로그램 가이드(EPG:Electronic Program Guide)로부터의 정보는 상술된 분석들에서 사용될 수 있다. 예를 들어, 프로그램 명, 쟝르 또는다른 항목들은 EPG로부터 얻어질 수 있고 특정 프로그램들을 위하여 사전-계산되어 저장되는 특정한 포괄적인 슈퍼히스토그램들을 식별하는데 사용될 수 있다. 그 후, 상응하는 시간 및 채널에서 방송중인 특정 프로그램의 사전 계산된 슈퍼히스토그램과 정합하지 않는 적절한 지속기간의 패밀리 히스토그램들의 그룹은 프로그램에서 광고방송 세그먼트와 관련되는 것으로서 식별될 수 있다.
반복성에 대해서, 동일 또는 유사한 짧은 패밀리 히스토그램들이 지정된 기간, 예를 들어 한 시간 정도의 기간 내에서 반복되는지를 검사할 수 있다. 예를 들어, 맥주 광고방송들은 스포츠 방송 프로그램에서 빈번하게 반복된다. 맥주 광고방송의 패밀리 히스토그램이 통상적으로 상응하는 스포츠 프로그램의 패밀리 히스토그램과 정합하지 않지만, 이는 스포츠 프로그램에서 사전 포인트에서 동일한 광고방송을 방송하기 위하여 생성된 패밀리 히스토그램과 정합할 수 있다.
또한 다른 예에서, 단계(210)에서 광고방송 검출은 지정된 시간 기간 내에서 다수의 사전 식별된 짧은 패밀리 히스토그램들의 부재를 검출하도록 구성될 수 있다. 특히, 약 15분 정도의 지속기간의 시간이 임의의 다수의 사전-식별된 짧은 패밀리 히스토그램들을 포함하지 않으면, 15분 기간은 블레이크 광고방송들 사이의 프로그램 세그먼트일 수 있다.
또한, 다른 유형들의 원치않는 콘텐츠, 예를 들어, 폭동, 폭발들, 섹스 또는 다른 명시 콘텐츠(explicit content)을 검출하는데 본 발명의 기술들을 사용하는 것이 바람직하다. 본 발명의 기술들을 사용하여 검출될 이들 및 다른 유형들의 콘텐츠는 사용자에 의해 표시될 수 있는데, 예를 들어, 사용자는 특정 유형들의 콘텐츠를 배제 또는 포함하도록 규정할 수 있다.
특정 패밀리 히스토그램들이 광고방송 또는 다른 유형들의 규정된 비디오 콘텐츠과 관련된 것으로서 식별되면, 이들 패밀리 히스토그램들은 이와 같은 콘텐츠의 경계들을 표시하는데 사용될 수 있다.
소정의 패밀리 히스토그램은, 상기 패밀리 히스토그램 내에서 최초, 최종 또는 임의의 지정되거나 랜덤하게 선택된 프레임일 수 있는 키프레임, 상기 패밀리 히스토그램과 가장 밀접하게 관련된다라고 결정된 키프레임 또는 상기 소정의 패밀리 히스토그램을 구성하는 개별 프레임 히스토그램들의 평균으로 표현된다는 점에 유의하여야 한다. 이들 및 그외 다른 표현들은 본원에 사용된 바와 같이 용어 "패밀리 히스토그램" 내에 포함되도록 한다.
도2와 관련하여 서술된 예시적인 공정은 실질적으로 단일의 칼러 팔레트를 갖는 이들 광고방송들 또는 다른 유형들의 비디오 콘텐츠 조차도 식별하는데 사용될 수 있다. 예를 들어, 광고방송들의 경우에, 이 광고방송들은 통상적으로, 약 15 내지 60초 길이이고, 이는 유사한 지속기간의 일련의 다수의 다른 패밀리 히스토그램들 내에서 상응하는 패밀리 히스토그램의 지속기간에서 또는 이의 존재시에 반영된다.
본 발명의 또 다른 예시적인 실시예가 칼러 엔트로피 방법(color entropy method)을 사용하여 구현될 수 있다. 이 방법은 MPEG-엔코딩된 비디오 시퀀스의 I-프레임들에 적용되는 바와 같이 후술되어 있고, 다음 단계들을 포함한다.
1. MPEG-엔코딩된 비디오 시퀀스의 각 I-프레임에 대해서, N-빈 칼러 히스토그램을 계산하라.
2. 어느 빈이 최고 투표수(highest number votes)를 갖는지를 결정하라. 빈당 총 투표수를 이 최고 투표수로 나눔으로써 히스토그램을 정규화하라. 이는j번째 I-프레임(I j )에 대한 확률 벡터를 발생시킬 것이다.
3.j번째 I-프레임(I j )에 대한 칼러 엔트로피를 계산하라.
4.j번째 I-프레임(I j )에서 중심이 맞춰지고 총 I-프레임들을 포함하는 예를 들어 10초의 일시적 슬라이딩 윈도우(temporal sliding window)(W)가 제공되면, 평균 엔트로피를 계산하라.
5. 윈도우(W) 내부에서및의 평균 및 분산을 각각 계산하라
6. 윈도우(W)가 I-프레임으로부터 I-프레임으로 슬라이딩할 때, 단계 5에서 계산된 분산이 피크를 나타내면, 일부 2 또는 3개의 연속적인 I-프레임들 이후에, 이것이 새로운 비디오 세그먼트에 대한 후보로서 발생되는 제1의 I-프레임을 결정하라. 이 변화 후, 분산이 여전이 하이(high)이면, 이 제1의 I-프레임을 광고방송을 위한 후보로서 태그(tag)하라. 다른 한편으로, 이 분산이 신속하게 드롭(drop)되면, 화면 변화에 대한 후보로서 이 제1의 I-프레임을 고려하라.
이 칼러 엔트로피 방법은 상술된 다른 기술들, 예를 들어 도1의 시스템 및 도2의 공정으로 간단하게 구현될 수 있다. 도시된 특정 칼러 엔트로피 방법은 단지 예에 지나지 않으며, 당업자는 다른 칼러 엔트로피 방법들이 본 발명의 기술들에 따라서 구현될 수 있다는 것을 인지할 것이다.
상술된 바와 같이, 광고방송들 또는 다른 유형들의 비디오 콘텐츠가 상술된 기술들을 사용하여 시스템(100)에 의해 검출되면, 예를 들어 녹화 방송을 통한 고속-전진, 텔레비젼 뮤팅, 디지털 비디오 신호에서 지정된 포인트로의 점핑 등에 의해 표시된 광고방송들 또는 다른 콘텐츠를 제거하거나 달리 처리하는 종래의 방식들이 간단하게 적용될 수 있다.
본 발명의 또 다른 장점은 상술된 기술들이 지나치게 큰 메모리 또는 계산 조건들 없이도 구현될 수 있다는 것이다.
광고방송을 검출하는데 매우 적합할지라도, 본 발명은 어떤 특정 유형의 비디오 콘텐츠, 예를 들어, 디스플레이 또는 녹화 후 재생을 위한 어떤 바람직한 유형의 콘텐츠 또는 편집하여 삭제될 어떤 바람직하지 않은 유형의 콘텐츠의 검출과 관련하여 사용될 수 있다.
본 발명의 상술된 실시예들은 단지 예시하고자 하는 것이다. 예를 들어, 본 발명은 어떤 바람직한 유형의 비디오 처리 시스템 또는 장치 및 특히 본원에 서술된 응용들 이외의 응용들에서 다른 유형들의 화상 신호들의 검출을 수행하는데 사용될 수 있다. 게다가, 칼러 히스토그램들을 사용하여 예시되었지만, 본 발명의 기술들은 다른 유형들의 히스토그램들, 예를 들어, 세기 히스토그램들(intensity histograms) 등을 사용하여 구현될 수 있다. 본 발명은 또한, 적어도 부분적으로, 달리 종래의 전자, 자기 또는 광학 저장 매체 또는 다른 유형의 메모리상에 저장되고 프로세싱 장치, 예를 들어 도1의 시스템(100)의 프로세서(105)에 의해 실행되는 하나 또는 그 이상의 소프트웨어 프로그램들의 형태로 구현될 수 있다. 이하의 청구범위의 범위 내에 있는 이들 및 수많은 다른 실시예들이 당업자에게 명백하게 될 것이다.

Claims (21)

  1. 비디오 신호를 처리하는데 사용하기 위한 방법으로서,
    상기 비디오 신호의 복수의 프레임들(K1, K2)로부터 히스토그램들(H1, H2)을 추출하는 단계;
    적어도 상기 추출된 히스토그램들의 서브세트의 각각에 대하여, 상기 추출된 히스토그램을 패밀리 히스토그램과 비교하고, 상기 추출된 히스토그램이 상기 패밀리 히스토그램의 규정된 범위 내에 있다면, 새로운 멤버(member)로서 상기 추출된 히스토그램을 포함하도록 상기 패밀리 히스토그램을 갱신하고, 상기 추출된 히스토그램이 상기 패밀리 히스토그램의 규정된 범위 내에 있지 않다면, 상기 패밀리 히스토그램을 완전한 것으로 나타내고 상기 추출된 히스토그램을 사용하여 다음 추출된 히스토그램들을 처리하는데 사용하기 위한 새로운 패밀리 히스토그램(FH1)을 생성하는 단계; 및
    상기 비디오 신호에서 특정 유형의 비디오 콘텐츠를 검출(210)하도록 하나 또는 그 이상의 상기 패밀리 히스토그램들을 사용하는 단계를 포함하는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  2. 제1항에 있어서, 상기 특정 유형의 비디오 콘텐츠는 생(live) 또는 녹화 방송 프로그램에서 광고방송을 포함하는, 비디오 신호를 처리하는데 사용하기 위한방법.
  3. 제1항에 있어서, 상기 추출된 히스토그램들중 제1 히스토그램을 처리하는데 사용되는 상기 패밀리 히스토그램은 (i) 미리결정된 형태로 초기화되는 초기 패밀리 히스토그램을 포함하거나, (ii) 그 자체가 상기 초기 패밀리 히스토그램으로서 지정되는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  4. 제1항에 있어서, 상기 패밀리 히스토그램은 상기 패밀리 히스토그램을 상기 소정의 추출된 히스토그램과 결합함으로써 상기 패밀리 히스토그램의 규정된 범위 내에 있는 상기 추출된 히스토그램들중 소정의 히스토그램을 위하여 갱신되는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  5. 제1항에 있어서, 상기 비디오 신호에서 특정 유형의 비디오 콘텐츠를 검출하도록 하나 또는 그 이상의 상기 패밀리 히스토그램들을 사용하는 단계는 상기 패밀리 히스토그램의 지속기간을 결정하는 단계를 포함하는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  6. 제5항에 있어서, 상기 패밀리 히스토그램은, 상기 패밀리 히스토그램이 규정된 범위 내에 있는 지속기간을 가진다면, 상기 특정 유형의 비디오 콘텐츠와 관련되는 것으로 나타내어지는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  7. 제6항에 있어서, 상기 규정된 범위는 생 또는 녹화 방송 프로그램에서 광고방송을 포함하는 비디오 콘텐츠에 대하여 약 15 내지 60초인, 비디오 신호를 처리하는데 사용하기 위한 방법.
  8. 제1항에 있어서, 상기 비디오 신호에서 특정 유형의 비디오 콘텐츠를 검출하도록 하나 또는 그 이상의 상기 패밀리 히스토그램들을 사용하는 단계는 상기 패밀리 히스토그램의 반복성(repetitiveness)을 결정하는 단계를 더 포함하는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  9. 제8항에 있어서, 상기 패밀리 히스토그램의 반복성을 결정하는 단계는 상기 패밀리 히스토그램이 규정된 짧은 지속기간을 각각 갖는 일련의 연속적인 패밀리 히스토그램들중 하나인지를 결정하는 단계를 더 포함하는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  10. 제8항에 있어서, 상기 패밀리 히스토그램의 반복성을 결정하는 단계는, 상기 패밀리 히스토그램이 상기 사전 패밀리 히스토그램 이후의 지정된 시간 기간 내에서 발생되는 사전 패밀리 히스토그램의 실질적인 반복인지를 결정하는 단계를 더 포함하며, 상기 반복성은 (i) 약 3 내지 5분의 제1 사전 지정된 시간 기간에서 발생하지 않거나, (ii) 약 15분의 제2 사전 지정된 시간 기간에서 발생하는, 비디오신호를 처리하는데 사용하기 위한 방법.
  11. 제1항에 있어서, 상기 비디오 신호에서 특정 유형의 비디오 콘텐츠를 검출하도록 하나 또는 그 이상의 상기 패밀리 히스토그램들을 사용하는 단계는 약 3 내지 5분 길이의 시간 기간 내에서 약 10초 보다 작은 지속기간의 다수의 짧은 패밀리 히스토그램들을 각각 검출하는 단계를 더 포함하는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  12. 제1항에 있어서, 상기 비디오 신호에서 특정 유형의 비디오 콘텐츠를 검출하도록 하나 또는 그 이상의 상기 패밀리 히스토그램들을 사용하는 단계는 규정된 시간 기간 내에서 발생하는 다수의 고유 패밀리 히스토그램들을 검출하는 단계를 더 포함하는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  13. 제1항에 있어서, 상기 비디오 신호에서 특정 유형의 비디오 콘텐츠를 검출하도록 하나 또는 그 이상의 상기 패밀리 히스토그램들을 사용하는 단계는 규정된 시간 량 보다 큰 지속기간을 갖는 임의의 패밀리 히스토그램의 부재를 검출하는 단계를 더 포함하는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  14. 제13항에 있어서, 상기 규정된 시간량은 약 30초인, 비디오 신호를 처리하는데 사용하기 위한 방법.
  15. 제1항에 있어서, 상기 비디오 신호에서 특정 유형의 비디오 콘텐츠를 검출하도록 하나 또는 그 이상의 상기 패밀리 히스토그램들을 사용하는 단계는 규정된 지속기간의 하나 또는 그 이상의 패밀리 히스토그램들을 특정 프로그램을 위하여 생성되는 슈퍼히스토그램과 비교하는 단계를 더 포함하는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  16. 제15항에 있어서, 상기 특정 프로그램을 위한 상기 슈퍼히스토그램은 사전-계산되어 저장되는 비디오 신호를 처리하는데 사용하기 위한 방법.
  17. 제15항에 있어서, 상기 특정 프로그램 및 그와 관련된 슈퍼히스토그램은 전자 프로그램 가이드(EPG)로부터 얻어진 정보를 사용하여 식별되는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  18. 제1항에 있어서, 상기 비디오 신호에서 특정 유형의 비디오 콘텐츠를 검출하도록 하나 또는 그 이상의 상기 패밀리 히스토그램들을 사용하는 단계는 지정된 시간 기간 내에서 적어도 소정의 지속기간의 다수의 사전-식별된 패밀리 히스토그램들의 부재를 검출하는 단계를 더 포함하는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  19. 제1항에 있어서, 소정의 패밀리 히스토그램은 상기 비디오 신호의 인트라-코딩된 프레임들의 슬라이딩 윈도우 내에서 칼러 엔트로피 분산(color entropy variance)에서 하나 또는 그 이상의 피크들의 결정을 기초하는 칼러 엔트로피 기술에 따라서 생성되는, 비디오 신호를 처리하는데 사용하기 위한 방법.
  20. 비디오 신호를 처리하는데 사용하기 위한 장치로서,
    상기 비디오 신호의 복수의 프레임들(K1, K2)로부터 추출된 히스토그램들(H1, H2)을 처리하도록 동작하는 프로세서(105)로서, 상기 프로세서는, 적어도 상기 추출된 히스토그램들의 서브세트의 각각에 대하여, 상기 추출된 히스토그램을 패밀리 히스토그램과 비교하고, 상기 추출된 히스토그램이 상기 패밀리 히스토그램의 규정된 범위 내에 있다면, 새로운 멤버로서 상기 추출된 히스토그램을 포함하도록 상기 패밀리 히스토그램을 갱신하고, 상기 추출된 히스토그램이 상기 패밀리 히스토그램의 규정된 범위 내에 있지 않다면, 상기 패밀리 히스토그램을 완전한 것으로 나타내고 상기 추출된 히스토그램을 사용하여 다음 추출된 히스토그램들을 처리하는데 사용하기 위한 새로운 패밀리 히스토그램(FH1)을 생성하도록 적응되며, 하나 또는 그 이상의 상기 패밀리 히스토그램들은 상기 비디오 신호에서 특정 유형의 비디오 콘텐츠를 검출(210)하도록 사용될 수 있는, 상기 프로세서; 및
    상기 프로세서에 결합되어 하나 또는 그 이상의 상기 추출된 히스토그램들 및 상기 패밀리 히스토그램들의 적어도 일부를 저장하는 메모리(106)를 포함하는,비디오 신호를 처리하는데 사용하기 위한 장치.
  21. 비디오 신호를 처리하는데 사용하기 위한 하나 또는 그 이상의 소프트웨어 프로그램들을 포함하는 기계-판독가능한 매체를 포함하는 제조 물품으로서,
    실행될 때 상기 하나 또는 그 이상의 소프트웨어 프로그램들은:
    상기 비디오 신호의 복수의 프레임들(K1, K2)로부터 히스토그램들(H1, H2)을 추출하는 단계;
    적어도 상기 추출된 히스토그램들의 서브세트의 각각에 대하여, 상기 추출된 히스토그램을 패밀리 히스토그램과 비교하고, 상기 추출된 히스토그램이 상기 패밀리 히스토그램의 규정된 범위 내에 있다면, 새로운 멤버로서 상기 추출된 히스토그램을 포함하도록 상기 패밀리 히스토그램을 갱신하고, 상기 추출된 히스토그램이 상기 패밀리 히스토그램의 규정된 범위 내에 있지 않다면, 상기 패밀리 히스토그램을 완전한 것으로 나타내고 상기 추출된 히스토그램을 사용하여 다음 추출된 히스토그램들을 처리하는데 사용하기 위한 새로운 패밀리 히스토그램(FH1)을 생성하는 단계; 및
    상기 비디오 신호에서 특정 유형의 비디오 콘텐츠를 검출(210)하도록 하나 또는 그 이상의 상기 패밀리 히스토그램들을 사용하는 단계를 수행하는, 기계-판독가능한 매체를 포함하는 제조 물품.
KR10-2004-7009879A 2001-12-21 2002-12-06 광고방송 및 다른 비디오 콘텐츠의 검출을 위한 패밀리히스토그램 기반으로 한 기술들 KR20040070269A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/028,378 2001-12-21
US10/028,378 US7170566B2 (en) 2001-12-21 2001-12-21 Family histogram based techniques for detection of commercials and other video content
PCT/IB2002/005240 WO2003055202A1 (en) 2001-12-21 2002-12-06 Family histogram based techniques for detection of commercials and other video content

Publications (1)

Publication Number Publication Date
KR20040070269A true KR20040070269A (ko) 2004-08-06

Family

ID=21843118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7009879A KR20040070269A (ko) 2001-12-21 2002-12-06 광고방송 및 다른 비디오 콘텐츠의 검출을 위한 패밀리히스토그램 기반으로 한 기술들

Country Status (7)

Country Link
US (1) US7170566B2 (ko)
EP (1) EP1459518A1 (ko)
JP (1) JP2005513663A (ko)
KR (1) KR20040070269A (ko)
CN (1) CN1279752C (ko)
AU (1) AU2002366823A1 (ko)
WO (1) WO2003055202A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8339241B2 (en) 2005-12-29 2012-12-25 Samsung Electronics Co., Ltd. Method of displaying messages in digital home appliances and display control device
KR20220050561A (ko) * 2020-10-16 2022-04-25 네이버 주식회사 생중계되는 스포츠 경기에 대한 목록을 제공하는 디스플레이 화면에서 광고 썸네일을 제거하기 위한 전자 장치 및 그의 동작 방법

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004004351A1 (en) * 2002-07-01 2004-01-08 Microsoft Corporation A system and method for providing user control over repeating objects embedded in a stream
AU2003253158A1 (en) * 2002-09-23 2004-04-08 Koninklijke Philips Electronics N.V. A video recorder unit and method of operation therefor
US7324736B2 (en) * 2002-10-09 2008-01-29 Lsi Logic Corporation Intelligent recording control system
US7694318B2 (en) * 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
US7327885B2 (en) * 2003-06-30 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Method for detecting short term unusual events in videos
US7502513B2 (en) * 2003-11-14 2009-03-10 Lsi Corporation Commercial detector with a start of active video detector
US7853968B2 (en) * 2003-12-02 2010-12-14 Lsi Corporation Commercial detection suppressor with inactive video modification
CA2563107C (en) 2004-03-29 2014-03-04 Nielsen Media Research, Inc. Methods and apparatus to detect a blank frame in a digital video broadcast signal
US20060218573A1 (en) * 2005-03-04 2006-09-28 Stexar Corp. Television program highlight tagging
US7400364B2 (en) * 2005-04-26 2008-07-15 International Business Machines Corporation Sub-program avoidance redirection for broadcast receivers
KR100707189B1 (ko) * 2005-04-29 2007-04-13 삼성전자주식회사 동영상의 광고 검출 장치 및 방법과 그 장치를 제어하는컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
US20070098357A1 (en) * 2005-10-28 2007-05-03 Microsoft Corporation DVR content skip navigation
KR100729660B1 (ko) * 2005-12-09 2007-06-18 한국전자통신연구원 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법
US20070250856A1 (en) * 2006-04-02 2007-10-25 Jennifer Leavens Distinguishing National and Local Broadcast Advertising and Other Content
US7982797B2 (en) * 2006-06-30 2011-07-19 Hewlett-Packard Development Company, L.P. Detecting blocks of commercial content in video data
KR100803747B1 (ko) * 2006-08-23 2008-02-15 삼성전자주식회사 요약 클립 생성 시스템 및 이를 이용한 요약 클립 생성방법
JP4986817B2 (ja) * 2007-11-13 2012-07-25 株式会社ソニーＤａｄｃ 評価装置、評価方法、プログラム
US8189912B2 (en) * 2007-11-24 2012-05-29 International Business Machines Corporation Efficient histogram storage
US20090320060A1 (en) * 2008-06-23 2009-12-24 Microsoft Corporation Advertisement signature tracking
KR101027159B1 (ko) * 2008-07-28 2011-04-05 뮤추얼아이피서비스(주) 타겟 영상 검출 장치 및 그 방법
US8243289B2 (en) * 2009-05-29 2012-08-14 Perceptron, Inc. System and method for dynamic windowing
US9521453B2 (en) * 2009-09-14 2016-12-13 Tivo Inc. Multifunction multimedia device
US8682145B2 (en) 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US20110137976A1 (en) * 2009-12-04 2011-06-09 Bob Poniatowski Multifunction Multimedia Device
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
US10116902B2 (en) 2010-02-26 2018-10-30 Comcast Cable Communications, Llc Program segmentation of linear transmission
EP2362396B1 (en) * 2010-02-26 2014-06-04 Comcast Cable Communications, LLC Video scene segmentation and classification to skip advertisements.
US8698961B2 (en) * 2010-05-21 2014-04-15 Vixs Systems, Inc. Enhanced histogram equalization
US8599318B2 (en) * 2010-05-21 2013-12-03 Vixs Systems, Inc. Contrast control device and method therefor
US9215511B2 (en) * 2010-11-04 2015-12-15 Verizon Patent And Licensing Inc. Methods and systems for dynamically adjusting at least one of a start and a stop of a recording based on an advertisement break
US8897553B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Image comparison using color histograms
US8750613B2 (en) 2011-12-13 2014-06-10 The Nielsen Company (Us), Llc Detecting objects in images using color histograms
US8897554B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Video comparison using color histograms
TWI538487B (zh) 2013-12-05 2016-06-11 財團法人工業技術研究院 螢幕視訊之預測編碼的方法與系統
US9848222B2 (en) 2015-07-15 2017-12-19 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover
US10623818B2 (en) * 2018-06-14 2020-04-14 Andrew Wasicki Television advertisement reduction apparatus
CN110769321B (zh) * 2019-10-14 2020-07-31 安徽省徽腾智能交通科技有限公司泗县分公司 伴音大数据信号现场播放系统
US11930063B2 (en) * 2020-12-09 2024-03-12 Nagravision S.A. Content completion detection for media content

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4782401A (en) * 1979-05-11 1988-11-01 Nelson A. Faerber Editing method and apparatus for commercials during video recording
US4750052A (en) * 1981-02-13 1988-06-07 Zenith Electronics Corporation Apparatus and method for automatically deleting selected program intervals from recorded television broadcasts
US4752834A (en) 1981-08-31 1988-06-21 Shelton Video Editors Inc. Reciprocating recording method and apparatus for controlling a video recorder so as to edit commercial messages from a recorded television signal
US4677466A (en) * 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
JPH01284092A (ja) * 1988-01-26 1989-11-15 Integrated Circuit Technol Ltd ビデオ信号から特定資料を識別し排除する方法及び装置
US4945412A (en) * 1988-06-14 1990-07-31 Kramer Robert A Method of and system for identification and verification of broadcasting television and radio program segments
US5343251A (en) 1993-05-13 1994-08-30 Pareto Partners, Inc. Method and apparatus for classifying patterns of television programs and commercials based on discerning of broadcast audio and video signals
US5668917A (en) * 1994-07-05 1997-09-16 Lewine; Donald A. Apparatus and method for detection of unwanted broadcast information
US5708477A (en) * 1994-12-01 1998-01-13 Forbes; Scott Jared Video signal identifier for controlling a VCR and television based on the occurrence of commercials
EP0735754B1 (en) 1995-03-30 2008-05-07 THOMSON Licensing Method and apparatus for the classification of television signals
US5870754A (en) * 1996-04-25 1999-02-09 Philips Electronics North America Corporation Video retrieval of MPEG compressed sequences using DC and motion signatures
US6002443A (en) * 1996-11-01 1999-12-14 Iggulden; Jerry Method and apparatus for automatically identifying and selectively altering segments of a television broadcast signal in real-time
US6137544A (en) * 1997-06-02 2000-10-24 Philips Electronics North America Corporation Significant scene detection and frame filtering for a visual indexing system
US6100941A (en) * 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream
US6469749B1 (en) * 1999-10-13 2002-10-22 Koninklijke Philips Electronics N.V. Automatic signature-based spotting, learning and extracting of commercials and other video content
EP1161098B1 (en) 2000-04-27 2011-06-22 Nippon Telegraph And Telephone Corporation Signal detection method and apparatus
US6714594B2 (en) * 2001-05-14 2004-03-30 Koninklijke Philips Electronics N.V. Video content detection method and system leveraging data-compression constructs

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8339241B2 (en) 2005-12-29 2012-12-25 Samsung Electronics Co., Ltd. Method of displaying messages in digital home appliances and display control device
USRE46159E1 (en) 2005-12-29 2016-09-20 Samsung Electronics Co., Ltd. Method of displaying messages in digital home appliances and display control device
KR20220050561A (ko) * 2020-10-16 2022-04-25 네이버 주식회사 생중계되는 스포츠 경기에 대한 목록을 제공하는 디스플레이 화면에서 광고 썸네일을 제거하기 위한 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
EP1459518A1 (en) 2004-09-22
WO2003055202A1 (en) 2003-07-03
AU2002366823A1 (en) 2003-07-09
US7170566B2 (en) 2007-01-30
CN1605190A (zh) 2005-04-06
JP2005513663A (ja) 2005-05-12
CN1279752C (zh) 2006-10-11
US20030117530A1 (en) 2003-06-26

Similar Documents

Publication Publication Date Title
US7170566B2 (en) Family histogram based techniques for detection of commercials and other video content
US6469749B1 (en) Automatic signature-based spotting, learning and extracting of commercials and other video content
US6771885B1 (en) Methods and apparatus for recording programs prior to or beyond a preset recording time period
US7327885B2 (en) Method for detecting short term unusual events in videos
KR100915847B1 (ko) 스트리밍 비디오 북마크들
KR101237229B1 (ko) 콘텐츠 처리 장치 및 콘텐츠 처리 방법
KR100957902B1 (ko) 영상 요약 장치
US7880815B2 (en) Method for detecting and eliminating flash scene in digital video
US20070091203A1 (en) Method and system for segmenting videos using face detection
JP2009135957A (ja) データ圧縮パラメータを利用したビデオコンテンツ分析方法およびシステム
US20030061612A1 (en) Key frame-based video summary system
US20010021267A1 (en) Method of detecting dissolve/fade in MPEG-compressed video environment
US20050264703A1 (en) Moving image processing apparatus and method
JP2005514841A (ja) マルチメディア・コンテンツをリンクするよう複数モードのストーリーをセグメントする方法及び装置
JP2002016873A (ja) 信号処理装置及び方法
US20100259688A1 (en) method of determining a starting point of a semantic unit in an audiovisual signal
Kobla et al. Special-effect edit detection using VideoTrails: a comparison with existing techniques
KR100436828B1 (ko) 주문형 동영상 요약 서비스 시스템
US20100169248A1 (en) Content division position determination device, content viewing control device, and program
McGee et al. Parsing TV programs for identification and removal of nonstory segments
KR20050033075A (ko) 비디오 이미지들의 시퀀스에서 콘텐트 속성을 검출하는 유닛 및 방법
US20100002149A1 (en) Method and apparatus for detecting slow motion
Kim et al. An adaptive shot change detection algorithm using an average of absolute difference histogram within extension sliding window
Nakajima et al. Automatic anchorperson detection from an MPEG coded TV program

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid