KR100869038B1

KR100869038B1 - 컨텐츠 에디터, 비디오 컨텐츠 검출기, 커머셜 및 컨텐츠 검출 방법

Info

Publication number: KR100869038B1
Application number: KR1020037000892A
Authority: KR
Inventors: 디미트로바네벤카; 맥기토마스에프엠; 네스바드바잔에이디; 메켄캄프게하더스이; 살로몬스에두아르트더블류
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-05-14
Filing date: 2002-05-08
Publication date: 2008-11-17
Also published as: KR20030031961A; US20020186768A1; CN100493186C; JP2009135957A; JP2004522354A; CN1757236A; US6714594B2; EP1393569A1; WO2002093929A1

Abstract

비디오를 압축하는 프로세스는 압축 프로세스에 이용되는 여러 데이터의 계산을 요구한다. 본 발명은 컨텐츠 검출의 목적들을 위해 이 데이터의 일부 또는 모두를 이용한다. 휘도, 모션 벡터 필드, 잔여값들, 양자화기, 비트 레이트 등은 모두 컨텐츠의 시그니쳐(signature)들로서 직접 또는 조합하여 이용될 수 있다. 컨텐츠 검출을 위한 프로세스는 컨텐츠의 특정한 유형을 포함한 시퀀스의 시작 및/또는 종료의 표시자들로서의 하나 또는 그 이상의 특성(feature)들, 및 이 시작/종료 표시자들에 의해 경계지어진 컨텐츠의 유형의 검증기들로서의 다른 특성들을 채용할 수 있다. 상기 특성들은 양호한 계산 절약 및 컨텐츠 분류 효용을 가진 더 높은 레벨 특성 데이터를 생성하도록 조합 및/또는 개량될 수 있다.

특성 데이터, 비디오 압축 인코더, 분석 엔진, 재생 선택기

Description

컨텐츠 에디터, 비디오 컨텐츠 검출기, 커머셜 및 컨텐츠 검출 방법{A content editor, a video content detector, a method for detecting commercials and content}

관련 출원들의 참조

본 발명은 다음의 특허들/특허출원들에 관한 것으로, 이는 본원 명세서에 그 전문이 완전히 시작된 것처럼 참조문헌으로서 포함된다.

1. 1998년 7월 28일 출원된, 네벤카 디미트로바(Nevenka Dimitrova), 토마스 맥기(Thomas McGee), 허만 엘렌바스(Herman Elenbaas), 유진 레이비(Eugene Leyvi), 캐롤린 램시(Carolyn Ramsey) 및 데이빗 버코비츠(David Berkowitz)에 의해 발명된, 발명의 명칭이 "비디오 데이터 스트림 내에 배치된 커머셜을 찾아내기 위한 장치 및 방법(Apparatus and Method for Locating a Commercial Disposed Within a Video Data Stream)"인 미국 특허 제 6,100,941 호.

2. 1999년 10월 13일 출원된, 디미트로바, 맥기, 애그니호트리(Agnihotri)에 의해 발명된, 발명의 명칭이 "커머셜들 및 다른 비디오 컨텐츠의 시그니쳐에 기초한 자동 탐지, 학습 및 추출(Automatic Signature-Based Spotting, Learning and Extracting of Commercials and Other Video Content)"인 미국 특허 출원 제 09/417,288 호.

발명의 분야

본 발명은 비디오 데이터 스트림들에서의 컨텐츠, 예컨대, 커머셜(commercial)들의 검출에 관한 것으로, 특히 커머셜의 시간적인 경계(temporal boundary)들과 같은, 컨텐츠의 하나의 유형으로부터 다른 유형으로의 전이(transition)들의 정확한 식별에 관한 것이다.

발명의 배경

방송 비디오의 컨텐츠를 변경 및/또는 기록하는 장치들인, 개인용 비디오 수신기들/레코더들은 점점 대중화되고 있다. 한 예는 저장된 사용자 선호(user preference)들에 응답해서 하드디스크 상에 프로그램들을 자동적으로 기록하는 개인용 비디오 레코더이다. 그러한 시스템들에 대한 연구에 속하는 특성(feature)들 중 하나는 컨텐츠 검출(content detection)이다. 예컨대, 커머셜들을 검출할 수 있는 시스템은 대용 광고(substitute advertisement)들이 비디오 스트림("커머셜 스와핑(commercial swapping)")에 관심 있게 하거나, 커머셜의 끝에 비디오의 시간적인 주춤(temporary halting)이 커머셜 동안 잠시 전환되어 임의의 메인 프로그램 컨텐츠를 놓치는 것으로부터 사용자를 보호하게 할 수 있다.

커머셜들을 검출하기 위한 공지된 방법들이 존재한다. 한 방법은 시간적으로 인접한 프레임들 사이의 페이드(fade) 또는 움직임 전이(movement transition)없는 씬(scene)에서 갑작스런 변하에 기인한 높은 컷 레이트(cut rate)의 검출이다. 컷들이 하드 컷(hard cut)들일 필요가 없기 때문에, 컷들은 페이드들을 포함할 수 있다. 보다 강한 기준(criterion)은 높은 전이 레이트들일 수 있다. 다른 표시자는 커머셜 중단의 시작을 나타낼 수 있는 무성(silence)과 결합된 블랙 프레임(또는 단색 프레임(monochrome frame))의 존재이다. 커머셜들의 다른 공지된 표시자는 높은 활동성, 즉, 오브젝트들이 주요 특성(feature)(비커머셜) 자료 동안보다 커머셜들 동안 더 빠르게 움직이고 더 자주 변하는 관찰/가정으로부터 유도된 표시자이다. 이들 방법들은 조금은 기대한 결과들을 보이지만, 신뢰도는 여전히 부족하다. 단색 프레임들 및 높은 활동성의 검출을 이용하는 커머셜 분리에 관한 많은 등록된 특허들이 존재한다. "에지 변경비(edge change ratio) 및 모션 벡터 길이"라 불리는 기술에 의해 측정된 것과 같은 단색 프레임들, 씬 중단들, 및 액션의 이용은 보고되어 있다.

휘도 레벨의 변경 비율에 의해 나타내지는 블랙 프레임 검출 및 "활동성"의 조합은 논의되었다. 불행하게도, "활동성"을 구성하는 것을 결정하고 온셋(onset) 및 종료(termination)의 정확한 지점을 식별하는 것은 어렵다. 다른 것들 중에서, 디졸브(dissolve)들이 또한 발견되기 때문에, 블랙 프레임들은 잘못된 포지티브(false positive)들을 생성한다. 따라서, 높은 액션 시퀀스에 선행된 블랙 프레임들의 임의의 시퀀스는 커머셜로서 잘못 판단되어 스킵될 수 있다.

다른 기술은 커머셜의 존재를 결정하도록 블랙 프레임 시퀀스들 간의 시간적인 간격을 측정하는 것이다. 다른 기술은 매칭 이미지들에 기초하여 커머셜들을 식별하는 것이다. 즉, 이미지 컨텐츠 품질들에서의 차이들은 표시자로서 이용되었다. 커머셜 경계들을 구별하는 비디오 스트림 내의 미리 결정된 표시자의 이용이 또한 공지되어 있지만, 이는 단순히 이전에 공지된 커머셜을 표시하는 방법이며, 그것들을 검출하는 방법이 아니다. 비디오 스트림의 분석에 기초하여 컨텐츠를 구별하도록 구성된 트레이닝된 뉴럴 네트워크(trained neural network)들에 기초한 커머셜 검출이 제안되어 있지만, 지금까지 큰 성공을 거두지는 못했다. 또한, 뉴럴 네트워크들은 이 제안을 구현하는데 복잡하고 고가이다.

간단히 말해서, 본 발명은 다양한 분류기 도구(classifier tool)들에 대해 입력들로서 비디오를 압축하는 프로세스에서 자동적으로 생성되는 저 및 중간 레벨 특성들(low and mid-level feature)들을 채용한다. 분류기 도구들은 커머셜 특성들을 식별하도록 트레이닝되고, 그것들에 응답해서 메트릭(metric)들을 생성한다. 메트릭들은 커머셜들의 경계들을 검출하는 조합(수퍼분류기)에 채용된다. 이들 저 및 중간 레벨 특성들을 이용하는 이점은 그들이 주문형 집적회로(application-specific integrated circuit; ASIC) 또는 주문형 명령 세트 프로세서(application-specific instruction-set processor; ASIP)를 이용하는 것과 같은 비교적 낮은 비용의 전자기기(electronic)들을 이용하여 매우 빠르게 생성 및 처리될 수 있다는 것이다.

일반적으로 말해서, 포함된 프로세스들이 높은 스피드를 요구하기 때문에, 전용 칩은 보통 소비자 기구들에서 이미지 압축을 실행한다. 본 발명의 한 측면은 압축에 대해서 뿐만 아니라, 컨텐츠의 특정 유형들을 검출하기 위해 요구되는 비디오의 분석들에 대해서도 압축 프로세스의 결과들을 레버레이지(leverage)하기 위한 방법을 제공하는 것이다. 비디오를 압축할 수 있는 장치의 일례는 MPEG-2로 공지된 MPEG(Motion Pictures Expert Group) 압축 방식을 구현한다.

MPEG-2에 있어서, 비디오 데이터는 픽처들의 그룹(GOP)을 각각 포함하는 비디오 시퀀스들에 의해 나타내지고, 각각의 GOP는 비디오를 구성하는 픽처들 또는 "프레임들"을 기술하는 데이터의 조각들을 포함한다. 프레임은 비디오 시퀀스의 제 1 코딩 유닛이다. 픽처는 3개의 직교 행렬들로 구성되고, 하나는 휘도(프레임의 여러 부분들의 세기)를 나타내며 두 개는 색차(Cb 및 Cr; 프레임의 여러 부분들의 컬러)를 나타낸다. 휘도 행렬은 짝수의 행들과 열들을 갖는다. 색차 행렬들은, 인간의 지각력이 광도에 대해서 보다 컬러에 대해 덜 민감하기 때문에 각각의 방향(수직 및 수평)에서의 Y 행렬의 1/2 크기이다. 각각의 프레임은 또한, "슬라이스들"로 그룹화된 하나 또는 그 이상의 인접한 매크로블록들로 분할된다. 슬라이스내의 매크로블록들의 순서는 왼쪽에서 오른쪽, 위에서 아래까지이다. 매크로블록은 MPEG-2 방식에서의 기본 코딩 유닛이다. 그것은 프레임의 16x16 픽셀 부분을 나타낸다. 각각의 색차 성분이 휘도 성분의 1/2 수직 및 수평 해상도를 갖기 때문에, 매크로블록은 4개의 휘도, 하나의 Cb 블록 및, 하나의 Cr 블록으로 구성된다. 각각의 휘도 매크로블록은 또한, 8x8픽셀들의 4개의 블록들로 분할된다.

MPEG-2에 있어서, 내부 프레임(Intra-frame)들 또는 "I 프레임들"이라 불리는 어떤 프레임들은 임의의 다른 프레임의 컨텐츠와 무관한 데이터에 의해 나타내진다. 이것은 그러한 프레임이 위치된 어떤 곳에서 재생 장치가 비디오 파일을 입력하도록 한다. MPEG-2에 있어서, 픽처들의 임의의 그룹을 항상 리드하는 I 프레임을 통해, 프레임들은 픽처들의 그룹(GOF)으로 그룹화된다. I 프레임들은, 부분적으로 P 프레임에 대응하는 프레임을 나타내는 데이터에 의해 규정되고, 부분적으로 하나 또는 그 이상의 이전 프레임들을 나타내는 데이터에 대해 규정되는 예측된 프레임들 또는 "P 프레임들"로부터 명백해진다. 양방향 프레임들 또는 "B 프레임들"은 B 프레임 자체에 대응하는 데이터뿐만 아니라 이전 및 장래 프레임들 모두로부터의 데이터에 의해 나타내진다. MPEG-2로 압축된 데이터에서의 방법은 프레임의 유형에 의존한다. I 프레임의 블록들은 이산 코사인 변환(DCT)이라 불리는 서로 다른 포맷으로 각각 변형된다. 이 프로세스는 서로 다른 사전 규정된 웨이브 패턴들의 합으로서 각각의 블록의 외관을 규정하여 개략적으로 기술될 수 있어서 매우 상세한 패턴이 많은 짧은 웨이브 패턴들을 포함하고 평활 패턴(smooth pattern)이 긴(길든 안 길든) 웨이브들을 포함할 것이다. 이것을 하는 이유는 비디오에서 많은 블록들이 평활하기 때문이다. 이것은 런 랭스 인코딩(run-length encoding)이라 불리는 프로세스에 의해 현저히 압축될 그러한 블록들에서의 짧은 웨이브들의 기여들을 기술하는 데이터를 허용한다. 또한, 비디오가 병목(bottleneck)으로 강요되어야 하고 어떤 데이터가 희생되어야 할 때, DCT 표현으로부터의 어떤 데이터를 버리는 것은, 예컨대 홀들이 가득찬 픽처들을 남길 수 있는 원래의 이미지에서의 데이터를 버리는 것보다 양호한 픽처를 산출한다.

DCT 데이터는 많은 서로 다른 웨이브 패턴들, 또는 그들 사이에 중요한 단계들을 갖는 몇몇의 서로 다른 웨이브 패턴들로 표현될 수 있다. 초기에, DCT 데이터는 매우 미세하게 그레인(fine-grain)된다. 압축 프로세스의 일부로서, DCT 데이터 는, 서로 다른 웨이브 패턴들의 상대적 기여들이 얼마나 많은 데이터가 압축되어야 하느냐에 의존하여, 미세하지 않거나 미세하게 그레인된 스케일들에 의해 나타내지는 양자화라 불리는 프로세스에 적용된다.

P 프레임들 및 B 프레임들을 생성하도록 비디오 이미지를 압축하는 단계는 보다 복잡한 프로세스들을 포함한다. 컴퓨터는 제 1 이미지 및 그것에 앞선 이미지를 가져가서 하나의 이미지로부터 다음 이미지까지 각각의 블록(또는 사용자의 선택에 의존하는 매크로블록)이 움직였던 곳을 찾는다. P 프레임에서의 전체 블록을 기술하는 대신, MPEG-2 데이터는 단순히, 이전 프레임에서의 블록이 새 프레임으로 움직였던 곳을 표시한다. 이것은 움직임의 거리를 표시하는 길이와 움직임의 방향을 표시하는 방위의 벡터, 라인, 또는 화살표로 기술된다. 그리나, 이러한 종류의 기술은 비디오에서의 모든 모션이 자주 움직이는 블로브(blob)들에 관해 기술될 수 있지 않기 때문에 결점이 있다. 그러나, 상기 결점은 모션 기술에 의해 예측된 이미지 및 실제 보이는 이미지 사이에서의 차이를 규정하는 정정을 전송함으로서 고정된다. 이러한 정정은 레지듀얼(residual)이라 불린다. 모션 데이터 및 레지듀얼 데이터는 I 프레임 이미지 데이터와 같이, DCT 및 양자화에 적용된다. B 프레임들은 그들이 그들의 데이터를 인코딩할 시의 이전 및 장래 프레임들 모두를 참조할 수 있는 것을 제외하고, P 프레임들과 유사하다.

예시적인 비디오 압축 장치는 압축 프로세스의 부산물로서, 각각의 프레임에 대한 다음에 따르는 데이터를 생성한다. 다음은 인코더로부터 경제적으로 얻어질 수 있는 것의 예들이고 결코 포괄적이지 않다. 또한, 그들은 인코더의 유형에 의존 하여 변할 것이다.

- 프레임 표시자: 프레임의 유형(I, P, 또는 B)을 표시하기 위해 사용될 수 있는 프레임 식별자.

- 휘도 DC 전체값: I 프레임의 휘도의 표시.

- 양자화기 스케일: DCT 데이터를 위해 사용된 양자화 스케일.

- MAD(Mean Absolute Difference) : 벡터들 크기들의 평균이 블록들의 움직임에 관하여 P- 또는 B-이미지를 기술하기 위해 사용되었다. 생성되는 것, 예를 들면 전체 프레임의 상부 또는 하부만을 나타내는 것 또는 프레임의 모든 블록들을 포함하는 것의 수 개가 있다.

- 현재 비트 레이트 : GOP를 나타내는 데이터의 양

- 프로그레시브/인터레이스 값 : 이미지가 일반적으로 종래의 텔레비전 비디오에서 발견되는 인터레이스 형태 또는 영화들 및 컴퓨터 애니메이션으로부터의 비디오에서 일반적으로 발견되는 프로그레시브 형태인지의 표시자.

- 휘도 DC 차분값 : 이 값은 프레임의 매크로블록들 간의 휘도 변화를 나타낸다. 낮은 변화는 블랭크 스크린일 수 있는 균일한 이미지를 의미한다.

- 색차 DC 전체값. 휘도 값과 유사하지만 휘도 성분보다는 오히려 색차 성분에 기초함.

- 색차 DC 차분값. 휘도 차분값과 유사하지만 휘도 성분보다는 색차 성분에 기초함.

- 레터박스(Letterbox) 값 : 와이드스크린 포맷이 텔레비전 스크린 상에 페 인트되는 때와 같이, 프레임들의 상부 및 하부에서 균일한 밴드를 찾음으로써 비디오 이미지들의 형상을 나타냄.

- 타임 스탬프들 : 커머셜들의 표시(indicia)는 없지만 비디오 스트림의 위치를 나타내고 컨텐츠에 의해 구별가능한 비디오 시퀀스들의 시작 및 종료들을 표시하기 위해 사용된다.

- 씬(scene) 변경 검출 : 이것은 평균 MAD 값의 급격한 변화로 인한 씬 컨텐츠의 갑작스런 변화를 나타낸다.

- 키프레임 거리 : 이것은 씬 컷들(scene cuts) 사이의 프레임들의 수이다.

커머셜들이 있는 비디오의 15시간에 걸쳐, 식별되고 임시로 브래킷된 컨텐츠 형태의 예가 시험되었다. 상이한 특성들의 유효성 및 특성들의 조합은 커머셜 시퀀스들의 시작와 종료들의 표시자들로서 결정되었다. 위에 기술된 개개의 표시자들은 조합되었을 때보다 그들 자신은 신뢰성이 덜한 것으로 판정되었다. 이들 시험들로 이들 데이터를 조합하는 다양한 방법들이 신뢰성 있는 컨텐츠 검출, 특히 커머셜 검출을 위해 사용될 수 있다는 것을 확인했다.

본 발명은 더욱 완전하게 이해될 수 있도록 하기 위해 다음의 예시적인 도면들 및 특정 바람직한 실시예들을 참조하여 설명될 것이다. 도면들을 참조하면, 도시된 내용들은 예로서 나타낸 것이며 본 발명의 최선의 실시예들의 예시적인 설명을 위한 것이며, 본 발명의 개념적 면들 및 원리들의 설명에 가장 유용하고 용이하게 이해될 것으로 생각되는 것을 제공하기 위해 주어졌다. 이에 대해, 본 발명의 기본적인 이해를 위해 필요한 것보다 더 상세하게 본 발명의 구조적인 상세들을 보 이기 위한 시도는 행해지지 않았으며, 도면들을 참조한 상세한 설명은 어떻게 본 발명의 몇 가지 형태들이 실제로 구현될 수 있는가에 대해 이 기술 분야에서 숙련된 사람에게 명백하게 할 것이다.

도 1은 본 발명의 실시예에 따라 압축 특성들에 기초하여 비디오 컨텐츠 식별의 프로세스를 구현하기 위한 하드웨어 시스템의 블록 다이어그램.

도 2는 본 발명의 실시예에 따라 컨텐츠 시퀀스들의 식별을 위한 압축 특성들을 사용하는 프로세스를 도시하는 플로우챠트.

도 3은 본 발명의 다른 실시예에 따라 컨텐츠 시퀀스들의 식별을 위한 압축 특성들을 사용하는 프로세스를 도시하는 플로우챠트.

도 1을 참조하면, 비디오 압축 동안 생성되는 데이터를 레버레이징하여 컨텐츠를 검출하기 위해 사용될 수 있는 시스템이 도시된다. 도시된 실시예에서, MPEG 인코더(100)는 인터넷, 데이터 저장, 방송, 또는 다른 소스와 같은 라이브 데이터 공급으로부터 비디오 데이터(90)를 인코딩한다. MPEG 인코더는 하드디스크, DVD, CDROM, 또는 다른 데이터 저장 매체와 같은 데이터 저장소(110) 내에 저장될 수 있는 압축된 데이터를 생성한다. 대안적으로, 데이터는 어떠한 적합한 수단에 의해 분배되기 위해 버퍼링될 수 있다. MPEG 인코더(100)는 다양한 다른 값들을 생성할 수 있으며, 이들 중의 일부가 아래에 나열된다:

- 프레임 표시자

- 휘도 DC 전체값

- 양자화기 스케일

- MAD(평균 절대차 ; Mean Absolute Difference) 전체값, 낮은 부분

- 현재 비트 레이트

- X방향으로의 필드 움직임 평균

- 휘도 차분값

- MAD 전체값, 상부 부분: 모든 MAD 값들의 합

- MAD 전체값, 하부 부분: 모든 MAD 값들의 합

- 레터박스 값

- 타임 스탬프

- 색차 DC 전체값

- 색차 차분값

일반적으로 칩 기반의 압축 인코더들은 이들 값 모두를 생성하지는 않으며, 그것들이 달리 사용되지 않으므로 그것들이 생성하는 이들 값들을 유지하는 레지스터들을 노출시키지 않는다. 본 발명에서, 이들 값들은 내용 인식을 위한 부가적인 프로세스들에 인가된다. 압축 칩들은 이들 값들의 일부를 생성하고 외부 프로세스들에 대해 그것들을 유지하는 그들의 레지스터들을 노출시키기 위해 변형될 필요가 있다. 이러한 칩 상의 계산 부담은 이것을 행함으로써 충분히 증가되지 않으며, 압축 칩의 요구된 설계 변형들은 통상의 숙련자의 능력 내에서 행해질 수 있다. 순수(pure) 소프트웨어 시스템들은 가변 정의 변경들(variable definition changes)과 같은 단순한 소프트웨어 변형들에 의해 임의의 다른 프로세스에 이들 데이터를 제공할 수 있다. 상기는 MPEG 인코더(100)에 의해 가공하지 않은(raw) 형태로 내용 분석기(120)에 출력될 수 있으며, 또는 데이터는 여기에서 설명되는 기능들의 할당(인코더(100)와 분석기(120) 사이)에 의존하여, 가정먼저 정련될 수 있다. 이들 데이터는 MPEG 분야의 표준이지만, 편의상, 어떻게 이것들이 이용되고 필터링될 수 있는지에 대해서 일부 코멘트에 따라서, 아래에서 설명된다.

재생 선택기(130)는 압축된 비디오를 편집하기 위해 내용 분석기로부터의 결과들을 사용할 수 있다. 예를 들어, 커머셜들 또는 고액션 시퀀스들(high action sequences)은 비디오 자료로부터 삭제되도록 요구되고, 재생 선택기는 내용분석기(120) 분석으로부터 얻어지는 마커들(markers)에 의해 괄호로 묶여지고 데이터 저장장치(110)의 MPEG 파일로 저장된 자료에 대해 스킵(skip)할 수 있다. MPEG 데이터는 압축 프로세스로부터 이용할 수 있는 데이터의 종류의 예로서 아래에 설명된다.

프레임 표시자

프레임 표시자는 단지 프레임의 서수의 표시자이다. 프레임 표시자는 I-프레임들과 P-프레임들(및 B-프레임들)을 구별한다. GOP 크기 6에 대해, I-프레임들은 0의 값을 가지며 P-프레임들(또는 B-프레임들)은 1, 2, 3, 4 또는 5의 값을 가진다. I 및 P 또는 B 프레임 표시는 이하에 논의된 바와 같이 컨텐츠 검출을 위해 이용될 수 있다.

휘도 전체값

휘도 전체값은 전체 프레임에 걸친 각각의 매크로 블록의 제 1(4 개 중에서)휘도 DC 값들의 합이다. DC(색차 또는 휘도) 값들의 임의의 선택이 또한 이용될 수 있다. 전자의 값은 I-프레임들에 대해서만 유용하다. P-프레임들 및 B-프레임들에 대해, 휘도 전체값은 이전 프레임들에 기초하여 계산된다. 휘도 전체값은 블록 프레임 검출을 위해 이용될 수 있다. 대안적으로, 이하에 논의된 바와 같이, 총계값, 휘도 차분값은 단색(블랙이 아님, 그러나 동종의 컬러 프레임)과 이 일을 위한 다른 이점들을 제공할 수 있다. 휘도 전체값은 플래쉬들의 검출과 같은, 특정한 종류들의 검출에 대해 이점이 있다.

양자화기 스케일

양자화기 스케일은 비디오 데이터의 양자화를 위해 MPEG 인코더(100)에 의해 이용되는 양자화 값을 나타낸다. 이 양자화 값은 비트 레이트가 미리 정의된 대역에 머무는 것을 보장하도록 적응될 수 있다. 이 특성은 매우 복잡하거나 빠른 움직이는 씬을 검출하는 데 유용하다. 이 값은 P-프레임들 및 B-프레임들뿐만 아니라 I-프레임들과 관련이 있다.

MAD 전체값-상부

위에서 설명된 바와 같이, MPEG 인코딩 프로세스의 일부는 한 프레임으로부터 다른 프레임으로 색상 및 휘도의 필드들의 움직임의 추정이다. 이 프로세스의 결과들은 MAD 매칭 기준에 의해 결정되는 값들을 가진 변위 벡터들이다. 상부의 MAD 전체 값은 첨예한 씬 변화들을 가리킬 수 있다. 프레임은 상부(슬라이스들 0-25)와 하부(슬라이스들 26-35)로 분할된다. 프레임의 상부에는, 서브타이틀들이 나타나지 않으며, 따라서 텍스트 변화들로 인한 잘못된 검출은 생성할 수 없다. MAD 전체 값-상부는 슬라이드들 0-25의 매크로블록들의 모든 MAD 값들의 합이다. 정적인 씬들의 경우에는, 매크로블록들이 단지 약간 변위되게 되고 기준 매크로블록들과 아주 잘 매칭되게 된다. 그러므로, MAD 값은 매우 낮게 된다(0에 접근함). 첨예한 씬 변화에서는, 비매칭 매크로블록들이 발견되게 되거나 단지 많은 컨텐츠 차이를 갖게 된다. 그러므로, 첨예한 장변 변화에서의 MAD 값은 평균 MAD 값보다 훨씬 크다.

MAD 전체 값, 하부

이 값의 계산은 프레임의 상부의 값 계산과 동일하다. MAD 전체값 하부는 슬라이스들 26-35의 매크로블록들의 모든 MAD 값들의 합이다. 또한, 프레임들은 (유럽의 일부 국가들에서 사용되는) 서브타이틀들의 각각의 변화가 잘못된 씬 변호나 검출을 초래하기 때문에 분할된다. 하부 프레임 부분의 MAD 값은 서브타이틀 변화 검출기로서 그리고 첨예한 씬 변화 검출기의 지원 구성으로서 유용할 수 있다.

현재 비트 레이트

현재 비트 레이트는 MPEG 데이터의 전송을 위한 비트 레이트를 가리키며, 또한 GOP마다 고정값을 가지고 있다. 특정 대역에서 현재 비트 레이트를 유지하기 위하여, 양자화기 값은 실제의 현재 비트 레이트에 따라 증가 또는 감소된다. 이 값은 고속으로 변화하는 또는 매우 복잡한 씬들을 가리키기 위해 상기 양자화기 값과 협력하여 사용된다.

프로그레시브/인터레이스된 값

X 방향에서의 필드 움직임 평균값은 x 방향에서의 각각의 매크로블록의 변위값을 가리킨다. 이는 예컨대 씬 내의 충분한 움직임에 대한 체크로서 사용될 수 있고, 이 움직임은 프로그레시브로부터 인터레이스 비디오 또는 그 역으로의 시프트가 존재하는지를 가리키는데 사용될 수 있다. 실제 매크로블록의 수평 변위의 절대값이 8 하프 픽셀들보다 크면(좌로 또는 우로의 충분한 움직임을 위한 제어), 실제 프레임의 프로그레시브/인터레이스된 값은, 매크로블록이 프레임 DCT 인코딩되는 경우(즉, 매크로블록의 DCT 유형 모드가 0임)에는 1만큼 증가될 수 있고, 또는 매크로블록이 필드 DCT 코딩되는 경우(즉, DCT 유형 모드가 1임)에는 1만큼 감소될 수 있다. 문턱값에 대한 프로그레시브/인터레이스 값은 현재 비디오가 프로그레시브인지 인터레이스인지를 나타내는 표시자로서 사용될 수 있다.

휘도 DC 차분값

이 값은 블랙 프레임들, 무색 프레임들 및 적은 정보 컨텐츠를 가진 프레임들을 가리키는데 사용될 수 있다. 휘도 DC 차분값을 계산하기 위해, 슬라이스의 연속 매크로블록들의 DC 값들(각각의 매크로블록의 제 1 DC 값들만)의 절대치가 먼저 함께 합산된다. 다음에, 프레임 내의 모든 슬라이스들의 합산된 값들은 전체 값을 제공하기 위해 함께 합산된다.

색차 DC 차분값

이 값은 블랙 프레임들, 무색 프레임들, 및 적은 정보 컨텐츠 또는 그 반대를 가진 프레임들을 가리키는 것을 보조하는데 사용될 수 있다. 색차 DC 차분값을 계산하기 위하여, 슬라이스의 연속된 매크로블록들의 DC 값들(또는 서브세트)의 절대 차는 위와 같이 먼저 함께 더해진다. 분리된 값들은 분리된 색차 신호들, 예를 들면 Cr 및 Cb를 위해 계산될 수 있다.

색상 히스토그램은 또한 압축 인코더의 출력이거나 그것으로 만들어질 수 있다. 히스토그램은 단색 프레임들을 나타내도록 사용될 수 있다. 히스토그램은 또한 독립적인 서명 장치를 수행할 수 있다. 즉, 다른 파라미터들을 따라, 또는 그 자신에 의해서라도, 이것은 컨텐츠의 일부 형태들을 다른 것들로부터 구분하도록 수행할 수 있다. 히스토그램은 블록들이 원래의 이미지보다 낮은 해상도에 있기 때문에 유효하게 생성될 수 있다.

레터박스 값

레터박스 값은 휘도 DC 값에 기초한다. 첫번째 두 개의 슬라이스들(슬라이스들0 & 1) 및 마지막 두 개의 슬라이스들(PAL에 대한 슬라이스들 34 & 35)의 매크로 블록들의 휘도 DC 총 값들은 함께 더해지고 두 값들의 최대값이 레터박스 값을 준다. 레터박스 값은 휘도 차분값 또는 총 값을 기초로 계산될 수 있다.

오디오 특성들

아래에서 설명될 바와 같이, 오디오 압축은 컨텐츠의 분류를 위해 사용될 수 있는, 유용한 값들의 변화를 생성한다. 예를 들면, 양자화된 서브밴드 데이터 상에서 동작하는 기능은 이러한 부가적인 특성들을 생성하도록 사용될 수 있다.

타임 스탬프들

타임 스탬프들은 프레임들을 검색하고, 검출된 컨텐츠 브레이크들을 표시하는데 사용된다.

위에서 설명된 특성들의 세트가 그로부터 얻어진 중간 레벨의 특성들의 세트를 생성시키기 위해 감소될 수 있다. 예를 들면, 다음이 커머셜 브레이크들의 검출에 도움을 주기 위한 그들의 능력을 위해 검사된다.

-씬 변화 검출

-블랙 프레임/단색 프레임 검출

-레터박스 검출

-인터레이스/프로그레시브 표시자

-키 프레임 거리

이러한 특성들이 이하에서 설명된다.

씬 변화 검출

씬 변화 표시자가 그 프레임 상부의 MAD 전체 값으로부터 얻어질 수 있다. 빠른 씬 변화의 경우, 이 값은 하나 또는 두 프레임들에 대해, 매우 높은 값으로 점프하고, 이어서 다시 낮은 값으로 돌아간다. 슬라이딩 타임 윈도우가 실제 프레임 및 그 계승자(successor) 주위의 평균 MAD 값을 계산하는데 사용될 수 있다. 실제 프레임에 대한 MAD 값(또는 그 실제 값과 그 계승자의 합)이 평균 MAD 값에 관하여 어떤 문턱값을 초과하는 경우, 빠른 씬 변화가 씬 변화 검출기의 값을 변화시킴으로써 표시될 수 있다.

블랙 프레임/단색 프레임 검출기

휘도 DC 차분값이 어떤 문턱값 미만으로 존재하는 경우, 다수의 문턱값들이 사용될 수 있으며, 블랙 프레임 또는 단색 프레임이 검출된다. 몇몇 방송자들은 커 머셜들 사이에 블랙 프레임 대신에 단색 프레임들(예를 들어, 청색 프레임들)을 사용한다.

인터레이스/프로그레시브 표시자

인터레이스/프로그레시브 값이 인터레이스 비디오 자료와 프로그레시브 비디오 자료 간을 구별하는데 사용될 수 있다. 운전 합이 그 운전 합에 각 프레임의 인터레이스/프로그레시브 값을 더함으로써 생성될 수 있다. 이 합이 문턱값, 예를 들어, 20,000을 초과하는 경우, 그 비디오 자료는 인터레이스 자료로서 표시될 수 있고, 그렇지 않고, 문턱값 미만일 경우, 프로그레시브 자료로서 표시될 수 있다. 비디오 자료가 정의되지 않은 두 문턱값들 사이에는 사역(deadband)이 정의될 수 있다. 커머셜들이 다른 예산들에 기인하는 다른 장비로 생산되기 때문에, 이 표시자는 커머셜들을 검출하기 위해 유용할 수 있다. 그러므로, 커머셜 블록 내의 비디오 자료는 인터레이스 비디오 자료와 프로그레시브 비디오 자료 사이에서 매우 자주 바뀔 수 있다.

레터박스 검출기

레터박스 검출기는 개개의 종횡비(예를 들어, 4:3 및 16:9)를 갖는 자료를 구별하는데 사용될 수 있다. 몇몇 비디오, 예를 들어, 커머셜들은 주 프로그램 자료와는 다른 포맷들로 내보내진다. 그 주 자료는 레터박스(영화와 같은)에 있을 수 있고, 또는 커머셜이 레터박스에 있을 수 있고, 그 중요한 데이터는 변화 자체에 있을 수 있다. 그 레터박스는 두 개의 상부 및 하부 슬라이스들이 블랙인지의 여부를 표시한다. 블랙 배경 상의 광고 배너들 또는 작은 개체들이 오검출을 초래하지 만, 이러한 특정 시퀀스들은 블랙(단색) 프레임들에 의해 인캡슐레이팅되어 있으며, 그러므로, 그들은 커머셜 검출기에 단지 작은 영향만을 끼친다. 블랙 (단색)프레임들에 의해 캡슐화된 짧은 레터박스 시퀀스는 커머셜 블록에 대한 양호한 표시이다.

키프레임 거리 검출기

키프레임 거리 검출기는 씬 중단들(scene breaks)간의 시간(또는 프레임들이나 GOP들의 수)의 측정 기구(measure)이다. 평균 키프레임 프레임 거리 검출기는 느리게 변하는 비디오 자료 대 빠르게 변하는 비디오 자료를 나타내기 위해 사용될 수 있다. 커머셜 동안, 키프레임 거리는 통상적으로 10 내지 15 GOP들 부근에서 변한다. 정상 프로그래밍동안, 키프레임 거리는 때때로 100 이상의 값들에 이르는 40 GOP들 부근에 있을 수 있다. 평균 키프레임 거리는 키프레임들의 윈도우 내의 키프레임 거리들로부터의 주행 평균(running average)으로서 계산된다. 예를 들어, 5 키프레임들의 문턱값이 커머셜 컨텐츠나 액션 컨텐츠를 다른 내용과 구별하기 위해 사용될 수도 있다.

여러 MPEG 데이터, 단독 MPEG 데이터 및 조합들은, 커머셜 검출 목적용의 텔레비전 방송들로부터의 샘플 비디오 자료로부터 유도되고, 그와 비교된다. 유럽의 컨텐츠에 대한 시간선 상에 표시되는 실제 커머셜에 의해 시간을 벌기 위해 모든 조합 특성들을 나타내는 그래프들이 도시되었다. 이러한 그래픽 분석을 사용하면, 각 특성은 단독으로 및 다른 특성들과 제휴하여 커머셜을 표시하는 능력에 대해 분석될 수 있다. 이러한 분석의 결과들은 표 I 및 표 II에 요약되어 있다.

표들은 프로그램 장르 및 블랙 프레임들, 레터박스, 프로그레시브-인터레이스된 변경(progressive-interlaced change) 및 평균 키프레임 거리를 포함한다. 표 I에서, 각 특성에 대해, 특성 단독으로 커머셜 위치의 표시자로서 사용될 수 있는지의 여부가 결정되어 있다. 그 결과는 "예" 또는 "아니오" 중 하나로 표시된다. 표 II에서, 각 특성에 대해, 특성 단독으로 커머셜의 정확한 경계들을 결정하기 위해 사용될 수 있는지의 여부가 결정되어 있다. 표 I은, 블랙 프레임 존재, 프로그레시브-인터레이스된 자료 변경들이 프로그램 내의 커머셜 위치의 표시자들을 저장하고 있다는 것을 보여준다. 키프레임 거리는 블랙 프레임 및 프로그레시브/인터레이스된 변경들에 비해 훨씬 약한 표시자이다. 프로그레시브/인터레이스된 변경 검출에 관한 신뢰도는 많은 잘못된-포지티브(false-positive)들을 초래하지만, 커머셜 경계를 거의 놓치지 않는다. 이것은 다른 특성들에 있어서도 맞을 수 있다. 거짓-포지티브들을 삭제하기 위해, 한 특성이 트리거로서 사용되고 하나 이상의 다른 특성들을 확인을 위해 사용되는 기술이 개발되어 있다.

표 II는 커머셜의 진정한 경계를 신뢰성있게 검출하기 위해서는 개개의 특성들이 단독으로 사용될 수 없다는 것을 보여준다. 그러나, 테이블 생성에 사용되는 허용오차는 (2초 이내의) 엄격한 경계가 발견될 것을 요구했다. 즉, 커머셜이 2초 이상 다소 일찍 또는 다소 늦게 검출된다면, 명백한 실책(miss)으로서 간주되었다. 만일 이 기준을 완화시키면, 일부 특성들, 특히 단색 프레임들은 단독으로 사용되어 상당히 양호한 결과를 줄 수 있다. 표 II에서, 컬럼들은 커머셜의 시작와 종료 양쪽 모두를 정확히 식별하는데 단독으로 사용될 수 있는지의 여부를 가리킨다. 블랙 프레임들은 오판을 유발할 수 있는데, 이는 방송국이 항상 이들을 적절히 삽입하지 않으며 또한 이 방법으로는 검출할 수 없을 정도로 강도 레벨이 변동하기 때문이다. 이 허용오차는 블랙 (모노) 프레임들에 대한 테스트시에 인접한 프레임들간의 더 큰 휘도 다변성을 허용하는 문턱치를 제공함으로써 조절될 수 있다. 레터박스 및 키프레임 거리는 커머셜의 경계 검출에 대해 신뢰성이 없어 보인다. 블랙 프레임들은, 실책 기준이 완화된다면 평균적으로 상당한 정확도로 커머셜 경계를 검출하는 데에 블랙 프레임들이 사용될 수 있음을 주목한다. 상기 표는 2-초 실책은 완전한 실패라는 것에 기초하였다. 따라서 블랙 프레임 검출에 기초한 검출기는 다소 정확한 커머셜의 검출을 제공할 것이다.

도 2를 참조하면, 특성들에 기초하여, 예를 들어 커머셜 검출과 같은, 컨텐츠 검출을 위한 방법이 이하에 기술되어 있다.

-블랙 프레임 검출;

-단색 프레임 검출;

-프로그레시브 대 인터레이스 모드 검출;

-키프레임 거리

-레터박스; 및

-MAD 값들의 밀도

비디오는 압축되기 때문에, 단계(S90)에서 각각의 I 프레임에 대해 원시 데이터(raw data) 및 상기 값들이 계산된다. 단계(S100)에서, 만일 존재한다면 프레임 식별과 더불어, 경계 시퀀스들이 식별되고 기록된다. 단계(S110)에서, 검증 데이터가 식별되고, 만일 존재한다면, 적절한 프레임 식별자와 더불어 기록된다. 만일 프로세스가 단계(S120)에서 완료되지 않으면, 비디오의 다음 증분이 단계(S90)에서 압축된다. 프로세스가 완료될 때, 상기 특성들에 관하여 비디오 시퀀스를 기술하는 한 세트의 데이터가 압축된 비디오와 함께 저장되며 디스플레이될 때, 단계(S130)에서 필요하다면 적절한 편집이 실행될 수도 있다.

특정한 비디오 시퀀스가 압축되는 때와, 정확히 어떤 편집이 적용될 것인지는 알려지지 않을 수 있기 때문에, 비디오가 압축될 때 압축 특성들의 전체 레코드가 기록될 것이다. 그런식으로, 편집은 시청시에 적용될 것이다. 다른 방법으로서, 비디오에 적용될 편집이 알려져 있다면, 저장된 압축 비디오가 미리 편집될 수도 있고, 또는 편집을 위한 한 세트의 명령어가 저장되고 압축 특성들의 레코드가 폐기될 수도 있다.

도 3을 참조하면, 실시간 프로세스에 근접한 프로세스로 비디오 자료의 식별과 편집을 허용하는 것이 바람직할 것이다. 예를 들어, 개인용 디지털 레코더가 방송을 압축함으로써 방송 비디오 자료를 버퍼링하고 있고 사용자는 약간의 지연후에 이 자료를 시청하고 있다면, 방송이 압축되고 있는 중에 컨텐츠 시퀀스를 식별할 수 있는 것이 유익할 것이다. 이것은 압축을 완료하는 것 대신에 단지 컨텐츠 시퀀스를 식별하고 커머셜동안 볼륨을 낮추는 것과 같은 적절한 편집을 가하는 것이다. 특정 형태의 컨텐츠를 식별하기 위한 대안적인 프로세스에서, 비디오 데이터는 단계(S10)에서 압축된다. 그 다음, 단계(S20)에서, 시스템은, 차분적 휘도 검출 또는 프로그레시브로부터 인터레이스로의 변경에 의해 표시되는 블랙 또는 단색 프레임들의 시퀀스와 같은, 경계 트리거 이벤트의 존재를 검사한다. 만일 트리거 이벤트가 검출되면, 단계(S30)에서 한 유형의 컨텐츠의 시작을 가리키는 플래그가 설정된다. 레코드는, 이벤트들의 시간 시퀀스가 생성될 수 있도록 프레임이 발견된 장소의 식별을 포함한다. 서로 다른 다양한 유형의 비디오 시퀀스들 각각에 대해 많은 플래그들이 있다(예를 들어, 커머셜에 대한 것, 폭력적 자료에 대한 것, 액션에 대한 것, 토킹 헤더에 대한 것 등).

단계(S20)에서 어떠한 트리거 이벤트도 없다면, 제어는 단계(S40)로 간다. 단계(S40)에서, 만일 존재한다면, 커머셜이나 또는 다른 유형의 비디오 컨텐츠 시퀀스를 확인하는데 이용될 수 있는 데이터 유형의 존재가 검출된다. 만일 이와 같은 데이터가 발견되면, 이 데이터는 단계(S50)에서 저장된다. 단계(S55)에서, 특정한 유형인 것으로 확인될 수 있는 내용(subject matter)의 경계지워진 시퀀스가 있는지의 여부가 판별된다. 만일 발견되면, 이들은 식별된 프레임의 표시와 함께 단계(S65)에서 기록된다. 만일 단계(S65)에서 편집이 적용가능하다면, 편집을 위한 명령어들이 기록되어 나중에(또는 현재) 구현될 수 있다. 만일 압축 프로세스가 단계(S70)에서 완료되면, 프로세스는 종료한다. 완료하지 않았다면, 단계(S10)에서 재개한다.

커머셜들과 같은 특정한 유형들의 비디오의 시작 및/또는 종료를 나타내는 이벤트들은 임의의 적당한 특성일 수 있다. 커머셜 검출에 특히 유용하도록 실험에 의해 발견된 것은 검출된 단색 또는 블랙 프레임(또는 블랙의 연속적인 시퀀스들 또는 단색 프레임) 사이의 프레임 거리이다. 이들은 블랙 프레임들 대신의 어떤 경우들에 있어서, 어떤 나라들에서 방송국이 다른 단색 프레임들을 이용하여 시작했기 때문에 트리거들로서 이용될 수 있다. 블랙 프레임 거리가 어떤 패턴(거리가 어떤 문턱값 20 내지 40 초 사이에 있음)을 따른다면 알고리즘은 블랙 프레임들의 수를 카운팅하기 시작한다. 세 개의 블랙 프레임들 후, 커머셜 검출의 확률은 증가되고, 잠재적 커머셜 종료가 설정된다. 서로 다른 특성들의 어느 것도 커머셜 트리거들로서 이용될 수 있지만, 더욱 많은 복잡한 알고리즘을 확인하는 것이 바람직할 수 있다.

실험적 평가에 있어서, 블랙 프레임 시퀀스 출현은 커머셜 검출을 위해 트리 거로서 이용되었다. 보통 블랙 프레임들(또는 단색 프레임들)은 전체 커머셜 중단(commercial break)의 시작 및 종료뿐만 아니라 커머셜 중단내의 커머셜들을 묘사하는 컨텐츠 생성자들에 의해 이용될 수 있다. 커머셜 중단은 커머셜 중단이 1200 프레임들 내에서 따르게 되는 동안 블랙(단색) 프레임들의 시리즈들과 함께 시작됨을 가정할 수 있다. 커머셜들의 지속 기간시에 제약들이 있을 수 있다. 예를 들면, 커머셜로서 확인되기 위해, 시퀀스는 1,500 프레임들보다 짧지 않고, 10,000 프레임들보다 길지 않도록(유럽 컨텐츠는 초당 25 프레임들이며- 미국은 초당 30 프레임들이다) 요구될 수 있다. 커머셜에 라벨이 붙여지기 전에 후보 시퀀스(candidate sequence) 사이의 최소 시간에 부가적 제약이 적용될 수 있다. 예를 들면, 커머셜들은 적어도 2분 떨어지도록(3000프레임들) 요구될 수 있다. 잠재적으로 커머셜들을 나타내는 세그먼트들의 링킹을 위해 최종 제약이 중요할 수 있다. 시간의 긴 기간 동안 링킹이 허용된다면, 지나치게 긴 "커머셜(commercial)" 중단은 비-커머셜 주제를 포함하도록 초래할 수 있다. 일단 잠재적 커머셜이 검출되면, 다른 특성들은 예를 들어 블랙 프레임의 검출에 의해, 블랙 프레임 또는 다른 트리거 이벤트, 실제로 표시된 커머셜의 시작의 확률이 증가되는지 감소되는지를 확인된다. 예를 들면, 우편함의 존재가 블랙 프레임 후에 즉시 변화하면, 프로그레시브로부터 인터레이스 비디오 자료(또는 역으로)의 시프트, 높은 컷 레이트, 높은 MAD 밀도, 또는 낮은 키프레임 거리가 확인자로서 이용될 수 있다. 키프레임 거리(또는 높은 컷 레이트)의 경우에 있어서, 문턱값 레벨은 문턱값이 초과되면 커머셜의 확률이 증가되고 초과되지 않으면 감소되도록 이용될 수 있다. 대안적으로, 확률은 키프레임 거리에 반비례하고, MAD 밀도에 비례할 수 있다.

씬컷들 간의 키프레임들의 평균수는 커머셜동안 5 GOP들만큼 낮을 수 있다는 것이 경험적으로 결정되었다. 키프레임 거리에 대해 이용된 문턱값은 양호한 결과들을 위해 10 내지 15의 범위에서 변할 수 있다. 다시, 서로 가까운 세그먼트들은 전체 커머셜 시간을 추론하기 위해 연결될 수 있다. 긴 키 프레임 거리들을 특징으로 하는 커머셜들이 있다. 이것을 허용하기 위해, 키프레임 거리가 몇몇 최대 간격, 예를 들면 750 프레임들, 즉, 1분의 절반동안 더 높은 것을 허용하도록 허용오차(tolerance)가 설정될 수 있다.

압축 인코더에 의해 제공되는 상기 특성 세트는 상이한 종류의 컨텐츠를 인식하도록 정교한 방식들로 또한 적용될 수 있다. 예를 들어, 이들 특성들 및 그로부터 유도되는 다른 특성들은 또한, 다양한 유형들의 비디오 컨텐츠의 인식을 허용하도록, 뉴럴 네트워크(neural network), 은닉 막코프 모델(hidden Markov model), 베이시안 네트워크(Bayesian network) 또는 다른 분류 엔진에 입력들로서 작용될 수 있다. 따라서, 예를 들어, 커머셜의 잠재적 시작을 표시하는 트리거 특성로서 한 특성을 분리해내기보다는, 전체 특성 세트는 커머셜들을 식별하도록 네트워크를 트레이닝시키는데 이용될 수 있으며, 커머셜들을 묶는 시작 및 종료 이벤트들을 결정하는데 있어 다양한 특성들의 특정 의미를 결정하도록 트레이닝 프로세스에 남겨 둔다.

상기에 논의된 예들은 주로 비디오 특성들에 촛점을 두었지만, 비디오 데이터의 오디오 부분들 또는 오디오 데이터의 압축동안 생성되는 오디오 특성들은 상기에 논의된 것과 동일한 방식들로 이용될 수 있다. 예를 들어, 비디오 데이터의 액션 시퀀스(action sequence) 또는 커머셜의 음향 볼륨 세기는 다른 부분들의 것과 상이할 수 있다. 오디오 압축 인코더들은, 어떤 종류의 컨텐츠를 다른 것들과 구별하는 것을 돕도록 자동화된 시스템에서 인식될 수 있는, 고유의 부호(signature)들을 제공하는 것으로서 인식될 오디오 데이터의 표현들을 생성한다. 예를 들어, 현재의 비트 레이트 또는 양자화기(quantizer)는 존재하는 침묵 시간 구간들의 양을 표시할 수 있다. 다른 예에 대해, 커머셜과 같은, 하이액션이며 주목을 끄는 자료에 대응하는 DCT 계수들은 주요 프로그램 자료에 대응하는 것들과 매우 상이할 수 있고, 이들 부호 특성들은 베이시안 분류기(Bayesian classifier)와 같은 분류기, 뉴럴 네트워크, 또는 은닉 막코프 모델에서 정의될 수 있다.

상기에 논의된 실시예들에서, 압축 프로세스로부터 유도된 특성들은 비디오 스트림내의 컨텐츠를 분류하는데 이용되지만, 이들 동일한 특성들은 다른 목적들을 위해 다른 특성들(예를 들어, 실시간 특성들)과 연결되어 이용될 수 있다는 것이 분명하다. 예를 들어, 실시간 오디오 볼륨은 커머셜들로의/로부터의 전이를 식별하도록 블랙 프레임(또는 단색 프레임) 검출과 연결되어 이용될 수 있다. 현재의 압축 인코더들로부터 이용가능한 것들과 결합될 수 있고, 비디오/오디오 분류를 위해 인코더-생성된 데이터와 연결되어 이용될 수 있는, 비디오 공급원으로부터 부가적인 데이터를 생성하는 많은 방식들이 있다. 사실상, 압축 특성들은, 텍스트 인식, 얼굴 인식 등과 같은, 상세한 컨텐츠 분석을 위해 이용되는 1차 특성을 증대시키도록, 2차 특성 세트로서 이용될 수 있다.

그 분야에 숙련된 자들에게 본 발명은 상기의 예시적인 실시예들의 상세한 부분들에 한정되지 않으며, 본 발명은 사상 또는 본질적 속성들로부터 벗어나지 않고서 다른 특정 형태들에서 실시될 수 있다는 것이 분명할 것이다. 그러므로, 본 실시예들은 모든 측면들에서 제한적이지 않고 예시적인 것으로 고려될 것이며, 본 발명의 범위는 상기의 서술에 의하기보다는 첨부된 청구항들에 의해 표시되고, 따라서 청구항들의 균등성의 범위 및 의미내에 속하는 모든 변화들이 그 안에 포함되는 것으로 의도된다.

Claims

컨텐츠 에디터에 있어서:

비디오 데이터의 압축된 버전을 생성하는 압축 프로세스의 일부로서 비디오 시퀀스(90)로부터 제 1 및 제 2 특성 데이터를 생성하는 비디오 압축 인코더(100)로서, 상기 제 1 및 제 2 특성 데이터는 상기 비디오 데이터의 압축된 버전으로부터 분리되는, 상기 비디오 압축 인코더(100)와;

상기 제 1 및 제 2 특성 데이터를 수신하고 상기 제 1 및 제 2 특성 데이터중 적어도 하나로부터 적어도 제 3 특성 데이터를 계산하도록 프로그램된 분석 엔진(120)으로서, 상기 제 1 및 제 2 특성 데이터 중 하나는 상기 제 3 특성 데이터의 계산을 위해 트리거(trigger)로서 이용되고, 상기 제 1 및 제 2 특성 데이터 중 다른 하나는 검증을 위해 이용되는, 상기 분석 엔진(120)과;

상기 적어도 제 3 특성 데이터에 응답해서 상기 비디오 데이터의 압축된 버전을 편집하도록 프로그램된 재생 선택기(130)를 포함하는 컨텐츠 에디터.
제 1 항에 있어서,

상기 재생 선택기는 상기 제 1 및 제 2 특성 데이터중 적어도 하나에 응답해서 상기 비디오 데이터의 압축된 버전을 편집하도록 프로그램되는 컨텐츠 에디터.
제 1 항에 있어서,

상기 제 3 특성 데이터는 단색 프레임들의 시퀀스의 존재의 식별자를 포함하는 컨텐츠 에디터.
제 1 항에 있어서,

상기 제 3 특성 데이터는 레터박스 포맷 및 비레터박스 포맷 간의 전이(transition)의 식별자를 포함하는 컨텐츠 에디터.
제 1 항에 있어서,

상기 제 3 특성 데이터는 인터레이스 및 프로그레시브 비디오 간의 전이의 식별자를 포함하는 컨텐츠 에디터.
제 1 항에 있어서,

상기 제 3 특성 데이터는 씬 변화들(scene changes)의 빈도의 식별자를 포함하는 컨텐츠 에디터.
제 1 항에 있어서,

상기 제 3 특성 데이터는 프레임을 나타내는 칼라 히스토그램의 식별자를 포함하는 컨텐츠 에디터.
제 1 항에 있어서,

상기 제 1 및 제 2 특성 데이터는 상기 비디오 시퀀스의 오디오 특성들을 포함하는 컨텐츠 에디터.
제 1 항에 있어서,

상기 재생 선택기는 모션 벡터들의 평균, 현재 비트 레이트, 프레임내 휘도의 편차, 프레임내 칼라의 편차, 프레임의 총 휘도, 프레임의 총 칼라, 프레임들간의 휘도의 변화, 평균 절대차, 및 양자화기 스케일중 적어도 하나를 포함하는 상기 제 1, 제 2 및 제 3 특성 데이터중 적어도 하나에 응답해서 상기 비디오 데이터의 압축된 버전을 편집하도록 프로그램되는 컨텐츠 에디터.
비디오 컨텐츠 검출기에 있어서:

비압축된 비디오 데이터(90)를 수신하고 압축된 비디오 데이터를 생성할 수 있는 비디오 압축 인코더(100)와;

상기 비디오 압축 인코더로부터 제 1 및 제 2 데이터를 수신하도록 접속된 분석 엔진(120)으로서, 상기 제 1 및 제 2 데이터는 상기 압축된 비디오 데이터로부터 분리되는, 상기 분석 엔진(120)을 포함하고,

상기 제 1 및 제 2 데이터는 압축 프로세스의 결과로서 생성되며,

상기 분석 엔진은 상기 제 1 및 제 2 데이터에 응답해서 상기 압축된 비디오내의 컨텐츠 유형의 시작의 식별자를 생성하도록 프로그램되고, 상기 제 1 데이터는 상기 식별자의 생성을 위해 트리거로서 이용되고, 상기 제 2 데이터는 상기 식별자의 생성을 검증하기 위해 이용되는 비디오 컨텐츠 검출기.
제 10 항에 있어서,

상기 제 1 데이터는 모션 벡터 데이터, 비트 레이트 데이터, 프레임내 휘도의 편차, 프레임내 칼라의 편차, 프레임의 총 휘도, 프레임의 총 칼라, 프레임들간의 휘도의 변화, 평균 절대차 및 양자화 스케일중 적어도 하나를 포함하는 비디오 컨텐츠 검출기.
제 10 항에 있어서,

상기 분석 엔진은 상기 제 1 데이터의 적어도 하나로부터 파생 특성(derivative feature)을 계산하고 상기 파생 데이터에 또한 응답해서 상기 식별자를 생성하도록 프로그램되는 비디오 컨텐츠 검출기.
제 10 항에 있어서,

상기 분석 엔진은 상기 제 1 데이터에 응답하여, 상기 비압축된 비디오 데이터내의 레터박스의 존재 또는 부재를 식별하고, 상기 존재 또는 부재와 일치하는 상기 압축된 비디오 데이터의 시퀀스내의 위치의 식별자를 생성하도록 프로그램되는 비디오 컨텐츠 검출기.
제 10 항에 있어서,

상기 분석 엔진은 상기 제 1 데이터에 응답하여, 상기 비압축된 비디오 데이터내의 인터레이스 또는 프로그레시브 비디오 포맷의 존재를 식별하고, 상기 인터레이스 또는 프로그레시브 비디오 포맷과 일치하는 상기 압축된 비디오 데이터의 시퀀스내의 위치의 식별자를 생성하도록 프로그램되는 비디오 컨텐츠 검출기.
제 10 항에 있어서,

상기 분석 엔진은 상기 제 1 데이터에 응답하여, 상기 비압축된 비디오 데이터내의 단색 프레임들의 존재를 식별하고, 상기 단색 프레임들과 일치하는 상기 압축된 비디오 데이터의 시퀀스내의 위치의 식별자를 생성하도록 프로그램되는 비디오 컨텐츠 검출기.
제 10 항에 있어서,

상기 분석 엔진은 상기 제 1 데이터에 응답하여, 상기 비압축된 비디오 데이터내의 씬 변화들의 빈도 또는 표시자를 식별하고, 상기 씬 변화들의 빈도와 일치하는 상기 압축된 비디오 데이터의 시퀀스내의 위치의 식별자를 생성하도록 프로그램되는 비디오 컨텐츠 검출기.
압축된 비디오 스트림에서 커머셜들을 검출하는 방법에 있어서:

비디오 데이터를 압축하고, 압축된 비디오 데이터와, 제 1 및 제 2 데이터를 상기 압축 단계의 부산물로서 생성하는 단계와;

상기 제 1 데이터에서 커머셜 시퀀스의 잠재적 시작을 나타내는 제 1 이벤트들을 식별하는 단계와;

상기 및 제 2 데이터에 응답하여, 상기 잠재적 시작에 뒤따르는 비디오의 컨텐츠가 커머셜 시퀀스의 특징임을 검증하는 단계와;

상기 식별 및 검증 단계들의 결과들에 응답해서 커머셜의 존재를 표시하는 단계를 포함하는 커머셜 검출 방법.
제 17 항에 있어서,

상기 검증 단계는 씬 변화 레이트, 단색 프레임 시퀀스, 비디오 프레임의 레터박스 경계, 상기 비디오 포맷이 프로그레시브인지 또는 인터레이스인지의 여부중 적어도 하나를 계산하는 단계를 포함하는 커머셜 검출 방법.
비디오 데이터에서 컨텐츠를 검출하는 방법에 있어서:

비디오 데이터를 압축하고, 압축된 비디오 데이터와, 제 1 및 제 2 압축 특성 데이터를 상기 압축 단계의 부산물로서 생성하는 단계와;

비압축 특성 데이터와 결합하여 상기 제 1 압축 특성 데이터에 기초해 상기 비디오 데이터의 컨텐츠 부분들을 분류하는 단계로서, 상기 제 2 압축 특성 데이터는 상기 분류 단계의 검증을 위해 이용되는, 상기 분류 단계와;

상기 분류 단계에서 식별된 컨텐츠를 표시하는 단계를 포함하는 컨텐츠 검출 방법.
제 19 항에 있어서,

상기 분류 단계는 상기 미리 규정된 컨텐츠의 예들에 기초하여 분류 엔진을 프로그래밍하는 단계를 포함하는 컨텐츠 검출 방법.
제 19 항에 있어서,

상기 분류 단계는 분류기를 트레이닝하고, 상기 분류기를 이용하여 상기 미리 규정된 컨텐츠를 분류하는 단계를 포함하는 컨텐츠 검출 방법.
제 21 항에 있어서,

상기 분류기는 베이시안 분류기(Bayesian classifier), 뉴럴 네트워크, 및 은닉 막코프 모델 분류기(hidden Narkov model classifier) 중 적어도 하나를 포함하는 컨텐츠 검출 방법.