KR101601788B1

KR101601788B1 - 비디오 시퀀스들에서 인지 품질 평가를 위한 장면 변경 검출

Info

Publication number: KR101601788B1
Application number: KR1020147012699A
Authority: KR
Inventors: 마르틴 페테르손; 사바스 아르기로포울로스; 데이비드 린데그렌; 피터 리스트
Original assignee: 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘); 도이체 텔레콤 악티엔 게젤샤프트
Priority date: 2011-10-11
Filing date: 2011-10-11
Publication date: 2016-03-21
Also published as: US20200007859A1; EP3171586A3; US11012685B2; BR112014008734A2; CN109510919B; EP3171586A2; US20140376886A1; ZA201402196B; MY168103A; BR112014008734B1; WO2013053385A1; JP5957532B2; CN104041003B; CN104041003A; US10349048B2; JP2015501568A; KR20140088148A; CN109510919A; EP2756662A1; EP3171586B1

Abstract

스트리밍된 비디오에서 장면 변경을 검출하기 위한 복수의 방법들이 제공되며, 스트리밍된 비디오는 일련의 픽쳐들을 포함한다. 예시적인 방법은, 복수의 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서 매크로-블록들의 코딩 비용들 사이의 차이를 계산하는 것을 포함한다. 방법은 복수의 포지션들의 차이들의 합산이 임계 기준들을 만족시킬 때 새로운 장면을 식별하는 것을 더 포함한다. 스트리밍된 비디오 상에서 패킷 손실의 인지적 영향(perceptual impact)을 결정하는 방법이 추가로 제공되고, 방법은: 패킷 손실을 식별하는 것; 및 손실된 패킷이 새로운 장면의 시작에서 픽쳐에 관한 정보를 포함하는지의 여부를 결정하는 것을 포함하고, 새로운 장면은 본원에 개시된 방법들 중 하나를 사용하여 검출된다.

Description

비디오 시퀀스들에서 인지 품질 평가를 위한 장면 변경 검출{SCENE CHANGE DETECTION FOR PERCEPTUAL QUALITY EVALUATION IN VIDEO SEQUENCES}

본 출원은 스트리밍된 비디오에서 장면 변경을 검출하는 복수의 방법들; 스트리밍된 비디오에서 패킷 손실(packet loss)의 인지적 영향(perceptual impact)을 결정하는 방법; 스트리밍된 비디오에서 새로운 장면의 발생의 인지적 영향을 결정하는 방법, 및 컴퓨터 판독가능 매체에 관한 것이다.

텔레비전 컨텐츠 또는 비디오 컨텐츠는 컨텐츠 제공자로부터 최종 사용자에 의해 사용되는 디바이스로 IP 네트워크를 통해 전송될 수 있다. 디바이스는 개인용 컴퓨터, 무선 통신 디바이스, 셋톱 박스, 셋톱박스 기능이 내장된 텔레비전, 스마트 TV, 또는 스마트 셋톱 박스일 수 있다. 텔레비전 컨텐츠 또는 비디오 컨텐츠는 일반적으로 이와 함께 전송되는 이와 연관된 오디오 컨텐츠를 가질 수 있다. 전송이 완료되기 이전에 컨텐츠가 디스플레이됨을 의미하는, 전송이 "실시간"으로 발생하는 경우, 이것은 스트리밍으로 지칭된다.

통신 네트워크들을 통한 비디오 스트리밍은 점점 더 일반화 되고 있다. 통신 네트워크를 통해 스트리밍된 비디오의 종단-대-종단 품질을 보장하기 위해, 네트워크 운용자 및 비디오 서비스 제공자는 비디오 품질 모델들을 사용할 수 있다. 비디오 품질 모델은 사람 관측자에게 인지될(perceptible) 코딩 및 전송으로부터의 아티팩트들 또는 에러들을 측정함으로써 비디오 품질의 객관적 평가를 생성한다. 이것은 사람이 비디오 샘플을 시청하고 그 품질을 평가하는 주관적 품질 평가를 대체할 수 있다.

비디오 품질 모델들은 학문적 세계에서 한동안 알려져 있었지만, 그 사용이 표준화된 것은 겨우 최근의 일이다. 인지적 비디오 품질 모델들은 국제 통신 연합(ITU) 표준 J.144, J.247 및 J.341에 기술되어 있다. 인지적 모델들은 이들이 품질 스코어를 결정하기 위해 프로세싱된 비디오 내의 픽셀 값들을 사용할 수 있다는 장점을 가진다. 전-기준(full-reference) 모델들의 경우(위에서 언급된 ITU 표준들에서와 같이) 기준 신호는 또한 프로세싱된 비디오의 저하를 예측하기 위해 사용된다. 인지적 모델들의 큰 단점은 이들이 계산상으로 힘들며, 네트워크 모니터링의 목적으로 큰 스케일에 대한 배치를 위해서는 적합하지 않다는 것이다.

따라서, P.NAMS라는 작업명 하의 ITU-T SG12/Q14에서 더욱 경량의 방식이 현재 표준화되고 있다. 그 모델은 그 입력으로서 네트워크층 프로토콜 헤더들을 취하며, 이들을 전송된 비디오의 품질 추정을 수행하기 위해 사용한다. 이는 모델을 구현하고 사용하기에 매우 효율적으로 만들지만, 자체적으로는 전송된 비디오의 품질 추정이 다소 개략적(coarse)이게 된다. 따라서, ITU-T SG12/Q14는 또한 작업명 P.NBAMS 하에서 비디오 비트 스트림 품질 모델을 표준화할 것이다. 이 모델은 단지 네트워크층 프로토콜 헤더들 뿐만이 아니라 인코딩된 기본 스트림 또는 "비트 스트림"을 사용한다. 입력들의 두 세트 모두를 사용하는 것은, P.NAMS 모델에 비해 비디오의 품질의 더 양호한 추정을 획득함과 동시에 다소 경량일 것이라는 장점을 가진다.

블록 기반 코딩은 H.263, MPEG-4 Visual, MPEG-4 AVC(H.264) 및 ITU JCT-VC(Joint Collaborative Team on Video Coding: 비디오 코딩 공동 협력 팀)에서 개발 중인 최근의 H.265 표준과 같은 코덱 표준들을 가지는 우세한 비디오 인코딩 기술이다. 블록 기반 코딩은 가능한 효율적으로 비디오를 압축할 수 있도록 상이한 타입들의 픽쳐들(상이한 타입들의 예측을 사용함)을 사용할 수 있다. 인트라 픽쳐(I-픽쳐)들은 오직 픽쳐 자체 내의 영역으로부터 공간적으로 예측될 수 있다. 예측 픽쳐(P 픽쳐)들은 이전 코딩된 픽쳐(들)로부터 시간적으로(temporally) 예측된다. 그러나, P-픽쳐들 내의 일부 매크로-블록들은 인트라-인코딩될 수 있다. 양방향 예측 픽쳐(B-픽쳐)들은 이전 및 후속 픽쳐들 모두로부터 예측된다. 그것 이전에 어떠한 픽쳐도 예측을 위해 사용될 수 없는 제한을 가지는 I-픽쳐는 순시적 디코딩 리프레시(IDR:Instantaneous Decoding Refresh) 픽쳐라고 명명된다. I 및 IDR 픽쳐들은 비트의 견지에서 인코딩하기에는 종종 P-픽쳐들 및 B-픽쳐들보다는 훨씬 더 고비용이다.

에러 발생이 쉬운 통신 네트워크에서 에러 레질리언스(error resilience)를 증가시키기 위해, I 또는 IDR 픽쳐들은 비디오를 리프레시하기 위해 주기적으로 삽입된다. I 또는 IDR 픽쳐들은 랜덤 액세스 및 채널 스위칭을 허용하기 위해 주기적으로 삽입된다. 또한, I 또는 IDR 픽쳐들은 P-픽쳐로서 픽쳐를 인코딩하는 비용(유도된 왜곡 및 비트 할당의 견지 모두에서)이 I 또는 IDR 픽쳐로서 그것을 인코딩하는 비용보다 더 클때 삽입된다. 이것은, 픽쳐의 공간적 리던던시가 그것의 기준 픽쳐들과의 픽쳐의 시간적 리던던시보다 더 클 때 발생한다. 이것은 통상적으로 고려 중인 픽쳐가 또한, 도시된 장면이 이전 픽쳐와는 다소 상이함을 의미하는, 장면 컷으로 알려져 있는 장면 변경일 때 발생한다. 강제된 인트라 픽쳐들이 제시간에 삽입되어야 하는지의 여부는 (오직 디코딩 프로시져만을 정의하는) 비디오 코딩 표준에 의해 정의되는 것이 아니라, 이는 인코더가 결정하는 것에 따른다.

평균적으로, 텔레비전 컨텐츠는 통상적으로, 매3-5초마다, 장면 변경으로서 알려져 있는 장면들 사이의 트랜지션을 포함한다. 장면 변경들은 두 픽쳐들 사이에서 순시적으로 발생하거나 또는 몇몇 픽쳐들에 걸쳐 페이딩될 수 있다. 그것은 일반적으로, 장면 변경의 한 측으로부터 또다른 측으로 양호한 시간적 예측이 이루질 수 없는 경우이므로, 스마트 인코더는 종종 I- 또는 IDR-픽쳐에 맞춰 장면 컷을 정렬하려고 시도할 것이다.

WO 2009/012297호는 오직 패킷 헤더들로부터의 정보를 이용함으로써 패킷들을 암호해독하지 않고 암호화된 패킷 비디오 스트림에서 프레임들의 컨텐츠를 추정하기 위한 방법 및 시스템을 기술한다. I-프레임은, 이전 픽쳐 그룹(GOP:Group of Pictures)의 길이가 비정상적으로 짧고 끝에서 두번째(penultimate) GOP 길이가 그것의 최대값과 동일한 경우, 새로운 장면의 시작으로서 표기된다. 그러나, 이 방법이 가지는 주요 단점은 정상적인 GOP 길이들에서 발생하는 장면 변경들이 식별될 수 없다는 것이다. 예를 들어, 정상적 GOP 길이가 25개 프레임들인 경우, 프레임 번호 25, 50, 75, 100 등에서 발생하는 장면 변경이 검출될 수 없다. 또한, 더 짧은 GOP 길이는 고려중인 픽쳐가 장면 변경임을 반드시 의미하지는 않으며, 따라서 많은 긍정 오류들(false positives)을 초래한다.

품질 평가 모델에서 사용하기에 적합한 복수의 장면 변경 검출 방법들이 본원에 제공된다. 또한, 장면 변경 검출을 사용하는 품질 평가 모델이 제공된다.

장면 변경 동안 발생하는 패킷 손실들은 종종 장면 중간에 발생하는 패킷 손실들보다 더욱 많이 가시적이다. 따라서, 패킷 손실들과 같은 에러들의 검출과 함께 장면 변경 검출을 사용하는 품질 검출 모델이 제공된다. 그러나, 품질 평가 모델의 목적을 위한 장면 변경 검출 방법은 장면 변경 검출에서의 임의의 에러가 품질 평가에서 증폭될 가능성이 있음에 따라 매우 정확해야 한다.

도 1은 2개의 상황에서 I-픽쳐에서의 데이터 손실의 상대적 영향을 예시한다. 도 1a는 새로운 장면의 시작에서 I-픽쳐에서의 데이터 손실을 도시하는 반면, 도 1b는 장면의 중간에서 유사한 손실을 그러나 I-픽쳐에서 도시한다. 도 1a에서, 픽쳐(110)는 "미싱 섹션(missing section)"(115)을 특징으로 하며, 디코더는 새로운 장면의 이 부분에 관한 데이터를 수신하지 않고, 따라서 이전 장면으로부터의 픽쳐로부터 대응하는 섹션을 사용한다. 여기서, 새로운 장면은 필드 상의 선수들에 있는 반면, 이전 장면은 군중들에 있다. 도 1b에서, 필드 상의 선수들을 보여주는 장면 동안 데이터 손실이 발생하며 따라서 데이터 손실이 훨씬 덜 인지가능하다. 픽쳐(120)의 우측상의 상부 선수의 디테일이 왜곡되지만, 데이터 손실이 거의 인지가능하지 않다.

또한, 심지어 어떠한 전송 에러들이 발생하지 않는 경우라도, 장면 변경들은 비디오 신호들의 품질에 대한 영향을 가진다. 통상적으로, 장면 변경들을 가지는 시퀀스는, 이들이 일반적으로 인코딩하기에 더욱 고비용인 더욱 복잡한 컨텐츠를 나타내므로, 더 낮은 품질을 가진다. 추가적으로, 새로운 장면의 시작에 있는 I-픽쳐들이 일반적으로 IDR 픽쳐들이다(또는 적어도 이들이 존재하는 것처럼 행동한다). 이것은 제한된 개수의 기준 픽쳐들로 인해 압축 효율성을 악화시킨다.

스트리밍된 비디오에서 장면 변경을 검출하는 방법이 제공되며, 여기서 스트리밍된 비디오는 일련의 픽쳐들을 포함한다. 방법은, 복수의 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 매크로-블록들의 코딩 비용 사이의 차이를 계산하는 단계를 포함한다. 방법은 복수의 포지션들에 대한 차이들의 합산(sum)이 임계 기준을 만족시킬 때 새로운 장면을 식별하는 단계를 더 포함한다.

스트리밍된 비디오가 인코딩되는 경우, 위의 방법은 인코딩된 비트 스트림에 대해 동작할 수 있다. 방법은 스트리밍된 비디오의 디코딩을 요구하지 않는다.

차이들이 계산되는 포지션들은: 픽셀 포지션들; 서브-블록 포지션들; 및/또는 매크로-블록 포지션들일 수 있다. 픽셀 포지션들은 개별 픽셀들의 포지션들 또는 픽셀들의 그룹들의 포지션들을 포함할 수 있다.

매크로-블록의 코딩 비용은 매크로-블록 타입에 따라 결정될 수 있다. 매크로-블록 타입은: 스킵; 하나의 파티션으로서 인터-코딩된 매크로-블록; 다수의 파티션들로 세부분할된 인터-코딩된 매크로-블록; 하나의 파티션으로서 인트라-코딩된 매크로-블록; 및 다수의 파티션들로 세부분할된 인트라-코딩된 매크로-블록 중 하나를 포함할 수 있다. 각각의 매크로-블록 타입의 이력상의 평균 코딩 비용은 오직 특정 매크로-블록 타입만을 사용하여 코딩 비용을 특정 매크로-블록에 할당하기 위해 사용될 수 있다.

방법은 모션 보상을 적용하는 것을 더 포함하며, 이에 의해, 연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀들에 대한 매크로-블록들의 코딩 비용 사이의 차이는 모션 보상이 적용된 이후의 픽셀 포지션들에 대해 계산된다. 이것은 픽셀 값들 사이의 차이가 현재 픽쳐의 위치 및 기준(이전) 픽쳐에서의 그것의 모션 보상된 위치 사이에서 계산됨을 의미한다.

방법은 연속적인 픽쳐들 내의 포지션들 사이의 오프셋을 포함시키는 단계를 더 포함할 수 있다. 복수의 오프셋 값들 각각에 대해, 복수의 포지션들에 대한 차이들의 합산은 복수의 오프셋 값들에 대응하는 복수의 차이 합계들(difference totals)을 획득하기 위해 계산될 수 있다. 방법은 복수의 차이 합계들의 최소값을 임계 기준과 비교하는 단계를 더 포함할 수 있다. 이것은, 예를 들어, 연속적인 픽쳐들 사이의 패닝(panning) 모션으로 인해, 다른 방식으로 유사한 매크로-블록들의 오정렬(misalignment)을 허용한다.

방법은 복수의 픽셀 포지션들에 대한 차이들의 합산이 최대 임계 값보다 더 크거나 최소 임계 값보다 더 낮을 때 새로운 장면을 식별하는 것을 더 포함할 수 있다. 적어도 하나의 임계 값은 미리 결정된 개수의 바로 이전의 픽쳐들 사이에서 계산된 차이들의 가중된 평균을 취함으로써 결정될 수 있고, 더 최근의 픽쳐들 사이의 차이들에는 더 큰 가중이 주어진다. 이것은 때때로, 슬라이딩 윈도우를 사용하는 것으로서 지칭된다.

스트리밍된 비디오에서 장면 변경을 검출하기 위한 장치가 제공되며, 스트리밍된 비디오는 일련의 픽쳐들을 포함한다. 장치는, 복수의 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 매크로-블록들의 코딩 비용 사이의 차이를 계산하도록 배열되는 프로세서를 포함한다. 장치는 복수의 포지션들에 대한 차이들의 합산이 임계 기준을 만족시킬 때 새로운 장면을 식별하도록 배열되는 장면 변경 검출기를 더 포함한다.

스트리밍된 비디오에서 장면 변경을 검출하는 방법이 추가로 제공되며, 스트리밍된 비디오는 일련의 픽쳐들을 포함한다. 방법은, 복수의 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀 값들 사이의 차이를 계산하는 단계를 포함한다. 방법은 차이에 가중을 적용하는 단계를 더 포함하고, 가중은 포지션과 연관된 매크로-블록 타입에 따른다. 방법은 복수의 포지션들에 대한 가중된 차이들의 합산이 임계 값을 초과할 때 새로운 장면을 식별하는 단계를 더 포함한다.

방법은 모션 보상을 적용하는 단계를 더 포함하고, 연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀들에 대한 매크로-블록들의 코딩 비용 사이의 차이는 모션 보상이 적용된 이후의 픽셀 포지션들에 대해 계산된다. 이것은 픽셀 값들 사이의 차이가 현재 픽쳐의 위치 및 기준(이전) 픽쳐 내의 그것의 모션-보상된 위치 사이에서 계산됨을 의미한다.

또한 스트리밍된 비디오에서 장면 변경을 검출하기 위한 장치가 제공되며, 스트리밍된 비디오는 일련의 픽쳐들을 포함한다. 장치는, 복수의 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀 값들 사이의 차이를 계산하도록 배열되는 픽셀 정보 분석기를 포함한다. 장치는 차이에 가중을 적용하도록 배열되는 프로세서를 더 포함하고, 가중은 포지션과 연관된 매크로-블록 타입에 의존한다. 장치는, 복수의 포지션들에 대한 가중된 차이들의 합산이 임계 값을 초과할 때 새로운 장면을 식별하도록 배열되는 장면 변경 검출기를 더 포함한다.

스트리밍된 비디오에서 장면 변경을 검출하는 방법이 추가로 제공되며, 스트리밍된 비디오는 일련의 픽쳐들을 포함한다. 방법은 픽쳐의 인코딩된 사이즈를 결정하는 단계를 포함한다. 방법은 픽쳐의 픽쳐 타입을 결정하는 단계를 더 포함한다. 방법은 인코딩된 픽쳐 사이즈가 검출된 픽쳐 타입에 대한 임계를 초과할 때 새로운 장면을 식별하는 단계를 더 포함한다.

픽쳐 타입은 스트리밍된 비디오의 패킷 헤더들로부터 추출된 정보에 따라 결정될 수 있다. 픽쳐 타입은 RTP 또는 MPEG2-TS PES 헤더에 포함된 타임스탬프 정보로부터 결정될 수 있다.

픽쳐 타입은 인트라-코딩된; 단방향 예측 픽쳐들; 및 양방향 예측 픽쳐들 중 하나를 포함할 수 있다. 양방향 예측 픽쳐들은 기준 및/또는 비-기준 픽쳐들일 수 있다.

또한, 스트리밍된 비디오에서 장면 변경을 검출하기 위한 장치가 제공되는데, 스트리밍된 비디오는 일련의 픽쳐들을 포함한다. 장치는 픽쳐의 인코딩된 사이즈를 결정하고, 픽쳐의 픽쳐 타입을 결정하도록 배열된 프로세서를 포함한다. 장치는 인코딩된 픽쳐 사이즈가 검출된 픽쳐 타입에 대한 임계를 초과할 때 새로운 장면을 식별하도록 배열된 장면 변경 검출기를 더 포함한다.

스트리밍된 비디오에서 장면 변경을 검출하는 방법이 추가로 제공되며, 스트리밍된 비디오는 일련의 픽쳐들을 포함한다. 방법은 픽쳐의 인코딩된 사이즈를 결정하는 단계를 포함한다. 방법은 픽쳐의 인코딩된 사이즈에 따라 픽쳐 타입을 결정하는 단계를 더 포함한다. 방법은, 복수의 픽셀 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 위치에서의 픽셀 값들 사이의 차이를 계산하는 단계를 더 포함한다. 방법은 픽셀 차이들을 합산(summing)함으로써 연속적인 픽쳐들 사이의 차이의 측정(measure)을 계산하는 단계를 더 포함한다. 방법은 연속적인 픽쳐들 사이의 차이의 측정에 가중을 적용하는 단계를 더 포함하고, 가중은 픽쳐 타입에 의존한다. 방법은 가중된 차이가 임계 값을 초과할 때 새로운 장면을 식별하는 단계를 더 포함한다.

픽쳐 타입은 인트라-코딩된; 단방향 예측 픽쳐들; 및 양방향 예측 픽쳐들 중 하나를 포함할 수 있다. 양방향 예측 픽쳐들은 계층적 및/또는 비계층적일 수 있다.

또한, 스트리밍된 비디오에서 장면 변경을 검출하기 위한 장치가 제공되며, 스트리밍된 비디오는 일련의 픽쳐들을 포함한다. 장치는 픽쳐의 인코딩된 사이즈를 결정하고, 픽쳐의 인코딩된 사이즈에 따라 픽쳐 타입을 결정하도록 배열된 프로세서를 포함한다. 프로세서는 복수의 픽셀 포지션들에 대한 연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀 값들 사이의 차이; 및 픽셀 차이들을 합산함으로써 연속적인 픽쳐들 사이의 차이의 측정을 계산하도록 추가로 배열된다. 프로세서는 연속적인 픽쳐들 사이의 차이의 측정에 가중을 적용하도록 추가로 배열되고, 가중은 픽쳐 타입에 의존한다. 장치는 가중된 차이가 임계 값을 초과할 때 새로운 장면을 식별하도록 배열되는 장면 변경 검출기를 더 포함한다.

스트리밍된 비디오에 대한 패킷 손실의 인지적 영향을 결정하는 방법이 추가로 제공되며, 스트리밍된 비디오는 일련의 픽쳐들을 포함한다. 방법은 패킷 손실을 식별하는 단계를 포함한다. 방법은 손실된 패킷이 새로운 장면의 시작에서 픽쳐에 관련된 정보를 포함하는지의 여부를 결정하는 단계를 더 포함하고, 새로운 장면은 전술된 방법들 중 임의의 방법에 따라 장면 변경을 검출하는 방법을 사용하여 검출된다.

컴퓨터 로직에 의해 실행될 때 상기 컴퓨터 로직으로 하여금 전술된 방법들 중 임의의 방법을 수행하게 하는 명령들을 전달하는(carrying) 컴퓨터 판독가능 매체가 추가로 제공된다.

장면 변경 검출 방법 및 품질 평가 모델이 이제, 첨부 도면들을 참조하여, 오직 예시로서 기술될 것이다.
도 1은 2개의 환경들에서 I-픽쳐에서의 데이터 손실의 상대적 영향을 예시하는 도면이다.
도 2는 인코딩된 비디오 스트림으로부터 추출된 특징들을 사용하여 장면 변경을 식별하는 방법을 도시하는 흐름도이다.
도 3은 매크로-블록 타입을 사용하는 픽쳐 비교를 예시하는 도면이다.
도 4는 비디오 스트림 및 디코딩된 픽셀 데이터로부터 추출된 특징들을 사용하여 장면 변경을 식별하는 방법을 도시하는 흐름도이다.
도 5는 인코딩된 비디오 신호의 패킷 헤더 정보를 사용하여 장면 변경을 식별하는 방법을 도시하는 흐름도이다.
도 6은 각각의 픽쳐의 사이즈로부터 픽쳐 타입이 결정되는 방법의 예를 예시하는 도면이다.
도 7은 전술된 방법을 구현하는 장면 변경 검출 프로시져의 흐름도이다.
도 8은 패킷 헤더 정보 및 디코딩된 픽셀 데이터를 사용하여 장면 변경을 식별하는 방법을 도시하는 흐름도이다.
도 9는 전술된 방법들을 수행하기 위한 장치를 예시하는 도면이다.

후속하는 4개의 환경들의 세트들 하에서 비디오 품질 모델들에서 사용하기 위한 4개의 상이한 타입들의 장면 변경 검출이 본원에 제시된다:

i) 픽셀 데이터의 디코딩이 가능하지 않거나 허용되지 않을 때 인코딩된 비디오 비트 스트림으로부터 추출되거나 계산된 특징들을 사용하는 것;

ii) 픽셀 데이터의 디코딩이 허용될 때 비디오 비트 스트림으로부터 추출되거나 계산된 특징들을 사용하는 것;

iii) 인코딩된 비디오 신호들의 패킷 헤더 정보를 사용하는 것; 및

iv) 비디오 비트 스트림을 디코딩함으로써 획득된 픽셀 데이터 및 패킷 헤더 정보를 사용하는 것.

디코딩된 픽셀 데이터에 대한 액세스를 가지는 모델은 잠재적으로, 인지된 비디오 품질의 더욱 정확한 추정을 수행하게 할 수 있을 것이다. 그러나, 이것은 메모리 및 프로세싱 전력을 포함한 자원들에 대한 증가한 요구로 복잡도가 더 높아지게 된다.

본원에 제시된 4개의 상이한 동작 모드들은 비디오 품질 평가 모듈의 복잡도 요건으로부터, 또는 비디오 신호의 암호화로 인해 특정 정보의 결여로부터 특정된다. 예를 들어, 비디오 품질 측정이 제한된 전력 자원들을 가지고 네트워크 위치에 배치되는 경우 또는 비디오 신호가 암호화되는 경우, 모드 (iii)가 적절할 것이다. 모델이 최종 사용자 구역에서 디코딩 디바이스에 배치되고 비디오 신호가 암호화되는 경우, 발명은 추가적으로 (예를 들어, 최종 사용자 디바이스로부터 캡쳐될 수 있는) 재구성된 픽쳐들로부터의 픽셀 데이터를 사용할 수 있고, 모드 (iv)가 적절할 것이다. 비디오 신호가 암호화되지 않은 경우, 시스템은 복잡도 규격들 및 요건들에 따라 모드 (i) 및 (ii)에서 기술된 바와 같이 비디오 비트 스트림의 특징을 이용할 수 있다.

모드들 각각이 차례로 기술될 것이다.

(i) 인코딩된 비디오 스트림으로부터 추출된 특징들의 사용

스트리밍된 비디오에서 장면 변경을 검출하는 이 방법은: 복수의 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 매크로-블록들의 코딩 비용 사이의 차이를 계산하는 단계; 및 복수의 포지션들에 대한 차이들의 합산이 임계 기준을 만족할 때 새로운 장면을 식별하는 단계를 포함한다.

이 방법은 스트리밍된 비디오 내의 2개의 연속적인 픽쳐들에 적용된 바와 같이, 도 2의 흐름도에 의해 예시된다. 210에서, 비교될 픽쳐 포지션들이 선택된다. 일부 구현예들에 대해, 모든 픽쳐 위치가 비교되지만, 다른 구현예들에 대해서는, 미리 결정된 또는 심지어 랜덤 패턴에 따라 서브-세트가 선택된다. 220에서, 선택된 픽쳐 포지션들 각각에서 매크로-블록을 코딩하는 비용에 관련된 값은, 픽쳐들 모두에서 결정된다. 230에서, 2개의 픽쳐들 사이의 코딩 비용의 차이는 선택된 포지션들 각각에서 계산된다. 이들 차이들은 합산되고, 합계 차이(total difference)가 임계 값과 비교된다. 합계 차이가 임계 값을 초과하는 경우, 장면 변경이 발생한 것으로 결정된다.

이 장면 변경 검출 방법은 품질 평가 모델이 다음 중 하나를 검출할 때 사용될 수 있다:

- 하나 이상의 픽쳐들의 손실;

- 픽쳐의 일부분(part)의 손실, 픽쳐는 I-픽쳐 또는 IDR 픽쳐로서 인코딩됨;

- 픽쳐의 일부분의 손실, 여기서, 픽쳐 내의 인트라-코딩된 매크로-블록들의 일부분(proportion)은 임계를 초과하고, 따라서 픽쳐는 I-픽쳐 또는 IDR 픽쳐에 대한 유사한 영향을 가진다.

방법은 2개의 픽쳐들에 적용되는데, 하나는 데이터 손실 이전에 발생하고, 다른 하나는 데이터 손실 이후에 발생한다. 방법은 2개의 픽쳐들 사이의 비교를 수행하는 단계를 포함한다. 이것은 장면 변경 동안 손실이 발생했는지의 여부에 대한 결정을 허용한다. 그러나, 장면 변경 검출 방법은 또한 어떠한 손실도 발생하지 않은 경우라도 적용될 수 있다.

픽쳐 내의 포지션에서 매크로-블록을 코딩하는 비용의 표시는: 모션 벡터들, 매크로-블록 타입들, 매크로-블록 코딩을 위해 사용되는 비트수(number of bits), 및/또는 양자화 값들을 사용하여 결정될 수 있다.

모션 벡터들이 매크로-블록의 코딩 비용을 결정하기 위해 사용되는 경우, 매크로-블록에 대한 모션 벡터의 방향 및 사이즈가 사용된다. 모션 벡터의 사이즈가 커질수록, 코딩 비용이 커진다. 모션 벡터의 방향은 또한 코딩 비용에 대한 영향을 가질 수 있다. 이 방식은 장면 변경이 발생한 많은 경우들을 검출할 수 있다. 그러나, 매우 정적인 장면들에 대해, 모션 벡터 전용 방식(motion vector only approach)은 장면 변경들을 검출하지 못할 수 있을 것이다(즉, 하나의 정적 장면으로부터 또다른 정적 장면으로의 장면 변경들은 모션 벡터들을 봄으로써 검출하기에는 어렵다).

코딩 비용은 픽쳐들의 특정 영역들의 복잡도를 분석함으로써 결정될 수 있다. 복잡도는 특정 매크로-블록 포지션에서 사용되는 매크로-블록의 타입 또는 사용되는 비트들의 수를 봄으로써 측정될 수 있다. 매크로-블록 타입들에 대해, 매크로-블록의 각각의 타입에 아래 표에 따라 수가 할당될 수 있으며, 고비용의 매크로-블록들에는 더 높은 값들이 할당된다.

도 3에 예시된 픽쳐 비교는 표 1에 대응하는 스코어링 시스템과 함께, 매크로-블록 타입들을 사용한다. 이 예에서의 각각의 픽쳐의 사이즈는 예시의 목적으로 오직 5x5 매크로-블록들이다. 실제로, 통상적인 픽쳐 사이즈는 종종 QCIF 비디오 포맷(11x9 매크로-블록들) 및 풀 HD 비디오(120x68 매크로-블록들) 사이에 있다. 도 3a에서, 매크로-블록 타입은 심볼: 원에 의한 서브블록들을 포함하는 인트라 매크로-블록; 사각형에 의한 인트라 16 x 16; 삼각형에 의한 서브블록들을 포함하는 인터 매크로-블록; 공란에 의한 인터 16 x 16; 십자표(cross)에 의한 스킵에 의해 예시된다. 도 3a는 3개의 연속적인 픽쳐들(301, 302, 303)을 도시한다.

도 3b는 도 3a에서 연속적인 픽쳐들의 쌍들에 대한 차이 맵들을 도시한다. 제1 차이 맵은 픽쳐들(301 및 302) 사이의 매크로-블록 값 당 절대 차이(absolute difference)를 포함한다. 제2 차이 맵은 픽쳐들(302 및 303) 사이의 매크로-블록 당 절대 차이를 포함한다. 제1 차이 맵에서의 평균 차이는 3.8이고 제2 차이 맵에서 그것은 22.4이다. 매크로-블록 타입들의 분포들은 예에서 3개의 픽쳐들에 대해 동일하지만, 차이들은 복잡도의 포지션들로 인해 매우 상이하다. 픽쳐들(301 및 302)에서의 복잡도는 애우 유사한 포지션들에 있는 반면, 픽쳐들(302 및 303)에서의 복잡도는 매우 상이한 포지션들에 있다.

위의 방법은 1개 또는 2개의 매크로-블록의 오정렬을 허용하도록 확장될 수 있다. 이것은 카메라 패닝(panning)과 같은 특정 움직임들을 보상할 수 있고, 결과를 더 정확하게 만들 수 있다. 비교될 2개의 픽쳐들이, 그것이 예를 들어 매크로-블록 타입 패턴이 될 때와 매우 유사한 경우라도, 이들은 여전히, 픽쳐들 중 하나 내의 모든 블록이 (예를 들어, 카메라 모션으로 인해) 약간 시프트되는 경우 높은 차분 값을 획득할 수 있다. 1개 또는 2개 블록들의 오정렬을 허가하는 것은 블록들 사이의 차이들의 계산이 주변 블록들의 값을 고려할 것임을 의미할 것이다. 실제로, 이것은 블록에 대한 차이가 블록을 모든 주변 블록들과 비교함으로써 획득되는 복수의 차이 값들의 최소값일 것임을 의미할 수 있다.

픽쳐(302)의 포지션에서의 매크로-블록에 대한 차이는 픽쳐(301)의 포지션 (m+x, n+y)에서 매크로-블록에 대한 차이값들(예를 들어, 표 1)의 최소값이고, m 및 n은 픽쳐(301) 내의 매크로-블록의 포지션을 표시하고, x 및 y는 각각 수평 및 수직 방향들로 픽쳐들(301 및 302)의 매크로-블록 포지션 사이의 오프셋을 표시하고, x 및 y는 (-1 ,-1), (-1 ,0), (-1 , 1), (0,-1), (0,0), (0, 1), (1 ,-1), (1 ,0), 및 (1 ,1)의 값들 중 임의의 것을 취한다.

또한, 위의 방법들은 모션 보상들을 고려하도록 확장될 수 있다. 오직 그 자체로부터 예측할 수 있는 I-픽쳐들에 비해, P-픽쳐들 및 B-픽쳐들은 이전(그리고 때때로 향후) 픽쳐들로부터 예측한다. 다른 픽쳐들로부터의 예측은 단지 다른 픽쳐 내의 정확한 대응하는 픽셀 포지션들로부터 예측함으로써 수행될 수 있거나, 또는 모션 벡터는 다른 픽쳐 내의 상이한 공간적 포지션으로부터 예측하도록 적용될 수 있다. 이것은 특히, 2개의 픽쳐들 사이의 자연스러운 모션이 존재할 때 유용하다.

모션 보상은 차이를 계산하기 전에 모션 벡터들에 따라 비교될 블록들을 정렬할 목적으로 여기에 적용될 수 있다. 예를 들어, 삼각형으로 마킹된 도 3a의 픽쳐(302) 내의 서브 블록들을 포함하는 최상부 인터 매크로-블록을 고려한다. 픽쳐의 최상부 좌측 픽셀은 픽셀 포지션(0,0)을 가지며, 각각의 매크로-블록은 16x16 픽셀들을 포함한다. 대상 매크로-블록이 픽셀 포지션(16, 16) 내의 최상부 좌측 픽셀을 가진다. 이것이 하나씩 우측으로 시프트된, 그것에 인접한 매크로-블록 포지션에서의 이전 픽쳐 내의 매크로-블록으로부터 유도되는 경우, 픽쳐(301)에서 픽셀 포지션(32, 16)을 가리키는 모션 벡터 mv(x,y) = (16,0)를 가질 것이다. 차이를 계산하기 이전에 모션 보상을 수행함으로써, 이 매크로-블록에 대해 35 대신 0의 차이로 종료될 것이다.

물론, 모션 벡터들은 매크로-블록들의 사이즈에 맞춰 반드시 정렬될 필요는 없지만, 임의의 픽셀에서 지정할 수 있다(H.264에서 심지어 1/2 및 1/4 픽셀 포지션들). 이에 대해 수용하기 위해, 방법은 모션 벡터가 지정하는 픽셀 포지션에 가장 가까운 블록을 선택할 수 있거나, 또는 방법은 예측된 블록과 교차하는 4개의 블록들의 가중을 수행할 수 있다. 예를 들어, 모션 벡터 mv(x,y) = (-12,3)는 픽쳐(302) 내의 동일한 대상 매크로-블록(삼각형으로 마킹된 최상부 매크로-블록)을 인코딩할 시에 사용된다라고 한다. 예측은 이후 포지션(4, 19) 내의 최상부 좌측 픽셀을 가지는 16x16 블록으로부터 취해지고, 가중은 픽쳐(301)로부터 포지션 (0, 16), (16, 16), (0,32) 및 (16, 32)에서 매크로-블록들로부터 수행된다. 가중은 다음과 같이 계산될 수 있다:

302에서 블록(16, 16)에 대한 값 =

파라미터들의 매칭의 더욱 안정적인 결과들을 획득하는 또다른 방법은 슬라이딩 윈도우 방식을 사용하여 몇몇 픽쳐들에 걸쳐 평균내는 것이다. 이전 픽쳐의 평균 차이를 가지고 평균 차이를 분할하는 것은 n 및 1/n의 정적 임계를 사용하여 장면 변경들을 검출하는 것을 가능하게 할 것이다. 예를 들어, 아래의 평균 절대 차이들의 2개의 시리즈를 가질 수 있다:

시퀀스 a:

시퀀스 b:

이전 값을 가지고 값들을 분할하는 것은 다음을 획득한다:

시퀀스 a:

시퀀스 b:

n = 3을 사용하는 것은 3 초과 또는 0.33 미만의 값이 장면 변경이 발생했다고 표시함을 의미한다. 위의 예들에서, 두 시퀀스들 모두에 대해 제4 픽쳐에서의 새로운 장면을 검출한다.

대안적인 실시예들에서, 표 1의 매크로-블록 타입에 따른 할당된 값들은, 위의 방법들에서 사용된 바와 같이, 각각의 매크로-블록을 코딩하기 위해 사용되는 비트들의 수에 의해 대체된다.

추가적인 실시예들에서, 양자화 파라미터(QP)의 차이들은 또한, QP가 한 픽쳐에 걸쳐 갑자기 떨어지거나 증가하는 경우, 장면 변경을 표시할 수 있다.

양자화 파라미터(QP)는 2개의 블록들 사이의 차이들이 얼마나 양자화되어야 하는지를 결정한다. 변환된 픽셀 차이들의 각각의 계수는 QP 및 대응하는 룩업 테이블들에 의해 결정된 양자화 스텝들 중 하나로 양자화된다. 높은 QP는 양자화 스텝들의 더 낮은 충실도(fidelity)가 낮은 품질을 초래함을 의미하고, 낮은 QP는 양자화 스텝들의 더 높은 충실도가 더 높은 품질을 제공함을 의미한다. 따라서 QP는 인코딩으로 인한 품질 저하의 양호한 표시자이고, 가용 비트레이트가 주어진 경우 품질을 최대화하기 위해 비트레이트 제어 알고리즘에 의해 자주 사용된다. QP는 각각의 매크로-블록에 대해 개별적으로 설정될 수 있지만, 그것은 각각의 매크로-블록에 대해 QP를 왔다갔다 변경시키기에는 상대적으로 고비용이며, 큰 QP 차이들은 일반적으로 픽쳐 마다 설정된다.

(ii) 비디오 스트림 및 디코딩된 픽셀 데이터로부터 추출된 특징들의 사용

비디오 스트림 정보로부터 장면 변경을 검출하기 위한 위의 방법들은 디코딩된 픽셀 데이터가 분석을 위해 이용가능할 때 확장될 수 있다. 이것은, 픽셀 데이터를 생성하고 스트리밍된 비디오를 디스플레이하기 위해 암호화된 비디오 비트 스트림을 디코딩할 수 있는 셋톱 박스에서의 경우일 수 있다. 물론, 이러한 디코딩은 분산 네트워크에서 다른 노드들에서 수행될 수 있지만, 이것은 프로세싱 요건들로 인해 정상적으로 수행되지 않으며, 비디오 스트림이 암호화되는 경우 가능하지 않을 수 있다.

스트리밍된 비디오에서 장면 변경을 검출하기 위한 방법이 제공되고, 스트리밍된 비디오는 일련의 픽쳐들을 포함하며, 방법은: 복수의 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀 값들 사이의 차이를 계산하는 단계; 차이에 가중을 적용하는 단계 ― 가중은 포지션과 연관된 매크로-블록 타입에 의존함 ― ; 및 복수의 포지션들에 대한 가중된 차이들의 합산이 임계값을 초과할 때 새로운 장면을 식별하는 단계를 포함한다.

이것은 동일한 장면에 속하는 2개의 연속적인 픽쳐들의 픽셀 값들은 약간 상이한(도시된 장면이 한 픽쳐에서 또다른 픽쳐로 작은 변환(translation), 회전 또는 스케일링을 겪으므로) 반면 픽셀 값들에서의 차이는 2개의 연속적인 픽쳐들이 상이한 장면에 속하는 경우(즉, 2개의 조사된 픽쳐들 사이에 장면 변경이 존재하는 경우) 훨씬 더 높을 것으로 예상되는 원리에 기초한다.

또한, 가중 인자로서 매크로-블록 타입을 포함하는 동기(motivation)는, 그것이 고려중인 픽쳐의 특정 위치와 그것의 기준 픽쳐(들) 사이의 시간적 리던던시 및 예측성의 표시를 제공한다는 사실로부터 기인한다. 다음에서, 솔루션은 H.264/AVC 비디오 코딩 표준에서 특정된 매크로-블록 인코딩 모드들에 대해 기술된다. 그러나, 동일한 원리들이 다른 블록-기반 비디오 코딩 표준들에 대해 적용될 수 있다.

스킵(SKIP) 모드로 인코딩된 매크로-블록은 그것의 기준 픽쳐와 유사한 픽쳐에 속할 가능성이 있으며, 따라서 장면 변경이 아니다. 유사하게, 인터(INTER)-16x16 인코딩 모드는 이전 픽쳐(들)에 의해 매우 효율적으로 시간적으로 예측될 수 있는 균일한 영역들을 나타내는 매크로-블록들에 대해 통상적으로 선택된다. 따라서, 이들 매크로-블록들이 장면 변경인 프레임에서 나타날 가능성이 더 적다는 점이 다시 명백하다.

반면, 인트라(INTRA)-4x4 인코딩 모드는 일반적으로 자신의 시간적 및 공간적 예측기들을 가지고 매우 낮은 시간적 리던던시를 보여주는 해당 매크로-블록들에 대해 선택된다. 따라서, 이들 매크로-블록들은 장면 변경인 프레임에서 나타날 가능성이 더 크다.

따라서, 후속적인 픽쳐들의 픽셀 값들의 차이는 매크로-블록 타입들에 따라 가중된다. 특히, 매크로-블록이 서브블록들로 분할되는 경우, 병치된(collocated) 픽셀 값들이 이전 픽쳐로부터 현재 픽쳐로 변경될 것임이 예측되고, 따라서, 이러한 매크로-블록 타입들과 연관된 픽셀 차이들에 증가된 가중이 주어진다. 스킵 매크로-블록들(및 풀-사이즈 인트라 및 인터 매크로-블록들보다 약간 더 적은 범위에 대해)은 현재 프레임 및 이전 프레임 사이에 매우 유사한 병치된 픽셀 값들을 취하도록 예상되고, 따라서 이들 매크로-블록들에 대한 임의의 픽셀 값 차이들에는 더 낮은 가중이 주어진다.

스트리밍된 비디오 내의 2개의 연속적인 픽쳐들에 적용되는 바와 같이, 이 방법을 예시하는 흐름도는 도 4에 도시된다. 410에서, 비교될 픽쳐 포지션들이 선택된다. 일부 구현예들에 대해, 모든 픽쳐 위치가 비교될 수 있지만, 다른 구현예들에 대해, 서브-세트는 미리 결정된 또는 심지어 랜덤 패턴에 따라 선택된다. 420에서, 2개의 픽쳐들 사이의 픽셀 값들에서의 차이는 선택된 포지션들 각각에서 계산된다. 430에서, 가중은 계산된 차이들에 적용되고, 가중은 픽쳐들 중 나중의 것(latter) 내의 각각의 포지션의 픽셀 값들을 인코딩하기 위해 사용되는 매크로-블록 타입에 의존한다. 440에서, 이들 가중된 차이들이 합산된다. 450에서, 합계 차이가 임계 값과 비교된다. 합계 차이가 임계 값을 초과하는 경우, 장면 변경이 발생했다고 결정된다.

2개의 연속적인 픽쳐들 내의 병치된 위치에서의 픽셀 값들 사이의 가중된 차이가 조사된다. 더 구체적으로,

이 제k 픽쳐의 제m 행 및 제n 열에서의 픽셀 값을 나타내도록 한다. 이후, 고려중인 픽쳐 및 이전 픽쳐 사이의 차이가 다음과 같이 계산된다:

대안으로서, 이 방법은 성공적인 픽쳐들 사이의 움직임을 고려하기 위해 현재 픽쳐 및 이전 모션 보상 픽쳐 사이의 차이가 계산되도록 확장될 수 있다. 또한, 예를 들어, 절대 차이들의 합산 또는 제곱된 차이들(squared differences)의 합산과 같은 임의의 다른 왜곡 메트릭이 사용될 수 있다.

차이 또는 모션 보상 차이를 사용하여, 이전 픽쳐에 비교하여 현재 픽쳐 내의 픽셀들의 차이가 현재 픽쳐 내의 픽셀들이 속하는 매크로-블록 타입에 기초하여 가중된다. 각각의 매크로-블록 타입에 할당된 가중들의 예가 표 2에 제공된다.

따라서, 모든 픽쳐에 대해, 후속하는 가중된 합산이 계산된다:

후속적으로, 조사된 픽쳐가 새로운 장면의 시작인지 또는 아닌지의 여부를 결정하기 위해 가중된 합산이 임계

와 비교된다. 계산된 차이가 임계를 초과하는 경우, 현재 픽쳐가 장면 변경으로서 표기된다.

(iii) 인코딩된 비디오 신호들의 패킷 헤더 정보의 사용

일부 경우들에서, 스트리밍된 비디오의 전송 경로를 따라, 장면 변경들을 결정하기 위한 유일한 이용가능한 정보는 비디오 신호를 전송하는 패킷 헤더들이다. 이 경우, 각각의 픽쳐의 사이즈 및 타입은 패킷 헤더들로부터 정보를 추출함으로써 계산될 수 있다.

따라서, 스트리밍된 비디오에서 장면 변경을 검출하는 방법이 제공되고, 스트리밍된 비디오는 일련의 픽쳐들을 포함하고, 방법은 픽쳐의 인코딩된 사이즈를 결정하는 단계; 픽쳐의 픽쳐 타입을 결정하는 단계; 및 인코딩된 픽쳐 사이즈가 검출된 픽쳐 타입에 대한 임계를 초과할 때 새로운 장면을 식별하는 단계를 포함한다.

방법은 도 5의 흐름도에 의해 예시된다. 510에서, 인코딩된 픽쳐 사이즈는 비디오 비트 스트림의 패킷 헤더들로부터 결정된다. 520에서, 픽쳐 사이즈는 픽쳐 타입을 결정하기 위해 사용된다. 이것은, 하기에 설명될 바와 같이, 상이한 픽쳐 타입들의 사이즈들이 식별가능한 범위 내에 들기 때문에 가능하다. 이후, 530에서, I-픽쳐의 픽쳐 사이즈는 임계 기준과 비교되고, 임계 기준은 결정된 픽쳐 타입에 의존한다. 장면 변경은 하나의 픽쳐 타입의 사이즈가 상당한 변경을 수행할 때 검출된다. 장면 변경은 하나의 픽쳐 타입의 사이즈가 임계 값을 초과할 때 검출될 수 있다. 임계 값은 미리 결정되고; 미리 결정되고 비디오 스트림의 인코딩 파라미터들에 의존하고; 또는 하나 이상의 타입들의 최근에 수신된 픽쳐들의 사이즈들에 따라 결정될 수 있다.

픽쳐 타입은 각각의 픽쳐의 사이즈로부터 결정된다. 도 6은 이것이 수행될 수 있는 예를 예시한다. 도 6에 도시된 차트(600)는 0 내지 59로 넘버링된 60개의 픽쳐들의 시리즈에 대한 픽쳐 사이즈를 도시한다. 픽쳐 번호는 수평 축(610) 상에 도시되고, 픽쳐 사이즈는 수직축(620)에 도시된다. I-픽쳐, P-픽쳐 및 B-픽쳐는 차트(600)의 최상부 좌측 코너의 키에 따라 도시되어 있다. 도 6에 도시된 바와 같이, I-픽쳐들은 P-픽쳐들보다 더 크고, P-픽쳐들은 B-픽쳐들보다 더 크다. 도 6으로부터 명백한 바와 같이, I-픽쳐들의 인코딩된 사이즈는 제1 범위(601) 내에 들며, P-픽쳐들의 인코딩된 사이즈는 제2 범위(602) 내에 들며, B-픽쳐들의 인코딩된 사이즈들은 제3 범위(603) 내에 든다.

대안적으로, 픽쳐 타입은 조사된 비디오 비트 스트림의 GOP 패턴 및 사이즈 모두를 사용하여 패킷 헤더 정보로부터 결정될 수 있다. 이러한 방법은 인용에 의해 본원에 포함된 유럽 특허 출원 번호 제2010171431.9호에 기술된다. GOP 패턴은 각각의 GOP 내에 당면된(encountered) 프레임 사이즈들의 통상적인 미리 정의된 GOP 패턴들로의 패턴 매칭에 의해 추정된다. 이러한 추정된 GOP 패턴의 지식을 이용하여, 모든 후속적인 프레임의 타입이 추정될 수 있다.

이러한 대안적인 픽쳐 타입 결정 방법은:

a. 프레임 사이즈들의 어레이를 획득하기 위해, 초기 인트라-프레임, I-프레임에 후속하는 모든 비디오 프레임의 프레임 사이즈들(바이트 단위)을 캡쳐하는 단계;

b. 프레임들의 번호 다음에, 프레임 사이즈들의 어레이를 제로 및 1의 어레이로 변환하는 단계 ― 제로는 양방향 프레임들, B-프레임들에 대해 가정된 바와 같이 작은 프레임 사이즈를 나타내고, 1은 예측된 프레임들, P-프레임들에 대해 가정된 바와 같이, 큰 프레임 사이즈들을 나타냄 ― ;

c. (b)에서 획득된 제로들 및 1들의 어레이를 다수의 바이너리들의 미리 정의된 패턴들(a number of predefined patterns of binaries)에 매칭시키는 단계 ― 상기 바이너리들의 미리 정의된 패턴들은 가능한 GOP 구조들을 도시함 ― ;

d. 단일 스코어 값을 형성하기 위해 단계(c)에서 상기 매칭의 결과를 변환하는 단계; 및

e. 미리 정의된 메트릭에 따라, 최상의 스코어 값을 가지는 다수의 바이너리들의 미리 정의된 패턴들 중의 특정 패턴을 결정하는 단계

를 포함한다.

대안적인 방법은 단일 프레임의 프레임 사이즈에 기초하여 프레임을 결정하는 것이 아니라, 오히려, 복수의 프레임들 및 이들의 개별 프레임 사이즈들을 고려하여 이들을 미리 정의된 패턴들과 매치시키고, 그 매칭으로부터 GOP의 구조 및 따라서 각각의 픽쳐의 타입을 결정한다.

도 6은 단지 예시이며; 제1, 제2 및 제3 범위는 비디오 해상도, 인코딩 파라미터들 및 컨텐츠의 공간-시간적 복잡도를 포함하는 다수의 인자들에 의존한다. 그러나, 픽쳐의 3가지 타입들 사이의 상대적 차이는 이러한 블록 기반 코딩의 특성이며, 범위들은 바로 이전 픽쳐들로부터 유도될 수 있다.

다음은 전술된 방법을 구현하는 장면 변경 검출 프로시져의 상세한 설명이다. 이 프로시져는 도 7의 흐름도에 의해 예시된다. 통상적으로, 새로운 장면은 I-픽쳐로 시작할 것이며, 따라서, 이러한 프로시져는 그것이 새로운 장면의 시작인지의 여부를 결정하기 위해 비디오 스트림 내의 각각의 검출된 I-픽쳐들에 적용된다.

비디오 비트 스트림이 수신되고, 710에서, 픽쳐 사이즈 및 픽쳐 타입의 계산은 전술된 바와 같이 수행된다. 720에서, I-픽쳐의 사이즈는 가장 최근의 픽쳐들에서의 컨텐츠 변경들을 반영하기 위해 이전 P-픽쳐들의 사이즈들에 기초하여 정규화된다. I-픽쳐의 새로운 정규화된 사이즈 I_k^norm은 다음에 의해 주어진다:

여기서,

는 제k의 I-픽쳐의 사이즈이고 스케일링 인자

는 다음에 의해 주어진다:

여기서,

는 현재 GOP 내의 제k의 P-픽쳐의 픽쳐 사이즈이고, M은 현재 GOP 내의 P 픽쳐들의 전체 수이다.

730에서, 현재 I-픽쳐의 픽쳐 사이즈 및 그 이전의 I-픽쳐의 정규화된 픽쳐 사이즈의 비가 계산된다:

또한, 현재 I-픽쳐 이전 및 이후의 P-픽쳐 사이즈들의 비가 계산된다:

그리고, 현재 I-픽쳐 이전 및 이후의 B-픽쳐 사이즈들의 비는:

이다.

740에서, 비

가 미리 결정된 값 T_I_high보다 더 큰지 또는 또다른 값 T_I_low보다 더 작은지에 대한 결정이 이루어진다. 본원에서 "T"로 지칭되는 미리 결정된 임계 값들 각각의 예들이 하기 표 3에 추가로 주어져 있다.

비

가 미리 결정된 값 T_I_high보다 더 크거나 또는 또다른 값 T_I_low보다 더 작은 경우, 추가적인 결정(750)이 이루어진다. 750에서,

또는

또는

또는

인지의 여부가 결정된다. 이들 조건들 중 임의의 것이 만족되는 경우, 780에서, 현재 I-픽쳐는 새로운 장면의 시작인 것으로 결정된다. 이들 조건들 중 어느 것도 만족되지 않는 경우, 현재 I-픽쳐가 새로운 장면의 시작이 아닌 것으로 결정되고, 프로세스는 790에서 다음 I-픽쳐로 진행한다.

비

가 미리 결정된 값 T_I_high보다 더 크지도 또다른 값 T_I_low보다 더 낮지도 않은 경우, 추가적인 결정(760)이 이루어진다. 760에서,

또는

인지의 여부가 결정된다. 이들 조건들 중 어느 것도 만족되지 않는 경우, 현재 I-픽쳐는 새로운 장면을 시작하지 않도록 결정되며, 프로세스는 790에서 다음 I-픽쳐로 진행한다. 결정(760)에서의 조건들 중 어느 하나가 만족되는 경우, 프로세스는 결정(770)으로 진행한다.

770에서,

또는

인지의 여부가 결정된다. 이들 조건들 중 임의의 것이 만족되는 경우, 780에서, 현재 I-픽쳐는 새로운 장면의 시작인 것으로 결정된다. 이들 조건들 중 어느 것도 만족되지 않는 경우, 현재 I-픽쳐는 새로운 장면의 시작이 아닌 것으로 결정되고, 프로세스는 790에서 다음 I-픽쳐로 진행한다.

위로부터, 조건 (a) 또는 조건 (b) 중 어느 하나가 만족되는 경우, I-픽쳐가 장면 컷으로서 표기된다는 점을 알 수 있다:

모든 다른 경우들에서, 현재 I-픽쳐는 장면 변경으로서 표기되지 않는다.

전술된 임계들의 값들이 표 3에 주어져 있다. 다른 임계 값들이 사용될 수 있다.

(iv) 패킷 헤더 정보 및 디코딩된 픽셀 데이터의 사용

이 방법에서, 장면 변경은 비디오 신호를 전송하는 패킷 헤더들로부터 및 또한 픽셀 값들(또는 픽셀 값들로부터 추출된 특징들)로부터의 정보를 이용함으로써 검출될 수 있다. 섹션 (ii)에서 설명된 바와 같이, 디코딩된 픽셀 데이터는 예를 들어, 셋톱 박스에서의 분석을 위해 이용가능하다. 또한, 이러한 디코딩은 분산 네트워크에서의 다른 노드들에서 수행될 수 있지만, 이것은 프로세싱 요건들로 인해 정상적으로 수행되지 않으며, 비디오 스트림이 암호화되는 경우 가능하지 않을 수 있다.

이 방법은 2개의 픽쳐들 사이의 차이를 결정하기 위해 픽셀 값들을 사용하는데, 차이가 충분히 큰 경우, 2개의 픽쳐들 사이에 장면 변경이 발생했다고 결정된다. 본 방법은 장면 변경이 I-픽쳐에 의해 발생할 가능성이 있으며, 더 적은 확률로 P-픽쳐들에 의해, 그리고 매우 적은 확률로 B-픽쳐에 의해 발생할 가능성이 있다는 점을 포함한다. 2개의 픽쳐들 사이의 픽셀들의 포지션들의 비교로부터 계산된 차이는 이것을 고려하도록 가중된다.

따라서, 스트리밍된 비디오에서 장면 변경을 검출하는 방법이 제공되고, 스트리밍된 비디오는 일련의 픽쳐들을 포함하고, 방법은: 픽쳐의 인코딩된 사이즈를 결정하는 단계; 픽쳐의 인코딩된 사이즈에 따라 픽쳐 타입을 결정하는 단계; 복수의 픽셀 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀 값들 사이의 차이를 계산하는 단계; 픽셀 차이들을 합산함으로써 연속적인 픽쳐들 사이의 차이의 측정을 계산하는 단계; 연속적인 픽쳐들 사이의 차이의 측정에 가중을 적용하는 단계 ― 가중은 픽쳐 타입에 의존함 ―; 및 가중된 차이가 임계 값을 초과할 때 새로운 장면을 식별하는 단계를 포함한다.

이 방법을 예시하는 흐름도가 도 8에 도시된다. 810에서, 인코딩된 픽쳐 사이즈는 비디오 비트 스트림의 패킷 헤더들로부터 결정된다. 820에서, 픽쳐 사이즈는 픽쳐 타입을 결정하기 위해 사용된다. 이것은, 위에서 설명된 바와 같이, 상이한 픽쳐 타입들의 사이즈들이 식별가능한 범위들 내에 들기 때문에 가능하다. 830에서, 비교될 픽쳐 포지션들이 선택된다. 일부 구현예들에서, 모든 픽쳐 위치가 비교될 수 있지만, 다른 구현예들에 대해, 서브-세트는 미리 결정된 또는 심지어 랜덤 패턴에 따라 선택된다. 840에서, 2개의 픽쳐들 사이의 픽셀 값들에서의 차이는 선택된 포지션들 각각에서 계산된다. 850에서, 이들 차이들은 합산된다. 860에서, 가중이 합산된 차이에 적용되며, 가중은 픽쳐들 중 나중의 것(latter)의 픽쳐 타입에 의존한다. 870에서, 가중된 차이가 임계 값에 비교된다. 합계 차이가 임계 값을 초과하는 경우, 장면 변경은 2개의 픽쳐들 중 나중의 것(latter)을 통해 발생했다고 결정된다.

이 방법은 비디오 비트 스트림이 암호화될 때, 비디오 비트스트림으로부터의 직접적인 특징들의 추출이 구현가능하지 않을 때 적용될 수 있다. 암호화에도 불구하고, 결국 디스플레이 디바이스에 디스플레이되는 재구성된 픽쳐들은 장면 변경 검출을 위해 캡쳐되고 이용된다.

패킷 헤더 정보를 사용한 픽쳐 타입들 및 사이즈들의 계산은, 이전 섹션에서 기술된 바와 같이 수행된다. 후속적으로, 2개의 후속적인 픽쳐들의 픽셀 값들은 고려된 픽쳐들 사이의 차이의 정도를 결정하기 위해 조사된다. 픽쳐들 사이의 차이는 계산된 픽쳐 타입에 따라 가중되는데, 왜냐하면, 장면 변경들이 인코딩 스테이지에서 검출되었을 것이라고 예상되기 때문이다. 따라서, I-픽쳐들은 P- 또는 B- 픽쳐들보다 새로운 장면들의 시작을 나타낼 가능성이 더 크다.

더 구체적으로,

가 제k 픽쳐의 제m 행 및 제n 열에서의 픽셀 값을 표기한다고 하자. 이후, 고려중인 픽쳐 및 후속하는 픽쳐 사이의 차이는 다음과 같이 계산된다:

여기서, k=0,..., K-1, m=0,..., M, n=0,..., N이고, K, M, N은 각각 비디오 시퀀스의 픽쳐들의 수, 픽쳐 내의 행들의 수, 및 픽쳐 내의 열들의 수를 나타낸다. 다음 단계에서, 2개의 고려된 픽쳐들 내의 픽셀들의 차이는 픽쳐 타입에 기초하여 가중된다. 각각의 매크로-블록 타입에 할당된 가중들의 예가 표 4에 제공된다.

후속적으로, 조사된 픽쳐가 장면 컷인지 아닌지의 여부를 결정하기 위해 가중된 합산이 임계와 비교된다.

도 9는 전술된 방법들을 수행하기 위한 장치를 예시한다. 비디오 비트 스트림은 디코더(910) 및 패킷 헤더 분석기(920) 모두에 의해 수신된다. 디코더(910)는 비디오 비트 스트림을 디코딩하고, 디코딩된 비디오를 픽셀 값들의 형태로 출력 디바이스(930)에 출력한다. 디코딩된 비디오는 또한 디코더(910)로부터 픽셀 정보 분석기(940)로 출력된다. 장면 컷 검출기(950)는 패킷 헤더 분석기(920)로부터의 픽쳐 타입 표시들 및 픽셀 정보 분석기(940)로부터의 픽셀 차이 값들 모두를 사용하여 장면 변경이 언제 발생하는지에 대한 결정을 수행한다. 패킷 헤더 분석기(920), 픽셀 정보 분석기(940) 및 장면 컷 검출기(950)는 모두 범용 프로세서(960) 내에 포함될 수 있다.

전술된 장면 변경 검출 방법들은 품질 모델에서 사용하기에 적합하다. 더욱 강건한 표시를 획득하기 위해, 전술된 방법들 중 하나 이상이 병렬로 수행될 수 있다. 예를 들어, 동일한 방법이, 일 방법에서 그것의 모션 벡터들로부터 그리고 이후 또다른 방법에서 그 타입으로부터 매크로-블록을 코딩하는 비용을 결정하는 것과 같은, 상이한 기준을 사용하여 두번 동작될 수 있다. 이들 방법들 각각으로부터의 독립적 표시들이 장면 변경의 더욱 강건한 검출을 획득하기 위해 결합될 수 있다.

품질 모델에서, 데이터 손실이 검출되면, 데이터 손실이 새로운 장면의 시작에서 픽쳐에 영향을 주었는지의 여부에 대한 결정이 이루어질 수 있다. 손실의 영향은 전체 품질 스코어에 통합된다. 예를 들어, 새로운 장면의 시작에서 I-픽쳐에서의 큰 손실은 또다른 픽쳐에 비해 등가적인 손실보다 품질에 대해 더 큰 영향을 가질 것이다.

일 실시예에서, 품질 모델은 가산 모델(additive model)을 사용하여 구축된다. I-픽쳐 장면 변경 손실의 저하는 이후 다음에 따라 전체 스코어로부터 차감된다:

또다른 실시예에서, 품질 모델은 곱셈 모델(multiplicative model)을 사용하여 구축된다. I-픽쳐 장면 변경 손실의 저하는 이후 다음에 의해 발견된다:

위의 예들 모두에서, "packet_loss_degradation" 및 "scene_change_loss_degradation"은 0과 1 사이의 값들이다.

본원에 기술된 방법들에서 수행되는 동작들의 정확한 순서 및 내용이 실행 파라미터들의 특정 세트의 요건들에 따라 변경될 수 있다는 점이 당업자에게 명백할 것이다. 따라서, 동작들이 기술되고 그리고/또는 청구되는 순서는 동작들이 수행되는 순서에 대한 엄격한 제한으로서 해석되지 않아야 한다.

또한, 예들이 특정 비디오 전송 표준들의 상황에서 주어져 있지만, 이들 예들은 개시된 방법 및 장치가 응용될 수 있는 통신 표준들의 제한인 것으로서 의도되지 않는다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
스트리밍된 비디오에서 장면 변경(scene change)을 검출하는 방법으로서 ― 상기 스트리밍된 비디오는 일련의 픽쳐들을 포함함 ―,
모션 보상을 적용하는 단계;
복수의 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 매크로-블록들을 코딩하는 비용 사이의 차이를 계산하는 단계; 및
복수의 포지션들에 대한 상기 차이들의 합이 임계 기준을 만족시킬 때 새로운 장면을 식별하는 단계를 포함하고,
연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀들에 대한 매크로-블록들을 코딩하는 비용 사이의 상기 차이는 모션 보상이 적용된 이후에 상기 픽셀 포지션들에 대해 계산되는 방법.
스트리밍된 비디오에서 장면 변경(scene change)을 검출하는 방법으로서 ― 상기 스트리밍된 비디오는 일련의 픽쳐들을 포함함 ―,
복수의 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 매크로-블록들을 코딩하는 비용 사이의 차이를 계산하는 단계; 및
복수의 포지션들에 대한 상기 차이들의 합이 임계 기준을 만족시킬 때 새로운 장면을 식별하는 단계를 포함하고,
연속적인 픽쳐들 내의 상기 포지션들 사이에 오프셋을 포함시키는 단계;
복수의 오프셋 값들 각각에 대해, 상기 복수의 오프셋 값들에 대응하는 복수의 차이 합계들(difference totals)을 획득하기 위해 복수의 포지션들에 대한 차이들의 합을 계산하는 단계; 및
상기 복수의 차이 합계들 중 최소값을 상기 임계 기준과 비교하는 단계
를 더 포함하는 방법.
제7항 또는 제8항에서,
복수의 픽셀 포지션들에 대한 차이들의 합이 최대 임계값보다 더 높거나 최소 임계값보다 더 낮을 때 새로운 장면이 식별되는 방법.
제9항에 있어서,
복수의 이전 픽쳐들의 연속적인 픽쳐들 사이에 계산된 차이들로부터 적어도 하나의 임계값이 결정되는 방법.
제9항에 있어서,
미리 결정된 개수의 바로 이전의 픽쳐들 사이에 계산된 차이들의 가중된 평균을 취함으로써 적어도 하나의 임계값이 결정되고, 더 최근의 픽쳐들 사이의 차이들에 더 큰 가중이 주어지는 방법.
스트리밍된 비디오에서 장면 변경을 검출하는 방법으로서 ― 상기 스트리밍된 비디오는 일련의 픽쳐들을 포함함 ―,
복수의 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀 값들 사이의 차이를 계산하는 단계;
상기 차이에 가중을 적용하는 단계 ― 상기 가중은 상기 포지션과 연관된 매크로-블록 타입에 의존함 ―; 및
복수의 포지션들에 대한 가중된 차이들의 합이 임계값을 초과할 때 새로운 장면을 식별하는 단계
를 포함하는 방법.
제12항에 있어서,
픽셀 포지션과 연관된 상기 매크로-블록 타입은 상기 연속적인 픽쳐들 중 나중의 것(latter)의 픽셀 포지션의 인코딩 시에 사용되는 매크로-블록 타입인 방법.
제12항 또는 제13항에서,
모션 보상을 적용하는 단계를 더 포함하고,
연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀들에 대한 매크로-블록들을 코딩하는 비용 사이의 차이는 모션 보상이 적용된 이후에 픽셀 포지션들에 대해 계산되는 방법.
제12항 또는 제13항에서,
상기 매크로-블록 타입은, 스킵, 인터-코딩된 매크로-블록, 인터-코딩된 서브블록, 인트라-코딩된 매크로-블록, 및 인트라-코딩된 서브블록 중 하나를 포함하는 방법.
스트리밍된 비디오에서 장면 변경을 검출하는 방법으로서 ― 상기 스트리밍된 비디오는 일련의 픽쳐들을 포함함 ―,
픽쳐의 인코딩된 사이즈를 결정하는 단계;
상기 픽쳐의 픽쳐 타입을 결정하는 단계; 및
상기 픽쳐의 인코딩된 사이즈가 검출된 상기 픽쳐 타입에 대한 임계를 초과할 때 새로운 장면을 식별하는 단계
를 포함하는 방법.
제16항에 있어서,
상기 픽쳐 타입은 상기 픽쳐의 인코딩된 사이즈에 따라 결정되는 방법.
제17항에 있어서,
상기 픽쳐의 인코딩된 사이즈에 따라 픽쳐 타입을 결정하는 것은 최근 픽쳐들의 인코딩된 사이즈들의 레코드를 사용하여 수행되는 방법.
제16항에 있어서,
상기 픽쳐 타입은 상기 스트리밍된 비디오의 패킷 헤더들로부터 추출된 정보에 따라 결정되는 방법.
제16항에 있어서,
특정 픽쳐 타입에 대한 픽쳐의 인코딩된 사이즈의 임계는 상기 특정 픽쳐 타입의 다수의 가장 최근의 픽쳐들의 인코딩된 사이즈의 평균으로부터의 미리 결정된 편차로서 결정되는 방법.
제16항 내지 제20항 중 어느 한 항에 있어서,
상기 픽쳐 타입은, 인트라-코딩된 것, 단방향 예측 픽쳐들(uni-directional predictive pictures), 및 양방향 예측 픽쳐들(bi-directional predictive pictures) 중 하나를 포함하는 방법.
제16항 내지 제20항 중 어느 한 항에 있어서,
인트라-코딩된 픽쳐에 대한 픽쳐의 인코딩된 사이즈가 임계를 초과할 때 새로운 장면이 식별되는 방법.
스트리밍된 비디오에서 장면 변경을 검출하는 방법으로서 ― 상기 스트리밍된 비디오는 일련의 픽쳐들을 포함함 ―,
픽쳐의 인코딩된 사이즈를 결정하는 단계;
상기 픽쳐의 인코딩된 사이즈에 따라 픽쳐 타입을 결정하는 단계;
복수의 픽셀 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀 값들 사이의 차이를 계산하는 단계;
픽셀 차이들을 합산함으로써 연속적인 픽쳐들 사이의 차이의 측정치(measure)를 계산하는 단계;
상기 연속적인 픽쳐들 사이의 차이의 측정치에 가중을 적용하는 단계 ― 상기 가중은 상기 픽쳐 타입에 의존함 ―; 및
상기 가중된 차이가 임계값을 초과할 때 새로운 장면을 식별하는 단계
를 포함하는 방법.
제23항에 있어서,
상기 픽쳐 타입은 인트라-코딩된 것, 단방향 예측 픽쳐들, 및 양방향 예측 픽쳐들 중 하나를 포함하는 방법.
스트리밍된 비디오 상의 패킷 손실의 인지적 영향(perceptual impact)을 결정하는 방법으로서 ― 상기 스트리밍된 비디오는 일련의 픽쳐들을 포함함 ―,
패킷 손실을 식별하는 단계; 및
손실된 패킷이 새로운 장면의 시작에서의 픽쳐에 관한 정보를 포함하였는지 여부를 결정하는 단계
를 포함하고,
제7항, 제8항, 제12항, 제13항, 제16항 내지 제20항, 제23항, 그리고 제24항 중 어느 한 항에 따른 장면 변경을 검출하는 방법을 이용하여 새로운 장면이 검출되는 방법.
스트리밍된 비디오에서 새로운 장면의 발생의 인지적 영향을 결정하는 방법으로서,
상기 스트리밍된 비디오는 일련의 픽쳐들을 포함하고, 제7항, 제8항, 제12항, 제13항, 제16항 내지 제20항, 제23항, 그리고 제24항 중 어느 한 항에 따른 장면 변경을 검출하는 방법을 이용하여 새로운 장면이 검출되는 방법.
컴퓨터 로직에 의해 실행될 때, 상기 컴퓨터 로직으로 하여금 제7항, 제8항, 제12항, 제13항, 제16항 내지 제20항, 제23항, 그리고 제24항에 의해 정의된 방법들 중 임의의 방법을 수행하게 하는 명령어들을 전달(carrying)하는 컴퓨터 판독가능 매체.
삭제
스트리밍된 비디오에서 장면 변경을 검출하기 위한 장치로서 ― 상기 스트리밍된 비디오는 일련의 픽쳐들을 포함함 ―,
복수의 포지션들에 대해, 연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀 값들 사이의 차이를 계산하도록 구성된 픽셀 정보 분석기;
상기 차이에 가중을 적용하도록 구성된 프로세서 ― 상기 가중은 상기 포지션과 연관된 매크로-블록 타입에 의존함 ―; 및
복수의 포지션들에 대한 가중된 차이들의 합이 임계값을 초과할 때 새로운 장면을 식별하도록 구성된 장면 변경 검출기
를 포함하는 장치.
스트리밍된 비디오에서 장면 변경을 검출하기 위한 장치로서 ― 상기 스트리밍된 비디오는 일련의 픽쳐들을 포함함 ―,
픽쳐의 인코딩된 사이즈를 결정하고, 상기 픽쳐의 픽쳐 타입을 결정하도록 구성된 프로세서; 및
상기 픽쳐의 인코딩된 사이즈가 검출된 상기 픽쳐 타입에 대한 임계를 초과할 때 새로운 장면을 식별하도록 구성된 장면 변경 검출기
를 포함하는 장치.
스트리밍된 비디오에서 장면 변경을 검출하기 위한 장치로서 ― 상기 스트리밍된 비디오는 일련의 픽쳐들을 포함함 ―,
픽쳐의 인코딩된 사이즈를 결정하고, 상기 픽쳐의 인코딩된 사이즈에 따라 픽쳐 타입을 결정하도록 구성된 프로세서 ― 상기 프로세서는, 복수의 픽셀 포지션들에 대한 연속적인 픽쳐들 내의 동일한 포지션에서의 픽셀 값들 사이의 차이, 및 픽셀 차이들을 합산함으로써 연속적인 픽쳐들 사이의 차이의 측정치를 계산하도록 또한 배열되고, 상기 프로세서는 상기 연속적인 픽쳐들 사이의 차이의 측정치에 가중을 적용하도록 또한 배열되고, 상기 가중은 상기 픽쳐 타입에 의존함 ―; 및
상기 가중된 차이가 임계값을 초과할 때 새로운 장면을 식별하도록 구성된 장면 변경 검출기
를 포함하는 장치.