KR20070007330A - 단색 프레임 검출 방법 및 대응 장치 - Google Patents

단색 프레임 검출 방법 및 대응 장치 Download PDF

Info

Publication number
KR20070007330A
KR20070007330A KR1020067020672A KR20067020672A KR20070007330A KR 20070007330 A KR20070007330 A KR 20070007330A KR 1020067020672 A KR1020067020672 A KR 1020067020672A KR 20067020672 A KR20067020672 A KR 20067020672A KR 20070007330 A KR20070007330 A KR 20070007330A
Authority
KR
South Korea
Prior art keywords
frames
frame
blocks
intra prediction
prediction mode
Prior art date
Application number
KR1020067020672A
Other languages
English (en)
Inventor
마우로 바르비에리
드제브데트 브라제로빅
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070007330A publication Critical patent/KR20070007330A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 인접하는 블록들로 세분되는 매크로블록들 그 자체들로 분할되는 연속하는 프레임들을 포함하는 비디오 스트림의 형태로 이용 가능한 디지털 코딩된 비디오 데이터에 적용되는 검출 방법에 관한 것이다. 이 프레임들은 무관하게 코딩되는 I-프레임들, 이전의 I-프레임 또는 P-프레임으로부터 예측되는 P-프레임들, 및 적어도 배치되는 이 2개의 프레임들로부터 양방향으로 예측되는 B-프레임들을 포함한다. 본 발명에 따라서, 검출 방법은, 미리 결정된 인트라 예측 모드에 따라, 현재 프레임의 연속하는 블록 각각에 대하여 이것이 코딩되었는지 여부를 결정하는 단계; 상기 현재 프레임의 연속하는 블록들 모두에 대하여 유사한 정보를 수집하고 상기 미리 결정된 인트라 예측 모드와 관련된 통계치를 전달하는 단계; 상기 인트라 예측 모드를 나타내거나 또는 나타내지 않는 상기 현재 프레임의 블록들의 수를 결정하기 위하여 상기 통계치를 분석하는 단계; 및 상기 블록들의 수가 주어진 임계치보다 클 때마다, 단색이거나 또는 반복 패턴을 가진 이미지 또는 이미지의 서브영역의 발생을 상기 프레임들의 시퀀스에서 검출하는 단계를 포함한다.
Figure 112006072267532-PCT00001
검출 장치, 결정 수단, 수집 수단, 분석 수단, 인트라 예측 모드

Description

단색 프레임 검출 방법 및 대응 장치{Monochrome frame detection method and corresponding device}
본 발명은 예컨대 H.264/MPEG-4 AVC 비디오 스트림들에서 단색 프레임들 또는 프레임들의 부분을 자동적으로 검출하기 위한 방법에 관한 것이다. 본 방법은 H.264에 의하여 도입된 신규한 코딩 파라미터들의 사용에 기초하여 효율적으로 그리고 저비용으로 검출할 수 있다.
최근 몇년동안, 국제 비디오 코딩 표준들은 다양한 전문 애플리케이션들 및 소비자 응용에서 디지털 비디오를 용이하게 채용하는 주요 역할을 한다. 대부분의 유력한 표준은 두개의 기관들, 즉 ITU-T 및 ISO/IEC MPEG에 의하여 개발되었다(예컨대, MPEG-2/H.262). 가장 새로운 공동 표준은 권고 H.264/AVC로서 ITU-T에 의하여 그리고 국제 표준 14496-10(MPEG-4 파트 10) 차세대 비디오 코딩(AVC)로서 ISO/IEC에 의하여 2003년에 공식적으로 승인된 H.264/AVC이다. H.264/AVC 표준의 주요 목표들은 압축성능을 향상시키고 또한 "네트워크-친화적" 비디오 표현 어드레싱 "대화식"(전화) 및 "비대화식"(저장, 방송, 스트리밍) 응용들을 제공하는데 있다. 현재, H.264/AVC는 상기 목표들을 달성하는 것으로 폭넓게 인식되고 있으며, 여러 미래의 시스템들 및 애플리케이션들에서 사용하기 위하여 DVB 및 DVD 포럼과 같은 기술 및 표준 기구들에 의하여 고려되었다. 인터넷을 통해 H.264/AVC에 대한 정보를 제공하는 싸이트들의 수가 증가중에 있으며, 이들 사이트들 중에서 ITU-T/MPEG JVT[공동 비디오 팀]의 사무용 데이터베이스는 드래프트 업데이트들을 포함하는 H.264/AVC의 개발 및 상태를 반영한 문서들에 대한 자유로운 액세스를 제공한다.
H.264/AVC 신택스 및 코딩 도구들은 여기에서 상기될 수 있다. 첫째, H.264/AVC는 MPEG-2와 같은 설정된 표준들로부터 공지된 블록 기반 모션-압축 변환 코딩의 동일한 원리들을 사용한다. 따라서, H.264 신택스는 헤더들(화상, 슬라이스 및 매크로블록 헤더들) 및 데이터(모션 벡터들, 블록-변환 계수들, 양자화 스케일 등)의 보통 계층으로 편성된다. 데이터 구조(예컨대, I, P 또는 B 화상들, 인트라 및 인터 매크로블록들)과 관련된 대부분의 공지된 개념들은 유지되는 반면에, 일부 새로운 개념들이 헤더 및 데이터 레벨에서 도입된다. 주로, H.264/AVC는 비디오 데이터의 콘텐츠를 효율적으로 나타내기 위하여 정의되는 비디오 코딩 계층(VCL), 및 헤더 레벨(이송) 시스템에 의하여 전송하는데 적합한 방식으로 데이터를 포맷하여 헤더 정보를 제공하는 네트워크 요약 계층(NAL)을 분리한다.
데이터 레벨에서 H.264/AVC의 주요 특성들중 하나는 16x16 매크로블록들(매크로블록 MB는 휘도의 16x16 블록 및 색도의 대응하는 8x8 블록들을 포함하나, 많은 동작들, 예컨대 모션 추정은 실제로 휘도만을 취하며 이 결과들을 색도에 투영한다)의 더 정교한 분할 및 조작의 사용이다. 그래서, 모션 보상 프로세스는 샘플 그리드의 최대 1/4의 모션 벡터 정확도를 사용하여 4x4 크기 정도의 MB의 세그먼트 를 형성한다. 또한, 샘플 블록의 모션 보상 예측에 대한 선택 프로세스는 단지 인접 화상들 대신에 저장된 다수의 이전에 디코딩된 화상들을 포함할 수 있다. 인트라 코딩에서 조차, 인접 블록들로부터의 이전된 디코딩된 샘플들을 사용하여 블록을 예측하는 것이 지금 가능하다(이러한 공간-기반 예측을 위한 역할들은 소위 인트라 예측 모드들에 의하여 기술된다). 이러한 특징은 특히 여기에서 기술된 본 발명과 관련되며, 이후의 상세한 설명에서 강조될 것이다. 모션-보상 또는 공간-기반 예측후에, 결과적인 예측 에러는 종래의 8x8 크기 대신에 4x4 블록 크기에 기초하여 변환 및 양자화된다. H.264/AVC 표준은 다른 코딩 스테이지들에 다른 특정 구현들(예컨대, 엔트로피 코딩)을 사용하며, 이들 구현의 대부분은 화상 레벨에 또는 화상 레벨위에 고정 또는 변경될 수 있다.
이전 표준들의 경우에서 처럼, H.264/AVC는 즉 인접 이미지들로부터의 시간 예측을 사용하지 않고 이미지 블록이 인트라 모드에서 코딩되도록 한다. H.264/AVC 인트라 코딩의 신규성은 공간 예측을 사용하는 것이며, 이에 따라 동일한 화상에서 이전에 코딩된 및 재구성된 샘플들로부터 형성된 블록 P에 의하여 인트라 블록을 예측할 수 있다. 이러한 예측 블록 P는 인코딩전에 실제 이미지 블록으로부터 감산될 것이며, 이는 실제 이미지 블록이 직접 인코딩되는 기존 표준들(예컨대, MPEG-2, MPEG-4 ASP)와 다르다. 휘도 샘플들에 대하여, P는 16x16 MB 또는 이의 각각의 4x4 부블록을 위하여 형성될 수 있다. 각각의 4x4 블록에 대한 전체 9개의 선택 예측 모드들, 16x16MB에 대한 4개의 선택 모드들, 및 각각의 4x4 색도 블록에 적용되는 하나의 모드가 존재하며, 이들은 여기에서 기술되지 않을 것이 다.
본 예에서, 도 1은 16x16 휘도 매크로블록을 좌측에 도시하고 예측된 4x4 부블록을 우측에 도시한다(위쪽 및 좌측의 샘플들은 미리 인코딩되어 재구성되고 이에 따라 예측 기준을 형성하기 위하여 인코더 및 디코더에서 이용가능하다). 예측 블록 P는 샘플들에 기초하여 계산되며, 도 2는 예측을 위하여 사용된 샘플들(A 내지 M)의 관련 위치 및 라벨링과 예측 블록 P를 구성하는 샘플들(a 내지 p)의 라벨링을 좌측에 도시한다(화소들 E 내지 H가 이용가능하지 않을때, 이들 화소들은 D의 화소값에 의하여 교체된다). 도 2의 우측의 화살표들은 각각의 모드에서 예측의 방향을 지시한다. 모드들 3 내지 8에 대하여, 예측 샘플들 a 내지 p의 각 샘플은 샘플들 A 내지 M의 가중 평균으로서 계산된다. 모드들 0 내지 2에 대하여, 모든 샘플들 a 내지 p는 동일한 값이 주어지며, 이 동일한 값은 샘플들 A 내지 D(모드 2), I 내지 L(모드 1) 또는 A 내지 D 및 I 내지 L(모드 0)의 평균에 대응할 수 있다. 인코더는 전형적으로 블록(인코딩될) 및 대응 예측 P간의 오차를 최소화하는 각각이 4x4 블록에 대한 예측 모드를 선택할 것이다. 4x4 예측 다음에, H.264는 MB의 16x16 휘도부분을 예측하도록 한다. 이를 위하여, 도 3에 연속적으로 도시된 4개의 가능 모드들이 특정된다. 각각, 4개의 가능한 모드들은 상부 샘플들, 좌측 샘플들로부터의 외삽법, 상부 및 좌측 샘플들의 평균화, 및 상부 및 좌측 샘플들에 선형 "플레인" 함수의 피팅에 대응한다. 인트라 모드의 선택은 디코더에 시그널링되어야 하며, 이를 위하여 H.264는 효율적인 인코딩 절차를 정의한다(중심 사상은 인접한 4x4 블록들의 모드들이 종종 고도로 상관되는 관측을 이용함으로서 4x4 모 드들의 개별 인코딩을 방지하는 것이다).
계산, 통신 및 디지털 데이터 저장에 있어서의 최근 진보들은 전문가용 및 일반 소비자용 환경에서 계속적 용량을 증대시킬 수 있을 뿐만아니라 콘텐츠를 다양화할 수 있는 대용량 디지털 파일보관을 제공한다. 따라서, 저장된 정보를 고속으로 검색할 수 있는 효율적인 방식을 개발하는 것은 매우 중요하다. 미편성 저장된 데이터의 테라바이트들을 통해 수동으로 탐색하는 것이 지루하게 시간이 많이 소요되기 때문에, 정보 탐색 및 검색 작업을 자동화 시스템에 의하여 수행하기 위한 필요성이 증대되고 있다. 비구조화 비디오 콘텐츠의 대용량 파일보관에 대한 탐색 및 검색은 콘텐츠가 콘텐츠 분석 기술들을 사용하여 인덱싱된후에 일반적으로 수행된다. 이들 기술들은 비디오 자료의 주해들(이러한 주해들은 색 및 감촉과 같은 저레벨 신호 관련 특성들로부터 얼굴의 존재 및 위치와 같은 고레벨 정보로 변화한다)을 비디오 콘텐츠의 설명과 관련하여 자동적으로 생성하는 알고리즘들을 포함한다.
중요한 콘텐츠 기술자들은 소위 단색화 또는 "단색" 프레임 지시자이다. 프레임은 동일한 색으로 채워지는 경우에 단색으로서 고려된다(특히, 생산에서부터 전달할때 발생한 신호의 잡음 때문에, 단색 프레임은 종종 하나의 단일 색, 예컨대, 청색, 어두운 회색 또는 검정색의 감지할 수 없는 변동들을 제공한다). 단색 프레임들을 검출하는 것은 많은 콘텐츠-기반 검색 애플리케이션들에서 중요한 단계이다. 예컨대, 특허 출원 공보 US2002/0186768에 기술된 바와 같이, 상업적 검출기들 및 프로그램 경계 검출기들은 두개의 연속 프로그램들을 분리하거나 또는 상 업적 광고들로부터 프로그램을 분리하기 위하여 방송자들에 의하여 삽입되는 단색 프레임들, 보통 검정색의 존재에 대한 식별에 의존한다. 단색 프레임 검출은 콘텐츠의 시각적 테이블로부터 정보 가치없는 키프레임들을 필터링하기 위하여 사용된다.
차세대 H.264/MPEG-4 AVC 표준에 대한 다양한 응용 분야 때문에, H.264/AVC 비디오 콘텐츠 분석을 위한 효율적인 해법에 대한 필요성이 증대되고 있다. 최근 몇년동안, 여러 효율적인 콘텐츠 분석 알고리즘들 및 방법들은 압축된 영역에서 거의 배타적으로 동작하는 MPEG-2 비디오를 위하여 제공되었다. 이들 방법들중 대부분의 방법은 H.264/AVC가 앞서 지시된 바와 같이 MPEG-2 신택스의 수퍼세트를 특정하기 때문에 H.264/AVC로 확장될 수 있다. 그러나, MPEG-2의 제한들 때문에, 이들 기존 방법들중 일부 방법은 적합한 또는 신뢰성있는 성능을 제공할 수 없으며, 이는 화소 또는 오디오 영역에서 동작하는 부가 방법들을 포함함으로서 어드레싱되는 단점이다.
본 발명의 목적은 DTC 계수 통계치의 분석에 기초한 방법들과 같은 종래의 검출방법들과 비교할때 더 효율적으로 계산이 단순한 검출방법을 제공하는데 있다.
이를 달성하기 위하여, 본 발명은, 인접하는 블록들로 세분되는 매크로블록들 그 자체들로 분할되는 연속하는 프레임들을 포함하는 비디오 스트림의 형태로 이용 가능한 디지털 코딩된 비디오 데이터에 적용되는 검출 방법으로서, 상기 프레임들은 적어도, 동일한 프레임에서 적어도 이전에 인코딩되고 재구성된 샘플들로부터 형성된 블록으로부터 직접 또는 공간 예측에 의해 임의의 다른 프레임과 무관하게 코딩된 I-프레임들, 상기 I-프레임들 사이에 시간적으로 배치되고 적어도 이전의 I-프레임 또는 P-프레임으로부터 예측되는 P-프레임들, 및 I-프레임 및 P-프레임 사이에 또는 2개의 P-프레임들 사이에 시간적으로 배치되고 적어도 배치되는 이 2개의 프레임들로부터 양방향으로 예측되는 B-프레임들을 포함하는, 상기 검출 방법에 있어서:
- 미리 결정된 인트라 예측 모드에 따라, 현재 프레임의 연속하는 블록 각각에 대하여 이것이 코딩되었는지 여부를 결정하는 단계;
- 상기 현재 프레임의 연속하는 블록들 모두에 대하여 유사한 정보를 수집하고 상기 미리 결정된 인트라 예측 모드와 관련된 통계치를 전달하는 단계;
- 상기 인트라 예측 모드를 나타내거나 또는 나타내지 않는 상기 현재 프레임의 블록들의 수를 결정하기 위하여 상기 통계치를 분석하는 단계; 및
- 상기 블록들의 수가 주어진 임계치보다 클 때마다, 단색이거나 또는 반복 패턴을 가진 이미지 또는 이미지의 서브영역의 발생을 상기 프레임들의 시퀀스에서 검출하는 단계를 포함하는, 검출 방법을 제공한다.
본 발명의 다른 목적은 상기 검출 방법을 수행하는 검출 장치를 제공하는데 있다.
이러한 목적을 달성하기 위하여, 본 발명은, 인접하는 블록들로 세분되는 매크로블록들 그 자체들로 분할되는 연속하는 프레임들을 포함하는 비디오 스트림의 형태로 이용 가능한 디지털 코딩된 비디오 데이터에 적용되는 검출 장치로서, 상기 프레임들은 적어도, 동일한 프레임에서 적어도 이전에 인코딩되고 재구성된 샘플들로부터 형성된 블록으로부터 직접 또는 공간 예측에 의해 임의의 다른 프레임과 무관하게 코딩된 I-프레임들, 상기 I-프레임들 사이에 시간적으로 배치되고 적어도 이전의 I-프레임 또는 P-프레임으로부터 예측되는 P-프레임들, 및 I-프레임 및 P-프레임 사이에 또는 2개의 P-프레임들 사이에 시간적으로 배치되고 적어도 배치되는 이 2개의 프레임들로부터 양방향으로 예측되는 B-프레임들을 포함하는, 상기 검출 장치에 있어서:
- 미리 결정된 인트라 예측 모드에 따라, 현재 프레임의 연속하는 블록 각각에 대하여 이것이 코딩되었는지 여부를 결정하는 결정 수단;
- 상기 현재 프레임의 연속하는 블록들 모두에 대하여 유사한 정보를 수집하고 상기 미리 결정된 인트라 예측 모드와 관련된 통계치를 전달하는 수집 수단;
- 상기 통계치의 분석을 수행하고 상기 인트라 예측 모드를 나타내거나 또는 나타내지 않는 상기 현재 프레임의 블록들의 수를 결정하는 분석 수단; 및
- 단색이거나 또는 반복 패턴을 가진 이미지 또는 이미지의 서브영역의 발생의 검출을 상기 프레임들의 시퀀스에서 수행하는 검출 수단으로서, 상기 검출은 상기 블록들의 수가 주어진 임계치보다 클 때마다 실행되는, 상기 검출 수단을 포함하는, 검출 장치를 제공한다.
본 발명은 첨부 도면들을 참조로하여 예로서 지금 기술될 것이다.
도 1은 원시 16x16 휘도 매크로블록(좌측) 및 예측될 4x4 블록(우측)을 도시 한 도면.
도 2는 4x4 휘도 블록의 방향 인트라 예측을 기술한 도면.
도 3은 H.264에서 4개의 가능한 16x16 인트라 예측 모드들을 기술한 도면.
도 4는 본 발명에 따른 처리 방법을 구현하는 블록도.
본 발명의 원리는 H.264/AVC의 개선된 코딩 도구들인 인트라 예측 모드들이 단색 프레임 검출을 위하여 용이하게 사용될 수 있는 사실에 기초한다. 주요 사상은 이미지를 구성하는 (매크로-)블록들에 대한 인트라 예측 모드의 분배를 관측하는 것이다. 단색 이미지는 이들 대부분의 블록들이 동일하거나 또는 유사한 예측 모드를 나타낼때 검출되며, 즉 이러한 블록들의 수는 예컨대 고정 임계치와 비교될 수 있다. 이미지의 대부분의 블록들이 임의의 인트라 예측 모드에 따라 인코딩될때, 이미지는 매우 낮은 공간 변형을 나타내며, 또한 이미지는 단색이거나 또는 반복 패턴을 가진다. 콘텐츠의 테이블을 생성하기 위한 알고리즘의 초기에 언급된 응용과 관련하여 또는 키프레임 외삽법과 관련하여, 낮거나 또는 매우 낮은 공간 변화들(단색 및 반복 패턴)을 가진 이들 타입의 이미지들은 무시되어야 한다.
본 발명에 따른 처리 방법의 구현은 도 4의 블록도에 도시되며, 도 4는 제안된 단색 프레임 검출 방법의 가능한 구현을 기술하며, 그러나 이러한 예는 본 발명의 범위를 제한하지 않을 것이다. 기술된 디코딩 장치에서, 역다중화기(41)는 전송 스트림(TS)을 수신하며 역다중화된 오디오 및 비디오 스트림들(AS, VS)을 생성한다. 비디오 스트림은 디코딩된 비디오 스트림(DVS)를 전송하기 위하여 H.264/AVC 디코더(42)에 의하여 수신된다. 상기 디코더(42)는 역양자화 회로(421)(Q-1), 본 경우에 역 DCT 회로인 역변환 회로(422)(T-1) 및 모션보상 회로(423)를 포함한다. 디코더(42)는 수신된 코딩 파라미터들을 수집하기 위하여 제공되는 소위 네트워크 추상화 계층 유닛(NALU)(424)을 포함한다. 상기 유닛(424)의 출력 신호는 분석회로(43)에 의하여 적절히 처리하기 위하여 수신되는 인트라 예측 모드 파라미터 통계치(IPMPS)이다. 그 다음에, 이러한 분석회로(43)에서 수행되는 처리동작은 오리지날로 수신된 스트림에서 단색 프레임들의 위치 및 기간에 대한 정보를 생성하며, 이러한 정보는 예컨대 공동으로 사용되는 CPI(특징 포인트 정보) 테이블의 형태로 파일(44)에 저장된다. 이러한 출력 정보는 앞서 지시된 바와 같은 많은 콘텐츠-기반 애플리케이션들(두개의 연속 프레임들의 분리 또는 프로그램 및 상업적 광고의 분리, 콘텐츠의 테이블로부터 정보가치없는 키프레임들의 필터링 등)을 위하여 지금 이용가능하다.
본 방법의 주요 장점은 DCT 계수 통계치의 분석에 기초하여 종래의 검출 방법들과 비교할때 계산이 단순하다는 점이다. 이는 제안된 방법이 매크로-블록 코딩 타입의 레벨까지 단지 부분 디코딩만을 필요로한다는 사실이다. 상기 방법의 다른 장점은 적은 정보를 가지거나 또는 정보를 포함하지 않거나 또는 반복 패턴을 포함하는 프레임들을 용이하게 검출할 수 있다는 점이다(반복 패턴들을 가진 프레임들의 검출은 화소/DCT 영역에서 자명한 동작이 아니다). 본 방법은 또한 프레임에서 단색 서브영역들을 검출하기 위하여 사용될 수 있다. 예는 이미지가 그것의 경계들에서 단색(예컨대, 검정색)을 제공하는 소위 "레터박스" 포맷의 검출이다.
본 발명은 앞서 언급된 실시예에 제한되지 않으며 앞서 언급된 실시예들은 첨부된 청구항들에서 한정된 본 발명의 사상 및 범위를 벗어나지 않고 수행될 수 있다는 것을 이해해야 한다.
예컨대, 본 상세한 설명 또는 청구항들에서 사용된 용어들 "매크로블록" 및 "블록"은 MPEG-2 또는 MPEG-4와 같은 표준에서 사용되는 프레임의 직사각형 서브영역들의 계층을 기술할 뿐만 아니라 불규칙 형성 블록들에 기초하여 인코딩 또는 디코딩 방식들에서 발생하는 임의의 종류의 형상의 프레임의 서브영역들을 기술한다는 것을 유의해야 한다.
또한 하드웨어 또는 소프트웨어 또는 이들 둘다에 의하여 기능들을 수행하는 다양한 방식들이 존재한다는 것에 유의해야 한다. 이와 관련하여, 도면들은 매우 개략적이며, 본 발명의 하나의 가능한 실시예를 나타낸다. 따라서, 도면이 다른 블록들과 다른 기능들을 도시할때, 이는 하드웨어 또는 소프트웨어의 단일 항목은 여러 기능들을 수행한다는 것을 배제하지 않는다. 하드웨어 또는 소프트웨어 또는 둘다의 항목들의 어셈블리가 하나의 기능을 수행한다는 것을 배제하지 않는다.
청구항에서 임의의 도면부호는 청구항을 제한하는 것으로 구성되지 않아야 한다. 용어 "포함한다"는 청구항에 리스트된 엘리먼트들 또는 단계들과 다른 엘리먼트들 또는 단계들의 존재를 배제하지 않는다. 단수 엘리먼트 또는 단계는 복수 엘리먼트 또는 단계의 존재를 배제하지 않는다.

Claims (7)

  1. 인접하는 블록들로 세분되는 매크로블록들 그 자체들로 분할되는 연속하는 프레임들을 포함하는 비디오 스트림의 형태로 이용 가능한 디지털 코딩된 비디오 데이터에 적용되는 검출 방법으로서, 상기 프레임들은 적어도, 동일한 프레임에서 적어도 이전에 인코딩되고 재구성된 샘플들로부터 형성된 블록으로부터 직접 또는 공간 예측에 의해 임의의 다른 프레임과 무관하게 코딩된 I-프레임들, 상기 I-프레임들 사이에 시간적으로 배치되고 적어도 이전의 I-프레임 또는 P-프레임으로부터 예측되는 P-프레임들, 및 I-프레임 및 P-프레임 사이에 또는 2개의 P-프레임들 사이에 시간적으로 배치되고 적어도 배치되는 이 2개의 프레임들로부터 양방향으로 예측되는 B-프레임들을 포함하는, 상기 검출 방법에 있어서:
    - 미리 결정된 인트라 예측 모드에 따라, 현재 프레임의 연속하는 블록 각각에 대하여 이것이 코딩되었는지 여부를 결정하는 단계;
    - 상기 현재 프레임의 연속하는 블록들 모두에 대하여 유사한 정보를 수집하고 상기 미리 결정된 인트라 예측 모드와 관련된 통계치를 전달하는 단계;
    - 상기 인트라 예측 모드를 나타내거나 또는 나타내지 않는 상기 현재 프레임의 블록들의 수를 결정하기 위하여 상기 통계치를 분석하는 단계; 및
    - 상기 블록들의 수가 주어진 임계치보다 클 때마다, 단색이거나 또는 반복 패턴을 가진 이미지 또는 이미지의 서브영역의 발생을 상기 프레임들의 시퀀스에서 검출하는 단계를 포함하는, 검출 방법.
  2. 제 1 항에 있어서,
    상기 분석 단계는 상기 인트라 모드들의 통계치 및 가능한 부가 코딩 파라미터들을 처리하기 위해 제공되며, 상기 검출 단계는 단색이거나 또는 반복 패턴을 가진 이미지들 또는 이미지들의 서브영역들에 대한 정보를 전송하기 위해 제공되는, 검출 방법.
  3. 제 2 항에 있어서,
    단색이거나 또는 반복 패턴을 가진 상기 이미지들 또는 서브이미지들의 위치 및 기간에 대한 정보는 파일로 생성되어 저장되는, 검출 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 처리된 비디오 스트림의 신택스(syntax) 및 시맨틱스(semantics)는 H.264/AVC 표준의 신택스 및 시맨틱스인, 검출 방법.
  5. 연속하는 프레임들로 이루어진 압축 비디오 스트림에서 단색이거나 또는 반복 패턴을 가진 이미지 또는 이미지의 서브영역을 검출하는 방법에 있어서:
    - 입력 디지털 비디오 데이터를 인코딩하는 단계;
    - 단색이거나 또는 반복 패턴을 가진 상기 이미지들 또는 서브이미지들을 식별하기 위하여, 제 1 항 내지 제 4 항 중 어느 한 항에 따른 검출 방법에 의하여 상기 디지털 코딩된 비디오 데이터를 처리하는 단계를 포함하는, 검출 방법.
  6. 인접하는 블록들로 세분되는 매크로블록들 그 자체들로 분할되는 연속하는 프레임들을 포함하는 비디오 스트림의 형태로 이용 가능한 디지털 코딩된 비디오 데이터에 적용되는 검출 장치로서, 상기 프레임들은 적어도, 동일한 프레임에서 적어도 이전에 인코딩되고 재구성된 샘플들로부터 형성된 블록으로부터 직접 또는 공간 예측에 의해 임의의 다른 프레임과 무관하게 코딩된 I-프레임들, 상기 I-프레임들 사이에 시간적으로 배치되고 적어도 이전의 I-프레임 또는 P-프레임으로부터 예측되는 P-프레임들, 및 I-프레임 및 P-프레임 사이에 또는 2개의 P-프레임들 사이에 시간적으로 배치되고 적어도 배치되는 이 2개의 프레임들로부터 양방향으로 예측되는 B-프레임들을 포함하는, 상기 검출 장치에 있어서:
    - 미리 결정된 인트라 예측 모드에 따라, 현재 프레임의 연속하는 블록 각각에 대하여 이것이 코딩되었는지 여부를 결정하는 결정 수단;
    - 상기 현재 프레임의 연속하는 블록들 모두에 대하여 유사한 정보를 수집하고 상기 미리 결정된 인트라 예측 모드와 관련된 통계치를 전달하는 수집 수단;
    - 상기 통계치의 분석을 수행하고 상기 인트라 예측 모드를 나타내거나 또는 나타내지 않는 상기 현재 프레임의 블록들의 수를 결정하는 분석 수단; 및
    - 단색이거나 또는 반복 패턴을 가진 이미지 또는 이미지의 서브영역의 발생의 검출을 상기 프레임들의 시퀀스에서 수행하는 검출 수단으로서, 상기 검출은 상기 블록들의 수가 주어진 임계치보다 클 때마다 실행되는, 상기 검출 수단을 포함 하는, 검출 장치.
  7. 상기 검출 장치로 로딩될 때 제 1 항에 따른 검출 방법의 단계들을 수행하도록 하는 명령들의 세트를 포함하는, 검출 장치를 위한 컴퓨터 프로그램 제품.
KR1020067020672A 2004-04-08 2005-04-04 단색 프레임 검출 방법 및 대응 장치 KR20070007330A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04300189.0 2004-04-08
EP04300189 2004-04-08

Publications (1)

Publication Number Publication Date
KR20070007330A true KR20070007330A (ko) 2007-01-15

Family

ID=34962197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067020672A KR20070007330A (ko) 2004-04-08 2005-04-04 단색 프레임 검출 방법 및 대응 장치

Country Status (6)

Country Link
US (1) US20070206931A1 (ko)
EP (1) EP1743488A1 (ko)
JP (1) JP2007533196A (ko)
KR (1) KR20070007330A (ko)
CN (1) CN1947427A (ko)
WO (1) WO2005099273A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2187647A1 (en) * 2008-11-12 2010-05-19 Sony Corporation Method and device for approximating a DC coefficient of a block of pixels of a frame
WO2011005063A2 (en) * 2009-07-10 2011-01-13 Samsung Electronics Co., Ltd. Spatial prediction method and apparatus in layered video coding
US9531990B1 (en) * 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
CN105306961B (zh) * 2015-10-23 2018-11-20 无锡天脉聚源传媒科技有限公司 一种抽帧的方法及装置
CN110400355B (zh) * 2019-07-29 2021-08-27 北京华雨天成文化传播有限公司 一种单色视频的确定方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2518503B2 (ja) * 1993-03-08 1996-07-24 日本電気株式会社 画面切り替え検出方法
JPH09261648A (ja) * 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置
US6137544A (en) * 1997-06-02 2000-10-24 Philips Electronics North America Corporation Significant scene detection and frame filtering for a visual indexing system
US6714594B2 (en) * 2001-05-14 2004-03-30 Koninklijke Philips Electronics N.V. Video content detection method and system leveraging data-compression constructs
US20030123841A1 (en) * 2001-12-27 2003-07-03 Sylvie Jeannin Commercial detection in audio-visual content based on scene change distances on separator boundaries
US20050111835A1 (en) * 2003-11-26 2005-05-26 Friel Joseph T. Digital video recorder with background transcoder

Also Published As

Publication number Publication date
US20070206931A1 (en) 2007-09-06
CN1947427A (zh) 2007-04-11
EP1743488A1 (en) 2007-01-17
WO2005099273A1 (en) 2005-10-20
JP2007533196A (ja) 2007-11-15

Similar Documents

Publication Publication Date Title
US20080267290A1 (en) Coding Method Applied to Multimedia Data
KR20070007330A (ko) 단색 프레임 검출 방법 및 대응 장치
Meng et al. Scene change detection in an MPEG-compressed video sequence
CN101222644B (zh) 运动图像编码、解码装置以及运动图像编码、解码方法
US6058210A (en) Using encoding cost data for segmentation of compressed image sequences
EP1709801B1 (en) Video Decoding Method Using Adaptive Quantization Matrices
US8135065B2 (en) Method and device for decoding a scalable video stream
US20090052537A1 (en) Method and device for processing coded video data
US20110075735A1 (en) Advanced Video Coding Intra Prediction Scheme
US20130039414A1 (en) Efficient macroblock header coding for video compression
JP2010525658A (ja) イントラ予測のための適応参照画像データ生成
JP2004254327A (ja) 画像符号化方法および画像復号化方法
KR20070007295A (ko) 비디오 인코딩 방법 및 장치
WO2008100000A1 (en) Method of compressing and restoring moving picture using i frame tag
KR20050122265A (ko) 코딩된 비디오 데이터의 콘텐트 분석
WO2005094083A1 (en) A video encoder and method of video encoding
JP2002064823A (ja) 圧縮動画像のシーンチェンジ検出装置、圧縮動画像のシーンチェンジ検出方法及びそのプログラムを記録した記録媒体
KR20060127024A (ko) 장면 변화 검출을 사용하는 처리 방법 및 장치
US20090016441A1 (en) Coding method and corresponding coded signal
Keimel et al. Designing Video Quality Metrics
Şimşek An approach to summarize video data in compressed domain
Jiang et al. Adaptive scheme for classification of MPEG video frames
Mrazovac et al. An optimized software solution for parallel video decoding in digital TV sets

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid