KR20060065740A - 화상 내 영역 관련 정보 제공 방법 - Google Patents

화상 내 영역 관련 정보 제공 방법 Download PDF

Info

Publication number
KR20060065740A
KR20060065740A KR1020067008825A KR20067008825A KR20060065740A KR 20060065740 A KR20060065740 A KR 20060065740A KR 1020067008825 A KR1020067008825 A KR 1020067008825A KR 20067008825 A KR20067008825 A KR 20067008825A KR 20060065740 A KR20060065740 A KR 20060065740A
Authority
KR
South Korea
Prior art keywords
region
picture
parameter value
size
blocks
Prior art date
Application number
KR1020067008825A
Other languages
English (en)
Other versions
KR100973518B1 (ko
Inventor
예-쿠이 왕
미스카 한누크셀라
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20060065740A publication Critical patent/KR20060065740A/ko
Application granted granted Critical
Publication of KR100973518B1 publication Critical patent/KR100973518B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 화상 내 영역 관련 정보 제공 방법에 관한 것으로서, 일련의 블록들로 분할되는 디지털 화상(picture) 내 한 영역의 사이즈, 모양, 및 위치를 나타내는 방법은 영역 내 블록들의 수를 나타내는 적어도 하나의 사이즈 파라미터 값을 정의하는 단계; 및 영역 내 블록들의 선택 순서를 나타내는 적어도 하나의 모양 전개 파라미터 값을 선택하는 단계를 포함한다.
본 발명에 의하면, 디코딩 영역의 전개 패턴과 관련된 정보를 디코더에 효율적으로 지시할 수 있다.

Description

화상 내 영역 관련 정보 제공 방법{Method of indicating information about regions within a picture}
도 1은 JVT/H.26L 설계의 개념적 구조를 보인다.
도 2는 증가하는 신뢰 영역의 바람직한 실시예를 도시한 것이다.
도 3은 소정 리프레쉬 패턴에 따라 매크로블록들을 신뢰 영역 안에 추가하는 절차의 예를 도시한 것이다.
도 4는 비디오 인코딩을 위해 규정된 매크로블록들과 관련해 인코딩될 한 픽쳐를 보인다.
도 5는 서브-픽쳐 구현예에 따라 도 4의 픽쳐에 대해 형성된 비디오 코딩 슬라이스들의 주요 도면을 보인다.
도 6은 본 발명의 바람직한 실시예에 따른 이동 통신 기기의 블록도이다.
도 7은 본 발명이 적용되는 비디오 통신 시스템을 도시한 것이다.
본 발명은 비디오 코딩에 관한 것으로서, 보다 상세하게는 화면(picture) 내 지시 영역에 관한 것이다.
비디오 파일들은 동영상이라는 개념을 일으키도록 (보통 초당 15에서 30 프레임의) 비디오 시퀀스로서 빠르게 연속해서 보여지는 복수개의 정지 영상 프레임들로 이뤄진다. 일반적으로 이미지 프레임들은 실질적으로 동일하게 유지되는 영상 정보로 규정되는 복수개의 고정 배경물 (stationary background objects)과, 어느 정도 변화하는 영상 정보로 규정된 약간의 이동물 (moving objects)을 포함한다. 이 경우, 연속으로 보여지는 이미지 프레임들로 이뤄진 영상 정보는 통상적으로 매우 비슷하다, 즉, 연속 이미지 프레임들은 많은 리던던시(redundancy, 중복)를 가진다. 구체적으로 말해, 비디오 파일들로 이뤄진 그 리던던시는 공간적, 시간적, 그리고 스펙트럼상의 리던던시로 구분될 수 있다. 공간적 리던던시는 인접한 이미지 픽셀들 사이의 상호 상관을 나타내며, 시간적 리던던시는 이어지는 프레임들에서의 소정 영상물들의 변화를 나타내고, 스펙트럼상의 리던던시는 한 이미지 프레임내 서로 다른 컬러 성분들 사이의 상관을 나타낸다.
여러 비디오 코딩 방법들이 상술한 연속 이미지 프레임들의 시간적 리던던시를 이용한다. 이 경우, 소위 모션 보상된 시간 예측이 사용되는데, 여기서 비디오 시퀀스의 몇몇(통상은 대부분의) 이미지 프레임들의 콘텐츠는, 연속 이미지 프레임들 사이의 이미지 프레임들의 소정 오브젝트 또는 영역의 변화를 추적함으로써 시퀀스 내 다른 프레임들로부터 예측된다. 비디오 시퀀스는 압축 이미지 프레임들을 구비하며, 그 이미지 정보는 모션 보상 시간 예측을 이용하지 않고 정해진다. 그러한 프레임들을 인트라(INTRA) 혹은 I 프레임들이라 부른다. 이와 마찬가지로, 비디오 시퀀스로 이뤄지고 이전 이미지 프레임들로부터 예측된 모션 보상 이미지 프레임들을 인터(INTER) 혹은 P(Predicted,예측) 프레임들이라 부른다. 통상적으로, 적어도 한 I 프레임과 가능한 한 개 이상의 이전에 코딩된 P 프레임들이 P 프레임들의 이미지 정보를 판단하는데 사용된다. 만일 한 프레임을 잃게 되면, 거기에 의존하는 프레임들은 더 이상 올바르게 디코딩될 수가 없다.
예를 들어, JVT는 모션 보상 시간 예측을 이용하는 비디오 코딩 표준이다. JVT는 ISO/IEC 모션 픽쳐 전문가 그룹(MPEG) 및 ITU-T(국제 통신 조합, 통신 표준 분과) 비디오 코딩 전문가 그룹(VCEG)의 합동 비디오 팀(JVT)의 현 프로젝트이다. 이것은 ITU-T VCEG의 프로젝트인 H.26L로부터 거슬러 내려온 것이다.
JVT/H.26L에서, 이미지들은 휘도 및 두 색차(chrominance) 성분들(Y, CB 및 CR)을 이용해 코딩된다. 휘도 성분과 비교할 때, 색차 성분들은 각각 양 좌표축을 따라 절반의 해상도로 샘플링된다.
각각의 코딩된 이미지는, 해당하는 코딩된 비트 스트림과 마찬가지로, 위에서 아래로, 픽쳐(picture) 레이어, 픽쳐 세그먼트 레이어, 매크로블록(MB) 레이어, 및 블록 레이어의 네 레이어를 가진 계층 구조로 정렬된다. 픽쳐 세그먼트 레이어는 블록 레이어의 그룹이거나 슬라이스(slice) 레이어일 수 있다.
각 슬라이스에 대한 데이터는 슬라이스 헤더와 그 뒤를 따르는 매크로블록들(MBs)에 대한 데이터로 이뤄진다. 슬라이스들은 하나의 코딩된 이미지 안의 영역들을 규정한다. 각 영역에는 보통의 스캐닝 순서로 된 여러개의 MB들이 존재한다. 동일한 코딩 이미지 안에서의 슬라이스 경계들에는 어떤 예측 종속성들도 존재하지 않는다. 그러나, 시간 예측은 일반적으로 슬라이스 경계들을 넘을 수 있 다. 결론적으로, 슬라이스는 패킷 손실이 있는 네트웍들에서 에러 복원력을 향상시킨다.
각각의 슬라이스는 MB들로 나눠진다. 한 MB는 16x16 픽셀의 휘도 데이터 및 공간적으로 그에 상응하는 8x8 픽셀의 색차 데이터와 관련이 있다.
JVT/H.26L에서, 비디오 픽쳐 콘텐츠의 핵심 고압축 표현을 제공하는 비디오 코딩 레이어(VCL)와, 특정 유형의 네트웍을 통해 전달하기 위한 표현을 패키지화하는 네트웍 적응 레이어(NAL)은 개념적으로 분리되어 있었다. JVT/H.26L 비디오 코더는 블록 기반 모션 보상 하이브리드 변환 코딩을 기반으로 한다. 이전의 표준들에서와 같이, 디코딩 프로세스만이 상호동작(interoperability)을 가능하게 하도록 정밀하게 규정되며, 캡춰링, 전처리, 인코딩, 후처리, 및 렌더링에 대한 프로세스들은 모두 실시예들에 있어 유연하게 실시되도록 범주 밖에 둔다. 그러나, JVT/H.26L은 이전의 표준 설계와 관련해 코딩 효율에 있어 큰 개선이 있을 수 있도록 하는 많은 새로운 특징들을 포함한다.
JVT/H.26L은 최근 개발된 기준 픽쳐 선택(reference picture selection)이라 불리는 방법을 활용할 수 있다. 기준 픽쳐 선택은, 기준 픽쳐 버퍼에 저장된 다수의 픽쳐들 중에 모션 보상을 위한 기준 픽쳐가 선택될 수 있는 코딩 기술이다. JVT/H.26L의 기준 픽쳐 선택은 매크로블록 당 기준 픽쳐의 선택을 허용한다. 기준 픽쳐 선택은 압축효율 및 에러 복구능력을 향상시키는데 사용될 수 있다.
비디오 코딩에 사용되는 모션 보상 기술 때문에, 랜덤 억세스 포인트들은 임의의 포인트로부터 비디오 스캐닝이 가능하도록 비디오 시퀀스 내에서 인코딩되어 야 한다. 비디오 시퀀스를 스캔하는데 사용된 어플리케이션에 따라, 한 비디오 스트림의 랜덤 억세스 포인트들 간의 바람직한 시간 간격은 대략 0.5~10 초가 될 것이다. 인트라 프레임의 코딩은 랜덤 억세스 포인트들의 코딩에 대한 일반적인 해법이었다. 그러나, 상술한 기준 픽쳐 선택 기술이 인트라 프레임에 앞서 프레임들에 대해 참조할 수 있게 하므로, 그와 같은 인트라 프레임은 랜덤 억세스 포인트에 대한 충분 조건이 되지 않는다. 또, 비디오 시퀀스에서의 빈번한 인트라 프레임들의 인코딩은 보다 많은 코딩 프로세싱 능력을 필요로 하고 더 많은 대역폭을 소모한다.
그래듀얼(gradual) 디코더 리프레쉬(refresh)는 "더티(dirty)" 랜덤 억세스를 말하는 것으로, 여기서는 이전에 코딩되었지만 수신되지 않았을지 모르는 데이터가 참조되고 올바른 픽쳐 콘텐츠가 하나 이상의 코딩된 픽쳐 안에서 점진적으로 복구된다. 일반적으로, 그래듀얼 디코더 리프레쉬 랜덤 억세스 방법에서 제공되는 픽쳐 콘텐츠의 점진적 복구는 JVT/H.26L 비디오 코딩의 바람직한 특성이라고 간주된다. 그래듀얼 디코더 리프레쉬의 기본 개념은 프레임들의 매크로블록들 일부를 인트라 코딩된 것으로서 인코딩하는 것이다. 이 디코더가 랜덤 포인트에서 디코딩을 시작할 때, 모션 보상을 위한 기준 프레임들은 디코더에 알려져 있지 않으며, 가령 중간 레벨 그레이(mid-level grey)로 초기화된다. 디코더는 인트라 코딩된 매크로블록들을 재구성할 수 있으나, 모션 보상 프로세스시 알려지지 않은 영역들을 참조하는 인터 코딩된 매크로블록들은 올바르게 재구성될 수 없다. 인트라 코딩된 매크로블록들의 누적 개수가 프레임별로 점진적으로 증가하면서, 완전하게 재 구성된 픽쳐가 마침내 얻어질 수 있다. 그러나, 이러한 구현예는 여러 문제점들을 수반한다.
기준 픽쳐 선택으로 인해, 기준 프레임의 한 매크로블록이 모션 보상 프로세스시 참조될 수 있고, 그것은 안전하게 디코딩 가능한 인트라 코딩된 매크로블록들의 영역 바깥에 존재한다.
JVT/H.26L에서, 루프(loop) 필터링이 각각의 4x4 블록 경계에 걸쳐 적용되어 급작스런 경계선을 희미하게 만든다(fade out). 따라서, 믿을 수 있는 영역들은 이웃하는 매크로블록들의 올바르지 않게 재구성된 픽셀들의 영향을 받을 수 있다.
모션 보상 프로세스시, 참조된 비정수(non-integer) 픽셀 위치들은 멀티-탭 필터(들)을 써서 픽셀 값들로부터 보간된다. 현 JVT 코덱 설계에서, 반픽셀 위치들은 6-탭 필터를 이용해 보간된다. 따라서, 올바르지 않게 재구성된 픽셀들이, 안쪽에 존재하지만 안전하게 디코딩 가능한 영역의 경계에 가까운 참조된 비정수 픽셀 위치를 보간하는데 사용될 것이다.
디코더가 프레임들의 디코딩을 시작할 때, 모든 인트라 코딩된 매크로블록들은 신뢰성 있는 것이라고 전제한다. 그러나, 상술한 모든 프로세스들은, 이웃하는 매크로블록들의 그레이 이미지 정보가 인트라 코딩된 매크로블록들의 안전하게 디코딩 가능한 이미지 정보와 서로 뒤섞일 것이라는 효과를 가진다. 이것이, 디코딩이 한 프레임에서 다른 프레임으로 진행시 시공간적으로 전파하는 에러를 발생한다.
점진적 디코더 리프레시 처리시의 다른 문제는, 초기 영역에 속하는 매크로 블록들과 그 영역의 모양 및 증가율(growth rate)을 나타낼 때의 열악한 코딩 효율과 관련이 있다. 항상 어떤 오버헤드 비트들이 비디오 시퀀스의 비트스트림에 포함되게 유도하는 정보가 디코더에 지시될 필요가 있고, 상술한 모든 제한사항들이 별도로 신호보내지는 경우 그 오버헤드 비트의 크기는 통상적으로 크게 증가하게 된다. 따라서, 영역이 어떻게 전개되는지에 대한 패턴을 디코더에 나타내기 위한 보다 효율적인 방법이 제공될 필요가 된다.
본 발명의 목적은, 디코딩 영역의 전개 패턴과 관련된 정보를 디코더에 효율적으로 지시하기 위한 방법을 제공하는 데 있다.
본 발명은 열악한 코딩 효율의 문제를 경감시키는 개선된 방법과, 그 방법을 구현하는 장치에 대해 제안한다. 본 발명의 다양한 양태들에, 첨부된 독립 청구항들에 개시된 것을 특징으로 하는 방법, 인코더, 디코더, 컴퓨터 소프트웨어 생성물, 및 비디오 신호가 포함된다.
본 발명의 다양한 실시예들은 첨부된 종속 청구항들에 개시되어 있다.
본 발명은 일련의 블록들로 분할되는 디지털 화상(digital picture) 내 영역의 크기, 모양, 및 위치를 나타내는 것을 기반으로 한다. 상기 영역 내 블록들의 수를 나타내는 적어도 하나의 사이즈 파라미터 값이 우선 규정되고, 그런 다음 상기 영역 내 블록들의 선택 순서를 나타내는 적어도 한 모양 전개 파라미터의 값이 선택된다.
일실시예에 따르면, 상기 적어도 한 사이즈 파라미터 및 상기 적어도 한 모양 전개 파라미터 값들은, 화상 내 영역의 사이즈, 모양, 및 위치를 나타내기 위해, 비디오 시퀀스의 비트스트림 안에 인코딩된다.
일실시예에 따르면, 상기 적어도 한 모양 전개 파라미터의 값은 상기 화상의 파라미터 집합 안에 포함된다.
일실시예에 따르면, 상기 적어도 한 사이즈 파라미터는 사이즈 변화율 파라미터 및 사이즈 변화의 일련 번호 파라미터를 포함한다.
일실시예에 따르면, 상기 영역 내 코딩 블록들의 개수는, 상기 사이즈 변화율 파라미터의 값, 상기 변화 사이클 파라미터의 값 중 적어도 하나에 기반하여 결정된다.
일실시예에 따르면, 상기 사이즈 변화율 파라미터의 값은 상기 화상의 파라미터 집합에 포함되고, 상기 사이즈 변화의 일련 번호 파라미터 값은 상기 영역에 속하는 슬라이스(slice) 헤더에 포함된다.
본 발명은 여러 가지 이점들을 제공한다. 부호화된 비디오 스트림에 랜덤 액세스 포인트들을 제공하면서 동시에 영역의 전체 인트라 매크로블록 적용 없이도 신뢰할 수 있게 갱신될 수 있는 어떤 화상 부분을 나타내기 위한 메커니즘이 사용될 수 있다. 본 발명의 다른 장점은, 영역 전개의 패턴 지시 코딩 효율을 향상시킨다는 데 있다. 또 다른 장점은, 본 발명이 신뢰성 있게 디코딩할 수 있는 영역의 경계들에 걸치거나, 혹은 그 신뢰성 있게 디코딩할 수 있는 영역 밖의 영역들의 디코딩을 간단히 막을 수 있다는 것이다. 또, 본 발명의 방법은 비디오 시퀀스 이 외에, 디지털 정지 영상들에도 적용 가능하다.
본 발명은 영역 기반 모션 보상 시간 예측을 이용한 모든 비디오 코딩 방법들에 적용가능하다. 본 발명은 특히 통상적으로 제한된 대역의 통신 시스템들에 사용되는 저비트율의 서로 다른 비디오 코딩들에 적용될 수 있다. 이들은 가령 현재 규격화되고 있는 ITU-T 표준들인 H.263 및 H.26L (후에 H.264가 되는)을 포함한다. 이들 시스템에서, 본 발명은 예를 들어 이동국들에 적용될 수 있다.
다음은 예로서 JVT/H.26L 비디오 코딩을 이용하는 본 발명의 전형적 예이다. JVT/H.26L은 본 발명 및 그 바람직한 실시예들을 이해하는데 만족스럽다고 생각될 만큼 상세한 정도로 설명될 것이다. JVT/H.26L의 실시예에 대한 보다 상세한 설명에 대해서는 ISO/IEC MPeG 및 ITU-T VCEG의 합동 비디오 팀(JVT), ISO/IEC 14496-10:2002(E)의 드래프트 "JVT 워킹 드래프트 2, 7판"을 참조하면 된다.
JVT/H.26L 설계의 개념적 구조가 도 1을 참조해 설명될 것이다. JVT/H.26L에서, 비디오 픽쳐 콘텐츠의 핵심 고압축 표현을 제공하는 비디오 코딩 레이어(VCL)와, 특정 유형의 네트웍을 통해 전송되도록 그 표현을 패키지화시키는 네트웍 적응 레이어(NAL)는 개념적으로 분리되어 있었다.
VCL의 주요 업무는 효율적인 방식으로 비디오 데이터를 코딩하는 것이다. 그러나, 앞서 논의된 바와 같이, 에러들이, 효율적으로 코딩된 데이터에 불리하도록 영향을 미치기 때문에 가능한 에러들에 대한 어떤 인식이 포함된다. VCL은 예측 코딩 체인(chain)을 인터럽트하여 에러 발생 및 전파를 보상하기 위한 조치를 취할 수 있다. 이러한 것을 수행할 수 있는 여러가지 방법들이 존재한다: 인트라 프레임들 및 인트라 MB들을 도입함으로써 시간 예측 체인을 인터럽트하는 방법; 슬라이스 개념을 도입하여 공간적 에러 전파를 인터럽트하는 방법; 및 가령 프레임들에 대한 적응적 산술 코딩 없이, 독립적으로 디코딩될 수 있는 가변장 코드를 도입하는 방법.
VCL의 출력은 각각의 매크로블록이 데이터의 한 단위로서 나타나는 코딩된 매크로블록들의 스트림이다. 데이터 분리(Partitioning) 레이어 (DPL)는 한 개의 슬라이스에 속한 한 데이터 유형의 모든 심볼들(가령, DC 계수들, 매크로블록 헤더들, 모션 벡터들)이 코딩된 한 비트 스트림 안에 모아지도록 심볼들을 재정렬한다. 디코딩시 거의 동일한 주관적 및/또는 문장론적 중요성을 갖는 심볼들은 한 구획 안에 그루핑된다.
NAL은 다양한 네트웍들을 통해 전송할 수 있도록 VCL 또는 DPL 데이터의 포맷을 맞춤화하는 기능을 제공한다. NAL 설계는 선택된 네트웍 적응 전력에 따라 비디오 코딩 및 데이터 구획 레이어들로부터 데이터 구획들 또는 슬라이스들을 수신할 수 있다. 데이터 구획짓기는 주관저으로나 문장론적으로 보다 중요한 데이터를 덜 중요한 데이터로부터 분리해서 전송할 수 있게 한다. 디코더들은 더 중요한 데이터의 수신 없이는 덜 중요한 데이터를 디코딩할 수 없을 것이다. 보다 중요한 데이터를 덜 중요한 데이터 보다 더 잘 보호하는 수단이 제공되어 에러가 나기 쉬운 네트웍을 통해 비트 스트림을 전송한다.
그리고 나서 NAL의 출력은 서로 다른 전송 포맷들 안에 삽입될 수 있다. 비디오 데이터는 나중의 스캐닝을 위해 파일 포맷으로 저장될 수 있다. 그것은 또한 ITU-T H.223 멀티플렉싱 포맷에 따라 엔캡슐레이팅될(encapsulated) 수도 있다. RTP 전송 포맷과 관련해, RTP 전송 스트림은 픽쳐 레이어나 픽쳐 헤더들을 전혀 포함하지 않는다. 대신, 일반적으로 픽쳐 및 시퀀스 레이어에 속해왔던 데이터가 주로 대역 밖으로 전송된다. 이러한 데이터의 여러 조합이 전송될 수 있으며, 각각의 전송된 조합은 패러미터 집합이라 불려져 나열된다. 그리고 나서 사용된 패러미터 집합이 전송된 슬라이스 헤더에서 식별된다.
다음으로, 본 발명의 바람직한 실시예에 따른 그래듀얼 디코더 리프레쉬 주기의 인코딩이 설명될 것이다. 이 인코더는 독립 인코더의 구성(configuration) 패러미터들 또는 실시간 비디오 통신 시스템의 업데이트 요청과 같은, 외부 신호들에 의해 디코더 리프레쉬 주기의 최초 프레임을 디코딩함으로써 동작을 시작한다. 인코더는 또한 압축되지 않은 픽쳐들의 콘텐츠를 해석하고 그래듀얼 디코더 리프레쉬를 가령 마스킹된 장면 전환 등에 대한 응답으로서 코딩할 것을 결정한다.
인코더는 독립 인코더의 구성 패러미터들과 같은 외부 지시치들이나, 가령 마스킹된 장면 전환에 대한 응답으로서 내부 추론에 기초해 그래듀얼 디코더 리프레쉬 주기의 길이를 결정한다. 인코더는 또한 속도(rate) 제어 요구 등에 기반하여 전환 코딩 중에 장면 전환의 예상 길이를 조정할 수도 있다.
"신뢰 영역(reliable region)"이라는 말은 디코딩이 그래듀얼 디코더 리프레쉬 주기의 시작부터 개시될 때 바르게 재구성되는 픽쳐의 영역을 나타낼 때 사용된다. 신뢰 영역은 서로 인접한 매크로블록들로 이뤄짐이 바람직하다. 그래듀얼 디코더 리프레쉬 주기 내 각 픽쳐는 그 자신의 신뢰 영역을 포함한다. 한 픽쳐 안의 신뢰 영역에 존재하는 각각의 매크로블록은 그래듀얼 디코더 리프레쉬 주기의 계속되는 저장 픽쳐들 (코딩 순서대로 저장된)내의 신뢰 영역에 속한다. 따라서, 신뢰 영역은 적어도 동일하게 유지되거나, 픽쳐에서 픽쳐로 (코딩 순서대로) 커지는 것임이 바람직하다.
신뢰 영역의 모양은 매크로블록들이 서로에 대해 인접해야 한다는 것을 제외하면 어떤 다른 사항으로도 제한되어서는 안된다. 코딩/디코딩 목적을 위한, 신뢰 영역의 가장 간단한 형태가 매크로블록들의 입방형 사각형이다. 바람직한 실시에에 따르면, 신뢰 영역은 사각형의 네 면 중 하나를 따라 불완전한 한 매크로블록 넓이/높이 열/행으로 확장된 매크로블록들의 입방형 사각형이다.
다른 바람직한 실시예에 따르면, 신뢰 영역은 임의의 것일 수 있으나 매크로블록들의 입방형 영역이된다. 또 다른 바람직한 실시예에 따르면, 신뢰 영역은 박스-인(box-in) 유형의 그래듀얼 디코더 리프레쉬에 사용될 수 있는, 하나의 사각형 홀이 있는 속이 빈(hollow) 매크로블록들의 사각형이다. 또 다른 바람직한 실시예에 따르면, 신뢰 영역은 본 발명의 바람직한 실시에의 신뢰 영역과 유사하게 규정된 홀이 있는 매크로블록들의 속이 빈 사각형이다. 신뢰 영역들은, 가령, 두 신뢰 영역들이 나선형 모션으로 커지도록, 안에서 서로 상호적으로 존재할 수도 있다.
그에 따라, 속이 빈 신뢰 영역들의 정의는 그 영역 안에 하나 이상의 홀이 있도록 일반화될 수 있다.
본 발명은 또한 한 픽쳐 안에 하나 이상의 신뢰 영역이 존재하도록 일반화될 수 있다. 이 경우, 어느 신뢰 영역이라도 다음 프레임의 신뢰 영역에서 한 블록을 예측하는데 사용될 수 있다. 또, 리프레쉬 주기들은 서로 다른 주기들의 신뢰 영역들이 중복된 주기 안의 픽쳐들에 위치될 수 있도록 겹쳐질 수 있다. 신뢰 영역은 또한 코딩된 한 픽쳐에서 다른 픽쳐로 자리를 바꾸거나 줄어들 수 있다. 그러한 동작은 카메라 파노라마나 레이트(rate) 제어 등과 같은 글로벌 모션으로 인해 합당할 수 있다.
그래듀얼 디코더 리프레쉬 패턴은 어떤 순서로 매크로블록들이 신뢰 영역에 더해지는지를 명확히 규정한다. 예를 들어, 와이프-다운(wipe-down)시, 매크로블록들은 래스터(raster) 스캔 순서로 신뢰 영역에 삽입될 수 있다. 인코더는 그래듀얼 디코더 리프레쉬 패턴의 유형을 결정한다. 코딩 사양/표준에 상세화된 미리 정의된 디폴트 패턴들이 존재하며 이들은 인코더 및 디코더에 미리 알려진다. 또 인코더에서 디코더로 코딩된 비디오 비트 스트림의 일부로서 시그날링되는 리프레쉬 패턴들 역시 존재할 것이다. 인코더는 선택된 리프레쉬 유형을 디코더에 시그날링한다. 시그날링은 대역 안 시그날링 또는 대역 밖 시그날링으로서 행해질 수 있다.
증가하는 신뢰 영역의 실시예가 도 2를 참조해 예시될 수 있다. 도 2에서, 작은 사각형들은 매크로블록들을 나타내고, 작은 사각형들로 된 9x11 블록은 한 픽쳐 프레임(200~208)을 나타낸다. 두꺼운 매크로블록 가장자리들이 각 프레임의 신뢰 영역을 감싸고 있다. 중간 회색(mid-gray) 매크로블록들은 신뢰 영역의 증가를 나타낸다. 픽쳐 프레임들(200-208)은 시간 순서로 보여진다.
프레임(200)은 3x3 매크로블록들의 신뢰 영역을 포함한다. 다음 프레임(202)에서, 신뢰 영역은 이전 영역의 네 면 모두에 걸쳐 확장되고 그 결과 5x5 매크로블록들로 된 신뢰 영역이 생긴다. 박스-아웃(box-out) 리프레쉬 패턴이라 불려질 수 있는 이와 유사한 절차가 그 다음 프레임들(204-208)에 적용될 것이다. 프레임(208)에서, 신뢰 영역은 전체 프레임 영역, 즉 프레임의 모든 매크로블록들을 커버하도록 확장된다. 신뢰 영역들의 공간적 경계를 나타내는 두꺼운 가장자리들은 매크로블록 경계들임이 바람직하다.
인코더는 코딩될 현 프레임의 신뢰 영역에 부가할 매크로블록들의 개수를 결정한다. 이 결정은 미리 규정된 리프레쉬 레이트에 기반할 수도 있고, 혹은 지배적인 네트웍 조건 등에 따라 조정될 수 있다. 매크로블록들의 선택된 개수가 그래듀얼 디코더 리프레쉬 패턴에 따라 우선적으로 선택된다. 그래듀얼 디코더 리프레쉬 주기의 최초 프레임의 최초 신뢰 영역 안에 삽입되는 매크로블록들은 인트라 코딩된다.
바람직한 일실시예에 따르면, 융통성과 복잡성을 모두 고려한 타협의 결과로서, 신뢰 영역의 모양에 대한 형성은 최초에 신뢰 영역이 속이 채워진 매크로블록(들)의 사각형이 되도록 제한될 수 있다. 이 영역은 그 사각형의 네 면들 중 한 면을 따라 일정한 순서로 매크로블록들을 삽입시킴으로써 확장될 수 있다. 일단 신뢰 영역이 다시 한 사각형이 되면, 그 사각형의 다른 면이 매크로블록 삽입을 위한 주체로서 선택될 수 있다. 확장 레이트는 제로(zero) 매크로블록일 수도 있다.
그래듀얼 디코더 리프레쉬 주기의 계속되는 프레임들에 대해, 인코더는 다음 과 같은 과정을 진행한다: 새로 선택된 매크로블록들이 현 프레임의 신뢰 영역으로 삽입된다. 신뢰 영역 내 매크로브록들은 매크로블록 모드 선택 및 모션 보상 절차를 이용해 코딩된다. 그러나, 모션 보상 절차시 모션 벡터 서치 범위는, 한 모션 벡터가 그래듀얼 디코더 리프레쉬 주기 내 이전 프레임의 신뢰 영역 안에 있는 픽셀들만을 참조할 수 있도록 제한된다.
신뢰 영역의 재구성은 그 신뢰 영역의 바깥에 속하는 재구성 픽셀값들에 좌우되어서는 안된다. 결과적으로, 이것은 일정한 코딩 구속조건을 발생시킨다. 예를 들어, 그 신뢰 영역 바깥의 픽셀값들로부터의 루프 필터링 및 부분(fractional) 픽셀 보간은 가능하지 않아야 한다. 이러한 코딩 종속관계를 위반하는 것은 코딩된 데이터로 시그날링될 수 있고, 그에 따라 그 데이터를 디코딩할 때 유사한 동작이 수행될 수 있다. 예를 들어, 루프 필터링이 중지되어야 하는 경계가 코딩된 데이터로 시그날링될 수 있다. 이와 달리, 인코더가 신뢰할 수 없는 영역들을 참고한 그런 코딩 데이터의 생성을 막을 수도 있다. 예를 들어, 모션 벡터들은 신뢰할 수 없는 영역들에 있는 어떤 픽셀들도 모션 보간에 사용되지 않도록 제한될 수 있다.
리프레쉬 주기 중에 적어도 부분적으로 동시에 존재하는 신뢰 영역들이 여러개가 있다면, 그래듀얼 디코더 리프레쉬 주기의 첫번째 프레임의 첫번째 신뢰 영역안에 삽입되는 매크로블록들은 인트라 코딩된다. 그리고 나서 다음 신뢰 영역들은 필요시 인터 코딩될 수 있는 다른 신뢰 영역들의 매크로블록들을 참조할 수 있다. 기준 픽쳐 선택으로 인해, 서로를 참조하는 신뢰 영역들의 시간적 순서는 제한되지 않는다. 그러나, 상술한 바와 같이 신뢰 영역 바깥의 픽셀값들로부터의 루프 필터링 및 부분적 픽셀 보간과 관련해서는, 다른 신뢰 영역을 참조할 때 유사한 코딩 구속조건이 역시 적용된다.
또, 매크로블록들의 인코딩 및 디코딩 스캔 순서는 신뢰 영역이 래스터 스캔 순서 상 먼저 코딩/디코딩되도록 바뀜이 바람직하다. 그런 다음, 신뢰 영역에 포함되지 않은 나머지 매크로블록들이 래스터 스캔 순서로 코딩/디코딩된다. 신뢰 영역의 경계들은 슬라이스 경계들로서 다뤄진다. 결국, 신뢰 영역의 경계들에 걸쳐 어떤 인-슬라이스(in-slice) 예측도 일어날 수 없다.
신뢰 영역은 한정되지만 상술한 코딩 구속조건 모두가 적용되는 것은 아닌 코딩 방법 역시 적용 가능하다. 이 방법에서, 전체 픽쳐의 매크로블록들은 일반적인 순서(즉, 어떤 산재된 슬라이스들이나 유사 코딩 기술들도 사용되고 있지 않다면 래스터 스캔 순서)로 코딩된다. 결국, 신뢰 영역 및 그 나머지 영역들(즉 신뢰 영역에 속하지 않은 매크로블록들)의 코딩된 데이터는 서로 서로 인터리빙된다. 또, 한 픽쳐의 신뢰 영역의 일부 코딩된 패러미터들은 그 나머지 영역의 코딩된 패러미터들에 종속된다. 이러한 코딩된 패러미터들의 예에는 신뢰 영역 경계에 인접한 모션 벡터들이 포함된다. 이 모션 벡터들은 그 나머지 영역의 이웃하는 모션 벡터들로부터 예측되다. 그러나, 신뢰 영역 바깥의 픽셀값들로부터의 루프 필터링 및 부분적 픽셀 보간에 대한 코딩 구속조건은 여전히 적용된다. 이 방법은 IREG-D 방법이라 불려질 수 있는데, 여기서 IREG는 고립(isolated) 영역을 의미하고, D는 고립 영역과 그 나머지 영역의 일부 코딩된 패러미터들 사이의 종속관계를 나타낸 다.
그에 따라, 모든 코딩 구속조건이 적용되는 상술한 신뢰 영역의 코딩 방법은 IREG-I 코딩 기술이라 불려질 수 있다. IREG-I 방법에서, 신뢰 영역의 매크로블록들이 먼저 코딩되고 그 나머지 매크로블록들이 그 다음에 코딩된다. 결국, 신뢰 영역은 그 나머지 영역의 코딩 데이터에 대한 코딩 데이터의 분리가능 부분을 형성한다. 상기 약어 IREG-I에서 글자 I는 고립 영역과 그 나머지 영역 사이의 코딩 패러미터들의 독립관계를 나타낸다. 이 방법은 소위 서브-픽쳐를 이용해 바람직하게 적용될 수 있다. 서브-픽쳐 적용의 바람직한 실시예가 나중에 보다 상세히 설명될 것이다.
다음으로, 바람직한 일실시예에 따른 디코딩 절차가 설명될 것이다. 비디오 시퀀스의 디코딩 절차는 인코딩 절차와 무관함을 알아야 한다. 따라서, 디코딩을 위해서는 디코딩될 비디오 시퀀스가 본 발명에 의해 특징짓는 소정 특성들을 포함하는 것만이 요구된다. 따라서 디코딩 가능 비디오 시퀀스는 상술한 인코딩 방법에 의해 제한되지 않는다.
디코더가 비디오 시퀀스와 함께 시그날링된 패러미터 집합을 수신할 때, 디코더는 그 집합이 신뢰 영역들의 이용을 나타내는지의 여부를 체크한다. 시그날링된 패러미터 집합이 IREG-I의 사용을 나타내면, 디코더는 새 픽쳐의 디코딩을 시작하거나 현 픽쳐의 디코딩을 계속한다.
새 픽쳐의 디코딩이 시작되면, 디코더는 새로운 신뢰 영역이 설정되었는지를 체크한다. 새 신뢰 영역이 설정될 때, 이전 신뢰 영역들의 모양, 크기, 및 위치는 리셋된다. 새 픽쳐의 디코딩이 시작될 때, 신뢰 영역들의 모양, 크기 및 위치는 수신된 패러미터들에 따라 갱신된다.
일단 신뢰 영역들의 모양, 크기, 및 위치가 갱신되었으면, 그 슬라이스의 최초 매크로블록의 매크로블록 어드레스는 그 슬라이스가 어느 신뢰 영역에 속하는지 혹은 슬라이스가 나머지 영역에 속하는지를 식별한다. 픽쳐의 신뢰 영역들 먼저 디코딩된다.
각 매크로블록의 루프 필터링은 이웃하는 매크로블록이 서로 다른 영역에 속하는지의 여부(즉, 하나는 신뢰 영역에 속하고 다른 하나는 나머지 영역에 속하거나, 이들이 서로 다른 신뢰 영역들에 속하는지의 여부)를 체크하도록 제한된다. 이웃하는 매크로블록들 중 어느 것이 다른 영역에 속해 있으면, 해당 매크로블록 경계는 마치 그것이 픽쳐 경계 상에 있는 것 처럼 필터링된다. 또, 디코딩되는 신뢰 영역 바깥 영역들로부터의 인트라 예측은 적용되지 않음이 바람직하다.
시그날링된 패러미터 집합이 IREG-D를 나타내면, 디코더는 매크로블록 위치 결정을 제외하면, 상술한 IREG-I의 경우에서와 같은 방식으로 슬라이스를 디코딩한다. 공간적 매크로블록 순서는 정상적이고, 한 슬라이스는 많은 신뢰 영역들 및 동시에 그 나머지 영역으로부터의 매크로블록들을 포함할 것이다. 주요한 차이는 인트라 에측 및 모션 벡터 에측이 영역 경계들에 걸쳐 일어날 수 있다는 데 있다. 그러나, 신뢰 영역 외부의 픽셀값들로부터의 루프 필터링 및 부분 픽셀 보간에 대한 코딩 구속요건은 여전히 적용된다.
바람직한 일실시예에 따르면, 상술한 절차에 의해 요구되는 변화들은 코딩된 비디오 시퀀스와 관련해 시그날링될 어떤 새 패러미터들을 추가함으로써 이뤄진다. 그 패러미터들은 비디오 스캐닝 세션 전에 시그날링되거나, 비디오 스캐닝 세션 중에 전송 또는 업데이트될 수 있다. 예를 들어, 다음과 같은 패러미터들이 패러미터 집합에 더해질 수 있다:
1. 고립 영역 유형(TIR). 고립 영역들이 사용 중인지, 그리고 어떤 유형의 고립 영역들이 사용 중인지를 식별한다.
없음(None): 어떤 고립 영역도 사용되고 있지 않다. 따라서, 매크로블록들은 일반 코딩에 의해 코딩된다.
IREG-D: 고립 영역들의 일반 비트스트림 정렬 버전이 사용된다.
IREG-I: 고립 영역들의 고립 비트스트림 정렬 버전이 사용된다.
2. 동시 발생 고립 영역들의 개수(NSIR). 한 픽쳐 안에서 얼마나 많은 고립 영역들이 동시에 존재하는지를 시그날링한다. 그 값은 프로파일 및 레벨에 의해 제한된다. 각 초기 고립 영역은 가령 0이나 1로 시작되는 연속 넘버로 고유하게 식별된다. 식별자는 IREG ID라고 함. 각 IREG ID에 대해, 다음과 같은 패러미터들이 전송된다.
3. 고립 영역들의 모양 전개 유형. 고립 영역들의 위치, 모양, 및 변화 규칙이 이 패러미터에 의해 규정된다. 이하의 값들이 지정된다:
래스터 스캔(Raster scan): 고립 영역의 최초 매크로블록이 픽쳐의 왼쪽 상부 매크로블록이다. 고립 영역은 래스트 스캔 순서로 증가한다.
역 래스터 스캔(Reverse raster scan): 고립 영역의 첫번째 매크로블록이 픽 쳐의 오른쪽 하부 매크로블록이다. 고립 영역은 역 래스터 스캔 순서로 증가한다.
오른 와이프(wipe right): 고립 영역의 첫번째 매크로블록이 픽쳐의 왼쪽 상부 매크로블록이다. 고립 영역은 위에서 아래로 증가한다. 한 열의 맨 아래 매크로블록 다음의 매크로블록은 이전 열의 오른쪽 열의 맨 위 매크로블록이다.
왼 와이프(wipe left): 고립 영역의 첫번째 매크로블록이 픽쳐의 오른쪽 하부 매크로블록이다. 고립 영역은 아래부터 위로 증가한다. 한 열의 맨 위 매크로블록 다음의 매크로블록은 이전 열의 왼쪽에 있는 열의 맨 아래 매크로블록이다.
시계방향 박스 아웃(Box out clockwise): 고립 영역의 최초 매크로블록은 한정되지 않음이 바람직하다. 고립 영역은 앞서 규정된 고립 영역의 시계 방향으로 증가한다.
반시계방향 박스 아웃(Box out counter-clockwise): 위의 것과 유사하나, 고립 영역은 반시계 방향으로 증가한다.
미리 규정된 자유 형태(Pre-defined free-form): 이 패러미터 값은 고립 영역의 위치, 모양, 증가 규칙을 규정한 매크로블록 번호들의 리스트와 함께 첨부된다. 이 미리 규정된 자유 형태들은 비디오 스캐닝 세션 동안 디코더로 직접 전송됨이 바람직하다. 매크로블록들은 번호 0을 가진, 픽쳐의 왼쪽 상측 구석에 있는 매크로블록부터 시작되는 래스터 스캔 순서로 넘버링된다.
미리 규정된 정지 사각형(Pre-defined static rectangle): 이 패러미터 값은 고립 영역이 IREG GOP 안에서 동일하게 유지됨을 시그날링한다. 그 값은 고립 영역의 왼쪽 상측 구석 및 고립 영역의 폭과 높이와도 연관된다. 이 미리 규정된 값 들 역시 비디오 스캐닝 세션 중에 디코더로 직접 전송됨이 바람직하다.
동적 사각형(Dynamic rectangle): 이 패러미터는 IREG-I가 사용될 때에만 제공된다. 이 영역 변경 모드는 서브-픽쳐 코딩을 위해 사용된다. 여기서 어떤 프레임의 고립 영역이든지 사각형임을 주지해야 한다. 고립 영역의 위치, 모양, 또는 증가 규칙은 패러미터 집합에서 규정되지 않으나, 유사한 패러미터들이 슬라이스 헤더 안에 포함된다.
4. 고립 영역의 증가율(GRIR). 이 패러미터는 각 픽쳐 당 얼마나 많은 매크로블록들이 이전 패러미터들의 설명에서 언급된 고립 영역에 부가되는지를 정의한다. 여기에는 가변 증가율을 나타내는 특정 패러미터 값이 있다. 가변 증가율이 패러미터 집합 안에서 지시되면, 프레임 당 실제 증가율은 슬라이스 헤더 안에서 지시된다.
N(N>=1)개의 매크로블록들의 일정 비율(Constant rate of N macroblocks): 고립 영역은 각 픽쳐 당 N 매크로블록씩 증가한다.
미리 규정된 비율(Pre-defined rate): 이 패러미터 값은, 각각이 한 픽쳐 내 고립 영역에 부가될 매크로블록들의 개수를 정의하는 값들의 집합 {a1, a2, ..., aN}이다. N은 IREG 주기 내의 픽쳐들의 개수이고, a1은 매크로블록들의 고립 영역의 초기 크기이다.
가변 비율(Varying rate): 슬라이스 헤더의 고립 영역의 증가율(GRIR)로 지시된 증가율이다.
소정 리프레쉬 패턴에 따라 매크로블록들을 한 신뢰 영역 안에 삽입하는 절차의 예가 도 3을 참조해 설명될 수 있다. 도 3은 "시계방향 박스 아웃"으로 규정된 모양 전개 유형 및 세 매크로블록들의 일정 증가율(GRIR)을 갖는 증가하는 신뢰 영역의 초기 몇몇 픽쳐 프레임들(300~310)을 도시하고 있다. 첫번째 프레임(300)은 세 매크로블록들로 이뤄진 L자 모양 신뢰 영역 ("시계방향 박스 아웃" 모양에 의해)을 포함한다. 다음 세 매크로블록들이 다음 프레임(302)에서 신뢰 영역에 추가된다. 모양 전개 유형은 새 매크로블록들의 자리를 관여하고, 그 결과 3x2 매크로블록의 신뢰 영역을 발생시킨다. 이 과정은 각 프레임(304~310)에서 시계 방향으로 신뢰 영역의 외곽선을 따라 세 개의 새 매크로블록들을 부가함으로써 계속된다.
앞서 설명한 바와 같이, JVT/H.26L의 설계는 비디오 코딩 레이어(VCL) 또는 데이터 구획 레이어(DPL) 데이터 포맷을 다양한 네트웍들을 통해 전송하기 위한 맞춤화를 가능하게 한다. 데이터 구획하기는 주관적으로나 문장론적으로 더 중요한 데이터를 덜 중요한 데이터와 별도로 전송하는 것을 가능하게 한다. 디코더들은 더 중요한 데이터를 수신하지 않고 덜 중요한 데이터를 디코딩할 수 없다. 예를 들어, RTP 전송 포맷을 이용할 때, RTP 전송 스트림은 픽쳐 레이어나 픽쳐 헤더들을 전혀 포함하지 않는다. 대신, 통상적으로 픽쳐 및 시퀀스 레이어에 속하는 이 데이터는 대역 밖으로 전송된다. 그러한 데이터의 수 많은 조합이 전송될 수 있고, 각각의 전송 조합은 패러미터 집합이라 불려져 나열된다. 그러면 사용하는 패러미터 집합이 전송된 슬라이스 헤더 안에서 식별된다.
따라서, 바람직한 실시예에 따라, 다음과 같은 조건적 패러미터들이 바람직하게는 기준 픽쳐 선택 패러미터들 이전에 슬라이스 헤더에 추가될 수 있다:
1. 고립 영역(SNIR)의 시퀀스 넘버. 이 패러미터는 패러미터 집합이 고립 영역들의 사용을 지시할 때 제공된다. 값 0은 시퀀스 넘버(SNIRb)가 가장 최근 전송된 SNIR 값인 SNIRa, 해당 픽쳐 넘버 Pna, 및 현 픽쳐 넘버 PNb로부터 다음과 같이 추정된다: SNIRb=PNb-Pna+SNIRa, 이때 픽쳐 넘버들 사이의 산술연산은 가능한 랩오버들(wrapovers)을 처리한다. 값 1은 새 신뢰 영역의 시작을 나타내고 적어도 각 IREG 주기 당 적어도 한번 전송된다. 0 보다 큰 값들은 시퀀스 번호를 명시적으로 나타내며 에러 복구능력을 향상시키는데 사용될 수 있다.
2. 고립 영역의 모양 변화(SCIR). 이 패러미터는 패러미터 집합이 고립 영역의 가변 증가율을 나타내거나, 고립 영역의 모양 전개 유형이 동적 사각형일 때 제공된다. 값 0은 사각형 고립 영역의 증가율이나, 모양, 크기, 및 위치가 동일한 픽쳐의 어느 다른 슬라이스에서와 동일함을 의미한다. 값 1은 GRIR 및 IRIR이 이전에 저장되거나 전송된 픽쳐에서와 동일하다는 것을 나타낸다. 값 2는 GRIR 또는 IRIR이 이어짐을 나타낸다. GRIR 및 IRIR은 픽쳐의 각 고립 영역 마다 반복된다.
3. 고립 영역의 증가율(GRIR). 이 패러미터는 패러미터 집합이 고립 영역의 가변 증가율을 나타낼 때에만 제공된다. 이 패러미터는 코딩 순서대로 이전에 저장된 프레임의 고립 영역과 비교해 고립 영역에 추가된 매크로블록들의 개수를 시그날링한다.
4. 사각형의 고립 영역에 대한 정보(IRIR). 이 패러미터들의 그룹은 고립 영역의 모양 전개 유형이 동적 사각형일 때 제공된다. 다음의 네 코드워드들이 뒤따른다:
레프트(Left): 고립 영역(매크로블록들로 된)의 맨 왼쪽 매크로블록의 좌표. 픽쳐의 맨 왼쪽 매크로블록 열은 값 0이 할당된다.
탑(Top): (매크로블록들로 된) 고립 영역의 맨 위 매크로블록의 좌표. 픽쳐의 맨 위쪽 매크로블록 행에 값 0이 할당된다.
폭(Width): 고립 영역의 폭. 코드워드드른 다음과 같이 할당된다:
심볼 넘버 UVLC 코드 설명
0 1 Guess=(맨 오른쪽-왼쪽)/2+1, "맨 오른쪽"은 픽쳐의 맨 오른쪽 매크로블록의 열 어드레스, "/"는 절단에 의한 분할을 의미. 예를 들어, QCIF 픽쳐이고 왼쪽이 3일 때, 폭은 (10-3)/2+1=4가 됨.
1 001 Guess+1
2 011 Guess-1
3 00001 Guess+2
4 00011 Guess-2
.. .. ...
높이(Height): 서브-픽쳐의 높이. 코드워드들은 폭에서와 유사하게 할당된다.
JVT 비디오 코덱 패러미터 집합들에 대한 보다 상세한 설명은 ISO/IEC 문서들인 "VCEG-N52" 및 "VCEG-N72r1"을 참조하면 알 수 있다.
다음으로, 바람직한 일실시예에 따른 디코딩 절차가 설명될 것이다. 예시를 위해, 여기에서는 (대역 안 또는 대역 밖의) 비디오 시퀀스와 함께 시그날링된 패러미터 집합이 적어도 상술한 패러미터들의 일부를 포함한다고 전제한다. 그러나, 상기 패러미터들은 단지 어떻게 바람직한 특성들이 달성될 수 있는지에 대한 예들일 뿐임을 주지해야 한다. 이 분야의 당업자라면 다른 패러미터들의 집합을 이용 해 수많은 방법으로 동일한 결과에 도달하는 구성이 실시될 수 있음을 알 수 있을 것이다.
디코더가 비디오 시퀀스와 함께 시그날링된 패러미터 집합을 수신할 때, 디코더는 그 집합이 신뢰 영역들의 이용을 나타내는지의 여부를 체크한다. 시그날링된 패러미터 집합이 IREG-I의 사용을 나타내면, 디코더는 다음과 같이 슬라이스를 디코딩한다:
디코딩될 슬라이스의 픽쳐 넘버가 이전에 디코딩된 슬라이스의 픽쳐 넘버와 다르거나, 디코딩될 슬라이스의 시간적 기준이 이전에 디코딩된 슬라이스의 시간 기준과 다르면, 새 픽쳐의 디코딩을 시작한다. 그렇지 않으면, 현 픽쳐의 디코딩을 계속한다.
새 픽쳐의 디코딩이 시작되면, 디코더는 새로운 신뢰 영역이 설정되는지를 체크한다. 패러미터 집합 중 신뢰 영역 관련 패러미터들의 어떤 것이 바뀌었으면, 디코더는 새로운 신뢰 영역의 시작을 추정한다. 이와 마찬가지로, SNIR이 1이면, 디코더는 새로운 신뢰 영역의 시작을 추정한다. 새로운 신뢰 영역이 설정될 때, 신뢰 영역들의 이전 모양, 크기, 및 위치는 리셋된다. 새로운 픽쳐의 디코딩이 시작되면, 신뢰 영역들의 모양, 크기, 및 위치는 다음과 같이 (한번에 한 신뢰 영역씩) 업데이트 된다:
신뢰 영역의 모양 전개 유형이 사각형이 아니고 증가율이 일정하면, 신뢰 영역의 모양, 크기, 및 위치는 일정한 개수의 매크로블록들이 크기가 0인 신뢰 영역에 SNIR 회 추가되는 것 처럼 계산된다.
신뢰 영역의 모양 전개 유형이 사각형이 아니고 증가율이 미리 규정된 것이면, SNIR은 이전에 저장되고 전송된 픽쳐의 해당 신뢰 영역에 추가될 매크로블록들의 개수 aSNIR을 나타낸다.
미리 규정된 자유형상 유형의 신뢰 영역이 사용되지만 증가율은 각 픽쳐 마다 별도로 시그날링될 때, 신뢰 영역의 모양 및 크기는 이전에 저장되고 전송된 픽쳐의 신뢰 영역에 미리 규정된 순서로 GRIR 매크로블록들을 추가함으로써 형성된다.
모양 전개 유형이 미리 규정된 정적 사각형이면, 그 크기, 모양 및 위치는 패러미터 집합 안에 지시된다. 모양 전개 유형이 동적 사각형이면, 그 사각 신뢰 영역의 크기, 모양, 및 위치는 슬라이스 헤더 안에 지시된다. 신뢰 영역들의 모양, 크기, 및 위치가 일단 갱신되면, 슬라이스의 최초 매크로블록의 매크로블록 어드레스는 그 슬라이스가 속한 것이 어느 신뢰 영역인지, 또는 그 슬라이스가 그 나머지 영역에 속하는지를 식별한다. 한 픽쳐의 신뢰 영역들이 먼저 디코딩된다.
매크로블록의 코딩 데이터를 디코딩하기 앞서, 공간적 위치가 산출된다. 공간적 매크로블록 순서는 (래스터 혹은 분산(scattered) 스캔 순서를 이용하는) 일반적인 것이지만, 현재 디코딩되는 신뢰 영역 또는 그 나머지 영역 밖에 있는 매크로블록 위치들은 스킵된다.
각 매크로블록의 루프 필터링은 다음과 같이 제한된다: 왼쪽으로 이웃하는 매크로블록이 다른 영역에 속하면(즉, 하나는 신뢰 영역에 속하고 다른 하나는 그 나머지 영역에 속하거나, 서로 다른 신뢰 영역들에 속하면), 매크로블록은 그것이 왼쪽 픽쳐 경계 상에 있는 것 처럼 필터링된다. 그것의 위로 이웃하는 매크로블록이 다른 영역에 속하면, 그 매크로블록은 그것이 픽쳐의 맨 위 매크로블록인 것 처럼 필터링된다.
또, 디코딩되고 있는 신뢰 영역 바깥 영역들로부터의 인트라 예측은 적용되지 않음이 바람직하다.
시그날링된 패러미터 집합이 IREG-D의 사용을 나타낼 때, 디코더는 매크로블록 위치 결정만 제외하면, 상술한 IREG-I의 경우에서와 같은 방법으로 슬라이스를 디코딩한다. 공간적 매크로블록 순서는 일반적이고, 한 슬라이스는 많은 신뢰 영역들 및 동시에 그 나머지 영역으로부터 매크로블록들을 포함한다. 주요한 차이는 인트라 예측 및 모션 벡터 예측이 영역 경계들에 걸쳐 발생한다는 것이다. 그러나, 신뢰 영역 바깥의 픽셀값들로부터의 루프 필터링 및 부분적 픽셀 보간에 관한 코딩 구속조건은 여전히 적용된다.
IREG-I 방법의 바람직한 실시예가 소위 서브-픽쳐와 관련해 구현될 수 있고, 이것은 JVT/H.26L에 대해 제안되어져 왔다. 서브-픽쳐는 픽쳐와 슬라이스 레이어들 사이에 서브-픽쳐 코딩 레이어를 추가함으로써 생성될 수 있다. 서브-픽쳐 코딩 레이어는 서브-픽쳐들(SP)이라 불려지는 것들을 형성하며, 이들은 보통 소위 배경 영역(BR) SP를 제외한 사각형의 전경 영역 SP들(FR SPs)이다. BR SP는 어떤 사각형의 SP들에도 속하지 않는 픽쳐 영역으로 이뤄진다. 픽쳐의 전경 영역 SP들은 배경 영역 SP에 앞서 코딩된다. SP안의 매크로블록들은 스캔 순서대로 코딩된다. SP들은 중복되지 않는다, 즉, 전체 인코딩된 픽쳐는 모든 SP들로 이뤄진다. 본 발명의 이러한 실시예에 따라, 한 서브-픽쳐는 한 신뢰 영역으로서 사용될 수 있다. 서브-픽쳐의 모양과 크기는 가령 상술한 패러미터들에 의해 제어될 수 있다.
도 4는 비디오 인코딩을 위해 규정된 매크로블록들(MBs)과 관련해 인코딩될 픽쳐(400)를 보인다. 이 픽쳐는 전경 오브젝트로 간주되는 오브젝트를 포함한다. 사각형의 전경 영역 서브-픽쳐 (FR SP)(402)는 MB 경계들을 따라 전경 오브젝트 주변에 그려졌다. 전경 오브젝트(402)를 둘러싸면서 픽쳐는 배경 역시 포함한다. FR SP(402)를 둘러 싸는 배경의 일부는 배경 영역 서브-픽쳐(404)(BR SP)라고 칭해진다. 배경의 일부 역시 여기서의 경우에서 처럼 FR SP(402)에 속할 수 있음을 주지해야 한다. 도 4는 0부터 79까지 오름차순으로 번호매김되어 할당된 MB들을 보이며, 여기서 첫번째 MB (0)는 왼쪽편 우측 구석에 있고, 넘버링이 오른쪽으로 가면서 증가하고 각 행 다음에 다음 행의 왼쪽부터 이어진다.
도 5는 서브-픽쳐 구현에 따라 도 4의 픽쳐에 대해 형성된 비디오 코딩 슬라이스들의 주요 도면을 보인다. 픽쳐는 5개의 매크로블록들로 된 슬라이스 크기를 이용하는 비디오 코딩 슬라이스들로 세그먼트화된다. 이러한 분리(segmentation)는 가장 중요한 FR SP부터 시작되고, BR SP는 모든 FR SP들(도 4 및 도 5에는 오직 한 개의 FR SP 만이 제공됨) 다음에 슬라이스들로 세그먼트화된다. 슬라이스들에는 0 부터 시작되는 연속 번호들이 주어진다. 슬라이스 0는 FR SP 안의 첫번째 행으로부터 3개의 MB들을 차지하고, 그리고 나서 FR SP 안의 두번째 행의 2개의 MB들을 차지한다는 것과, 특히 FR SP의 마지막 슬라이스는 BR SP가 인코딩되기 전에 마 감되어야 한다는 것을 주지해야 한다. 그리고 나서 BR SP의 MB들이 마지막 슬라이스를 제외한 각각의 슬라이스가 한 슬라이스에 허용된 최대 개수의 MB들로 이뤄지도록 스캔 순서에 따라 슬라이스들로 세그먼트화된다. 슬라이스들은 각 FR SP를 간단히 건너 뛴다. 일반적으로 보다 큰 슬라이스들은 한 픽쳐를 인코딩하는데 필요로 되는 보다 작은 량의 리던던시를 발생시킨다.
바람직한 일실시예에 따르면, 서브-픽쳐 기반의 그래듀얼 디코더 리프레쉬 방법이 신뢰 영역이 전경 서브-픽쳐로서 코딩되도록 구현될 수 있다. 전경 서브-픽쳐의 외부 경계에 걸쳐 루프 필터링이 중단되도록 독립적인 서브-픽쳐 코딩 모드가 이용됨이 바람직하다. 전체 픽쳐 안의 전경 서브-픽쳐의 모양과 위치는 그 서브-픽쳐에 속하는 매크로블록들이 서로 인접해야 한다는 것을 제외하면 어떤 다른 구속요건에 의해서도 제한되어서는 안된다.
디코더에 대한 랜덤 억세스 포인트들을 제공하는데 더하여, 본 발명은 비디오 전송의 에러 복구능력을 향상시키는데 또한 적용될 수 있다. 상술한 방법은 소정의 인트라 매크로블록 업데이트 패턴을 가진 에러에 정통한(error-aware) 인코딩 방법으로서 사용될 수 있다. 프레임 알고리즘 당 업데이트된 매크로블록들의 개수는 선택된 조건에 따라 달라질 수 있으나 갱신된 매크로블록들의 순서는 동일하게 유지된다. 이 방법은 또한 신뢰 영역 내의 일부 매크로블록들은 인트라 모드시 절대 업데이트되지 않도록 사용된다. 이에 따라, 이 기술은 적응적 인트라 매크로블록 업데이트의 카테고리 안에 들어간다.
손실에 밝은 인트라 업데이트를 위한 고립 영역들의 이용은, 고립 영역들이 첫번째 고립 영역이 시작된 데서부터 지속적으로 사용되도록 매우 직접적인 방식으로 적용될 수 있다. 시퀀스의 가장 처음 프레임이 완전히 인트라 코딩되기 때문에, 첫번째 고립 영역은 두번째 코딩 프레임부터 시작됨이 바람직하다. 인코더는 픽쳐 크기 및 추정된 패킷 손실율에 따라 적절한 증가율을 선택할 수 있다. 일반적으로, 양호한 증가율(즉 리프레쉬율)이란 매크로블록들의 손실율과 동일하다. 예를 들어, 패킷 손실율이 20%이면, 80 매크로블록들의 증가율이 적절하다.
신뢰 영역들의 코딩은 상술한 바 대로 수행되지만, 나머지 영역들에 있어서 그 영역들 안의 픽셀들은 앞서 재구성된 프레임 내 공간적으로 상응하는 픽셀들로 복제된다. 즉, 나머지 영역내 한 매크로블록은 콘텐츠가 이전 프레임에서 변화되지 않은 것처럼 코딩될 수 있다.
디코더 측에서는, 그 주기 중에 부분적으로 업데이트된 이미지들은 그것이 시각적으로 만족스럽다고 간주되면 보여질 수 있다.
이 실시예는 인트라 프레임 코딩과 비교할 때 단대단(end-to-end) 전송 지연이 현저히 떨어진다는 이점을 가진다. 일정한 양자화 패러미터 때문에, 안정된 화질을 얻으면서 저비트율의 변동을 유지할 수 있다. 보다 안정된 영상 품질은 일반적으로 덜 곤혹스러운 것이라고 간주된다. 또한, 손실이 있다면 시공간적 에러 은닉이 적용될 수 있다.
서로 다른 종류의 와이프(wipes)와 박싱(boxing)과 같은 많은 종류의 리프레쉬 패턴들이 사용될 수 있다. 특히, 박스 아웃 리프레쉬 패턴이 사용될 때, 중앙 픽쳐 부분이 먼저 디스플레이될 것이다. 관심 가진 영역의 관점에서 볼 때, 중앙 부분은 흔히 더 중요한 것이다.
인트라 프레임들을 회피한 결과, 최종 사용자들은 반응한 픽쳐들이 리프레쉬 요구 다음에 더 빠르게 디스플레이됨을 인식한다. 또, 최종 사용자들은 픽쳐 레이트에 있어 보다 짧아진 드롭(drop)을 인식하다.
상술한 실시예들에 따른 절차는 여러 이점들을 제공한다. 한 인트라 프레임이 독립적으로 디코딩 가능한 픽쳐들의 그룹(GOP)을 시작하는 일반적인 랜덤 억세스 포인트들의 인코딩과 비교할 때, 본 발명은 무엇보다 우선 그 영역에 대한 전체적 인트라 매크로블록 적용 없이도 소정 픽쳐 영역을 신뢰성있게 업데이트할 수 있다는 장점을 가진다. 그 영역은 많은 코딩되는 픽쳐들 내내 점진적으로 업데이트된다. 이전 픽쳐의 신뢰 영역들은 다음 픽쳐의 신뢰 영역을 위한 모션 보상 기준으로서 사용될 수 있다. 신뢰 영역의 각 매크로블록에 대한 매크로블록 모드의 선택은 레이트-왜곡 최적화(rate-distortion optimisation)를 이용해 이뤄질 수 있다. 따라서, 본 발명은 레이트-왜곡 관점에서 볼 때 신뢰 영역의 코딩을 최적으로 수행할 수 있다.
본 발명의 이러한 특징은 특히, 어느 방향에 대한 카메라 팬(pans)과 같이, 상대적으로 안정적인 포괄적 모션을 겪는 시퀀스들에서 유용하다. 그런 경우, 첫번째 프레임의 픽쳐 경계에 가까웠던 영역은 다음 프레임의 픽쳐의 중간에 더 가깝게 이동한다. 첫번째 프레임의 영역이 인트라 코딩될 수 있고 다음 프레임에서는 다시 인트라 코딩될 필요가 없다면.
또한, 코딩된 스트림의 순간적인 비트율은 더 매끈한 변동율을 가진다. 이 것은 버퍼 오버플로우를 막게 하여, 프리-디코더(pre-decoder) 버퍼의 필요한 크기를 줄이고, 단대단 전송 지연을 감소시킬 것이다.
에러가 발생하기 쉬운 전송에 있어, 픽쳐 당 소정 개수의 매크로블록들이 어쨌거나 인트라 모드에서 코딩된다. 본 발명은 랜덤 억세스 용으로 이들 매크로블록들의 재사용을 가능하게도 할 수 있다.
인트라 프레임의 적어도 일부분이 손실되거나 훼손되면, 수신하는 디코더는 공간적이거나 시공간적 에러 은닉을 이용해야 하는지를 검출하는 수단을 포함한다. 단도직입적인 선택은 공간적으로 이웃하는 영역들이 인트라 코딩되었을 때 공간적 에러 은닉을 이용하는 것이다. 그러나, 시공간적 에러 전파가 더 나은 은폐의 결과를 가져올 수도 있다. 이러한 현상은 본 발명에 따른 방법이 적용될 때, 즉 픽쳐의 일부가 한 번에 인트라 모드에서 업데이트될 때 피할 수 있다.
대화형 비디오 어플리케이션들은 비디오 전화, 비디오 회의, 및 기타 유사한 어플리케이션들을 말한다. 이 어플리케이션들의 패밀리는 단대단 지연을 최소화한다는 목적을 가진다는 것을 특징으로 한다. 대화형 어플리케이션들은 ISDN (ITU-T 권고안 H.320 참조), PSTN (ITU-T H.324), 고정 IP 네트웍 (ITU-T H.323), 및 패킷 교환 이동 네트웍 (3GPP TS 26.235)와 같은 여러 네트웍들에서 동작할 수 있다. 통상적으로 네트웍의 적어도 한 링크는 제한된 최대 처리량의 비트율을 갖는다. ISDN과 같은 어떤 네트웍들은 낮은 전송 에러율을 제공하지만, 인터넷과 이동 네트웍들과 같은 것들은 상대적으로 전송 에러들에 민감하다.
통상적인 어플리케이션들에서는 단대단 지연을 최소화한다는 목적과 고정된 최대 처리량을 가진다는 사실 때문에 상대적으로 일정한 비디오 비트율을 유지해야 한다는 목적을 가진다. 인트라 코딩은 일반적으로 인터 코딩에 비해 비트율 관점에서 볼 때 보다 고비용이기 때문에, 한 번에 프레임 전체를 인트라 코딩하는 것은 피해야 한다.
디코더는 시퀀스 시작시, 그리고 인트라 픽쳐 업데이트 요청의 반응으로서 이미지의 리프레쉬를 기대한다. 본 발명에 따른 방법에 있어서, 전체 인트라 픽쳐 대신, 그래듀얼(gradual, 점진적) 디코더 리프레쉬 주기가 시그날링되고 코딩될 수 있다. 그 주기 중에 부분적으로 업데이트된 이미지들은 원하면, 즉 시각적으로 만족스럽다면 보여질 수 있다.
전체 인트라 픽쳐들 대신 그래듀얼 디코더 리프레쉬를 이용하여 비트율의 변동율을 매끄럽게 하고 단대단 전송 지연을 감소시킨다. 최종 사용자들은 픽쳐가 세션 초기화시 보다 빠르게 디스플레이됨을 인지한다. 수신 단말은 수신된 픽쳐가 너무 훼손되어 있으면 최종 인코더에게 인트라 픽쳐 업데이트를 요청한다. 그 경우, 최종 사용자들은 본 발명이 이용될 때 픽쳐 레이트의 보다 짧아진 드롭을 인지한다.
그래듀얼 양자화 방식(gradual quantization refinement) 및 그래듀얼 해상도 방식(gradual resolution refinement)과 비교할 때, 본 발명의 방법은 인트라 픽쳐 업데이트 요청의 결과로서, 일반적으로 덜 곤혹스럽다고 간주되는 보다 안정된 영상 품질을 제공한다.
본 발명의 주요 이점은 시공간적 에러 전파를 완전히 방지한다는 것이다. 이러한 특징은 JVT 설계와 같은 복잡한 코딩 방식들에서 기준 픽쳐 선택, 루프 필터링, 및 부분 픽셀 보간과 함께 일찌기 사용되어져 왔다.
따라서, 상술한 방법은 소정의 안정된 매크로블록 업데이트 패턴을 가진 에러에 밝은 인코딩 방법으로서 사용될 수 있다. 소정 패턴 알고리즘들에서 프레임 당 업데이트된 매크로블록들의 개수는 선택 조건에 따라 달라질 수 있으나 업데이트되는 매크로블록들의 순서는 동일하게 유지됨을 알아야 한다. 결국, 본 발명의 방법은 동시에 두 가지 장점을 가진다: 인트라 코딩에 의한 에러 전파를 막으면서, 완벽한 랜덤 억세스의 가능성을 제공하는 것이다.
본 발명의 방법은 신뢰 영역이 다른 영역들 보다 더 양호하게 에러 방지된 채 전송될 수 있도록 한다. 따라서, 본 발명은 이런 종류의 전송 우선화가 가능하지 않은 인트라 업데이트 방법을 가진 기존의 코딩 보다 성능이 뛰어나다. 신뢰 영역은 전송 에러들에 대해 나머지 코딩된 데이터 보다 더 양호하게 보호될 수 있다. 실제로, 포워드(forward) 에러 코딩과 같은 더 많은 리던던시가 신뢰 영역들에 제공될 수 있다. 이와 다른 선택사항으로서, 신뢰 영역들은 일반 비디오 데이터 전송에 사용되는 채널보다 양호한 서비스 품질(QoS)을 보장하는 채널을 통해 전송될 수 있다. 유니캐스트(unicast) 스트리밍시, 서버가 그래듀얼 랜덤 억세스 위치로부터 스트리밍을 시작할 것을 요청받으면, 서버는 비신뢰 영역들(배경 서브-픽쳐들)을 전혀 전송할 필요가 없다.
뉴스, 영화 예고편, 및 뮤직 비디오와 같은 많은 유형의 비디오물은 빈번한 장면 컷(전환)을 포함한다. 때때로 장면 컷은 급작스럽지만, 많은 경우에 있어, 페이딩(fades) 또는 와이핑(wipes)과 같은 전환이 적용된다. 장면 전환의 코딩은 압축 효율의 관점에서 볼 때 흔히 어려운 문제가 되는데, 모션 보상이 전환시의 픽쳐들 간 변화를 나타내는 데 충분히 강력한 방법이 안되기 때문이다.
장면 전환은, 가령 급작스럽고(abrupt), 마스킹되고(masked), 페이딩되고(faded) 복합적인(hybrid) 장면 전환으로 카테고리화될 수 있다. 급작스런 전환은 전환 주기가 없고 두 연이은 장면들의 콘텐츠가 동시에 존재하는 픽쳐도 없는 전환이다. 마스킹 전환은 두번째 장면이 점진적인 방식으로 첫번째 장면으로부터 공간적으로 드러나도록 하는 것이다. 모든 픽쳐들은 최고 강도(intensity)로 디스플레이된다. 마스킹 장면 전환의 코딩은 통상 적어도 하나의 인트라 프레임을 수반한다. 마스킹 장면 전환의 예에는 박스 인, 박스 아웃, 와이프, 스플릿(splits), 및 디졸브(dissolve)가 포함된다. 페이딩 전환은 두 장면의 픽쳐들이 반투과(semi-transparent) 방식으로 각각의 윗면에 놓여지고 그 윗면에서의 픽쳐들의 투과도가 전환 주기 안에서 점진적으로 바뀌도록 된 것이다. 페이딩 전환의 예에는 일반 크로스-페이드(cross-fade) 및 블랙 페이드(fade through(from and to) black)가 포함된다. 하이브리드 장면 전환은 마스킹 및 페이딩 전환을 조합한 것이다.
본 발명에 따른 방법은 장면 전환, 특히 마스킹 장면 전환에 적용될 때 역시 유익함을 제공한다. 그에 따라, 하나의 전환은 전체 인트라 픽쳐를 코딩하지 않고도 랜덤하게 억세스될 수 있다. 서브-픽쳐 기반 그래듀얼 디코더 리프레쉬가 사용되고 전환이 랜덤하게 억세스될 때, 전환의 첫번째 장면의 코딩 데이터는 전송, 디 코딩 및 디스플레이될 필요가 없다. 또, 마스킹 장면 전환은 급작스런(abrut) 장면 변환이 이뤄졌을 때 보다 코딩 비디오 비트율의 변동을 적게 하기 위해 의도적으로 코딩될 수 있다.
위에서는 그래듀얼 디코더 리프레쉬 랜덤 억세스 포인트들을 비디오 시퀀스 로 코딩하는 방법을 설명하였다. 구체적으로 이 방법은 그 자체로 잘 알려져 있는 비디오 인코더에서 수행된다. 사용되는 비디오 인코더는 가령 ITU-T 권고안 H.263 또는 H.26L에 따른 비디오 인코더일 수 있다, 즉, 본 발명에 따라 적어도 하나의 인트라 코딩된 코딩 블록을 구비한 제1신뢰 영역을 결정하고, 상기 제1신뢰 영역과 그 영역 밖의 코딩 블록들 간의 정보 종속관계의 성립을 방지하도록 상기 비디오 시퀀스의 상기 제1신뢰 영역을 인코딩하게 하는 비디오 인코더일 수 있다.
마찬가지로, 디코딩은 그 자체로 잘 알려져 있는 비디오 디코더일 수 있는 비디오 인코더 안에서 일어난다. 사용되는 비디오 디코더는 가령 ITU-T 권고안 H.263 또는 H.26L에 따른 저비트율 비디오 디코더일 수 있다, 즉, 본 발명에 따라, 제1신뢰 영역이 적어도 하나의 인트라 코딩된 코딩 블록을 구비하는 비디오 시퀀스의 제1신뢰 영역을 결정하고, 상기 제1신뢰 영역과 그 영역 밖의 코딩 블록들 간의 정보 종속관계의 성립을 방지하도록 상기 비디오 시퀀스로부터 상기 제1신뢰 영역을 디코딩하도록 하는 비디오 디코더일 수 있다.
비디오 기반 통신 시스템의 다른 부분들, 특히 단말들은 멀티미디어 파일들의 양방향 전송, 즉 파일들의 송수신을 가능하게 한다는 특성을 가진다. 이것은 인코더와 디코더가 인코더 및 디코더 모두의 기능을 포함하는 비디오 코덱으로서 구현될 수 있도록 한다.
상기 비디오 인코더, 비디오, 디코더 및 단말의 본 발명에 따른 기능 소자들은 소프트웨어, 하드웨어, 또는 그 둘의 결합된 형태로서 바람직하게 구현될 수 있음을 주지해야 한다. 본 발명의 코딩 및 디코딩 방법들은 특히 본 발명의 기능적 단계들을 수행하기 위한 컴퓨터 판독 가능 명령들을 구비한 컴퓨터 소프트웨어로서 구현되는데 특히 알맞다. 인코더 및 디코더는 저장 수단에 저장되어 개인용 컴퓨터(PC)나 이동국과 같은 컴퓨터 유사 기기에 의해 실행되어, 상기 기기의 코딩/디코딩 동작을 수행하기 위한 소프트웨어 코드로서 구현됨이 바람직하다.
도 6은 본 발명의 바람직한 실시예에 따른 이동 통신 기기(MS)의 블록도이다. 이동 통신 기기에서, 마스터 제어 유닛(MCU)은 이동 통신 기기의 다양한 기능을 책임지는 블록들인, 랜덤 억세스 메모리(램), 무선 주파수 파트(RF), 롬(ROM), 비디오 코덱(CODEC), 및 사용자 인터페이스(UI)를 제어한다. 사용자 인터페이스는 키보드(KB), 디스플레이(DP), 스피커(SP), 및 마이크로폰(MF)을 포함한다. MCU는 마이크로프로세서이거나, 다른 실시예들에 있어서 디지털 신호 프로세서와 같은 어떤 다른 종류의 프로세서일 수 있다. MCU의 동작 명령은 롬 메모리에 미리 저장되어 있다. 그 명령(즉, 컴퓨터 프로그램)에 의해, MCU는 RF 블록을 이용해 무선 경로를 통해 데이터를의 송수신한다. 비디오 코덱은 하드웨어에 기반하거나, 완전 혹은 부분적 소프트웨어에 기반하는 것일 수 있으며, 후자의 경우 코덱은 MCU를 제어하여 필요한 인코딩 및 디코딩 동작을 수행하도록 하는 컴퓨터 프로그램들을 포함한다. MCU는 램을 자신의 워킹 메모리로 이용한다. 이동 통신 기기는 비디오 카메라에 의한 모션 비디오를 캡춰링하여 MCU, 램, 및 코덱 기반 소프트웨어를 이용해 그 모션 비디오를 인코딩 및 패킷화한다. 그러면 RF 블록이 사용되어, 인코딩된 비디오를 다른 쪽과 교환한다.
도 7은 복수개의 이동 통신 기기들(MS), 이동 통신 네트웍(71), 인터넷(72), 비디오 서버(73), 및 인터넷과 연결된 고정 PC를 포함하는 비디오 통신 시스템(70)을 도시한다. 비디오 서버는 비디오 인코더를 포함하며, 일기 예보나 뉴스와 같은 주문형(on-demand) 비디오 스트림을 제공할 수 있다.
본 발명의 바람직한 실시예는 영역 기반 코딩 구조에 기반한다.
본 발명은 또한 비디오 시퀀스를 포함하는 비디오 신호로서 구현될 수 있는데, 상기 비디오 시퀀스는 비디오 프레임들로 이뤄지며, 여기서 적어도 한 비디오 프레임은 코딩 블록들의 집합으로 분할되고 상기 코딩 블록들 중 적어도 하나는 인트라 코딩에 의해 인코딩된다. 비디오 신호는 비디오 시퀀스의 제1신뢰 영역을 결정하는 정보를 더 포함하는데, 상기 신뢰 영역은 적어도 하나의 인트라 코딩된 코딩 블록 및, 상기 제1신뢰 영역과 그 영역 바깥의 코딩 블록들 사이에 정보 종속관계의 설정이 방지되도록 비디오 시퀀스로부터 상기 제1신뢰 영역을 디코딩하기 위한 정보를 포함한다. 비디오 신호는 실시간 전송 신호일 수 있고, 대용량 메모리나 재생 비디오 디스크와 같은 매체를 이용해 컴퓨터 판독가능 캐리어 상에 저장된 것일 수도 있다.
이 분야의 당업자라면 본 발명의 기본 개념이 다양한 방식으로 구현될 수 있음을 이해할 수 있을 것이다. 따라서 본 발명과 그 실시예는 상술한 예들에 국한 되지 않으며 청구범위들 안에서 변형될 수 있다.
본 발명에 의하면, 디코딩 영역의 전개 패턴과 관련된 정보를 디코더에 효율적으로 지시할 수 있다.

Claims (26)

  1. 일련의 블록들로 분할되는 디지털 화상(picture) 내 한 영역의 사이즈, 모양, 및 위치를 나타내는 방법에 있어서,
    상기 영역 내 블록들의 수를 나타내는 적어도 하나의 사이즈 파라미터 값을 정의하는 단계; 및
    상기 영역 내 블록들의 선택 순서를 나타내는 적어도 하나의 모양 전개 파라미터 값을 선택하는 단계를 포함함을 특징으로 하는 영역 정보 제공 방법.
  2. 제1항에 있어서,
    상기 화상 내 상기 영역의 사이즈, 모양, 및 위치를 나타내기 위해, 상기 적어도 하나의 사이즈 파라미터 값 및 상기 적어도 하나의 모양 전개 파라미터 값을 비디오 시퀀스의 비트스트림 안에 부호화하는 단계를 더 포함함을 특징으로 하는 영역 정보 제공 방법.
  3. 제1항 또는 제2항에 있어서, 상기 적어도 하나의 모양 전개 파라미터 값을 상기 화상의 파라미터 집합 안에 포함함을 특징으로 하는 영역 정보 제공 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 적어도 하나의 사이즈 파라미터는, 사이즈 변화율 파라미터 (GRIR) 및 사이즈 변화의 일련 번호 파라미터 (SNIR)를 포함함을 특징으로 하는 영역 정보 제공 방법.
  5. 제4항에 있어서, 상기 영역 내 코딩 블록들의 개수는, 상기 사이즈 변화율 파라미터 값, 상기 사이즈 변화의 일련 번호 파라미터 값 중 적어도 한가지에 기초하여 결정됨을 특징으로 하는 영역 정보 제공 방법.
  6. 제4항 또는 제5항에 있어서,
    상기 사이즈 변화율 파라미터 값은 상기 화상의 파라미터 집합 안에 포함하고, 상기 사이즈 변환의 일련 번호 파라미터 값은 상기 영역에 속하는 슬라이스 헤더 (slice header) 안에 포함함을 특징으로 하는 영역 정보 제공 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 영역의 블록들의 위치는, 상기 모양 전개 파라미터 값에 기초해 결정함을 특징으로 하는 영역 정보 제공 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 적어도 하나의 모양 전개 파라미터 값을, 래스터 스캔(raster scan), 박스 아웃 반시계 방향, 와이프 레프트 (wipe left, 이미지 오른쪽에서 왼쪽으로 수평 이동 변환), 와이프 라이트 (wipe right, 이미지 왼쪽에서 오른쪽으로 수평 이동 변환) 중 적어도 하나로부터 선택함을 특징으로 하는 영역 정보 제공 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 영역은 적어도 한 개의 슬라이스를 포함하고, 상기 슬라이스는 이 슬라이스 경계들에 걸쳐 어떤 실질적 예측 종속성 (prediction dependencies)도 갖지 않는 블록들을 포함하며, 상기 블록들은 슬라이스 안에서 상기 영역 내부 스캐닝 순서에 따라 선택됨을 특징으로 하는 영역 정보 제공 방법.
  10. 디지털 화상들을 비트스트림으로 부호화하는 인코더에 있어서,
    상기 인코더는 적어도 한 화상을 일련의 블록들로 분할하도록 구성되고,
    상기 인코더는, 한 화상 내에서 적어도 한 블록을 구비한 영역을 결정하고, 상기 영역 안의 블록들의 개수를 나타내는 적어도 하나의 사이즈 파라미터 값을 정의하고, 상기 영역으로의 상기 블록들의 선택 순서를 나타내는 적어도 하나의 모양 전개 파라미터 값을 선택하고, 상기 화상 내 상기 영역의 사이즈, 모양, 및 위치를 나타내기 위해, 상기 적어도 하나의 사이즈 파라미터 값과 상기 적어도 하나의 모양 전개 파라미터 값을 상기 비트스트림 안에 부호화하도록 더 구성됨을 특징으로 하는 인코더.
  11. 제10항에 있어서, 상기 인코더는,
    상기 적어도 하나의 모양 전개 파라미터 값을 상기 화상의 파라미터 집합 안에 포함하도록 구성됨을 특징으로 하는 인코더.
  12. 제10항 또는 제11항에 있어서,
    상기 적어도 하나의 사이즈 파라미터는 사이즈 변화율 파라미터 (GRIR) 및 사이즈 변화의 일련 번호 파라미터 (SNIR)를 포함함을 특징으로 하는 인코더.
  13. 제12항에 있어서, 상기 인코더는,
    상기 사이즈 변화율 파라미터 값을 상기 화상의 파라미터 집합 안에 포함하고, 상기 사이즈 변화의 일련 번호 파라미터 값을 상기 영역에 속하는 슬라이스 헤더에 포함하도록 더 구성됨을 특징으로 하는 인코더.
  14. 제10항 내지 제13항 중 어느 한 항에 있어서, 상기 인코더는,
    상기 적어도 하나의 모양 전개 파라미터 값을, 래스터 스캔(raster scan), 박스 아웃 반시계 방향, 와이프 레프트 (wipe left, 이미지 오른쪽에서 왼쪽으로 수평 이동 변환), 와이프 라이트 (wipe right, 이미지 왼쪽에서 오른쪽으로 수평 이동 변환) 중 적어도 하나로부터 선택하도록 더 구성됨을 특징으로 하는 인코더.
  15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 영역은 적어도 한 개의 슬라이스를 포함하고, 상기 슬라이스는 이 슬라이스 경계들에 걸쳐 어떤 실질적 예측 종속성 (prediction dependencies)도 갖지 않는 블록들을 포함하며, 상기 블록들은 슬라이스 안에서 상기 영역 내부 스캐닝 순서에 따라 선택됨을 특징으로 하는 인코더.
  16. 컴퓨터 판독가능 매체에 저장되고 데이터 처리 장치에서 실행되는, 디지털 화상을 비트스트림으로 부호화하기 위한 컴퓨터 프로그램 생성물에 있어서,
    적어도 한 화상을 일련의 블록들로 분할하기 위한 컴퓨터 프로그램 코드;
    화상 내에서 적어도 한 블록을 구비하는 한 영역을 결정하기 위한 컴퓨터 프로그램 코드;
    상기 영역 내 블록들의 개수를 나타내는 적어도 하나의 사이즈 파라미터 값을 규정하기 위한 컴퓨터 프로그램 코드;
    상기 영역 안의 블록들의 선택 순서를 나타내는 적어도 하나의 모양 전개 파라미터 값을 선택하기 위한 컴퓨터 프로그램 코드; 및
    상기 화상 내 상기 영역의 사이즈, 모양, 및 위치를 나타내기 위해, 상기 적어도 하나의 사이즈 파라미터 값과 상기 적어도 하나의 모양 전개 파라미터 값을 상기 비트스트림 안에 부호화하기 위한 컴퓨터 프로그램 코드를 포함함을 특징으로 하는 컴퓨터 프로그램 생성물.
  17. 일련의 부호화된 블록들로 분할되어 있는 적어도 하나의 부호화된 디지털 화상을 구비하는 비트스트림을 복호화하는 디코더에 있어서,
    상기 비트스트림으로부터, 상기 화상 내 한 영역의 부호화된 블록들의 개수를 나타내는 적어도 하나의 사이즈 파라미터 값 및 상기 영역으로의 부호화된 블록 들의 선택 순서를 나타내는 적어도 하나의 모양 전개 파라미터 값을 복호화하고; 상기 파라미터 값들에 기초하여 상기 화상 내 상기 영역의 사이즈, 모양, 및 위치를 판단하고; 상기 적어도 한 개의 사이즈, 모양, 및 위치에 따라 상기 영역을 복호화하도록 구성됨을 특징으로 하는 디코더.
  18. 제17항에 있어서, 상기 디코더는,
    상기 영역의 화상 파라미터 집합으로부터 상기 적어도 하나의 모양 전개 파라미터 값을 복호화하도록 구성됨을 특징으로 하는 디코더.
  19. 제17항 또는 제18항에 있어서,
    상기 적어도 하나의 사이즈 파라미터는, 사이즈 변화율 파라미터 (GRIR) 및 사이즈 변화의 일련 번호 파라미터 (SNIR)를 포함함을 특징으로 하는 디코더.
  20. 제19항에 있어서, 상기 디코더는,
    상기 사이즈 변화율 파라미터 값, 상기 사이즈 변화의 일련 번호 파라미터 값 중 적어도 한가지에 기초하여 상기 영역 내 코딩 블록들의 개수를 결정하도록 구성됨을 특징으로 하는 디코더.
  21. 제19항 또는 제20항에 있어서, 상기 디코더는,
    상기 화상의 상기 파라미터 집합으로부터 상기 사이즈 변화율 파라미터 값을 복호화하고, 상기 영역에 속하는 슬라이스 헤더로부터 상기 사이즈 변화의 일련 번호 파라미터 값을 복호화하도록 구성됨 특징으로 하는 디코더.
  22. 제17항 내지 제21항 중 어느 한 항에 있어서, 상기 디코더는,
    상기 모양 전개 파라미터 값에 기초하여 상기 영역의 블록들의 위치를 판단함을 특징으로 하는 디코더.
  23. 제17항 내지 제22항 중 어느 한 항에 있어서, 상기 적어도 하나의 모양 전개 파라미터 값은, 래스터 스캔(raster scan), 박스 아웃 반시계 방향, 와이프 레프트 (wipe left, 이미지 오른쪽에서 왼쪽으로 수평 이동 변환), 와이프 라이트 (wipe right, 이미지 왼쪽에서 오른쪽으로 수평 이동 변환) 가운데 적어도 하나임을 특징으로 하는 디코더.
  24. 제17항 내지 제23항 중 어느 한 항에 있어서, 상기 영역은 적어도 한 개의 슬라이스를 포함하고, 상기 슬라이스는 이 슬라이스 경계들에 걸쳐 어떤 실질적 예측 종속성 (prediction dependencies)도 갖지 않는 블록들을 포함하며,
    상기 디코더는, 상기 영역 내부 스캐닝 순서에 따라 상기 블록들을 슬라이스로 복호화하도록 구성됨을 특징으로 하는 디코더.
  25. 컴퓨터 판독가능 매체에 저장되어 데이터 처리 장치에 의해 실행될 수 있고, 일련의 부호화된 블록들로 분할되어 있는 적어도 한 개의 부호화된 디지털 화상을 포함하는 비트스트림을 복호화하기 위한 컴퓨터 프로그램 생성물에 있어서,
    상기 비트스트림으로부터, 상기 화상 내 한 영역의 부호화된 블록들의 개수를 나타내는 적어도 하나의 사이즈 파라미터 값 및 상기 영역으로의 부호화된 블록들의 선택 순서를 나타내는 적어도 하나의 모양 전개 파라미터 값을 복호화하기 위한 컴퓨터 프로그램 코드;
    상기 파라미터 값들에 기초하여 상기 화상 내 상기 영역의 사이즈, 모양, 및 위치를 판단하기 위한 컴퓨터 프로그램 코드; 및
    상기 적어도 한 개의 사이즈, 모양, 및 위치에 따라 상기 영역을 복호화하기 위한 컴퓨터 프로그램 코드를 포함함을 특징으로 하는 컴퓨터 프로그램 생성물.
  26. 일련의 부호화된 블록들로 분할되어 있는,부호화된 적어도 한 디지털 화상을 포함하는 비트스트림을 구비하는 비디오 신호에 있어서,
    상기 화상 내 한 영역의 부호화된 블록들의 개수를 나타내는 적어도 한 개의 사이즈 파라미터 값; 및
    상기 화상 내 상기 영역의 크기, 모양, 및 위치를 판단할 수 있게 하는, 상기 영역으로 부호화된 블록들의 선택 순서를 나타내는 적어도 한 개의 모양 전개 파라미터 값을 포함함을 특징으로 하는 비디오 신호.
KR1020067008825A 2002-04-29 2003-04-28 화상 내 영역 관련 정보 제공 방법 KR100973518B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20020810 2002-04-29
FI20020810A FI114679B (fi) 2002-04-29 2002-04-29 Satunnaisaloituspisteet videokoodauksessa

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020047017358A Division KR100972403B1 (ko) 2002-04-29 2003-04-28 비디오 인코딩시의 랜덤 억세스 포인트

Publications (2)

Publication Number Publication Date
KR20060065740A true KR20060065740A (ko) 2006-06-14
KR100973518B1 KR100973518B1 (ko) 2010-08-03

Family

ID=8563849

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020047017358A KR100972403B1 (ko) 2002-04-29 2003-04-28 비디오 인코딩시의 랜덤 억세스 포인트
KR1020067008825A KR100973518B1 (ko) 2002-04-29 2003-04-28 화상 내 영역 관련 정보 제공 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020047017358A KR100972403B1 (ko) 2002-04-29 2003-04-28 비디오 인코딩시의 랜덤 억세스 포인트

Country Status (10)

Country Link
US (3) US7302001B2 (ko)
EP (2) EP1500280B1 (ko)
JP (3) JP4468800B2 (ko)
KR (2) KR100972403B1 (ko)
CN (2) CN1829329B (ko)
AU (1) AU2003229800A1 (ko)
BR (1) BR0309713A (ko)
CA (1) CA2483293C (ko)
FI (1) FI114679B (ko)
WO (1) WO2003094530A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011074896A3 (ko) * 2009-12-16 2011-11-17 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
WO2011090352A3 (ko) * 2010-01-22 2011-12-01 삼성전자주식회사 영역 기반의 부호화/복호화 장치 및 방법
KR20140110950A (ko) * 2012-01-26 2014-09-17 니폰 덴신 덴와 가부시끼가이샤 동화상 부호화 방법, 장치 및 프로그램

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082450B2 (en) 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
US7159197B2 (en) 2001-12-31 2007-01-02 Synopsys, Inc. Shape-based geometry engine to perform smoothing and other layout beautification operations
JP4130780B2 (ja) * 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
EP1535467B1 (en) * 2002-07-15 2017-03-15 Nokia Technologies Oy Method for error concealment in video sequences
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US7724818B2 (en) * 2003-04-30 2010-05-25 Nokia Corporation Method for coding sequences of pictures
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
US7843959B2 (en) * 2004-01-30 2010-11-30 Telefonaktiebolaget Lm Ericsson Prioritising data elements of a data stream
US7991053B2 (en) 2004-05-04 2011-08-02 Qualcomm Incorporated Method and apparatus to enable acquisition of media in streaming applications
KR101068055B1 (ko) * 2004-05-13 2011-09-28 퀄컴 인코포레이티드 통신 채널을 통한 정보의 전달
US20070230574A1 (en) * 2004-05-25 2007-10-04 Koninklijke Philips Electronics N.C. Method and Device for Encoding Digital Video Data
US20060050976A1 (en) * 2004-09-09 2006-03-09 Stephen Molloy Caching method and apparatus for video motion compensation
US7813562B2 (en) * 2004-09-27 2010-10-12 Intel Corporation Low-latency remote display rendering using tile-based rendering systems
US20090080519A1 (en) * 2004-10-18 2009-03-26 Electronics And Telecommunications Research Institute Method for encoding/decoding video sequence based on mctf using adaptively-adjusted gop structure
KR100786132B1 (ko) * 2004-11-01 2007-12-21 한국전자통신연구원 적응적으로 세분화된 ｇｏｐ 구조를 이용한 계층적ｂ픽쳐-기반 동영상 부호화 및 복호화 방법
FR2886433B1 (fr) * 2005-05-30 2007-09-07 Commissariat Energie Atomique Methode de segmentation d'une sequence d'images tridimensionnelles, notamment en pharmaco-imagerie.
KR100736041B1 (ko) * 2005-06-30 2007-07-06 삼성전자주식회사 에러 은닉 방법 및 장치
US7912219B1 (en) * 2005-08-12 2011-03-22 The Directv Group, Inc. Just in time delivery of entitlement control message (ECMs) and other essential data elements for television programming
KR100667808B1 (ko) 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100727969B1 (ko) * 2005-08-27 2007-06-14 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100727970B1 (ko) * 2005-08-30 2007-06-13 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US9467659B2 (en) * 2005-09-27 2016-10-11 Qualcomm Incorporated Method and apparatus for progressive channel switching
KR100750137B1 (ko) 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
US8233535B2 (en) 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
EP2041984A4 (en) * 2006-07-17 2009-08-05 Thomson Licensing METHOD AND DEVICE FOR ADAPTING A DEFAULT CODING OF A DIGITAL VIDEO SIGNAL DURING A SCENE CHANGE PERIOD
CA2660278C (en) * 2006-08-17 2016-03-29 Telefonaktiebolaget L M Ericsson (Publ) Error recovery for rich media
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
EP1940179B1 (de) 2006-10-17 2013-08-28 Siemens Aktiengesellschaft Verfahren und Kodiervorrichtung zum Generieren eines kodierten Datenstroms sowie Extraktionsverfahren und Extraktionsvorrichtung zum Extrahieren zumindest eines Datenobjekts aus einem kodierten Datenstrom
JP4875008B2 (ja) * 2007-03-07 2012-02-15 パナソニック株式会社 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置
US8824567B2 (en) * 2007-04-04 2014-09-02 Ittiam Systems (P) Ltd. Method and device for tracking error propagation and refreshing a video stream
KR101379255B1 (ko) * 2007-04-06 2014-03-28 삼성전자주식회사 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
CN101321284B (zh) 2007-06-10 2012-01-04 华为技术有限公司 一种编解码方法、设备及系统
US9118927B2 (en) 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
JP4678015B2 (ja) * 2007-07-13 2011-04-27 富士通株式会社 動画像符号化装置及び動画像符号化方法
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
WO2009037726A1 (ja) 2007-09-18 2009-03-26 Fujitsu Limited 動画像符号化装置および動画像復号装置
US20100225778A1 (en) * 2007-11-22 2010-09-09 Satoshi Hosokawa Image capturing device, encoding method, and program
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
US8358700B2 (en) * 2008-06-03 2013-01-22 Omnivision Technologies, Inc. Video coding apparatus and method for supporting arbitrary-sized regions-of-interest
EP2136565A1 (en) * 2008-06-19 2009-12-23 Thomson Licensing Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame
US8320692B2 (en) * 2008-07-01 2012-11-27 France Telecom Image encoding method and device implementing an improved prediction, corresponding decoding method and device, signal and computer programs
US8649426B2 (en) * 2008-09-18 2014-02-11 Magor Communications Corporation Low latency high resolution video encoding
US20100128797A1 (en) * 2008-11-24 2010-05-27 Nvidia Corporation Encoding Of An Image Frame As Independent Regions
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
US8724707B2 (en) * 2009-05-07 2014-05-13 Qualcomm Incorporated Video decoding using temporally constrained spatial dependency
US9113169B2 (en) 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
US20110026596A1 (en) * 2009-07-28 2011-02-03 Wei Hong Method and System for Block-Based Motion Estimation for Motion-Compensated Frame Rate Conversion
EP2299717A1 (en) * 2009-09-10 2011-03-23 Thomson Licensing Method and apparatus for image encoding using Hold-MBs, and method and apparatus for image decoding using Hold-MBs
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
GB2481573A (en) * 2010-06-15 2012-01-04 Nds Ltd Splicng of encoded media content
US9060174B2 (en) * 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
US20120170648A1 (en) * 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
WO2012119855A1 (en) 2011-03-09 2012-09-13 Siemens Aktiengesellschaft A method for coding a sequence of digitized images
GB2488829A (en) * 2011-03-10 2012-09-12 Canon Kk Encoding and decoding image data
GB2488830B (en) 2011-03-10 2015-07-29 Canon Kk Method and device for encoding image data and method and device for decoding image data
ES2853673T3 (es) 2011-06-14 2021-09-17 Lg Electronics Inc Método para codificar y descodificar la información de imágenes
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
JP5760953B2 (ja) * 2011-10-31 2015-08-12 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、及び動画像符号化方法
US20130170559A1 (en) * 2011-12-28 2013-07-04 Rovi Technologies Corporation Systems and methods for region of interest video processing
US10536726B2 (en) * 2012-02-24 2020-01-14 Apple Inc. Pixel patch collection for prediction in video coding system
EP2645713A1 (en) * 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
CN102647593B (zh) * 2012-04-18 2014-04-16 北京大学 一种avs帧内模式决策方法和装置
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
JP5891975B2 (ja) 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
CN103796019B (zh) * 2012-11-05 2017-03-29 北京勤能通达科技有限公司 一种均衡码率编码方法
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
KR102116985B1 (ko) 2013-08-16 2020-05-29 삼성전자 주식회사 비디오 인코딩을 위한 인트라 리프레쉬 방법
US11425395B2 (en) 2013-08-20 2022-08-23 Google Llc Encoding and decoding using tiling
US9432624B2 (en) * 2014-01-03 2016-08-30 Clearone Communications Hong Kong Ltd. Method for improving an MCU's performance using common properties of the H.264 codec standard
US20150264358A1 (en) * 2014-03-11 2015-09-17 Kabushiki Kaisha Toshiba Video transmitter, video transceiver system and video transmission method
FR3029333A1 (fr) * 2014-11-27 2016-06-03 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
CN105872539B (zh) * 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
WO2016124154A1 (zh) * 2015-02-08 2016-08-11 同济大学 图像编码方法和装置及图像解码方法和装置
CN104883572B (zh) * 2015-05-21 2018-04-27 浙江宇视科技有限公司 一种基于h.264或h.265的前背景分离编码设备和方法
EP3185553A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Apparatus, system and method of video compression using smart coding tree unit scanning and corresponding computer program and medium
WO2017137444A1 (en) 2016-02-09 2017-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for picture/video data streams allowing efficient reducibility or efficient random access
US10499065B2 (en) 2016-07-21 2019-12-03 Samsung Display Co. Ltd. System and method for sending video data over a wireless channel
US10325166B2 (en) * 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
US20210227262A1 (en) * 2018-08-06 2021-07-22 Sharp Kabushiki Kaisha Video decoding apparatus and video coding apparatus
US10932336B2 (en) 2018-09-10 2021-02-23 Lumileds Llc High speed image refresh system
JP7248735B2 (ja) * 2018-09-10 2023-03-29 ルミレッズ ホールディング ベーフェー 高速画像リフレッシュシステム
MX2021009140A (es) * 2019-02-01 2021-10-13 Fraunhofer Ges Forschung Codec de video que permite el acceso aleatorio a subimágenes o regiones y concepto para la composición de video usando el mismo.
US11049290B2 (en) 2019-03-21 2021-06-29 Adobe Inc. Generation of a sequence of textures for video delivery
EP3942803A4 (en) * 2019-03-21 2022-12-21 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR VIDEO CODING AND DECODING
EP4011063A4 (en) * 2019-08-09 2022-11-02 Huawei Technologies Co., Ltd. EXTERNAL DECODING REFRESH TO VIDEO CODING
EP3997869A4 (en) * 2019-08-10 2022-10-26 Beijing Bytedance Network Technology Co., Ltd. SUBPICTURE DEPENDENT SIGNALING IN VIDEO STREAMS
BR112022005650A2 (pt) * 2019-09-24 2022-07-19 Fraunhofer Ges Forschung Codificador, decodificador e fluxo de dados para codificação gradual de atualização de decodificador e codificação escalável
EP4022917A4 (en) 2019-10-02 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX FOR SUBPICTURE SIGNALING IN A VIDEO BITSTREAM
WO2021073630A1 (en) 2019-10-18 2021-04-22 Beijing Bytedance Network Technology Co., Ltd. Syntax constraints in parameter set signaling of subpictures
CN117596392A (zh) * 2023-09-28 2024-02-23 书行科技(北京)有限公司 编码块的编码信息确定方法及相关产品

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778143A (en) * 1993-01-13 1998-07-07 Hitachi America, Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh
JP3086396B2 (ja) * 1995-03-10 2000-09-11 シャープ株式会社 画像符号化装置及び画像復号装置
US5568200A (en) * 1995-06-07 1996-10-22 Hitachi America, Ltd. Method and apparatus for improved video display of progressively refreshed coded video
KR100211916B1 (ko) * 1995-10-26 1999-08-02 김영환 물체 모양정보 부호화에서의 부호화타입과 모드의 결정방법
CN1165179C (zh) * 1996-05-17 2004-09-01 松下电器产业株式会社 图像解码装置
KR100215451B1 (ko) * 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
JP3570863B2 (ja) * 1997-08-05 2004-09-29 三菱電機株式会社 動画像復号化装置および動画像復号化方法
US6304295B1 (en) * 1998-09-18 2001-10-16 Sarnoff Corporation Region-based refresh strategy for video compression
US6987805B1 (en) * 1999-09-24 2006-01-17 Lsi Logic Corporation Macroblock level intrarefresh technique for encoded video
WO2001041065A2 (en) * 1999-11-29 2001-06-07 Koninklijke Philips Electronics N.V. Method for coding and decoding multimedia data
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
GB2366464A (en) * 2000-08-14 2002-03-06 Nokia Mobile Phones Ltd Video coding using intra and inter coding on the same data

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011074896A3 (ko) * 2009-12-16 2011-11-17 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
US10419752B2 (en) 2009-12-16 2019-09-17 Electronics And Telecommunications Research Institute Adaptive image encoding device and method
US10708580B2 (en) 2009-12-16 2020-07-07 Electronics And Telecommunications Research Institute Adaptive image encoding device and method
US10728541B2 (en) 2009-12-16 2020-07-28 Electronics And Telecommunications Research Institute Adaptive image encoding device and method
US11659159B2 (en) 2009-12-16 2023-05-23 Electronics And Telecommunications Research Institute Adaptive image encoding device and method
US11805243B2 (en) 2009-12-16 2023-10-31 Electronics And Telecommunications Research Institute Adaptive image encoding device and method
US11812012B2 (en) 2009-12-16 2023-11-07 Electronics And Telecommunications Research Institute Adaptive image encoding device and method
WO2011090352A3 (ko) * 2010-01-22 2011-12-01 삼성전자주식회사 영역 기반의 부호화/복호화 장치 및 방법
KR20140110950A (ko) * 2012-01-26 2014-09-17 니폰 덴신 덴와 가부시끼가이샤 동화상 부호화 방법, 장치 및 프로그램
US10051270B2 (en) 2012-01-26 2018-08-14 Nippon Telegraph And Telephone Corporation Video encoding method using at least two encoding methods, device and computer program

Also Published As

Publication number Publication date
US20040008766A1 (en) 2004-01-15
EP1500280B1 (en) 2013-05-22
FI114679B (fi) 2004-11-30
JP2006246524A (ja) 2006-09-14
KR100973518B1 (ko) 2010-08-03
KR100972403B1 (ko) 2010-07-27
FI20020810A (fi) 2003-10-30
AU2003229800A1 (en) 2003-11-17
CA2483293C (en) 2012-11-27
US7302001B2 (en) 2007-11-27
EP1500280A1 (en) 2005-01-26
CN1774934A (zh) 2006-05-17
CA2483293A1 (en) 2003-11-13
FI20020810A0 (fi) 2002-04-29
US7760802B2 (en) 2010-07-20
EP1672930A2 (en) 2006-06-21
JP4468800B2 (ja) 2010-05-26
KR20040106409A (ko) 2004-12-17
US20060115001A1 (en) 2006-06-01
US7826531B2 (en) 2010-11-02
CN100521793C (zh) 2009-07-29
JP2010136428A (ja) 2010-06-17
JP2006505153A (ja) 2006-02-09
CN1829329B (zh) 2013-03-20
CN1829329A (zh) 2006-09-06
EP1672930A3 (en) 2010-11-03
BR0309713A (pt) 2005-02-15
WO2003094530A1 (en) 2003-11-13
US20070110154A1 (en) 2007-05-17

Similar Documents

Publication Publication Date Title
KR100973518B1 (ko) 화상 내 영역 관련 정보 제공 방법
JP4485796B2 (ja) 画面がスライスに分割される前景および背景のビデオ符号化および復号
Wiegand et al. Overview of the H. 264/AVC video coding standard
US6611561B1 (en) Video coding
Hannuksela et al. Isolated regions in video coding
US20050123056A1 (en) Encoding and decoding of redundant pictures
KR20140120891A (ko) 효율적인 변환 유닛 인코딩을 위한 방법 및 장치
JP2005533444A (ja) 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法
WO2001047276A1 (en) A method for transmitting video images, a data transmission system, a transmitting video terminal, and a receiving video terminal
JP2001285876A (ja) 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
US20020136306A1 (en) Run-length coding of non-coded macroblocks
JP2004527981A (ja) 予測タイプの選択によるビデオデータブロックのイントラ符号化
Gomila et al. New features and applications of the H. 264 video coding standard
CA2542026C (en) Indicating regions within a picture
Gardos H. 263+: the new itu-t recommendation for video coding at low bit rates
JP5147546B2 (ja) 映像符号化装置及び映像復号化装置
CN101420598A (zh) 一种基于Symbian平台下的视频监控信息交互系统
EP0892559A1 (en) Padding of object border blocks for motion estimation and transform coding in an object-oriented video coder

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140703

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 9