KR102231969B1 - 증가된 수의 가능한 코딩 모드를 이용한 공간 예측 - Google Patents

증가된 수의 가능한 코딩 모드를 이용한 공간 예측 Download PDF

Info

Publication number
KR102231969B1
KR102231969B1 KR1020147037147A KR20147037147A KR102231969B1 KR 102231969 B1 KR102231969 B1 KR 102231969B1 KR 1020147037147 A KR1020147037147 A KR 1020147037147A KR 20147037147 A KR20147037147 A KR 20147037147A KR 102231969 B1 KR102231969 B1 KR 102231969B1
Authority
KR
South Korea
Prior art keywords
block
spatial prediction
prediction
mode
pixels
Prior art date
Application number
KR1020147037147A
Other languages
English (en)
Other versions
KR20150034144A (ko
Inventor
에두어드 프랑코이스
도미니크 토리우
제롬 비에론
파비앙 라카페
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20150034144A publication Critical patent/KR20150034144A/ko
Application granted granted Critical
Publication of KR102231969B1 publication Critical patent/KR102231969B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 현재 블록이라고 부르는 이미지의 픽셀의 블록의 공간 예측 방법에 관한 것으로서, 현재 블록의 이웃하는 픽셀에 기초한 복수의 공간 예측 모드를 이용하며, 상기 공간 예측 방법은 상기 공간 예측 모드의 각각의 모드에 따라 현재 블록의 예측 블록을 결정하기 위한 단계(E3) 및 미리 결정된 기준에 따라 상기 예측 블록 중 하나의 블록을 선택하기 위한 단계(E4)를 포함한다. 본 발명에 따르면, 선행하는 단계를 수행하기 이전에, 상기 공간 예측 모드 중에서, 이들 중 일부가 중복(redundant)인지의 여부가 검출(E1)된다. 이러한 중복 모드가 검출되는 경우, 이들 중 하나는 다른 공간 예측 모드와는 구별된 추가적인 모드로 대체(E2)된다.

Description

증가된 수의 가능한 코딩 모드를 이용한 공간 예측{SPATIAL PREDICTION WITH INCREASED NUMBER OF POSSIBLE MODES}
본 발명은 인트라 예측(intra prediction)을 이용한 코딩 및 디코딩의 영역에 관한 것이다. 본 발명은 보다 더 구체적으로 이미지의 픽셀의 블록의 공간 예측 방법, 공간 예측 및 대응하는 공간 예측 디바이스를 이용한 코딩 방법 및 디코딩 방법에 관한 것이다.
디지털 세계에서, 저장 또는 송신할 데이터의 양을 감소시키기 위한 압축 기술을 적용하는 것이 공지되어 있다. 이들 기술 중 하나는 예측 코딩이다. 소스에 가능한 한 근접하도록 계획된 예측이라고 부르는 이미지는 다양한 방법에 따라 생성되며, 원래의 이미지로부터 차감되어, 이에 따라 나머지 이미지를 형성한다. 이들 나머지 데이터는 인코딩되고, 그리고 나서 송신 및/또는 저장된다. 훨씬 덜 방대할(voluminous)수록, 이들 데이터는 다양한 공지된 디코딩 작동 이후에 이미지를 재생하기에 충분하다.
이러한 예측 이미지를 생성할 수 있는 기술 중에서, 또한 인트라 예측 또는 인트라 코딩이라고 부르는 공간 예측이 존재한다. 이러한 경우에, 코더는 이 이미지 내의 공지된 이웃에 그 자체적으로 기초함으로써 예측 이미지를 생성한다. 압축 성능은 이에 따라 이러한 예측의 품질에 직접적으로 연관된다. 예측 알고리즘이 보다 더 효율적일수록, 보다 더 적은 나머지 데이터가 존재할 것이며, 압축 레이트가 보다 더 양호할 것이다.
표준 H.264/AVC의 프레임워크(framework) 내에서, 공간 예측은 픽셀 영역에서 수행되며, 이는 동일한 이미지 슬라이스에서 이미 코딩된 주위의 픽셀의 결합(combination)을 이용함으로써 블록의 모든 픽셀을 예측하는 것에 관한 것이며, 픽셀의 현재 블록의 픽셀을 예측하기 위한 여러 예측 모드가 이용된다. 예를 들어, 휘도에 대해, 8개의 방향성(directional) 예측 모드 및 평균화된 모드(DC)는 차원 4x4 또는 8x8의 블록의 코딩을 위해 정의된다. 도 1은 차원 4x4의 블록을 위해 이용된 예측 모드를 도시한다. 이 도면에 도시된 예측 모드는 다음과 같다:
- 모드 0 또는 수직 모드: 예측할 블록의 위에 배열된 픽셀(A, B, C, D)의 값은 예측할 블록의 픽셀에 수직으로 전파되고,
- 모드 1 또는 수평 모드: 예측할 블록의 좌측에 배열된 픽셀(I, J, K, L)의 값은 예측할 블록의 픽셀에 수평으로 전파되고,
- 모드 2 또는 DC 모드: 예측할 블록의 좌측에 배열된 픽셀(A, B, C, D, I, J, K, L)의 평균 값은 예측할 블록의 모든 픽셀에 수평으로 전파되고,
- 모드 3 또는 대각선 하-좌측(down-left) 모드: 예측할 블록의 위에 배열된 픽셀(A, B, C, D, E, F, G, H)의 값 또는 이들 값의 결합은 예측할 블록의 하-좌측 코너를 지시하는 대각선에 따라 예측할 블록의 픽셀에 전파되고,
- 모드 4 또는 대각선 하-우측(down-right) 모드: 예측할 블록의 좌측 및 위에 배열된 픽셀(A, B, C, D, I, J, K, L, Q)의 값은 예측할 블록의 하-우측 코너를 지시하는 대각선에 따라 예측할 블록의 픽셀에 전파되고,
- 다른 5개의 모드 5 (수직 우측), 6 (수평 하측), 7 (수직 좌측), 및 8 (수평 상측)에서, 예측할 블록의 위 또는 좌측에 배열된 픽셀의 값 또는 이들 값의 결합은 각도가 수직과 비교하여 45° 보다 더 크거나 작은 방향에 따라 예측할 블록의 픽셀에 전파된다.
이들 예측 모드 각각에는 색인(index)이 부착되는데, 색인은 모드의 개수에 대응하며, 이 색인은 블록의 데이터와 동일한 방식으로 비트스트림에서 코딩된다.
이러한 예측 프로세스의 분석은 이것이 특히 낮은 비트레이트로 규칙적으로 발생한다는 것과, 두 개 이상의 인트라 예측 모드가 매우 유사한, 심지어 동일한 예측을 생성한다는 것을 보여주었다. 일부가 중복인 여러 가능한 예측 모드를 갖는 것은 코딩 효율에 있어서 손실을 생성한다는 사실이 존재하는데, 이는 이들이 예측 모드의 가능한 선택(choice)을 불필요하게 제한하기 때문이다.
본 발명은, 일부가 중복인 여러 가능한 예측 모드를 갖는 것이 코딩 효율에 있어서 손실을 생성한다는 종래 기술의 단점을 극복하여, 인트라 예측의 효율을 개선시키고, 이에 따라 이용된 예측 모드 중에서 중복 모드가 존재할 때에 이용 가능한 예측 모드의 범위를 확대함으로써 나머지 데이터의 코딩 비용을 감소시키는 것을 목적으로 한다.
본 발명은 인트라 예측의 효율을 개선시키고, 이에 따라 이용된 예측 모드 중에서 중복 모드가 존재할 때에 이용 가능한 예측 모드의 범위를 확대함으로써 나머지 데이터의 코딩 비용을 감소시키는 것을 목적으로 한다.
보다 더 구체적으로, 본 발명의 목적은 현재 블록이라고 부르는 이미지의 픽셀의 블록의 공간 예측 방법이며, 현재 블록의 이웃하는 픽셀에 기초한 복수의 공간 예측 모드를 이용하며,
a) 공간 예측 모드의 각각의 모드에 따라 현재 블록의 예측 블록을 결정하는 단계, 및
b) 미리 결정된 기준에 따라 예측 블록 중 하나의 블록을 선택하는 단계를 포함한다.
본 발명에 따르면, 예측 방법은 단계 a) 및 b) 이전에,
c) 현저하게 유사한 예측 블록을 생성하는 중복 공간 예측 모드를 검출하는 단계, 및
d) 중복 공간 예측 모드의 각각의 쌍에 대해, 다른 공간 예측 모드와는 구별된 추가적인 모드라고 부르는 공간 예측 모드를 생성하고, 추가적인 모드로 중복 공간 예측 모드의 하나를 대체하는, 생성 및 대체 단계를 더 포함한다.
따라서, 본 발명에 따르면, 불필요한 공간 예측 모드는 제거되며, 이들은 새로운 예측 가능성에 대응하는 추가적인 모드로 대체된다. 가능한 공간 예측의 범위는 이에 따라 예측의 효율을 개선시키도록 확장된다.
한 특정 실시예에 따르면, 중복 공간 예측 모드를 검출하는 단계는
- 각각의 공간 예측 모드에 대한 예측 블록을 결정하는 단계,
- 예측 블록의 각각의 쌍에 대해, 쌍의 모든 예측 블록 사이의 차이의 대표적 차이(representative difference)를 결정하기 위한 방식으로 결정된 예측 블록을 쌍으로(two by two) 비교하는 단계, 및
- 예측 블록의 쌍에 대해; 차이가 제1 미리 결정된 임계치(λ) 미만인 경우, 쌍의 두 개의 예측 블록에 대응하는 두 개의 공간 예측 모드가 중복으로 고려되는 단계를
포함한다.
당연하게도, 이 제1 임계치는 디코더가 이를 사용할 수 있도록 코딩된 이미지의 비트스트림으로 송신된다.
한 변형으로서, 중복 공간 예측 모드의 검출하는 단계는, 공간 예측 모드가 기초하는 이웃하는 픽셀의 휘도 및/또는 색차의 값으로부터만 수행된다.
이 실시예에서, 중복 공간 예측 모드를 검출하는 단계는
- 제1 공간 예측 모드가 기초하는 이웃하는 픽셀의 휘도 또는 색차 값의 제1 평균 값이라고 부르는 평균 값을 계산하는 단계,
- 제2 공간 예측 모드가 기초하는 이웃하는 픽셀의 휘도 또는 색차 값의 제2 평균 값이라고 부르는 평균 값을 계산하는 단계,
- 제1 평균 값과 제2 평균 값 사이의 차이의 절대 값을 계산하는 단계, 및
- 차이의 절대 값이 제2 미리 결정된 임계치(T2) 미만인 경우, 제1 및 제2 공간 예측 모드는 중복 공간 예측 모드인 단계를
포함한다.
유리하게도, 제1 또는 제2 평균 값을 계산하는 단계 이전에, 중복 공간 예측 모드를 검출하는 단계는
- 제1 또는 제2 공간 예측 모드가 기초하는 이웃하는 픽셀의 휘도 또는 색차 값의 최대 차이를 계산하는 단계, 및
- 최대 차이가 제3 미리 결정된 임계치(T1) 이상인 경우, 제1 또는 제2 공간 예측 모드는 중복 공간 예측 모드인 단계를
포함한다.
이들 제2 및 제3 임계치(T2, T1)는 또한 디코더가 이것을 이용할 수 있도록 코딩된 이미지의 비트스트림으로 송신된다.
주어진 공간 예측 모드로 대신하게 되는 추가적인 모드는 전환 표(conversion table) 내의 모든 것에 대해 한번 정의되고 고유(unique)할 수 있거나, 또는 적응적일 수 있다.
이러한 두 번째 경우에, 주어진 공간 예측 모드를 대체하는 추가적인 모드는:
- 대체할 공간 예측 모드가 기초하는 이웃하는 픽셀의 구역을, 대체할 공간 예측 모드의 예측 방향의 반대 방향으로 1픽셀만큼 확대하는 단계로서, 공간 예측 모드의 예측 방향은, 추가적인 모드가 기초하는 이웃하는 픽셀의 새로운 세트를 획득하기 위한 방식으로, 대체할 공간 예측 모드가 기초하는 이웃하는 픽셀의 휘도 또는 색차 값이 예측 블록에서 전파되는 방향을 지정하는, 1픽셀만큼 확대하는 단계,
- 추가적인 모드 및 공간 예측 모드가 중복이 아닌지를 체크하는 단계, 및
- 추가적인 모드 및 공간 예측 모드가 중복인 경우, 추가적인 모드 및 공간 예측 모드가 중복이 아닐 때까지 확대 단계를 다시 시작하는 단계를
수행함으로써 생성된다.
바람직하게도, 확대 단계는 기껏해야 미리 결정된 횟수로만 반복된다.
이 실시예에서, 추가적인 모드에 따라 예측 블록의 픽셀(p)의 값을 계산하는 단계는
- 추가적인 모드의 이웃하는 픽셀의 세트의 픽셀 중에서, 픽셀(p)을 지시하는 벡터를 따라 존재하며 추가적인 모드의 예측 방향에 평행한 이웃하는 픽셀을 식별하는 단계, 및
- 식별된 이웃하는 픽셀의 값으로부터 예측 블록의 픽셀(p)의 값을 계산하는 단계에
의해 수행된다.
픽셀(p)의 값은 식별된 이웃하는 픽셀의 값의 보간 함수(interpolation function)에 의해 계산된다. 이 보간 함수는, 예를 들어
- 식별된 이웃하는 픽셀의 휘도 값의 중간값(median), 및
- 식별된 이웃하는 픽셀의 휘도 값의 평균
이다.
본 발명은 또한 현재 블록이라고 부르는 이미지의 픽셀의 블록을 코딩하기 위한 방법에 관한 것으로서,
- 현재 블록의 예측 블록을 결정하는 단계,
- 현재 블록 및 예측 블록으로부터 나머지 블록을 결정하는 단계,
- 양자화 단계에 따라 나머지 블록을 변환 및 양자화하는 단계, 및
- 양자화된 나머지 블록을 엔트로피 코딩하는 단계를
포함한다.
본 발명에 따르면, 현재 블록의 예측 블록은 앞서 정의된 예측 방법에 따라 결정된다.
본 발명에 따르면, 제1 미리 결정된 임계치, 이용된 공간 예측 모드의 색인, 또는 제2 및 제3 미리 결정된 임계치는 현재 블록을 포함하는 데이터 스트림에서 코딩된다.
한 특정 실시예에 따르면, 제2 및 제3 미리 결정된 임계치는 양자화 단계에 의존한다.
본 발명은 또한 이미지의 현재 블록이라고 부르는 픽셀의 블록에 대응하는 코딩된 나머지 블록을 디코딩하기 위한 방법에 관한 것으로서,
- 나머지 블록을 엔트로피 디코딩하는 단계,
- 디코딩된 나머지 블록을 역 양자화 및 역 변환하는 단계,
- 현재 블록의 예측 블록을 결정하는 단계, 및
- 디코딩된 나머지 블록 및 예측 블록으로부터 현재 블록을 결정하는 단계를
포함한다.
본 발명에 따르면, 현재 블록의 예측 블록은 앞서 정의된 예측 방법에 따라 결정된다.
최종적으로, 본 발명은 현재 블록이라고 부르는 이미지의 픽셀의 블록의 공간 예측 디바이스에 관한 것으로서, 현재 블록의 이웃하는 픽셀에 기초한 복수의 공간 예측 모드를 이용하며, 공간 예측 디바이스는 공간 예측 모드의 각각의 모드에 따라 현재 블록의 예측 블록을 결정하고, 미리 결정된 기준에 따라 예측 블록 중 하나의 블록을 선택하기 위한, 결정 및 선택 모듈을 포함한다.
본 발명에 따르면, 공간 예측 디바이스는, 결정 모듈의 상류(upstream)에,
- 현저하게 유사한 예측 블록을 생성하는 중복 공간 예측 모드를 검출하기 위한 모듈, 및
- 중복 공간 예측 모드의 각각의 쌍에 대해, 다른 공간 예측 모드와 구별된 추가적인 모드라고 부르는 공간 예측 모드를 생성할 수 있고, 추가적인 모드로 중복 공간 예측 모드 중 하나의 모드를 대체할 수 있는 모듈을
포함한다.
다른 장점은 예시의 목적을 위해 제공된 첨부 도면에 의해 도시되는 아래의 예시를 읽을 때에 당업자에게 더 나타날 수 있다.
본 발명을 통해, 일부가 중복인 여러 가능한 예측 모드를 갖는 것이 코딩 효율에 있어서 손실을 생성한다는 종래 기술의 단점을 극복하여, 인트라 예측의 효율을 개선시키고, 이에 따라 이용된 예측 모드 중에서 중복 모드가 존재할 때에 이용 가능한 예측 모드의 범위를 확대함으로써 나머지 데이터의 코딩 비용을 감소시킬 수 있다.
도 1은 이미 설명된 바와 같이, 표준 AVC/H264으로 픽셀 4x4의 블록에 대해 정의된 9개의 공간 예측 모드를 개략적으로 도시하는 도면.
도 2는 본 발명에 따라 공간 예측 방법의 흐름도를 도시하는 도면.
도 3은 도 1의 코딩 모드가 기초하는 픽셀의 현재 블록의 이웃하는 픽셀을 식별하는 도면.
도 4는 한 특정 실시예에 따라 중복 코딩 모드를 결정하도록 이용된 단계를 도시하는 흐름도.
도 5는 도 1의 코딩 모드를 대체하도록 의도된 가능한 추가적인 모드를 개략적으로 도시하는 도면.
도 6은 본 발명의 방법을 구현하는 코더의 스키마(schema).
도 7은 도 2의 공간 예측 방법을 이용한 코딩 방법의 단계를 도시하는 흐름도.
도 8은 도 2의 공간 예측 방법을 이용한 디코딩 방법의 단계를 도시하는 흐름도.
도 9는 본 발명의 방법을 구현하는 디코더의 스키마.
본 발명에 따르면, 이후부터는 기초적 예측 모드로서 지칭되는 모든 표준 공간 예측 모드에 추가하여, 한 기초적 예측 모드가 또 다른 기초적 예측 모드와 중복될 때, 한 기초적 예측 모드로 대신하게 되도록 의도된, 이후부터는 추가적인 모드로서 지칭되는 예측 모드의 제2 세트를 정의하는 것이 제안되었다. 기초적 예측 모드는, 예를 들어 표준 AVC/H264의 프레임워크 내에 속하는 도 1의 예측 모드이다.
본 개시사항의 나머지에서, AVC/H264 코딩의 컨텍스트는 예시적인 목적을 위해 이용될 것이다. 하지만, 본 발명은, 예를 들어 드레스덴(Dresden) 내의 JCT-VC 그룹{비디오 코딩에 대한 연합 협력 팀(Joint Collaborative Team on Video Coding)에 대한 약어}의 회의 동안 2010년 4월에 공개된 문서 JCTVC-A124에 제안된 스키마와 같은 다른 코딩 스키마로 일반화될 수 있다.
도 2는 본 발명에 따라 공간 예측 방법의 단계를 개략적으로 도시한다.
이 도면을 참조하여, 본 방법은
- 기초적 예측 모드 중에서, 현재 블록에 대한 현저하게 유사한 예측 블록을 생성하는 중복 예측 모드를 검출하는 것으로 이루어지는 단계(E1),
- 검출된 중복 기초적 예측 모드의 각각의 쌍에 대해, 모든 기초적 예측 모드와 분리된 추가적인 모드를 생성하고, 현재 블록에 대한 예측 모드의 새로운 세트를 획득하기 위한 방식으로, 이들 중복 모드 중 하나의 모드를 상기 추가적인 모드로 대체하기 위한, 생성 및 대체 단계(E2),
- 새로운 세트의 예측 모드의 각각의 모드에 따라 현재 블록의 예측 블록을 결정하기 위한 단계(E3), 및
- 미리 결정된 기준에 따라, 이전 단계에서 계산된 예측 블록 중 하나의 블록을 선택하기 위한 단계(E4)를
포함한다.
현재 블록의 예측 블록에 대한 이러한 선택 기준은, 예를 들어 왜곡-비트-레이트(distortion-bit-rate) 기준 또는 왜곡 기준이며, 이러한 유형의 기준은 당업자에 의해 공지되어 있다.
중복 예측 모드의 검출은 유사한 예측 블록에서 종료하는 공간 예측 모드를 식별하는 것으로 이루어진다. 예측 모드는 쌍으로(two-by-two) 비교되고, 상호 유사한 것으로서 검출되는 모드는 중복인 것으로 고려된다. 중복 모드의 쌍에서, 이들 모드 중 하나의 모드만이 보존되며, 다른 모드는 추가적인 모드로 대체된다.
추가적인 모드가, 대체해야 하는 모드와 중복인 것으로 입증되는 경우, 다른 가능한 추가적인 모드가 존재하는 한, 또는 테스트된 추가적인 모드의 미리 결정된 수에 도달되지 않은 한, 새로운 추가적인 모드가 테스트된다.
중복 예측 모드를 검출하기 위한 제1 해법은 기초적 예측 모드 각각에 의해 획득되는 예측 블록을 서로 비교하는 것으로 이루어진다. pi(x, y)는 색인(i)의 예측 모드에 따라 생성된 예측 블록의 좌표(x, y)의 픽셀의 값임이 주목되며, B는 예측할 픽셀의 블록(현재 블록)임이 주목된다.
색인(i 및 j)의 두 개의 예측 모드는, 두 개의 예측 모드에 따라 생성된 예측 블록이 픽셀마다(pixel to pixel) 유사한 경우, 중복인 것으로 고려된다. 한 특정 실시예에 따르면, 이들 두 개의 예측 블록 사이의 최대 차이(emax)가 평가되고, 이 차이는 미리 결정된 임계치(λ)와 비교된다.
이에 따라, 다음
Figure 112014128545284-pct00001
이 계산된다.
그리고 나서, 다음의 테스트가 수행된다:
- emax < λ인 경우, 색인(i 및 j)의 모드는 중복이며,
- 그렇지 않은 경우, 색인(i 및 j)의 모드는 중복이 아니다.
임계치(λ)는 비트스트림으로, 예를 들어 슬라이스 또는 코딩된 이미지의 헤더로 송신될 수 있다. 이 임계치는 또한 표준 AVC/H.264의 경우에 슬라이스, 이미지, 또는 매크로블록 단위로 송신되는 양자화 파라미터의 함수일 수 있다. 한 실시예의 변형에 따르면, emax는
Figure 112014128545284-pct00002
로 대체되며, 여기서 N은 블록(B) 내의 픽셀의 개수이다. 이 제1 해법은 예측 모드에 의해 획득된 예측 블록의 비교에 기초한다.
계산에 있어서 덜 비싼 또 다른 해법은 테스트할 두 개의 예측 모드에 대해, 이용하는 이미 재구성된 (또는 이미 코딩된) 이웃하는 픽셀 {또는 경계를 이루는 픽셀(bounding pixel)}을 비교하는 것으로 이루어진다. 예를 들어, 표준 AVC/H.264의 경우에, 도 3은 사이즈 4x4의 블록에 대해 정의된 예측 모드 각각에 대한 예측 블록을 정의하도록 이용된 (어두운 회색의) 이웃하는 픽셀을 도시한다. 이 도면에서, 예측할 현재 블록은 밝은 회색으로 나타난다.
이러한 다른 해법에서, 중복 모드의 검출은 공간 예측 모드가 기초하는 (어두운 회색의) 이웃하는 픽셀의 휘도 및/또는 색차의 값으로부터만 수행된다. 이러한 해법에 따르면, 두 개의 모드는, 이들 두 개의 모드에 의해 이용된 이웃하는 픽셀이 휘도 및 아마도 색차에 있어서 유사한 경우, 중복인 것으로 고려된다.
나머지에 있어서, Y(x, y)는 좌표(x, y)의 픽셀의 휘도임이 주목된다. 본 명세서에서는 휘도 신호를 이용하지만, 당연하게도 다음의 알고리즘은 색차 신호를 포함함으로써 확장될 수 있다는 것이 타당하다. Si는 색인(i)의 예측 모드에 의해 이용된 이웃하는 픽셀의 세트이고, Sj는 색인(j)의 예측 모드에 의해 이용된 이웃하는 픽셀의 세트임이 주목된다. 도 4에 의해 도시된 다음의 알고리즘은 모드(i 및 j)가 중복인지를 검출하기 위해 제안되었다.
- 모드(i)의 이웃하는 픽셀의 휘도 값의 최대 차이(δi)는 다음과 같이 계산된다:
Figure 112014128545284-pct00003
- 최대 차이(δi)가 미리 결정된 임계치(T1) 보다 더 큰 경우, 모드(i)는 중복 공간 예측 모드로부터 거리가 생기며(distanced), 비교할 또 다른 모드로의 전이가 존재하고,
- 그리고 나서, 모드(j)의 이웃하는 픽셀의 휘도 값의 최대 차이(δj)는 다음과 같이 계산된다:
Figure 112014128545284-pct00004
- 최대 차이(δj)가 임계치(T1) 보다 더 큰 경우, 모드(j)는 중복 공간 예측 모드로부터 제거되며,
- 모드(i)의 이웃하는 픽셀의 휘도 값의 평균 값(μi)을 계산하고, 그리고 나서 모드(j)의 이웃하는 픽셀의 휘도 값의 평균 값(μj)을 계산하고,
- 최종적으로, 값(|μi - μj|)이 계산되고; 값(|μi - μj|)이 미리 결정된 임계치(T2) 이상인 경우, 모드(i 및 j)는 비-중복인 것으로 고려되고; 그렇지 않은 경우, 모드(i 및 j)는 중복인 것으로 고려된다.
임계치(T1 및 T2)는, 예를 들어 값으로 2 및 1을 갖고, 코딩된 이미지의 비트스트림으로, 예를 들어 코딩된 이미지의 헤더로 송신되어, 디코더는 이것을 이용할 수 있다.
보다 더 발전된 한 변형에서, 임계치(T1 및 T2)는 QP라고 주목된 양자화 단계의 함수일 수 있으며, 예를 들어 다음과 동일하다:
-
Figure 112014128545284-pct00005
및
Figure 112014128545284-pct00006
이 변형에서, T1 및 T2의 결정 규칙 또는 규칙들은 당연하게도 코더 및 디코더에서 동일하다. 따라서, 이러한 경우에, 임계치 값(T1 및 T2)은 이에 따라 전송되지 않는데, 이는 양자화 단계(QP)가 어느 경우든지 항상 전송되는 것은 아니기 때문이다.
기초적 예측 모드로 대신하게 되는 추가적인 모드는, 예를 들어 전환 표 내의 모든 것에 대해 한번 정의되고 고유할 수 있다. 이 표에서, 추가적인 모드는 각각의 기초적 예측 모드와 연관되는데, 이 추가적인 모드는 상기 기초적 예측 모드가 중복인 것으로 선언되는 경우에 이 기초적 예측 모드를 대체하도록 의도된다.
유리하게도, 기초적 예측 모드를 대체하도록 의도된 추가적인 모드는 설정(set)되지 않으며, 고려된 기초적 예측 모드의 이웃하는 픽셀의 컨텐츠에 따라 변경된다. 실제로, 기초적 예측 모드를 대체하도록 정의된 추가적인 모드는 기초적 예측 모드와 중복되어서는 안된다.
유리한 한 실시예에 따르면, 기초적 예측 모드(MB)로 대신하게 되는 추가적인 모드(MC)는:
- 모드(MC)가 기초하는 이웃하는 픽셀의 세트를 획득하기 위한 것과 같이, 모드(MB)가 기초하는 이웃하는 픽셀의 구역을, 모드(MB)의 예측 방향과 반대 방향으로 1 픽셀의 깊이만큼 확대하는 단계로서; 예를 들어, 표준 AVC/H.264의 모드(0)의 경우에, 픽셀의 구역은 예측할 블록의 배치된 픽셀(A, B, C 및 D) 뿐만 아니라, 픽셀(A, B, C 및 D)의 위에 배치된 픽셀(A', B', C' 및 D')을 포함하고, 모드(1)에 관련하여, 픽셀의 구역은 예측할 블록의 배치된 픽셀(I, J, K 및 L) 뿐만 아니라, 픽셀(I, J, K 및 L)의 좌측에 배치된 픽셀(I', J', K' 및 L')을 포함하는,..., 확대 단계,
- 이에 따라, 확대된 이웃하는 픽셀 구역으로 정의된 추가적인 모드 및 기초적 예측 모드가 중복인지의 여부에 대한 체크가 이루어지는 단계, 및
- 이들이 중복인 경우, 이들이 더 이상 중복이 아닐 때까지, 또는 최대 확대에 도달할 때까지, 확대 단계가 반복되며; 확대 단계는 기껏해야 최대 확대를 가져다 주는 미리 결정된 횟수로만 반복되는, 단계를 수행함으로써 생성된다.
도 5는 사이즈 4x4의 블록에 대해 표준 AVC/H264의 모드(1 및 3 내지 9)에 대한 추가적인 모드의 생성을 위한 이웃하는 픽셀의 구역의 확대 메커니즘을 도시한다. 이 도면에서, 메커니즘은 예측 방향과 반대 방향으로 5 픽셀로 제한된다. 어떤 대체 모드도 모드(2) (DC)를 위해 제안되지 않았으며, 이는 정의상 비-방향성 모드이기 때문이다. 이는 널리 이용된 모드이다. 이는, 이에 따라 그것을 대체하도록 계획되지 않았다.
이들 새로운 예측 모드의 이용은 예측 블록의 계산을 수정한다. 이러한 계산에 대해, 주어진 깊이(N)를 갖는 이웃하는 픽셀의 구역이 고려된다.
추가적인 모드에 따라 예측 블록의 픽셀{p(0, 0)} 값의 계산은, 이에 따라 다음과 같이 구현된다:
- 추가적인 모드에 의해 이용된 이웃하는 픽셀의 세트의 픽셀 중에서, 픽셀{p(0, 0)}을 지시하는 벡터를 따라 존재하며 추가적인 모드의 예측 방향과 평행한 이웃하는 픽셀이 식별되는데; 예를 들어, 도 5의 모드(0)의 경우에, 이는 픽셀(A, A', A", A"' 및 A"")을 수반하고, 모드(1)의 경우에, 이는 픽셀(I, I', I", I"' 및 I"")을 수반하고,
- 예측 블록의 픽셀(p)의 값은, 이에 따라 식별된 이웃하는 픽셀의 값으로부터 계산된다.
픽셀{p(0, 0)}의 값은 식별된 이웃하는 픽셀의 값의 보간 함수에 의해 계산된다. 다음이 예를 들어 계산된다:
- 식별된 이웃하는 픽셀의 휘도 값의 중간값, 또는
- 식별된 이웃하는 픽셀의 휘도 값의 평균, 또는
- 벡터를 따라 식별된 이웃하는 픽셀의 휘도 값으로부터 최소 자승법(the least square method)에 의해 계산된 a, b 및 c를 이용한 유형의 선형 함수 f(x, y) =a + b.x +c.y; 예를 들어, 주어진 방향의 벡터를 따라, 이러한 휘도(또는 색차)의 휘도 레벨(또는 색차)에 대한 변경이 유형 y = ax + b인 반면에, 픽셀{p(0, 0)}의 값이 위치(0, 0)에서 모델링 y = ax + b로부터 유래되는 것(the one)을 값으로 취득할 경우.
이들 작동 [픽셀{p(x, y)}을 지시하는 벡터를 따라 배치된 이웃하는 픽셀의 식별]은 반복되며, 이에 따라 픽셀{p(x, y)}의 휘도 값은, 도 5에서 도시된 것과 같은 추가적인 모드가 이용될 때, 예측 블록의 다른 픽셀{p(x, y)}의 휘도 값의 계산을 위해 계산된다.
이러한 공간 예측 프로세스는, 예를 들어 도 6에 의해 도시된 바와 같은 코더에서 구현된다. 참조 부호가 1인 이 코더는 중복 예측 모드를 검출하기 위한 모듈(10), 앞서 정의된 바와 같이 추가적인 모드를 생성하고 상기 추가적인 모드로 중복 모드의 각각의 쌍의 중복 모드 중 하나를 대체할 수 있는 모듈(11), 이용 가능한 공간 예측 모드 각각에 대한 예측 블록을 결정하고 비트-레이트-왜곡 최적화 기준에 따라 예측 블록 중 하나를 선택하기 위한 모듈(12), 예측 블록 및 현재 블록으로부터 나머지 블록을 생성하기 위한 차동 모듈(differential module)(13), 양자화된 나머지 블록을 생성하도록 변환 및/또는 양자화를 위한 모듈(14), 및 송신할 데이터 스트림에 삽입할 코딩된 현재 블록을 생성하기 위한 엔트로피 코딩 모듈(15)을 포함한다.
엔트로피 코딩을 위해, 코더는 일반적으로 나머지 블록이 코딩될 비트의 개수를 정의하도록 이용된 예측 모드에 대한 통계치(statistics)를 생성한다. 이에 따라, 코더는 기초적 모드 및 추가적인 모드에 대한 통계치를 생성할 수 있어야 한다. 엔트로피 코더는 이용된 모드의 색인을 이미지의 비트스트림에서 코딩하는데, 색인의 최대 개수는 일반적으로 기초적 모드의 개수에 대응한다. 동일한 색인(i)은 기초적 모드, 또는 이를 대체하는 추가적인 모드를 지정하도록 이용된다.
도 6의 코더에 의해 구현된 단계는 도 7에서 요약된다:
- 도 2의 단계(E1 내지 E4)는 현재 블록에 대한 예측 블록을 생성하도록 재생되고,
- 단계(E5)에서, 현재 블록 및 예측 블록으로부터 나머지 블록이 결정되고,
- 생성된 나머지 블록은 단계(E5)에서 양자화되고나서 변환되며,
- 최종적으로, 양자화된 나머지 블록은 단계(E7)에서 엔트로피 코더에 의해 코딩된다.
이러한 공간 예측 프로세스는, 예를 들어 도 9에 의해 도시된 디코더에서 구현된다. 참조 부호가 2인 이 디코더는 중복 예측 모드를 검출하기 위한 모듈(20), 앞서 정의된 바와 같이 추가적인 모드를 생성하고 상기 추가적인 모드로 중복 모드의 각각의 쌍의 중복 모드 중 하나를 대체할 수 있는 모듈(21), 현재 블록에 대한 예측 모드 색인으로부터 예측 블록을 결정할 수 있는 예측 모듈(22), 현재 블록에 대한 예측 모드 색인 및 디코딩할 현재 블록에 대응하는 나머지 블록을 생성할 수 있는 엔트로피 코딩 모듈(23), 디코딩된 나머지 블록의 역 변환 및/또는 역 양자화를 위한 모듈(24), 및 예측 모듈(22) 및 디코딩된 현재 블록을 생성하기 위한 모듈(24)로부터의 픽셀 블록을 추가하기 위한 모듈(25)을 포함한다.
수신을 위해, 디코더는, 비트스트림을 수신할 때, 특히 이용된 예측 모드의 색인(i)을 수신한다. 디코더가 동일한 중복 모드 검출 작동, 및 필요한 경우, 디코더와 동일한 기초적 모드의 대체 작동을 수행할 때, 이는 색인이 기초적 모드 또는 추가적인 모드를 지정하는지를 알 수 있을 것이다.
디코더는 또한, 코딩된 나머지 블록에 추가하여, 임계치(λ) 또는 임계치(T1 및 T2)를 수신한다. 그리고 나서, 디코더는 도 8의 단계를 수행한다:
- 단계(E'1): 현재 블록에 대응하는 상기 나머지 블록, 및 현재 블록에 대한 예측 모드를 지정하는 색인의 엔트로피 디코딩 단계,
- 단계(E'2): 디코딩된 나머지 블록의 역 양자화 및/또는 역 변환{DCT 이산 코사인 변환(Discrete Cosine Transform)} 단계,
- 도 2의 단계(E1 내지 E2)에 대응하는 단계(E'3 내지 E'4): 중복 모드의 검출 단계 및 추가적인 모드에 의한 중복 모드의 대체 단계,
- 단계(E'5): 단계(E'1)에서의 디코딩된 모드 색인으로부터 예측 블록의 결정 단계, 및
- 단계(E'6): 변환된 나머지 블록 및 예측 블록으로부터 현재 블록의 결정 단계.
본 발명에 따른 코더(1) 및 디코더(2)는, 예를 들어 하나 이상의 마이크로프로세서 또는 CPU, 랜덤 액세스 메모리 또는 RAM, 비-휘발성 ROM 유형의 메모리, 및 어드레스 및 데이터 버스에 의해 링크되는 하나 이상의 입력/출력 인터페이스(들)와 같은 하드웨어 구성요소를 갖는 컴퓨터 플랫폼에서 구현된다. 플랫폼은 또한 인간-기계 인터페이스를 포함할 수 있다. 플랫폼은 일반적으로 운영 체제 및 마이크로코드를 포함한다. 하나의 구현 실시예에 따르면, 본 발명에 특정된 방법에 대한 단계를 구현하는 알고리즘은 ROM 메모리 내에 저장된다. 전원이 인가되었을 때, 마이크로프로세서는 이들 알고리즘의 명령어를 로딩 및 실행한다.
변형에 따르면, 본 발명과 호환될 수 있는 코더 및 디코더는 순수하게 하드웨어 실현물(hardware realisation)에 따라, 예를 들어 전용의 구성요소의 형태로 [예를 들어, ASIC{주문형 집적 회로(Application Specific Integrated Circuit)} 또는 FPGA{필드-프로그래밍 가능한 게이트 어레이(Field-Programmable Gate Array)} 또는 VLSI{초고밀도 집적 회로(Very Large Scale Integration)}으로], 또는 하나의 디바이스에 집적된 여러 전자 구성요소의 형태로, 또는 심지어 하드웨어 요소와 소프트웨어 요소의 혼합의 형태로 구현된다.
비록 본 발명이 상이한 특정 실시예와 관련하여 설명되었을지라도, 본 발명이 어떤 방법으로도 제한되지 않는다는 것과, 본 발명의 범주 내에 속하는 경우, 이들의 결합과 함께 설명된 수단의 모든 기술적 등가물을 포함한다는 것이 명백하다.
본 상세한 설명에서, 비트-레이트-왜곡 최적화 기준은 현재 블록에 대해 이용할 예측 블록을 선택하도록 이용된다. 당연하게도, 다른 기준, 예를 들어 비트레이트 최적화 기준 또는 왜곡 최적화 기준이 이용될 수 있다.
1: 코더 2: 디코더
10: 중복 예측 모드를 검출하기 위한 모듈
11: 중복 모드의 각각의 쌍의 중복 모드 중 하나를 대체할 수 있는 모듈
12: 예측 블록 중 하나를 선택하기 위한 모듈
13: 차동 모듈
14: 변환 및/또는 양자화를 위한 모듈
15: 엔트로피 코딩 모듈

Claims (19)

  1. 현재 블록의 이웃하는 픽셀에 기초한 복수의 공간 예측 모드를 이용한, 이미지의 픽셀의 현재 블록의 공간 예측 방법으로서,
    a) 상기 공간 예측 모드의 각각의 모드에 따라 현재 블록의 예측 블록을 결정하는 단계(E3), 및
    b) 상기 예측 블록 중 하나의 블록을 선택하는 단계(E4)를
    포함하는, 이미지의 픽셀의 현재 블록의 공간 예측 방법에 있어서,
    단계 a) 및 b) 이전에,
    c) 유사한 예측 블록을 생성하는 중복(redundant) 공간 예측 모드를 검출하는 단계, 및
    d) 중복 공간 예측 모드의 각각의 쌍에 대해, 상기 복수의 공간 예측 모드의 공간 예측 모드와는 구별된 추가적인 공간 예측 모드를 생성하고, 추가적인 모드에 의해 중복 공간 예측 모드의 하나를 대체하는, 생성 및 대체 단계(E2)를
    더 포함하는 것을 특징으로 하는, 이미지의 픽셀의 현재 블록의 공간 예측 방법.
  2. 제1항에 있어서, 중복 공간 예측 모드를 검출하는 단계는
    - 각각의 공간 예측 모드에 대한 예측 블록을 결정하는 단계,
    - 예측 블록의 각각의 쌍에 대해, 쌍의 모든 예측 블록 사이의 차이를 나타내는 값(emax)을 결정하기 위한 방식으로 결정된 예측 블록을 쌍으로(two by two) 비교하는 단계, 및
    - 예측 블록의 쌍에 대해, 값이 제1 미리 결정된 임계치(λ) 미만인 경우, 쌍의 두 개의 예측 블록에 대응하는 두 개의 공간 예측 모드가 중복으로 고려되는 단계를
    포함하는, 이미지의 픽셀의 현재 블록의 공간 예측 방법.
  3. 제1항에 있어서, 중복 공간 예측 모드를 검출하는 단계는, 상기 공간 예측 모드가 기초하는 이웃하는 픽셀의 휘도 및/또는 색차의 값으로부터 수행되는, 이미지의 픽셀의 현재 블록의 공간 예측 방법.
  4. 제3항에 있어서, 중복 공간 예측 모드를 검출하는 단계는
    - 제1 공간 예측 모드가 기초하는 이웃하는 픽셀의 휘도 또는 색차 값의 제1 평균 값(μi)이라고 부르는 평균 값을 계산하는 단계,
    - 제2 공간 예측 모드가 기초하는 이웃하는 픽셀의 휘도 또는 색차 값의 제2 평균 값(μj)이라고 부르는 평균 값을 계산하는 단계,
    - 제1 평균 값과 제2 평균 값 사이의 차이의 절대 값을 계산하는 단계, 및
    - 차이의 절대 값이 제2 미리 결정된 임계치(T2) 미만인 경우, 상기 제1 및 제2 공간 예측 모드는 중복 공간 예측 모드인 단계를
    포함하는, 이미지의 픽셀의 현재 블록의 공간 예측 방법.
  5. 제4항에 있어서, 제1 또는 제2 평균 값을 계산하는 단계 이전에, 중복 공간 예측 모드를 검출하는 단계는
    - 제1 또는 제2 공간 예측 모드가 기초하는 이웃하는 픽셀의 휘도 또는 색차 값의 최대 차이(δi, δj)를 계산하는 단계, 및
    - 상기 최대 차이가 제3 미리 결정된 임계치(T1) 이상인 경우, 상기 제1 또는 제2 공간 예측 모드가 중복 공간 예측 모드로부터 제거되는 단계를
    포함하는, 이미지의 픽셀의 현재 블록의 공간 예측 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 주어진 공간 예측 모드를 대체하는 추가적인 모드는
    - 추가적인 모드가 기초하는 이웃하는 픽셀의 세트를 획득하기 위한 방식으로, 대체할 상기 공간 예측 모드가 기초하는 이웃하는 픽셀의 구역을, 대체할 공간 예측 모드의 예측 방향의 반대 방향으로 1픽셀만큼 확대하는 단계,
    - 상기 추가적인 모드 및 상기 공간 예측 모드가 중복이 아닌지를 체크하는 단계, 및
    - 상기 추가적인 모드 및 상기 공간 예측 모드가 중복인 경우, 상기 추가적인 모드 및 상기 공간 예측 모드가 중복이 아닐 때까지 확대 단계를 다시 시작하는 단계를
    수행함으로써 획득되는, 이미지의 픽셀의 현재 블록의 공간 예측 방법.
  7. 제6항에 있어서, 확대 단계는 기껏해야 미리 결정된 횟수로만 반복되는, 이미지의 픽셀의 현재 블록의 공간 예측 방법.
  8. 제6항에 있어서,
    추가적인 모드에 따라 예측 블록의 픽셀(p)의 값을 계산하는 단계를 더 포함하고,
    추가적인 모드에 따라 예측 블록의 픽셀(p)의 값을 계산하는 단계는
    - 추가적인 모드의 이웃하는 픽셀의 세트의 픽셀 중에서, 픽셀(p)을 지시하는 벡터를 따라 존재하며 추가적인 모드의 예측 방향에 평행한 이웃하는 픽셀을 식별하는 단계, 및
    - 식별된 이웃하는 픽셀의 값으로부터 예측 블록의 픽셀(p)의 값을 계산하는 단계에
    의해 수행되는, 이미지의 픽셀의 현재 블록의 공간 예측 방법.
  9. 제8항에 있어서, 픽셀(p)의 값은 식별된 이웃하는 픽셀의 값의 보간 함수(interpolation function)에 의해 계산되는, 이미지의 픽셀의 현재 블록의 공간 예측 방법.
  10. 현재 블록이라고 부르는 이미지의 픽셀의 블록을 코딩하기 위한 방법으로서,
    - 현재 블록의 예측 블록을 결정하는 단계(E1 내지 E4),
    - 상기 현재 블록 및 상기 예측 블록으로부터 나머지 블록을 결정하는 단계(E5),
    - 양자화 단계 사이즈에 따라 나머지 블록을 변환 및 양자화하는 단계(E6), 및
    - 양자화된 나머지 블록을 엔트로피 코딩하는 단계(E7)를
    포함하는, 이미지의 픽셀의 블록을 코딩하기 위한 방법에 있어서,
    현재 블록의 예측 블록은 제1항 내지 제5항 중 어느 한 항에 따른 방법에 따라 결정되는 것을 특징으로 하는, 이미지의 픽셀의 블록을 코딩하기 위한 방법.
  11. 현재 블록이라고 부르는 이미지의 픽셀의 블록을 코딩하기 위한 방법으로서,
    - 현재 블록의 예측 블록을 결정하는 단계(E1 내지 E4),
    - 상기 현재 블록 및 상기 예측 블록으로부터 나머지 블록을 결정하는 단계(E5),
    - 양자화 단계 사이즈에 따라 나머지 블록을 변환 및 양자화하는 단계(E6), 및
    - 양자화된 나머지 블록을 엔트로피 코딩하는 단계(E7)를
    포함하고,
    현재 블록의 예측 블록은 제5항에 따른 방법에 따라 결정되고,
    제1 미리 결정된 임계치, 이용된 공간 예측 모드의 색인, 또는 상기 제2 및 제3 미리 결정된 임계치는 픽셀의 코딩된 블록을 포함하는 데이터 스트림으로 코딩되는 것을 특징으로 하는, 이미지의 픽셀의 블록을 코딩하기 위한 방법.
  12. 제11항에 있어서, 상기 제2 및 제3 미리 결정된 임계치는 상기 양자화 단계 사이즈에 의존하는 것을 특징으로 하는, 이미지의 픽셀의 블록을 코딩하기 위한 방법.
  13. 이미지의 현재 블록이라고 부르는 픽셀의 블록에 대응하는 코딩된 나머지 블록을 디코딩하기 위한 방법으로서,
    - 상기 나머지 블록을 엔트로피 디코딩하는 단계(E'1),
    - 디코딩된 나머지 블록을 역 양자화 및 역 변환하는 단계(E'2),
    - 현재 블록의 예측 블록을 결정하는 단계(E'3 내지 E'6), 및
    - 상기 디코딩된 나머지 블록 및 상기 예측 블록으로부터 현재 블록을 결정하는 단계(E'7)를
    포함하는, 픽셀의 블록에 대응하는 코딩된 나머지 블록을 디코딩하기 위한 방법에 있어서,
    현재 블록의 예측 블록은 제1항 내지 제5항 중 어느 한 항에 따른 방법에 따라 결정되는 것을 특징으로 하는, 픽셀의 블록에 대응하는 코딩된 나머지 블록을 디코딩하기 위한 방법.
  14. 현재 블록의 이웃하는 픽셀에 기초한 복수의 공간 예측 모드로부터의 이미지의 픽셀의 현재 블록의 공간 예측 디바이스로서,
    a) 상기 공간 예측 모드의 각각의 모드에 따라 현재 블록의 예측 블록을 결정하도록; 그리고
    b) 상기 예측 블록 중 하나의 블록을 선택하도록
    구성된 적어도 하나의 프로세서를 포함하는, 이미지의 픽셀의 현재 블록의 공간 예측 디바이스에 있어서,
    상기 적어도 하나의 프로세서는, a) 및 b) 이전에,
    - 유사한 예측 블록을 생성하는 중복 공간 예측 모드를 검출하도록, 그리고
    - 중복 공간 예측 모드의 각각의 쌍에 대해, 상기 복수의 공간 예측 모드의 공간 예측 모드와는 구별된 추가적인 공간 예측 모드를 생성하고, 추가적인 모드에 의해 중복 공간 예측 모드 중 하나의 모드를 대체하도록
    더 구성되는 것을 특징으로 하는, 이미지의 픽셀의 현재 블록의 공간 예측 디바이스.
  15. 제14항에 있어서, 상기 공간 예측 디바이스는 제1항 내지 제5항 중 어느 한 항에 따른 공간 예측 방법의 단계를 수행하도록 구성되는, 이미지의 픽셀의 현재 블록의 공간 예측 디바이스.
  16. 이미지의 픽셀의 블록의 인코더로서,
    제14항에 따른 공간 예측 디바이스를 포함하는, 이미지의 픽셀의 블록의 인코더.
  17. 제16항에 있어서, 상기 디바이스는 현재 블록이라고 부르는 이미지의 픽셀의 블록을 코딩하기 위한 방법을 수행하도록 구성되고, 상기 방법은:
    - 현재 블록의 예측 블록을 결정하는 단계(E1 내지 E4),
    - 상기 현재 블록 및 상기 예측 블록으로부터 나머지 블록을 결정하는 단계(E5),
    - 양자화 단계 사이즈에 따라 나머지 블록을 변환 및 양자화하는 단계(E6), 및
    - 양자화된 나머지 블록을 엔트로피 코딩하는 단계(E7)를
    포함하고,
    현재 블록의 예측 블록은 제1항 내지 제5항 중 어느 한 항에 따른 방법에 따라 결정되는 것을 특징으로 하는, 이미지의 픽셀의 블록의 인코더.
  18. 비트스트림의 디코더로서,
    제14항에 따른 공간 예측 디바이스를 포함하는, 비트스트림의 디코더.
  19. 제16항에 있어서, 상기 디바이스는 현재 블록이라고 부르는 이미지의 픽셀의 블록을 코딩하기 위한 방법을 수행하도록 구성되고, 상기 방법은:
    - 현재 블록의 예측 블록을 결정하는 단계(E1 내지 E4),
    - 상기 현재 블록 및 상기 예측 블록으로부터 나머지 블록을 결정하는 단계(E5),
    - 양자화 단계 사이즈에 따라 나머지 블록을 변환 및 양자화하는 단계(E6), 및
    - 양자화된 나머지 블록을 엔트로피 코딩하는 단계(E7)를
    포함하고,
    현재 블록의 예측 블록은 제5항에 따른 방법에 따라 결정되고,
    제1 미리 결정된 임계치, 이용된 공간 예측 모드의 색인, 또는 상기 제2 및 제3 미리 결정된 임계치는 픽셀의 코딩된 블록을 포함하는 데이터 스트림으로 코딩되는 것을 특징으로 하는, 이미지의 픽셀의 블록의 인코더.
KR1020147037147A 2012-07-04 2013-06-27 증가된 수의 가능한 코딩 모드를 이용한 공간 예측 KR102231969B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1256406 2012-07-04
FR1256406 2012-07-04
PCT/EP2013/063546 WO2014005930A1 (en) 2012-07-04 2013-06-27 Spatial prediction with increased number of possible coding modes

Publications (2)

Publication Number Publication Date
KR20150034144A KR20150034144A (ko) 2015-04-02
KR102231969B1 true KR102231969B1 (ko) 2021-03-24

Family

ID=47429864

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147037147A KR102231969B1 (ko) 2012-07-04 2013-06-27 증가된 수의 가능한 코딩 모드를 이용한 공간 예측

Country Status (6)

Country Link
US (1) US9848204B2 (ko)
EP (1) EP2870753B1 (ko)
JP (2) JP2015526004A (ko)
KR (1) KR102231969B1 (ko)
CN (1) CN104488268B (ko)
WO (1) WO2014005930A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3148190A1 (en) * 2015-09-25 2017-03-29 Thomson Licensing Method and apparatus for intra prediction in video encoding and decoding
FI20165308A (fi) * 2016-04-11 2017-10-12 Nokia Technologies Oy Laitteisto ja tietokoneohjelmatuote videokoodausta ja -koodinpurkua varten, sekä menetelmä näitä varten
KR102569476B1 (ko) 2016-10-11 2023-08-24 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
WO2018124850A1 (ko) * 2017-01-02 2018-07-05 한양대학교 산학협력단 예측 블록의 중복성을 고려한 화면 내 예측 방법 및 화면 내 예측을 수행하는 영상 복호화 장치
KR102304661B1 (ko) * 2019-12-24 2021-09-23 동서대학교 산학협력단 견고한 적대적 방어를 위한 공격 기술에 독립적인 적대적 훈련 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105696A (ja) 2007-10-24 2009-05-14 Nippon Telegr & Teleph Corp <Ntt> 予測モード情報符号化方法，予測モード情報復号方法，これらの装置，およびこれらのプログラム並びにコンピュータ読み取り可能な記録媒体
WO2011145862A2 (en) 2010-05-17 2011-11-24 Lg Electronics Inc. New intra prediction modes

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386048B2 (en) 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
JP5037938B2 (ja) * 2004-04-28 2012-10-03 日立コンシューマエレクトロニクス株式会社 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JP4542447B2 (ja) 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
KR20070077955A (ko) 2006-01-25 2007-07-30 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치
KR100791299B1 (ko) 2006-04-11 2008-01-04 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법 및 장치
JP4707118B2 (ja) 2007-03-28 2011-06-22 株式会社Ｋｄｄｉ研究所 動画像符号化装置および動画像復号装置のイントラ予測方式
JP2008271371A (ja) * 2007-04-24 2008-11-06 Sharp Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法およびプログラム
RU2479940C2 (ru) * 2007-10-15 2013-04-20 Ниппон Телеграф Энд Телефон Корпорейшн Устройство кодирования и декодирования изображения, способы кодирования и декодирования изображения, их программы и носитель записи, записанный программами
KR101356448B1 (ko) 2008-10-01 2014-02-06 한국전자통신연구원 예측 모드를 이용한 복호화 장치
KR20100059038A (ko) 2008-11-25 2010-06-04 서울시립대학교 산학협력단 고속 모드 결정을 위한 ｈ．２６４의 화면내 예측모드 처리방법
WO2011049605A1 (en) 2009-10-22 2011-04-28 Thomson Licensing Methods and apparatus for dc intra prediction mode for video encoding and decoding
JP2011151682A (ja) 2010-01-22 2011-08-04 Sony Corp 画像処理装置および方法
US9172968B2 (en) * 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
JP5007761B2 (ja) 2010-07-12 2012-08-22 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
EP2603002A4 (en) * 2010-08-03 2014-12-31 Sony Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
EP2870755A1 (en) 2012-07-05 2015-05-13 Thomson Licensing Video coding and decoding method with adaptation of coding modes

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105696A (ja) 2007-10-24 2009-05-14 Nippon Telegr & Teleph Corp <Ntt> 予測モード情報符号化方法，予測モード情報復号方法，これらの装置，およびこれらのプログラム並びにコンピュータ読み取り可能な記録媒体
WO2011145862A2 (en) 2010-05-17 2011-11-24 Lg Electronics Inc. New intra prediction modes

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
K. Sugimoto, et al. Reduced number of intra chroma prediction mode. JCT-VC of ITU-T and ISO/IEC. JCTVC-G449 Ver.2, Nov. 26, 2011. pp.1-3
M. Sarwer, et al. A novel bit rate reduction method of H.264/AVC intra coding. 2010 3rd Int'l Congress on Image and Signal Proc. Oct. 2010, pp.24-28
W. Zhu, et al. Adaptive intra modes reduction by clustering for H.264/AVC. 2011 18th IEEE Int'l Conf. on Image Proc. Sep. 2011, pp.1665-1668

Also Published As

Publication number Publication date
EP2870753B1 (en) 2018-04-25
EP2870753A1 (en) 2015-05-13
CN104488268A (zh) 2015-04-01
US9848204B2 (en) 2017-12-19
JP2015526004A (ja) 2015-09-07
JP2017195638A (ja) 2017-10-26
US20150195567A1 (en) 2015-07-09
KR20150034144A (ko) 2015-04-02
JP6698053B2 (ja) 2020-05-27
WO2014005930A1 (en) 2014-01-09
CN104488268B (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
JP6152461B2 (ja) 映像符号化装置
KR102046522B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
US8995778B2 (en) Method and apparatus for encoding/decoding high resolution images
KR101378338B1 (ko) 영상 복구를 이용한 인트라 예측 부호화, 복호화 방법 및장치
EP1729521A2 (en) Intra prediction video encoding and decoding method and apparatus
JP6698053B2 (ja) 符号化及び復号化のための方法及び装置
KR20110114524A (ko) 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법
KR20080090937A (ko) 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
KR20170093833A (ko) 인트라 모드들의 코딩
KR20150099165A (ko) Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
WO2017010073A1 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
JP7332385B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP4367354B2 (ja) 画像符号化装置
KR102585485B1 (ko) 화상 부호화 장치, 화상 복호 장치 및 프로그램
JP5358485B2 (ja) 画像符号化装置
WO2012141500A2 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant