KR20120118498A - 비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램 - Google Patents
비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR20120118498A KR20120118498A KR1020127023340A KR20127023340A KR20120118498A KR 20120118498 A KR20120118498 A KR 20120118498A KR 1020127023340 A KR1020127023340 A KR 1020127023340A KR 20127023340 A KR20127023340 A KR 20127023340A KR 20120118498 A KR20120118498 A KR 20120118498A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- projection
- pixels
- reference pixels
- prediction
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램이 개시된다. 장치는 예측을 위해 픽셀을 선택하도록 구성된 선택기; 기준 픽셀의 세트로의 상기 픽셀의 투영을 결정하도록 구성된 투영 정의기; 상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하고, 상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측값을 획득하도록 구성된 예측 정의기를 포함한다.
Description
본 발명은 인코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
비디오 코덱은 입력 비디오를 저장 및/또는 전송을 위해 적절한 압축 표현으로 변환하는 인코더, 및 압축 비디오 표현을 시청가능 형태로 다시 압축해제할 수 있는 디코더, 또는 그들 중 어느 하나를 포함할 수 있다. 전형적으로, 인코더는 비디오를, 예를 들면, 더 낮은 비트 레이트로 보다 콤팩트한 형태로 표현하기 위해 오리지널 비디오 시퀀스 내의 몇몇 정보를 포기한다.
예를 들면, 국제 텔레커뮤니케이션 연합의 ITU-T H.263 및 H.264 코딩 표준에 따라 동작하는 전형적인 비디오 코덱은 비디오 정보를 두 개의 페이즈(phase)로 인코딩한다. 제1 단계에서, 임의의 픽셀 영역 또는 "블록" 내의 픽셀 값이 예측된다. 이들 픽셀 값은, 예를 들면, 코딩되는 블록에 밀접하게 대응하는 이전에 인코딩된 비디오 프레임(또는 나중에 코딩된 비디오 프레임) 중 하나에서의 영역을 찾고 표시하는 것을 수반하는 움직임 보상 메커니즘에 의해 예측될 수 있다. 부가하여, 픽셀 값은 공간 영역 관계를 찾고 표시하는 것을 수반하는 공간 메커니즘에 의해 예측될 수 있다.
이전(또는 나중) 이미지로부터 이미지 정보를 이용하는 예측 접근법은 또한 인터(inter) 예측 방법으로서 지칭될 수 있고, 동일한 이미지 내의 이미지 정보를 이용하는 예측 접근법은 또한 인트라(intra) 예측 방법으로서 지칭될 수 있다.
제2 단계는 픽셀들의 예측 블록과 픽셀들의 오리지널 블록 간의 에러를 코딩하는 것이다. 이것은 전형적으로 특정 변환을 이용하여 픽셀 값들에서의 차를 변환함으로써 달성된다. 이 변환은 전형적으로 이산 코사인 변환(Discrete Cosine Transform; DCT) 또는 그의 변형이다. 차이를 변환한 후, 변환된 차이가 양자화되고 엔트로피 인코딩(entropy encoded)된다.
양자화 프로세스의 충실도(fidelity)를 변화시킴으로써, 인코더는 픽셀 표현의 정확성(즉, 화면의 품질)과 최종 인코딩된 비디오 표현의 사이즈(즉, 파일 사이즈 또는 전송 비트 레이트) 사이의 밸런스를 제어할 수 있다.
디코더는 (인코더에 의해 생성되어 압축 이미지 표현으로 저장된 움직임 또는 공간 정보를 이용하여) 픽셀 블록의 예측 표현을 형성하기 위해 인코더에서 이용한 것과 유사한 예측 메커니즘 및 예측 에러 디코딩(양자화된 예측 에러 신호를 공간 도메인에서 복구하기 위한 예측 에러 코딩의 역동작)을 적용함으로써 출력 비디오를 재구성한다.
픽셀 예측 및 에러 디코딩 프로세스를 적용한 이후에, 디코더는 예측 신호와 예측 에러 신호(픽셀 값)를 결합하여 출력 비디오 프레임을 형성한다.
디코더(및 인코더)는, 출력 비디오를 디스플레이를 위해 전달하고/하거나 비디오 시퀀스 내의 다음 프레임을 위한 예측 기준으로서 저장하기 이전에, 출력 비디오의 품질을 개선하도록 추가적인 필터링 프로세스를 적용할 수도 있다.
전형적인 비디오 코덱에서, 움직임 정보는 각각 움직임 보상된 이미지 블록과 연관된 움직임 벡터로 표시된다. 이들 움직임 벡터 각각은, (인코더에서) 코딩되거나 (디코더에서) 디코딩될 픽처의 이미지 블록과, 이전에 코딩되거나 디코딩된 이미지(또는 픽처)중 하나의 예측 소스 블록(prediction source block)의 변위(displacement)를 나타낸다. 움직임 벡터를 효과적으로 표현하기 위해, 움직임 벡터는 전형적으로 블록 특정 예측 움직임 벡터에 대해 차동적으로 코딩된다. 전형적인 비디오 코덱에서, 예측된 움직임 벡터는 사전 정의된 방식으로, 예를 들면, 인접 블록들의 인코딩 또는 디코딩된 움직임 벡터들의 중간값(median)을 계산함으로써 생성된다.
전형적인 비디오 코덱에서, 움직임 보상 후의 예측 잔차(prediction residual)는 우선 (DCT 같은) 변환 커널로 변환된 다음 코딩된다. 이와 같이 하는 이유는 잔차 사이에 여전히 몇몇의 상관이 존재하고, 많은 경우에 변환이 이러한 상관을 줄이는데 도움을 주고, 보다 효율적인 코딩을 제공할 수 있기 때문이다.
전형적인 비디오 인코더는 최적 코딩 모드, 예를 들면, 원하는 매크로 블록 모드 및 연관 움직임 벡터를 찾는데 라그랑지안 비용 함수(Lagrangian cost function)를 활용한다. 이런 유형의 비용 함수는 가중치 인자(weighting factor) λ를 이용하여, 손실이 있는 코딩 방법으로 인한 정확한 또는 추정된 이미지 왜곡과, 이미지 영역 내의 픽셀값을 나타내는데 필요한 정확한 또는 추정된 정보량을 결부시킨다.
이것은 다음의 수학식으로 표현된다.
여기에서 C는 최소화될 라그랑지안(Lagrangian) 비용이고, D는 현재 고려되는 모드 및 움직임 벡터와의 이미지 왜곡(즉, 오리지널 이미지 블록에서의 픽셀 값들과 코딩된 이미지 블록에서의 픽셀 값들 간의 평균 제곱 에러(mean-squared error))이고, λ는 라그랑지안 계수이고, R은 디코더에서 이미지 블록을 재구성하는데 요구되는 데이터를 나타내는데 필요한 비트 수이다(후보 움직임 벡터를 나타내는 데이터의 양을 포함).
H.264/AVC 같은 몇몇 하이브리드 비디오 코덱은 픽처에서 이미 프로세싱된 영역들의 픽셀 값들을 이용하는 공간 수단에 의해 인트라 코딩 영역을 예측한다. 전형적인 코덱은 대응하는 방향으로부터 예측을 제공하는 이용가능한 예측 방법들의 고정 세트를 구비한다. 이용가능한 예측 방향들의 수가 작으면, 픽처 콘텐츠에서 모든 방향성 구조에 정합하는 방법이 없을 수 있기 때문에 압축 성능이 떨어질 수 있다. 이용가능한 예측 방향들의 수가 많으면, 구현 복잡도가 부담이 될 수 있다. 몇몇 코덱은 적은 수의 방향성, 예를 들면, 2에서 8의 상이한 방향의 인트라 예측 방법들을 사용하며, 이것은 차선의 성능을 유도할 수 있지만, 적절한 레벨에서 구현 복잡도를 유지할 수 있다.
본 발명은 비디오 코덱의 인트라 예측 서브시스템에서 상대적으로 큰 수의 예측 방향을 지원할 수 있는 몇몇 실시예를 제공한다. 몇몇 실시예에 따라, 예측 프로세스는, 수평 방향 또는 수직 방향 중 어느 하나에서 주어진 입도(granularity)로 픽셀들의 한 라인과 픽셀들의 기준 라인 간의 변위 측정에 의해 정의된다. 블록에서 각각의 픽셀에 대한 예측 값들을 도출할 때, 선택된 변위를 사용하여 기준 픽셀들의 라인으로의 각각의 픽셀의 투영(projection)을 계산하고, 보간 동작을 적용하여 가장 가까운 기준 픽셀들로부터 투영된 픽셀 위치의 거리를 이용하여 최종 예측 값들을 계산한다.
본 발명의 제1 양상에 따라,
예측을 위해 픽셀을 선택하도록 구성된 선택기;
기준 픽셀의 세트로의 상기 픽셀의 투영(projection)을 결정하도록 구성된 투영 정의기(projection definer);
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하고, 상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측값을 획득하도록 구성된 예측 정의기
를 포함하는 장치가 제공된다.
본 발명의 제2 양상에 따라,
예측을 위한 픽셀을 선택하는 단계;
기준 픽셀의 세트로의 상기 픽셀의 투영을 결정하는 단계;
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하는 단계; 및
상기 선택된 하나 이상의 기준 픽셀을 이용함으로써 투영될 상기 픽셀에 대한 예측 값을 획득하는 단계
를 포함하는 방법이 제공된다.
본 발명의 제3 양상에 따라,
장치에 의한 사용을 위해 코드를 저장한 컴퓨터 판독가능 저장 매체로서,
상기 코드는, 프로세서에 의해 실행될 때, 상기 장치로 하여금,
예측을 위한 픽셀을 선택하고;
기준 픽셀의 세트로의 상기 픽셀의 투영을 결정하고;
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하고;
상기 선택된 하나 이상의 기준 픽셀을 이용함으로써 투영될 상기 픽셀에 대한 예측 값을 획득하는 것을 수행하게 하는
컴퓨터 판독가능 저장 매체가 제공된다.
본 발명의 제4 양상에 따라, 적어도 하나의 프로세서 및 적어도 하나의 메모리가 제공되고, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금,
예측을 위한 픽셀을 선택하고;
기준 픽셀의 세트로의 상기 픽셀의 투영을 결정하고;
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하고;
상기 선택된 하나 이상의 기준 픽셀을 이용함으로써 투영될 상기 픽셀에 대한 예측 값을 획득하는 것을 수행하게 하는
코드를 저장한다.
본 발명의 제5 양상에 따라,
디코딩될 이미지의 픽셀 블록에 관한 방향성의 표시를 검사하도록 구성된 분석기; 및 재구성기를 포함하고,
상기 재구성기는,
기준 픽셀의 세트 상에 디코딩될 상기 픽셀 블록 중 한 픽셀의 투영을 결정하고,
상기 투영에 기초하여 상기 기준 픽셀 세트로부터 하나 이상의 기준 픽셀을 선택하고,
상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측 값을 획득하도록 구성된
장치가 제공된다.
본 발명의 제6 양상에 따라,
디코딩될 이미지의 픽셀 블록에 관한 방향성의 표시를 검사하는 단계;
기준 픽셀의 세트 상에 디코딩될 상기 픽셀 블록 중 한 픽셀의 투영을 결정하는 단계;
상기 투영에 기초하여 상기 기준 픽셀 세트로부터 하나 이상의 기준 픽셀을 선택하는 단계;
상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측 값을 획득하는 단계
를 포함하는 방법이 제공된다.
본 발명의 제7 양상에 따라,
장치에 의한 사용을 위해 코드를 저장한 컴퓨터 판독가능 저장 매체로서,
상기 코드는, 프로세서에 의해 실행될 때, 상기 장치로 하여금,
디코딩될 이미지의 픽셀 블록에 관한 방향성의 표시를 검사하고;
기준 픽셀의 세트 상에 디코딩될 상기 픽셀 블록 중 한 픽셀의 투영을 결정하고;
상기 투영에 기초하여 상기 기준 픽셀 세트로부터 하나 이상의 기준 픽셀을 선택하고;
상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측 값을 획득하도록 하는
컴퓨터 판독가능 저장 매체가 제공된다.
본 발명의 제8 양상에 따라,
적어도 하나의 프로세서 및 적어도 하나의 메모리가 제공되고, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금,
디코딩될 이미지의 픽셀 블록에 관한 방향성의 표시를 검사하고;
기준 픽셀의 세트 상에 디코딩될 상기 픽셀 블록 중 한 픽셀의 투영을 결정하고;
상기 투영에 기초하여 상기 기준 픽셀 세트로부터 하나 이상의 기준 픽셀을 선택하고;
상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측 값을 획득하는 것을 수행하게 하는
코드를 저장한다.
본 발명의 제9 양상에 따라,
이미지의 픽셀 블록을 인코딩하기 위해 인트라 예측 모드들의 세트로부터 인코딩 방법을 선택하도록 구성된 선택기; 및
예측을 위해 픽셀을 선택하도록 구성된 선택기
를 포함하고, 상기 인트라 예측 모드는,
기준 픽셀의 세트로의 상기 픽셀의 투영을 결정하도록 구성된 투영 정의기;
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하고, 상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측값을 획득하도록 구성된 예측 정의기
를 포함하는 인코더가 제공된다.
본 발명의 제10 양상에 따라,
디코딩될 이미지의 픽셀 블록에 관한 방향성의 표시를 검사하도록 구성된 분석기; 및 재구성기를 포함하고,
상기 재구성기는,
기준 픽셀의 세트 상에 디코딩될 상기 픽셀 블록 중 한 픽셀의 투영을 결정하고,
상기 투영에 기초하여 상기 기준 픽셀 세트로부터 하나 이상의 기준 픽셀을 선택하고,
상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측 값을 획득하도록 구성된 디코더가 제공된다.
본 발명의 제11 양상에 따라,
이미지의 픽셀 블록을 인코딩하기 위해 인트라 예측 모드들의 세트로부터 인코딩 방법을 선택하기 위한 수단;
예측을 위해 픽셀을 선택하기 위한 수단을 포함하고,
상기 인트라 예측 모드는,
기준 픽셀의 세트로의 상기 픽셀의 투영을 결정하기 위한 수단;
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하기 위한 수단; 및
상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측값을 획득하기 위한 수단
을 포함하는 장치가 제공된다.
본 발명의 제12 양상에 따라,
디코딩될 이미지의 픽셀 블록에 관한 방향성의 표시를 검사하기 위한 수단;
기준 픽셀의 세트 상에 디코딩될 상기 픽셀 블록 중 한 픽셀의 투영을 결정하기 위한 수단;
상기 투영에 기초하여 상기 기준 픽셀 세트로부터 하나 이상의 기준 픽셀을 선택하기 위한 수단;
상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측 값을 획득하기 위한 수단
을 포함하는 장치가 제공된다.
본 발명의 더 나은 이해를 위해, 이제, 첨부 도면을 예로서 참조할 것이다.
도 1은 본 발명의 몇몇 실시예를 채용하는 전자 디바이스를 개략적으로 도시한다.
도 2는 본 발명의 몇몇 실시예를 채용하는데 적절한 사용자 장비를 개략적으로 도시한다.
도 3은 무선 및 유선 네트워크 접속을 이용하여 접속된 본 발명의 실시예를 채용하는 전자 디바이스를 개략적으로 또한 도시한다.
도 4a는 인코더 내에 통합되는 본 발명의 실시예를 개략적으로 도시한다.
도 4b는 본 발명의 몇몇 실시예에 따라 인트라 예측기의 실시예를 개략적으로 도시한다.
도 5는 도 4에 도시된 바와 같이 인코더에 대하여 본 발명의 실시예의 동작을 도시하는 플로우 도면을 도시한다.
도 6은 본 발명의 몇몇 실시예에 따른 디코더의 개략적인 도면을 도시한다.
도 7은 도 6에 도시된 디코더에 대하여 본 발명의 실시예의 동작을 도시하는 플로우 도면을 도시한다.
도 8a는 구현의 한 모드를 위한 이용가능한 예측 방향의 예를 도시한다.
도 8b는 블록의 최저 행과 기준 행 사이의 변위가 좌측으로 한 픽셀일 때 기준 픽셀들로부터 블록 내의 픽셀들의 최저 행을 예측하는 예를 도시한다.
도 8c는 블록의 최저 행과 기준 행 사이의 변위가 좌측으로 한 픽셀일 때 기준 픽셀들로부터 블록 내의 픽셀들의 또 다른 행을 예측하는 예를 도시한다.
도 8d는 블록의 최저 행과 기준 행 사이의 변위가 부정적일 때 기준 픽셀들로부터 블록 내의 픽셀들의 한 행을 예측하는 예를 도시한다.
도 8e는 또 다른 실시예에 따라 기준 픽셀들로부터 블록으로부터의 픽셀들에 대한 예측 값들을 획득하는 예를 도시한다.
도 1은 본 발명의 몇몇 실시예를 채용하는 전자 디바이스를 개략적으로 도시한다.
도 2는 본 발명의 몇몇 실시예를 채용하는데 적절한 사용자 장비를 개략적으로 도시한다.
도 3은 무선 및 유선 네트워크 접속을 이용하여 접속된 본 발명의 실시예를 채용하는 전자 디바이스를 개략적으로 또한 도시한다.
도 4a는 인코더 내에 통합되는 본 발명의 실시예를 개략적으로 도시한다.
도 4b는 본 발명의 몇몇 실시예에 따라 인트라 예측기의 실시예를 개략적으로 도시한다.
도 5는 도 4에 도시된 바와 같이 인코더에 대하여 본 발명의 실시예의 동작을 도시하는 플로우 도면을 도시한다.
도 6은 본 발명의 몇몇 실시예에 따른 디코더의 개략적인 도면을 도시한다.
도 7은 도 6에 도시된 디코더에 대하여 본 발명의 실시예의 동작을 도시하는 플로우 도면을 도시한다.
도 8a는 구현의 한 모드를 위한 이용가능한 예측 방향의 예를 도시한다.
도 8b는 블록의 최저 행과 기준 행 사이의 변위가 좌측으로 한 픽셀일 때 기준 픽셀들로부터 블록 내의 픽셀들의 최저 행을 예측하는 예를 도시한다.
도 8c는 블록의 최저 행과 기준 행 사이의 변위가 좌측으로 한 픽셀일 때 기준 픽셀들로부터 블록 내의 픽셀들의 또 다른 행을 예측하는 예를 도시한다.
도 8d는 블록의 최저 행과 기준 행 사이의 변위가 부정적일 때 기준 픽셀들로부터 블록 내의 픽셀들의 한 행을 예측하는 예를 도시한다.
도 8e는 또 다른 실시예에 따라 기준 픽셀들로부터 블록으로부터의 픽셀들에 대한 예측 값들을 획득하는 예를 도시한다.
다음은 비디오 코덱에 대하여 인코딩 효율 및 신호 충실도를 향상시키기에 적합한 장치와 이를 가능케 하는 메커니즘을 보다 상세히 설명한다. 이와 관련하여, 도 1을 참조하면, 도 1은 예시적인 장치 또는 전자 디바이스(50)의 개략적인 블록도를 도시하는데, 이 장치는 본 발명의 실시예에 따른 코덱을 포함할 수 있다.
전자 디바이스(50)는, 예를 들면, 무선 통신 시스템의 사용자 장비이거나 이동 단말기일 수 있다. 그러나, 본 발명의 실시예가 비디오 이미지에 대한 인코딩 및 디코딩을 필요로 하거나, 또는 인코딩 또는 디코딩을 필요로 하는 모든 전자 디바이스 또는 장치 내에서 구현될 수 있음을 이해할 것이다.
장치(50)는 디바이스를 통합 및 보호하는 하우징(housing)(30)을 포함할 수 있다. 이 장치(50)는 액정 디스플레이의 형태로 디스플레이(32)를 또한 포함할 수 있다. 본 발명의 다른 실시예에서, 이 디스플레이는 이미지 또는 비디오를 디스플레이하기에 적합한 모든 적당한 디스플레이 기술일 수 있다. 장치(50)는 또한 키패드(34)를 포함할 수 있다. 본 발명의 다른 실시예에서, 모든 적당한 데이터 또는 사용자 인터페이스 메커니즘이 채용될 수 있다. 예를 들면, 사용자 인터페이스는 터치 감응 디스플레이의 일부로서 가상 키보드 또는 데이터 입력 시스템으로 구현될 수 있다. 이 장치는 마이크로폰(36) 또는 임의의 적당한 오디오 입력을 포함할 수 있는데, 이것은 디지털 신호 입력이거나 아날로그 신호 입력일 수 있다. 장치(50)는 오디오 출력 디바이스를 더 포함할 수 있는데, 본 발명의 일 실시예에서, 이어폰(38), 스피커, 또는 아날로그 오디오 또는 디지털 오디오 출력 접속 중 임의의 것일 수 있다. 장치(50)는 또한 배터리(40)를 포함할 수 있다(또는 본 발명의 다른 실시예에서는, 이 디바이스가 태양 전지, 연료 전지 또는 시계 장치 발전기같은 임의의 적당한 이동성 에너지 디바이스에 의해 전력이 제공될 수도 있다). 이 장치는 다른 디바이스에 대한 단거리 가시거리 통신을 위한 적외선 포트(42)를 더 포함할 수 있다. 다른 실시예에서, 이 장치(50)는 예를 들면 블루투스 무선 접속이나 USB/파이어와이어 유선 접속같은 임의의 적당한 단거리 통신 솔루션을 더 포함할 수 있다.
이 장치(50)는 장치(50)를 제어하기 위한 콘트롤러(56) 또는 프로세서를 포함할 수 있다. 콘트롤러(56)는 메모리(58)에 접속될 수 있는데, 본 발명의 실시예에서 이 메모리는 두 개의 데이터 형태 즉, 이미지 및 오디오 데이터의 형태로 데이터를 저장할 수도 있고/있거나 콘트롤러(56)에서 구현하기 위한 명령어를 기억할 수도 있다. 콘트롤러(56)는 오디오 및/또는 비디오 데이터를 코딩 및 디코딩하거나 또는 콘트롤러(56)에 의해 수행되는 코딩 및 디코딩을 지원하기에 적합한 코덱 회로(54)에 접속될 수 있다.
장치(50)는 카드 판독기(48)와 스마트 카드(46)를 더 포함할 수 있는데, 예를 들면, 사용자 정보를 제공하고, 네트워크에서 인증을 위한 인증 정보와 사용자 인증을 제공하기에 적합한 UICC 및 UICC 판독기를 포함할 수 있다.
장치(50)는 콘트롤러에 접속된 무선 통신 인터페이스 회로(52)를 포함할 수 있는데, 이 회로는, 예를 들면, 셀룰러 통신 네트워크, 무선 통신 시스템 또는 무선 LAN(local area network)과 통신하기 위한 무선 통신 신호를 발생하기에 적합하다. 이 장치(50)는 또한 무선 통신 인터페이스 회로(52)에서 생성된 무선 통신 주파수 신호를 다른 장치(들)에게 전송하고 무선 주파수 신호를 다른 장치(들)로부터 수신하기 위한, 무선 통신 인터페이스 회로(52)에 접속된 안테나(44)를 포함할 수 있다.
본 발명의 몇몇 실시예에서, 장치(50)는 이후의 처리를 위해 코덱(54)이나 콘트롤러로 전송되는 개별 프레임을 기록 또는 검출할 수 있는 카메라를 포함한다. 본 발명의 다른 실시예에서, 장치는 전송 및/또는 저장 이전에 또 다른 디바이스로부터의 처리를 위한 비디오 이미지 데이터를 수신할 수 있다. 본 발명의 다른 실시예에서, 이 장치(50)는 코딩/디코딩을 위한 이미지를 무선 또는 유선 접속으로 수신할 수 있다.
도 3과 관련하여, 본 발명의 실시예가 내부적으로 활용될 수 있는 시스템의 예가 도시되어 있다. 시스템(10)은 하나 이상의 네트워크를 통해 통신할 수 있는 다수의 통신 디바이스를 포함한다. 이 시스템(10)은, 한정하려는 것은 아니지만, 무선 셀룰러 전화 네트워크(GSM, UMTS, CDMA 네트워크 등), 예를 들면, IEEE 802.x 표준들 중 임의의 것으로 정의되는 무선 근거리 통신망(WLAN), 블루투스 개인 통신망(PAN), 이더넷 LAN, 토큰 링 LAN, 광역 통신망(WAN) 및 인터넷을 포함하는 모든 유선 또는 무선 네트워크의 결합을 포함할 수 있다.
시스템(10)은 유선 및 무선 통신 디바이스, 또는 본 발명의 실시예를 구현하기에 적합한 장치(50)를 포함할 수 있다.
예를 들면, 도 3에 도시된 시스템은 이동 전화 네트워크(11)와 인터넷(28)으로 표현된 부분을 도시한다. 인터넷(28)에 대한 접속은, 한정하는 것은 아니지만, 장거리 무선 접속, 단거리 무선 접속, 및, 한정하는 것은 아니지만, 전화선, 케이블선, 전력선 및 그와 유사한 통신 경로 등을 포함하는 다양한 유선 접속을 포함할 수 있다.
시스템(10)에 도시된 예시의 통신 디바이스는, 한정하는 것은 아니지만, 전자 디바이스 또는 장치(50), PDA와 이동 전화(14)의 결합, PDA(16), IMD(an integrated messaging device)(18), 데스크탑 컴퓨터(20), 노트북 컴퓨터(22)를 포함할 수 있다. 장치(50)는 정지하고 있거나 또는 이동중인 개인이 운반할 때 이동할 수 있다. 또한, 이 장치(50)는, 한정하는 것은 아니지만, 자동차, 트럭, 택시, 버스, 기차, 보트, 비행기, 자전거, 모터사이클 또는 이와 유사한 모든 적당한 운송 수단을 포함한 운송 수단(a mode of transport)에 놓여질 수 있을 것이다.
몇몇 또는 다른 장치가 호출과 메시지를 전송 및 수신할 수 있고, 기지국(24)에 대한 무선 접속(25)을 통해 서비스 제공자와 통신할 수 있다. 기지국(24)은 네트워크 서버(26)에 접속될 수 있는데, 이 서버는 이동 전화 네트워크(11)와 인터넷(28) 사이의 통신을 가능하게 한다. 이 시스템은 추가적인 통신 디바이스와 여러 유형의 통신 디바이스를 포함할 수도 있다.
통신 디바이스는, 한정하는 것은 아니지만, CDMA(code division multiple access), GSM(global systems for mobile communications), UMTS(universal mobile telecommunications system), TDMA(time divisional multiple access), FDMA(frequency division multiple access), TCP-IP(transmission control protocol-internet protocol), SMS(short messaging service), MMS(multimedia messaging service), e메일, IMS(instant messaging service), 블루투스, IEEE 802.11 및 이와 유사한 모든 무선 통신 기술을 포함한 다양한 전송 기술을 이용하여 통신할 수 있다. 본 발명의 다양한 실시예를 구현하는 것과 관련있는 통신 디바이스는, 한정하는 것은 아니지만, 무선, 적외선, 레이저, 케이블 접속 및 모든 적당한 접속을 포함하는 다양한 미디어를 이용해서 통신할 수 있다.
도 4a와 관련하여, 본 발명의 실시예를 실행하는데 적절한 비디오 인코더의 블록도가 도시되어 있다. 또한, 도 5와 관련하여, 특히 선택된 표면 영역의 보간에 대하여 본 발명의 실시예를 예시하는 인코더의 동작이 상세히 도시되어 있다.
도 4a는 픽셀 예측기(302), 예측 에러 인코더(303) 및 예측 에러 디코더(304)를 포함하는 것으로 인코더를 도시한다. 도 4a는 또한 인터-예측기(306), 인트라-예측기(308), 모드 선택기(310), 필터(316), 및 기준 프레임 메모리(318)를 포함하는 것으로 픽셀 예측기(302)의 실시예를 도시한다. 모드 선택기(310)는 블록 프로세서(381) 및 비용 평가기(382)를 포함한다. 도 4b는 또한 복수의 상이한 인트라-예측 모드: 모드 1, 모드 2, ..., 모드 n을 포함하고 또한 예측 프로세서(309)를 포함할 수 있는 인트라-예측기(308)의 실시예를 도시한다. 모드 선택기(310)는 또한 양자화기(384)를 포함할 수 있다.
픽셀 예측기(302)는 (이미지와 움직임 보상 기준 프레임(318) 간의 차를 결정하는) 인터-예측기(306) 및 (현재 프레임 또는 픽처의 이미 처리된 부분들에 단지 기초하여 이미지 블록에 대한 예측을 결정하는) 인트라-예측기(308) 양자 모두에서 인코딩된 이미지(300)를 수신한다. 인터-예측기 및 인트라-예측기 양자 모두의 출력은 모드 선택기(310)로 전달된다. 인트라-예측기(308)는 하나보다 많은 인트라-예측 모드를 가질 수 있다. 이에 따라, 각각의 모드는 인트라-예측을 수행하고 예측된 신호를 모드 선택기(310)로 제공할 수 있다. 모드 선택기(310)는 또한 이미(300)의 사본을 수신한다.
블록 프로세서(381)는 현재 블록을 인코딩하는데 어떤 인코딩 모드를 사용할지를 결정한다. 블록 프로세서(381)가 인터-예측 모드를 사용하고자 결정하는 경우, 인터-예측기(306)의 출력을 모드 선택기(310)의 출력으로 전달할 것이다. 블록 프로세서(381)가 인트라-예측 모드를 사용하고자 결정하는 경우, 인트라-예측 모드들 중 하나의 출력을 모드 선택기(310)의 출력으로 전달할 것이다.
몇몇의 예시적인 실시예에 따라 픽셀 예측기(302)는 다음과 같이 동작한다. 인터 예측기(306) 및 인트라 예측 모드(308)는 현재 블록의 예측을 수행하여 현재 블록의 예측 픽셀 값들을 획득한다. 인트라 예측기(306) 및 인트라 예측 모드(308)는 현재 블록의 예측된 픽셀 값들을, 어떤 예측을 선택할지를 분석하기 위해 블록 프로세서(381)에 제공한다. 현재 블록의 예측된 값들에 부가하여, 블록 프로세서(381)는, 몇몇 실시예에서, 인트라 예측 모드들로부터 방향성 인트라 예측 모드의 표시를 수신할 수 있다.
블록 프로세서(381)는 인터 예측 모드를 선택할지 또는 인트라 예측 모드를 선택할지를 검사한다. 블록 프로세서(381)는 수학식(1)과 같은 비용 함수 또는 어떤 인코딩 방법이 임의의 기준 또는 기준에 대하여 가장 효율적인 결과를 부여할 수 있는지를 분석하기 위한 몇몇의 다른 방법을 사용할 수 있다. 선택된 기준은 코딩 효율, 프로세싱 비용 및/또는 몇몇의 다른 기준을 포함할 수 있다. 블록 프로세서(381)는 각각의 방향성에 대하여, 즉, 각각의 인트라 예측 모드 및 인터 예측 모드에 대하여 예측을 검사하고, 각각의 인트라 예측 모드 및 인터 예측 모드에 대하여 비용 값을 계산하거나, 또는 블록 프로세서(381)는 예측 모드의 선택 시에 모든 이용가능한 예측 모드의 서브세트만을 검사할 수 있다.
인트라 예측 모드 각각 또는 인트라 예측 모드의 선택된 세트에 대하여 그리고 아마도 인터 예측 모드에 대하여 비용이 계산되었을 때, 블록 프로세서(381)는 현재 블록을 인코딩하기 위한 하나의 인트라 예측 모드 또는 인터 예측 모드를 선택한다. 인트라 에측 모드가 선택된 경우, 선택된 인트라 예측 모드는 디코더에도 표시될 방향성 표시를 포함한다.
방향성 인트라 에측 모드의 표시는, 예를 들면, 수직 예측의 경우 이웃하는 블록의 픽셀들의 기준 행에 대한 현재 블록의 하나의 행의 변위로서, 또는 수평 예측의 경우 이웃하는 블록의 픽셀들의 기준 열에 대한 현재 블록의 하나의 열의 변위로서 표시되는 각(angle)을 포함할 수 있다. 몇몇 실시예에서, 수평 및 수직 방향에서 허가된 변위는 인코딩될 블록의 크기에 의존할 수 있다. 몇몇의 예시적인 범위는 수평 및 수직 예측 양자 모두에 대하여 NxN 픽셀의 블록 크기에 대하여 -N 내지 +N이다. 다른 예시적인 범위는 -2Nx+2N픽셀들, -3Nx+3N픽셀들, -2Nx+4N픽셀들, -4Nx+2N픽셀들 등이다. 각은 또한, 예를 들면, 정수값, 부동 소수점 등으로서 다른 수단을 사용하여 표시될 수 있다.
동일한 또는 다른 인트라 예측 방향은 픽처 블록의 (휘도, 크로미넌스 또는 깊이 성분과 같은) 상이한 성분에 적용될 수 있거나, 또는 하나 이상의 성분에 대한 인트라 예측 방향의 표시는 하나 이상의 다른 성분의 인트라 예측 방향의 허가된 세트를 제한하는데 사용될 수 있다.
인트라 예측 방향은 이웃하는 매크로블록들로부터 예측될 수 있다. 이 예측은 이웃하는 매크로블록의 재구성 값, 이웃하는 매크로블록의 인트라 예측 방향 또는 이웃하는 매크로블록의 모드에 기초하여 행해질 수 있다.
허가된 변위의 예는, 현재 블록에 대하여 방향성이 분석되는 도 8a에 도시되어 있다. 변위는 블록의 마지막 행의 마지막 픽셀을 참조하여 표시될 수 있지만 동일 블록의 다른 픽셀을 참조하여 표시될 수도 있다. 마지막 행의 마지막 픽셀로부터 이웃하는 블록들의 상이한 픽셀까지의 선은 본 예시적인 실시예에서의 허가된 방향(변위)을 도시한다. 이웃하는 블록의 이들 픽셀은 현재 블록의 픽셀의 예측을 위한 기준 픽셀로서 사용될 수 있다. 기준 픽셀은 도 8a에 삼각형으로 표시되어 있다. 이 실시예에서, 블록 크기는 8x8이고 범위는 -N 내지 +N이며, 여기서, 벼뉘는 하나의 픽셀 레졸루션을 갖는 -8 내지 +8일 수 있다. 몇몇의 다른 실시예에서, 두개의 연속적인 허가된 변위들 간의 차이는 한 픽셀의 일부, 예를 들면, 1/2 픽셀일 수 있고, 여기서, 선택할 수 있는 더 많은 방향이 존재한다.
이제, 인트라 예측 모드의 예가 도 8b 및 도 8c를 참조하여 보다 상세히 설명될 것이다. 도 8b 및 도 8c의 예에서, 수평 방향에서 +1 픽셀의 변위를 갖는 인트라 예측 모드가 설명된다. 도 8b로부터 알 수 있는 바와 같이, 현재 블록의 픽셀은 현재 블록 위의 픽셀로부터 예측될 것이다. 이것은 또한 수직 예측으로도 불릴 수 있다. 예측 픽셀 값을 획득하기 위해, 기준 행 및 열로의 픽셀 각각의 투영(projection)이 계산된다(도 8b). 투영이 (도 8c에서 볼 수 있는 바와 같이) 두 개의 기준 픽셀 사이에 들어오면, 예측 값은, 예를 들면, 두 개의 기준 픽셀로부터 선형으로 보간되고, 그렇지 않으면, 대응하는 기준 픽셀이 사용될 수 있다. 도 8b의 예에서, 현재 블록의 마지막 행의 마지막 픽셀의 예측 값은 예측될 픽셀을 참조하여 기준 행에 대한 다음 열에 위치되는 픽셀을 이용함으로써 픽셀의 기준 행으로부터 획득되는데, 즉, 변위는 +1이다. 대응하여, 현재 블록의 마지막 행의 제2 마지막 픽셀의 예측 값은 예측될 픽셀을 참조하여 기준 행의 다음 열에 위치되는 픽셀을 이용함으로써 픽셀의 기준 행으로부터 획득된다. 즉, 기준 픽셀은 현재 블록의 마지막 픽셀보다는 동일한 열에 있다. 마지막 행의 다른 픽셀에 대한 예측 값은 도 8b에 화살표로 표시된 바와 같이 각각 획득될 수 있다.
현재 블록의 다른 행의 픽셀 값이 예측될 때, 동일한 방향 값이 사용되고 또한 동일한 기준 행/열이 사용된다. 도 8c는 현재 블록의 제6 행의 예측을 도시한다. 투영의 각 계수(angular coefficient)는 도 8b의 상황과 동일하다. 이 예시적인 상황에서, 제6 행의 픽셀이 예측될 때, 사용될 기준 값은 정확히 기준 행의 실제 기준 값이 아니지만, 그들은 두 개의 인접한 기준 픽셀을 이용함으로써 획득될 수 있다. 이것은, 도 8c로부터, 화살표(방향성 벡터 또는 투영)가 기준 행의 기준 픽셀을 통하여 진행하는 것이 아니라 두 개의 인접한 기준 픽셀 사이를 진행하는 것을 볼 수 있다. 예시적인 실시예에서, 기준 값은 두 개의 인접한 픽셀 값을 보간함으로써 획득된다. 보간은 선형 보간, 로그 보간 또는 몇몇의 다른 보간일 수 있다. 예를 들면, 현재 블록의 제6 행의 제1 픽셀에 대한 예측 값은 제1 픽셀보다는 동일 행에 있는 기준 픽셀 값과 제1 픽셀로부터 좌측에 있는 다음 행의 기준 픽셀 값을 보간함으로써 획득될 수 있다. 제6 행의 다른 픽셀의 예측 값은 그에 대응하여 획득될 수 있다.
현재 블록의 다른 행의 픽셀 값을 예측할 때 동일한 원리가 이용될 수 있다. (투영이라고도 불릴 수 있는) 방향성 벡터가 정확하게 기준 픽셀 값을 지시하지 않는 경우, 방향성 벡터가 가로지르는 사이의 픽셀 값을 보간하여 픽셀의 예측 값을 획득한다.
여기서, 표현 "픽셀로 향하는(directed to a pixel)" 및 "가로지르는(traversing)"은 단지 본 발명을 명확하게 하기 위한 예시적인 표현이라는 것을 이해해야 한다. 실제 구현에서는 픽셀로 향하는 임의의 벡터 또는 화살표가 필요없지만, 블록 프로세서(381)는 예측 값을 획득하기 위해 두 개의 인접한 픽셀 값을 이용하여 기준 픽셀 값 또는 보간을 사용할지 여부를 결정하기 위한 몇몇의 계산 알고리즘을 사용할 수 있다.
몇몇의 상황에서, 예측될 픽셀에 대한 기준 값은 현재 블록 위에 있을 수 없지만, 현재 블록 옆에는 또한 있을 수 있다. 그러한 상황의 예가 도 8d에 도시되어 있다. 이 예에서, 변위는 현재 블록의 마지막 행의 마지막 픽셀을 기준으로 -3 픽셀이다. 도 8d는 현재 블록의 제6 행의 제1 및 제2 픽셀에 관한 방향성 벡터가 기준 행의 두 개의 기준 픽셀 사이를 가로지르지 않지만, 그들은 기준 행의 최좌측 픽셀의 좌측을 가로지른다. 이에 따라, 이 예시적인 실시예에서, 기준 값은 (좌측의) 현재 블록에 인접한 열의 픽셀을 이용함으로써 기준 열로부터 취해진다. 방향성 벡터가 기준 열의 기준 픽셀을 통해 가로지르면, 그 픽셀 값이 예측 값으로 사용될 수 있다. 그렇지 않으면, 방향성 벡터가 가로지르는 사이의 기준 열의 인접한 기준 픽셀 값이 보간되도록 보간이 사용된다.
전술한 실시예에 따라, 현재 블록의 예측 값은 현재 블록 위의 행 및/또는 인코딩/디코딩 프로세스가 이미지의 좌측에서 우측으로 그리고 상부에서 하부로 진행할 때 현재 블록에 좌측의 열의 이미 디코딩된 기준 픽셀을 이용하여 획득될 수 있다. 인코딩/디코딩 순서가 그와 다르다면, 기준 픽셀 또한 상기 실시예와 다를 수 있다.
픽셀의 기준 행 및 열은 이미 디코딩된 픽셀로 구성되고, 도 8a에 도시된 바와 같이, 이 예시적인 실시예에서 현재 블록(프로세싱 중인 블록) 바로 위 및 왼쪽에 위치된다. 그러나, 기준 픽셀은 또한 이들과 다른 픽셀일 수 있다.
기준 픽셀의 값은 기준으로서 사용되기 전에 다른 수단에 의해 필터링되거나 프로세싱될 수 있다. 몇몇 실시예에서, 기준 픽셀이 프로세싱되는지 또는 안되는지, 그리고 그들이 프로세싱된다면 그들 픽셀에 무슨 종류의 프로세싱이 적용되는지가 신호될 수 있다.
몇몇 실시예에서, 적어도 허가된 방향성의 수만큼 많은 인트라 예측 모드가 존재한다. 이에 따라, 각각의 인트라 예측 모드는 단지 하나의 인트라 예측 결과를 생성하도록 설계될 수 있다. 그 경우, 투영에 관한 정보 및 예측에 djEjgs 기준 픽셀을 사용할지는 파라미터 또는 인트라 예측 모드에서의 다른 수단으로서 구현될 수 있다. 예를 들면, +1의 변위에 관련한 인트라 예측 모드에서, 픽셀의 마지막 행에 대한 예측 값이 +1 등의 변위를 갖는 현재 블록 위의 픽셀로부터 (예를 들면, 복사함으로써) 직접적으로 획득된다는 것을 나타내는 파라미터가 있을 수 있다. 또한 각각의 방향성에 대한 인트라 예측을 수행하는데 사용될 수 있고 파라미터를 인식할 수 있는 예측 프로세서(309)가 있을 수 있다.
예측 픽셀 값 또는 최적 양자화기(384)에 의해 양자화된 예측 픽셀 값이 모드 선택기의 출력으로서 제공된다.
모드 선택기의 출력이 제1 가산 디바이스(321)로 전달된다. 제1 가산 디바이스는 이미지(300)에서 픽셀 예측기(302) 출력을 차감하여, 예측 에러 인코더(303)에 입력되는 제1 예측 에러 신호(320)를 생성한다.
픽셀 예측기(302)는 또한 예비 재구성기(339)로부터 이미지 블록(312)의 예측 표현 및 예측 에러 디코더(304)의 출력(338)의 조합을 수신한다. 예비의 재구성 이미지(314)는 인트라-예측기(308) 및 필터(316)로 전달될 수 있다. 예비 표현을 수신하는 필터(316)는 예비 표현을 필터링하고, 기준 프레임 메모리(318)에 저장될 수 있는 최종 재구성 이미지(340)를 출력한다. 기준 프레임 메모리(318)는 미래의 이미지(300)가 인터-예측 동작 시에 비교되는 기준 이미지로서 사용되도록 인터-예측기(306)에 연결될 수 있다.
픽셀 예측기(302)의 동작은 당해 분야에 공지된 임의의 공지된 픽셀 예측 알고리즘을 실행하도록 구성될 수 있다.
픽셀 예측기(302)는 또한 픽셀 예측기(302)로부터 예측 값을 출력하기 전에 그들을 필터링하기 위한 필터(385)를 포함할 수 있다.
몇몇의 다른 실시예에서, 인접한 픽셀은 아니지만 서로 멀리 떨어져 있는 픽셀을 이용함으로써 예측 값이 획득될 수 있다. 이러한 예가 도 8e에 도시되어 있다. 예를 들면, 예측될 픽셀의 투영이, 도 8e의 화살표(810)로 도시된 바와 같이, 기준 픽셀 행의 제3 기준 픽셀과 제4 기준 픽셀 사이로 향하고 있다면, 예측 값은 제2 및 제5 기준 픽셀 값을 보간함으로써 획득될 수 있다. 상대적으로, 예측될 픽셀의 투영이 하나의 기준 픽셀로 향하고 있다면, 즉, 두 개의 값 사이가 아니라면, 도 8e의 화살표(811)로 도시된 바와 같이, 예측 값은 상기 하나의 기준 픽셀의 좌측의 기준 픽셀과 우측의 기준 픽셀을 보간함으로써 획득될 수 있다. 화살표(811)의 예에서, 제6 및 제7 기준 값이 보간에 사용된다.
예측 에러 인코더(302) 및 예측 에러 디코더(304)의 동작이 이후 보다 상세히 설명될 것이다. 다음의 예에서, 인코더는 풀(full) 이미지 또는 픽처를 형성하게 될 16x16 픽셀 매크로블록에 대한 이미지를 생성한다. 따라서, 다음의 예에 대하여, 픽셀 예측기(302)는 크기 16x16 픽셀의 일련의 예측 매크로블록을 출력하고, 제1 가산 디바이스(321)는 (픽셀 예측기(302)의 출력) 예측 매크로-블록에 대한 이미지(300)의 제1 매크로-블록 사이의 차이를 나타낼 수 있는 일련의 16x16 픽셀 잔차 데이터 매크로블록을 출력한다. 다른 크기의 매크로 블록이 이용될 수 있다는 것이 이해될 것이다.
예측 에러 인코더(303)는 변환 블록(342) 및 양자화기(344)를 포함한다. 변환 블록(342)은 제1 예측 에러 신호(320)를 변환 도메인으로 변환한다. 변화는, 예를 들면, DCT 변환이다. 양자화기(344)는 변환 도메인 신호, 예를 들면, DCT 계수를 양자화하여 양자화 계수를 형성한다.
엔트로피 인코더(330)는 예측 에러 인코더의 출력을 수신하고 그 신호에 대하여 적절한 엔트로피 인코딩/가변장 인코딩을 수행하여 에러 검출 및 정정 능력을 제공할 수 있다. 임의의 적절한 엔트로피 인코딩 알고리즘이 채용될 수 있다.
예측 에러 디코더(304)는 예측 에러 인코더(303)로부터의 출력을 수신하고, 예측 에러 인코더(303)의 역 프로세스를 수행하여, 제2 가산 디바이스(339)에서 이미지 블록(312)의 예측 표현과 결합될 때 예비 재구성 이미지(314)를 생성하는 디코딩 예층 에러 신호(338)를 생성한다. 예측 에러 디코더는, 양자화된 계수 값, 예를 들면, DCT 계수를 역양자화하여 변환 신호를 재구성하는 역양자화기(346), 및 재구성된 변환 신호에 대하여 역변환을 수행하는 역변환 블록(348)을 포함하는 것을 고려할 수 있으며, 여기서, 역변환 블록(348)의 출력은 재구성 블록(들)을 포함한다. 예측 에러 디코더는 또한 추가의 디코딩 정보 및 필터 파라미터에 따라 재구성 매크로블록을 필터링할 수 있는 매크로블록 필터(도시 생략)을 포함할 수 있다.
모드 선택기(310)의 동작 및 구현예가 도 5를 참조하여 더 상세히 도시되어 있다. 인터-예측기(306)의 출력, 인트라-예측기(308)의 출력 및/또는 이미지 신호(300)으로부터의 예측 신호에 기초하여, 블록 프로세서(381)는 현재의 이미지 블록을 인코딩하는데 어떤 인코딩 모드를 사용할지를 결정한다. 이러한 선택이 도 5의 블록(500)으로서 도시되어 있다. 블록 프로세서(381)는 레이트-왜곡 비용(rate-distortion cost; RD) 값 또는 모드 선택기(310)에 입력되는 예측 신호에 대한 다른 비용 값을 계산하고, 결정된 비용이 최소인 그러한 인코딩 모드를 선택한다(503, 504).
모드 선택기(310)는 현재 블록의 인코딩 모드의 표시를 제공한다(501). 표시가 인코딩되고 비트 스트림에 삽입되거나 이미지 정보와 함께 메모리에 저장된다. 인트라 예측 모드와 관련하여, 비트 스트림에 대한 선택된 인트라 예측 모드의 몇몇 표시를 포함하는 것이 필요할 수 있다. 예를 들면, 표시는 인트라 예측 모드의 방향성에 대한 정보를 포함할 수 있다. 몇몇의 예시적인 실시예에서, 방향성에 대한 정보는 변위 값으로 표시된다. 몇몇 실시예에서, 변위 값은 현재 블록의 마지막 행의 마지막 픽셀의 예측 값을 획득하기 위해 어떤 기준 값이 사용되는지를 표시한다. 몇몇의 다른 실시예에서, 방향성의 각 계수가 비트 스트림에 포함된다. 또 다른 실시예에서, 허가된 방향성 값(인트라 예측 모드)이 인덱싱되고 선택된 인트라 예측 모드의 인덱스가 비트 스트림에 포함된다.
표시는 그와 같이 비트 스트림에 포함되지 않을 수 있지만, 또한, 예를 들면, 엔트로피 인코딩에 의해 인코딩될 수 있다. 예측 방향 또한 이미지 블록의 이웃에서 사용된 예측 방향, 이전의 예측 방향의 통계 또는 다른 변수를 고려하는 예측 방식으로 엔트로피 코딩될 수 있다.
인트라-예측 모드가 선택되면, 블록은 인트라-예측 모드(503)에 의해 예측된다. 각각, 인터-예측 모드가 선택되면, 블록은 인터-예측 방법에 의해 예측된다(504).
도 4b는 인코더의 예시적인 실시예의 인트라 예측기(308)를 보다 상세히 도시한다. 인트라 예측기(308)는 예측 프로세서(309)에서 또는 또 다른 회로로서 구현될 수 있다. 예측 프로세서(309)는 개별 프로세서일 수 있거나, 블록 프로세서(310)와 동일한 프로세서일 수 있다. 인트라 예측기(308)는 예측될 픽셀을 선택하기 위한 픽셀 선택기를 포함한다. 또한, 선택된 픽셀에 대한 값을 예측하는데 사용될 예측 모드의 방향성을 결정하는 방향성 정의기(directionality definer; 401)가 존재한다. 방향성 정의기(401)는 파라미터 메모리(404)로부터 몇몇의 파라미터를 수신할 수 있다. 방향성이 결정되었다면, 투영 정의기(402)는 기준 픽셀의 세트로의 선택 픽셀의 투영을 정의한다. 투영 정의기(402)는 또한 파라미터 메모리(404)로부터 몇몇의 파라미터를 수신할 수 있다. 인트라 예측기(308)는 또한 투영 정의기로부터의 정보 및 선택된 픽셀에 대한 예측 값을 결정하기 위한 기준 픽셀의 세트를 사용하는 예측 정의기(403)를 포함할 수 있다. 인트라 예측기(308)는 블록의 모든 픽셀에 대하여 예측 값을 정의하기 위해 상기 단계의 일부 또는 전부를 반복할 수 있다. 방향성은, 몇몇 실시예에서 하나의 블록의 각각의 픽셀에 대하여 동일한 방향성이 사용되기 때문에 하나의 블록의 각각의 픽셀에 대하여 결정될 필요는 없다.
예시적인 실시예에서, 도 9에 도시된 바와 같이, 이미지의 비트 스트림은 이미지의 시작의 표시(910), 이미지의 각각의 블록의 이미지 정보(920), 및 이미지의 종료의 표시(930)를 포함한다. 이미지의 각각의 블록의 이미지 정보(920)는 예측 모드의 표시(922), 방향성의 표시(923), 및 이미지 블록에 대하여 인터- 또는 인트라-예측이 사용되었을 때 잔차 신호의 계수를 실질적으로 포함할 수 있는 블록의 픽셀 값의 표시(924)를 포함할 수 있다. 비트 스트림이 또한 다른 정보를 포함할 수 있다는 것은 자명하다. 또한, 이것은 단지 비트 스트림의 간략화된 이미지일 뿐이며, 실제 구현예에서는 비트 스트림의 콘텐츠가 도 9에 도시된 것과 상이할 수 있다.
비트 스트림은 엔트로피 인코더(330)에 의해 추가로 인코딩될 수 있다.
전술한 실시예가 16x16 픽셀인 매크로블록의 크기에 대하여 설명되었지만, 설명되는 방법 및 장치는 상이한 픽셀 크기의 매크로블록을 다루도록 구성될 수 있다는 것이 이해될 것이다.
다음에, 디코더(600)의 예시적인 실시예의 동작이 도 6을 참조하여 보다 상세하게 설명된다.
완성을 위해, 적절한 디코더가 이후 설명된다. 디코더 측에서, 이미지 블록을 재구성하기 위해 유사한 동작이 수행된다. 도 6은 본 발명의 실시예를 채용하는데 적절한 비디오 디코더의 블록도를 도시한다. 디코더는 수신된 신호에 대하여 엔트로피 디코딩을 수행하는 엔트로피 디코더(600)를 도시한다. 따라서, 엔트로피 디코더는 전술한 인코더의 엔트로피 인코더(330)에 대한 역동작을 수행한다. 엔트로피 디코더(600)는 엔트로피 디코딩의 결과를 예측 에러 디코더(602) 및 픽셀 예측기(604)로 출력한다.
픽셀 예측기(604)는 엔트로피 디코더(600)의 출력을 수신한다. 픽셀 예측기(604) 내의 예측기 선택기(614)는 인트라-예측, 인터-예측 또는 보간 동작이 수행될 것이라는 것을 결정한다. 예측기 선택기는 또한 이미지 블록(616)의 예측 표현을 제1 결합기(613)에 출력할 수 있다. 이미지 블록(616)의 예측 표현은 재구성 예측 에러 신호(612)와 결합하여 사용되어, 예비 재구성 이미지(618)를 생성한다. 예비 재구성 이미지(618)는 예측기(614)에서 사용될 수 있거나 필터(620)로 전달될 수 있다. 필터(620)는 최종 재구성 신호(622)를 출력하는 필터링을 적용한다. 최종 재구성 신호(622)는 기준 프레임 메모리9624)에 저장될 수 있고, 기준 프레임 메모리(624)는 또한 예측 동작을 위해 예측기(614)에 연결될 수 있다.
인트라-예측의 경우에, 픽셀 예측기(604)는 또한 방향성에 대한 표시를 수신할 수 있으며, 여기서, 픽셀 예측기(604)는 디코딩을 위해 대응하는 인트라 예측 모드를 선택할 수 있다.
예측 에러 디코더(602)는 엔트로피 디코더(600)의 출력을 수신한다. 예측 에러 디코더(602)의 역양자화기(692)는 엔트로피 디코더(600)의 출력을 역양자화할 수 있고, 역변환 블록(693)은 역양자화기(692)에 의해 출력된 역양자화 신호에 대하여 역변환 동작을 수행할 수 있다. 엔트로피 디코더(600)의 출력은 또한 예측 에러 신호가 적용되지 않을 것이라는 것을 표시할 수 있고, 이 경우, 예측 에러 디코더는 모두 제로 출력 신호를 생성한다. 이것은, 예를 들면, 본 발명의 예시적인 실시예에서의 경우이다. 그러나, 본 발명의 몇몇의 다른 실시예는 예측 에러 디코더 유닛을 적용하여 비제로(non-zero) 예측 에러 신호를 디코딩한다.
디코더는 16x16 픽셀 잔차 매크로블록을 선택하여 재구성한다. 재구성될 16x16 픽셀 잔차 매크로블록의 선택이 단계 700에 도시되어 있다.
디코더는 현재 블록이 인코딩되었을 때 사용된 인코딩 모드에 대한 정보를 수신한다. 필요할 때, 표시가 디코딩되고, 예측 선택기(614)의 재구성 프로세서(691)에 제공된다. 재구성 프로세서(691)는 표시을 검사하고(도 7의 블록 710), 표시가 블록이 인트라-예측을 이용하여 인코딩되었다는 것을 나타내면 인트라-예측 모드들 중 하나를 선택하고(블록 703), 표시가 블록이 인터-예측을 이용하여 인코딩되었다는 것을 나타내면 인터-예측 모드를 선택한다(블록 704). 디코더는 또한 현재 블록이 인트라 예측을 이용하여 인코딩되었을 때 현재 블록에 관한 방향성에 대한 정보를 수신할 수 있다. 이 문맥에서는 단지 인트라 예측 모드에서 디코더의 동작만을 보다 상세히 설명한다.
인트라 예측 모드에서, 재구성 프로세서(691)는 방향성에 관한 정보를 디코딩한다(블록 705). 몇몇 실시예에서, 방향성 표시는 디코딩될 블록에 대한 예측 값이 어떻게 획득될 수 있고 인트라 예측에서 어떤 기준 픽셀을 사용할지를 결정하는데 충분하다. 재구성 프로세서(691)는 또한 인트라 예측에서 인코더에 의해 사용된 기준 포인트를 결정하고(블록 706), 현재 블록의 예측 값을 제공한다(블록 707).
인트라-예측 모드에서, 재구성 프로세서(691)는 현재 블록의 픽셀 값의 재구성을 위해 예비 재구성 이미지(618)를 예측기 블록(695)에 제공할 수 있다.
전술한 본 발명의 실시예는 수반되는 프로세스의 이해를 돕기 위해 개별 인코더 및 디코더 장치와 관련하여 코덱을 설명한다. 그러나, 장치, 구조 및 동작이 단일 인코더-디코더 장치/구조/동작으로서 구현될 수 있다는 것이 이해될 것이다. 또한, 본 발명의 몇몇 실시예에서, 코더 및 디코더는 몇몇의 또는 모든 공통 소자를 공유할 수 있다.
전술한 예가 전자 디바이스 내의 코덱 내에서 동작하는 본 발명의 실시예를 설명하지만, 아래에 설명되는 바와 같이 본 발명은 임의의 비디오 코덱의 일부로서 구현될 수 있다. 따라서, 예를 들면, 본 발명의 실시예는 고정 또는 유선 통신 경로를 통해 비디오 코딩을 구현할 수 있는 비디오 코덱에서 구현될 수 있다.
따라서, 사용자 장비는 상기 본 발명의 실시예에서 설명된 것과 같은 비디오 코덱을 포함할 수 있다.
용어 사용자 장비는 이동 전화, 휴대용 데이터 처리 디바이스 또는 휴대용 웹 브라우저와 같은 임의의 적절한 유형의 무선 사용자 장비를 커버하고자 한다는 것이 이해될 것이다.
더욱이, PLMN(public land mobile network)의 소자 또한 전술한 바와 같은 비디오 코덱을 포함할 수 있다.
일반적으로, 본 발명의 다양한 실시예들이 하드웨어 또는 전용 회로, 소프트웨어, 논리 회로 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 본 발명을 한정하려는 것은 아니지만, 몇몇 양상들은 하드웨어로 구현되는 반면에, 다른 양상들은 콘트롤러, 마이크로프로세서 또는 다른 컴퓨팅 디바이스들에 의해 수행될 수 있는 펌웨어나 소프트웨어로 구현될 수 있다. 본 발명의 다양한 양상들이 블록도, 흐름도 또는 다른 도식적 표현을 이용해 예시 및 설명되었지만, 여기서 설명되는 이들 블록, 장치, 시스템, 기술 또는 방법은, 한정하는 것은 아니지만, 하드웨어, 소프트웨어, 펌웨어, 전용 회로 또는 논리적인 범용 하드웨어, 또는 콘트롤러, 또는 그 밖의 컴퓨팅 디바이스, 또는 이들의 몇몇 조합으로 구현될 수 있다.
본 발명의 실시예들이, 예를 들면, 프로세서 엔티티에서와 같은 이동 장치의 데이터 프로세서에 의해 실행 가능한 컴퓨터 소프트 웨어에 의해, 또는 하드웨어에 의해, 또는 소프트웨어와 하드웨어의 조합에 의해 구현될 수 있다. 또한, 이와 관련하여, 도면에서 논리 흐름의 모든 블록들은 프로그램 단계들이나, 또는 상호 접속된 논리 회로들, 블록들 및 기능들, 또는 프로그램 단계와 논리 회로, 블록들 및 기능의 조합을 나타내는 것일 수 있다. 소프트웨어는 메모리 칩, 또는 프로세서 내에 구현된 메모리 블록, 하드 디스크 또는 플로피 디스크와 같은 자기 매체, 및 예를 들면, DVD 및 그의 데이터 변형, CD와 같은 광학 매체 같은 물리적 매체 상에 저장될 수 있다.
메모리는 논리적 기술 환경에 적합한 모든 유형의 것일 수 있으며, 예를 들면 반도체 기반 메모리 장치, 자기 메모리 장치 및 시스템, 광학 메모리 장치 및 시스템, 고정 메모리 및 제거 가능 메모리 등 모든 적당한 데이터 저장 기술을 이용하여 구현될 수 있다. 데이터 프로세서는 로컬 기술 환경에 적합한 모든 유형의 것일 수 있으며, 한정하는 것은 아니지만, 하나 이상의 범용 컴퓨터, 전용 컴퓨터, 마이크로프로세서, DSP 및 멀티 코어 프로세서 아키텍처에 기반한 프로세서를 포함할 수 있다.
본 발명의 실시예들은 예를 들면 IC 모듈처럼 다양한 성분들로 실행될 수 있다. IC의 설계는 대량의 고도로 자동화된 프로세스에 의한다. 복합적이고 강력한 소프트웨어 툴을 이용하여 논리 레벨 설계를 반도체 기판 상에 에칭 및 형성되기 쉬운 반도체 회로 설계로 바꾸는 것이 가능하다.
캘리포니아주 마운틴뷰의 시놉시스사(Synopsys, Inc)와 캘리포니아주 산 호세의 카덴스 디자인(Cadence Design)에 의해 공급되는 프로그램들과 같은 프로그램들은 도전체를 자동으로 경로 지정하고, 사전 저장된 설계 모듈의 라이브러와 함께 잘 설정된 설계 규칙을 이용해 반도체 칩 상에 자동으로 컴포넌트들을 위치시킨다. 일단 반도체 회로의 설계가 완료되면, 최종 설계는 규격화된 전자 포맷(예를 들면 Opus, GDSII 등)으로 반도체 제조 시설 또는 제조실(fab)로 전송될 수 있다.
전술한 설명은 예를 든 것으로, 본 발명의 예시적인 실시예에 대한 완전한 정보를 주는 것이지 제한하려는 것은 아니다. 그러나, 본 기술분야에 통상의 지식을 가진 사람이 첨부된 특허청구범위와 도면을 참조하여 전술한 설명을 읽는다면 다양한 수정과 변형이 이루어질 수 있음을 명확히 알 수 있을 것이다. 그러나 본 발명의 사상에 대한 이러한 유사한 수정들은 첨부된 특허청구범위가 정의하는 본 발명의 범주 내에 여전히 있을 것이다.
Claims (24)
- 예측을 위한 픽셀을 선택하도록 구성된 선택기와,
기준 픽셀의 세트로의 상기 픽셀의 투영(projection)을 결정하도록 구성된 투영 정의기(projection definer)와,
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하고, 상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측값을 획득하도록 구성된 예측 정의기를 포함하는
장치.
- 제 1 항에 있어서,
제 1 투영을 위한 제 1 비용 값 및 제 2 투영을 위한 제 2 비용 값을 평가하는 비용 평가기를 더 포함하되,
상기 선택기는 상기 제 1 비용 값과 상기 제 2 비용 값에 기초하여 인코딩을 위한 투영을 선택하도록 또한 구성되는
장치.
- 제 1 항에 있어서,
상기 투영 정의기는 픽셀들의 현재 블록에 대한 방향 값을 결정하도록 또한 구성되는
장치.
- 제 1 항에 있어서,
상기 투영 정의기는 상기 투영이 상기 픽셀의 세트 중 한 픽셀로 향하는지를 검사하도록 또한 구성되고, 한 픽셀로 향한다면, 상기 예측 정의기는 상기 기준 픽셀의 값을 상기 선택된 픽셀의 예측 값으로서 사용하도록 또한 구성되는
장치.
- 제 1 항에 있어서,
적어도 두 개의 기준 픽셀을 이용하여 상기 선택된 픽셀의 예측 값을 획득하도록 구성되고, 상기 예측 값은 상기 적어도 두 개의 기준 픽셀의 값들을 보간함으로써 결정되는
장치.
- 제 1 항에 있어서,
상기 투영 및 선택된 인코딩 방법을 나타내는 정보를 비트 스트림으로 인코딩하도록 또한 구성되는
장치.
- 제 1 항에 있어서,
상기 투영은 현재 블록의 한 픽셀과 하나의 기준 포인트에 기초하여 결정되는 변위 값(displacement value)으로 표시될 수 있는
장치.
- 제 1 항에 있어서,
상기 이미지는 두 개 이상의 행 및 두 개 이상의 열로 적어도 네 개의 픽셀 블록을 포함하고, 각각의 픽셀 블록은 적어도 두 개의 픽셀 행 및 두 개의 픽셀 열을 포함하며,
상기 장치는 좌에서 우로 그리고 상부에서 하부로의 블록 형태로 이미지를 인코딩하도록 또한 구성되고, 상기 투영 정의기는 제어 포인트로서 상기 블록의 하부 우측 코너의 픽셀에 기초하여 상기 투영을 결정하도록 구성되는
장치.
- 예측을 위한 픽셀을 선택하는 단계와,
기준 픽셀의 세트로의 상기 픽셀의 투영을 결정하는 단계와,
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하는 단계와,
상기 선택된 하나 이상의 기준 픽셀을 이용함으로써 투영될 상기 픽셀에 대한 예측 값을 획득하는 단계를 포함하는
방법.
- 제 9 항에 있어서,
픽셀들의 현재 블록에 대한 방향 값을 결정하는 단계를 더 포함하는
방법.
- 제 9 항에 있어서,
상기 투영이 상기 픽셀의 세트 중 한 픽셀로 향하는지를 검사하고, 한 픽셀로 향한다면, 상기 기준 픽셀의 값을 상기 선택된 픽셀의 예측 값으로서 사용하는 단계를 더 포함하는
방법. - 제 9 항에 있어서,
적어도 두 개의 기준 픽셀을 이용하여 상기 선택된 픽셀의 예측 값을 획득하는 단계와,
상기 적어도 두 개의 기준 픽셀의 값들을 보간함으로써 상기 예측 값을 결정하는 단계를 더 포함하는
방법.
- 제 9 항에 있어서,
상기 투영 및 선택된 인코딩 방법을 나타내는 정보를 비트 스트림으로 인코딩하는 단계를 더 포함하는
방법.
- 제 9 항에 있어서,
상기 투영을 현재 블록의 한 픽셀과 하나의 기준 포인트에 기초하여 결정되는 변위 값으로 표시하는 단계를 더 포함하는
방법.
- 제 9 항에 있어서,
상기 이미지는 두 개 이상의 행 및 두 개 이상의 열로 적어도 네 개의 픽셀 블록을 포함하고, 각각의 픽셀 블록은 적어도 두 개의 픽셀 행 및 두 개의 픽셀 열을 포함하며,
상기 방법은 제어 포인트로서 상기 블록의 하부 우측 코너의 픽셀에 기초하여 상기 투영을 결정하는 단계를 더 포함하는
방법.
- 장치에 의한 사용을 위해 코드를 저장한 컴퓨터 판독가능 저장 매체로서,
상기 코드는, 프로세서에 의해 실행될 때, 상기 장치로 하여금,
예측을 위한 픽셀을 선택하고,
기준 픽셀의 세트로의 상기 픽셀의 투영을 결정하며,
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하고,
상기 선택된 하나 이상의 기준 픽셀을 이용함으로써 투영될 상기 픽셀에 대한 예측 값을 획득하게 하는
컴퓨터 판독가능 저장 매체.
- 디코딩될 이미지의 픽셀 블록에 관한 방향성의 표시를 검사하도록 구성된 분석기와,
재구성기를 포함하되,
상기 재구성기는,
기준 픽셀의 세트 상에 디코딩될 상기 픽셀 블록 중 한 픽셀의 투영을 결정하고,
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하며,
상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측 값을 획득하도록 구성된
장치.
- 제 17 항에 있어서,
상기 투영의 표시를 수신하도록 또한 구성되는
장치.
- 제 17 항에 있어서,
상기 재구성기는 적어도 두 개의 기준 픽셀을 이용하여 상기 선택된 픽셀의 예측 값을 획득하도록 또한 구성되고, 상기 예측 값은 상기 적어도 두 개의 기준 픽셀의 값을 보간함으로써 결정되는
장치.
- 디코딩될 이미지의 픽셀 블록에 관한 방향성의 표시를 검사하는 단계와,
기준 픽셀의 세트 상에 디코딩될 상기 픽셀 블록 중 한 픽셀의 투영을 결정하는 단계와,
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하는 단계와,
상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측 값을 획득하는 단계를 포함하는
방법.
- 제 20 항에 있어서,
상기 투영의 표시를 수신하는 단계를 더 포함하는
방법.
- 제 20 항에 있어서,
상기 투영이 상기 픽셀의 세트 중 한 픽셀로 향하는지를 검사하는 단계와, 한 픽셀로 향한다면, 상기 기준 픽셀의 값을 상기 선택된 픽셀의 예측 값으로서 사용하는 단계를 더 포함하는
방법.
- 제 20 항에 있어서,
적어도 두 개의 기준 픽셀을 이용하여 상기 선택된 픽셀의 예측 값을 획득하는 단계와,
상기 적어도 두 개의 기준 픽셀의 값을 보간함으로써 상기 예측 값을 결정하는 단계를 더 포함하는
방법.
- 장치에 의한 사용을 위해 코드를 저장한 컴퓨터 판독가능 저장 매체로서,
상기 코드는, 프로세서에 의해 실행될 때, 상기 장치로 하여금,
디코딩될 이미지의 픽셀 블록에 관한 방향성의 표시를 검사하고,
기준 픽셀의 세트 상에 디코딩될 상기 픽셀 블록 중 한 픽셀의 투영을 결정하며,
상기 투영에 기초하여 상기 기준 픽셀의 세트로부터 하나 이상의 기준 픽셀을 선택하고,
상기 선택된 하나 이상의 기준 픽셀을 이용하여 예측될 상기 픽셀에 대한 예측 값을 획득하게 하는
컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US30230310P | 2010-02-08 | 2010-02-08 | |
| US61/302,303 | 2010-02-08 | ||
| PCT/IB2011/050535 WO2011095959A1 (en) | 2010-02-08 | 2011-02-08 | An apparatus, a method and a computer program for video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120118498A true KR20120118498A (ko) | 2012-10-26 |
| KR101464057B1 KR101464057B1 (ko) | 2014-11-21 |
Family
ID=44353700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020127023340A KR101464057B1 (ko) | 2010-02-08 | 2011-02-08 | 비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램 |
Country Status (6)
| Country | Link |
|---|---|
| US (6) | US9736486B2 (ko) |
| EP (1) | EP2534843A4 (ko) |
| KR (1) | KR101464057B1 (ko) |
| CN (1) | CN102845063B (ko) |
| TW (1) | TWI562600B (ko) |
| WO (1) | WO2011095959A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101461209B1 (ko) * | 2011-11-03 | 2014-11-14 | 구글 인코포레이티드 | ２ｄ 매트릭스들에 인코딩 파라미터들을 저장하는 이미지 압축을 위한 방법 및 장치 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2534843A4 (en) * | 2010-02-08 | 2017-01-18 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding |
| EP2375751A1 (en) | 2010-04-12 | 2011-10-12 | Panasonic Corporation | Complexity reduction of edge-detection based spatial interpolation |
| US20120243606A1 (en) * | 2010-09-24 | 2012-09-27 | Nokia Corporation | Methods, apparatuses and computer programs for video coding |
| CA3000998C (en) | 2011-01-12 | 2018-10-30 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method, and image decoding method |
| US8811760B2 (en) * | 2011-10-25 | 2014-08-19 | Mitsubishi Electric Research Laboratories, Inc. | Coding images using intra prediction modes |
| GB2501535A (en) | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
| CN105635731B (zh) * | 2016-01-07 | 2018-11-20 | 西安电子科技大学 | 高效视频编码的帧内预测参考点预处理方法 |
| EP3566445A4 (en) * | 2017-01-03 | 2020-09-02 | Nokia Technologies Oy | APPARATUS, PROCESS AND COMPUTER PROGRAM FOR VIDEO CODING AND DECODING |
| WO2018132380A1 (en) * | 2017-01-13 | 2018-07-19 | Vid Scale, Inc. | Prediction approaches for intra planar coding |
| US10924747B2 (en) * | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
| EP3432581A1 (en) * | 2017-07-21 | 2019-01-23 | Thomson Licensing | Methods, devices and stream for encoding and decoding volumetric video |
| WO2019047883A1 (en) * | 2017-09-08 | 2019-03-14 | Fg Innovation Ip Company Limited | DEVICE AND METHOD FOR ENCODING VIDEO DATA BASED ON MULTIPLE REFERENCE LINES |
| WO2019124205A1 (ja) * | 2017-12-18 | 2019-06-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
| US11284066B2 (en) * | 2018-10-10 | 2022-03-22 | Tencent America LLC | Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode |
| WO2020132908A1 (zh) | 2018-12-25 | 2020-07-02 | Oppo广东移动通信有限公司 | 解码预测方法、装置及计算机存储介质 |
| CN116614633A (zh) | 2019-01-02 | 2023-08-18 | Oppo广东移动通信有限公司 | 解码预测方法、装置及计算机存储介质 |
| CN110072112B (zh) * | 2019-03-12 | 2023-05-12 | 浙江大华技术股份有限公司 | 帧内预测方法、编码器及存储装置 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6510178B1 (en) | 1999-12-15 | 2003-01-21 | Zenith Electronics Corporation | Compensating for drift in the down conversion of high definition sequences to lower resolution sequences |
| FI116819B (fi) | 2000-01-21 | 2006-02-28 | Nokia Corp | Menetelmä kuvien lähettämiseksi ja kuvakooderi |
| CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
| BRPI0406625A (pt) | 2003-01-07 | 2005-12-06 | Thomson Licensing Sa | Inter / intra vìdeo-codificação mista de partições de macroblocos |
| JP4559811B2 (ja) | 2004-09-30 | 2010-10-13 | 株式会社東芝 | 情報処理装置及び情報処理方法 |
| US7830960B2 (en) * | 2005-01-13 | 2010-11-09 | Qualcomm Incorporated | Mode selection techniques for intra-prediction video encoding |
| KR101246915B1 (ko) | 2005-04-18 | 2013-03-25 | 삼성전자주식회사 | 동영상 부호화 또는 복호화 방법 및 장치 |
| KR100750145B1 (ko) * | 2005-12-12 | 2007-08-21 | 삼성전자주식회사 | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 |
| US8000390B2 (en) | 2006-04-28 | 2011-08-16 | Sharp Laboratories Of America, Inc. | Methods and systems for efficient prediction-mode selection |
| AU2006346583B2 (en) | 2006-07-28 | 2011-04-28 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and apparatus |
| CN101711481B (zh) * | 2006-10-18 | 2013-01-09 | 汤姆森特许公司 | 使用预测数据精选进行视频编码的方法和装置 |
| US8942505B2 (en) * | 2007-01-09 | 2015-01-27 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptive filter representation |
| JP5026092B2 (ja) * | 2007-01-12 | 2012-09-12 | 三菱電機株式会社 | 動画像復号装置および動画像復号方法 |
| US9237357B2 (en) | 2007-09-02 | 2016-01-12 | Lg Electronics Inc. | Method and an apparatus for processing a video signal |
| JP2009094828A (ja) * | 2007-10-10 | 2009-04-30 | Hitachi Ltd | 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法 |
| EP2081386A1 (en) * | 2008-01-18 | 2009-07-22 | Panasonic Corporation | High precision edge prediction for intracoding |
| KR20090095316A (ko) | 2008-03-05 | 2009-09-09 | 삼성전자주식회사 | 영상 인트라 예측 방법 및 장치 |
| KR101517768B1 (ko) * | 2008-07-02 | 2015-05-06 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| KR101306834B1 (ko) * | 2008-09-22 | 2013-09-10 | 에스케이텔레콤 주식회사 | 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법 |
| US8542938B2 (en) * | 2008-12-31 | 2013-09-24 | Entropic Communications, Inc. | System and method for intra-frame compression using predictive coding |
| US20110002386A1 (en) * | 2009-07-06 | 2011-01-06 | Mediatek Singapore Pte. Ltd. | Video encoder and method for performing intra-prediction and video data compression |
| EP2534843A4 (en) * | 2010-02-08 | 2017-01-18 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding |
| US9800884B2 (en) * | 2013-03-15 | 2017-10-24 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| US20150195554A1 (en) * | 2014-01-03 | 2015-07-09 | Sharp Laboratories Of America, Inc. | Constraints and enhancements for a scalable video coding system |
-
2011
- 2011-02-08 EP EP11739487.4A patent/EP2534843A4/en not_active Ceased
- 2011-02-08 CN CN201180017741.5A patent/CN102845063B/zh active Active
- 2011-02-08 TW TW100104118A patent/TWI562600B/zh active
- 2011-02-08 WO PCT/IB2011/050535 patent/WO2011095959A1/en active Application Filing
- 2011-02-08 US US13/023,328 patent/US9736486B2/en active Active
- 2011-02-08 KR KR1020127023340A patent/KR101464057B1/ko active IP Right Grant
-
2017
- 2017-08-14 US US15/676,665 patent/US9948937B2/en active Active
-
2018
- 2018-04-12 US US15/951,516 patent/US10212433B2/en active Active
-
2019
- 2019-02-18 US US16/278,596 patent/US10666956B2/en active Active
-
2020
- 2020-05-22 US US16/882,199 patent/US11368700B2/en active Active
-
2022
- 2022-06-09 US US17/836,309 patent/US20220303556A1/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101461209B1 (ko) * | 2011-11-03 | 2014-11-14 | 구글 인코포레이티드 | ２ｄ 매트릭스들에 인코딩 파라미터들을 저장하는 이미지 압축을 위한 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102845063A (zh) | 2012-12-26 |
| US20180234685A1 (en) | 2018-08-16 |
| CN102845063B (zh) | 2016-05-11 |
| US20180048900A1 (en) | 2018-02-15 |
| US11368700B2 (en) | 2022-06-21 |
| US20110194603A1 (en) | 2011-08-11 |
| US20220303556A1 (en) | 2022-09-22 |
| WO2011095959A1 (en) | 2011-08-11 |
| KR101464057B1 (ko) | 2014-11-21 |
| US9948937B2 (en) | 2018-04-17 |
| EP2534843A1 (en) | 2012-12-19 |
| US20200288153A1 (en) | 2020-09-10 |
| EP2534843A4 (en) | 2017-01-18 |
| US9736486B2 (en) | 2017-08-15 |
| US10666956B2 (en) | 2020-05-26 |
| TW201201591A (en) | 2012-01-01 |
| US10212433B2 (en) | 2019-02-19 |
| TWI562600B (en) | 2016-12-11 |
| US20190200026A1 (en) | 2019-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11368700B2 (en) | Apparatus, a method and a computer program for video coding | |
| US20240064326A1 (en) | Motion prediction in video coding | |
| US8724692B2 (en) | Apparatus, a method and a computer program for video coding | |
| US8848801B2 (en) | Apparatus, a method and a computer program for video processing | |
| US9280835B2 (en) | Method for coding and an apparatus based on a DC prediction value | |
| US20120243606A1 (en) | Methods, apparatuses and computer programs for video coding | |
| US9432699B2 (en) | Methods, apparatuses and computer programs for video coding | |
| WO2010116268A1 (en) | Method and apparatus for encoding and decoding of image and video signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20171018 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20181018 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20191016 Year of fee payment: 6 |