KR101873207B1 - 비디오 코딩 디바이스의 기준 이미지들의 압축 및 압축해제 - Google Patents
비디오 코딩 디바이스의 기준 이미지들의 압축 및 압축해제 Download PDFInfo
- Publication number
- KR101873207B1 KR101873207B1 KR1020137020898A KR20137020898A KR101873207B1 KR 101873207 B1 KR101873207 B1 KR 101873207B1 KR 1020137020898 A KR1020137020898 A KR 1020137020898A KR 20137020898 A KR20137020898 A KR 20137020898A KR 101873207 B1 KR101873207 B1 KR 101873207B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- rule
- reconstructed
- compressed
- mode
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
- H04N19/428—Recompression, e.g. by spatial or temporal decimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Abstract
본 발명은 예측 코딩의 프레임워크 내에서 재구성된 이미지를 제공하기 위한 방법들 및 디바이스들에 관한 것이다. 본 발명에 따라, 상기 재구성된 이미지는 이미지 코딩 디바이스의 코딩 모드에 따라 압축되고 기준 이미지 메모리 내에 저장된다.
Description
본 발명은 재구성된(reconstructed) 이미지를 제공하기 위한 방법들 및 디바이스들에 관한 것이다.
지난 수년 동안, 코딩될 필요가 있는 픽처 포맷들은, 예를 들어 새로운 유형들의 기록 시스템들의 도입으로 인해 크기에 있어서 끊임없이 증가해오고 있다. 따라서, 현재 발생하는 변화들 중 하나는, 지난 50년에 걸쳐 유럽에서 이용되고 있으며 625×576 픽셀들의 프레임 크기에 기초하는 PAL(Phase Alternation Line 방법)로 알려진 텔레비전 송신 시스템으로부터, 1920×1080 픽셀들 또는 1280×720 픽셀들을 이용한 HDTV(High Definition Television) 포맷으로의 변천이다. 장래에는 새로운 유형들의 텔레비전 시스템들에서 심지어 더 큰 이미지 포맷들이 도입될 것으로 예상된다.
HDTV 및 장래의 시스템들은, 비디오 이미지들(프레임들)이 예를 들어, 인터넷을 통해 또는 모바일 통신 채널들을 통해 전송될 수 있는 방식으로, 비디오 이미지들(프레임들)의 시퀀스를 압축하기 위해 디지털 압축 방법들을 이용한다. 그러나, 프레임 포맷들의 크기의 증가는 또한, 비디오 데이터 시퀀스를 압축하기 위해 요구되는 컴퓨팅 능력에서의 그리고 이를 위해 요구되는 스토리지 공간의 양에서의 상당한 증가를 초래한다. 이것의 결과는, 압축 방법들을 구현하는 컴퓨팅 유닛들과 메모리 사이의 데이터 전달에서의 상당한 증가가 또한 존재한다는 것이다.
이러한 이유로, 연구 그룹들, 이를 테면 Joint Collaborative Team on Video Coding (JCT-VC) 예를 들어, ITU(ITU:국제 전기 통신 연합(International Telecommunication Union) 및 ISO/IEC(ISO:국제 표준화 기구(International Standardization Organization), IEC:국제 전기 표준 회의(International Electrotechnical Commission))의 공동 작업 단체는, 압축 레이트(rate)를 개선하는 것에 대해서뿐만 아니라, 비디오 이미지들이 각각의 코덱들의 기준 프레임 버퍼(reference frame buffer)들 내에 효율적으로 저장되고 자원들의 측면에서 경제적인 방식으로 액세스되는 것을 가능하게 하는 표준화 방법들에 대해서도 작업하고 있다.
도 1은 프레임들의 시퀀스를 압축하기 위한 알려진 디바이스를 도시하며, 상기 디바이스는 기준 프레임 버퍼(reference frame buffer(SRB))를 갖는다. 이러한 경우, 프레임들은 예를 들어, 인터 코딩 모드(inter coding mode)로 또한 알려진 예측 코딩(predictive coding) 방식에 의해 코딩된다. 프레임들 중 하나는, 예를 들어 16×16 픽셀들로 이루어진 프레임 블록들(frame blocks(BB))로 분해되고, 그 후에 프레임 블록 단위로 인코딩된다. 그 다음으로, 프레임 블록들 중 하나에 있어서, 프레임 블록의 프레임 콘텐트를 추정하기 위한 양호한 기초를 제공하는 기준 프레임(reference frame(REF)) 내의 기준 프레임 블록(reference frame block(RBB))에 대한 탐색이 이루어진다. 이러한 목적을 위해, 프레임 블록은 모션 추정 유닛(Motion Estimation Unit(ME))에 전달되고, 상기 모션 추정 유닛(ME)은, 프레임 압축해제 유닛(frame compression unit(PC))에 의한 프레임 압축해제 이후에, 기준 프레임(REF)의 부분들을 포함하는 기준 서브프레임(reference subframe(REFT))에 기초하여, 기준 서브프레임으로부터 기준 프레임 블록을 선택하고, 선택된 기준 프레임 블록을 모션 벡터(Motion Vector(MV))에 의해 모션 보상 유닛(Motion Compensation Unit(MC))에 시그널링(signal)한다. 모션 보상 유닛은 기준 프레임 및 모션 벡터에 기초하여 기준 프레임 블록을 제공한다.
다음 단계에서, 프레임 블록(BB)으로부터 기준 프레임 블록(RBB)을 감함으로써 차이(difference) 프레임 블록(BD)이 발생된다. 차이 프레임 블록은 그 후에, 예를 들어 이산 코사인 변환(transform) 방법에 따라 변환 유닛(T)에서 변환된다. 변환 유닛의 출력에서, 이용가능한 변환 계수들(TK)이 존재하며, 상기 변환 계수들(TK)은 그 후에 양자화를 위해 양자화 유닛(Q)에 공급된다. 양자화 유닛의 출력에서, 이용가능한 양자화된 변환 계수들(TQ)이 존재하며, 상기 양자화된 변환 계수들(TQ)은 엔트로피 코딩 유닛(EC)에 의해 수행되는 엔트로피 코딩에 의해 출력 신호(AS)로 전환(convert)된다.
양자화된 변환 계수들(TQ)은 피드백 루프 내에서, 역(inverse) 양자화 유닛(IQ)에 의해 수행되는 역 양자화에 의해, 재구성된 변환 계수들(TKR)로 전환된다. 상기 재구성된 변환 계수들(TKR)은, 역 변환 유닛(IT)에 의한 역 변환에 의해, 재구성된 차이 프레임 블록(BDR)으로 변환된다. 추가의 단계에서, 재구성된 차이 프레임 블록(BDR)과 기준 프레임 블록(RBB)을 합함으로써, 재구성된 프레임 블록(RBM)이 발생된다.
더 오래된 코딩 방법들에서, 재구성된 프레임 블록은 기준 프레임 버퍼 내로 직접적으로 기록된다. 현재 사용되는 표준화 방법들에서, 데이터 볼륨을 감소시키기 위해, 재구성된 프레임 블록은 초기에 프레임 압축 유닛(PC)에 의해 또한 프레임 압축되며, 이는 재구성된 프레임 블록의 데이터 볼륨을 상당히 감소시킨다. 프레임 압축 유닛(PC)의 결과로서 생성된, 압축된 재구성된 프레임 블록(RBC)은 그 후에 기준 프레임 버퍼 내에 저장된다. 모션 추정 유닛 및 모션 보상 유닛이, 요구되는 프레임 데이터에 액세스하는 것을 허용하기 위해, 기준 프레임(REF) 또는 기준 프레임의 특정 세부사항(detail)이 요청될 때, 각각의 압축된 재구성된 프레임 블록은 먼저 기준 프레임 버퍼(SRB)로부터 판독되고, 프레임 압축해제 유닛(PD)에 의해 수행되는 프레임 압축해제에 의해 기준 서브프레임(REFT)으로 전환된다.
도 2는 도 1에 도시된 인코더에 대응하는 디코더를 도시한다. 이러한 경우에, 출력 신호(AS)는 엔트로피 디코딩 유닛(ED)에 의해, 양자화된 변환 계수들(TQ)로 디코딩된다. 더욱이, 양자화된 변환 계수들은 역 양자화 유닛(IQ)에 의해, 재구성된 변환 계수들(TKR)로 역으로 양자화된다. 이에 이어서, 역 변환 유닛(IT)에 의해, 재구성된 변환 계수들(TKR)의, 재구성된 차이 프레임 블록(BDR)으로의 역 변환이 뒤따른다.
출력 신호에 부가하여, 특히 각각의 모션 벡터(MV)가 또한 디코더에 전송된다. 이로부터, 기준 서브프레임(REFT)을 이용하여, 디코더는 모션 보상 유닛(MC)에 의해, 기준 프레임 블록(RBB)을 결정할 수 있으며, 상기 기준 프레임 블록(RBB)은 재구성된 차이 프레임 블록과의 합(addition)에 의해, 재구성된 프레임 블록(RBM)으로 전환된다.
재구성된 프레임 블록(RBM)은 예를 들어 디스플레이 상에서 시각화될 수 있다. 재구성된 프레임 블록(RBM)은 그 후에, 프레임 압축 유닛(PC)에 의해 수행되는 압축에 의해, 압축된 재구성된 프레임 블록(RBC)으로 전환되고, 그 다음으로 상기 압축된 재구성된 프레임 블록(RBC)은 기준 프레임 버퍼(SRB) 내에 저장된다. 기준 프레임 버퍼 내에 저장된, 압축된 재구성된 프레임 블록들은 프레임 압축해제 유닛(PD)에 의해 기준 서브프레임으로 압축해제될 수 있다.
인용문헌 [1]은 플로팅-포인트 DCT 변환(DCT-이산 코사인 변환) 및 변환 후에 2차원적으로 배열되는 1차원적 표현의 계수들의 스캐닝에 이어 비트-플레인 코딩이 수행되는 무손실 프레임 압축 방법/프레임 압축해제 방법을 기술한다.
인용문헌 [2]에 따른 방법에서, 버퍼 메모리 액세스 대역폭 감소 기법이 제안된다. 이러한 경우, 변환 및 양자화뿐만 아니라, DC 예측 및 엔트로피 코딩이 프레임 압축 유닛(PC)을 위해 제안되거나 또는 그에 대한 역(inverse) 단계가 프레임 압축해제 유닛(PD)을 위해 제안된다.
추가의 인용문헌 [3]에서, 블록해제(deblocking) 프레임 메모리의 업스트림 및 다운스트림 프레임 데이터의 압축 및 압축해제 대한 테스트 결과들이 각각 제공된다.
마지막으로, 인용문헌 [4]에서, 1차원적 DPCM-기반 프레임 메모리 압축 방법(DPCM-차분 펄스 코드 변조)이 제공된다.
적어도 인용문헌[1] 내지 인용문헌[4]에서 제안된 압축 방법들은 무손실이다.
HDTV 및 장래의 시스템들은, 비디오 이미지들(프레임들)이 예를 들어, 인터넷을 통해 또는 모바일 통신 채널들을 통해 전송될 수 있는 방식으로, 비디오 이미지들(프레임들)의 시퀀스를 압축하기 위해 디지털 압축 방법들을 이용한다. 그러나, 프레임 포맷들의 크기의 증가는 또한, 비디오 데이터 시퀀스를 압축하기 위해 요구되는 컴퓨팅 능력에서의 그리고 이를 위해 요구되는 스토리지 공간의 양에서의 상당한 증가를 초래한다. 이것의 결과는, 압축 방법들을 구현하는 컴퓨팅 유닛들과 메모리 사이의 데이터 전달에서의 상당한 증가가 또한 존재한다는 것이다.
이러한 이유로, 연구 그룹들, 이를 테면 Joint Collaborative Team on Video Coding (JCT-VC) 예를 들어, ITU(ITU:국제 전기 통신 연합(International Telecommunication Union) 및 ISO/IEC(ISO:국제 표준화 기구(International Standardization Organization), IEC:국제 전기 표준 회의(International Electrotechnical Commission))의 공동 작업 단체는, 압축 레이트(rate)를 개선하는 것에 대해서뿐만 아니라, 비디오 이미지들이 각각의 코덱들의 기준 프레임 버퍼(reference frame buffer)들 내에 효율적으로 저장되고 자원들의 측면에서 경제적인 방식으로 액세스되는 것을 가능하게 하는 표준화 방법들에 대해서도 작업하고 있다.
도 1은 프레임들의 시퀀스를 압축하기 위한 알려진 디바이스를 도시하며, 상기 디바이스는 기준 프레임 버퍼(reference frame buffer(SRB))를 갖는다. 이러한 경우, 프레임들은 예를 들어, 인터 코딩 모드(inter coding mode)로 또한 알려진 예측 코딩(predictive coding) 방식에 의해 코딩된다. 프레임들 중 하나는, 예를 들어 16×16 픽셀들로 이루어진 프레임 블록들(frame blocks(BB))로 분해되고, 그 후에 프레임 블록 단위로 인코딩된다. 그 다음으로, 프레임 블록들 중 하나에 있어서, 프레임 블록의 프레임 콘텐트를 추정하기 위한 양호한 기초를 제공하는 기준 프레임(reference frame(REF)) 내의 기준 프레임 블록(reference frame block(RBB))에 대한 탐색이 이루어진다. 이러한 목적을 위해, 프레임 블록은 모션 추정 유닛(Motion Estimation Unit(ME))에 전달되고, 상기 모션 추정 유닛(ME)은, 프레임 압축해제 유닛(frame compression unit(PC))에 의한 프레임 압축해제 이후에, 기준 프레임(REF)의 부분들을 포함하는 기준 서브프레임(reference subframe(REFT))에 기초하여, 기준 서브프레임으로부터 기준 프레임 블록을 선택하고, 선택된 기준 프레임 블록을 모션 벡터(Motion Vector(MV))에 의해 모션 보상 유닛(Motion Compensation Unit(MC))에 시그널링(signal)한다. 모션 보상 유닛은 기준 프레임 및 모션 벡터에 기초하여 기준 프레임 블록을 제공한다.
다음 단계에서, 프레임 블록(BB)으로부터 기준 프레임 블록(RBB)을 감함으로써 차이(difference) 프레임 블록(BD)이 발생된다. 차이 프레임 블록은 그 후에, 예를 들어 이산 코사인 변환(transform) 방법에 따라 변환 유닛(T)에서 변환된다. 변환 유닛의 출력에서, 이용가능한 변환 계수들(TK)이 존재하며, 상기 변환 계수들(TK)은 그 후에 양자화를 위해 양자화 유닛(Q)에 공급된다. 양자화 유닛의 출력에서, 이용가능한 양자화된 변환 계수들(TQ)이 존재하며, 상기 양자화된 변환 계수들(TQ)은 엔트로피 코딩 유닛(EC)에 의해 수행되는 엔트로피 코딩에 의해 출력 신호(AS)로 전환(convert)된다.
양자화된 변환 계수들(TQ)은 피드백 루프 내에서, 역(inverse) 양자화 유닛(IQ)에 의해 수행되는 역 양자화에 의해, 재구성된 변환 계수들(TKR)로 전환된다. 상기 재구성된 변환 계수들(TKR)은, 역 변환 유닛(IT)에 의한 역 변환에 의해, 재구성된 차이 프레임 블록(BDR)으로 변환된다. 추가의 단계에서, 재구성된 차이 프레임 블록(BDR)과 기준 프레임 블록(RBB)을 합함으로써, 재구성된 프레임 블록(RBM)이 발생된다.
더 오래된 코딩 방법들에서, 재구성된 프레임 블록은 기준 프레임 버퍼 내로 직접적으로 기록된다. 현재 사용되는 표준화 방법들에서, 데이터 볼륨을 감소시키기 위해, 재구성된 프레임 블록은 초기에 프레임 압축 유닛(PC)에 의해 또한 프레임 압축되며, 이는 재구성된 프레임 블록의 데이터 볼륨을 상당히 감소시킨다. 프레임 압축 유닛(PC)의 결과로서 생성된, 압축된 재구성된 프레임 블록(RBC)은 그 후에 기준 프레임 버퍼 내에 저장된다. 모션 추정 유닛 및 모션 보상 유닛이, 요구되는 프레임 데이터에 액세스하는 것을 허용하기 위해, 기준 프레임(REF) 또는 기준 프레임의 특정 세부사항(detail)이 요청될 때, 각각의 압축된 재구성된 프레임 블록은 먼저 기준 프레임 버퍼(SRB)로부터 판독되고, 프레임 압축해제 유닛(PD)에 의해 수행되는 프레임 압축해제에 의해 기준 서브프레임(REFT)으로 전환된다.
도 2는 도 1에 도시된 인코더에 대응하는 디코더를 도시한다. 이러한 경우에, 출력 신호(AS)는 엔트로피 디코딩 유닛(ED)에 의해, 양자화된 변환 계수들(TQ)로 디코딩된다. 더욱이, 양자화된 변환 계수들은 역 양자화 유닛(IQ)에 의해, 재구성된 변환 계수들(TKR)로 역으로 양자화된다. 이에 이어서, 역 변환 유닛(IT)에 의해, 재구성된 변환 계수들(TKR)의, 재구성된 차이 프레임 블록(BDR)으로의 역 변환이 뒤따른다.
출력 신호에 부가하여, 특히 각각의 모션 벡터(MV)가 또한 디코더에 전송된다. 이로부터, 기준 서브프레임(REFT)을 이용하여, 디코더는 모션 보상 유닛(MC)에 의해, 기준 프레임 블록(RBB)을 결정할 수 있으며, 상기 기준 프레임 블록(RBB)은 재구성된 차이 프레임 블록과의 합(addition)에 의해, 재구성된 프레임 블록(RBM)으로 전환된다.
재구성된 프레임 블록(RBM)은 예를 들어 디스플레이 상에서 시각화될 수 있다. 재구성된 프레임 블록(RBM)은 그 후에, 프레임 압축 유닛(PC)에 의해 수행되는 압축에 의해, 압축된 재구성된 프레임 블록(RBC)으로 전환되고, 그 다음으로 상기 압축된 재구성된 프레임 블록(RBC)은 기준 프레임 버퍼(SRB) 내에 저장된다. 기준 프레임 버퍼 내에 저장된, 압축된 재구성된 프레임 블록들은 프레임 압축해제 유닛(PD)에 의해 기준 서브프레임으로 압축해제될 수 있다.
인용문헌 [1]은 플로팅-포인트 DCT 변환(DCT-이산 코사인 변환) 및 변환 후에 2차원적으로 배열되는 1차원적 표현의 계수들의 스캐닝에 이어 비트-플레인 코딩이 수행되는 무손실 프레임 압축 방법/프레임 압축해제 방법을 기술한다.
인용문헌 [2]에 따른 방법에서, 버퍼 메모리 액세스 대역폭 감소 기법이 제안된다. 이러한 경우, 변환 및 양자화뿐만 아니라, DC 예측 및 엔트로피 코딩이 프레임 압축 유닛(PC)을 위해 제안되거나 또는 그에 대한 역(inverse) 단계가 프레임 압축해제 유닛(PD)을 위해 제안된다.
추가의 인용문헌 [3]에서, 블록해제(deblocking) 프레임 메모리의 업스트림 및 다운스트림 프레임 데이터의 압축 및 압축해제 대한 테스트 결과들이 각각 제공된다.
마지막으로, 인용문헌 [4]에서, 1차원적 DPCM-기반 프레임 메모리 압축 방법(DPCM-차분 펄스 코드 변조)이 제공된다.
적어도 인용문헌[1] 내지 인용문헌[4]에서 제안된 압축 방법들은 무손실이다.
본 발명의 목적은, 프레임 인코딩 디바이스(Frame Encoding Device(ENC)) 및/또는 프레임 디코딩 디바이스(Frame Decoding Device(DEC))를 위해, 재구성된 프레임 블록들의 압축/압축해제를 위한 자원-효율적인 구현을 제공하는 것을 가능하게 하는 방법들 및 디바이스들을 개시하는 것이다.
상기 목적은 독립 청구항들에 의해 달성된다. 본 발명의 전개들은 종속 청구항들로부터 유도될 수 있다.
본 발명은 프레임 인코딩 디바이스 또는 프레임 디코딩 디바이스에 의해 발생되는, 재구성된 프레임의 적어도 하나의 프레임 영역을 저장하기 위한, 그리고 상기 프레임 인코딩 디바이스 또는 프레임 디코딩 디바이스를 위한 기준 프레임으로서 적어도 하나의 프레임 영역을 제공하기 위한 방법에 관한 것이며, 상기 방법은 다음의 단계들:
a) 제 1 규칙에 기초하여 상기 적어도 하나의 프레임 영역을 압축된 데이터로 압축하는 단계;
b) 상기 압축된 데이터를 저장하는 단계;
c) 제 2 규칙(V2)에 기초하여 상기 압축된 데이터(KDAT)를 상기 적어도 하나의 프레임 영역(BR)으로 압축해제하는 단계를 포함하며,
d) 상기 제 1 규칙(V1)은 제 3 규칙(V3)에 기초하여 형성되고, 상기 제 3 규칙(V3)은 상기 프레임 인코딩 디바이스(ENC)의 코딩 모드(Coding Mode(M1))를 규정하며,
e) 상기 제 2 규칙(V2)은, 상기 제 2 규칙(V2)이 상기 제 3 규칙(V3)에 대한 역(inverse) 제 3 규칙(V3I)으로서 선택되게 형성되는 것을 특징으로 한다.
본 발명은 프레임 인코딩 디바이스에 의한 인코딩 또는 프레임 디코딩 디바이스에 의한 디코딩의 과정에서 요구되는 기준 프레임들의 메모리-효율적인 스토리지를 가능하게 한다. 본 발명은 재구성된 프레임들, 즉 기준 프레임들이, 프레임 인코딩 디바이스의 코딩 모드들 중 하나에 기초하여 압축되는 장점을 갖는다. 이에 의해, 특히, 각각 압축 및 압축해제를 위한 제 1 및 제 2 규칙을 생성하기 위한 암시적인 규칙에 도달하는 것이 가능하다. 더욱이, 프레임 블록을 인코딩하기 위한 프레임 인코딩 디바이스의 코딩 결정은 종종, 최소 스토리지 오버헤드로 이미지 품질을 최적화하는 레이트-왜곡 최적화를 따른다. 그 다음으로, 이러한 최적의 인코딩 모드는, 재구성된 프레임의 프레임 영역을 압축하기 위한 기초를 형성하고, 그 결과, 고압축 레이트가 또한 달성될 수 있다. 부가하여, 시중에서 입수가능한 다수의 디바이스들은, 프레임 인코딩 디바이스 및/또는 프레임 디코딩 디바이스에서 수행되는 서브단계들을 적어도 프로세싱하기 위한 하드웨어 지원을 제공한다. 따라서, 기준 프레임의 압축 또는 압축해제는 또한 이러한 하드웨어 지원을 이용할 수 있다.
오늘날의 표준화된 프레임 인코딩 디바이스들 및 프레임 디코딩 디바이스들에서, 저장되기에 앞서, 재구성된 프레임들은 종종 블록해제 필터 및/또는 추가의 필터 동작들, 이를 테면, 예를 들어 위이너 필터(Wiener filter)를 겪는다. 본 발명의 전개에서, 본 발명이 이용될 때, 이들 단계들은 압축해제 이후까지 수행되지 않는다. 이는, 개선된 압축 레이트를 달성하기 위해, 압축에 의해, 재구성된 프레임의 각각의 프레임 영역을 위해 이용가능한 코딩 모드들, 변환된 또는 양자화된 계수들이 이용되는 것을 가능하게 한다.
바람직하게, 압축된 데이터는 기준 프레임 버퍼 내에 인덱스(Index)와 함께 저장되고, 상기 인덱스는 제 1 규칙 또는 제 2 규칙을 고유하게 식별하기 위한 식별자를 포함한다. 이는, 암시적으로 결정될 수 없고, 암시적으로 결정될 수 있는 모드들보다 더 양호한 압축 레이트를 달성하는 압축 또는 압축해제 모드들이 이용되는 것을 또한 허용한다.
본 발명의 전개에서, 코딩된 데이터는, (ⅰ) 프레임 인코딩 디바이스에 의해 발생된 및/또는 (ⅱ) 프레임 디코딩 디바이스에 의해 수신된, 출력 데이터 스트림을 발생시키기 위한 신택스(syntax)에 따라 저장된다. 이에 의해, 프레임 디코딩 디바이스는, 프레임 인코딩 디바이스가 재구성된 프레임들의 개개의 프레임 영역들을 아무리해도 무손실적이 아닌 압축 및 압축해제하는 방식을 표시하는 정보를 수신한다. 이러한 방식으로, 프레임 인코딩 디바이스와 프레임 디코딩 디바이스 사이의 드리프트(drift)가 회피될 수 있다.
유리한 전개에서, 재구성된 프레임의 복수의 프레임 영역들은 프레임 구역으로 결합되고, 동일한 재구성된 프레임의 다른 프레임 구역들과 독립적으로 압축해제가능하게 저장된다. 이는, 재구성된 프레임의 프레임 구역들이 동일한 재구성된 프레임의 다른 프레임 구역들과 독립적으로 액세스될 수 있다는 것을 의미한다. 이는, 압축해제를 위한 컴퓨팅 오버헤드 및 프레임 구역의 프레임 콘텐트들을 액세스하기 위한 액세스 시간을 감소시키는데, 그 이유는 요청된 프레임 구역 이외의 어떠한 다른 프레임 구역들의 프레임 콘텐트들도 압축해제될 필요가 없기 때문이다.
유리하게, 프레임 구역의 각각의 프레임 영역들은 단일 제 1 규칙에 따라 또는 각각의 제 1 규칙들의 시퀀스에 따라 압축된다. 이는, 감소된 시그널링 오버헤드(signaling overhead), 그리고 결과적으로 감소된 스토리지 공간 요건을 초래하는데, 그 이유는 각각의 프레임 영역을 위해 개개의 제 1 또는 제 2 규칙을 기준 프레임 버퍼 내에 저장할 필요가 없기 때문이다.
유리하게, 프레임 구역의 프레임 영역들 중 적어도 몇몇은 인트라 예측 모드(intra prediction mode)에 의해 압축되며, 프레임 구역의 적어도 하나의 픽셀을 재구성하기 위해 요구되고, 상기 프레임 구역과 상이한 프레임 구역에 의해서만 결정가능한 제 1 픽셀들은 (상기 프레임 구역의) 압축된 데이터에 부가하여 저장된다. 인트라 예측 모드의 이용은 단순한 방식으로 실현될 수 있다.
제 1 픽셀들이 미리규정가능한 규칙에 따라, 특히 델타 코딩 방식(delta coding scheme)에 따라 압축되고 그리고 저장되는 경우, 압축된 형태로 프레임 영역을 저장하기 위한 스토리지 공간 요건은 인트라 예측 모드에 의해 추가로 감소된다.
본 발명의 유리한 전개에서, 프레임 구역의 프레임 영역들 중 적어도 하나는 인트라 예측 모드 대신에 인트라 코딩 모드(intra coding mode)에 의해 압축된다. 이러한 경우에, 예를 들어 프레임 잡음 또는 강한 움직임으로 인해 예측하기 어려운 프레임 영역들이 또한 효율적으로 압축될 수 있다.
유리하게, 압축될 프레임 영역에 대한 가장 낮은 스토리지 공간 요건을 갖는 모드는, (ⅰ) 적어도 2개의 상이한 인트라 예측 모드들에 의해, 또는 (ⅱ) 적어도 하나의 인트라 예측 모드 및 인트라 코딩 모드에 의해 형성된 다수의 모드들로부터 선택된다. 이러한 최적화에 의해 달성되는 것은, 재구성된 프레임이 양호한 품질을 유지하면서 압축해제될 수 있고, 동시에 높은 압축 레이트로 압축될 수 있다는 것이다.
인트라 예측을 위해 이용되는 양자화 파라미터가 바람직하게 인트라 예측 모드 동안 저장되는 경우, 고품질 압축해제가 보장될 수 있다.
본 발명의 전개에서, 적어도 2개의 재구성된 프레임들이 저장되며, 상기 적어도 2개의 재구성된 프레임들 중 제 1 재구성된 프레임은 인트라 예측 모드 및/또는 인트라 코딩 모드에 의해 압축되고, 시간에 있어서 상기 제 1 재구성된 프레임에 후속하는, 상기 적어도 2개의 재구성된 프레임들 중 제 2 재구성된 프레임은, 모션 벡터들이 상기 제 1 재구성된 프레임을 가리키는 인터 코딩 모드에 의해 압축된다. 결과적으로 인트라 예측 단독과 비교하여 압축 레이트에 있어서의 증가가 달성될 수 있다.
바람직하게 제 1 규칙은 다음의 단계들 중 하나에 의해 제 3 규칙에 기초하여 발생된다:
- 제 3 규칙이 인트라 코딩 모드를 기술하는(describe) 경우, 제 1 규칙이 동일한 인트라 코딩 모드에 의해 형성되는 단계;
- 제 3 규칙이, (ⅰ) 코딩될 매크로블록/프레임 블록이 "스킵(skip)" 신호에 의해, 즉 모션 벡터 없이 인코딩되고, 그리고 (ⅱ) 코딩될 매크로블록/프레임 블록의 기준 프레임이 인트라 코딩 모드에 의해 인코딩되는 코딩 모드를 기술하는 경우, 제 1 규칙을 위해 선택된 인트라 코딩 모드는 기준 프레임을 코딩하기 위해 이용되는 것인 단계;
- 프레임 블록/매크로 블록을 위한 제 3 규칙이 연관된 모션 벡터들을 갖는 인터 코딩 모드를 이용하는 경우, 제 1 규칙은 제 3 규칙과 동일하게 선택되는 단계 ― 인터 코딩 모드를 위한 모션 벡터는 제 3 규칙과 그리고 제 1 규칙과 동일하게 선택됨 ―.
이들 규칙들 중 하나를 적용함으로써, 각각 압축 및 압축해제를 위해 이용되는 제 1 및 제 2 규칙의 암시적인 시그널링을 달성하는 것이 가능하다. 더욱이, 이미 최적화된 코딩 모드들은 압축을 위해 재이용될 수 있으며, 그 결과, 최적의 제 1 규칙을 결정하기 위한 컴퓨팅 오버헤드가 회피될 수 있다.
본 발명의 방법의 유리한 전개에서, 선행하는 실시예들 중 하나에 따라, 다음의 파라미터들 중 적어도 하나는, 프레임 인코딩 디바이스에서 그리고 프레임 디코딩 디바이스에서 상기 방법을 동기화하기 위해, 프레임 인코딩 디바이스와 프레임 디코딩 디바이스 사이에서 시그널링된다:
- 재구성된 프레임의 프레임 영역을 위한 또는 재구성된 프레임의 프레임 구역을 위한 인덱스 ― 상기 인덱스는 제 1 규칙 또는 제 2 규칙을 고유하게 식별하기 위한 식별자를 포함함 ―;
- 프레임 영역들 중 적어도 하나를 압축하기 위한 인트라 코딩 모드 또는 인트라 예측 모드에서 이용되는 양자화 팩터.
이에 의해 압축 레이트가 증가될 수 있는데, 그 이유는 압축은 암시적으로 시그널링될 수 있는 제 1 규칙들에 기초하여서만 수행되지 않아도 되기 때문이다. 따라서, 제 3 규칙들의 보다 큰 선택이, 제 1 규칙에 의해 고려될 수 있는 선택을 위해 이용가능하다.
인용된 규칙들에 부가하여, 제 1 및 제 2 규칙은 아래의 절차들 중 적어도 하나에 따라 결정될 수 있다:
a) 프레임 압축 유닛 또는 프레임 압축해제 유닛에 의해 수행되는 상이한 압축 방법들의 이용:
- 출력 신호에서의 이용되는 압축 방법의 명시적 시그널링;
- 프레임 블록을 코딩하기 위한 프레임 인코딩 디바이스 또는 프레임 디코딩 디바이스에 의해 이용되는 프로파일들 및 프로파일들/레벨들로의 각각의 경우에서의 압축 방법들의 할당;
b) 압축 방법을 기술하는 파라미터들:
- 프로파일/레벨 조합들로의 파라미터 세트들의 할당
- 별개의 파라미터 세트로서의 또는 파라미터들 인밴드(inband)의 시그널링/송신
- 이용가능한 데이터, 예를 들어 선행하는 프레임, 현재 이용되는 양자화 파라미터에 기초한 파라미터 감소;
c) 이용가능한 데이터에 기초하여 파라미터들을 감소시키기 위한 가능성들:
- 로깅된 통계치들(logged statistics)
- 인트라 코딩되는 서브프레임에 대해:
○) 현재 코딩 모드의 채택, 또는
○) 모드의, 특정 또는 매우 유사한 인트라 압축 모드로의 변경;
○) (다른 압축 모드에 의해 이용될) 예측 방향의 유도
- 다른 코딩 단계에 의한, 특히 양자화(양자화 증가 또는 양자화 파라미터), 변환 동작들, 및 필터 동작들로부터의 파라미터들의 유도.
상기 유도는 수 범위(number range)의 전환, 컴퓨팅된 값들의 특별 라운딩(special rounding) 뿐만 아니라, 파라미터들의 직접 컴퓨팅을 위한 식(formula)들을 포함할 수 있다.
파라미터 유도가, 이미 디코더 측 상에서 이용가능한 데이터에 기초하지 않는 경우, 다음이 가능하다:
- 압축될 프레임의 통계치들의 결정;
- 다른 부가(side) 정보, 예를 들어 센서 정보의 이용;
- 다중경로 인코딩-(압축 방법의 선택을 위해 또한 적합화된(qualified)) 완전한 시퀀스 또는 복수의 프레임들을 고려함으로써 파라미터들의 최적화;
- 씬 컷(scene cut)들의 검출, 예를 들어 프레임은 압축될 필요가 없는데, 그 이유는 이는 기준 프레임으로서 이용되지 않기 때문임;
- 롱-텀 기준 프레임들을 위해 예를 들어 매우 고품질을 위해 특별히 이용가능한 파라미터들의 이용, 무손실일 수 있음;
제약들:
- 송신 채널의 데이터 레이트 제한들은 코서 파라미터(coarser parameter)들이 이용되도록 허용함;
- 프레임 레벨에서의 품질 제한들은 통계적으로 기초되는 접근방식들을 필요로 하는데, 그 이유는 프로세싱이 블록 단위로 수행되기 때문임;
- 블록 레벨에서의 품질 제한들은 압축될 블록의 품질에 직접적으로 관련될 수 있음;
- 프로세스 선택 및 파라미터 유도를 위한 잠재적 제한으로서 내부 데이터 버스 처리량, 발생되는 데이터의 최대 볼륨, 및 달성될 최소 품질.
기준 정보에 대한 압축의 이용은 각각의 기준 프레임에 대해 상이한 스토리지 풋프린트들(= 스토리지 패턴들 또는 스토리지 요건들)을 초래한다. 이는 특히, 상이한 압축 프로세스들의 이용의 그리고 압축 프로세스에 대한 파라미터들이 동적 방식으로 유도된다는 사실의 결과이다.
- 스토리지 조직화(예를 들어, 프레임 데이터의, 특정 크기의 서브도메인들로의 세분(subdivision))는 스토리지 활용 그리고 따라서 기준 프레임들의 수를 결정함;
- 프로파일/레벨 조합들과 연관된 파라미터들, 예를 들어 서브도메인 크기에 관한 스토리지 관리 방식의 할당.
이들 접근방식들의 이점은: 이미지 품질 요건들을 위해서뿐만 아니라 후속 프로세스 단계들, 메모리 크기들, 및 내부 데이터 버스 처리량을 위해 최적화된 방식으로 인코더 및 디코더 내에서 기준 정보에 대한 압축 프로세스의 동일한 거동을 제어하기 위한 파라미터들의 유도 및/또는 시그널링이 요구된다는 것이다.
본 발명은 또한, 프레임 인코딩 디바이스에 의해 또는 프레임 디코딩 디바이스에 의해 발생된, 재구성된 프레임의 적어도 하나의 프레임 영역을 저장하기 위한, 그리고 프레임 인코딩 디바이스 또는 프레임 디코딩 디바이스를 위한 기준 프레임으로서 적어도 하나의 프레임 영역을 제공하기 위한 디바이스에 관한 것이며, 상기 디바이스는 아래의 유닛들:
a) 제 1 규칙에 기초하여 적어도 하나의 프레임 영역을 압축된 데이터로 압축하기 위한 프레임 압축 유닛;
b) 압축된 데이터를 집합적으로(collectively) 저장하기 위한 메모리 유닛(Memory Unit);
c) 제 2 규칙에 기초하여, 압축된 데이터를 적어도 하나의 프레임 영역으로 압축해제하기 위한 프레임 압축해제 유닛을 포함하며,
d) 제 1 규칙은 제 3 규칙에 기초하여 형성되고, 제 3 규칙은 프레임 인코딩 디바이스의 코딩 모드를 규정하며,
e) 제 2 규칙은, 상기 제 2 규칙이 상기 제 3 규칙에 대한 역(inverse) 제 3 규칙이도록 형성되는 것을 특징으로 한다.
디바이스는 부가적으로, 상기 방법의 단계들 중 적어도 하나의 단계가 구현 및 실행될 수 있는 방식으로 구현되는 프로세싱 유닛을 갖는다.
디바이스의 이점은 상기 방법의 이점들과 유사하다.
마지막으로, 프레임 인코딩 디바이스(ENC) 및/또는 프레임 디코딩 디바이스에서의, 상기 실시예들 중 하나에 따른 디바이스의 또는 상술된 단계들 중 하나에 따른 방법의 이용은 본 발명의 부분이다. 이에 의해, 유리한 방식으로 본 발명 및 본 발명의 전개들을 구현 및 실행하는 것이 가능하다.
본 발명 및 본 발명의 전개들은 도면들을 참조하여 더욱 상세하게 설명된다.
상기 목적은 독립 청구항들에 의해 달성된다. 본 발명의 전개들은 종속 청구항들로부터 유도될 수 있다.
본 발명은 프레임 인코딩 디바이스 또는 프레임 디코딩 디바이스에 의해 발생되는, 재구성된 프레임의 적어도 하나의 프레임 영역을 저장하기 위한, 그리고 상기 프레임 인코딩 디바이스 또는 프레임 디코딩 디바이스를 위한 기준 프레임으로서 적어도 하나의 프레임 영역을 제공하기 위한 방법에 관한 것이며, 상기 방법은 다음의 단계들:
a) 제 1 규칙에 기초하여 상기 적어도 하나의 프레임 영역을 압축된 데이터로 압축하는 단계;
b) 상기 압축된 데이터를 저장하는 단계;
c) 제 2 규칙(V2)에 기초하여 상기 압축된 데이터(KDAT)를 상기 적어도 하나의 프레임 영역(BR)으로 압축해제하는 단계를 포함하며,
d) 상기 제 1 규칙(V1)은 제 3 규칙(V3)에 기초하여 형성되고, 상기 제 3 규칙(V3)은 상기 프레임 인코딩 디바이스(ENC)의 코딩 모드(Coding Mode(M1))를 규정하며,
e) 상기 제 2 규칙(V2)은, 상기 제 2 규칙(V2)이 상기 제 3 규칙(V3)에 대한 역(inverse) 제 3 규칙(V3I)으로서 선택되게 형성되는 것을 특징으로 한다.
본 발명은 프레임 인코딩 디바이스에 의한 인코딩 또는 프레임 디코딩 디바이스에 의한 디코딩의 과정에서 요구되는 기준 프레임들의 메모리-효율적인 스토리지를 가능하게 한다. 본 발명은 재구성된 프레임들, 즉 기준 프레임들이, 프레임 인코딩 디바이스의 코딩 모드들 중 하나에 기초하여 압축되는 장점을 갖는다. 이에 의해, 특히, 각각 압축 및 압축해제를 위한 제 1 및 제 2 규칙을 생성하기 위한 암시적인 규칙에 도달하는 것이 가능하다. 더욱이, 프레임 블록을 인코딩하기 위한 프레임 인코딩 디바이스의 코딩 결정은 종종, 최소 스토리지 오버헤드로 이미지 품질을 최적화하는 레이트-왜곡 최적화를 따른다. 그 다음으로, 이러한 최적의 인코딩 모드는, 재구성된 프레임의 프레임 영역을 압축하기 위한 기초를 형성하고, 그 결과, 고압축 레이트가 또한 달성될 수 있다. 부가하여, 시중에서 입수가능한 다수의 디바이스들은, 프레임 인코딩 디바이스 및/또는 프레임 디코딩 디바이스에서 수행되는 서브단계들을 적어도 프로세싱하기 위한 하드웨어 지원을 제공한다. 따라서, 기준 프레임의 압축 또는 압축해제는 또한 이러한 하드웨어 지원을 이용할 수 있다.
오늘날의 표준화된 프레임 인코딩 디바이스들 및 프레임 디코딩 디바이스들에서, 저장되기에 앞서, 재구성된 프레임들은 종종 블록해제 필터 및/또는 추가의 필터 동작들, 이를 테면, 예를 들어 위이너 필터(Wiener filter)를 겪는다. 본 발명의 전개에서, 본 발명이 이용될 때, 이들 단계들은 압축해제 이후까지 수행되지 않는다. 이는, 개선된 압축 레이트를 달성하기 위해, 압축에 의해, 재구성된 프레임의 각각의 프레임 영역을 위해 이용가능한 코딩 모드들, 변환된 또는 양자화된 계수들이 이용되는 것을 가능하게 한다.
바람직하게, 압축된 데이터는 기준 프레임 버퍼 내에 인덱스(Index)와 함께 저장되고, 상기 인덱스는 제 1 규칙 또는 제 2 규칙을 고유하게 식별하기 위한 식별자를 포함한다. 이는, 암시적으로 결정될 수 없고, 암시적으로 결정될 수 있는 모드들보다 더 양호한 압축 레이트를 달성하는 압축 또는 압축해제 모드들이 이용되는 것을 또한 허용한다.
본 발명의 전개에서, 코딩된 데이터는, (ⅰ) 프레임 인코딩 디바이스에 의해 발생된 및/또는 (ⅱ) 프레임 디코딩 디바이스에 의해 수신된, 출력 데이터 스트림을 발생시키기 위한 신택스(syntax)에 따라 저장된다. 이에 의해, 프레임 디코딩 디바이스는, 프레임 인코딩 디바이스가 재구성된 프레임들의 개개의 프레임 영역들을 아무리해도 무손실적이 아닌 압축 및 압축해제하는 방식을 표시하는 정보를 수신한다. 이러한 방식으로, 프레임 인코딩 디바이스와 프레임 디코딩 디바이스 사이의 드리프트(drift)가 회피될 수 있다.
유리한 전개에서, 재구성된 프레임의 복수의 프레임 영역들은 프레임 구역으로 결합되고, 동일한 재구성된 프레임의 다른 프레임 구역들과 독립적으로 압축해제가능하게 저장된다. 이는, 재구성된 프레임의 프레임 구역들이 동일한 재구성된 프레임의 다른 프레임 구역들과 독립적으로 액세스될 수 있다는 것을 의미한다. 이는, 압축해제를 위한 컴퓨팅 오버헤드 및 프레임 구역의 프레임 콘텐트들을 액세스하기 위한 액세스 시간을 감소시키는데, 그 이유는 요청된 프레임 구역 이외의 어떠한 다른 프레임 구역들의 프레임 콘텐트들도 압축해제될 필요가 없기 때문이다.
유리하게, 프레임 구역의 각각의 프레임 영역들은 단일 제 1 규칙에 따라 또는 각각의 제 1 규칙들의 시퀀스에 따라 압축된다. 이는, 감소된 시그널링 오버헤드(signaling overhead), 그리고 결과적으로 감소된 스토리지 공간 요건을 초래하는데, 그 이유는 각각의 프레임 영역을 위해 개개의 제 1 또는 제 2 규칙을 기준 프레임 버퍼 내에 저장할 필요가 없기 때문이다.
유리하게, 프레임 구역의 프레임 영역들 중 적어도 몇몇은 인트라 예측 모드(intra prediction mode)에 의해 압축되며, 프레임 구역의 적어도 하나의 픽셀을 재구성하기 위해 요구되고, 상기 프레임 구역과 상이한 프레임 구역에 의해서만 결정가능한 제 1 픽셀들은 (상기 프레임 구역의) 압축된 데이터에 부가하여 저장된다. 인트라 예측 모드의 이용은 단순한 방식으로 실현될 수 있다.
제 1 픽셀들이 미리규정가능한 규칙에 따라, 특히 델타 코딩 방식(delta coding scheme)에 따라 압축되고 그리고 저장되는 경우, 압축된 형태로 프레임 영역을 저장하기 위한 스토리지 공간 요건은 인트라 예측 모드에 의해 추가로 감소된다.
본 발명의 유리한 전개에서, 프레임 구역의 프레임 영역들 중 적어도 하나는 인트라 예측 모드 대신에 인트라 코딩 모드(intra coding mode)에 의해 압축된다. 이러한 경우에, 예를 들어 프레임 잡음 또는 강한 움직임으로 인해 예측하기 어려운 프레임 영역들이 또한 효율적으로 압축될 수 있다.
유리하게, 압축될 프레임 영역에 대한 가장 낮은 스토리지 공간 요건을 갖는 모드는, (ⅰ) 적어도 2개의 상이한 인트라 예측 모드들에 의해, 또는 (ⅱ) 적어도 하나의 인트라 예측 모드 및 인트라 코딩 모드에 의해 형성된 다수의 모드들로부터 선택된다. 이러한 최적화에 의해 달성되는 것은, 재구성된 프레임이 양호한 품질을 유지하면서 압축해제될 수 있고, 동시에 높은 압축 레이트로 압축될 수 있다는 것이다.
인트라 예측을 위해 이용되는 양자화 파라미터가 바람직하게 인트라 예측 모드 동안 저장되는 경우, 고품질 압축해제가 보장될 수 있다.
본 발명의 전개에서, 적어도 2개의 재구성된 프레임들이 저장되며, 상기 적어도 2개의 재구성된 프레임들 중 제 1 재구성된 프레임은 인트라 예측 모드 및/또는 인트라 코딩 모드에 의해 압축되고, 시간에 있어서 상기 제 1 재구성된 프레임에 후속하는, 상기 적어도 2개의 재구성된 프레임들 중 제 2 재구성된 프레임은, 모션 벡터들이 상기 제 1 재구성된 프레임을 가리키는 인터 코딩 모드에 의해 압축된다. 결과적으로 인트라 예측 단독과 비교하여 압축 레이트에 있어서의 증가가 달성될 수 있다.
바람직하게 제 1 규칙은 다음의 단계들 중 하나에 의해 제 3 규칙에 기초하여 발생된다:
- 제 3 규칙이 인트라 코딩 모드를 기술하는(describe) 경우, 제 1 규칙이 동일한 인트라 코딩 모드에 의해 형성되는 단계;
- 제 3 규칙이, (ⅰ) 코딩될 매크로블록/프레임 블록이 "스킵(skip)" 신호에 의해, 즉 모션 벡터 없이 인코딩되고, 그리고 (ⅱ) 코딩될 매크로블록/프레임 블록의 기준 프레임이 인트라 코딩 모드에 의해 인코딩되는 코딩 모드를 기술하는 경우, 제 1 규칙을 위해 선택된 인트라 코딩 모드는 기준 프레임을 코딩하기 위해 이용되는 것인 단계;
- 프레임 블록/매크로 블록을 위한 제 3 규칙이 연관된 모션 벡터들을 갖는 인터 코딩 모드를 이용하는 경우, 제 1 규칙은 제 3 규칙과 동일하게 선택되는 단계 ― 인터 코딩 모드를 위한 모션 벡터는 제 3 규칙과 그리고 제 1 규칙과 동일하게 선택됨 ―.
이들 규칙들 중 하나를 적용함으로써, 각각 압축 및 압축해제를 위해 이용되는 제 1 및 제 2 규칙의 암시적인 시그널링을 달성하는 것이 가능하다. 더욱이, 이미 최적화된 코딩 모드들은 압축을 위해 재이용될 수 있으며, 그 결과, 최적의 제 1 규칙을 결정하기 위한 컴퓨팅 오버헤드가 회피될 수 있다.
본 발명의 방법의 유리한 전개에서, 선행하는 실시예들 중 하나에 따라, 다음의 파라미터들 중 적어도 하나는, 프레임 인코딩 디바이스에서 그리고 프레임 디코딩 디바이스에서 상기 방법을 동기화하기 위해, 프레임 인코딩 디바이스와 프레임 디코딩 디바이스 사이에서 시그널링된다:
- 재구성된 프레임의 프레임 영역을 위한 또는 재구성된 프레임의 프레임 구역을 위한 인덱스 ― 상기 인덱스는 제 1 규칙 또는 제 2 규칙을 고유하게 식별하기 위한 식별자를 포함함 ―;
- 프레임 영역들 중 적어도 하나를 압축하기 위한 인트라 코딩 모드 또는 인트라 예측 모드에서 이용되는 양자화 팩터.
이에 의해 압축 레이트가 증가될 수 있는데, 그 이유는 압축은 암시적으로 시그널링될 수 있는 제 1 규칙들에 기초하여서만 수행되지 않아도 되기 때문이다. 따라서, 제 3 규칙들의 보다 큰 선택이, 제 1 규칙에 의해 고려될 수 있는 선택을 위해 이용가능하다.
인용된 규칙들에 부가하여, 제 1 및 제 2 규칙은 아래의 절차들 중 적어도 하나에 따라 결정될 수 있다:
a) 프레임 압축 유닛 또는 프레임 압축해제 유닛에 의해 수행되는 상이한 압축 방법들의 이용:
- 출력 신호에서의 이용되는 압축 방법의 명시적 시그널링;
- 프레임 블록을 코딩하기 위한 프레임 인코딩 디바이스 또는 프레임 디코딩 디바이스에 의해 이용되는 프로파일들 및 프로파일들/레벨들로의 각각의 경우에서의 압축 방법들의 할당;
b) 압축 방법을 기술하는 파라미터들:
- 프로파일/레벨 조합들로의 파라미터 세트들의 할당
- 별개의 파라미터 세트로서의 또는 파라미터들 인밴드(inband)의 시그널링/송신
- 이용가능한 데이터, 예를 들어 선행하는 프레임, 현재 이용되는 양자화 파라미터에 기초한 파라미터 감소;
c) 이용가능한 데이터에 기초하여 파라미터들을 감소시키기 위한 가능성들:
- 로깅된 통계치들(logged statistics)
- 인트라 코딩되는 서브프레임에 대해:
○) 현재 코딩 모드의 채택, 또는
○) 모드의, 특정 또는 매우 유사한 인트라 압축 모드로의 변경;
○) (다른 압축 모드에 의해 이용될) 예측 방향의 유도
- 다른 코딩 단계에 의한, 특히 양자화(양자화 증가 또는 양자화 파라미터), 변환 동작들, 및 필터 동작들로부터의 파라미터들의 유도.
상기 유도는 수 범위(number range)의 전환, 컴퓨팅된 값들의 특별 라운딩(special rounding) 뿐만 아니라, 파라미터들의 직접 컴퓨팅을 위한 식(formula)들을 포함할 수 있다.
파라미터 유도가, 이미 디코더 측 상에서 이용가능한 데이터에 기초하지 않는 경우, 다음이 가능하다:
- 압축될 프레임의 통계치들의 결정;
- 다른 부가(side) 정보, 예를 들어 센서 정보의 이용;
- 다중경로 인코딩-(압축 방법의 선택을 위해 또한 적합화된(qualified)) 완전한 시퀀스 또는 복수의 프레임들을 고려함으로써 파라미터들의 최적화;
- 씬 컷(scene cut)들의 검출, 예를 들어 프레임은 압축될 필요가 없는데, 그 이유는 이는 기준 프레임으로서 이용되지 않기 때문임;
- 롱-텀 기준 프레임들을 위해 예를 들어 매우 고품질을 위해 특별히 이용가능한 파라미터들의 이용, 무손실일 수 있음;
제약들:
- 송신 채널의 데이터 레이트 제한들은 코서 파라미터(coarser parameter)들이 이용되도록 허용함;
- 프레임 레벨에서의 품질 제한들은 통계적으로 기초되는 접근방식들을 필요로 하는데, 그 이유는 프로세싱이 블록 단위로 수행되기 때문임;
- 블록 레벨에서의 품질 제한들은 압축될 블록의 품질에 직접적으로 관련될 수 있음;
- 프로세스 선택 및 파라미터 유도를 위한 잠재적 제한으로서 내부 데이터 버스 처리량, 발생되는 데이터의 최대 볼륨, 및 달성될 최소 품질.
기준 정보에 대한 압축의 이용은 각각의 기준 프레임에 대해 상이한 스토리지 풋프린트들(= 스토리지 패턴들 또는 스토리지 요건들)을 초래한다. 이는 특히, 상이한 압축 프로세스들의 이용의 그리고 압축 프로세스에 대한 파라미터들이 동적 방식으로 유도된다는 사실의 결과이다.
- 스토리지 조직화(예를 들어, 프레임 데이터의, 특정 크기의 서브도메인들로의 세분(subdivision))는 스토리지 활용 그리고 따라서 기준 프레임들의 수를 결정함;
- 프로파일/레벨 조합들과 연관된 파라미터들, 예를 들어 서브도메인 크기에 관한 스토리지 관리 방식의 할당.
이들 접근방식들의 이점은: 이미지 품질 요건들을 위해서뿐만 아니라 후속 프로세스 단계들, 메모리 크기들, 및 내부 데이터 버스 처리량을 위해 최적화된 방식으로 인코더 및 디코더 내에서 기준 정보에 대한 압축 프로세스의 동일한 거동을 제어하기 위한 파라미터들의 유도 및/또는 시그널링이 요구된다는 것이다.
본 발명은 또한, 프레임 인코딩 디바이스에 의해 또는 프레임 디코딩 디바이스에 의해 발생된, 재구성된 프레임의 적어도 하나의 프레임 영역을 저장하기 위한, 그리고 프레임 인코딩 디바이스 또는 프레임 디코딩 디바이스를 위한 기준 프레임으로서 적어도 하나의 프레임 영역을 제공하기 위한 디바이스에 관한 것이며, 상기 디바이스는 아래의 유닛들:
a) 제 1 규칙에 기초하여 적어도 하나의 프레임 영역을 압축된 데이터로 압축하기 위한 프레임 압축 유닛;
b) 압축된 데이터를 집합적으로(collectively) 저장하기 위한 메모리 유닛(Memory Unit);
c) 제 2 규칙에 기초하여, 압축된 데이터를 적어도 하나의 프레임 영역으로 압축해제하기 위한 프레임 압축해제 유닛을 포함하며,
d) 제 1 규칙은 제 3 규칙에 기초하여 형성되고, 제 3 규칙은 프레임 인코딩 디바이스의 코딩 모드를 규정하며,
e) 제 2 규칙은, 상기 제 2 규칙이 상기 제 3 규칙에 대한 역(inverse) 제 3 규칙이도록 형성되는 것을 특징으로 한다.
디바이스는 부가적으로, 상기 방법의 단계들 중 적어도 하나의 단계가 구현 및 실행될 수 있는 방식으로 구현되는 프로세싱 유닛을 갖는다.
디바이스의 이점은 상기 방법의 이점들과 유사하다.
마지막으로, 프레임 인코딩 디바이스(ENC) 및/또는 프레임 디코딩 디바이스에서의, 상기 실시예들 중 하나에 따른 디바이스의 또는 상술된 단계들 중 하나에 따른 방법의 이용은 본 발명의 부분이다. 이에 의해, 유리한 방식으로 본 발명 및 본 발명의 전개들을 구현 및 실행하는 것이 가능하다.
본 발명 및 본 발명의 전개들은 도면들을 참조하여 더욱 상세하게 설명된다.
도 1은 프레임 데이터를 압축하기 위한 종래 기술로부터 알려진 인코더를 도시하고,
도 2는 압축된 프레임 데이터를 압축해제하기 위한 종래 기술로부터 알려진 디코더를 도시하고,
도 3은 프레임 인코딩 디바이스의 제 1 예시 실시예를 도시하고,
도 4는 프레임 디코딩 디바이스의 제 1 예시 실시예를 도시하고,
도 5a 및 도 5b는 표준 H.264/AVC에 따른 2개의 인트라 예측 모드들을 도시하고,
도 6은 기준 프레임 버퍼 내에 저장하기 위한 압축된 및 비압축된 픽셀들을 도시하고,
도 7은 2개의 기준 프레임들을 갖는 추가의 예시 실시예를 도시한다.
도 2는 압축된 프레임 데이터를 압축해제하기 위한 종래 기술로부터 알려진 디코더를 도시하고,
도 3은 프레임 인코딩 디바이스의 제 1 예시 실시예를 도시하고,
도 4는 프레임 디코딩 디바이스의 제 1 예시 실시예를 도시하고,
도 5a 및 도 5b는 표준 H.264/AVC에 따른 2개의 인트라 예측 모드들을 도시하고,
도 6은 기준 프레임 버퍼 내에 저장하기 위한 압축된 및 비압축된 픽셀들을 도시하고,
도 7은 2개의 기준 프레임들을 갖는 추가의 예시 실시예를 도시한다.
도면들에서, 동일한 기능 및 동작 모드를 갖는 엘리먼트들은 동일한 참조 부호들로 라벨링된다.
도 1 및 도 2는 종래 기술에 따른 프레임 코딩 및 디코딩을 위한 인코더 및 디코더를 각각 도시한다. 도 1 및 도 2는 도입부에서 상세히 설명되었으므로, 여기서는 도입부에서 주어진 설명에 대한 참조가 이루어질 것이다.
아래의 설명에서, 재구성된 프레임(RBD)의 적어도 하나의 프레임 영역(BR)은 예를 들어, 재구성된 프레임 블록(RBC)을 의미하는 것으로 이해된다. 더욱이, 기준 프레임의 적어도 하나의 프레임 영역은 예를 들어, 기준 프레임 블록을 의미하는 것으로 이해된다. 더욱이, 기준 프레임 버퍼는 또한 메모리 유닛(SRB)으로 지칭된다.
인코더들 및 디코더들은 일반적으로 상이한 예측 코딩 모드들을 지원하기 위해 기준 프레임 버퍼를 이용한다. 도 1 및 도 2에 나타낸 코딩 모드는, 이전의 시간 순간에서 인코딩된 그리고 디코딩된, 또는 경우에 따라 재구성된, 프레임의 재구성된 프레임 콘텐트들이, 현재의 시간 순간에서 인코딩되거나 또는 디코딩될 프레임을 예측하기 위해 이용되는 인터 코딩 모드이다. 다수의 예측 인코딩 모드들 및 대응하는 디코딩 모드들은 배경기술에서 기술되었으므로, 이들은 본 명세서에서 추가로 상세하게 논의되지 않을 것이다.
도 3은 프레임 블록들(BB)을 포함하는 프레임들로부터 출력 신호(AS)를 발생시키는, 아래에서 인코더로 지칭되는 프레임 인코딩 디바이스(ENC)를 개략적으로 도시한다. 상기 프레임 인코딩 디바이스(ENC)의 동작 모드는 도 1에 따른 디바이스의 동작 모드와 유사하다. 이러한 경우, 재구성된 프레임(RBD)의 프레임 영역(BR)은 재구성된 프레임 블록(RBM)을 위한 동의어(synonym)로서 이용되며, 압축된 데이터(KDAT), 및 프레임과 연관된 재구성된 프레임 블록들 모두를 포함하는 재구성된 프레임은 압축된 재구성된 프레임 블록(RBC)을 위한 동의어로서 이용된다.
복수의 코딩 모드들(M1, M2)로부터, 선택 유닛(ASE)은, 미리규정가능한 이미지 품질의 경우에서, 출력 신호를 저장하기 위한 스토리지 공간 요건을 최소화하는, 또는 코딩 후에 각각의 프레임 블록을 저장하기 위한 미리규정가능한 스토리지 공간 요건의 경우에서, 프레임 블록에 대응하는 재구성된 프레임 블록의 이미지 품질을 최소화하는 그러한 모드를 선택한다. 각각의 경우에서 코딩 모드들(M1, M2) 각각은 프레임 블록의 코딩을 기술하는 가능한 제 3 규칙들(V3) 중 하나를 나타낸다. 그와 유사하게, 코딩 모드들(M1, M2) 각각에 대해, 각각의 경우에서, 제 3 규칙(V3)과 연관된 역 제 3 규칙(V3I)이 존재하며, 상기 역 제 3 규칙(V3I)은 인코딩된 프레임 블록의 디코딩을 규정한다.
도 1에 따른 제 3 규칙(V3)을 예시하는 예는:
- 기준 서브프레임(REFT)로부터 기준 프레임 블록(RBB)을 선택하고;
- 프레임의 프레임 블록(BB)으로부터 기준 프레임 블록을 감함으로써 차이 프레임 블록(BD)을 발생시키고;
- 코사인 변환에 의해, 차이 프레임 블록(BD)으로부터 변환 계수들(TK)을 발생시키며;
- 양자화에 의해, 변환 계수들(TK)로부터 양자화된 변환 계수들(TQ)을 발생시킨다.
도 1 또는 도 2에 따른 제 3 규칙에 대한 역 제 3 규칙(V3I)을 예시하는 예는:
- 역 양자화에 의해, 양자화된 변환 계수들(TQ)로부터 재구성된 변환 계수들(TKR)을 발생시키고;
- 역 변환에 의해, 재구성된 변환 계수들(TKR)로부터 재구성된 차이 프레임 블록(BDR)을 발생시키며;
- 기준 프레임 블록(RBB)과 재구성된 차이 프레임 블록(BDR)을 합함으로써 재구성된 프레임 블록(RBM)을 발생시킨다.
도 3에 도시된 바와 같이, 선택된 코딩 모드에 링크된 프레임 압축 유닛(PC)의 제 3 규칙(V3)은 제 1 규칙으로서 전달된다. 프레임 압축 유닛은, 재구성된 프레임 블록(RBM)을 제 3 규칙과 동일한 또는 상기 제 3 규칙으로부터 유도된 상기 제 1 규칙에 따라 압축한다. 이를 예시하는 예들은 다음과 같다:
- 제 3 규칙이 인트라 코딩 모드를 기술하는 경우, 동일한 인트라 코딩 모드가 제 1 규칙을 위해 이용될 수 있다.
- 제 3 규칙이, (ⅰ) 인코딩될 매크로블록/프레임 블록이 "스킵(skip)" 신호에 의해 그리고 모션 벡터 없이 코딩되고, 그리고 (ⅱ) 기준 프레임이 인트라 코딩 모드에 의해 코딩되는 인트라 코딩 모드를 기술하는 경우, 인코딩될 매크로블록/프레임 블록이, 기준 프레임을 코딩하기 위해 이용되었던 인트라 코딩 모드에 의해 이용되는 코딩 모드가 제 1 규칙으로서 제공된다.
- 제 3 규칙이 프레임 블록/매크로 블록을 위해 연관된 모션 벡터들을 갖는 인터 코딩 모드를 이용하는 경우, 제 3 규칙은 재구성된 프레임 블록/매크로블록을 압축하기 위한 제 1 규칙으로서 채택될 수 있다, 즉 재구성된 프레임 블록을 압축하기 위해 프레임 압축 유닛은 또한, 동일한 모션 벡터 및 제 3 규칙에 따라 인터 코딩 모드를 이용한다.
압축된 데이터(KDAT)는 재구성된 프레임 블록(RBM)의 압축의 결과로서 발생된다. 압축된 데이터는, 재구성된 프레임 블록들을 기술하는 재구성된 프레임(RBD) 내의 또는 기준 프레임 내의 재구성된 프레임 블록의 위치를 반영하는 위치 포인터(APOS)와 함께 저장된다. 이에 의해, 이를 테면 재구성된 프레임 블록의 코딩된 유닛들을 위치시키는 것이 가능하다. 기준 프레임 내의 특정 프레임 영역들이 액세스되는 것을 가능하게 하기 위해, 어느 스토리지 위치에서, 재구성된 프레임의 프레임 영역에 또는 재구성된 프레임 블록에 속하는 압축된 데이터가 발견될 수 있는지를 표시하기 위해, 테이블(TAB)이 기준 프레임 버퍼 내에 생성된다. 압축된 데이터가 압축해제 유닛에 의한 명백한(unequivocal) 압축해제를 허용하지 않는 경우, 인덱스(INX)가 상기 압축된 데이터에 부착되고, 기준 프레임 버퍼 내에 저장될 수 있으며, 인덱스(INX)는 제 1 규칙 및/또는 제 2 규칙을 고유하게 식별하기 위한 식별자를 포함한다. 따라서, 압축해제 유닛은 인덱스(INX)의 도움으로 제 2 규칙(V2)을 확립하고, 압축된 데이터(KDAT)로부터 기준 서브프레임(REFT)을 결정할 수 있다. 대안적으로, 인덱스는 테이블(TAB) 내에 저장될 수 있다.
프레임 압축 유닛(PC), 프레임 압축해제 유닛(PD), 및 기준 프레임 버퍼(SRB)는, 디바이스(SV)로 또한 지칭되는 압축 모듈(XC)의 형태로 결합된다.
상기 예에서, 제 1 규칙은 제 3 규칙으로부터 직접적으로 획득될 수 있었다. 제 3 규칙에 제 1 규칙의 할당이 고유하지 않은 경우, 제 1 규칙을 명시적으로 시그널링하는 인덱스(INX)를 포함하는 정보 필드가 부가적으로 출력 신호에 삽입될 수 있다.
도 4는 본 발명을 아래에서 디코더로 지칭되는 프레임 압축해제 유닛(DEC)에 적용하는 접근방식을 도시한다. 출력 신호가 수신되어 도 2와 유사하게 프로세싱된다. 용어들은 도 3과 유사하게 이용된다. 자신의 유닛들, 프레임 압축 유닛(PC), 프레임 압축해제 유닛(PD), 및 기준 프레임 버퍼(SRB)를 갖는 압축 모듈은 도 3을 참조하여 제공된 설명과 유사하게 동작한다. 도 3에 따른 인코더와 대조적으로, 디코더의 경우에 어떠한 코딩 모드들도 독립적으로 선택되지 않는다. 오히려, 제 3 규칙은 출력 신호의 정보 필드에 의해, 예를 들어 인덱스(INX)에 의해 디코더에 명시적으로 통신되거나, 또는 제 3 규칙의 특별한 실시예가 인코더 및 디코더에 명시적으로 특정되거나, 또는 디코더는, 예를 들어 프레임 블록을 인코딩하기 위해 이용되는 코딩 모드의 도움으로 또는 프레임 콘텐트에 기초하여, 제 3 규칙을 출력 신호로부터 확실히(with certainty) 유도할 수 있다. 그 다음으로, 역 제 3 규칙은 제 3 규칙으로부터 명백하게(unequivocally) 유도될 수 있다. 이는, 인코더 및 디코더가 동일한 프레임 블록을 압축 및 압축해제하기 위해 동일한 제 3 또는 역 제 3 규칙을 이용하는 경우, 매우 유익할 것이다. 그렇지 않으면, 코딩 아티팩트(artifact)들이 그 결과일 수 있다.
다른 예시적인 실시예에서, 인트라 예측 모드가 프레임 압축 유닛 또는 프레임 압축해제 유닛에 의해 이용된다. 인트라 예측 모드는, 압축될 프레임 블록이, 압축될 프레임 블록과 동일한 프레임 내의 재구성된 프레임 섹션에 의해 예측되고, 결과적인 에러 신호는, 예측과 관련된 정보, 이를 테면 예를 들어 예측 모드 또는 모션 벡터와 함께 코딩되는 것을 특징으로 한다. 표준 H.264/AVC는 아래의 명칭들을 갖는 9개의 상이한 인트라 예측 모드들을 규정한다:
인트라 예측 모드 명칭
모드 0: 수직(Vertical)
모드 1: 수평(Horizontal)
모드 2: DC 모드(직접 컴포넌트 모드)(DC mode(direct component mode))
모드 3: 하향 좌대각(Diagonal-Down-Left)
모드 4: 하향 우대각(Diagonal-Down-Right)
모드 5: 수직-우향(Vertical-Right)
모드 6: 수평-하향(Horizontal-Down)
모드 7: 수직-좌향(Vertical-Left)
모드 8: 수평-상향(Horizontal-Up)
모드 0 및 모드 1은 각각 도 5a 및 도 5b에 예시로서 도시된다. 4×4 픽셀들로 이루어진 재구성된 프레임 블록은 여기서 굵은 활자체로 테두리가 둘러진(bold-bordered) 4×4 프레임 블록에서 확인될 수 있다. 모드 0을 적용하기 위해, 현재 재구성된 프레임 블록 위에 위치되는 재구성된 프레임 블록의 4개의 픽셀들(참조 부호들 X 참조)이 요구된다. 이와 유사하게, 현재 재구성된 프레임 블록의 좌측에 위치되는 그러한 재구성된 프레임 블록의 4개의 픽셀들이, 모드 1에서의 압축/압축해제를 위해 요구된다.
재구성된 프레임을 압축하기 위해, 상기 재구성된 프레임은 프레임 구역들로 세분되고, 상기 프레임 구역들은 서로 독립적으로 압축된다. 이는, 프레임 구역들 중 하나의 프레임 구역의 프레임 콘텐트들만이 프로세싱될 필요가 있는 방식으로, 기준 프레임의 프레임 콘텐트들이 액세스되는 것을 가능하게 한다. 압축 절차에 있어서 여러 변형들이 존재한다.
변형 1:
제 1 변형에서, 각각의 프레임 구역 내의 재구성될 수 없는 그러한 픽셀들은 기준 프레임 버퍼 내에 압축되지 않고 저장된다. 따라서, 예를 들어, 모드 0의 배타적 이용이 이루어지면, 압축될 재구성된 프레임 블록들 바로 위에 위치된 픽셀들의 전체 행(row)이 기준 프레임 버퍼 내에 압축되지 않고 저장된다. 도 6은 3×5 재구성된 프레임 블록들로 이루어진 프레임 구역을 도시한다. 이러한 경우, 압축되지 않은 픽셀들은 프레임 구역 위에, 대각선으로 줄무늬가 있는 행에 의해 나타내진다.
변형 1에서, 재구성된 프레임의 다른 구역들에 의해 발생될 수 있는 그러한 픽셀들은 일반적으로 기준 프레임 버퍼 내에 압축되지 않고 저장된다. 이는, 압축된 형태로 기준 프레임 버퍼 내에 존재하는 그러한 프레임 구역 내에, 특정 프레임 영역들이 액세스되는 것을 가능하게 한다.
변형 2:
변형 1에 대한 변형에서, 압축되지 않은 픽셀들은 적어도 부분적으로 압축된 형태로 저장된다. 그러한 목적을 위해, 픽셀들 모두는 미리규정가능한 규칙에 따라 행 내에 셋업되고, 델타 코딩 또는 다른 차분 코딩 방식에 의해 압축될 수 있다.
예:
픽셀 값들: 100, 80, 115
차분 코딩 후의 값들: 100, -20, 15
이러한 경우, 제 1 픽셀 값은 코딩되지 않고 전송되고, 그 다음의 픽셀 값들은 별도로(differentially) 전송된다.
변형 3:
이를 테면, 예를 들어 H.264/AVC의 경우에 다수의 인트라 예측 모드들이 존재할 수 있다. 그 다음으로, 특정 모드가 각각의 프레임 구역을 위해 선택될 수 있고, 이러한 모드는 프레임 구역의 모든 재구성된 프레임 블록들에 적용된다. 대안적으로, 재구성된 프레임 블록들의 시퀀스를 압축하기 위해 미리규정가능한 인트라 예측 모드들의 시퀀스가 또한 결정될 수 있으며, 이를 테면, 예를 들어 다음과 같다:
모드 1 → 모드 0 → 모드 1 → 모드 0 → ...
이러한 경우, 제 1 재구성된 프레임 블록은 모드 1에 의해 압축되고, 제 2 재구성된 프레임 블록은 모드 0에 의해 압축되며, 제 3 재구성된 프레임 블록은 모드 1에 의해 압축되는 등등이다. 압축의 개별화(individualization)를 달성하기 위해 모드들의 시퀀스는 기준 프레임 버퍼 내에 저장될 수 있다.
변형 4:
인트라 예측 모드들뿐만 아니라, 기준 정보 없이 프레임 블록을 인코딩하는 인트라 코딩 모드가 또한 존재할 수 있다. 따라서, 이러한 변형에서, 인트라 코딩 모드는 인트라 예측 모드 0 내지 8에 부가하여 모드 9로 지정된다.
제 1 단계에서, 프레임 구역에 의해 결정될 수 없고 각각의 모드에 대해 요구되는, 코딩 모드를 시그널링하기 위한 그리고 픽셀들을 저장하기 위한 스토리지 요건을 고려하여, 모드 0 내지 모드 9 중 어느 모드가 최소 스토리지 공간 요건을 갖는지가 결정된다.
제 2 단계에서, 압축된 데이터는, 최소 스토리지 공간 요건을 갖는 그러한 모드에 기초하여 각각의 재구성된 프레임 블록의 압축에 의해 압축되고, 압축해제를 위해 요구되는 정보와 함께 기준 프레임 버퍼 내에 저장된다. 이러한 정보는 프레임 구역에 의해 재구성될 수 없는 픽셀들 및 모드의 세부사항들을 포함한다.
인트라 코딩 모드가 또한 이러한 변형에서 고려되기 때문에, 압축된 데이터를 저장하기 위한 스토리지 공간 요건이 최소화된다.
변형 5:
다른 변형에서, 프레임 압축 유닛은 또한, 인트라 예측 및/또는 인트라 코딩 모드에 의해 발생된 데이터의 양자화를 수행할 수 있다. 양자화 팩터가 암시적으로 결정될 수 없는 경우, 상기 양자화 팩터는 기준 프레임 버퍼 내에 저장된다.
변형 6:
추가의 변형은, 프레임 압축 유닛이, 예를 들어 슬라이스(slice)들의 형태의 프레임 구역을 위한 표준-호환가능 데이터 스트림을 발생시키고, 표준-호환가능 데이터 스트림을 기준 프레임 버퍼 내에 저장하는 것으로 이루어질 수 있다.
상기-인용된 변형들 중 적어도 몇몇은 결합될 수 있다. 인코더와 디코더 사이의 드리프트를 회피하거나 또는 최소화하기 위해, 각각의 변형들의 압축된 데이터에 부가하여 기준 프레임 버퍼 내에 저장되는 정보는 출력 신호 내로 삽입되고, 인코더로부터 디코더로 전송될 수 있다.
추가의 예시적인 실시예에서, 2개의 기준 프레임들은 각각의 경우에서 기준 프레임 버퍼 내에 저장된다. 인트라 예측에 의해 압축된 제 1 기준 프레임은 기준 프레임 버퍼 내에 저장된다. 인터 코딩 모드에 의해 압축된 제 2 기준 프레임은 기준 프레임 버퍼 내에 저장된다. 각각의 재구성된 프레임 블록에 있어서, 여기에서, 기준 프레임 버퍼 내에 저장된 제 1 기준 프레임 내에서 기준 프레임 블록에 대한 탐색이 실시된다. 이러한 기준 프레임 블록 탐색에 있어서, 모션 벡터는 바람직하게 제로(zero)로서 선택되어서, 압축된 데이터에 부가하여 단지 적은 양의 정보만이 기준 프레임 버퍼 내에 저장될 필요가 있다. 여기서, 또한, 디코더 및 인코더 내의 프레임 압축 유닛들 또는, 경우에 따라 프레임 압축해제 유닛들은 동일한 방식으로 각각의 기준 프레임을 압축 및 압축해제해야만 한다. 이러한 변형의 전개에서, 짝수의(even-numbered) 재구성된 프레임들은 인트라 예측에 의해 압축되어 저장되고, 홀수의(odd-numbered) 재구성된 프레임들은 인터 코딩 모드에 의해 압축되어 기준 프레임 버퍼 내에 저장된다.
다른 예시적인 실시예에서, 도 7을 참조하여, 각각의 경우에서 하나의 기준 서브프레임(REFT1, REFT2)이 2개의 기준 프레임들로부터 선택될 수 있고, 양측 모두는 인트라 예측을 이용하여 기준 프레임 버퍼 내에 저장된다. 이러한 예시에서, 점선 영역들(C)은 메모리 내의 압축되지 않은 재구성된 프레임 데이터를 나타낸다. 따라서, 재구성된 프레임 블록의 픽셀들(X) 중 적어도 몇몇은, 후속하여 프로세싱될 재구성된 프레임 블록의 압축을 위해 메모리 내에 버퍼링된다. 예를 들어 모션 추정 유닛(ME) 또는 모션 보상 유닛(MC)을 위해, 기준 서브프레임들의 서브존들로의 용이한 액세스를 가능하게 하기 위해, 기준 프레임들 각각에 대해, 적어도 일부분들이 각각의 프레임 압축해제 유닛(PD1, PD2)에 의해 기준 서브프레임들(REFT1, REFT2)로서 메모리 내에서 이용가능해진다. 도 7에서, 매크로블록 행들(MBL0, MBL1, 및 MBL2)은 메모리 내에 기준 서브프레임마다 저장된다. 프레임 압축해제 유닛을 위한 단일 순간을 제공할 가능성뿐만 아니라, 다수의 순간들, 이를 테면, 예를 들어 PD1, PD2를 이용가능하게 하는 것이 또한 유리할 수 있다. 이는, 각각의 기준 서브프레임들이 동시에 압축해제될 수 있다는 이점을 갖는다. 특정 프레임 데이터가 각각의 프레임 압축해제 유닛 또는 프레임 압축 유닛에 의해 더 이상 요구되지 않는 경우, 상기 데이터는 메모리로부터 삭제될 수 있다. 일 실시예에서, 이러한 삭제는 슬라이딩 윈도우(sliding window)처럼 실시될 수 있다.
기준 프레임 버퍼 내에 저장될 다수의 기준 프레임들이 인코더와 디코더 사이에서 시그널링될 수 있다.
인용문헌들의 목록
[1] JCTVC-B103: "Reference frame compression using image coder", ISO/IEC document: JCTVC-B103, 2nd Meeting: Geneva CH, 21-27 July, 2010, author: Chong Soon Lim
[2] JCTVC-B089: "Compressed Reference Frame Buffers (CRFB)" ISO/IEC document: JCTVC-B089, 2nd Meeting: Geneva, CH, 21-28 July, 2010, author: Mehmet Umut Demircin et al.
[3] JCTVC-B090: "ALF memory compression and IBDI/ALF coding efficiency test results in TMuC-0.1", JSO/IEC, document JCTVC-B090, author: Madhukar Budagavi
[4] JCTVC-B057: "DPCM-based memory compression", ISO/IEC document JCTVC-B057, 2nd Meeting: Geneva, CH, 21-28 July, 2010, author: Hirofumi Aoki
도 1 및 도 2는 종래 기술에 따른 프레임 코딩 및 디코딩을 위한 인코더 및 디코더를 각각 도시한다. 도 1 및 도 2는 도입부에서 상세히 설명되었으므로, 여기서는 도입부에서 주어진 설명에 대한 참조가 이루어질 것이다.
아래의 설명에서, 재구성된 프레임(RBD)의 적어도 하나의 프레임 영역(BR)은 예를 들어, 재구성된 프레임 블록(RBC)을 의미하는 것으로 이해된다. 더욱이, 기준 프레임의 적어도 하나의 프레임 영역은 예를 들어, 기준 프레임 블록을 의미하는 것으로 이해된다. 더욱이, 기준 프레임 버퍼는 또한 메모리 유닛(SRB)으로 지칭된다.
인코더들 및 디코더들은 일반적으로 상이한 예측 코딩 모드들을 지원하기 위해 기준 프레임 버퍼를 이용한다. 도 1 및 도 2에 나타낸 코딩 모드는, 이전의 시간 순간에서 인코딩된 그리고 디코딩된, 또는 경우에 따라 재구성된, 프레임의 재구성된 프레임 콘텐트들이, 현재의 시간 순간에서 인코딩되거나 또는 디코딩될 프레임을 예측하기 위해 이용되는 인터 코딩 모드이다. 다수의 예측 인코딩 모드들 및 대응하는 디코딩 모드들은 배경기술에서 기술되었으므로, 이들은 본 명세서에서 추가로 상세하게 논의되지 않을 것이다.
도 3은 프레임 블록들(BB)을 포함하는 프레임들로부터 출력 신호(AS)를 발생시키는, 아래에서 인코더로 지칭되는 프레임 인코딩 디바이스(ENC)를 개략적으로 도시한다. 상기 프레임 인코딩 디바이스(ENC)의 동작 모드는 도 1에 따른 디바이스의 동작 모드와 유사하다. 이러한 경우, 재구성된 프레임(RBD)의 프레임 영역(BR)은 재구성된 프레임 블록(RBM)을 위한 동의어(synonym)로서 이용되며, 압축된 데이터(KDAT), 및 프레임과 연관된 재구성된 프레임 블록들 모두를 포함하는 재구성된 프레임은 압축된 재구성된 프레임 블록(RBC)을 위한 동의어로서 이용된다.
복수의 코딩 모드들(M1, M2)로부터, 선택 유닛(ASE)은, 미리규정가능한 이미지 품질의 경우에서, 출력 신호를 저장하기 위한 스토리지 공간 요건을 최소화하는, 또는 코딩 후에 각각의 프레임 블록을 저장하기 위한 미리규정가능한 스토리지 공간 요건의 경우에서, 프레임 블록에 대응하는 재구성된 프레임 블록의 이미지 품질을 최소화하는 그러한 모드를 선택한다. 각각의 경우에서 코딩 모드들(M1, M2) 각각은 프레임 블록의 코딩을 기술하는 가능한 제 3 규칙들(V3) 중 하나를 나타낸다. 그와 유사하게, 코딩 모드들(M1, M2) 각각에 대해, 각각의 경우에서, 제 3 규칙(V3)과 연관된 역 제 3 규칙(V3I)이 존재하며, 상기 역 제 3 규칙(V3I)은 인코딩된 프레임 블록의 디코딩을 규정한다.
도 1에 따른 제 3 규칙(V3)을 예시하는 예는:
- 기준 서브프레임(REFT)로부터 기준 프레임 블록(RBB)을 선택하고;
- 프레임의 프레임 블록(BB)으로부터 기준 프레임 블록을 감함으로써 차이 프레임 블록(BD)을 발생시키고;
- 코사인 변환에 의해, 차이 프레임 블록(BD)으로부터 변환 계수들(TK)을 발생시키며;
- 양자화에 의해, 변환 계수들(TK)로부터 양자화된 변환 계수들(TQ)을 발생시킨다.
도 1 또는 도 2에 따른 제 3 규칙에 대한 역 제 3 규칙(V3I)을 예시하는 예는:
- 역 양자화에 의해, 양자화된 변환 계수들(TQ)로부터 재구성된 변환 계수들(TKR)을 발생시키고;
- 역 변환에 의해, 재구성된 변환 계수들(TKR)로부터 재구성된 차이 프레임 블록(BDR)을 발생시키며;
- 기준 프레임 블록(RBB)과 재구성된 차이 프레임 블록(BDR)을 합함으로써 재구성된 프레임 블록(RBM)을 발생시킨다.
도 3에 도시된 바와 같이, 선택된 코딩 모드에 링크된 프레임 압축 유닛(PC)의 제 3 규칙(V3)은 제 1 규칙으로서 전달된다. 프레임 압축 유닛은, 재구성된 프레임 블록(RBM)을 제 3 규칙과 동일한 또는 상기 제 3 규칙으로부터 유도된 상기 제 1 규칙에 따라 압축한다. 이를 예시하는 예들은 다음과 같다:
- 제 3 규칙이 인트라 코딩 모드를 기술하는 경우, 동일한 인트라 코딩 모드가 제 1 규칙을 위해 이용될 수 있다.
- 제 3 규칙이, (ⅰ) 인코딩될 매크로블록/프레임 블록이 "스킵(skip)" 신호에 의해 그리고 모션 벡터 없이 코딩되고, 그리고 (ⅱ) 기준 프레임이 인트라 코딩 모드에 의해 코딩되는 인트라 코딩 모드를 기술하는 경우, 인코딩될 매크로블록/프레임 블록이, 기준 프레임을 코딩하기 위해 이용되었던 인트라 코딩 모드에 의해 이용되는 코딩 모드가 제 1 규칙으로서 제공된다.
- 제 3 규칙이 프레임 블록/매크로 블록을 위해 연관된 모션 벡터들을 갖는 인터 코딩 모드를 이용하는 경우, 제 3 규칙은 재구성된 프레임 블록/매크로블록을 압축하기 위한 제 1 규칙으로서 채택될 수 있다, 즉 재구성된 프레임 블록을 압축하기 위해 프레임 압축 유닛은 또한, 동일한 모션 벡터 및 제 3 규칙에 따라 인터 코딩 모드를 이용한다.
압축된 데이터(KDAT)는 재구성된 프레임 블록(RBM)의 압축의 결과로서 발생된다. 압축된 데이터는, 재구성된 프레임 블록들을 기술하는 재구성된 프레임(RBD) 내의 또는 기준 프레임 내의 재구성된 프레임 블록의 위치를 반영하는 위치 포인터(APOS)와 함께 저장된다. 이에 의해, 이를 테면 재구성된 프레임 블록의 코딩된 유닛들을 위치시키는 것이 가능하다. 기준 프레임 내의 특정 프레임 영역들이 액세스되는 것을 가능하게 하기 위해, 어느 스토리지 위치에서, 재구성된 프레임의 프레임 영역에 또는 재구성된 프레임 블록에 속하는 압축된 데이터가 발견될 수 있는지를 표시하기 위해, 테이블(TAB)이 기준 프레임 버퍼 내에 생성된다. 압축된 데이터가 압축해제 유닛에 의한 명백한(unequivocal) 압축해제를 허용하지 않는 경우, 인덱스(INX)가 상기 압축된 데이터에 부착되고, 기준 프레임 버퍼 내에 저장될 수 있으며, 인덱스(INX)는 제 1 규칙 및/또는 제 2 규칙을 고유하게 식별하기 위한 식별자를 포함한다. 따라서, 압축해제 유닛은 인덱스(INX)의 도움으로 제 2 규칙(V2)을 확립하고, 압축된 데이터(KDAT)로부터 기준 서브프레임(REFT)을 결정할 수 있다. 대안적으로, 인덱스는 테이블(TAB) 내에 저장될 수 있다.
프레임 압축 유닛(PC), 프레임 압축해제 유닛(PD), 및 기준 프레임 버퍼(SRB)는, 디바이스(SV)로 또한 지칭되는 압축 모듈(XC)의 형태로 결합된다.
상기 예에서, 제 1 규칙은 제 3 규칙으로부터 직접적으로 획득될 수 있었다. 제 3 규칙에 제 1 규칙의 할당이 고유하지 않은 경우, 제 1 규칙을 명시적으로 시그널링하는 인덱스(INX)를 포함하는 정보 필드가 부가적으로 출력 신호에 삽입될 수 있다.
도 4는 본 발명을 아래에서 디코더로 지칭되는 프레임 압축해제 유닛(DEC)에 적용하는 접근방식을 도시한다. 출력 신호가 수신되어 도 2와 유사하게 프로세싱된다. 용어들은 도 3과 유사하게 이용된다. 자신의 유닛들, 프레임 압축 유닛(PC), 프레임 압축해제 유닛(PD), 및 기준 프레임 버퍼(SRB)를 갖는 압축 모듈은 도 3을 참조하여 제공된 설명과 유사하게 동작한다. 도 3에 따른 인코더와 대조적으로, 디코더의 경우에 어떠한 코딩 모드들도 독립적으로 선택되지 않는다. 오히려, 제 3 규칙은 출력 신호의 정보 필드에 의해, 예를 들어 인덱스(INX)에 의해 디코더에 명시적으로 통신되거나, 또는 제 3 규칙의 특별한 실시예가 인코더 및 디코더에 명시적으로 특정되거나, 또는 디코더는, 예를 들어 프레임 블록을 인코딩하기 위해 이용되는 코딩 모드의 도움으로 또는 프레임 콘텐트에 기초하여, 제 3 규칙을 출력 신호로부터 확실히(with certainty) 유도할 수 있다. 그 다음으로, 역 제 3 규칙은 제 3 규칙으로부터 명백하게(unequivocally) 유도될 수 있다. 이는, 인코더 및 디코더가 동일한 프레임 블록을 압축 및 압축해제하기 위해 동일한 제 3 또는 역 제 3 규칙을 이용하는 경우, 매우 유익할 것이다. 그렇지 않으면, 코딩 아티팩트(artifact)들이 그 결과일 수 있다.
다른 예시적인 실시예에서, 인트라 예측 모드가 프레임 압축 유닛 또는 프레임 압축해제 유닛에 의해 이용된다. 인트라 예측 모드는, 압축될 프레임 블록이, 압축될 프레임 블록과 동일한 프레임 내의 재구성된 프레임 섹션에 의해 예측되고, 결과적인 에러 신호는, 예측과 관련된 정보, 이를 테면 예를 들어 예측 모드 또는 모션 벡터와 함께 코딩되는 것을 특징으로 한다. 표준 H.264/AVC는 아래의 명칭들을 갖는 9개의 상이한 인트라 예측 모드들을 규정한다:
인트라 예측 모드 명칭
모드 0: 수직(Vertical)
모드 1: 수평(Horizontal)
모드 2: DC 모드(직접 컴포넌트 모드)(DC mode(direct component mode))
모드 3: 하향 좌대각(Diagonal-Down-Left)
모드 4: 하향 우대각(Diagonal-Down-Right)
모드 5: 수직-우향(Vertical-Right)
모드 6: 수평-하향(Horizontal-Down)
모드 7: 수직-좌향(Vertical-Left)
모드 8: 수평-상향(Horizontal-Up)
모드 0 및 모드 1은 각각 도 5a 및 도 5b에 예시로서 도시된다. 4×4 픽셀들로 이루어진 재구성된 프레임 블록은 여기서 굵은 활자체로 테두리가 둘러진(bold-bordered) 4×4 프레임 블록에서 확인될 수 있다. 모드 0을 적용하기 위해, 현재 재구성된 프레임 블록 위에 위치되는 재구성된 프레임 블록의 4개의 픽셀들(참조 부호들 X 참조)이 요구된다. 이와 유사하게, 현재 재구성된 프레임 블록의 좌측에 위치되는 그러한 재구성된 프레임 블록의 4개의 픽셀들이, 모드 1에서의 압축/압축해제를 위해 요구된다.
재구성된 프레임을 압축하기 위해, 상기 재구성된 프레임은 프레임 구역들로 세분되고, 상기 프레임 구역들은 서로 독립적으로 압축된다. 이는, 프레임 구역들 중 하나의 프레임 구역의 프레임 콘텐트들만이 프로세싱될 필요가 있는 방식으로, 기준 프레임의 프레임 콘텐트들이 액세스되는 것을 가능하게 한다. 압축 절차에 있어서 여러 변형들이 존재한다.
변형 1:
제 1 변형에서, 각각의 프레임 구역 내의 재구성될 수 없는 그러한 픽셀들은 기준 프레임 버퍼 내에 압축되지 않고 저장된다. 따라서, 예를 들어, 모드 0의 배타적 이용이 이루어지면, 압축될 재구성된 프레임 블록들 바로 위에 위치된 픽셀들의 전체 행(row)이 기준 프레임 버퍼 내에 압축되지 않고 저장된다. 도 6은 3×5 재구성된 프레임 블록들로 이루어진 프레임 구역을 도시한다. 이러한 경우, 압축되지 않은 픽셀들은 프레임 구역 위에, 대각선으로 줄무늬가 있는 행에 의해 나타내진다.
변형 1에서, 재구성된 프레임의 다른 구역들에 의해 발생될 수 있는 그러한 픽셀들은 일반적으로 기준 프레임 버퍼 내에 압축되지 않고 저장된다. 이는, 압축된 형태로 기준 프레임 버퍼 내에 존재하는 그러한 프레임 구역 내에, 특정 프레임 영역들이 액세스되는 것을 가능하게 한다.
변형 2:
변형 1에 대한 변형에서, 압축되지 않은 픽셀들은 적어도 부분적으로 압축된 형태로 저장된다. 그러한 목적을 위해, 픽셀들 모두는 미리규정가능한 규칙에 따라 행 내에 셋업되고, 델타 코딩 또는 다른 차분 코딩 방식에 의해 압축될 수 있다.
예:
픽셀 값들: 100, 80, 115
차분 코딩 후의 값들: 100, -20, 15
이러한 경우, 제 1 픽셀 값은 코딩되지 않고 전송되고, 그 다음의 픽셀 값들은 별도로(differentially) 전송된다.
변형 3:
이를 테면, 예를 들어 H.264/AVC의 경우에 다수의 인트라 예측 모드들이 존재할 수 있다. 그 다음으로, 특정 모드가 각각의 프레임 구역을 위해 선택될 수 있고, 이러한 모드는 프레임 구역의 모든 재구성된 프레임 블록들에 적용된다. 대안적으로, 재구성된 프레임 블록들의 시퀀스를 압축하기 위해 미리규정가능한 인트라 예측 모드들의 시퀀스가 또한 결정될 수 있으며, 이를 테면, 예를 들어 다음과 같다:
모드 1 → 모드 0 → 모드 1 → 모드 0 → ...
이러한 경우, 제 1 재구성된 프레임 블록은 모드 1에 의해 압축되고, 제 2 재구성된 프레임 블록은 모드 0에 의해 압축되며, 제 3 재구성된 프레임 블록은 모드 1에 의해 압축되는 등등이다. 압축의 개별화(individualization)를 달성하기 위해 모드들의 시퀀스는 기준 프레임 버퍼 내에 저장될 수 있다.
변형 4:
인트라 예측 모드들뿐만 아니라, 기준 정보 없이 프레임 블록을 인코딩하는 인트라 코딩 모드가 또한 존재할 수 있다. 따라서, 이러한 변형에서, 인트라 코딩 모드는 인트라 예측 모드 0 내지 8에 부가하여 모드 9로 지정된다.
제 1 단계에서, 프레임 구역에 의해 결정될 수 없고 각각의 모드에 대해 요구되는, 코딩 모드를 시그널링하기 위한 그리고 픽셀들을 저장하기 위한 스토리지 요건을 고려하여, 모드 0 내지 모드 9 중 어느 모드가 최소 스토리지 공간 요건을 갖는지가 결정된다.
제 2 단계에서, 압축된 데이터는, 최소 스토리지 공간 요건을 갖는 그러한 모드에 기초하여 각각의 재구성된 프레임 블록의 압축에 의해 압축되고, 압축해제를 위해 요구되는 정보와 함께 기준 프레임 버퍼 내에 저장된다. 이러한 정보는 프레임 구역에 의해 재구성될 수 없는 픽셀들 및 모드의 세부사항들을 포함한다.
인트라 코딩 모드가 또한 이러한 변형에서 고려되기 때문에, 압축된 데이터를 저장하기 위한 스토리지 공간 요건이 최소화된다.
변형 5:
다른 변형에서, 프레임 압축 유닛은 또한, 인트라 예측 및/또는 인트라 코딩 모드에 의해 발생된 데이터의 양자화를 수행할 수 있다. 양자화 팩터가 암시적으로 결정될 수 없는 경우, 상기 양자화 팩터는 기준 프레임 버퍼 내에 저장된다.
변형 6:
추가의 변형은, 프레임 압축 유닛이, 예를 들어 슬라이스(slice)들의 형태의 프레임 구역을 위한 표준-호환가능 데이터 스트림을 발생시키고, 표준-호환가능 데이터 스트림을 기준 프레임 버퍼 내에 저장하는 것으로 이루어질 수 있다.
상기-인용된 변형들 중 적어도 몇몇은 결합될 수 있다. 인코더와 디코더 사이의 드리프트를 회피하거나 또는 최소화하기 위해, 각각의 변형들의 압축된 데이터에 부가하여 기준 프레임 버퍼 내에 저장되는 정보는 출력 신호 내로 삽입되고, 인코더로부터 디코더로 전송될 수 있다.
추가의 예시적인 실시예에서, 2개의 기준 프레임들은 각각의 경우에서 기준 프레임 버퍼 내에 저장된다. 인트라 예측에 의해 압축된 제 1 기준 프레임은 기준 프레임 버퍼 내에 저장된다. 인터 코딩 모드에 의해 압축된 제 2 기준 프레임은 기준 프레임 버퍼 내에 저장된다. 각각의 재구성된 프레임 블록에 있어서, 여기에서, 기준 프레임 버퍼 내에 저장된 제 1 기준 프레임 내에서 기준 프레임 블록에 대한 탐색이 실시된다. 이러한 기준 프레임 블록 탐색에 있어서, 모션 벡터는 바람직하게 제로(zero)로서 선택되어서, 압축된 데이터에 부가하여 단지 적은 양의 정보만이 기준 프레임 버퍼 내에 저장될 필요가 있다. 여기서, 또한, 디코더 및 인코더 내의 프레임 압축 유닛들 또는, 경우에 따라 프레임 압축해제 유닛들은 동일한 방식으로 각각의 기준 프레임을 압축 및 압축해제해야만 한다. 이러한 변형의 전개에서, 짝수의(even-numbered) 재구성된 프레임들은 인트라 예측에 의해 압축되어 저장되고, 홀수의(odd-numbered) 재구성된 프레임들은 인터 코딩 모드에 의해 압축되어 기준 프레임 버퍼 내에 저장된다.
다른 예시적인 실시예에서, 도 7을 참조하여, 각각의 경우에서 하나의 기준 서브프레임(REFT1, REFT2)이 2개의 기준 프레임들로부터 선택될 수 있고, 양측 모두는 인트라 예측을 이용하여 기준 프레임 버퍼 내에 저장된다. 이러한 예시에서, 점선 영역들(C)은 메모리 내의 압축되지 않은 재구성된 프레임 데이터를 나타낸다. 따라서, 재구성된 프레임 블록의 픽셀들(X) 중 적어도 몇몇은, 후속하여 프로세싱될 재구성된 프레임 블록의 압축을 위해 메모리 내에 버퍼링된다. 예를 들어 모션 추정 유닛(ME) 또는 모션 보상 유닛(MC)을 위해, 기준 서브프레임들의 서브존들로의 용이한 액세스를 가능하게 하기 위해, 기준 프레임들 각각에 대해, 적어도 일부분들이 각각의 프레임 압축해제 유닛(PD1, PD2)에 의해 기준 서브프레임들(REFT1, REFT2)로서 메모리 내에서 이용가능해진다. 도 7에서, 매크로블록 행들(MBL0, MBL1, 및 MBL2)은 메모리 내에 기준 서브프레임마다 저장된다. 프레임 압축해제 유닛을 위한 단일 순간을 제공할 가능성뿐만 아니라, 다수의 순간들, 이를 테면, 예를 들어 PD1, PD2를 이용가능하게 하는 것이 또한 유리할 수 있다. 이는, 각각의 기준 서브프레임들이 동시에 압축해제될 수 있다는 이점을 갖는다. 특정 프레임 데이터가 각각의 프레임 압축해제 유닛 또는 프레임 압축 유닛에 의해 더 이상 요구되지 않는 경우, 상기 데이터는 메모리로부터 삭제될 수 있다. 일 실시예에서, 이러한 삭제는 슬라이딩 윈도우(sliding window)처럼 실시될 수 있다.
기준 프레임 버퍼 내에 저장될 다수의 기준 프레임들이 인코더와 디코더 사이에서 시그널링될 수 있다.
인용문헌들의 목록
[1] JCTVC-B103: "Reference frame compression using image coder", ISO/IEC document: JCTVC-B103, 2nd Meeting: Geneva CH, 21-27 July, 2010, author: Chong Soon Lim
[2] JCTVC-B089: "Compressed Reference Frame Buffers (CRFB)" ISO/IEC document: JCTVC-B089, 2nd Meeting: Geneva, CH, 21-28 July, 2010, author: Mehmet Umut Demircin et al.
[3] JCTVC-B090: "ALF memory compression and IBDI/ALF coding efficiency test results in TMuC-0.1", JSO/IEC, document JCTVC-B090, author: Madhukar Budagavi
[4] JCTVC-B057: "DPCM-based memory compression", ISO/IEC document JCTVC-B057, 2nd Meeting: Geneva, CH, 21-28 July, 2010, author: Hirofumi Aoki
Claims (18)
- 프레임 인코딩 디바이스(frame encoding device(ENC))에 의해 또는 프레임 디코딩 디바이스(frame decoding device(DEC))에 의해 발생된 재구성된 프레임(RBD)의 적어도 하나의 프레임 영역(frame area(BR))을 저장하기 위한, 그리고 상기 프레임 인코딩 디바이스(ENC) 또는 프레임 디코딩 디바이스(DEC)를 위한 기준 프레임(reference frame(REF))으로서 상기 적어도 하나의 프레임 영역(BR)을 제공하기 위한 방법으로서,
a) 제 1 규칙(V1)에 기초하여 상기 적어도 하나의 프레임 영역(BR)을 압축된 데이터(compressed data(KDAT))로 압축하는 단계;
b) 상기 압축된 데이터(KDAT)를 저장하는 단계;
c) 제 2 규칙(V2)에 기초하여 상기 압축된 데이터(KDAT)를 상기 적어도 하나의 프레임 영역(BR)으로 압축해제하는 단계
를 포함하며,
d) 상기 제 1 규칙(V1)은 제 3 규칙(V3)에 기초하여 형성되고, 상기 제 3 규칙(V3)은 상기 프레임 인코딩 디바이스(ENC)의 코딩 모드(coding mode(M1))를 규정하며,
e) 상기 제 2 규칙(V2)이 형성되며, 상기 제 2 규칙(V2)은 상기 제 3 규칙(V3)에 대한 역(inverse) 제 3 규칙(V3I)으로서 선택되고,
상기 압축된 데이터(KDAT)는 기준 프레임 버퍼(reference frame buffer) 내에 인덱스(index(INX))와 함께 저장되고, 상기 인덱스(INX)는 상기 제 1 규칙(V1) 또는 상기 제 2 규칙(V2)을 고유하게 식별하기 위한 식별자를 포함하는,
방법. - 삭제
- 제 1 항에 있어서,
상기 코딩된 데이터(KDAT)는, (ⅰ) 상기 프레임 인코딩 디바이스(ENC)에 의해 발생되는 및/또는 (ⅱ) 상기 프레임 디코딩 디바이스(DEC)에 의해 수신되는 출력 데이터 스트림(stream)을 발생시키기 위한 신택스(syntax)에 따라 저장되는,
방법. - 제 1 항 또는 제 3 항에 있어서,
상기 재구성된 프레임(RBD)의 복수의 프레임 영역들(BR)은 프레임 구역으로 결합되고, 동일한 재구성된 프레임(RBD)의 다른 프레임 구역들과 독립적으로 압축해제가능하게 저장되는,
방법. - 제 4 항에 있어서,
상기 프레임 구역의 각각의 프레임 영역들(BR)은 단일 제 1 규칙(V1)에 따라 또는 각각의 제 1 규칙들(V1)의 시퀀스(sequence)에 따라 압축되는,
방법. - 제 4 항에 있어서,
상기 프레임 구역의 프레임 영역들(BR) 중 적어도 몇몇 프레임 영역들은 인트라 예측 모드(intra prediction mode)에 의해 압축되고,
(ⅰ) 상기 프레임 구역의 적어도 하나의 픽셀(pixel)을 재구성하기 위해 요구되고, 그리고 (ⅱ) 상기 프레임 구역과 상이한 프레임 구역에 의해 단독으로 결정될 수 있는 제 1 픽셀들은 상기 프레임 구역의 상기 압축된 데이터(KDAT)에 부가하여 저장되는,
방법. - 제 6 항에 있어서,
상기 제 1 픽셀들은 규칙에 따라 압축 및 저장되는,
방법. - 제 6 항에 있어서,
상기 프레임 구역의 프레임 영역들(BR) 중 적어도 하나의 프레임 영역은 상기 인트라 예측 모드 대신에 인트라 코딩 모드(intra coding mode)에 의해 압축되는,
방법. - 제 6 항에 있어서,
압축될 상기 프레임 영역(BR)에 대해 가장 작은 스토리지(storage) 공간 요건을 갖는 모드는, (ⅰ) 적어도 2개의 상이한 인트라 예측 모드들에 의해, 또는 (ⅱ) 적어도 하나의 인트라 예측 모드 및 인트라 코딩 모드에 의해 형성된 다수의 모드들로부터 선택되는,
방법. - 제 4 항에 있어서,
인트라 예측을 위해 이용되는 양자화 파라미터(parameter)가 저장되는,
방법. - 제 1 항 또는 제 3 항에 있어서,
적어도 2개의 재구성된 프레임들(RBD)이 저장되고,
상기 적어도 2개의 재구성된 프레임들 중 제 1 재구성된 프레임은 인트라 예측 모드 및/또는 인트라 코딩 모드에 의해 압축되고,
시간에 있어서 상기 제 1 재구성된 프레임에 후속하는, 상기 적어도 2개의 재구성된 프레임들 중 제 2 재구성된 프레임은, 모션 벡터(motion vector)들이 상기 제 1 재구성된 프레임을 가리키는 인터 코딩 모드(inter coding mode)에 의해 압축되는,
방법. - 제 1 항 또는 제 3 항에 있어서,
상기 제 1 규칙(V1)은,
상기 제 3 규칙이 인트라 코딩 모드를 기술하는(describe) 경우, 상기 제 1 규칙이 동일한 인트라 코딩 모드에 의해 형성되는 단계;
상기 제 3 규칙이, (ⅰ) 코딩될 매크로블록(macroblock)/프레임 블록이 "스킵(skip)" 신호에 의해, 모션 벡터 없이 코딩되고, 그리고 (ⅱ) 코딩될 상기 매크로블록/프레임 블록의 기준 프레임이 인트라 코딩 모드에 의해 코딩되는 코딩 모드를 기술하는 경우, 상기 제 1 규칙을 위해 선택된 상기 인트라 코딩 모드는 상기 기준 프레임을 코딩하기 위해 이용되는 것인 단계;
상기 프레임 블록/매크로 블록을 위한 상기 제 3 규칙이 연관된 모션 벡터들을 갖는 인터 코딩 모드를 이용하는 경우, 상기 제 1 규칙은 상기 제 3 규칙과 동일하게 선택되는 단계 ― 상기 인터 코딩 모드를 위한 상기 모션 벡터는 상기 제 3 규칙과 그리고 상기 제 1 규칙과 동일하게 선택됨 ―
중 하나에 의해 상기 제 3 규칙(V3)에 기초하여 발생되는,
방법. - 제 1 항 또는 제 3 항에 있어서,
파라미터들 중 적어도 하나는, 프레임 인코딩 디바이스(ENC)에서 그리고 프레임 디코딩 디바이스(DEC)에서 상기 방법을 동기화하기 위해, 상기 프레임 인코딩 디바이스(ENC)와 상기 프레임 디코딩 디바이스(DEC) 사이에서 시그널링(signal)되며,
상기 파라미터들은,
상기 재구성된 프레임(RBD)의 상기 프레임 영역(BR)을 위한 또는 상기 재구성된 프레임(RBD)의 프레임 구역을 위한 인덱스(INX) ― 상기 인덱스(INX)는 상기 제 1 규칙(V1) 또는 상기 제 2 규칙(V2)을 고유하게 식별하기 위한 식별자를 포함함 ―;
상기 프레임 영역들 중 적어도 하나를 압축하기 위한 인트라 코딩 모드 또는 인트라 예측 모드에서 이용되는 양자화 팩터(factor)인,
방법. - 프레임 인코딩 디바이스(ENC)에 의해 또는 프레임 디코딩 디바이스(DEC)에 의해 발생된 재구성된 프레임(RBD)의 적어도 하나의 프레임 영역(BR)을 저장하기 위한, 그리고 상기 프레임 인코딩 디바이스(ENC) 또는 프레임 디코딩 디바이스(DEC)를 위한 기준 프레임(REF)으로서 상기 적어도 하나의 프레임 영역(BR)을 제공하기 위한 디바이스(SV)로서,
a) 제 1 규칙(V1)에 기초하여 상기 적어도 하나의 프레임 영역(BR)을 압축된 데이터(KDAT)로 압축하기 위한 프레임 압축 유닛(frame compression unit(PC));
b) 상기 압축된 데이터(KDAT)를 저장하기 위한 메모리 유닛(memory unit(SRB));
c) 제 2 규칙(V2)에 기초하여 상기 압축된 데이터(KDAT)를 상기 적어도 하나의 프레임 영역(BR)으로 압축해제하기 위한 프레임 압축해제 유닛(PD)
을 포함하며,
d) 상기 제 1 규칙(V1)은 제 3 규칙(V3)에 기초하여 형성되고, 상기 제 3 규칙(V3)은 상기 프레임 인코딩 디바이스(ENC)의 코딩 모드(M1)를 규정하며,
e) 상기 제 2 규칙(V2)이 형성되며, 상기 제 2 규칙(V2)은 상기 제 3 규칙(V3)에 대한 역(inverse) 제 3 규칙(V3I)이고,
상기 압축된 데이터(KDAT)는 상기 메모리 유닛(SRB) 내에 인덱스(INX)와 함께 저장되고, 상기 인덱스(INX)는 상기 제 1 규칙(V1) 또는 상기 제 2 규칙(V2)을 고유하게 식별하기 위한 식별자를 포함하는,
디바이스(SV). - 제 14 항에 있어서,
상기 디바이스(SV)는 부가적으로,
제 3 항에 따른 단계들 중 적어도 하나가 구현 및 실행될 수 있는 방식으로 구현되는 프로세싱 유닛(VMIT)을 갖는,
디바이스(SV). - 제 1 항 또는 제 3 항에 있어서,
상기 방법은 프레임 인코딩 유닛(ENC) 및/또는 프레임 디코딩 유닛(DEC)에서 이용되는,
방법. - 제 14 항에 있어서,
상기 디바이스(SV)는 프레임 인코딩 유닛(ENC) 및/또는 프레임 디코딩 유닛(DEC)에서 이용되는,
디바이스(SV). - 제 6 항에 있어서,
상기 제 1 픽셀들은 델타 코딩 방식(delta coding scheme)에 따라 압축 및 저장되는,
방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP11150714 | 2011-01-12 | ||
| EP11150714.1 | 2011-01-12 | ||
| PCT/EP2012/050430 WO2012095487A1 (de) | 2011-01-12 | 2012-01-12 | Kompression und dekompression von referenzbildern in einem videokoder |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140042779A KR20140042779A (ko) | 2014-04-07 |
| KR101873207B1 true KR101873207B1 (ko) | 2018-07-02 |
Family
ID=45495941
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137020898A KR101873207B1 (ko) | 2011-01-12 | 2012-01-12 | 비디오 코딩 디바이스의 기준 이미지들의 압축 및 압축해제 |
| KR1020137020897A KR101890203B1 (ko) | 2011-01-12 | 2012-01-12 | 비디오 인코더 내에서 기준 이미지들의 압축 및 압축해제 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137020897A KR101890203B1 (ko) | 2011-01-12 | 2012-01-12 | 비디오 인코더 내에서 기준 이미지들의 압축 및 압축해제 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US9723318B2 (ko) |
| EP (2) | EP2614647B1 (ko) |
| JP (2) | JP5698382B2 (ko) |
| KR (2) | KR101873207B1 (ko) |
| CN (2) | CN103329527B (ko) |
| WO (2) | WO2012095490A1 (ko) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2614647B1 (de) | 2011-01-12 | 2017-10-18 | Siemens Aktiengesellschaft | Kompression und dekompression von referenzbildern in einem videokoder |
| JP2014123841A (ja) * | 2012-12-20 | 2014-07-03 | Jvc Kenwood Corp | 画像符号化装置および画像符号化方法 |
| US10015515B2 (en) * | 2013-06-21 | 2018-07-03 | Qualcomm Incorporated | Intra prediction from a predictive block |
| US9883197B2 (en) | 2014-01-09 | 2018-01-30 | Qualcomm Incorporated | Intra prediction of chroma blocks using the same vector |
| JP5879571B2 (ja) * | 2014-01-31 | 2016-03-08 | 株式会社アクセル | 符号化装置及び復号化装置 |
| JP2015146474A (ja) * | 2014-01-31 | 2015-08-13 | 株式会社アクセル | 符号化装置及び復号化装置 |
| US10419512B2 (en) * | 2015-07-27 | 2019-09-17 | Samsung Display Co., Ltd. | System and method of transmitting display data |
| KR20170017573A (ko) * | 2015-08-07 | 2017-02-15 | 삼성전자주식회사 | 영상 데이터 처리 방법 및 이를 지원하는 전자 장치 |
| US10798396B2 (en) | 2015-12-08 | 2020-10-06 | Samsung Display Co., Ltd. | System and method for temporal differencing with variable complexity |
| EP3185556A1 (en) * | 2015-12-21 | 2017-06-28 | Thomson Licensing | Method and apparatus for combined adaptive resolution and internal bit-depth increase coding |
| JP6875821B2 (ja) * | 2016-10-19 | 2021-05-26 | キヤノン株式会社 | 画像符号化装置、撮像装置、画像符号化方法およびプログラム |
| US10838922B2 (en) | 2017-03-31 | 2020-11-17 | International Business Machines Corporation | Data compression by using cognitive created dictionaries |
| CN108810556B (zh) * | 2017-04-28 | 2021-12-24 | 炬芯科技股份有限公司 | 压缩参考帧的方法、装置及芯片 |
| CN109511008B (zh) * | 2018-11-27 | 2021-07-13 | 成都索贝数码科技股份有限公司 | 一种基于对象存储支持视音频文件内容追加的方法 |
| JP7359653B2 (ja) * | 2019-11-06 | 2023-10-11 | ルネサスエレクトロニクス株式会社 | 動画像符号化装置 |
| KR102167561B1 (ko) | 2020-03-11 | 2020-10-20 | 톈진 나가르 메커니컬 인더스트리 리미티드 컴퍼니 | 고압 플런저 방식 싱글 다이아프램 펌프 |
| KR102167568B1 (ko) | 2020-03-11 | 2020-10-20 | 톈진 나가르 메커니컬 인더스트리 리미티드 컴퍼니 | 고압 플런저 방식 더블 다이아프램 펌프 |
| US20230336594A1 (en) * | 2022-04-15 | 2023-10-19 | Google Llc | Videoconferencing with Reduced Quality Interruptions Upon Participant Join |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3165296B2 (ja) * | 1992-12-25 | 2001-05-14 | 三菱電機株式会社 | フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式 |
| US6208689B1 (en) | 1996-03-04 | 2001-03-27 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for digital image decoding |
| JP3575508B2 (ja) | 1996-03-04 | 2004-10-13 | Ｋｄｄｉ株式会社 | 符号化動画像再生装置 |
| CA2185753C (en) | 1996-03-04 | 2000-09-12 | Hideo Ohira | Digital image decoding apparatus |
| US5818530A (en) * | 1996-06-19 | 1998-10-06 | Thomson Consumer Electronics, Inc. | MPEG compatible decoder including a dual stage data reduction network |
| US5933195A (en) | 1997-09-26 | 1999-08-03 | Sarnoff Corporation | Method and apparatus memory requirements for storing reference frames in a video decoder |
| US5987180A (en) * | 1997-09-26 | 1999-11-16 | Sarnoff Corporation | Multiple component compression encoder motion search method and apparatus |
| US6229852B1 (en) | 1998-10-26 | 2001-05-08 | Sony Corporation | Reduced-memory video decoder for compressed high-definition video data |
| JP2000165875A (ja) | 1998-11-26 | 2000-06-16 | Oki Electric Ind Co Ltd | メモリ量の少ない動画像解像度変換符号化・復号装置 |
| CN1184820C (zh) * | 1999-01-15 | 2005-01-12 | 皇家菲利浦电子有限公司 | 编码和噪声过滤图象序列 |
| US6470051B1 (en) | 1999-01-25 | 2002-10-22 | International Business Machines Corporation | MPEG video decoder with integrated scaling and display functions |
| US6983101B1 (en) | 1999-03-31 | 2006-01-03 | Sanyo Electric Co., Ltd. | Image recording apparatus, image reproducing apparatus and image recording/reproducing apparatus |
| JP3286615B2 (ja) * | 1999-03-31 | 2002-05-27 | 三洋電機株式会社 | 映像記録装置、映像再生装置および映像記録再生装置 |
| JP2002077925A (ja) * | 2000-08-31 | 2002-03-15 | Kddi Corp | ディジタル圧縮動画像ストリーム再符号化装置 |
| US6983017B2 (en) | 2001-08-20 | 2006-01-03 | Broadcom Corporation | Method and apparatus for implementing reduced memory mode for high-definition television |
| JP4209631B2 (ja) | 2002-05-23 | 2009-01-14 | パナソニック株式会社 | 符号化装置、復号化装置、及び、圧縮伸長システム |
| KR100654436B1 (ko) * | 2004-07-07 | 2006-12-06 | 삼성전자주식회사 | 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더 |
| US8284837B2 (en) * | 2004-09-16 | 2012-10-09 | Thomson Licensing | Video codec with weighted prediction utilizing local brightness variation |
| SG130962A1 (en) | 2005-09-16 | 2007-04-26 | St Microelectronics Asia | A method and system for adaptive pre-filtering for digital video signals |
| JP2007166323A (ja) * | 2005-12-14 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 画像復号装置、および画像復号方法 |
| US7903733B2 (en) | 2006-01-26 | 2011-03-08 | Qualcomm Incorporated | Adaptive filtering to enhance video encoder performance |
| JP4384130B2 (ja) | 2006-03-28 | 2009-12-16 | 株式会社東芝 | 動画像復号方法及び装置 |
| WO2007114368A1 (ja) * | 2006-03-30 | 2007-10-11 | Kabushiki Kaisha Toshiba | 画像符号化装置及び方法並びに画像復号化装置及び方法 |
| JP4973886B2 (ja) * | 2006-06-21 | 2012-07-11 | 日本電気株式会社 | 動画像復号装置、復号画像記録装置、それらの方法及びプログラム |
| JP5535625B2 (ja) * | 2006-07-18 | 2014-07-02 | トムソン ライセンシング | 適応的参照フィルタリングの方法及び装置 |
| US8503521B2 (en) | 2007-01-16 | 2013-08-06 | Chih-Ta Star SUNG | Method of digital video reference frame compression |
| US8270739B2 (en) * | 2007-12-03 | 2012-09-18 | Ecole De Technologie Superieure | System and method for quality-aware selection of parameters in transcoding of digital images |
| KR101459395B1 (ko) | 2007-11-02 | 2014-11-10 | 에꼴 드 테크놀로지 수페리에르 | 디지털 이미지의 트랜스코딩에서 파라미터의 퀄리티-인식 선택을 위한 시스템 및 방법 |
| GB2457262A (en) | 2008-02-08 | 2009-08-12 | Linear Algebra Technologies | Compression / decompression of data blocks, applicable to video reference frames |
| US8548041B2 (en) | 2008-09-25 | 2013-10-01 | Mediatek Inc. | Adaptive filter |
| JP2010098352A (ja) * | 2008-10-14 | 2010-04-30 | Panasonic Corp | 画像情報符号化装置 |
| US20100098169A1 (en) * | 2008-10-16 | 2010-04-22 | Texas Instruments Incorporated | Method and apparatus for motion estimation using compressed reference frame |
| US20110026593A1 (en) * | 2009-02-10 | 2011-02-03 | New Wei Lee | Image processing apparatus, image processing method, program and integrated circuit |
| US8724707B2 (en) * | 2009-05-07 | 2014-05-13 | Qualcomm Incorporated | Video decoding using temporally constrained spatial dependency |
| WO2010137322A1 (ja) | 2009-05-29 | 2010-12-02 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 |
| US8233534B2 (en) * | 2010-04-09 | 2012-07-31 | Newport Media, Inc. | Frame buffer compression and memory allocation in a video decoder |
| EP2614647B1 (de) | 2011-01-12 | 2017-10-18 | Siemens Aktiengesellschaft | Kompression und dekompression von referenzbildern in einem videokoder |
-
2012
- 2012-01-12 EP EP12700392.9A patent/EP2614647B1/de not_active Not-in-force
- 2012-01-12 EP EP12705230.6A patent/EP2617198A1/de not_active Withdrawn
- 2012-01-12 JP JP2013548845A patent/JP5698382B2/ja not_active Expired - Fee Related
- 2012-01-12 KR KR1020137020898A patent/KR101873207B1/ko active IP Right Grant
- 2012-01-12 WO PCT/EP2012/050435 patent/WO2012095490A1/de active Application Filing
- 2012-01-12 US US13/979,497 patent/US9723318B2/en active Active
- 2012-01-12 CN CN201280005271.5A patent/CN103329527B/zh not_active Expired - Fee Related
- 2012-01-12 WO PCT/EP2012/050430 patent/WO2012095487A1/de active Application Filing
- 2012-01-12 CN CN201280005268.3A patent/CN103283231B/zh not_active Expired - Fee Related
- 2012-01-12 JP JP2013548842A patent/JP5710022B2/ja not_active Expired - Fee Related
- 2012-01-12 US US13/979,601 patent/US9398292B2/en not_active Expired - Fee Related
- 2012-01-12 KR KR1020137020897A patent/KR101890203B1/ko active IP Right Grant
Non-Patent Citations (2)
| Title |
|---|
| Mehmet Umut Demircin, et al. TE2: Compressed Reference Frame Buffers (CRFB). JCTVC-B089. 2010.07.21. |
| Thomas Wiegand, et al. WD1: Working Draft 1 of High-Efficiency Video Coding. Joint Collaborative Team on Video Coding (JCT-VC) JCTVC-C403. 2010.10.07.* |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2617198A1 (de) | 2013-07-24 |
| JP2014506442A (ja) | 2014-03-13 |
| CN103329527B (zh) | 2017-03-01 |
| EP2614647A1 (de) | 2013-07-17 |
| US9723318B2 (en) | 2017-08-01 |
| CN103283231A (zh) | 2013-09-04 |
| CN103283231B (zh) | 2018-04-27 |
| JP5710022B2 (ja) | 2015-04-30 |
| US20140003517A1 (en) | 2014-01-02 |
| JP5698382B2 (ja) | 2015-04-08 |
| KR20140042778A (ko) | 2014-04-07 |
| US20130301711A1 (en) | 2013-11-14 |
| KR20140042779A (ko) | 2014-04-07 |
| WO2012095487A1 (de) | 2012-07-19 |
| EP2614647B1 (de) | 2017-10-18 |
| WO2012095490A1 (de) | 2012-07-19 |
| CN103329527A (zh) | 2013-09-25 |
| US9398292B2 (en) | 2016-07-19 |
| JP2014506441A (ja) | 2014-03-13 |
| KR101890203B1 (ko) | 2018-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101873207B1 (ko) | 비디오 코딩 디바이스의 기준 이미지들의 압축 및 압축해제 | |
| US20220030255A1 (en) | Efficient rounding for deblocking | |
| US8325797B2 (en) | System and method of reduced-temporal-resolution update for video coding and quality control | |
| US9532073B2 (en) | Video encoding device, video decoding device, video decoding method, video decoding method, and program | |
| KR102344167B1 (ko) | 참조 화상 리스트 변경 정보를 조건부로 시그널링하는 기법 | |
| EP2324638B1 (en) | System and method for video encoding using adaptive loop filter | |
| KR100750137B1 (ko) | 영상의 부호화,복호화 방법 및 장치 | |
| US8885730B2 (en) | Image coding method, image decoding method, and apparatuses therefor | |
| KR101538704B1 (ko) | 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치 | |
| US9774851B2 (en) | Quantization parameter for blocks coded in the PCM mode | |
| EP2043371A1 (en) | Image processing device, method, and program | |
| KR20100133006A (ko) | 동화상 부호화/복호화 방법 및 장치 | |
| KR20130045785A (ko) | 메모리 관리 방법 및 그를 이용한 복호화 장치 | |
| KR20070026914A (ko) | 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 | |
| US20130039412A1 (en) | Predictive coding with block shapes derived from a prediction error | |
| KR20070029450A (ko) | 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 | |
| KR20070027981A (ko) | 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 | |
| WO2019007492A1 (en) | INTRAMODE BYPASS LINE MEMORY HARMONIZATION DECODER SIDE WITH UNBLOCKING FILTER | |
| WO2019161248A1 (en) | Variable template size for template matching | |
| US20220360793A1 (en) | Multi-hypothesis prediction | |
| JP4775132B2 (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
| KR20150105347A (ko) | 잔차 변환을 이용한 인트라 예측 방법 및 장치 | |
| KR101998756B1 (ko) | 비디오 인코딩 및 디코딩 방법과 이를 이용한 장치 | |
| US20230044258A1 (en) | Image encoding/decoding method and apparatus using bdpcm, and recording medium storing bitstream | |
| KR20140129418A (ko) | 잔차 변환을 이용한 인트라 예측 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |