KR102088801B1 - 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치 - Google Patents

가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치 Download PDF

Info

Publication number
KR102088801B1
KR102088801B1 KR1020130024620A KR20130024620A KR102088801B1 KR 102088801 B1 KR102088801 B1 KR 102088801B1 KR 1020130024620 A KR1020130024620 A KR 1020130024620A KR 20130024620 A KR20130024620 A KR 20130024620A KR 102088801 B1 KR102088801 B1 KR 102088801B1
Authority
KR
South Korea
Prior art keywords
unit block
depth
coding unit
coding
size
Prior art date
Application number
KR1020130024620A
Other languages
English (en)
Other versions
KR20140111139A (ko
Inventor
권녕규
박인수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130024620A priority Critical patent/KR102088801B1/ko
Priority to US14/197,756 priority patent/US9681139B2/en
Publication of KR20140111139A publication Critical patent/KR20140111139A/ko
Application granted granted Critical
Publication of KR102088801B1 publication Critical patent/KR102088801B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

HEVC 등과 같은 가변 블록 비디오 엔코더에서의 ROI 베이스드 비디오/이미지 압축 솔루션이 제공된다. 본 발명의 예시에 따라 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법은, 하나의 이미지에서 얻어진 최대 코딩 유닛 블록을 코딩 유닛 블록으로 분할한다. 또한, 코딩 유닛 블록의 양자화 파라메터를 얻기 위하여, 상기 코딩 유닛 블록의 사이즈와 연관된 제1 깊이 정보와 상기 코딩 유닛 블록의 파티션에 따라 대응적으로 나타나는 예측 유닛 블록의 사이즈와 연관된 제2 깊이 정보를 이용하여 상기 양자화 파라메터를 결정함에 의해, 상기 제1 깊이 정보와 상기 제2 깊이 정보에 따라 양자화 파라메터 값이 코딩 유닛 블록 별로 각기 다르게 할당되도록 한다.

Description

가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치{Method and apparatus for ROI coding using variable block size coding information}
본 발명은 비디오 또는 이미지 신호의 엔코딩 분야에 관한 것으로, 보다 구체적으로 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩 기법을 사용하는 것이 필수적이다.
데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy)을 없애는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복을 없앰으로써 데이터를 압축할 수 있다. 또한, 인간의 시각 및 지각 능력은 높은 주파수에 둔감하므로, 이를 고려한 심리시각 중복을 없앰으로써도 데이터를 압축할 수 있다.
프레임 내의 이미지 데이터에는 관심이 집중되는 영역, 영상 화면 내 움직임이 많은 영역 등의 비트 양이 갑자기 증가 되는 영역이 있는데, 이를 관심영역(ROI: Region Of Interest)이라고 한다.
이러한 관심영역은 전체적인 비디오/이미지 품질에 큰 영향을 끼칠 수 있으므로, 엔코딩 시에 이에 대한 처리가 이슈로 된다.
본 발명이 해결하고자 하는 기술적 과제는, HEVC 등과 같은 가변 블록 비디오 엔코더에서의 ROI 베이스드 비디오/이미지 압축 솔루션을 제공함에 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 개념의 일 양상(an aspect)에 따라, 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법은,
하나의 이미지에서 얻어진 최대 코딩 유닛 블록을 코딩 유닛 블록으로 분할하고;
상기 코딩 유닛 블록의 양자화 파라메터를 얻기 위하여, 상기 코딩 유닛 블록의 사이즈와 연관된 제1 깊이(depth)정보와 상기 코딩 유닛 블록의 파티션에 따라 대응적으로 나타나는 예측 유닛 블록의 사이즈와 연관된 제2 깊이 정보를 이용하여 상기 양자화 파라메터를 결정함에 의해, 상기 제1 깊이 정보와 상기 제2 깊이 정보에 따라 양자화 파라메터 값이 코딩 유닛 블록 별로 각기 다르게 할당되도록 한다.
본 발명의 개념에 따른 실시 예에 따라, 상기 양자화 파라메터 값은 상기 코딩 유닛 블록의 사이즈와 연관된 제1 깊이 정보와 상기 예측 유닛 블록의 사이즈와 연관된 제2 깊이 정보가 클수록 작게 될수 있다.
본 발명의 개념에 따른 실시 예에 따라, 상기 양자화 파라메터를 결정 시에 레이트 디스토션 코스트도 추가로 고려할 수 있다.
본 발명의 개념에 따른 실시 예에 따라, 상기 코딩 유닛 블록의 사이즈와 예측 유닛 블록의 사이즈는 텍스쳐 정보로서 활용될 수 있다.
본 발명의 개념에 따른 실시 예에 따라, 상기 양자화 파라메터의 업데이트는 상기 코딩 유닛 블록의 사이즈와 상기 코딩 유닛 블록의 제1 깊이 정보를 이용하여 수행될 수 있다.
본 발명의 개념에 따른 실시 예에 따라, 상기 양자화 파라메터의 업데이트는 상기 예측 유닛 블록의 사이즈와 상기 예측 유닛 블록의 제2 깊이 정보를 이용하여 수행될 수 있다.
본 발명의 개념에 따른 실시 예에 따라, 상기 양자화 파라메터의 업데이트는 상기 코딩 유닛 블록의 깊이 정보와 상기 예측 유닛 블록의 깊이 정보를 이용하여 수행될 수 있다.
본 발명의 개념에 따른 실시 예에 따라, 상기 관심영역 코딩은 상기 프레임 내의 오브젝트 영역의 추출 없이 수행될 수 있다.
본 발명의 개념에 따른 실시 예에 따라, 상기 관심영역 코딩은 상기 프레임 내의 배경 영역과 오브젝트 영역의 구별 없이 수행될 수 있다.
본 발명의 개념에 따른 실시 예에 따라, 상기 관심영역 코딩은 시퀀스 내에서 상기 프레임에 포함된 오브젝트 영역을 트래킹 함이 없이 수행될 수 있다.
본 발명의 개념에 따른 실시 예에 따라, 상기 관심영역 코딩은 가변 블록 엔코더에 의해 수행될 수 있다.
본 발명의 개념에 따른 실시 예에 따라, 코딩 유닛 블록의 제1 깊이 정보 결정은 ,
깊이 N(N은 0을 포함하는 자연수)을 갖는 코딩 유닛 블록에 대한 레이트 디스토션 코스트를 계산하고,
서브블록으로 분할되어 깊이 N+1를 갖는 코딩 유닛 블록에 대한 레이트 디스토션 코스트를 계산하고,
상기 깊이 N을 갖는 코딩 유닛 블록의 계산 값이 상기 깊이 N+1를 갖는 코딩 유닛 블록의 계산 값보다 작을 경우에 현재 코딩 유닛 블록의 깊이를 깊이 N으로서 세트하며,
그렇지 않고 클 경우에, 상기 깊이 N+1를 갖는 코딩 유닛 블록은 더 작은 서브블록으로 분할된 후 레이트 디스토션 코스트가 결정될 수 있다.
본 발명의 개념에 따른 실시 예에 따라, 예측 유닛 블록의 제2 깊이 정보 결정은 ,
깊이 N(N은 0을 포함하는 자연수)를 갖는 예측 유닛 블록에 대한 레이트 디스토션 코스트를 계산하고,
서브블록으로 분할되어 깊이 N+1 를 갖는 예측 유닛 블록에 대한 레이트 디스토션 코스트를 계산하고,
상기 깊이 N을 갖는 예측 유닛 블록의 계산 값이 상기 깊이 N+1 를 갖는 예측 유닛 블록의 계산 값보다 작을 경우에 현재 예측 유닛 블록의 깊이를 깊이 N 으로서 세트하며,
그렇지 않고 클 경우에, 상기 깊이 N+1를 갖는 예측 유닛 블록은 더 작은 서브블록으로 분할된 후 레이트 디스토션 코스트가 결정될 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 개념의 다른 양상(another aspect)에 따라, 고효율 비디오 코딩을 위한 엔코더는,
하나의 이미지에서 얻어진 최대 코딩 유닛 블록으로부터 분할된 코딩 유닛 블록에 대하여 레이트 디스토션 코스트를 계산 및 비교하는 레이트 디스토션 비교부; 및
상기 코딩 유닛 블록의 양자화 파라메터를 얻기 위하여, 상기 코딩 유닛 블록의 사이즈와 연관된 제1 깊이 정보와 상기 코딩 유닛 블록의 파티션에 따라 대응적으로 나타나는 예측 유닛 블록의 사이즈와 연관된 제2 깊이 정보를 이용하여 상기 양자화 파라메터를 결정함에 의해, 상기 제1 깊이 정보와 상기 제2 깊이 정보에 따라 양자화 파라메터 값이 코딩 유닛 블록 별로 각기 다르게 할당되도록 하는 양자화 파라메터 업데이트 부를 포함한다.
본 발명의 개념에 따른 실시 예에 따라, 상기 양자화 파라메터 값은 상기 코딩 유닛 블록의 사이즈와 연관된 제1 깊이 정보와 상기 예측 유닛 블록의 사이즈와 연관된 제2 깊이 정보가 작을수록 크게 결정될 수 있다.
본 발명의 실시 예적인 구성에 따르면, 비디오/이미지는 추가적인 계산 복잡 없이도 프레임 내의 텍스쳐 정보에 의존하여 각기 다른 이미지 품질로써 압축될 수 있다.
또한, 오브젝트를 포함하는 영역은 배경을 포함하는 영역보다 보다 디테일한 묘사로 압축될 수 있다.
도 1은 본 발명의 개념적 실시 예에 따른 엔코더를 포함하는 이미지 처리 장치의 구성 블록도,
도 2는 두 개의 오브젝트를 가지는 비디오 프레임/이미지를 나타낸 도면,
도 3a는 도 2의 코딩 유닛 블록에서 파티션되는 예측 유닛 블록들과 변환 유닛 블록들의 분할 예시도.
도 3b는 도 3a에 나타난 부호화 유닛들의 관계를 예시적으로 나타낸 도면.
도 4는 본 발명의 개념적 실시 예에 따른 전체 엔코딩 프로시져를 도식적으로 나타낸 도면.
도 5는 도 4에 적용되는 코딩 유닛 블록의 깊이 판정 알고리즘을 나타낸 플로우챠트.
도 6은 도 4에 적용되는 예측 유닛 블록의 깊이 판정 알고리즘을 나타낸 플로우챠트.
도 7은 영상 처리 시스템에 적용된 본 발명의 응용 예를 도시한 블록도.
도 8은 비디오 송신 시스템에 적용된 본 발명의 응용 예를 도시한 블록도.
도 9는 전자 기기에 채용된 본 발명의 응용 예를 도시한 블록도.
도 10은 도 4의 엔코딩 프로시져를 수행하는 엔코더의 예시도.
도 11은 도 10의 엔코더를 적용하는 예시적 디지털 시스템의 블록도.
도 12는 휴대용 전자통신기기에 적용된 본 발명의 응용 예들을 도시한 도면.
위와 같은 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은, 이해의 편의를 제공할 의도 이외에는 다른 의도 없이, 개시된 내용이 보다 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 소자 또는 라인들이 대상 소자 블록에 연결된다 라고 언급된 경우에 그것은 직접적인 연결뿐만 아니라 어떤 다른 소자를 통해 대상 소자 블록에 간접적으로 연결된 의미까지도 포함한다.
또한, 각 도면에서 제시된 동일 또는 유사한 참조 부호는 동일 또는 유사한 구성 요소를 가급적 나타내고 있다. 일부 도면들에 있어서, 소자 및 라인들의 연결관계는 기술적 내용의 효과적인 설명을 위해 나타나 있을 뿐, 타의 소자나 회로블록들이 더 구비될 수 있다.
여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함될 수 있으며, 엔코딩 장치에 대한 기본적 동작과 내부 기능회로에 관한 세부는 본 발명의 요지를 모호하지 않도록 하기 위해 상세히 설명되지 않음을 유의(note)하라.
도 1은 본 발명의 개념적 실시 예에 따른 엔코더를 포함하는 이미지 처리 장치의 구성 블록도이다.
도 1의 엔코더(1000)는 서브 엔코더들(10-1,10-n)을 포함할 수 있다. 상기 엔코더(1000)는 고효율 비디오 코딩(HEVC) 표준을 이용하는 비디오 시퀀스 및/또는 이미지 압축뿐만 아니라 가변 블록 사이즈 내에서 모든 종류의 비디오 코딩에 사용될 수 있다.
고효율 비디오 코딩(HEVC) 표준은 ITU-T와 ISO/MPEG에 의해 2010년 1월에 새로운 비디오 코딩 스탠다드 프로젝트를 런칭하기 위해 결정되었다.
HEVC(High Efficiency Video Coding)를 개발하고 있는 ISO/IEC와 ITU는 공동 협력팀(Joint Collaborative Team on Video Coding-JCT-VC)을 구성하였다. JCT-VC의 목표 중 하나는 H.264/AVC 압축률의 2배를 향상하는 것으로 HEVC 테스트 모델(HEVC Test Model - HM)을 최근에 확정했다. HM의 여러 기술 중에서 확장 블록 구조 (large block structure) 기술은 매크로 블록 개념에서 세분화된 3가지 종류의 부호화 유닛 즉, CU(Coding Unit)와 TU(Transform Unit), PU(Prediction Unit)를 사용한다. CU와 TU는 압축 단위와 변환 기술을 확장한 반복적인 문법구조(recursive syntax structure)이며, PU는 H.264/AVC과 동일한 형태를 띤다.
상기 엔코더(1000)는 도 4에서 보여지는 바와 같은 엔코딩 동작을 수행한다.
도 1 내에서 프리 디코더(1500)는 상기 엔코더(1000)에 의해 압축된 데이터를 수신하여 프리 디코딩을 수행한다.
또한, 상기 이미지 처리 장치에 구비될 수 있는 디코더(2000)는 상기 프리 디코더(1500)에 의해 프리 디코딩된 데이터를 디코딩하여 원래의 비디오/이미지 데이터가 복원되도록 한다.
상기 엔코더(1000)의 입력단(IN)에는 도 2에서와 같은 비디오/이미지가 엔코딩되기 위해 인가될 수 있다.
도 2는 두 개의 오브젝트(OB1,OB2)를 가지는 비디오/이미지를 나타낸 도면이다.
2개의 오브젝트를 가지는 하나의 프레임이 예시적으로 나타나 있는 도 2를 참조하면, 제1 영역(1)은 하나의 프레임/이미지를 나타낸다. 즉, 제1 영역(1)은 하나의 비디오 프레임이나 하나의 이미지 프레임을 가리킨다.
상기 제1 영역(1)내에 포함되어 있는 제2 영역(2)은 가장 큰 코딩 유닛 사이즈로써 엔코딩하는 영역을 나타내다. 여기서, 상기 제2 영역(2)에 대한 코딩 유닛의 깊이(depth)는 0으로 설정될 수 있다. 깊이 정보 0을 갖는 코딩 유닛 블록은 흔히 LCUs(Largest Coding Units)로서 불려진다. 상기 LCU는 최대 64 pixels x 64 pixels 에서 최소 8 pixels x 8 pixels 까지의 슬라이스 사이즈를 가질 수 있다. 상기 LCUs은 쿼드트리 형태로 재귀적으로 분할될 수 있고, 이렇게 분할되는 단위가 바로 코딩 단위(CU)인 것이다. 상기 CUs는 추가적으로 예측 단위(PUs)로 파티션될 수 있다.
HEVC의 부호화 블록 구조의 경우에도, CU는 부호화가 이루어지는 기본단위로 64×64에서 8×8까지 쿼드-트리 구조로 구성된다. 이때, 쿼드-트리로 구성된 최상위 CU를 CTU (coding tree unit)라고 한다. PU는 화면내, 화면 간 예측에 사용되는 단위로 각 PU는 참조 인덱스,움직임 벡터, 화면 내 예측 모드 등의 정보를 포함한다. 각PU는 최대 2N×2N, 2N×N, N×2N, N×N, nL×2N, nR×2N,2N×nU, 2N×nD 8가지의 모양을 가질 수 있다. TU는 변환이 이루어지는 단위로 32×32에서 4×4까지 쿼드-트리 구조로 구성된다. 하나의 CU는 여러 개의 TU로 분할 될 수 있으며, PU와 독립적으로 분할 될 수 있다.
상기 제2 영역(2)에 비해 더 작은 블록인 제3 영역(3)은 중간 코딩 유닛 사이즈로 엔코딩하는 영역을 나타낸다. 여기서, 코딩 유닛의 깊이는 1로 설정될 수 있다.
상기 제3 영역(3)에 비해 더 작은 블록인 제4 영역(4)은 작은(smaller) 코딩 유닛 사이즈로 엔코딩하는 영역을 나타낸다. 여기서 코딩 유닛의 깊이는 2로 설정될 수 있다.
이와 같이 코딩 유닛 블록의 사이즈가 작아질수록 코딩 유닛의 깊이 값(정보)은 커짐을 알 수 있다. 결국, 상기 LCU로부터 분할(또는 파티션)되는 횟수가 증가될수록 코딩 유닛의 깊이 값은 커진다.
또한, 도 2에서 배경 영역(BG)과 상기 관심영역(ROI) 사이에는 경계 영역(BR)이 존재한다. 상기 관심영역(ROI)은 도 2에서 두 개의 오브젝트(OB1,OB2)가 된다.
도 2와 같이 한 프레임/이미지(1) 내에서 코딩 유닛(CU) 블록들은 각기 서로 다른 사이즈들로서 나타날 수 있다. 대개, 보다 작은 사이즈를 갖는 코딩 유닛의 블록이 보다 상세한 텍스쳐 영역을 엔코딩하기 위해 적용되어질 수 있다.
도 3A는 도 2의 코딩 유닛 블록에서 파티션되는 예측 유닛 블록들과 변환 유닛 블록들의 예시도 이다.
도 3A를 참조하면, 한 프레임/이미지(1)는 복수의 LCUs(2)로 파티션되고, 하나의 LCU1(2)는 쿼드트리(quadtree) 디콤포지션을 이용하여 서로 다른 깊이 정보를 갖는 복수의 CUs(3,4)로 파티션될 수 있다. 예를 들어 CU(Coding Unit:4)의 깊이 값이 도 2에서 정의된 바와 같이 2일 경우에 CU(3)의 깊이 값은 도 2에서 정의된 바와 같이 1이 될 수 있다. 결국, 도 3A에서 CU21(4)의 블록 사이즈는 CU10(3)의 블록 사이즈의 1/4이 되도록 파티션되었기 때문에, CU21(4)는 CU10(3)에 비해 깊이 값이 1 크다. 한편, CU21(4)는 CU33(5)에 비해 깊이 값이 1 작다. 유사하게, CU(7)은 CU(6)에 비해 깊이 값이 1 크다.
도 3A에서, 하나의 CU(4)는 적어도 하나 이상의 예측 유닛들(Prediction Units)과, 적어도 하나 이상의 변환 유닛들(Transform Units)로 구성될 수 있다.
예측 유닛(PU)은 픽셀 값들의 예측을 위해 CU의 파티션에 대응될 수 있다. 예를 들어, 상기 하나의 CU21(4)는 상기 CU21(4)가 가로로 1/2 파티션된 PU(41), 상기 CU21(4)가 세로로 1/2 파티션된 PU(42), 또는 상기 CU21(4)와 같은 PU(43)이 될 수 있다. 이와 같이 각 CU는 최대 2의 대칭 사각 파티션 유닛인 PU로 파티션될 수 있다. 또한, PU의 깊이 값(정보)과 CU의 깊이 값은 파티셔닝에 따라 같거나 다를 수 있다.
변환 유닛(TU)은 DCT에 의해 공간적으로 변환되는 기초 유닛들을 표현하기 위해 사용되며, 대응되는 CU의 사이즈와 동일한 사이즈를 최대 사이즈로서 가질 수 있다. 상기 CU는 쿼드트리(quadtree)리프리젠테이션에 근거하여 TU로 파티션 될 수 있다.
예를 들어, 상기 하나의 CU21(4)는 상기 CU21(4)와 같은 TU(51), 상기 CU21(4)가 1/4 또는 1/16 파티션된 TU(52), 또는 상기 CU21(4)가 1/4, 1/16, 또는 1/64 파티션된 TU(53)이 될 수 있다.
결국, PU와 TU는 CU의 서브 유닛들인 셈이다.
도 3A에서 보여지는 예측 유닛 블록들과 변환 유닛 블록들은 예시적인 것에 불과하며, 본 발명은 이에 한정되지 않는다. 예를 들어 다양한 파티션 기법이 존재할 수 있으며, 예측 유닛 블록들과 변환 유닛 블록들의 깊이 설정이 다양하게 이루어질 수 있다.
도 3B는 도 3A에 나타난 부호화 유닛들의 관계를 예시적으로 나타낸 도면이다.
도 3B를 참조하면, CU는 대칭 타입의 다양한 PU들과 비대칭 타입의 다양한 PU들로 나타날 수 있다.
또한, 대칭 타입의 PU들에서 RQT 1 레벨을 갖는 TU와 RQT 2 레벨을 갖는 TU가 예시적으로 나타나 있다. TU 사이즈 플래그 =0 은 TU의 깊이 정보 값이 0임을 의미한다.
한편, 비대칭 타입의 PU들에서 RQT 1 레벨을 갖는 TU와 RQT 3 레벨을 갖는 TU가 예시적으로 나타나 있다. TU 사이즈 플래그 =1 은 TU의 깊이 정보 값이 1임을 의미한다.
도 4는 본 발명의 개념적 실시 예에 따른 전체 엔코딩 프로시져를 도식적으로 나타낸 도면이다.
도 4를 참조하면, 비디오 프레임/이미지를 압축하는 개략적 엔코딩 프로시져가 보여진다.
도 4에서, 참조부호 100은 프레임 레벨의 엔코딩 프로시져를 나타낸다.
참조부호 110에서 나타낸 바와 같이, 하나의 프레임은 복수의 코딩 유닛 (CU)블록 레벨로 분할될 수 있다. 참조부호 200은 하나의 코딩 유닛 블록 레벨 내에서의 엔코딩 프로시져를 나타낸다.
상기 코딩 유닛 블록 레벨에서의 엔코딩 프로시져(200)는 다음과 같다.
즉, 코딩 유닛 블록의 깊이 결정(210), 인터 또는 인트라 예측 후 잔여(residual)데이터 생성(220), 현재 코딩 유닛 블록에 대한 양자화 파라메터 값 업데이트(230), 변환 및 양자화(240), 및 엔트로피 코딩(250)이 엔코딩 프로시져의 서브 단계들로서 차례로 수행된다.
본 발명의 실시 예에서는 상기 현재 코딩 유닛 블록에 대한 양자화 파라메터 값 업데이트(230)를 위해, 도 5에서와 같은 프로시져가 실행될 수 있다.
결국, 코딩 유닛 블록에 대한 양자화 파라메터(QP) 값의 획득은, 레이트 디스토션 코스트를 고려하고, 또한, 텍스쳐(texture)정보로서 코딩 유닛(CU) 블록의 사이즈와 연관된 제1 깊이(depth)정보와 상기 코딩 유닛(CU) 블록의 파티션에 따라 대응적으로 나타나는 예측 유닛(PU) 블록의 사이즈와 연관된 제2 깊이 정보를 고려함에 의해 실행된다. 이에 따라, 상기 제1 깊이 정보와 상기 제2 깊이 정보에 따라 양자화 파라메터 값이 코딩 유닛 블록 별로 각기 다르게 할당된다.
코딩 유닛(CU) 블록의 사이즈와 연관된 제1 깊이 정보와 예측 유닛(PU) 블록의 사이즈와 연관된 제2 깊이 정보가 큰 값으로 나타날 수록 양자화 파라메터(QP)의 값은 보다 작은 값으로서 할당된다.
다시 말하면, 상대적으로 작은 깊이 값(정보)을 갖는 코딩 유닛 블록에 대해서는 상대적으로 큰 깊이 값을 갖는 코딩 유닛 블록에 비해 양자화 파라메터 값이 작게 할당된다. 예를 들면, 도 2 내에서 제2 영역(2)의 양자화 파라메터는 제3 영역(3)의 양자화 파라메터 보다 값이 크다. 제3 영역(3)의 양자화 파라메터는 제4 영역(4)의 양자화 파라메터 보다 값이 크다. 여기서, 양자화 파라메터(QP)의 값이 작을수록 CU는 상대적으로 자세한 묘사(detailed description)로서 압축된다. 따라서, 도 2의 제4 영역(4)은 제3 영역(3) 및 제2 영역(2)보다 더 자세하게(more detail)압축될 수 있다. 따라서, 싱글 프레임/이미지 내에서 오브젝트(OB1,OB2)는 배경보다 더 좋은 품질로 엔코딩될 수 있다.
한편, 임의의 두 CU 블록들에서, 상기 제1 깊이 정보가 서로 동일한 경우에도 상기 예측 유닛(PU) 블록의 사이즈와 연관된 제2 깊이 정보가 서로 다르다면, 할당되는 양자화 파라메터 값은 서로 다르게 된다. 즉, 상기 제1 깊이 정보가 동일한 경우라 하더라도, 상기 제2 깊이 정보(값)를 상대적으로 크게 갖는 CU 블록일수록 할당되는 양자화 파라메터 값은 상대적으로 작다.
이와 같이, 할당되는 양자화 파라메터 값은 상기 제1 깊이 정보와 상기 제2 깊이 정보에 따라 적응적으로 달라지며, 상기 제1 깊이 정보가 같은 경우라 하더라도 상기 제2 깊이 정보에 따라 달라진다.
본 발명에 따른 ROI 베이스드 엔코딩은 HEVC 등과 같은 가변 블록 엔코더에 의해 수행된다. 상기 가변 블록 엔코더는 프레임 내에서의 오브젝트의 추출 없이도 엔코딩을 수행할 수 있으며, 또한, 배경 영역과 오브젝트 영역에 대한 판정을 수행함이 없이도 엔코딩을 수행할 수 있다. 따라서, 시퀀스 내에서 오브젝트 영역을 트랙킹 할 필요도 없다.
결국, 도 1의 엔코더의 경우에는 ROI 정보가 그 자신의 엔코더 프로세싱 루프 내에서 획득될 수 있기 때문에, 추가적인 정보를 요구하지 않는 것이다.
ROI 엔코딩을 위해 비디오 프레임/이미지는 특정한 블록 사이즈에 근거하여 압축된다. 최적의 코딩 유닛의 블록 사이즈는 레이트 디스토션 코스트(rate-distortion cost)를 적절히 비교함에 의해 결정될 수 있다.
RDcost는 라그랑지안 비용 함수(Lagrangian cost function)을 이용하여 아래의 수학식 1와 같이 계산될 수 있다. Rates는 잔여 변환 계수의 부호화시 소모되는 비트량이고, Distortion은 SSD(Sum of Square Difference)를 이용하여, 원본 매크로 블록과 복원된 매크로 블록의 왜곡 정도를 나타낸다. B(k,l)은 원본 매크로 블록의 (k,l)번째 픽셀 값을 나타내고, B'(k,l)은 복원된 매크로 블록의 (k,l)번째 픽셀 값을 나타낸다. λ는 양자화 계수(Quantization Parameter)에 의해 결정되는 상수이다.
Figure 112013020168454-pat00001
Figure 112013020168454-pat00002
Figure 112013020168454-pat00003
한편, 컨벤셔날 기술에서의 ROI 베이스드 엔코딩은 다음과 같은 문제를 가질 수 있다.
즉, 컨벤셔날 비디오 엔코더는 코딩 단위 양자화 파라메터에 대한 결정을 만들 때 프레임 내의 비디오 콘텐츠를 고려하지 않는다. 즉, 코딩 유닛 블록의 양자화 파라메터는 레이트 디스토션 코스트만을 고려함에 의해 결정되는 것이다. 따라서, 컨벤셔날 비디오 엔코더는 코딩 베이스드 관심 영역에 대한 부가적인 계산의 복잡성을 요구하는 오브젝트 추출 및/또는 오브젝트 트래킹을 제공해야 하는 것이다.
도 5는 도 4에 적용되는 코딩 유닛 블록의 깊이 판정 알고리즘을 나타낸 플로우챠트이다.
HEVC내의 코딩 유닛(CU)블럭의 깊이 판정 알고리즘은 S30 단계 내지 S44 단계로 되어 있다.
각 코딩 유닛 내에서, 엔코더는 깊이 0(C0)을 갖는 코딩 유닛에 대한 레이트 디스토션 코스트(rate distortion cost)를 계산한다.
상기 깊이 0을 갖는 코딩 유닛은 4개의 서브블록으로 나뉘어지고, 깊이 1을 갖는 코딩 유닛이 만들어진다. 상기 엔코더는 깊이 1(C1)을 갖는 코딩 유닛에 대한 레이트 디스토션 코스트도 계산한다.
만일 C0가 C1보다 작으면, 엔코더는 현재 코딩 유닛 깊이를 0으로서 세트한다. 그렇지 않으면(C0가 C1보다 크면), 엔코더는 각 서브 블록을 더 작은 블록 사이즈로 분할한다. 그리고, 엔코더는 증가된 깊이(1,2)를 가지고 위에서 설명된 바와 같은 프로시져를 다시 수행한다.
결국, 코딩 유닛 블록의 깊이 결정을 위해, 깊이 N(N은 0을 포함하는 자연수)을 갖는 코딩 유닛 블록에 대한 레이트 디스토션 코스트를 계산하고, 서브블록으로 분할되어 깊이 N+1을 갖는 코딩 유닛 블록에 대한 레이트 디스토션 코스트를 계산한 후, 계산된 값들을 서로 비교하는 동작이 수행된다. 이러한 작업은 상기 엔코더 내의 레이트 디스토션 비교부에 의해 수행될 수 있다.
엔코더 내의 양자화 파라메터 업데이트 부는 상기 깊이 N을 갖는 코딩 유닛 블록의 계산 값이 상기 깊이 N+1을 갖는 코딩 유닛 블록의 계산 값보다 작을 경우에 현재 코딩 유닛 블록의 깊이를 깊이 N으로서 세트한다.
한편, 그렇지 않고 클 경우에, 상기 깊이 N+1을 갖는 코딩 유닛 블록은 더 작은 서브블록으로 분할되어 깊이 N+2를 갖는 코딩 유닛 블록으로 된다. 상기 엔코더 내의 레이트 디스토션 비교부는 깊이 N+2를 갖는 코딩 유닛 블록에 대한 레이트 디스토션 코스트를 계산한다.
보다 구체적인 예시로서, 도 5의 S30 단계에서 코딩 유닛의 블록 사이즈는 최대 코딩 유닛의 블록 사이즈(LCU)로서 주어지고, 코딩 유닛 블록의 깊이는 0으로서 일단 주어진다. 설명의 편의를 위해, 도면에서는 깊이 0을 갖는 코딩 유닛은 C0으로 표현되고, 깊이 1을 갖는 코딩 유닛은 C1으로 표현된다.
S32 단계에서 코딩 유닛 블록(C0)에 대한 레이트 디스토션 코스트가 계산되고, S34 단계에서 C0에 대한 예측 유닛(PU) 블록의 깊이 결정이 도 5에서와 같은 프로시져를 통해 수행된다.
한편, S36 단계에서 4개의 서브 블록으로 분할된 코딩 유닛 블록(C1)에 대한 레이트 디스토션 코스트가 계산되고, S38 단계에서 C1에 대한 예측 유닛(PU) 블록의 깊이 결정이 도 5에서와 같은 프로시져를 통해 수행된다.
S40 단계에서 상기 깊이 0을 갖는 코딩 유닛 블록(C0)의 레이트 디스토션 코스트 계산 값과 상기 깊이 1을 갖는 코딩 유닛 블록(C1)의 레이트 디스토션 코스트 계산 값이 서로 비교된다. C0이 C1보다 레이트 디스토션 코스트 계산 값이 작을 경우에, 현재 코딩 유닛 블록의 깊이는 S42 단계에서 깊이 0으로서 세트된다. 한편, 현재 예측 유닛 블록의 깊이는 S34 단계에서 결정된 C0에 대한 예측 유닛(PU) 블록의 깊이로서 세트된다.
만약, C0이 C1보다 레이트 디스토션 코스트 계산 값이 큰 경우에 CU와 PU의 깊이 값은 세팅되지 않고, S44 단계에서 코딩 유닛 블록의 깊이는 1 증가된다. 그리고, S44 단계의 수행이 완료되면 상기 S32 단계와 상기 S36 단계가 다시 시작된다. 이 경우에는 깊이 값이 각기 1 증가된 상태이므로 상기 C1과 다시 분할된 코딩 유닛 블록 C2에 대한 레이트 디스토션 코스트가 계산되고 서로 비교된다.
이와 같은 프로시져를 통해 코딩 유닛 블록의 깊이 값(정보)은 결정되고 업데이트된다.
도 6은 도 5에 적용되는 예측 유닛 블록의 깊이 판정 알고리즘을 나타낸 플로우챠트이다.
HEVC내의 예측 유닛 블록의 깊이 판정 알고리즘은 S50 단계 내지 S64 단계로 나타나 있다.
예측 유닛(PU)블록에 대한 깊이 판정 알고리즘은 도 5의 코딩 유닛(CU) 블록에 대한 깊이 판정 알고리즘과 유사하다.
즉, 예측 유닛 블록의 깊이 결정은, 깊이 N(N은 0을 포함하는 자연수)을 갖는 예측 유닛 블록에 대한 레이트 디스토션 코스트를 계산하고, 서브블록으로 분할되어 깊이 N+1을 갖는 예측 유닛 블록에 대한 레이트 디스토션 코스트를 계산하는 것에서부터 시작된다.
상기 깊이 N을 갖는 예측 유닛 블록의 레이트 디스토션(RD)코스트 계산 값이 상기 깊이 N+1을 갖는 예측 유닛 블록의 RD 코스트 계산 값보다 작을 경우에 현재 예측 유닛 블록의 깊이는 깊이 N으로서 세트된다. 만약 그렇지 않고 클 경우에, 상기 깊이 N+1을 갖는 예측 유닛 블록은 더 작은 서브블록으로 분할된 후 RD 코스트가 다시 계산될 수 있다.
도 6의 프로시져는 도 5 내의 S34 단계와 S38 단계를 상세히 보여준다.
구체적으로 S50 단계에서 예측 유닛(PU)의 블록 사이즈는 상기 코딩 유닛(CU)의 블록 사이즈와 동일하게 일단 주어지고, 예측 유닛(PU) 블록의 깊이는 0으로서 주어진다.
S52 단계에서 C0를 구성하는 예측 유닛 블록(PU0)이 설정되고, S54 단계에서 예측 유닛 블록(PU0) 대한 레이트 디스토션 코스트가 계산된다.
한편, S56 단계에서 4개의 서브 블록으로 분할된 예측 유닛 블록(PU1)이 C1을 구성하는 블록으로서 설정되고, S58 단계에서 예측 유닛 블록(PU1)에 대한 레이트 디스토션 코스트가 계산된다.
S60 단계에서 상기 PU0을 갖는 C0과 상기 PU1을 갖는 C1의 레이트 디스토션 코스트 계산 값이 서로 비교된다. C0이 C1보다 RD 코스트 계산 값이 작을 경우에, 현재 예측 유닛 블록의 깊이는 S62 단계에서 깊이 0으로서 세트된다. 즉, PU의 깊이는 PU0으로서 세트된다.
만약, C0이 C1보다 계산 값이 큰 경우에 PU의 깊이 값은 세팅되지 않고, S64 단계에서 예측 유닛 블록의 깊이는 1 증가된다. 그리고, S64 단계의 수행이 완료되면 상기 S52 단계와 상기 S56 단계가 다시 시작된다. 이 경우에는 예측 유닛의 블록에 대한 깊이 값이 각기 1 증가된 상태이므로 상기 PU1과 다시 분할된 예측 유닛 블록 PU2에 대한 레이트 디스토션 코스트가 계산되고 서로 비교된다.
도 6에서와 같은 프로시져를 통해 예측 유닛 블록의 깊이 값(정보)은 결정되고 업데이트된다.
상기한 바와 같이, 양자화 파라메터 획득 프로시져를 위해, 코딩 유닛 블록의 양자화 파라메터의 업데이트는 결정된 코딩 유닛 깊이(depth_cu)와 결정된 예측 유닛 깊이(depth_cu)를 이용하여 수행된다. 즉, CU QP 블록의 업데이트인 QPfinal 는,
QPfinal = QPinitial -(integer) (alpha x depth_cu + beta x depth_pu )로 나타날 수 있다.
따라서, 본 발명의 실시 예에서는 부가적인 계산 복잡 없이도 ROI 베이스드 비디오 엔코더를 위한 솔루션이 도 5를 통해 제공되었다. 본 발명의 엔코더는 CU 블록의 사이즈에 관련된 제1 깊이 정보와 PU 블록의 사이즈에 관련된 제2 깊이 정보에 근거하여, 양자화 파라메터 값을 적응적으로 세팅함에 의해, 프레임/이미지 내의 오브젝트 영역과 배경 영역을 차별적인 품질로 압축할 수 있다.
그러나, 이와 같은 구성이나 설명은 실시 예에 불과하며 본 발명을 한정하는 것은 아님을 이해하여야 한다.
도 7은 영상 처리 시스템에 적용된 본 발명의 응용 예를 나타낸다.
영상 처리 시스템은 TV, 셋탑박스, 데스크탑, 랩탑 컴퓨터, 팜탑(palmtop) 컴퓨터, PDA(personal digital assistant), 비디오 또는 이미지 저장 장치(예컨대, VCR(video cassette recorder), DVR(digital video recorder) 등)를 나타내는 것일 수 있다. 뿐만 아니라, 상기 시스템은 상기한 장치들을 조합한 것, 또는 상기 장치가 다른 장치의 일부분으로 포함된 것을 나타내는 것일 수도 있다. 상기 시스템은 적어도 하나 이상의 비디오/이미지 소스(video source)를 수신하는 하나 이상의 입출력 장치(570), 콘트롤러(540), 메모리(550), 및 디스플레이 장치(580)를 포함하여 구성될 수 있다.
비디오/이미지 소스는 TV 리시버(TV receiver), VCR, 또는 다른 비디오/이미지 저장 장치로부터 제공되는 것일 수 있다. 또한, 상기 비디오/이미지 소스는 인터넷, WAN(wide area network), LAN(local area network), 지상파 방송 시스템(terrestrial broadcast system), 케이블 네트워크, 위성 통신 네트워크, 무선 네트워크, 전화 네트워크 등을 이용하여 서버로부터 비디오/이미지를 수신하기 위한 하나 이상의 네트워크 연결을 나타내는 것일 수도 있다. 뿐만 아니라, 상기 비디오/이미지 소스는 상기한 네트워크들을 조합한 것, 또는 상기 네트워크가 다른 네트워크의 일부분으로 포함된 것을 나타내는 것일 수도 있다.
입출력 장치(570), 콘트롤러(540), 그리고 메모리(550)는 통신 매체 등과 같은 인터페이스(560)를 통하여 통신한다. 상기 인터페이스(560)에는 통신 버스, 통신 네트워크, 또는 하나 이상의 내부 연결 회로를 나타내는 것일 수 있다.
상기 비디오/이미지 소스로서의 입력 비디오/이미지 데이터는 메모리(550)에 저장된 하나 이상의 소프트웨어 프로그램에 따라 상기 콘트롤러(540)에 의해 처리될(processed) 수 있다.
특히, 메모리(550)에 저장된 소프트웨어 프로그램은 본 발명에 따른 도 5에서와 같은 엔코딩 절차를 수행하는데 사용될 수 있다.
도 8은 비디오 송신 시스템에 적용되는 본 발명의 응용 예를 도시한 블록도이다.
도 8을 참조하면, 비디오 송신 시스템은 엔코더(1000)와 트랜스미터(1200)를 포함할 수 있다.
상기 엔코더(1000)는 본 발명의 실시 예에서와 같은 엔코딩 프로시져를 수행하는 엔코더일 수 있으므로, 엔코딩을 위한 계산 복잡성이 보다 단순화될 수 있다. 따라서, 비디오 송신 시스템의 사이즈가 콤팩트해질 수 있다.
상기 트랜스미터(1200)는 상기 엔코더(1000)에 의해 엔코딩된 데이터를 비트 스트림화하여 전송 채널로 전송하는 역할을 한다.
도 9는 전자 기기에 탑재된 본 발명의 응용 예를 도시한 블록도이다.
도면을 참조하면, 전자 기기는 트랜시버 및 모뎀(1010), CPU(1001), DRAM(2001), 플래시 메모리(1040), 디스플레이 유닛(1020), 유저 인터페이스(1030), 및 엔코더(1050)를 포함한다.
상기 CPU(1001), DRAM(2001), 및 플래시 메모리(1040)는 하나의 칩으로 제조 또는 패키징될 수 있다. 상기 DRAM(2001)은 동기식 또는 비동기식 랜덤 억세스 메모리일 수 있다.
상기 트랜시버 및 모뎀(1010)은 통신 데이터의 변복조 기능을 수행한다.
상기 CPU(1001)는 미리 설정된 프로그램에 따라 상기 전자 기기의 제반 동작을 제어한다.
상기 DRAM(2001)은 상기 CPU(1001)의 메인 메모리로서 기능 할 수 있다.
상기 플래시 메모리(1040)는 노어 타입 혹은 낸드 타입 플래시 메모리일 수 있다.
상기 디스플레이 유닛(1020)은 백라이트를 갖는 액정이나 LED 광원을 갖는 액정 또는 OLED 등의 소자로서 터치 스크린을 가질 수 있다. 상기 디스플레이 유닛(1020)은 문자,숫자,그림 등의 이미지를 컬러로 표시하는 출력 소자로서 기능한다.
상기 유저 인터페이스(1030)은 숫자키, 기능키 등을 포함하는 입력 소자일 수 있으며, 상기 전자 기기와 사람간을 인터페이싱하는 역할을 한다.
상기 엔코더(1050)는 도 1과 같은 엔코더일 수 있고 도 5 및 도 6과 같은 업데이트 프로시져를 수행할 수 있으므로, 상기 전자기기의 퍼포먼스가 보다 파워풀 해질 수 있다.
상기 전자 기기는 모바일 통신 장치나 필요한 경우에 구성 요소를 가감하여 스마트 카드나 SSD로서 기능할 수 있다.
상기 전자기기는 별도의 인터페이스를 통해 외부의 통신 장치와 연결될 수 있다. 상기 통신 장치는 DVD(digital versatile disc) 플레이어, 컴퓨터, 셋 탑 박스(set top box, STB), 게임기, 디지털 캠코더 등일 수 있다.
비록 도면에는 도시되지 않았지만, 상기 전자기기에는 응용 칩셋(Application chipset), 카메라 이미지 프로세서(Camera Image Processor: CIS), 모바일 디램 등이 더 제공될 수 있음은 이 분야의 통상적인 지식을 가진 자에게 자명하다.
상기 전자기기를 형성하는 칩은 다양한 형태들의 패키지를 이용하여 실장될 수 있다. 예를 들면, 칩은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등의 패키지로서 패키지화될 수 있다.
비록, 도 9에서 플래시 메모리가 채용되는 것을 예로 들었으나, 불휘발성 스토리지가 사용될 수 있다.
상기 불휘발성 스토리지는 텍스트, 그래픽, 소프트웨어 코드 등과 같은 다양한 데이터 형태들을 갖는 데이터 정보를 저장할 수 있다.
상기 불휘발성 스토리지는, 예를 들면, EEPROM(Electrically Erasable Programmable Read-Only Memory), MRAM(Magnetic RAM), 스핀전달토크 MRAM (Spin-Transfer Torque MRAM), Conductive bridging RAM(CBRAM), FeRAM (Ferroelectric RAM), OUM(Ovonic Unified Memory)라고도 불리는 PRAM(Phase change RAM), 저항성 메모리 (Resistive RAM: RRAM 또는 ReRAM), 나노튜브 RRAM (Nanotube RRAM), 폴리머 RAM(Polymer RAM: PoRAM), 나노 부유 게이트 메모리(Nano Floating Gate Memory: NFGM), 홀로그래픽 메모리 (holographic memory), 분자 전자 메모리 소자(Molecular Electronics Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
도 10은 도 4의 엔코딩 프로시져를 수행하는 엔코더의 예시도이다.
도 10을 참조하면, HEVC에 적합한 엔코더는 인트라 프레딕터(221), 인터 프레딕터(222), 제1,2 컴바이너(224,228), 콘트롤러(230), 변환부(241), 양자화기(242), 역양자화기(226), 역변환기(227), 인루프 필터(229), 및 스토리지(223)를 포함할 수 있다.
입력 비디오 시퀀스로부터 얻어진 LCUs(211)는 제1 컴바이너(224), 인트라 프레딕터(221), 인터 프레딕터(222)로 제공된다. 상기 인터 프레딕터(222)는 모션 추정기와 모션 보상기를 포함할 수 있다.
모드 결정 스위치(212)는 상기 콘트롤러(230)의 제어신호(CON)에 의해 제어된다. PUs의 코딩 코스트와 픽쳐 예측 모드에 따라 상기 인터 프레딕터(222)의 모션 보상된 인터 프레딕티드 PUs와 상기 인트라 프레딕터(221)의 인트라 프레딕티드 PUs 중의 하나가 스위칭된다.
상기 모드 결정 스위치(212)의 출력 즉 프레딕티드 PU는 제1 컴바이너 (224)의 네거티브 입력과 제2 컴바이너(228)의 포지티브 입력으로 제공된다.
상기 제1 컴바이너(224)는 변환부(241)로 잔여(residual) PU를 제공하기 위해 현재 PU에서 예측된 PU를 감산한다. 상기 제1 컴바이너(224)로부터 얻어지는 잔여 PU는 오리지널 PU와 예측된 PU의 픽셀 값들 간의 차이를 계량하는 한 세트의 픽셀 차 값이다.
변환부(241)는 잔여 픽셀 값들을 변환계수들로 변환하기 위해 잔여 PUs 에 대하여 블록 변환을 수행한다. 상기 변환부(241)는 변환계수들을 양자화기(242)로 제공한다. 상기 변환부(241)는 잔여 PUs에 대한 변환 블록 사이즈들을 수신하고, 변환계수들을 생성하기 위해 상기 잔여 PUs에 대해 규정된 사이즈들의 변환을 적용한다.
양자화기(242)는 양자화 파라메터에 근거하여 상기 변환부(241)로부터 인가되는 변환계수들을 양자화한다. 여기서, 상기 콘트롤러(230)는 양자화 파라메터 제어신호(QCON)를 상기 양자화기(242)로 인가함에 의해 양자화 파라메터가 코딩 유닛 블록별로 적응적으로 변화되도록 한다. 결국, 상기 콘트롤러(230)는 CU 블록의 사이즈와 연관된 제1 깊이(depth)정보와 PU 블록의 사이즈와 연관된 제2 깊이 정보를 이용하여 상기 양자화 파라메터를 결정한다. 상기 제1 깊이 정보와 상기 제2 깊이 정보가 큰 값으로 나타날 수록 양자화 파라메터(QP)의 값은 보다 작은 값으로서 할당되고, 상기 제1 깊이 정보와 상기 제2 깊이 정보가 작은 값으로 나타날 수록 양자화 파라메터(QP)의 값은 보다 큰 값으로서 할당된다. 양자화 파라메터(QP)의 값이 작게 할당될 수록 CU는 상대적으로 자세한 묘사(detailed description)로서 압축될 수 있다.
상기 양자화기(242)에 의해 양자화된 변환 계수들은 스캔부에 의해 스캔된 후 중요한 계수들의 순서로 재배열될 수 있다.
PU에 대한 헤더 정보를 따라 스캔부을 통해 제공된 순서화되고 양자화된 변환 계수들은, 전송이나 저장을 위해 비디오 버퍼로 압축된 비트 스트림을 제공하는 엔트로피 엔코더로 제공될 수 있다. 엔트로피 엔코더는 상기 변환 계수들을 코드화한다.
한편, 인터 프레딕터(222)에 기준 이미지(RI)를 제공하기 위해 스토리지(223)는 인 루프 필터(229)의 출력을 저장한다. 상기 인 루프 필터(229)는 제2 컴바이너(228)의 언필터링되고 재구성된 PU를 수신하여 필터링한다. 상기 제2 컴바이너(228)는 선택된 PU와 재구성된 PU를 가산한다.
상기 도 10의 엔코더는 실시 예에 불과하며, 본 발명은 이에 한정되지 않는다.
도 11은 도 10의 엔코더를 적용하는 예시적 디지털 시스템의 블록도이다.
도 11을 참조하면, 신호 처리 유닛(SPU:1002)은 DSP를 포함할 수 있다. 아나로그 베이스 밴드 유닛(1004)는 핸드셋 마이크로폰(1013a)으로부터 보이스 데이터 스트림을 수신하고, 핸드셋 모노 스피커(1013b)로 보이스 데이터 스트림을 송신한다. 또한, 상기 아나로그 베이스 밴드 유닛(1004)는 마이크로폰(1014a,1032a)으로부터 보이스 데이터 스트림을 수신하고, 모노 헤드셋(1014b)이나 무선 헤드셋(1032b)로 보이스 데이터 스트림을 송신한다.
디스플레이(1020)는 로컬 카메라(1028), USB(1026), 또는 메모리(1012)로부터 수신되는 픽쳐나 비디오 시퀀스를 디스플레이 할 수 있다.
신호 처리 유닛(SPU:1002)은 블루투스 인터페이스(1030)나 RF 트랜시버(1006)를 통해 수신되는 비디오 시퀀스를 상기 디스플레이(1020)로 송신할 수 있다.
신호 처리 유닛(SPU:1002)은 비디오 시퀀스를 엔코더 유닛(1022)을 통해 외부 비디오 디스플레이 유닛으로 송신할 수 있다. 상기 엔코더 유닛(1022)은 PAL/SECAM/NTSC 비디오 표준에 따라 엔코딩을 제공할 수 있다.
상기 신호 처리 유닛(SPU:1002)은 비디오 엔코딩과 디코딩을 위해 요구되는 계산적인 동작들을 수행하기 위한 기능들을 포함할 수 있다.
상기 신호 처리 유닛(1002)은 도 10에서의 콘트롤러(230)의 제어 기능을 수행하므로, CU 블록의 사이즈와 연관된 제1 깊이(depth)정보와 PU 블록의 사이즈와 연관된 제2 깊이 정보를 이용하여 상기 양자화 파라메터를 결정할 수 있다.
따라서, 비디오/이미지는 추가적인 계산 복잡 없이도 프레임 내의 텍스쳐 정보에 의존하여 각기 다른 이미지 품질로써 압축될 수 있다. 또한, 오브젝트를 포함하는 영역은 배경을 포함하는 영역보다 보다 디테일한 묘사로 압축될 수 있다.
도 12는 휴대용 전자통신기기에 적용된 본 발명의 응용 예들을 도시한 도면이다.
도 12에서, 셀룰러 폰(2000)은 도 1의 엔코더(1000)를 구비함에 의해, ROI 베이스드 비디오 엔코더에서의 엔코딩을 위해 부가적인 계산의 복잡성이 제거될 수 있다. 따라서, 셀룰러 폰(2000)의 엔코딩 관련 퍼포먼스가 개선된다.
셀룰러 폰(2000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서, 이미지 센서, 및 디스플레이 등을 상기 엔코더(1000)이외에 추가로 포함할 수 있다.
또한, 셀룰러 폰(2000)은 초광대역(Ultra WideBand; UWB), 무선 랜(Wireless Local Area Network; WLAN) 및 와이맥스(Worldwide Interoperability for Microwave Access;WIMAX)등을 이용하여 통신을 수행할 수 있다. 다만, 셀룰러 폰(2000)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
또한, 도 12에서, 태블릿 피씨(3000)는 도 1의 엔코더(1000)를 구비함에 의해, 관심 영역에 대한 부가적인 계산의 복잡성을 요구하는 오브젝트 추출 및/또는 오브젝트 트랙킹을 제공할 필요가 없다. 따라서, 태블릿 피씨의 엔코딩 관련 동작 퍼포먼스가 개선될 수 있다.
또한, 도 12에서, 노트북 컴퓨터(4000)는 도 1의 엔코더(1000)를 마찬가지로 구비함에 의해, 관심 영역에 대한 부가적인 계산의 복잡성을 요구하는 오브젝트 추출 및/또는 오브젝트 트랙킹을 제공할 필요가 없다. 따라서, 노트북 컴퓨터의 엔코딩 관련 동작 퍼포먼스가 개선될 수 있다.
이상에서와 같이 도면과 명세서를 통해 최적 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 예를 들어, 사안이 다른 경우에 본 발명의 기술적 사상을 벗어남이 없이, 가변 블록 엔코더에서의 관심 영역 엔코딩에 있어서 코딩 유닛의 깊이 정보와 예측 유닛의 깊이 정보를 이용하는 것에 더 나아가 양자화 파라메터를 위해 기타 다른 정보를 추가적으로 이용할 수도 있을 것이다.
*도면의 주요 부분에 대한 부호의 설명*
1000: 엔코더
1500: 프리 디코더
2000: 디코더

Claims (10)

  1. 하나의 이미지에서 얻어진 최대 코딩 유닛 블록을 코딩 유닛 블록으로 분할하고;
    상기 코딩 유닛 블록의 양자화 파라메터를 얻기 위하여, 상기 코딩 유닛 블록의 사이즈와 연관된 제1 깊이(depth)정보와 상기 코딩 유닛 블록의 파티션에 따라 대응적으로 나타나는 예측 유닛 블록의 사이즈와 연관된 제2 깊이 정보를 이용하여 상기 양자화 파라메터를 결정함에 의해, 상기 제1 깊이 정보와 상기 제2 깊이 정보에 따라 양자화 파라메터 값이 코딩 유닛 블록 별로 각기 다르게 할당되도록 하되,
    상기 양자화 파라메터는 상기 코딩 유닛 블록의 사이즈와 연관된 제1 깊이 정보와 상기 예측 유닛 블록의 사이즈와 연관된 제2 깊이 정보가 클수록 작게 결정되는 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법.

  2. 삭제
  3. 제1항에 있어서, 상기 양자화 파라메터를 결정 시에 레이트 디스토션 코스트도 추가로 고려하는 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법.
  4. 제1항에 있어서, 상기 코딩 유닛 블록의 사이즈와 예측 유닛 블록의 사이즈는 텍스쳐 정보로서 활용되는 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법.
  5. 제1항에 있어서, 상기 양자화 파라메터의 업데이트는 상기 코딩 유닛 블록의 사이즈와 상기 코딩 유닛 블록의 제1 깊이 정보를 이용하여 수행되는 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법.
  6. 제1항에 있어서, 상기 양자화 파라메터의 업데이트는 상기 예측 유닛 블록의 사이즈와 상기 예측 유닛 블록의 제2 깊이 정보를 이용하여 수행되는 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법.
  7. 제6항에 있어서, 코딩 유닛 블록의 제1 깊이 정보 결정은 ,
    깊이 N(N은 0을 포함하는 자연수)을 갖는 코딩 유닛 블록에 대한 레이트 디스토션 코스트를 계산하고,
    서브블록으로 분할되어 깊이 N+1를 갖는 코딩 유닛 블록에 대한 레이트 디스토션 코스트를 계산하고,
    상기 깊이 N을 갖는 코딩 유닛 블록의 계산 값이 상기 깊이 N+1를 갖는 코딩 유닛 블록의 계산 값보다 작을 경우에 현재 코딩 유닛 블록의 깊이를 깊이 N으로서 세트하며,
    그렇지 않고 클 경우에, 상기 깊이 N+1를 갖는 코딩 유닛 블록은 더 작은 서브블록으로 분할된 후 레이트 디스토션 코스트가 결정되는 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법.
  8. 제6항에 있어서, 예측 유닛 블록의 제2 깊이 정보 결정은 ,
    깊이 N(N은 0을 포함하는 자연수)를 갖는 예측 유닛 블록에 대한 레이트 디스토션 코스트를 계산하고,
    서브블록으로 분할되어 깊이 N+1 를 갖는 예측 유닛 블록에 대한 레이트 디스토션 코스트를 계산하고,
    상기 깊이 N을 갖는 예측 유닛 블록의 계산 값이 상기 깊이 N+1 를 갖는 예측 유닛 블록의 계산 값보다 작을 경우에 현재 예측 유닛 블록의 깊이를 깊이 N 으로서 세트하며,
    그렇지 않고 클 경우에, 상기 깊이 N+1를 갖는 예측 유닛 블록은 더 작은 서브블록으로 분할된 후 레이트 디스토션 코스트가 결정되는 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법.
  9. 하나의 이미지에서 얻어진 최대 코딩 유닛 블록으로부터 분할된 코딩 유닛 블록에 대하여 레이트 디스토션 코스트를 계산 및 비교하는 레이트 디스토션 비교부; 및
    상기 코딩 유닛 블록의 양자화 파라메터를 얻기 위하여, 상기 코딩 유닛 블록의 사이즈와 연관된 제1 깊이 정보와 상기 코딩 유닛 블록의 파티션에 따라 대응적으로 나타나는 예측 유닛 블록의 사이즈와 연관된 제2 깊이 정보를 이용하여 상기 양자화 파라메터를 결정함에 의해, 상기 제1 깊이 정보와 상기 제2 깊이 정보에 따라 양자화 파라메터 값이 코딩 유닛 블록 별로 각기 다르게 할당되도록 하는 양자화 파라메터 업데이트 부를 포함하되,
    상기 양자화 파라메터는 상기 코딩 유닛 블록의 사이즈와 연관된 제1 깊이 정보와 상기 예측 유닛 블록의 사이즈와 연관된 제2 깊이 정보가 작을수록 크게 결정되는 고효율 비디오 코딩을 위한 엔코더.
  10. 삭제
KR1020130024620A 2013-03-07 2013-03-07 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치 KR102088801B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130024620A KR102088801B1 (ko) 2013-03-07 2013-03-07 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치
US14/197,756 US9681139B2 (en) 2013-03-07 2014-03-05 Method and apparatus for ROI coding using variable block size coding information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130024620A KR102088801B1 (ko) 2013-03-07 2013-03-07 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140111139A KR20140111139A (ko) 2014-09-18
KR102088801B1 true KR102088801B1 (ko) 2020-03-13

Family

ID=51487786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130024620A KR102088801B1 (ko) 2013-03-07 2013-03-07 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치

Country Status (2)

Country Link
US (1) US9681139B2 (ko)
KR (1) KR102088801B1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015230086A1 (en) * 2014-03-14 2016-09-29 Samsung Electronics Co., Ltd. Multi-layer video encoding method and multi-layer video decoding method using depth block
US9924183B2 (en) * 2014-03-20 2018-03-20 Nanjing Yuyan Information Technology Ltd. Fast HEVC transcoding
CN104618726B (zh) * 2014-12-31 2017-10-20 华侨大学 一种基于pu纹理特性的hevc帧内快速模式决策算法
CN113794880B (zh) 2015-05-12 2023-04-14 三星电子株式会社 视频编码方法、视频解码方法以及计算机可读介质
CN107211133B (zh) 2015-11-06 2020-04-03 华为技术有限公司 反量化变换系数的方法、装置及解码设备
US10630992B2 (en) 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
EP3298786A1 (en) * 2016-04-15 2018-03-28 Magic Pony Technology Limited In-loop post filtering for video encoding and decoding
ES2853700T3 (es) 2016-04-15 2021-09-17 Magic Pony Tech Limited Compensación de movimiento utilizando interpolación de imagen temporal
EP3328082A1 (en) * 2016-11-25 2018-05-30 Thomson Licensing Method and apparatus for encoding a picture
US10861074B2 (en) * 2017-05-07 2020-12-08 Furniture of America, Inc. Furniture ordering and marketing system and method thereof
CN107295336B (zh) * 2017-06-21 2019-10-29 鄂尔多斯应用技术学院 基于图像相关性的自适应快速编码单元划分方法及装置
KR102343648B1 (ko) * 2017-08-29 2021-12-24 삼성전자주식회사 영상 부호화 장치 및 영상 부호화 시스템
CN107566834B (zh) * 2017-10-10 2019-09-13 司马大大（北京）智能系统有限公司 帧内预测单元划分方法、装置及电子设备
CN111279695B (zh) 2017-10-26 2024-03-29 韩国电子通信研究院 用于基于非对称子块的图像编码/解码的方法及装置
CN108322748B (zh) * 2018-01-31 2021-07-23 北京奇艺世纪科技有限公司 一种编码单元的层次决定方法及装置
CN108419081B (zh) * 2018-03-28 2020-06-05 佛山市顺德区中山大学研究院 一种基于特征的帧间编码方法
CN109089115B (zh) * 2018-05-28 2022-07-01 北方工业大学 在hevc用于对360度视频进行编码的方法
CN109246434B (zh) * 2018-11-16 2023-03-21 联想(北京)有限公司 视频编码、解码方法及电子设备
CN109788283B (zh) * 2019-01-08 2023-01-06 中南大学 一种编码单元分割方法及其系统、装置、存储介质
US11363306B2 (en) * 2019-04-05 2022-06-14 Comcast Cable Communications, Llc Methods, systems, and apparatuses for processing video by adaptive rate distortion optimization
US10887589B2 (en) * 2019-04-12 2021-01-05 Realnetworks, Inc. Block size determination for video coding systems and methods
CN117221544A (zh) * 2019-05-19 2023-12-12 字节跳动有限公司 数字视频中的变换旁路编解码残差块
EP3993416A4 (en) * 2019-06-27 2023-03-15 Samsung Electronics Co., Ltd. IMAGE CODING METHOD AND APPARATUS, AND IMAGE DECODING METHOD AND APPARATUS
US11882366B2 (en) * 2021-02-26 2024-01-23 Hill-Rom Services, Inc. Patient monitoring system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110096826A1 (en) 2009-10-23 2011-04-28 Samsung Electronics Co., Ltd. Method and apparatus for decoding video according to individual parsing or decoding in data unit level, and method and apparatus for encoding video for individual parsing or decoding in data unit level
US20120300850A1 (en) * 2010-02-02 2012-11-29 Alex Chungku Yie Image encoding/decoding apparatus and method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256423B1 (en) 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
US6490319B1 (en) 1999-06-22 2002-12-03 Intel Corporation Region of interest video coding
JP4208533B2 (ja) 2002-09-19 2009-01-14 キヤノン株式会社 画像処理装置及び画像処理方法
JP2004235935A (ja) 2003-01-30 2004-08-19 Ricoh Co Ltd 画像処理装置、画像形成装置、プログラムおよび記憶媒体
US8768084B2 (en) 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
KR101255226B1 (ko) 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
KR100739785B1 (ko) 2006-01-09 2007-07-13 삼성전자주식회사 관심 영역 기반 영상 부호화, 복호화 방법 및 장치
KR100720003B1 (ko) 2006-08-18 2007-05-18 삼성전자주식회사 영상 복호화방법
BRPI0622048B1 (pt) 2006-10-20 2018-09-18 Thomson Licensing método, aparelho e sistema para gerar regiões de interesse em conteúdo de vídeo
WO2009023188A2 (en) 2007-08-15 2009-02-19 Thomson Licensing Method and apparatus for improved video encoding using region of interest (roi) information
KR100961070B1 (ko) 2008-10-27 2010-06-01 홍익대학교 산학협력단 Ｓｒａｍ의 병렬 테스트 장치 및 방법
KR20100095833A (ko) 2009-02-23 2010-09-01 주식회사 몬도시스템즈 Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
KR20120059214A (ko) 2010-11-30 2012-06-08 고려대학교 산학협력단 적응적 관심 영역을 적용한 비디오 스트리밍을 제공하는 비디오 코덱 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110096826A1 (en) 2009-10-23 2011-04-28 Samsung Electronics Co., Ltd. Method and apparatus for decoding video according to individual parsing or decoding in data unit level, and method and apparatus for encoding video for individual parsing or decoding in data unit level
US20120300850A1 (en) * 2010-02-02 2012-11-29 Alex Chungku Yie Image encoding/decoding apparatus and method

Also Published As

Publication number Publication date
US20140254670A1 (en) 2014-09-11
KR20140111139A (ko) 2014-09-18
US9681139B2 (en) 2017-06-13

Similar Documents

Publication Publication Date Title
KR102088801B1 (ko) 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치
TWI767130B (zh) 具有廣角框內預測之定位相依框內預測結合
CN110393010B (zh) 视频译码中的帧内滤波旗标
TWI666918B (zh) 決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾
JP7303322B2 (ja) イントラ予測のためのエンコーダ、デコーダおよび対応する方法
TWI575944B (zh) 視訊解碼裝置
EP2942963A1 (en) Scalable video encoding method and apparatus using image up-sampling in consideration of phase-shift and scalable video decoding method and apparatus
US10034008B2 (en) Method and apparatus for scalable video encoding using switchable de-noising filtering, and method and apparatus for scalable video decoding using switchable de-noising filtering
JP2018110412A (ja) スケーラブルビデオコード化におけるダウンサンプリング位相情報の信号伝達
TWI827606B (zh) 網格寫碼之量化係數寫碼
CN106998470B (zh) 解码方法、编码方法、解码设备和编码设备
JP7366149B2 (ja) 行列ベースのイントラ予測と二次変換コア選択を調和させるエンコーダ、デコーダ、および対応する方法
TW201424397A (zh) 可調式視訊解碼、編碼方法及其裝置與非暫時性電腦可讀記錄體
CN112789858B (zh) 帧内预测方法及设备
US10063878B2 (en) Interlayer video encoding method using brightness compensation and device thereof, and video decoding method and device thereof
JP2005532768A (ja) ビデオ・データのイントラ符号化方法及び装置
JP2021503247A (ja) 変換係数レベルコーディング方法およびその装置
JP2023153802A (ja) イントラ・サブパーティション・コーディング・ツールによって引き起こされるサブパーティション境界のためのデブロッキングフィルタ
CA3135322A1 (en) Method and apparatus for intra smoothing
JP2023126795A (ja) ビデオコーディングにおけるクロマイントラ予測のための方法及び装置
TW202127884A (zh) 用於用於視訊譯碼的跨分量適應性環路濾波的位元位移
US10356430B2 (en) Interlayer video decoding method and apparatus using view synthesis prediction and interlayer video encoding method and apparatus using view synthesis prediction
EP2983362A1 (en) Interlayer video encoding method and apparatus and interlayer video decoding method and apparatus for compensating luminance difference
KR20220065880A (ko) 아핀 모션 보상에서 dct 기반 보간 필터 및 향상된 쌍선형 보간 필터의 사용
US20160073127A1 (en) Method for predicting disparity vector for interlayer video decoding and encoding apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant