KR101051564B1 - 에이치닷264에이브이씨 코덱 시스템의 가중치 예측방법 - Google Patents
에이치닷264에이브이씨 코덱 시스템의 가중치 예측방법 Download PDFInfo
- Publication number
- KR101051564B1 KR101051564B1 KR1020100033107A KR20100033107A KR101051564B1 KR 101051564 B1 KR101051564 B1 KR 101051564B1 KR 1020100033107 A KR1020100033107 A KR 1020100033107A KR 20100033107 A KR20100033107 A KR 20100033107A KR 101051564 B1 KR101051564 B1 KR 101051564B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- current image
- weight prediction
- luminance
- region
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
에이치.264/에이브이씨 코덱 시스템의 가중치 예측 방법이 개시된다. 본 발명의 실시예에 따른 에이치.264/에이브이씨 코덱 시스템의 가중치 예측 방법은, 참조 영상의 전체 휘도에 대한 현재 영상의 전체 휘도 변화 정도를 이용하여 현재 영상의 가중치 예측 연산 여부를 판단하는 단계; 상기 가중치 예측 연산 여부의 판단결과 현재 영상의 가중치 예측 연산이 필요한 경우, 상기 참조 영상 및 현재 영상을 분할하고, 참조 영상에 대한 현재 영상의 지역적인 휘도의 변화 여부를 판단하기 위해서, 참조 영상 및 현재 영상의 분할 영역마다 픽셀들의 휘도 평균값을 구하여, 상기 참조 영상 및 현재 영상과 동일한 분할 영역을 갖는 지역 가중치 예측 영상을 생성하는 단계; 상기 생성된 지역 가중치 예측 영상의 분할 영역마다 각각의 픽셀 휘도 평균값을 이용하여 표준편차를 구하여 지역 가중치 예측 연산 여부를 판단하는 단계; 및 상기 지역 가중치 예측 연산 여부의 판단결과에 따라, 상기 생성된 지역 가중치 예측 영상에서 지역 가중치 예측 연산이 필요한 영역에 대해서 지역 가중치 연산을 수행하거나 상기 참조 영상에 대한 현재 영상의 전역 가중치 예측 연산을 수행하는 단계를 포함한다.
Description
본 발명은 H.264/AVC(에이치닷264에이브이씨) 코덱 기술에 관한 것으로, 더욱 자세하게는 H.264/AVC의 코덱에서 페이드인/아웃(Fade In/Out) 등의 밝기 효과를 다루는 가중치 예측 기술을 전역 가중치 예측 기술과 지역 가중치 기술로 세분화하여 영상의 밝기 차이에 따라 선택적으로 적용하는 연산 생략 기술에 관한 것이다.
H.264/AVC의 가중치 예측(Weighted Prediction)은 메인 프로파일 이상에서 도입하는 기술로서, 영상 내의 밝기의 변화에 적응하기 위한 기술이다. 이 기술을 도입하면 픽쳐 간에 밝기의 증폭 혹은 감쇄 현상이 있을 경우, 비트율 대비 PSNR(Peak Signal to Noise Ratio)의 성능이 1~2% 가량 향상된다. 영상 내에서 밝기가 지역적으로 변화할 경우, 가중치 예측의 성능은 크게 감소 된다. 또한, 픽쳐 간의 밝기가 매우 급격하고 지역적으로 다르게 변화할 경우, 기존의 H.264 표준에 제시된 가중치 예측은 밝기의 변화가 없는 지역의 부호화에 악 영향을 끼칠 우려 또한 존재한다. 이와 같은 문제점을 극복하기 위해, 영상 간의 지역적인 밝기 효과에 적응하기 위한 지역적인 가중치 예측 (Localized Weighted Prediction)이 제안되었다. 지역적인 가중치 예측은 기존 가중치 예측이 전체적인 밝기 변화에 적응한 것과 마찬가지로 매우 효율적으로 지역적으로 서로 다른 밝기 변화에 적응한다.
그러나, 지역적인 가중치 예측 기술은 방대한 연산량을 필요로 한다. 지역적인 가중치 예측인 지역적인 밝기 변화에 효과적으로 대응한다 해도, 하나의 영상의 모든 픽쳐가 지역적으로, 매우 급격하게 밝기가 변화하는 경우는 극히 드물다. 설령 있다고 하더라도 그러한 영상은 보는 사람의 시력을 매우 피곤하게 하는 영상임이 분명하다.
따라서 해당 픽쳐 간에 주목할 만한 밝기의 변화가 있을 때, 선택적으로 전역적인 가중치 예측과 지역적인 가중치 예측을 도입할 필요가 있다.
영상 내에 다양한 밝기 효과가 산재해 있는 경우 밝기 변화를 명확하게 반영하면서 가중치 예측 연산이 필요없는 영상 시퀀스에 대해서 가중치 예측 연산을 생략하는 에이치.264/에이브이씨 코덱 시스템의 가중치 예측 방법이 제안된다.
본 발명의 일 양상에 따른 에이치.264/에이브이씨 코덱 시스템의 가중치 예측 방법은, 참조 영상의 전체 휘도에 대한 현재 영상의 전체 휘도 변화 정도를 이용하여 현재 영상의 가중치 예측 연산 여부를 판단하는 단계; 상기 가중치 예측 연산 여부의 판단결과 현재 영상의 가중치 예측 연산이 필요한 경우, 상기 참조 영상 및 현재 영상을 분할하고, 참조 영상에 대한 현재 영상의 지역적인 휘도의 변화 여부를 판단하기 위해서, 참조 영상 및 현재 영상의 분할 영역마다 픽셀들의 휘도 평균값을 구하여, 상기 참조 영상 및 현재 영상과 동일한 분할 영역을 갖는 지역 가중치 예측 영상을 생성하는 단계; 상기 생성된 지역 가중치 예측 영상의 분할 영역마다 각각의 픽셀 휘도 평균값을 이용하여 표준편차를 구하여 지역 가중치 예측 연산 여부를 판단하는 단계; 및 상기 지역 가중치 예측 연산 여부의 판단결과에 따라, 상기 생성된 지역 가중치 예측 영상에서 지역 가중치 예측 연산이 필요한 영역에 대해서 지역 가중치 연산을 수행하거나 상기 참조 영상에 대한 현재 영상의 전역 가중치 예측 연산을 수행하는 단계를 포함한다.
상기 참조 영상의 전체 휘도에 대한 현재 영상의 전체 휘도 변화 정도를 이용하여 현재 영상의 가중치 예측 연산 여부를 판단하는 단계는, 상기 참조 영상 내의 전체 픽셀들의 휘도 평균값과 현재 영상 내의 전체 픽셀들의 휘도 평균값 간의 차이 및 현재 영상의 가중치 예측 연산 여부를 판단하기 위한 기준 값을 이용하여 현재 영상의 가중치 예측 연산 여부를 판단할 수 있다.
상기 참조 영상의 전체 휘도에 대한 현재 영상의 전체 휘도 변화 정도를 이용하여 현재 영상의 가중치 예측 연산 여부를 판단하는 단계는, 상기 참조 영상 내의 전체 픽셀들의 휘도 평균값과 현재 영상 내의 전체 픽셀들의 휘도 평균값 간의 차이가, 현재 영상의 가중치 예측 연산 여부를 판단하기 위한 기준 값보다 큰 경우, 현재 영상의 가중치 예측 연산이 필요한 경우로 판단할 수 있다.
상기 가중치 예측 연산 여부의 판단결과 현재 영상의 가중치 예측 연산이 필요한 경우, 상기 참조 영상 및 현재 영상을 분할하고, 참조 영상에 대한 현재 영상의 지역적인 휘도의 변화 여부를 판단하기 위해서, 참조 영상 및 현재 영상의 분할 영역마다 픽셀들의 휘도 평균값을 구하여, 상기 참조 영상 및 현재 영상과 동일한 분할 영역을 갖는 지역 가중치 예측 영상을 생성하는 단계는, 상기 참조 영상 및 현재 영상을 설정된 수의 영역으로 분할하는 단계; 상기 참조 영상 및 현재 영상의 분할 영역마다 픽셀들의 휘도 평균값을 구하는 단계; 및 상기 참조 영상의 분할 영역마다 휘도 평균값에 대응되는 현재 영상의 분할 영역에 대한 휘도 평균값을 감산하고 절대값을 취해서 상기 참조 영상 및 현재 영상과 동일한 분할 영역마다 휘도를 구하여 상기 지역 가중치 예측 영상을 생성하는 단계를 포함할 수 있다.
상기 참조 영상 및 현재 영상을 설정된 수의 영역으로 분할하는 단계는, 상기 분할 영역에 포함되지 않은 상기 참조 영상 및 현재 영상 내의 픽셀들을 상기 분할 영역들 중 거리가 가장 가까운 분할 영역에 포함할 수 있다.
상기 생성된 지역 가중치 예측 영상의 분할 영역마다 각각의 픽셀 휘도 평균값을 이용하여 표준편차를 구하여 지역 가중치 예측 연산 여부를 판단하는 단계는, 상기 지역 가중치 예측 연산 여부에 대한 판단을 아래의 수학식을 이용하여 판단할 수 있다.
[수학식]
이때, 
는 분할 영역들 중 x 영역 내 픽셀들의 휘도 평균값을 나타내며, 
은 분할 영역들 중 x 영역 내 픽셀들의 휘도들을 제곱하여 평균한 값을 나타내며, 
은 분할 영역들 중 x 영역 내 픽셀들의 휘도 평균값을 제곱한 값을 나타내며, 
는 상기 표준편차를 나타내며, 
는 지역 가중치 예측 연산 여부를 판단하기 위한 임계치를 나타낸다.
상기 지역 가중치 예측 연산 여부의 판단결과에 따라, 상기 생성된 지역 가중치 예측 영상에서 지역 가중치 예측 연산이 필요한 영역에 대해서 지역 가중치 연산을 수행하거나 상기 참조 영상에 대한 현재 영상의 전역 가중치 예측 연산을 수행하는 단계는, 상기 표준편차가 상기 지역 가중치 예측 연산 여부를 판단하기 위한 임계치보다 큰 상기 생성된 지역 가중치 예측 영상의 분할 영역에 대해서 지역 가중치 연산을 수행하고, 상기 생성된 지역 가중치 예측 영상의 모든 분할 영역에서의 표준 편차가 상기 지역 가중치 예측 연산 여부를 판단하기 위한 임계치보다 작은 경우 상기 참조 영상에 대한 현재 영상의 전역 가중치 예측 연산을 수행할 수 있다.
상기 참조 영상에 대한 현재 영상의 전역 가중치 예측 연산은, 상기 현재 영상의 전체 픽셀 휘도의 평균값을 상기 참조 영상의 전체 픽셀 휘도의 평균값으로 나누어 가중치 계수(Weighted Factor)와 가중치 오프셋(Weighted Offset)을 구하고, 상기 현재 영상 내의 픽셀들의 휘도 값에 각각 가중치 계수를 곱하고 상기 가중치 계수를 상기 현재 영상 내의 픽셀들의 휘도 값을 곱하여 얻어진 값들에 각각 가중치 오프셋을 더하여 상기 현재 영상을 재구성하는 것일 수 있다.
본 발명의 실시예에 따른 에이치.264/에이브이씨 코덱 시스템의 가중치 예측방법에 따르면, H.264/AVC의 코덱에서 페이드인/아웃(Fade In/Out) 등의 밝기 효과를 다루는 가중치 예측 기술을 전역 가중치 예측 기술과 지역 가중치 기술로 세분화하여 영상의 밝기 차이에 따라 선택적으로 적용함으로써, 지역 가중치 예측의 방대한 연산량을 감소시키고 지역 가중치 예측의 시간을 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 에이치.264/에이브이씨 코덱 시스템의 가중치 예측방법에 대한 플로차트이다.
도 2a 내지 도 2c는 본 발명의 실시예에 따른 가중치 예측을 위해서 제시된 영상을 나타낸 도면이다.
도 3a 내지 도 3c는 각각 도 2a 내지 도 2c에 따른 RD 곡선을 나타낸 도면이다.
도 2a 내지 도 2c는 본 발명의 실시예에 따른 가중치 예측을 위해서 제시된 영상을 나타낸 도면이다.
도 3a 내지 도 3c는 각각 도 2a 내지 도 2c에 따른 RD 곡선을 나타낸 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 실시예를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 에이치.264/에이브이씨 코덱 시스템의 가중치 예측방법에 대한 플로차트이다.
도시된 바와 같이, H.264/AVC 코덱 시스템은, 참조 영상의 전체 휘도에 대한 현재 영상의 전체 휘도 변화 정도를 이용하여 현재 영상의 가중치 예측 연산 여부를 판단한다(S1). 이때, 현재 영상의 가중치 예측 연산 여부의 판단은, 참조 영상 내의 전체 픽셀들의 휘도 평균값과 현재 영상 내의 전체 픽셀들의 휘도 평균값 간의 차이 및 현재 영상의 가중치 예측 연산 여부를 판단하기 위한 기준 값을 이용하여 이루어질 수 있다. 이는 참조 영상의 밝기에 비하여 현재 영상의 밝기가 얼마나 변했는가를 판단하기 위해서 수행되는 것이다.
판단결과, 참조 영상 내의 전체 픽셀들의 휘도 평균값과 현재 영상 내의 전체 픽셀들의 휘도 평균값 간의 차이가, 현재 영상의 가중치 예측 연산 여부를 판단하기 위한 기준 값보다 작은 경우, H.264/AVC 코덱 시스템은 현재 영상의 가중치 예측 연산이 필요없는 경우로 판단하여 현재 영상에 대한 모션 예측을 수행한다(S2).
반면, 참조 영상 내의 전체 픽셀들의 휘도 평균값과 현재 영상 내의 전체 픽셀들의 휘도 평균값 간의 차이가, 현재 영상의 가중치 예측 연산 여부를 판단하기 위한 기준 값보다 큰 경우, H.264/AVC 코덱 시스템은 현재 영상에 대한 가중치 예측 연산이 필요한 경우로 판단하고, 참조 영상 및 현재 영상을 분할하고, 참조 영상에 대한 현재 영상의 지역적인 휘도의 변화 여부를 판단하기 위해서, 참조 영상 및 현재 영상의 분할 영역마다 픽셀들의 휘도 평균값을 구하여, 참조 영상 및 현재 영상과 동일한 분할 영역을 갖는 지역 가중치 예측 영상을 생성한다(S3).
즉, H.264/AVC 코덱 시스템은 참조 영상 및 현재 영상을 설정된 수의 영역으로 분할하고, 참조 영상 및 현재 영상의 분할 영역마다 픽셀들의 휘도 평균값을 구한다. 이때, H.264/AVC 코덱 시스템은 분할 영역에 포함되지 않은 상기 참조 영상 및 현재 영상 내의 픽셀들을 상기 분할 영역들 중 거리가 가장 가까운 분할 영역에 포함할 수 있다.
H.264/AVC 코덱 시스템은 참조 영상의 분할 영역마다 휘도 평균값에 대응되는 현재 영상의 분할 영역에 대한 휘도 평균값을 감산하고 절대값을 취해서 참조 영상 및 현재 영상과 동일한 분할 영역마다 휘도를 구하여 지역 가중치 예측 영상을 생성한다. 즉, H.264/AVC 코덱 시스템은 참조 영상의 n번 분할 영역의 휘도 평균값에 대응되는 현재 영상의 n번 분할 영역의 휘도 평균값을 감산하고 절대값을 취하는 과정을 통해서 지역 가중치 예측 영상을 생성한다.
지역 가중치 예측 영상을 생성한 후, H.264/AVC 코덱 시스템은 생성된 지역 가중치 예측 영상의 분할 영역마다 각각의 픽셀 휘도 평균값을 이용하여 표준편차를 구하여 지역 가중치 예측 연산 여부를 판단한다(S4). 이때, H.264/AVC 코덱 시스템은 지역 가중치 예측 연산 여부에 대한 판단을 아래의 수학식 1을 이용하여 판단할 수 있다.
이때, 
는 분할 영역들 중 x 영역 내 픽셀들의 휘도 평균값을 나타내며, 
은 분할 영역들 중 x 영역 내 픽셀들의 휘도들을 제곱하여 평균한 값을 나타내며, 
은 분할 영역들 중 x 영역 내 픽셀들의 휘도 평균값을 제곱한 값을 나타내며, 
는 상기 표준편차를 나타내며, 
는 지역 가중치 예측 연산 여부를 판단하기 위한 임계치를 나타낸다.
지역 가중치 예측 연산 여부의 판단결과 생성된 지역 가중치 예측 영상의 모든 분할 영역에서의 표준 편차가 지역 가중치 예측 연산 여부를 판단하기 위한 임계치보다 작은 경우, H.264/AVC 코덱 시스템은 참조 영상에 대한 현재 영상의 전역 가중치 예측 연산을 수행하고(S7), 이후 모션 예측을 수행한다(S8). 이때, 참조 영상에 대한 현재 영상의 전역 가중치 예측 연산은, 현재 영상의 전체 픽셀 휘도의 평균값을 상기 참조 영상의 전체 픽셀 휘도의 평균값으로 나누어 가중치 계수(Weighted Factor)와 가중치 오프셋(Weighted Offset)을 구하고, 현재 영상 내의 픽셀들의 휘도 값에 각각 가중치 계수를 곱하고 가중치 계수를 현재 영상 내의 픽셀들의 휘도 값을 곱하여 얻어진 값들에 각각 가중치 오프셋을 더하여 현재 영상을 재구성하는 것일 수 있다. 이때, 전역 가중치 예측 연산은 영상 간에 유사성을 높이기 위해 어두워진 영상의 경우 어두워진 만큼, 밝아진 영상의 경우 밝아진 만큼 가중치를 줌으로써 Inter 코딩시 효율을 높이기 위한 것이다.
지역 가중치 예측 연산 여부의 판단결과, 표준편차가 지역 가중치 예측 연산 여부를 판단하기 위한 임계치보다 큰 지역 가중치 예측 영상의 분할 영역이 있는 경우, H.264/AVC 코덱 시스템은 해당 지역 가중치 예측 영상의 분할 영역에 대해서 지역 가중치 연산을 수행하고(S5), 모션 예측을 수행한다(S6). 이때, 지역 가중치 예측 연산은 영상 전체에 걸친 밝기의 변화가 아닌 지역적인 밝기의 변화가 있을 경우 해당 지역에 국한하여 가중치 예측을 하는 방법을 나타낸다.
JM 소프트웨어를 사용하여 제안된 본 발명의 실시예에 따른 H.264/AVC 코덱 시스템의 가중치 예측 방법을 실험하였다. 실험은 가중치 예측을 사용하지 않은 것과 표준에 정의된 가중치 예측을 사용한 것, 지역 가중치 예측을 사용한 것, 마지막으로 본 발명의 실시예에 따른 가중치 예측방법을 적용한 것을 포함하고 있다. 가중치 예측의 효율성을 극대화하기 위해 테스트에 3가지의 블록 버스터 영상을 사용하였다.
이를 나타내는 도면이 도 2a 내지 도 2c에 도시되어 있다.
도 2a는 전쟁 화면으로써 화면의 일부분에 폭발이 일어나는 부분이 있는 것으로 지역적인 밝기 변화가 발생하는 영상이고, 도 2b는 자동차 추격 장면으로 어두운 밤에 밝은 자동차 헤드라이트 불빛이 반짝이는 영상이고, 도 2c는 영상 전체에 걸쳐 밝기가 밝게 바뀌었다가 다시 어두워지는 fade-in fade-out 효과가 나타난 영상이다.
도 3a 내지 도 3c는 각각 도 2a 내지 도 2c에 따른 RD 곡선을 나타낸 도면이다. RD(Rate-Distortion) 성능은 화질과 비트율 사이의 상호관계를 나타낸다. 두 개의 비디오 코덱의 성능을 비교하는데 널리 사용되는 방법으로써 x축을 기준으로 하여 비교하면 동일한 전송 속도에서 코딩된 영상의 화질을 비교할 수 있고, y축을 기준으로 하면 같은 화질의 영상을 전송하기 위해 필요한 데이터 전송률을 알 수 있다. 따라서 그래프의 위쪽과 왼쪽으로 움직일수록 더 좋은 rate-distortion 성능을 나타낸다. 즉, 같은 전송률에서 더 좋은 화질의 영상을 전송할 수 있거나 또는 같은 화질의 영상을 전송하기 위해 필요한 데이터 전송률을 감소시킬 수 있다.
도 3a 내지 도 3c에서, 다이아몬드 형태의 선은 가중치 예측을 적용하지 않은 메인 프로파일 실험 결과이고, 사각 형태의 선은 표준에 제시된 가중치 예측을 적용한 실험 결과, 삼각형 형태의 선은 지역 가중치 예측을 적용한 실험 결과 그리고 마지막으로 십자 형태의 선은 본 발명의 실시예에 따른 가중치 예측방법을 적용한 결과이다. 사각형과 다이아몬드 선은 거의 같은 것을 볼 수 있다. 그 이유는 표준에 구현된 가중치 예측이 이상적으로 구현되어 있지 않을 뿐 아니라, 영상 내에 부분적인 밝기 변화가 급격하게 일어나면 특정 지역에서 성능이 크게 감소될 수 있기 때문이다. 지역 가중치 예측은 제시된 실험 결과 중에 최고의 성능을 보여준다. 이는 비트율(코딩된 비디오 영상을 전송하기 위해 필요한 속도)을 15~16% 까지 감소시킨다. 본 발명의 실시에에 따른 가중치 예측방법에 따른 지역 가중치 예측은 생략 연산이 포함되지 않은 것과 거의 유사한 성능을 보인다.
JM 소프트웨어는 시뮬레이션 후에 연산 시간을 제공하는 데, 이를 나타낸 도면이 아래의 표 1 내지 표 3에 나타나 있다.
| Conventional WP | Proposed method | |
| Scene 1 | 44,771,681 | 17,246,322 |
| Scene 2 | 47,822,941 | 17,532,646 |
| Scene 3 | 46,798,715 | 17,987,151 |
| Conventional LWP | Proposed method | |
| Scene 1 | 358,173,448 | 258,825,105 |
| Scene 2 | 357,822,941 | 254,696,237 |
| Scene 3 | 356,798,715 | 252,323,251 |
| Image Sequence | Scene 1 | Scene 2 | Scene 3 | |||
| Total Frame | 350 | 350 | 350 | |||
| Skip Ratio 1 | 201 | 57% | 194 | 55% | 213 | 61% |
| Skip Ratio 2 | 72 | 48% | 61 | 39% | 52 | 38% |
| Total Skip Ratio | 273 | 78% | 255 | 73% | 263 | 76% |
표 1은 기존에 알려진 전역적인 가중치 예측을 적용한 경우와 본 발명에서 제안하는 수학식1을 통해 가중치 예측 생략을 통해 선택 적용한 경우 연산 시간을 비교한 데이터를 나타낸 표이다.
표 2는 기존의 지역적인 가중치 예측과 본 발명에서 제안하는 가중치 예측과의 연산시간 차이를 보여주고 있다. 본 발명에서 제안하는 가중치 예측을 적용한 시뮬레이션은 적용하지 않은 것에 비해 70%에 해당하는 시간이 소모됨을 알 수 있다.
표 3은 본 발명에서 제안하는 가중치 예측을 증명하기 위한 추가적인 시뮬레이션이다. 각 열의 좌측은 제안하는 알고리즘으로 인해 생략되는 영상의 갯수를 나타내고, 우측은 그 비율을 보여주고 있다. Skip Ratio1은 영상 간에 눈에 띄는 밝기의 변화가 없을 때 생략되는 비율을 나타낸다. 첫 번째 본 발명에서 제안된 가중치 예측 연산에 의해 전체 영상의 50~60%에 달하는 영상이 생략된다. Skip Ratio2 는 영상 간에 어떠한 지역적인 밝기 변화가 없을 때의 생략 비율을 보여주고 있다.
두 번째 단계로 인해 남은 영상의 30~50%의 영상을 생략할 수 있다. 그러므로 전체 프레임의 70~80%에 해당하는 영상이 본 발명에서 제안하는 가중치 예측방법으로 인해 생략된다. 비록 블록 버스터 영화가 밝기 변화에 대한 효과를 담고 있다 해도, 전 영상에 걸쳐 밝기 변화가 존재할 확률은 실제로 없다 해도 과언이 아니다. 만약 그럴 확률이 있다 해도, 그러한 영상은 보는 사람의 시각을 매우 피곤하게 만들 수 있다.
본 발명에서는 다양한 밝기 변화에 적응하기 위한 선택적인 가중치 예측 연산을 제안하고 있다. 가중치 예측의 성능을 높이기 위해 지역적인 가중치 예측을 도입하였다. 또한 지역적인 가중치 예측의 방대한 연산량을 감소시키기 위해 두 단계의 생략 알고리즘을 제안하였다. 표준에 제안된 가중치 예측에 비해 비트율을 13~15%가량 줄이면서 지역적인 가중치 예측에 비해 70%에 해당하는 연산 시간을 보여준다. 게다가, 전체적인 연산의 생략 확률은 76%에 달한다.
이제까지 본 발명에 대하여 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용 및 그와 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
Claims (8)
- 참조 영상의 전체 휘도에 대한 현재 영상의 전체 휘도 변화 정도를 이용하여 현재 영상의 가중치 예측 연산 여부를 판단하는 단계;
상기 가중치 예측 연산 여부의 판단결과 현재 영상의 가중치 예측 연산이 필요한 경우, 상기 참조 영상 및 현재 영상을 분할하고, 참조 영상에 대한 현재 영상의 지역적인 휘도의 변화 여부를 판단하기 위해서, 참조 영상 및 현재 영상의 분할 영역마다 픽셀들의 휘도 평균값을 구하여, 상기 참조 영상 및 현재 영상과 동일한 분할 영역을 갖는 지역 가중치 예측 영상을 생성하는 단계;
상기 생성된 지역 가중치 예측 영상의 분할 영역마다 각각의 픽셀 휘도 평균값을 이용하여 표준편차를 구하여 지역 가중치 예측 연산 여부를 판단하는 단계; 및
상기 지역 가중치 예측 연산 여부의 판단결과에 따라, 상기 생성된 지역 가중치 예측 영상에서 지역 가중치 예측 연산이 필요한 영역에 대해서 지역 가중치 연산을 수행하거나 상기 참조 영상에 대한 현재 영상의 전역 가중치 예측 연산을 수행하는 단계를 포함하는, 에이치.264/에이브이씨 코덱 시스템의 가중치 예측방법. - 제 1 항에 있어서,
상기 참조 영상의 전체 휘도에 대한 현재 영상의 전체 휘도 변화 정도를 이용하여 현재 영상의 가중치 예측 연산 여부를 판단하는 단계는,
상기 참조 영상 내의 전체 픽셀들의 휘도 평균값과 현재 영상 내의 전체 픽셀들의 휘도 평균값 간의 차이 및 현재 영상의 가중치 예측 연산 여부를 판단하기 위한 기준 값을 이용하여 현재 영상의 가중치 예측 연산 여부를 판단하는, 에이치.264/에이브이씨 코덱 시스템의 가중치 예측방법. - 제 2 항에 있어서,
상기 참조 영상의 전체 휘도에 대한 현재 영상의 전체 휘도 변화 정도를 이용하여 현재 영상의 가중치 예측 연산 여부를 판단하는 단계는,
상기 참조 영상 내의 전체 픽셀들의 휘도 평균값과 현재 영상 내의 전체 픽셀들의 휘도 평균값 간의 차이가, 현재 영상의 가중치 예측 연산 여부를 판단하기 위한 기준 값보다 큰 경우, 현재 영상의 가중치 예측 연산이 필요한 경우로 판단하는, 에이치.264/에이브이씨 코덱 시스템의 가중치 예측방법. - 제 1 항에 있어서,
상기 가중치 예측 연산 여부의 판단결과 현재 영상의 가중치 예측 연산이 필요한 경우, 상기 참조 영상 및 현재 영상을 분할하고, 참조 영상에 대한 현재 영상의 지역적인 휘도의 변화 여부를 판단하기 위해서, 참조 영상 및 현재 영상의 분할 영역마다 픽셀들의 휘도 평균값을 구하여, 상기 참조 영상 및 현재 영상과 동일한 분할 영역을 갖는 지역 가중치 예측 영상을 생성하는 단계는,
상기 참조 영상 및 현재 영상을 설정된 수의 영역으로 분할하는 단계;
상기 참조 영상 및 현재 영상의 분할 영역마다 픽셀들의 휘도 평균값을 구하는 단계; 및
상기 참조 영상의 분할 영역마다 휘도 평균값에 대응되는 현재 영상의 분할 영역에 대한 휘도 평균값을 감산하고 절대값을 취해서 상기 참조 영상 및 현재 영상과 동일한 분할 영역마다 휘도를 구하여 상기 지역 가중치 예측 영상을 생성하는 단계를 포함하는, H.264/AVC 코덱 시스템의 가중치 예측방법. - 제 4 항에 있어서,
상기 참조 영상 및 현재 영상을 설정된 수의 영역으로 분할하는 단계는,
상기 분할 영역에 포함되지 않은 상기 참조 영상 및 현재 영상 내의 픽셀들을 상기 분할 영역들 중 거리가 가장 가까운 분할 영역에 포함하는, 에이치.264/에이브이씨 코덱 시스템의 가중치 예측방법. - 제 1 항에 있어서,
상기 생성된 지역 가중치 예측 영상의 분할 영역마다 각각의 픽셀 휘도 평균값을 이용하여 표준편차를 구하여 지역 가중치 예측 연산 여부를 판단하는 단계는,
상기 지역 가중치 예측 연산 여부에 대한 판단을 아래의 수학식을 이용하여 판단하는, 에이치.264/에이브이씨 코덱 시스템의 가중치 예측방법.
[수학식]
이때,는 분할 영역들 중 x 영역 내 픽셀들의 휘도 평균값을 나타내며,
은 분할 영역들 중 x 영역 내 픽셀들의 휘도들을 제곱하여 평균한 값을 나타내며,
은 분할 영역들 중 x 영역 내 픽셀들의 휘도 평균값을 제곱한 값을 나타내며,
는 상기 표준편차를 나타내며,
는 지역 가중치 예측 연산 여부를 판단하기 위한 임계치를 나타낸다.
- 제 6 항에 있어서,
상기 지역 가중치 예측 연산 여부의 판단결과에 따라, 상기 생성된 지역 가중치 예측 영상에서 지역 가중치 예측 연산이 필요한 영역에 대해서 지역 가중치 연산을 수행하거나 상기 참조 영상에 대한 현재 영상의 전역 가중치 예측 연산을 수행하는 단계는,
상기 표준편차가 상기 지역 가중치 예측 연산 여부를 판단하기 위한 임계치보다 큰 상기 생성된 지역 가중치 예측 영상의 분할 영역에 대해서 지역 가중치 연산을 수행하고, 상기 생성된 지역 가중치 예측 영상의 모든 분할 영역에서의 표준 편차가 상기 지역 가중치 예측 연산 여부를 판단하기 위한 임계치보다 작은 경우 상기 참조 영상에 대한 현재 영상의 전역 가중치 예측 연산을 수행하는, 에이치.264/에이브이씨 코덱 시스템의 가중치 예측방법. - 제 7 항에 있어서,
상기 참조 영상에 대한 현재 영상의 전역 가중치 예측 연산은,
상기 현재 영상의 전체 픽셀 휘도의 평균값을 상기 참조 영상의 전체 픽셀 휘도의 평균값으로 나누어 가중치 계수(Weighted Factor)와 가중치 오프셋(Weighted Offset)을 구하고, 상기 현재 영상 내의 픽셀들의 휘도 값에 각각 가중치 계수를 곱하고 상기 가중치 계수를 상기 현재 영상 내의 픽셀들의 휘도 값을 곱하여 얻어진 값들에 각각 가중치 오프셋을 더하여 상기 현재 영상을 재구성하는 것인, 에이치.264/에이브이씨 코덱 시스템의 가중치 예측방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100033107A KR101051564B1 (ko) | 2010-04-12 | 2010-04-12 | 에이치닷264에이브이씨 코덱 시스템의 가중치 예측방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100033107A KR101051564B1 (ko) | 2010-04-12 | 2010-04-12 | 에이치닷264에이브이씨 코덱 시스템의 가중치 예측방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101051564B1 true KR101051564B1 (ko) | 2011-07-22 |
Family
ID=44924025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100033107A KR101051564B1 (ko) | 2010-04-12 | 2010-04-12 | 에이치닷264에이브이씨 코덱 시스템의 가중치 예측방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101051564B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101373704B1 (ko) * | 2012-05-29 | 2014-03-14 | 주식회사 코아로직 | 적응적 가중치 예측을 이용한 영상 처리 방법 |
| US11856208B1 (en) * | 2016-04-29 | 2023-12-26 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for encoding/decoding image signal |
| US12028532B2 (en) | 2016-04-29 | 2024-07-02 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for encoding/decoding image signals using weight prediction parameters |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060103057A (ko) * | 2005-03-25 | 2006-09-28 | 삼성전자주식회사 | 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치 |
| KR20070051334A (ko) * | 2004-09-16 | 2007-05-17 | 톰슨 라이센싱 | 국부적 밝기 변동을 이용한 가중화된 예측을 가진 비디오코덱 |
| KR20080101897A (ko) * | 2006-02-17 | 2008-11-21 | 톰슨 라이센싱 | 비디오 데이터 밝기 변화를 다루는 지역화된 가중 예측 |
-
2010
- 2010-04-12 KR KR1020100033107A patent/KR101051564B1/ko not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070051334A (ko) * | 2004-09-16 | 2007-05-17 | 톰슨 라이센싱 | 국부적 밝기 변동을 이용한 가중화된 예측을 가진 비디오코덱 |
| US20080253456A1 (en) * | 2004-09-16 | 2008-10-16 | Peng Yin | Video Codec With Weighted Prediction Utilizing Local Brightness Variation |
| KR20060103057A (ko) * | 2005-03-25 | 2006-09-28 | 삼성전자주식회사 | 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치 |
| KR20080101897A (ko) * | 2006-02-17 | 2008-11-21 | 톰슨 라이센싱 | 비디오 데이터 밝기 변화를 다루는 지역화된 가중 예측 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101373704B1 (ko) * | 2012-05-29 | 2014-03-14 | 주식회사 코아로직 | 적응적 가중치 예측을 이용한 영상 처리 방법 |
| US11856208B1 (en) * | 2016-04-29 | 2023-12-26 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for encoding/decoding image signal |
| US20230421781A1 (en) * | 2016-04-29 | 2023-12-28 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for encoding/decoding image signal |
| US20240007654A1 (en) * | 2016-04-29 | 2024-01-04 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for encoding/decoding image signal |
| US11876983B2 (en) | 2016-04-29 | 2024-01-16 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for encoding/decoding image signals using weight prediction parameter sets based on size of current block |
| US11909990B2 (en) | 2016-04-29 | 2024-02-20 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for encoding/decoding image signals using weight prediction parameter sets based on neighboring regions |
| US12028532B2 (en) | 2016-04-29 | 2024-07-02 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for encoding/decoding image signals using weight prediction parameters |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7149054B2 (ja) | 映像符号化方法及び映像復号化方法 | |
| EP3389276B1 (en) | Hash-based encoder decisions for video coding | |
| JP5318561B2 (ja) | マルチメディア処理のためのコンテンツ分類 | |
| US10536731B2 (en) | Techniques for HDR/WCR video coding | |
| US8649438B2 (en) | Selective motion vector prediction method, motion estimation method and device thereof applicable to scalable video coding system | |
| JP2017532858A5 (ko) | ||
| JP2017532858A (ja) | モデルベースの映像符号化用の知覚的最適化 | |
| US8737485B2 (en) | Video coding mode selection system | |
| US20090175330A1 (en) | Method and apparatus for adapting a default encoding of a digital video signal during a scene change period | |
| US8090029B2 (en) | Dynamic image encoding device and method | |
| US9661328B2 (en) | Method of bit allocation for image and video compression using perceptual guidance | |
| US20140072043A1 (en) | Video deblocking filter strength derivation | |
| CN110062236B (zh) | 基于空时域恰可感知失真的码率分配方法、系统及介质 | |
| US20190289329A1 (en) | Apparatus and a method for 3d video coding | |
| US20060256858A1 (en) | Method and system for rate control in a video encoder | |
| KR100561398B1 (ko) | 동화상 내 구획별로 휘도 변화를 검출하고 보상하는 장치 및 방법 | |
| US20190014332A1 (en) | Content-aware video coding | |
| US20170070555A1 (en) | Video data flow compression method | |
| CN107105240B (zh) | 一种hevc-scc复杂度控制方法及其系统 | |
| Miao et al. | High frame rate screen video coding for screen sharing applications | |
| KR101051564B1 (ko) | 에이치닷264에이브이씨 코덱 시스템의 가중치 예측방법 | |
| US20130251045A1 (en) | Method and device for determining a motion vector for a current block of a current video frame | |
| Mir et al. | Adaptive residual mapping for an efficient extension layer coding in two-layer HDR video coding | |
| Chen et al. | Improving video coding at scene cuts using attention based adaptive bit allocation | |
| EP1921866A2 (en) | Content classification for multimedia processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20140701 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20150619 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20160704 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |