KR20130095927A - 비디오 파라미터를 이용한 복잡도 측정 기반의 병렬 인-루프 화소 보정에 대한 부호화/복호화 장치 및 방법 - Google Patents
비디오 파라미터를 이용한 복잡도 측정 기반의 병렬 인-루프 화소 보정에 대한 부호화/복호화 장치 및 방법 Download PDFInfo
- Publication number
- KR20130095927A KR20130095927A KR1020120017343A KR20120017343A KR20130095927A KR 20130095927 A KR20130095927 A KR 20130095927A KR 1020120017343 A KR1020120017343 A KR 1020120017343A KR 20120017343 A KR20120017343 A KR 20120017343A KR 20130095927 A KR20130095927 A KR 20130095927A
- Authority
- KR
- South Korea
- Prior art keywords
- complexity
- pixel correction
- loop pixel
- parameter
- unit
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
비디오 파라미터를 이용한 복잡도 측정 기반의 병렬 인-루프 화소 보정에 대한 부호화/복호화 장치 및 방법에 관한 것으로서, 동영상 부호화/복호화 장치에서 비디오 부호화/복호화 파라미터 정보를 이용하여 인-루프 화소 보정 과정의 복잡도를 측정하는 복잡도 측정부, 및 상기 측정된 인-루프 화소 보정 과정의 복잡도를 이용하여, 인-루프 화소 보정에 대한 작업량을 균등하게 분배하는 코어 할당부를 포함한다.
Description
본 발명은 동영상 부/복호화 장치에서 인-루프 화소 보정 과정의 복잡도를 비디오 부/복호화 파라미터 정보를 이용하여 측정하고, 이러한 측정값을 이용하여, 병렬 인-루프 화소 보정 부호화/복호화 장치들에 인-루프 화소 보정에 대한 작업량이 균등하게 분배되게 함으로써 병렬 처리 속도를 향상시키는 기술적 사상에 관한 것이다.
최근 HD급 이상의 고화질 영상의 수요가 높아지면서 H.264/AVC 비디오 부/복호화기 보다 높은 효율을 낼 수 있는 새로운 부호화 및 복호화 방법이 필요성이 대두되었다. 이에 따라 최근 MPEG과 VCEG은 Joint Collaborative Team on Video Coding (JCT-VC)를 통해서 High Efficiency Video Coding (HEVC) 이라는 이름으로 차세대 비디오 코덱에 대한 표준화를 진행하고 있다.
HEVC는 Moving Picture Experts Group(MPEG)과 Video Coding Experts Group VCEG)에 의해 공동으로 구성된 Joint Collaborative Team on Video Coding(JCT-VC)에 의해 표준화가 진행되고 있는 차세대 비디오 코덱이다.
HEVC 표준화에는 많은 기술이 제안되고 있으며, 이러한 기술 중 기술 복잡도 대비 높은 압축 효율을 갖는 기술이 채택되었다. 특히, H.264/AVC에서 보다 인-루프 화소 보정 관련 기술이 다수 채택되었는데, 각각에 대해 살펴보면 다음과 같다.
HEVC는 복원된 영상에 대하여 디블록킹 필터, Sample Adaptive Offset (SAO), Adaptive Loop Filter (ALF) 순으로 필터링을 적용하는 인-루프 화소 보정 기술을 사용한다.
디블록킹 필터는 8×8 블록 이상의 크기에 위치하는 Coding Unit (CU), Prediction Unit (PU), Transform Unit (TU)의 경계에서 경계 강도(boundary strength)를 계산하고, 필터링 함으로써 블록 경계에서 발생하는 블록킹 현상(blocking artifact)을 제거한다.
SAO는 디블록킹 필터링이 적용된 영상에서 가장자리(edge) 주변 또는 일정 픽셀 값에 대한 집합에 대하여 수행된다.
이러한 SAO는 기본단위인 영역(region)을 다수의 픽셀 집합으로 나눈 후, 해당 집합에 포함된 픽셀들에 평균 오프셋을 구하고 이를 복원 픽셀 값들에 더해줌으로써 복원된 영상을 원본 영상과 비슷하도록 만들어주는 기술이다.
ALF는 SAO가 적용된 영상을 원본 영상과 에러 제곱의 평균 (mean square error)을 최소화하는 필터를 구하고 이를 이용하여 필터링을 함으로써 복원 영상의 에러를 최소화 시키는 기술이다.
ALF는 쿼드트리 블록 단위로 필터링 적용 여부에 대한 on/off 플래그를 전송함으로써 보다 효과적인 필터링을 수행한다.
본 발명의 일실시예에 따른 병렬 인-루프 화소 보정을 위한 부호화/복호화 장치는 동영상 부호화/복호화 장치에서 비디오 부호화/복호화 파라미터 정보를 이용하여 인-루프 화소 보정 과정의 복잡도를 측정하는 복잡도 측정부, 및 상기 측정된 인-루프 화소 보정 과정의 복잡도를 이용하여, 인-루프 화소 보정에 대한 작업량을 균등하게 분배하는 코어 할당부를 포함할 수 있다.
본 발명의 일실시예에 따른 병렬 인-루프 화소 보정을 위한 부호화/복호화 방법은 동영상 부호화/복호화 시 비디오 부호화/복호화 파라미터 정보를 이용하여 인-루프 화소 보정 과정의 복잡도를 측정하는 단계, 및 상기 측정된 인-루프 화소 보정 과정의 복잡도를 이용하여, 인-루프 화소 보정에 대한 작업량을 균등하게 분배하는 단계를 포함할 수 있다.
도 1은 본 발명의 일실시예에 따른 복잡도 기반 병렬 인-루프 화소 보정에 대한 병렬 복호화 장치를 설명하는 블록도이다.
도 2는 본 발명의 일실시예에 따른 복잡도 기반 병렬 인-루프 화소 보정에 대한 병렬 부호화 장치를 설명하는 블록도이다.
도 3은 디블럭킹 필터, SAO, ALF순으로 인-루프 화소 보정을 수행할 때, 복잡도 기반 병렬 인-루프 화소 보정을 순차적으로 수행하는 장치를 설명하는 블록도이다.
도 4는 다수개의 인-루프 화소 보정 과정에서 각각의 인-루프 화소 보정에 대해 복잡도를 측정하고 이를 통합하여 복잡도 기반 병렬 인-루프 화소 보정을 수행하는 부호화 장치를 설명하는 블록도이다.
도 5는 디블럭킹 필터 수행 과정에서 복잡도 기반 병렬 복/복호화를 위한 장치를 설명하는 블록도이다.
도 6은 SAO 필터링 수행 과정에서 복잡도 기반 병렬 복호화를 위한 장치를 설명하는 블록도이다.
도 7은 ALF 필터링 수행 과정에서 복잡도 기반 병렬 복호화를 위한 장치를 설명하는 블록도이다.
도 8은 다수개의 인-루프 화소 보정 과정에서 복잡도를 통합하여 측정 후 병렬 복호화를 수행하기 위한 장치를 설명하는 블록도이다.
도 9는 일반적인 방법에 대해서 디블럭킹 필터링을 병렬 수행하는 실시예를 설명하는 도면이다.
도 10은 본 발명의 일실시예에 따른 디블럭킹 필터링을 병렬 수행하는 실시예를 설명하는 도면이다.
도 11은 본 발명의 일실시예에 따른 방법에 대해서 기본단위가 LCU 라인일 경우, 디블럭킹 필터링을 병렬 수행하는 실시예를 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 복잡도 기반 병렬 인-루프 화소 보정에 대한 병렬 부호화 장치를 설명하는 블록도이다.
도 3은 디블럭킹 필터, SAO, ALF순으로 인-루프 화소 보정을 수행할 때, 복잡도 기반 병렬 인-루프 화소 보정을 순차적으로 수행하는 장치를 설명하는 블록도이다.
도 4는 다수개의 인-루프 화소 보정 과정에서 각각의 인-루프 화소 보정에 대해 복잡도를 측정하고 이를 통합하여 복잡도 기반 병렬 인-루프 화소 보정을 수행하는 부호화 장치를 설명하는 블록도이다.
도 5는 디블럭킹 필터 수행 과정에서 복잡도 기반 병렬 복/복호화를 위한 장치를 설명하는 블록도이다.
도 6은 SAO 필터링 수행 과정에서 복잡도 기반 병렬 복호화를 위한 장치를 설명하는 블록도이다.
도 7은 ALF 필터링 수행 과정에서 복잡도 기반 병렬 복호화를 위한 장치를 설명하는 블록도이다.
도 8은 다수개의 인-루프 화소 보정 과정에서 복잡도를 통합하여 측정 후 병렬 복호화를 수행하기 위한 장치를 설명하는 블록도이다.
도 9는 일반적인 방법에 대해서 디블럭킹 필터링을 병렬 수행하는 실시예를 설명하는 도면이다.
도 10은 본 발명의 일실시예에 따른 디블럭킹 필터링을 병렬 수행하는 실시예를 설명하는 도면이다.
도 11은 본 발명의 일실시예에 따른 방법에 대해서 기본단위가 LCU 라인일 경우, 디블럭킹 필터링을 병렬 수행하는 실시예를 설명하는 도면이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명은 동영상 부호화 및 복호화기에서 인-루프 화소 보정 과정을 효율적으로 병렬처리 하는 방법 및 장치에 관한 것이다.
동영상 부/복호화기에서 인-루프 화소 보정 과정은 높은 계산 복잡도를 갖고 있다.
본 발명은 동영상 부/복호화 장치에서 인-루프 화소 보정 과정의 복잡도를 비디오 부/복호화 파라미터 정보를 이용하여 측정한다.
그리고 이러한 측정값을 이용하여, 본 발명은 병렬 인-루프 화소 보정 부호화/복호화 장치들에 인-루프 화소 보정에 대한 작업량이 균등하게 분배되게 함으로써 병렬 처리 속도를 향상시킨다.
본 발명에서는 여러 종류의 인-루프 화소 보정 기법에 따라 알맞은 파라미터를 이용하여 복잡도를 측정하고, 이를 통하여 복수개의 인-루프 화소 보정 장치마다 균등하게 작업량이 배분될 수 있도록 영상을 최적 분할 후 병렬화한다.
또한, 동영상 부/복호화기에서 복수개의 인-루프 화소 보정 과정이 존재할 때 다음과 같은 두 가지 방법을 이용하여 제안한 장치 및 방법을 수행한다.
첫째는, 복수개의 인-루프 화소 보정 과정에 대하여 각 과정에 대해서 복잡도를 측정하고 작업량을 최적 분할하여 병렬 처리한다.
둘째는, 복수개의 인-루프 화소 보정 과정에 대하여 통합된 복잡도를 측정하고, 통합 작업량을 최적 분할하고 이를 병렬 처리한다.
이러한 병렬처리 기법은 동영상 부/복호화 과정 시 고속으로 수행되는 실시간 처리 기기에 사용될 수 있으며, 멀티프로세서 또는 멀티코어 등을 기반으로 동영상 코덱을 부/복호화를 필요로 하는 시스템, 장치 및 기기에 이용될 수 있다.
이하 도 1 내지 도 10을 이용하여, 상술한 본 발명의 기술적 사상을 구체적으로 설명한다.
도 1은 본 발명의 일실시예에 따른 복잡도 기반 병렬 인-루프 화소 보정을 위한 병렬 복호화 장치를 설명하는 블록도이다.
다시 말해, 도 1은 제안한 방법인 동영상 복호화 인-루프 화소 보정 과정에서 복잡도 계산을 통하여 작업량을 균등하게 분배하여 병렬화 성능을 높이는 방법 및 장치의 블록도이다.
본 발명의 일실시예에 따른 병렬 인-루프 화소 보정을 위한 부호화/복호화 장치는 동영상 부호화/복호화 장치에서 비디오 부호화/복호화 파라미터 정보를 이용하여 인-루프 화소 보정 과정의 복잡도를 측정하는 복잡도 측정부와 상기 측정된 인-루프 화소 보정 과정의 복잡도를 이용하여, 인-루프 화소 보정에 대한 작업량을 균등하게 분배하는 코어 할당부(104)를 포함할 수 있다.
동영상 부/복호화기에서 영상 전체 복잡도에 대하여 인-루프 화소 보정 과정에 대한 복잡도는 매우 높은 비중을 차지하고 있다. 최근 인-루프 화소 보정 기술이 동영상 부/복호화 과정에 많이 사용되고 있으며 앞으로 동영상 부/복호화기 복잡도 관점에서 높은 비중을 차지할 것으로 전망된다.
이에, 본 발명의 일실시예에 따른 상기 복잡도 측정부는 정확한 복잡도 계산을 위해서, 필요 파라미터 결정부(101), 파라미터 로드부(102), 및 복잡도 계산부(103)를 포함할 수 있다.
본 발명의 일실시예에 따른 필요 파라미터 결정부(101)는 현재 영상의 인-루프 화소 보정 기능에 대한 복잡도 측정 수행 시 필요한 파라미터를 결정한다.
본 발명의 일실시예에 따른 파라미터 로드부(102)는 상기 복잡도 측정 수행 시 필요한 파라미터 중에서, 실제 필요한 파라미터를 로딩한다.
본 발명의 일실시예에 따른 복잡도 계산부(103)는 상기 실제 필요한 파라미터에 기초하여 인-루프 화소 보정에 대한 복잡도를 측정한다.
또한, 본 발명의 일실시예에 따른 병렬 인-루프 화소 보정을 위한 부호화/복호화 장치는 상기 균등하게 분배된 인-루프 화소 보정에 대한 작업량을 할당받아 후처리 과정을 수행하는 적어도 하나 이상의 인-루프 화소 보정 수행부(105)와 상기 후처리된 결과를 결합하여 최종 복원된 영상을 출력하는 영상 복원부(105)를 더 포함할 수 있다.
구체적으로, 복잡도 계산을 위한 필요 파라미터 결정부(101)는 현재 영상의 인-루프 화소 보정 기능에 대한 복잡도 측정 수행 시 필요한 파라미터를 결정한다.
일예로 필요 파라미터 결정부(101)는 인-루프 화소 보정을 위한 필터링이 영상 전체가 아닌 영상의 일부분에 대해 수행되는 경우, 필터 적용에 관한 on/off 정보를 가져온다.
또한, 필요 파라미터 결정부(101)는 인-루프 화소 보정 종류에 따른 복잡도가 다를 수 있으므로 복잡도 계산을 위해 인-루프 화소 보정 방식에 대한 정보를 가져온다.
복잡도 측정에 필요한 파라미터를 결정한 후 파라미터 로드부(102)는 실제 필요한 파라미터 정보를 가져온다. 그리고 복잡도 계산부(103)에서는 상기 실제 필요한 파라미터 정보를 이용하여 인-루프 화소 보정에 대한 복잡도를 측정한다. 복잡도 측정은 일정 단위로 나누어 측정될 수 있다.
측정 단위의 예로, 코딩 유닛(CU, Coding Unit), 예측 유닛(PU, Prediction Unit), 및 이들의 묶음 조합 등 여러 종류의 단위를 하나 또는 여러 개를 사용할 수 있다.
측정된 결과를 이용하여 코어 할당부(104)는 일정 단위로 측정된 복잡도를 각 인-루프 화소 보정 수행부(105)의 작업량이 균등하도록 인-루프 화소 보정 수행부(105)의 개수에 맞게 영역을 분할하여 각 영역을 하나의 인-루프 화소 보정 수행부(105)에 할당한다.
인-루프 화소 보정 수행부(105)에서는 할당된 영역에 대한 후 처리 과정을 수행한다. 영상 복원부(106)은 각 인-루프 화소 보정 수행부(105)에서 인-루프 화소 보정이 수행된 결과물을 결합하여 최종 복원된 영상을 출력한다.
도 2는 본 발명의 일실시예에 따른 복잡도 기반 병렬 인-루프 화소 보정에 대한 병렬 부호화 장치를 설명하는 블록도이다.
즉, 도 2는 제안한 방법인 인-루프 화소 보정 수행에 대한 복잡도를 균등하게 분배하여 병렬처리를 수행하는 부호화 방법 및 장치의 블록도이다.
도 2는 도 1의 복호화기에 대한 부호화기이며 도 1의 방법과 동일한 방법으로 부호화를 수행한다.
도면부호 201에서 도면부호 205의 구성요소들은 도 1의 도면부호 101에서 도면부호 105의 구성요소들과 같은 방법으로 동작한다.
각각에 대해 간단히 살펴보면, 복잡도 측정을 위한 필요 파라미터 결정부(201)는 인-루프 화소 보정 부호화 시 복잡도 측정을 위한 파라미터를 결정한다.
파라미터 로드부(202)는 앞서 결정한 파라미터를 가져오고, 이러한 파라미터들을 복잡도 계산부(203)에 입력한다.
복잡도 계산부(203)는 인-루프 화소 보정 부호화에 대한 복잡도 측정을 수행하는데, 일정 단위 마다 수행한다. 예를 들어, 코딩 유닛 단위 또는 예측 유닛, 및 이들의 조합 등이 될 수 있다.
이후 계산 된 복잡도를 이용하여 코어 할당부(204)에서 각각의 인-루프 화소 보정 수행부(205)에 전체 부호화 된 영상을 작업량이 균등하게 분배되도록 분할하여 제공한다.
각각의 인-루프 화소 보정 수행부(205)는 분할된 영상에 대한 인-루프 화소 보정 부호화를 수행한다. 그리고 출력으로 인-루프 화소 보정 부호화 된 결과가 나오고, 이를 통해 구문 결정부(206)는 결정된 구문을 출력한다. 하지만 인-루프 화소 보정 종류에 따라 구문을 출력하지 않는 경우가 존재하는데, 이 경우 구문 결정부는 동작하지 않는다. 영상 복원부(207)는 인-루프 화소 보정 수행부(205)에서 출력된 분할 영상을 결합하여 최종 복원된 영상을 출력한다.
도 3은 디블럭킹 필터, SAO, ALF순으로 인-루프 화소 보정을 수행할 때, 복잡도 기반 병렬 인-루프 화소 보정을 순차적으로 수행하는 장치를 설명하는 블록도이다.
도 3은 다수개의 인-루프 화소 보정에 대해서 각 단계별로 복잡도를 측정하고, 병렬 수행하는 부/복호화기의 블록도이다.
도 3의 인-루프 화소 보정 과정은 디블럭킹 필터, SAO, ALF의 세가지 종류의 인-루프 화소 보정에 대해 순차적으로 동작한다.
먼저, 도면부호 301 내지 도면부호 304의 구성요소들은 디블록킹 필터 파라미터를 통하여 입력 영상에 대한 디블록킹 필터 복잡도를 측정하고, 이를 통하여 디블록킹 필터링의 작업량을 균등 분할함으로써 병렬 디블록킹 필터링의 효율을 높이는 방법 및 장치에 관한 것이다.
이후 도면부호 305 내지 도면부호 307의 구성요소들은 SAO 연산 과정에서 있어서 SAO 파라미터를 통하여 SAO 복잡도를 측정하고, 이를 통하여 SAO의 작업량을 균등 분할함으로써 SAO에 대한 병렬처리의 효율을 높이는 방법 및 장치에 관한 것이다.
또한, 도면부호 308 내지 도면부호 310의 구성요소들은 ALF 연산 과정에서 있어서 ALF 파라미터를 통하여 ALF의 복잡도를 측정하고, 이를 통하여 ALF의 작업량이 균등 배분될 수 있도록 영역을 분할함으로써 ALF에 대한 병렬처리의 효율을 높이는 방법 및 장치에 관한 것이다.
보다 구체적으로 설명하면, 도 3에서 복잡도 기반 병렬 디블록킹 필터링을 수행하기 위해 다음과 같은 단계를 수행한다. 먼저 디블럭킹 필터 파라미터 로드부(301)에서 디블럭킹 필터의 복잡도 측정을 위한 파라미터를 결정하고 그 파라미터를 로딩한다.
이후, 불러온 파라미터에 대하여 디블록킹필터 복잡도 계산부(302)에서 복잡도를 측정한다. 이때, 디블럭킹 필터는 수평에 대한 필터링과 수직에 대한 필터링 두 단계로 필터링을 취하므로 수평 필터링에 대한 복잡도 분석과 수직 필터링에 대한 복잡도 분석을 각각 수행할 수 있다. 이 후 구해진 수평 방향과 수직 방향 필터링에 대한 복잡도를 이용하여 다수의 디블럭킹 수행부에 균등한 작업량이 부여되도록 영상을 할당한다. 이후, 수평 디블록킹 필터링 수행부(303) 및 수직 디블록킹 필터링 수행부(304)는 각각 수평 디블록킹 필터링 및 수직 디블록킹 필터링을 수행한다.
도 3에서 복잡도 기반 병렬 SAO를 수행하기 위해 다음과 같은 단계를 처리한다.
SAO 파라미터 로드부(305)는 SAO의 복잡도 측정을 위해 필요 파라미터를 결정하고 결정된 파라미터를 로딩한다.
SAO 복잡도 계산부(306)은 SAO 파라미터를 입력으로 SAO 필터링의 기본단위를 기준으로 복잡도를 측정한다. 복잡도 측정의 기본단위를 기초로 하여 SAO에 수행을 위해 각 SAO 수행부에 균등하게 작업량이 분산되도록 영상 전체영역을 분할하여 할당한다. 이후 SAO 수행부(307)에서 SAO를 수행한다.
SAO 수행 방법은 SAO 수행에 따른 기본 단위에 대해서 SAO의 수행여부와 수행 시 어떤 종류의 방법으로 SAO를 수행할지를 결정할 수 있다.
그리고 SAO 종류에 따라 픽셀 그룹을 정의하고 각각의 픽셀 그룹에 부호화기에서 보내준 값을 일률적으로 더하여 부호화 에러를 최소화한다. SAO 수행 이후의 인-루프 필터링 과정으로 ALF를 수행할 수 있다.
도 3에서 복잡도 기반 병렬 ALF는 필터링을 수행하기 위해 다음과 같은 단계를 수행한다.
먼저, ALF는 원본과 가장 유사하도록 복원된 영상을 보정한다. ALF 파라미터 로드부(308)은 ALF의 복잡도 계산을 위한 파라미터를 결정하고 결정된 파라미터를 불러온다. 그리고 ALF 필터 복잡도 계산부(309)는 불러온 파라미터를 입력으로 사용하여 일정 단위에 대해서 복잡도를 측정하고, 측정된 복잡도를 기반으로 영상을 분할한다.
이후, ALF 필터 복잡도 계산부(309)는 각각의 ALF 수행부(310)에 작업량이 균등하도록 분할된 영상을 할당되고, 할당된 영상의 일부분을 ALF 필터링을 수행한다.
도 4는 다수개의 인-루프 화소 보정 과정에서 각각의 인-루프 화소 보정에 대해 복잡도를 측정하고 이를 통합하여 복잡도 기반 병렬 인-루프 화소 보정을 수행하는 부호화 장치를 설명하는 블록도이다.
본 발명에서 제안하는 방법 및 장치는 인-루프 화소 보정 과정을 수행하는 수행부가 다수 개 존재 할 때 수행될 수 있다.
본 발명에서 제안하는 방법 및 장치는 현재 영상에서 인-루프 화소 보정에 대한 복잡도를 일정 영역 단위로 예측하여 각각의 수행부에 대하여 균등한 복잡도가 분배되도록 영상을 분할한다. 분할된 영상을 입력으로 인-루프 화소 보정의 수행부에서 인-루프 화소 보정을 수행함으로써 병렬처리가 효과적으로 수행된다.
이러한 방법 및 장치를 통하여 인-루프 화소 보정을 위한 각각의 수행부에 균등한 처리량을 부여함에 따라 최대 병렬 처리에 대한 효율을 올릴 수 있다. 제안하는 방법 및 장치에서는 인-루프 화소 보정의 특성에 따라 복잡도를 측정하는 파라미터를 결정하며, 파라미터를 입력으로 복잡도를 측정하여 동영상 부/복호화 수행 장치의 개수에 따라 전체 영상을 복잡도가 균등하도록 영역을 분할한다. 그리고 분할 된 영상은 각각의 인-루프 화소 보정 수행부에 할당되며 인-루프 화소 보정이 수행된다. 인-루프 화소 보정이 수행된 이후 부호화기의 경우 부호화 된 구문(syntax)과 화소 보정된 영상이 출력되며, 복호화기의 경우 인-루프 화소 보정이 수행된 영상이 출력된다.
또한, 다수개의 인-루프 화소 보정 과정이 수행되는 경우, 전체 통합 인-루프 화소 보정에 대한 복잡도를 측정하여 모든 인-루프 화소 보정 과정에 대해서 병렬 동영상 부/복호화 수행 장치에 입력으로 분할 영상을 할당 할 수 있다. 또 다른 방법으로 다수개의 인-루프 화소 보정 과정이 수행되는 경우, 각각에 대하여 파라미터를 이용하여 복잡도를 측정하고 복잡도에 따라 영상을 최적 분배하여 인-루프 화소 보정하는 과정을 순차적으로 수행한다.
구체적으로 설명하면, 복잡도 계산을 위한 필요 파라미터 결정부(401)는 모든 인-루프 화소 보정 복잡도 측정을 위한 파라미터를 결정한다.
파라미터 로드부(402)는 401에서 결정한 파라미터 정보를 수집한다.
인-루프 화소 보정 복잡도 계산부(403)는 다수개의 인-루프 화소 보정 에 대하여 각각의 방법에 맞게 복잡도를 측정하는 단계이다.
도면부호 403의 인-루프 화소 보정에 해당되는 예로 디블럭킹 필터, SAO, ALF가 있다. 이후 복수 파라미터를 이용한 코어 할당부(404)에서 403의 출력인 각각의 인-루프 화소 보정에 대해서 측정한 복잡도를 고려하여 전체 인-루프 화소 보정 과정에서 효율적인 병렬처리가 수행 되도록 후처리 수행부(405)에 영상의 분할된 영역을 할당한다.
출력부(406)는 후처리 수행부(405)에서의 결과를 통합하여 출력한다.
부호화기의 경우 구문 및 인-루프 화소 보정된 영상이 출력되며, 복호화기의 경우 인-루프 화소 보정 된 영상을 얻을 수 있다.
도 5는 디블럭킹 필터 수행 과정에서 복잡도 기반 병렬 복/복호화를 위한 장치를 설명하는 블록도이다.
본 제안하는 방법은, 다수개의 코어를 이용하여 병렬로 디블럭킹 필터링을 수행할 때, 수평 필터링에 대해서 복잡도를 측정하여 각 수행부에 부분영상을 할당하여 수평 필터링을 수행하고, 이후, 수직 필터링에 대해서 각 코어에 부분영상을 할당하여 수직 필터링을 수행한다.
디블럭킹 필터 수행 시 복잡도 계산을 위한 필요 파라미터 결정부(301)에 결정되는 파라미터는 일예로 도면부호 501 내지 506과 같다. 이는 디블럭킹 필터가 필터링 유무는 분할 정보와 그 주변픽셀의 값에 의해 결정되기 때문이다.
코어 개수 결정부(501)는 수행부 개수에 대한 정보로 해석될 수 있다.
각 수행부에 작업량을 균등하게 할당하기 위해 복잡도 측정 시 필요 파라미터가 된다.
CU분할 정보(502)는 동영상 부/복호화 과정의 기본 코딩 단위에 대한 정보로서, 전체 영상에 대해서 CU가 어떠한 형태로 나누어 졌는지에 대한 정보이다. PU분할 정보(503)는 동영상 부/복호화 과정의 예측 단위에 대한 정보이며, TU분할 정보(504)는 동영상 부/복호화 과정에서 변환을 수행할 때 변환 블록의 형태에 대한 정보이다. 복호화 된 영상(505)는 디블럭킹 필터링을 수행 이전까지인 엔트로피 복호화, 역양자화, 역변환 등을 통하여 복호화 된 영상을 의미한다. bS 정보(506)는 블록 경계에서 계산된 필터 강도(boundary strength) 값이다.
복잡도 계산부(507)는 입력으로 복잡도 측정을 위한 파라미터 정보인 도면부호 501, 502, 503, 504, 505, 506이 들어오고, 이러한 입력정보를 이용하여 디블럭킹 필터의 복잡도가 측정된다.
복잡도 계산부(507)에서 복잡도를 측정시, 디블럭킹 필터의 특성을 고려하여 복잡도를 측정해야 한다.
예를 들어, 디블럭킹 필터링이 8×8 이하의 단계에서 필터링을 수행하지 않을 경우, 이러한 점을 고려하여 필터링을 적용되는 위치를 살펴보고 이를 고려하여 복잡도를 측정한다.
디블럭킹 필터의 수행과정은 영상 전체에 대하여 수평 필터링과 수직 필터링으로 나뉘어 지는데, 복잡도를 측정할 때 각각에 대해 나누어 측정할 수 있다. 복잡도 계산부(507)에서 측정된 수평 복잡도는 코어 할당부(508)을 통해 영상을 작업량이 균등하도록 분할하여 각 수평 디블럭킹 필터링(509)에 할당한다.
수평 디블럭킹 필터링(509)은 할당된 영상의 필터링 수행 경계에서 수평 방향으로 디블록킹 필터링을 수행하는 부분이다. 수평 디블럭킹 필터링(509)은 다수개가 존재하며, 각각에 대해서 분할된 영상을 입력 받아 수평 디블럭킹 필터링을 수행한다. 영상버퍼(510)는 수평 디블럭킹 필터링(509)에서 수평으로 필터링 된 전체 영상을 다시 통합하여 분할된 영상을 결합하여 저장한다. 이 후, 결합된 영상에 대해 코어 할당부(511)는 수직 디블럭킹 필터링(512) 수행을 위해 각 수행부의 작업량이 균등하도록 분할하여 수직 디블럭킹 필터링(512)에 할당한다. 여기서, 작업량이 균등하도록 분할하는 과정에서 이전의 복잡도 계산부(507)에서 계산된 수직 복잡도의 정보를 입력으로 받는다. 영상 복원부(513)는 수평과 수직 방향으로 모두 디블럭킹 필터링 된 부분 영상을 하나의 영상으로 통합한다.
도 6은 SAO 필터링 수행 과정에서 복잡도 기반 병렬 복호화를 위한 장치를 설명하는 블록도이다.
도 6은 제안한 병렬 수행을 위한 SAO 인-루프 화소 보정 과정의 복호화기에 대한 블록도이다.
도 6은 도 3에서 디블럭킹 필터 이후 이어지는 과정으로 도 3에서 도면부호 305, 306, 307의 상세도에 해당된다.
SAO는 픽셀 그룹에 대하여 일정 크기를 일률적으로 더하여 원본 영상의 에러를 최소화 하는 인-루프 화소 보정 기법이다.
도면부호 601 내지 604의 구성요소는 SAO에 대한 복잡도 분석을 위한 파라미터 정보이다. SAO를 병렬로 수행하는 과정에서 다수개의 수행부가 존재하게 되는데, 균등하게 작업량을 할당하기 위해 수행부의 개수에 대한 정보를 코어 개수 결정부(601)에서 수집한다.
동영상 복호화부(602)는 인-루프 화소 보정 이전 단계의 복호화 된 영상이다. 만약 다수개의 인-루프 화소 보정이 존재 할 때, 이전 순서의 인-루프 화소 보정이 복호화 된 영상이 된다.
SAO 영역 분할 정보(603)은 SAO 처리 시 기본 단위가 되는 영역 정보이다.
SAO 영역 수행정보(604)는 픽셀의 그룹을 결정하는 과정 또는 오프셋을 취하는 과정에서 여러 종류가 존재 할 수 있는데, 이에 대한 정보이다.
앞서 있는 파라미터 정보를 입력으로 하여 복잡도 계산부(605)는 SAO에 대한 복잡도를 측정한다.
복잡도 계산부(605)에서 복잡도를 측정하는 방법으로는 현재 영상의 분할된 각각의 영역에 대하여 수행정보를 보고 SAO의 수행 여부를 이용하여 복잡도를 판단할 수 있고, 또는 수행정보 중에서도 종류에 따라 복잡도를 결정할 수 있다. 이렇게 일정 영역 또는 블록 단위 등을 기본 단위로 하여 복잡도를 측정하고 이러한 정보를 코어 할당부(606)에게 전달한다.
코어 할당부(606)는 영상 내의 SAO 수행에 대한 작업량을 균등하게 분배하기 위하여 영역을 분할하여 각각의 SAO 수행부(607)에 입력으로 전달한다.
SAO 수행부(607)는 입력 받은 분할 된 영상에 대해 SAO를 병렬로 수행한다. 이후 출력으로 SAO가 수행된 분할된 영상을 얻게 되는데, 영상 복원부(608)를 통하여 하나의 통합된 영상을 얻게 된다.
도 7은 ALF 필터링 수행 과정에서 복잡도 기반 병렬 복호화를 위한 장치를 설명하는 블록도이다.
도 7는 병렬 인-루프 화소 보정 수행을 위한 방법으로, ALF를 이용하여 필터링을 수행하는 복호화기에 대한 블록도이다.
도 7은 도 3에서 도면부호 308, 309, 310에 대한 상세도이다. 코어 개수 결정부(701)는 병렬 수행을 위해 사용할 ALF 수행부(707)의 개수를 결정한다.
동영상 복호화부(702)는 ALF 이전의 복호화 된 영상이다. CU 분할 정보(701)는 ALF 수행 시 기본 단위가 되는 코딩 유닛이다.
ALF one/off flag 로드부(704)는 각각의 CU에 대해 현재 CU를 ALF 필터링을 수행할 것인지에 대한 여부를 나타내는 구문을 수집한다.
예로, 코딩블록마다 ALF를 적용할 것인지 그렇지 않을 것인지를 슬라이스 헤더 단위에서 보내질 경우 이러한 정보를 비트스트림 파싱을 통하여 수집한다. 이러한 정보는 영상의 일정 영역에서 필터링을 취하는 블록이 다수 존재하는 경우와 그렇지 않은 경우에 대해서 복잡도가 차이가 나기 때문에 복잡도를 균등하게 배분하기 위한 파라미터가 된다.
복잡도 계산부(705)는 이전 단계의 복잡도 계산을 위한 파라미터를 이용하여 일정 영역에 대하여 복잡도를 측정한다.
측정된 복잡도 결과를 바탕으로 코어 할당부(706)은 ALF 필터링을 수행 할 다수개의 ALF 수행부(707)에게 작업량이 균등하도록 영상을 분할하여 전달한다.
각각의 ALF 수행부(707)에서 ALF 필터링이 수행되고 이후 필터링 된 부분 영상이 출력되면, 이를 영상 복원부(708)을 통하여 영상을 하나로 통합한다.
도 8은 다수개의 인-루프 화소 보정 과정에서 복잡도를 통합하여 측정 후 병렬 복호화를 수행하기 위한 장치를 설명하는 블록도이다.
도 8은 병렬 통합 인-루프 화소 보정 수행에 대한 부/복호화 방법 및 장치의 블록도이다.
도 3은 순차적으로 각 인-루프 화소 보정 과정의 복잡도를 측정하고 제안한 방법을 수행하지만, 도 8은 모든 인-루프 화소 보정 과정을 통합하여 복잡도를 측정하고 이를 입력으로 영상을 분할하며 일률적으로 인-루프 화소 보정을 수행한다.
각각의 구성요소들에 대하여 살펴보면, 도면부호 801 내지 810의 구성요소들은 다수개의 인-루프 화소 보정 과정 시 필요한 모든 파라미터 정보이다.
그 후, 다수개의 인-루프 화소 보정에 대한 수행 과정과 복잡도 측정 파라미터를 고려하여 인-루프 화소 보정 통합 복잡도 측정부(811)에서 복잡도를 측정하고, 측정된 결과를 바탕으로 영상을 분할하여 각각의 인-루프 화소 보정 수행부(812)의 입력이 된다.
인-루프 화소 보정 수행부(812)는 다수개의 인-루프 화소 보정 과정을 순차적으로 수행하며 이 후 출력으로 모든 인-루프 화소 보정 과정이 끝난 분할된 영상이 된다.
이러한 영상은 출력부(813)에서 인-루프 화소 보정 결과를 출력한다. 부호화기의 경우 인-루프 화소 보정에 대한 구문 및 인-루프 화소 보정 된 영상이 출력되며, 복호화기의 경우 인-루프 화소 보정 된 영상이 출력된다.
도 9는 일반적인 방법에 대해서 디블럭킹 필터링을 병렬 수행하는 실시예를 설명하는 도면이다.
도 9에서 하나의 블록은 CU이며, LCU(900)에서 쿼드트리로 CU를 분할된 횟수를 CUD(Coding Unit Depth)를 이용하여 나타내었다. 도 9에서 괄호 안의 숫자는 필터링 되는 부분의 위치에 대해 번호를 붙인 것이며, CU 분할된 정보에 따라 필터링 위치가 결정된다. 일반적인 방법의 디블럭킹 필터링을 병렬 수행 시, 필터링에 대한 복잡도를 고려하지 않고 단순히 영상을 코어개수를 이용하여 균등하게 분할한다.
도 9를 보면, 디블럭킹 필터의 병렬 수행을 위한 수행부의 개수가 2개일 때 수행부1은 (1)에서 (5)까지 필터링을 수행하고 나머지는 수행부2가 수행한다. 도 9에서 각 수행부에 영상 할당 시, 수행부1이 상대적으로 많은 필터링이 수행되는 영역이 할당되어 병렬 처리가 효과적으로 수행되지 않는다.
도 10은 본 발명의 일실시예에 따른 디블럭킹 필터링을 병렬 수행하는 실시예를 설명하는 도면이다.
도 10는 제안한 방법에 대해서 디블럭킹 필터 병렬 수행에 대한 실시 예이다. 도 10는 복잡도 기반으로 디블럭킹 필터의 파라미터 정보를 이용하여 각 수행부에 작업량이 균등하게 분배되도록 영상을 분할한다.
여기서, 디블럭킹 필터의 파라미터 정보로 CUD를 이용하며 기본단위는 LCU(1000) 단위로 복잡도를 측정하여 분할한다.
제안한 방법으로 디블럭킹 필터의 병렬 수행을 위한 수행부가 할당된 위치를 보면, 수행부1은 (1)에서 (4)까지 하나의 LCU에 영역에 대해 영상을 필터링하고, 나머지 영역은 수행부2에서 수행한다. 할당된 분할 영상의 크기는 균일하지 않지만, 복잡도 측면에서 CUD가 클수록 필터링 부분이 늘어나는 점을 고려하여 복잡도가 균등하도록 영상을 분할하여 수행부에 할당하였기 때문에 병렬 처리가 효과적으로 수행된다.
도 11은 본 발명의 일실시예에 따른 방법에 대해서 기본단위가 LCU 라인일 경우, 디블럭킹 필터링을 병렬 수행하는 실시예를 설명하는 도면이다.
기본단위가 LCU 라인이라는 것은 영상의 넓이 안에 들어가는 다수개의 LCU(1100) 집합을 뜻한다. 분할과정에 대한 내용은 도 10과 같으며, CUD에 정보에 따라 상대적으로 많은 복잡도를 가지는 기본단위1은 수행부1에 할당하고 상대적으로 작업량이 적은 기본단위2와 기본단위3은 수행부2에 할당한다.
이러할 경우 작업량이 각각의 수행부에 균등하게 분배됨으로써 디블럭킹 필터링에 대한 병렬처리가 효과적으로 수행된다.
본 발명의 일실시예에 따른 순차 주사 기반의 디블로킹 필터링 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 필요 파라미터 결정부
102: 파라미터 로드부
103: 복잡도 계산부
104: 코어 할당부
105: 인-루프 화소 보정 수행부
106: 영상 복원부
102: 파라미터 로드부
103: 복잡도 계산부
104: 코어 할당부
105: 인-루프 화소 보정 수행부
106: 영상 복원부
Claims (15)
- 동영상 부호화/복호화 장치에서 비디오 부호화/복호화 파라미터 정보를 이용하여 인-루프 화소 보정 과정의 복잡도를 측정하는 복잡도 측정부; 및
상기 측정된 인-루프 화소 보정 과정의 복잡도를 이용하여, 인-루프 화소 보정에 대한 작업량을 균등하게 분배하는 코어 할당부
를 포함하는 병렬 인-루프 화소 보정을 위한 부호화/복호화 장치. - 제1항에 있어서,
상기 복잡도 측정부는,
현재 영상의 인-루프 화소 보정 기능에 대한 복잡도 측정 수행 시 필요한 파라미터를 결정하는 필요 파라미터 결정부;
상기 복잡도 측정 수행 시 필요한 파라미터 중에서, 실제 필요한 파라미터를 로딩하는 파라미터 로드부; 및
상기 실제 필요한 파라미터에 기초하여 인-루프 화소 보정에 대한 복잡도를 측정하는 복잡도 계산부
를 포함하는 인-루프 화소 보정을 위한 부호화/복호화 장치. - 제1항에 있어서,
상기 균등하게 분배된 인-루프 화소 보정에 대한 작업량을 할당받아 후처리 과정을 수행하는 적어도 하나 이상의 인-루프 화소 보정 수행부; 및
상기 후처리된 결과를 결합하여 최종 복원된 영상을 출력하는 영상 복원부
를 더 포함하는 인-루프 화소 보정을 위한 부호화/복호화 장치. - 제3항에 있어서,
상기 후처리된 결과를 이용하여, 결정된 구문을 출력하는 구문 결정부
를 더 포함하는 인-루프 화소 보정을 위한 부호화/복호화 장치. - 제2항에 있어서,
상기 파라미터 로드부는,
디블럭킹 필터의 복잡도 측정을 위한 디블럭킹 필터 파라미터를 결정하고 상기 결정된 디블럭킹 필터 파라미터를 로딩하는 디블럭킹 필터 파라미터 로드부를 포함하고,
상기 복잡도 계산부는,
상기 로딩한 디블럭킹 필터 파라미터의 복잡도를 계산하는 디블록킹 필터 복잡도 계산부
를 포함하는 인-루프 화소 보정을 위한 부호화/복호화 장치. - 제5항에 있어서,
상기 계산된 디블럭킹 필터 파라미터의 복잡도에 기초하여, 수평 디블록킹 필터링 및 수직 디블록킹 필터링을 수행하는 수평/수직 디블록킹 필터링 수행부
를 더 포함하는 인-루프 화소 보정을 위한 부호화/복호화 장치. - 제2항에 있어서,
상기 파라미터 로드부는,
SAO의 복잡도 측정을 위한 SAO 필요 파라미터를 결정하고 상기 결정된 SAO 필요 파라미터를 로딩하는 SAO 파라미터 로드부를 포함하고,
상기 복잡도 계산부는,
상기 SAO 필요 파라미터에 기초하여, SAO 필터링의 기본단위를 기준으로 복잡도를 측정하는 SAO 복잡도 계산부
를 포함하는 인-루프 화소 보정을 위한 부호화/복호화 장치. - 제7항에 있어서,
상기 측정된 복잡도에 기초하여, SAO 수행에 따른 기본 단위에 대해서 SAO의 수행여부 및 SAO의 수행방법을 결정하는 SAO 수행부
를 더 포함하는 인-루프 화소 보정을 위한 부호화/복호화 장치. - 제2항에 있어서,
상기 파라미터 로드부는,
ALF의 복잡도 계산을 위한 ALF 파라미터를 결정하고 상기 결정된 ALF 파라미터를 로딩하는 ALF 파라미터 로드부를 포함하고,
상기 복잡도 계산부는,
상기 로딩한 ALF 파라미터를 이용하여 일정 단위에 대해서 복잡도를 측정하는 ALF 필터 복잡도 계산부
를 포함하는 인-루프 화소 보정을 위한 부호화/복호화 장치. - 제9항에 있어서,
상기 측정된 복잡도에 기초하여, ALF 필터링을 수행하는 ALF 수행부
를 더 포함하는 인-루프 화소 보정을 위한 부호화/복호화 장치. - 제1항에 있어서,
상기 복잡도 측정부는,
현재 영상의 인-루프 화소 보정 기능에 대한 복잡도 측정 수행 시 필요한 파라미터를 결정하는 필요 파라미터 결정부;
상기 복잡도 측정 수행 시 필요한 파라미터 중에서, 실제 필요한 파라미터를 로딩하는 파라미터 로드부; 및
상기 로딩된 실제 필요한 파라미터에 대응되는 서로 다른 복수의 인-루프 화소 보정에 대하여 복잡도를 각각 측정하는 복수의 후처리 복잡도 계산부
를 포함하는 인-루프 화소 보정을 위한 부호화/복호화 장치. - 동영상 부호화/복호화 시 비디오 부호화/복호화 파라미터 정보를 이용하여 인-루프 화소 보정 과정의 복잡도를 측정하는 단계; 및
상기 측정된 인-루프 화소 보정 과정의 복잡도를 이용하여, 인-루프 화소 보정에 대한 작업량을 균등하게 분배하는 단계
를 포함하는 인-루프 화소 보정을 위한 부호화/복호화 방법. - 제12항에 있어서,
상기 비디오 부호화/복호화 파라미터 정보를 이용하여 인-루프 화소 보정 과정의 복잡도를 측정하는 단계는,
현재 영상의 인-루프 화소 보정 기능에 대한 복잡도 측정 수행 시 필요한 파라미터를 결정하는 단계;
상기 복잡도 측정 수행 시 필요한 파라미터 중에서, 실제 필요한 파라미터를 로딩하는 단계; 및
상기 실제 필요한 파라미터에 기초하여 인-루프 화소 보정에 대한 복잡도를 측정하는 단계
를 포함하는 인-루프 화소 보정을 위한 부호화/복호화 방법. - 제12항에 있어서,
상기 균등하게 분배된 인-루프 화소 보정에 대한 작업량을 할당받아 후처리 과정을 수행하는 단계; 및
상기 후처리된 결과를 결합하여 최종 복원된 영상을 출력하는 단계
를 더 포함하는 인-루프 화소 보정을 위한 부호화/복호화 방법. - 제12항 내지 제14항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120017343A KR101877867B1 (ko) | 2012-02-21 | 2012-02-21 | 비디오 파라미터를 이용한 복잡도 측정 기반의 병렬 인-루프 화소 보정에 대한 부호화/복호화 장치 및 방법 |
| US13/606,544 US9237351B2 (en) | 2012-02-21 | 2012-09-07 | Encoding/decoding apparatus and method for parallel correction of in-loop pixels based on measured complexity, using video parameter |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120017343A KR101877867B1 (ko) | 2012-02-21 | 2012-02-21 | 비디오 파라미터를 이용한 복잡도 측정 기반의 병렬 인-루프 화소 보정에 대한 부호화/복호화 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130095927A true KR20130095927A (ko) | 2013-08-29 |
| KR101877867B1 KR101877867B1 (ko) | 2018-07-12 |
Family
ID=48982246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120017343A KR101877867B1 (ko) | 2012-02-21 | 2012-02-21 | 비디오 파라미터를 이용한 복잡도 측정 기반의 병렬 인-루프 화소 보정에 대한 부호화/복호화 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9237351B2 (ko) |
| KR (1) | KR101877867B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160047375A (ko) * | 2014-10-22 | 2016-05-02 | 삼성전자주식회사 | 실시간으로 인-루프 필터링을 수행할 수 있는 애플리케이션 프로세서, 이의 작동 방법, 및 이를 포함하는 시스템 |
| KR101720216B1 (ko) * | 2016-02-29 | 2017-03-28 | 한밭대학교 산학협력단 | 루프 내 필터의 필터링 방법 및 루프 내 필터의 필터링 방법을 수행하는 장치 |
| KR20180035087A (ko) * | 2016-09-28 | 2018-04-05 | 가천대학교 산학협력단 | 멀티코어 시스템을 이용한 병렬 비디오 처리 |
| WO2019107955A1 (ko) * | 2017-11-30 | 2019-06-06 | 네이버 주식회사 | 분산 트랜스코딩의 시간 단축을 위한 최적화 방법 및 그 시스템 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9544612B2 (en) * | 2012-10-04 | 2017-01-10 | Intel Corporation | Prediction parameter inheritance for 3D video coding |
| US9854252B2 (en) * | 2013-05-20 | 2017-12-26 | Texas Instruments Incorporated | Method and apparatus of HEVC de-blocking filter |
| US9510021B2 (en) * | 2013-05-24 | 2016-11-29 | Electronics And Telecommunications Research Institute | Method and apparatus for filtering pixel blocks |
| US20160173897A1 (en) * | 2014-12-10 | 2016-06-16 | Haihua Wu | High Parallelism Dependency Pattern for GPU Based Deblock |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050013494A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | In-loop deblocking filter |
| JP4643437B2 (ja) | 2005-12-27 | 2011-03-02 | 株式会社東芝 | 情報処理装置 |
| JP4605052B2 (ja) | 2006-03-03 | 2011-01-05 | 日本電気株式会社 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム |
| US8009732B2 (en) | 2006-09-01 | 2011-08-30 | Seiko Epson Corporation | In-loop noise reduction within an encoder framework |
| US20090304085A1 (en) * | 2008-06-04 | 2009-12-10 | Novafora, Inc. | Adaptive Deblocking Complexity Control Apparatus and Method |
| US8548041B2 (en) | 2008-09-25 | 2013-10-01 | Mediatek Inc. | Adaptive filter |
| WO2010134973A1 (en) | 2009-05-18 | 2010-11-25 | Thomson Licensing | Methods and apparatus for a generalized filtering structure for video coding and decoding |
| KR20100136907A (ko) | 2009-06-19 | 2010-12-29 | 한국전자통신연구원 | 비디오 부호화 및 복호화를 위한 부호화 모드 보상 적응적 인루프 필터링 방법과 그 장치 |
| US20100329362A1 (en) | 2009-06-30 | 2010-12-30 | Samsung Electronics Co., Ltd. | Video encoding and decoding apparatus and method using adaptive in-loop filter |
| KR20110001990A (ko) | 2009-06-30 | 2011-01-06 | 삼성전자주식회사 | 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치 |
| KR20110014000A (ko) * | 2009-08-04 | 2011-02-10 | 광운대학교 산학협력단 | 영상 데이터의 디블록킹 필터링 장치 및 방법과 이를 이용한 영상 복호화 장치 및 방법 |
| KR101051871B1 (ko) | 2009-08-24 | 2011-07-25 | 성균관대학교산학협력단 | 디블록킹 필터에서의 경계면 세기 계수 판단 장치 및 방법 |
| KR101279507B1 (ko) | 2009-12-15 | 2013-06-28 | 한국전자통신연구원 | 병렬 처리 기반 파이프라인 복호화 장치 및 방법 |
| US8861617B2 (en) * | 2010-10-05 | 2014-10-14 | Mediatek Inc | Method and apparatus of region-based adaptive loop filtering |
-
2012
- 2012-02-21 KR KR1020120017343A patent/KR101877867B1/ko active IP Right Grant
- 2012-09-07 US US13/606,544 patent/US9237351B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160047375A (ko) * | 2014-10-22 | 2016-05-02 | 삼성전자주식회사 | 실시간으로 인-루프 필터링을 수행할 수 있는 애플리케이션 프로세서, 이의 작동 방법, 및 이를 포함하는 시스템 |
| KR101720216B1 (ko) * | 2016-02-29 | 2017-03-28 | 한밭대학교 산학협력단 | 루프 내 필터의 필터링 방법 및 루프 내 필터의 필터링 방법을 수행하는 장치 |
| KR20180035087A (ko) * | 2016-09-28 | 2018-04-05 | 가천대학교 산학협력단 | 멀티코어 시스템을 이용한 병렬 비디오 처리 |
| WO2019107955A1 (ko) * | 2017-11-30 | 2019-06-06 | 네이버 주식회사 | 분산 트랜스코딩의 시간 단축을 위한 최적화 방법 및 그 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9237351B2 (en) | 2016-01-12 |
| KR101877867B1 (ko) | 2018-07-12 |
| US20130215976A1 (en) | 2013-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101877867B1 (ko) | 비디오 파라미터를 이용한 복잡도 측정 기반의 병렬 인-루프 화소 보정에 대한 부호화/복호화 장치 및 방법 | |
| CN103141094B (zh) | 自适应环路滤波方法和装置 | |
| US20170324970A1 (en) | Image encoding apparatus, method of image encoding, and recording medium, image decoding apparatus, method of image decoding, and recording medium | |
| CN107197259B (zh) | 贯穿图块或条带边界的环路滤波方法及其装置 | |
| JP5524423B2 (ja) | 効率的なサンプル適応オフセットの装置及び方法 | |
| KR101546894B1 (ko) | 화상 처리 방법, 화상 처리 장치, 영상 부호화／복호 방법, 영상 부호화／복호 장치 및 그 프로그램 | |
| CN110036637B (zh) | 去噪声化已重构图像的方法及装置 | |
| CN105812804B (zh) | 一种确定rdoq过程中最优量化值的方法及装置 | |
| BR112016013761B1 (pt) | Método e aparelho para reconstruir blocos de imagem utilizando predição, e meio de armazenamento legível por computador | |
| KR20220112864A (ko) | 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스 | |
| WO2018117938A1 (en) | Deringing filter for video coding | |
| CN103947208A (zh) | 减少解块滤波器的方法及装置 | |
| EP2775718A1 (en) | Method, device, and program for coding and decoding of images | |
| EP2880856A1 (en) | Method and apparatus for sample adaptive offset in a video decoder | |
| KR20210016649A (ko) | 디블로킹 필터 방법 및 장치 | |
| US10924756B2 (en) | Devices and methods for video coding using segmentation based partitioning of video coding blocks | |
| RU2766557C1 (ru) | Устройство обработки изображений и способ выполнения эффективного удаления блочности | |
| KR20150113524A (ko) | 향상된 화면 내 블록 복사 기반의 예측 모드를 이용한 영상 복호화 장치 및 그 방법 | |
| US20220060754A1 (en) | Apparatus and method for de-blocking filtering | |
| JP2022548204A (ja) | 変換スキップモードで映像データを符号化するための方法及び装置 | |
| US20120044991A1 (en) | Moving image coding apparatus and moving image coding method | |
| US9219926B2 (en) | Image encoding apparatus, image encoding method and program, image decoding apparatus, image decoding method and program | |
| CN112997497A (zh) | 用于帧内预测的方法和装置 | |
| JP6239838B2 (ja) | 動画像符号化装置、その制御方法、及び撮像装置 | |
| RU2779474C1 (ru) | Устройство обработки изображений и способ выполнения эффективного удаления блочности |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |