KR102022375B1 - Uhd tv용 업스케일 칩셋 모듈 - Google Patents
Uhd tv용 업스케일 칩셋 모듈 Download PDFInfo
- Publication number
- KR102022375B1 KR102022375B1 KR1020180097924A KR20180097924A KR102022375B1 KR 102022375 B1 KR102022375 B1 KR 102022375B1 KR 1020180097924 A KR1020180097924 A KR 1020180097924A KR 20180097924 A KR20180097924 A KR 20180097924A KR 102022375 B1 KR102022375 B1 KR 102022375B1
- Authority
- KR
- South Korea
- Prior art keywords
- uhd
- image
- upscale
- prediction
- chipset module
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
본 발명은 UHD(Ultra HD, 4K) TV에 표시되는 영상 소스가 SD/HD/FHD급인 경우, 해당 영상을 분석하여 색상과 노이즈를 조정함으로써 UHD TV에 최적화되도록 UHD급 영상으로 업스케일하는 UHD TV용 업스케일 칩셋 모듈에 관한 것으로서, 입력되는 영상을 분석하여 UHD TV에 최적화되도록 상세정보개선(Detail Enhancement), 에지복원(Edge Restoration), 노이즈리덕션(Noise Reduction) 작업을 진행하고 병합함으로써 최적화된 영상을 획득하도록 하는 것을 특징으로 한다.
Description
본 발명은 초고선명 영상을 제공하는 기술에 관한 것으로서, 특히 UHD(Ultra HD, 4K) TV에 표시되는 영상 소스가 SD/HD/FHD급인 경우, 해당 영상을 분석하여 색상과 노이즈를 조정함으로써 UHD TV에 최적화되도록 UHD급 영상으로 업스케일하는 UHD TV용 업스케일 칩셋 모듈에 관한 것이다.
시장조사기관인 디스플레이서치(Display Search, 2014)에 따르면 2018년 평판 TV 시장 전체 규모는 2억 5천 264만대에 달하며 이 가운데 UHD TV가 7천 382만 8천대로 29.2%를 차지할 것으로 전망되고 있으며, 2018년까지 연평균 73%의 초고속 성장을 이룰 것으로 전망되고 있다. 즉, 전체적인 TV 시장의 성장폭이 둔화된 것과는 다르게 UHD TV와 같이 부가가치가 높고 신기술이 적용된 제품의 시장 규모는 빠르게 증가하고 있다.
전 세계 주요 TV 시장인 미국, 중국, 독일의 경우 국가별 TV 구매 결정 요인을 살펴보면, 3개 국가 모두 화질이 가장 우선적인 고려사항인 것으로 나타나고 있다.
또한, 미국과 중국의 TV 구매 결정요인 변화(2012년에서 2014년으로)에서도 세계적으로 소비자의 TV 구매 결정요소 중에서 가장 우선적인 고려사항은 화질이며, UHD 콘텐츠 부족으로 인해 SD/HD/FHD급 영상에 대한 업스케일 기능의 중요성이 부각되고 있다.
그러나 보급형 UHD TV의 경우 업스케일 기능을 지원하는 제품의 비중이 낮은 상황이며, 지원하는 제품의 경우에도 메인보드 칩셋사(Marvell, Silicon Image, Marseille 등)에서 기본적으로 지원하는 낮은 수준의 업스케일 기능을 지원하고 있을 뿐, SD급 영상에 대한 UHD급 영상으로의 업스케일 기능을 지원하지 않으며, 많은 전력소모로 인한 문제점이 있다.
상술한 문제를 해결하기 위한 본 발명의 목적은 UHD 콘텐츠 부족으로 인해 SD/HD/FHD급 영상에 대한 업스케일 기능의 중요성이 부각되고 있는 전체 UHD TV 시장에서, 보급형 UHD TV에 장착하여 SD/HD/FHD급 영상을 UHD급 영상으로 업스케일할 수 있는 UHD TV용 업스케일 칩셋 모듈을 제공하는데 있다.
상술한 목적을 달성하기 위한 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈은 입력되는 영상을 분석하여 UHD TV에 최적화되도록 상세정보개선(Detail Enhancement), 에지복원(Edge Restoration), 노이즈리덕션(Noise Reduction) 작업을 진행하고 병합함으로써 최적화된 영상을 획득하도록 하는 것을 기술적 요지로 한다.
또한, 영상의 선명도를 높이는 상세정보개선(Detail Enhancement) 기능과, 영상의 에지의 선명도를 높이는 에지복원(Edge Restoration) 기능 및 영상의 노이즈를 제거하는 노이즈리덕션(Noise Reduction) 기능을 병행하여, SD/HD/FHD급 영상 소스를 UHD TV에 최적화되도록 UHD급 영상으로 업스케일하는 UHD TV용 업스케일 칩셋 모듈에 있어서, 상술한 목적을 달성하기 위한 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈은, 상기 상세정보개선(Detail Enhancement), 에지복원(Edge Restoration), 노이즈리덕션(Noise Reduction) 기능을 최상위 개선레이어(Enhancement Layer)에서 참조하는 모든 베이스레이어(Base Layer)를 디코딩하는 다중루프 디코딩 방식으로 병행하여 처리하는 것을 특징으로 한다.
또한, 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈에 있어서, 상기 개선레이어는, 상기 베이스레이어의 DPB(Decoded Picture Buffer)에 저장된 영상의 텍스처(texture) 또는 움직임 정보를 자신과 상기 베이스레이어의 해상도 차이를 보정하기 위해 스케일링하고, 자신의 움직임을 예측 및 보상(motion Estimation/Motion compensation)하는 것을 특징으로 한다.
또한, 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈에 있어서, 상기 개선레이어의 움직임 예측은, 현재 영상의 이전 영상 또는 이후 영상 중 적어도 하나의 영상의 정보를 기초로 예측을 수행하여 예측 블록을 생성하는 인터 예측(Inter-layer Prediction) 및 현재 영상 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성하는 인트라 예측(Intra Prediction)을 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈에 있어서, 상기 인터 예측 및 인트라 예측은, 하위 참조 레이어에서 전달받은 디코딩된 샘플인 레이어간 참조 영상(ILR picture: interlayer reference picture)을 현재 레이어의 인터 예측을 위한 참조 영상 리스트에 추가하여, 움직임 예측 및 움직임 보상을 수행하는 예측신호로 사용하는 것을 특징으로 한다.
본 발명에 따른 UHD TV용 업스케일 칩셋 모듈은, 전반적인 동작을 제어하며, 상세정보개선(Detail Enhancement), 에지복원(Edge Restoration), 노이즈리덕션(Noise Reduction)의 연산을 병행하여 처리하는 CPU와, 영상신호 처리, 가속화, 화면 출력 등 상기 UHD TV용 업스케일 칩셋 모듈의 영상신호와 관련된 동작을 처리하는 GPU와, 아날로그 신호를 디지털 신호로 바꿔 고속 처리하는 DSP와, HEVC(High Efficiency Video Coding) 디코더로 동작하는 Video Codec과, 상기 UHD TV용 업스케일 칩셋 모듈의 상태를 체크하는 JTAG Debug Port와, 보드 내의 칩과 칩 사이의 통신 프로토콜을 처리하는 IIC와, 상기 UHD TV용 업스케일 칩셋 모듈이 동작하는데 필요한 데이터를 저장하는 NAND Flash와, 상기 CPU가 데이터를 처리하기 위해서 사용하는 임시 저장소로 동작하는 RAM과, 상기 UHD TV용 업스케일 칩셋 모듈의 시리얼 통신을 처리하는 UART와, 디지털 신호를 아날로그 신호로 변환하는 DAC 및 상기 UHD TV용 업스케일 칩셋 모듈이 UHD TV 메인보드와 신호를 주고 받을 때 해당 신호를 제어하는 HDMI controller를 포함하여 구성되는 것을 특징으로 한다.
전술한 바와 같이 본 발명은 SD급 영상 소스를 UHD급 영상으로의 업스케일 기능을 지원할 수 있으며, 보다 낮은 전력을 소모하는 효과가 있다.
또한, 본 발명은 메인보드 내에 전용 칩셋 모듈로 구현함으로써 업스케일 기능을 전담하게 되므로, 기존의 보급형 UHD TV들에 비해 개선된 업스케일 효과를 얻을 수 있다.
또한, 본 발명은 UHD TV에 최적화되어 있을 뿐만 아니라 셋톱박스, 블루레이 플레이어 등 업스케일 기능이 필요한 다른 제품들에 적용이 용이한 장점이 있다.
도 1은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 개념도,
도 2는 본 발명에 따른 UHD 업스케일링 동작을 나타낸 개념도,
도 3은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 블록구성도,
도 4는 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 동작과정을 설명하기 위한 도면,
도 5는 변환 블록의 CU, PU, TU 구조를 나타낸 도면,
도 6은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 업스케일링 기능 중 상세정보개선(Detail Enhancement) 기능을 적용한 일 예시 사진,
도 7은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 업스케일링 기능 중 에지복원(Edge Restoration) 기능을 적용한 일 예시 사진,
도 8은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 업스케일링 기능 중 노이즈리덕션(Noise Reduction) 기능을 적용한 일 예시 사진,
도 9는 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈에서 수행되는 업스케일링 동작을 설명하기 위한 알고리즘도,
도 10은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈에서 수행되는 레이어간 텍스처 예측의 일 예시도,
도 11은 레이어간 움직임 정보 매핑 방법을 나타낸 도면,
도 12는 본 발명에 따른 업스케일링에 적용되는 다중루프 디코딩 방식을 이용한 레이어간 병행 움직임 매핑 방법을 나타낸 도면,
도 13은 영상의 반복되는 패턴을 설명하기 위한 사진,
도 14는 해당 알고리즘에 비지역적 평균(NL-means) 필터를 적용한 노이즈 제거 알고리즘을 적용한 일 예시 사진,
도 15는 에지검출(Edge Detection)의 일 예시 사진.
도 2는 본 발명에 따른 UHD 업스케일링 동작을 나타낸 개념도,
도 3은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 블록구성도,
도 4는 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 동작과정을 설명하기 위한 도면,
도 5는 변환 블록의 CU, PU, TU 구조를 나타낸 도면,
도 6은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 업스케일링 기능 중 상세정보개선(Detail Enhancement) 기능을 적용한 일 예시 사진,
도 7은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 업스케일링 기능 중 에지복원(Edge Restoration) 기능을 적용한 일 예시 사진,
도 8은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 업스케일링 기능 중 노이즈리덕션(Noise Reduction) 기능을 적용한 일 예시 사진,
도 9는 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈에서 수행되는 업스케일링 동작을 설명하기 위한 알고리즘도,
도 10은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈에서 수행되는 레이어간 텍스처 예측의 일 예시도,
도 11은 레이어간 움직임 정보 매핑 방법을 나타낸 도면,
도 12는 본 발명에 따른 업스케일링에 적용되는 다중루프 디코딩 방식을 이용한 레이어간 병행 움직임 매핑 방법을 나타낸 도면,
도 13은 영상의 반복되는 패턴을 설명하기 위한 사진,
도 14는 해당 알고리즘에 비지역적 평균(NL-means) 필터를 적용한 노이즈 제거 알고리즘을 적용한 일 예시 사진,
도 15는 에지검출(Edge Detection)의 일 예시 사진.
이하에서는 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈에 대한 실시 예를 도면을 참조하여 상세히 설명한다. 이하에서 설명되는 실시 예는 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것으로, 본 발명은 이하에서 개시되는 실시 예에 한정되지 않고 다양한 형태로 구현될 수 있다.
도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타낸다. 하기의 설명에서 구체적인 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것일 뿐, 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아울러 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, "부"의 용어에 대한 의미는 적어도 하나의 기능이나 동작을 처리하는 단위 또는 모듈 형태를 의미하며, 이는 하드웨어나 소프트웨어 혹은 하드웨어 및 소프트웨어의 결합으로 구현될 수도 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 본 발명에서의 기능을 고려하여 정의된 것으로서, 이는 본 발명의 기술적 사상에 부합되는 개념과 당해 기술분야에서 통용 또는 통상적으로 인식되는 의미로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
먼저, 도 1은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 개념도이고, 도 2는 본 발명에 따른 UHD 업스케일링 동작을 나타낸 개념도이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈(100)은 UHD(Ultra HD, 4K) TV에 표시되는 영상 소스가 SD/HD/FHD급인 경우, 해당 영상(10)을 분석하여 색상과 노이즈를 조정함으로써 UHD TV에 최적화되도록 UHD급 영상(20)으로 업스케일한다.
이때, 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈(100)은 입력되는 영상을 분석(S210)하여 UHD TV에 최적화되도록 에지복원(S221, Edge Restoration), 상세정보개선(S223, Detail Enhancement), 노이즈리덕션(S225, Noise Reduction) 작업(S220)을 진행하고 병합함으로써 최적화된 영상을 획득(S230)하게 된다.
도 3은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 블록구성도이고, 도 4는 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈의 동작과정을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈(100)은 CPU(101), GPU(102), DSP(103), Video Codec(104), JTAG Debug Port(105), IIC(106), NAND Flash(107), RAM(108), UART(109), DAC(110), HDMI controller(111)로 구성된다.
CPU(101)는 상기 UHD TV용 업스케일 칩셋 모듈(100)의 전반적인 동작을 제어하며, 상세정보개선(Detail Enhancement), 에지복원(Edge Restoration), 노이즈리덕션(Noise Reduction)의 연산을 병행하여 처리한다.
GPU(102)는 영상신호 처리, 가속화, 화면 출력 등 상기 UHD TV용 업스케일 칩셋 모듈(100)의 영상신호와 관련된 동작을 처리한다.
DSP(103)는 아날로그 신호를 디지털 신호로 바꿔 고속 처리하는 역할을 담당하고, Video Codec(104)은 HEVC(High Efficiency Video Coding) 디코더의 역할을 담당한다.
JTAG Debug Port(105)는 상기 UHD TV용 업스케일 칩셋 모듈(100)의 상태를 체크하는 역할을 담당하며, IIC(106)는 보드 내의 칩과 칩 사이의 통신 프로토콜을 처리하는 역할을 담당한다.
NAND Flash(107)는 상기 UHD TV용 업스케일 칩셋 모듈(100)이 동작하는데 필요한 데이터를 저장하는 역할을 하고, RAM(108)은 CPU(101)가 데이터를 처리하기 위해서 사용하는 임시 저장소의 역할을 한다.
UART(109)의 경우 상기 UHD TV용 업스케일 칩셋 모듈(100)의 시리얼 통신을 처리하는 역할을 하며, DAC(11)는 디지털 신호를 아날로그 신호로 변환하는 역할을 한다.
상기 UHD TV용 업스케일 칩셋 모듈(100)은 일반적으로 UHD TV 메인보드에 내장하여 작동되는데, 이 때 UHD TV 메인보드와 상기 UHD TV용 업스케일 칩셋 모듈(100)은 HDMI 포트를 이용하여 신호를 주고받게 된다. HDMI controller(111)는 상기한 것과 같이 UHD TV용 업스케일 칩셋 모듈(100)이 UHD TV 메인보드와 신호를 주고 받을 때 해당 신호를 제어하는 역할을 한다.
도 4를 참조하면, 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈(100)은 최상위 Enhancement Layer(310, EL)에서 참조하는 모든 Base Layer(320, BL)를 디코딩하는 다중루프 디코딩 방식에 맞게 구현하여, 상세정보개선(Detail Enhancement), 에지복원(Edge Restoration), 노이즈리덕션(Noise Reduction) 기능을 병행하여 처리한다.
BL(320)은 입력되는 영상(Input Picture)을 디코딩하여 DPB(311, Decoded Picture Buffer)에 저장하고, EL(310)은 BL(320)의 DPB(321, Decoded Picture Buffer)에 저장된 영상의 텍스처(texture) 또는 움직임 정보를 EL(310)과 BL(320)의 해상도 차이를 보정하기 위해 스케일링하며, EL(310)의 움직임을 예측 및 보상(312, ME/MC: Motion Estimation/Motion compensation) 한다.
또한, 입력된 영상에 대하여 인터 예측(313, Inter-layer Pred.)과 인트라 예측(314, Intra Pred.)을 수행하는데, 인터 예측(313)을 통해서는 현재 영상의 이전 영상 또는 이후 영상 중 적어도 하나의 영상의 정보를 기초로 예측을 수행하여 예측 블록을 생성하고, 인트라 예측(313)을 통해서는 현재 영상 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성한다.
예측부(313, 314)는 특정 처리 단위로 예측을 수행할 수 있으며, 수행 단위로는 코딩 유닛(Coding Unit, CU), 예측 유닛(Prediction Unit, PU), 변환 유닛(Transform Unit, TU)이 있다. 수행되는 예측은 예측 블록의 생성과 레지듀얼 블록(레지듀얼 신호)의 생성을 포함한다.
T/Q부(315, 변환/양자화부)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하여 변환 계수를 생성하고, 변환 계수를 양자화 한다. 변환 블록은 샘플들의 사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 도 5에 변환 블록의 CU, PU, TU 구조를 도시하였으며, 이에 대한 상세한 설명은 생략한다.
T/Q부(315)는 변환 계수들을 양자화하여 양자화된 변환 계수를 생성하고 엔트로피 코딩부로 전달한다.
Entropy Coding부(316, 엔트로피 코딩부)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행한다. 엔트로피 코딩에는 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 코딩 방법을 사용할 수 있다.
EL(310)의 엔트로피 코딩부(316)에서 출력되는 정보와 BL(320)의 엔트로피 코딩부(326)에서 출력되는 정보는 MUX(330)에서 멀티플렉싱되어 비트스트림 형태로 출력된다.
Loop Filter(317, 루프 필터부)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 영상에 적용할 수 있다. 디블록킹 필터는 복원된 영상에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링 된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
SAO와 ALF의 경우 활성화 플래그가 켜진 CU 영역에 대해서만 수행되는데, SAO는 디코딩에 사용되는 CU와는 독립적인 프레임 단위의 쿼드 트리를 가지고, ALF는 디코딩에 사용되는 CU와 같은 구조의 쿼드 트리가 사용된다. SAO와 ALF를 이용하여 데이터의 오차를 줄이고, 다음 프레임의 예측 정확도를 높여서 디코딩이 끝난 동영상의 품질과 압축률을 높일 수 있다.
DPB(311, Decoded Picture Buffer)는 루프 필터부(317)로부터 복원 블록이나 복원 영상을 전달받아 저장하며, 인터 예측을 수행하는 인터 예측부(312)에 전달한다.
다음으로, 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈(100)에 의한 업스케일링(Upscaling)에 의해 수행되는 상세정보개선(Detail Enhancement), 에지복원(Edge Restoration), 노이즈리덕션(Noise Reduction) 기능을 상세히 설명한다.
먼저, 도 6 내지 도 8은 각각 상세정보개선(Detail Enhancement), 에지복원(Edge Restoration) 및 노이즈리덕션(Noise Reduction) 기능의 적용 일례를 나타낸 도면이다.
도 6 내지 도 8을 참조하면, 상세정보개선(Detail Enhancement) 기능은 영상의 선명도를 높이고, 에지복원(Edge Restoration) 기능은 영상의 글자를 선명하게 나타내며, 노이즈리덕션(Noise Reduction) 기능은 영상의 노이즈를 제거한다.
도 9는 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈에서 수행되는 업스케일링 동작을 설명하기 위한 알고리즘도로서, 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈(100)은 상세정보개선(S223, Detail Enhancement), 에지복원(S221, Edge Restoration), 노이즈리덕션(S225, Noise Reduction) 기능을 다중루프 디코딩 방식으로 병행하여 처리한다.
도 10은 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈에서 수행되는 레이어간 텍스처 예측의 일 예시도로서, 레이어간의 텍스처 예측을 통해서 업스케일이 필요한 블록에 적당한 값(픽셀)을 할당한다. 레이어간 텍스처 예측은 하위 참조 레이어(410)의 디코딩된 샘플을 현재 레이어에서 예측신호로 사용함을 의미한다.
도 10에 도시된 바와 같이, 하위 참조 레이어(410)에서 전달받은 디코딩된 샘플인 레이어간 참조 영상(420, ILR picture: interlayer reference picture)을 현재 레이어의 인터 예측을 위한 참조 영상 리스트(430)에 추가하여 예측신호로 사용한다. 이때, 공간적 확장성(Scalability)을 지원하는 경우에는 도 4에 도시된 바와 같이, 현재계층의 해상도에 맞도록 참조 레이어(410)의 디코딩된 영상에 대해 업샘플링(up-sampling)을 적용하여 레이어간 참조 영상을 생성할 수 있다.
레이어간 참조 영상은(420) 현재 레이어의 L0 또는 L1 리스트(430)에 추가되며 움직임 예측 및 움직임 보상을 수행하는데 사용된다.
레이어간 움직임 예측(Inter-layer motion prediction)은 하위 참조 레이어의 움직임 정보를 현재 레이어에서 예측신호로 사용하는 것으로서, 인터 예측(312)을 위해 예측 블록 주변의 부호화된 움직임 정보와 부호화 순서상 이전에 부호화된 인접 영상에 포함된 블록의 움직임 정보(TMVP: Temporal Motion Vector Predictor)를 이용한다.
참조 레이어 영상의 움직임 정보를 현재 레이어의 TMVP로 사용하기 위해서는 레이어간 참조 영상을 생성하는 과정에서 현재 레이어의 해상도에 맞게 매핑(mapping)하는 절차가 필요하다.
도 11은 레이어간 움직임 정보 매핑 방법을 나타낸 도면으로서, 2배의 해상도 차이가 나는 경우의 움직임 정보 매핑 방법을 도시한 것이다. 도 11의 (a)는 참조 레이어의 복원된 블록이고, (b)는 현재 레이어의 블록을 나타낸다. 본 발명에 따른 일 실시 예에서는 16×16 단위로 매핑을 진행하는 것으로 설명한다.
도 11을 참조하면, 현재 레이어의 영상을 16×16 단위의 블록으로 분할했을 경우에 매핑하고자 하는 대상 16×16 블록의 중앙(xPCtr, yPCtr)에 위치한 샘플에 대응하는 참조계층 블록의 샘플(xRef, yRef)에서 (4, 4)만큼 이동한 샘플(xRL, yRL)을 찾고 해당하는 샘플을 포함하고 있는 16×16 블록의 움직임 정보를 현재 블록의 움직임 정보로 매핑한다. 이때, 움직임 벡터의 크기는 2배 해상도 차이를 고려하여 현재 계층의 해상도에 맞게 스케일링한다.
도 12는 본 발명에 따른 업스케일링에 적용되는 다중루프 디코딩 방식을 이용한 레이어간 병행 움직임 매핑 방법을 나타낸 도면으로서, 다수의 레이어간 움직임 매핑이 동시에 수행되며, 본 발명에서는 상세정보개선(Detail Enhancement), 에지복원(Edge Restoration), 노이즈리덕션(Noise Reduction) 기능을 병행하여 수행하는 데 사용한다.
하기의 표 1 및 표 2는 업스케일링 필터(Up-Scaling Filter)의 휘도신호 및 색차신호에 대한 필터계수를 각각 정리한 것으로서, 참조 레이어의 디코딩된 영상의 해상도를 현재계층의 해상도에 맞도록 업스케일링 하기 위해 사용되는 필터는 표 1과 같이 휘도신호에 대하여 8탭, 표 2와 같이 색차신호에 대해서는 4탭의 16위상 필터계수를 사용한다. 필터계수는 6비트의 정밀도를 가지며 기본적으로 DCT-IF(Discrete Cosine Transform-based Interpolation Filter)와 동일하다. 한편, 상기 필터계수는 다양한 배율을 지원할 수 있도록 좀 더 최적화될 수 있다.
이하, 상세정보개선(Detail Enhancement) 및 에지복원(Edge Restoration), 노이즈리덕션(Noise Reduction)을 위한 노이즈 제거 알고리즘을 설명한다. 노이즈 제거의 목적은 노이즈에 의해 왜곡된 픽셀 값들을 가능한 한 원본 정보를 최대한 보호하면서 본래의 픽셀 값들로 복원하고 업스케일링을 통해 고품질의 결과 값을 얻기 위함이다. 따라서 본 발명에서는 비지역적 평균 노이즈 제거 알고리즘(A non-local algorithm for image denoising)을 적용하며, 가우시안 필터(Gaussian filter), 대칭필터(Bilateral filter), 비지역적 평균(NL-means) 등의 노이즈 필터를 사용한다.
도 13은 영상의 반복되는 패턴을 설명하기 위한 사진으로서, 보통 대부분의 영상이나 이미지에서는 상기 도 13의 노랑색/빨강색/파랑색/초록색 네모 부분처럼 주기적으로 반복되는 패턴이나 에지를 쉽게 발견할 수 있으며, 해당 정보들을 이용하여 노이즈 제거 알고리즘의 성능을 향상시킬 수 있다. 해당 알고리즘은 다음의 픽셀 강도와 관련된 하기의 수학식 1로 표현될 수 있다.
여기서, N(x)는 표준화 인자(normalizing factor)이며, x는 현재 공간입지인덱스(spatial location index), y는 이웃 픽셀들의 공간입지인덱스(spatial location index), Ω는 공간영역에서의 탐색창(search window)을 나타낸다.
이때, 가중치 함수(weight function) w(x)는 하기의 수학식 2와 같이 표현될 수 있다.
여기서, h는 노이즈 레벨에 따라 값이 달라지는 필터링 파라미터(filtering parameter)이며, 이 값을 조정하는 방법으로 블록 손실을 제거할 수 있다. Q(x)는 비슷한 블록간의 각각의 픽셀에 대한 유클리디안 거리(Euclidean distance)의 절대 값 차와 가우시안 커널(Gaussian kernel)과의 가중치 합을 나타내며, 하기의 수학식 3과 같이 표현된다.
여기서, Gp는 표준편차 p를 갖는 이차원 가우시안 커널이고, u는 공간영역 변수, λ는 공간영역에서의 근방제곱(neighborhood square)이다.
상기 수학식 3에서 두 비슷한 블록간의 유클리디안 거리는 해당 이웃 블록 범위의 중심 픽셀로부터 이웃 픽셀의 거리에 따라 감쇠하는 가우시안 커널과 곱해지게 된다. 보통 디지털 이미지들은 더 가까운 픽셀일수록 더 의존적이기 때문에 참조 이웃 블록과 유사도 비교연산을 할 때, 더 가까운 픽셀의 차이 정보에 더 큰 가중치를 주게 된다. 두 이웃 블록간의 비교는 하기의 수학식 4와 같이 두 이웃 블록간의 차이 유클리디안 놈(Euclidean norm)으로 나타낼 수 있다.
여기서, u0는 원본 이미지, u는 화이트 노이즈가 추가됨으로써 얻어진 노이즈 이미지이다.
노이즈 제거 알고리즘에서는 이미지 내에 비슷한 샘플을 많이 찾아낼수록 성능을 향상시킬 수 있는데, 유사도가 높은 영상 픽셀들을 모두 고려하여 노이즈 제거 알고리즘에 적용하는 픽셀 값 수식은 하기의 수학식 5와 같이 표현된다.
여기서, N(x,t)는 표준화 인자(normalizing factor), t는 현재프레임인덱스(current frame index)이고, x는 현재 공간입지인덱스(spatial location index), y는 이웃 픽셀들의 공간입지인덱스(spatial location index), Ω와 R은 각각 공간영역에서의 탐색창(search window)과 시간영역에서의 탐색범위를 나타낸다. 가중치함수(weight function) w(x,t,s)는 하기의 수학식 6과 같이 표현될 수 있다.
여기서, h는 노이즈 레벨에 따라 값이 달라지는 필터링 파라미터(filtering parameter)이고, Q(x,t,s)는 프레임 범위 내에서 비슷한 두 블록간의 각각의 픽셀에 대한 유클리디안 거리의 절대 값 차와 가우시안 커널과의 가중치 합으로서, 하기의 수학식 7과 같이 표현된다.
여기서, Gp는 표준편차 p를 갖는 이차원 가우시안 커널이며, u는 공간영역 변수, λ는 공간영역에서의 근방제곱(neighborhood square)이다.
결론적으로 비지역적 노이즈 평균 제거 알고리즘은 현재 t 프레임의 현재 픽셀 인덱스 x 중심의 이웃 블록을 기준으로 현재 프레임을 포함하여 주변 모든 프레임들에서의 모든 이웃 블록들과 상기 수학식 7을 이용하여 유사도 Q(x,t,s)를 계산한다. 그리고 상기 수학식 6을 이용하여 비슷한 모든 픽셀들에 대해 가중치 평균을 수행하게 된다. 도 14에 해당 알고리즘에 비지역적 평균(NL-means) 필터를 적용한 노이즈 제거 알고리즘을 적용한 일 예시 사진을 나타내었다.
다음으로, 에지복원(Edge Restoration)을 위한 에지검출(Edge Detection) 알고리즘에 대하여 설명한다.
에지란 명암 값이 다른 두 영역 사이에 위치한 경계선을 말하며, 에지 검출은 영상에서 이러한 경계선을 찾는 것을 말한다. 이러한 에지검출 방법에는 다양한 기법들이 있는데, 본 발명에서는 소벨 마스크(sobel mask) 기법을 적용한다. 에지는 수학적으로 세기함수와 기울기에 의해서 정의되는데, 예를 들어 이미지 f(x,y)의 임의의 점(x,y)에서 기울기는 하기의 수학식 8과 같이 벡터 ▽f로 표시된다.
여기에 3×3 소벨 마스크 기법을 적용하면, 벡터 ▽f는 하기의 수학식 9 및 수학식 10과 같이 근사화 된다.
이 때, 벡터 ▽f는 하기의 수학식 11와 수학식 12와 같은 크기 ▽f(x,y)와 방향 a(x,y)의 값을 갖는다.
상기 수학식8 내지 12를 이용하여 구한 값을 임계값과 비교하여 최종적으로 에지를 검출한다. 도 15에 에지검출(Edge Detection)의 일 예시 사진을 나타내었다.
전술한 바와 같이, 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈은 입력되는 영상을 분석하여 UHD TV에 최적화되도록 상세정보개선(Detail Enhancement), 에지복원(Edge Restoration), 노이즈리덕션(Noise Reduction) 작업을 진행하고 병합함으로써 최적화된 영상을 획득하도록 한다.
또한, 본 발명에 따른 UHD TV용 업스케일 칩셋 모듈은 보급형 UHD TV에 장착하여 SD/HD/FHD급 영상을 UHD급 영상으로 쉽게 업스케일할 수 있도록 하며, 전용 칩셋 모듈로 구현됨으로써 보다 개선된 업스케일 효과를 제공하면서도 보다 낮은 소모 전력으로 적용이 가능하다.
한편, 본 발명의 상세한 설명에서는 첨부된 도면에 의해 참조되는 바람직한 실시 예를 중심으로 구체적으로 기술되었으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.
Claims (1)
- SD/HD/FHD급 영상 소스를 UHD TV에 최적화되도록 UHD급 영상으로 업스케일하기 위한 UHD TV용 업스케일 칩셋 모듈에 있어서,
상기 UHD TV의 메인보드와 데이터 및 제어신호를 송수신하는 HDMI 컨트롤러와, 수신된 영상신호의 처리와 가속화 및 화면 출력을 제어하는 GPU와, 아날로그 신호를 디지털 신호로 바꿔 고속 처리하는 DSP와, 비디오코덱(Video Codec)과, 상기 UHD TV용 업스케일 칩셋 모듈의 상태를 체크하는 JTAG Debug Port와, 보드 내의 칩과 칩 사이의 통신 프로토콜을 처리하는 IIC와, 상기 UHD TV용 업스케일 칩셋 모듈이 동작하는데 필요한 데이터를 저장하는 NAND Flash와, 상기 UHD TV용 업스케일 칩셋 모듈의 전반적인 동작을 제어하며 상세정보개선(Detail Enhancement), 에지복원(Edge Restoration), 노이즈리덕션(Noise Reduction)의 연산을 병행하여 처리하는 CPU와, 상기 CPU가 데이터를 처리하기 위해서 사용하는 임시 저장소로 동작하는 RAM과, 상기 UHD TV용 업스케일 칩셋 모듈의 시리얼 통신을 처리하는 UART 및 디지털 신호를 아날로그 신호로 변환하는 DAC로 구성되는 UHD TV용 업스케일 칩셋 모듈로서,
다운샘플링 및 디코딩된 수신 영상을 저장하는 DPB(Decoded Picture Buffer)와, 상기 수신 영상의 움직임을 예측 및 보상하는 움직임 예측 및 보상부와, 상기 영상 내의 픽셀 정보를 기초로 다른 픽셀의 화소값을 예측하여 예측블록 및 레지듀얼 블록을 생성하는 인트라 예측부와, 상기 레지듀얼 블록을 변환블록 단위로 변환을 수행하여 변환계수를 생성 및 양자화하는 변환/양자화부와, 상기 양자화된 변환계수에 대한 엔트로피 인코딩을 수행하는 엔트로피 코딩부와, 상기 수신 영상에 대하여 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 적용하여 영상의 품질과 압축률을 높이고 이를 상기 DPB에 전달하는 루프필터를 포함하는 베이스레이어(Base Layer);
상기 베이스레이어의 DPB에 저장된 영상을 업샘플링한 텍스처와 상기 베이스레이어의 움직임 예측 및 보상부로부터 수신한 움직임 정보를 스케일링하여 상기 베이스레이어와의 해상도 차이를 보정하고, 영상의 움직임을 예측 및 보상하는 움직임 예측 및 보상부와, 현재 영상의 이전 영상 및 이후 영상 중 적어도 하나의 영상의 정보를 기초로 예측을 수행하여 예측블록 및 레지듀얼 블록을 생성하는 인터 예측부와, 상기 영상 내의 픽셀 정보를 기초로 다른 픽셀의 화소값을 예측하여 예측블록 및 레지듀얼 블록을 생성하는 인트라 예측부와, 상기 레지듀얼 블록을 변환블록 단위로 변환을 수행하여 변환계수를 생성 및 양자화하는 변환/양자화부와, 상기 양자화된 변환계수에 대한 엔트로피 인코딩을 수행하는 엔트로피 코딩부와, 상기 영상에 대하여 디블록킹 필터, ALF, SAO를 적용하여 영상의 품질과 압축률을 높이는 루프필터와, 상기 루프필터에서 출력되는 복원영상을 저장하고 이를 상기 인터 예측부 및 움직임 예측 및 보상부로 전달하는 DPB를 포함하는 개선레이어(Enhancement Layer); 및
상기 베이스레이어의 엔트로피 코딩부의 출력정보와 상기 개선레이어의 엔트로피 코딩부의 출력정보를 멀티플렉싱하여 비트스트림 형태로 출력하는 MUX;를 포함하며,
상기 CPU는,
상기 상세정보개선, 상기 에지복원 및 상기 노이즈리덕션 연산을 병행처리하기 위하여, 상기 개선레이어에서 참조하는 모든 상기 베이스레이어를 디코딩하는 다중루프 디코딩 방식으로 상기 베이스레이어와 상기 개선레이어 간 움직임 매핑을 동시에 수행하고, 비지역적 평균 노이즈 제거 알고리즘(A non-local algorithm for image denoising) 및 에지검출(Edge Detection) 알고리즘을 적용하며,
상기 비지역적 평균 노이즈 제거 알고리즘은,
현재 t 프레임의 현재 픽셀 인덱스 x 중심의 이웃 블록을 기준으로 현재 프레임을 포함하여 주변 모든 프레임들에서의 모든 이웃 블록들과 하기 수학식 13을 이용하여 유사도 Q(x,t,s)를 계산하고, 하기 수학식 14를 이용하여 비슷한 모든 픽셀들에 대해 가중치 평균을 수행하며,
상기 에지검출 알고리즘은,
영상의 임의의 점에서 기울기를 벡터로 표시하고, 소벨 마스크(sobel mask) 기법을 적용하여 근사화하여 그 크기와 방향을 구하며, 상기 크기와 방향을 임계값과 비교하여 에지를 검출하는 것을 특징으로 하는 UHD TV용 업스케일 칩셋 모듈.
<수학식 13>
여기서, Gp는 표준편차 p를 갖는 이차원 가우시안 커널이며, u는 공간영역변수, y는 이웃 픽셀들의 공간입지인덱스(spatial location index), s는 현재 프레임을 포함하는 주변 모든 프레임, λ는 공간영역에서의 근방제곱(neighborhood square)이다.
<수학식 14>
여기서, h는 노이즈 레벨에 따라 값이 달라지는 필터링 파라미터(filtering parameter)이고, Q(x,t,s)는 프레임 범위 내에서 비슷한 두 블록간의 각각의 픽셀에 대한 유클리디안 거리의 절대 값 차와 가우시안 커널과의 가중치 합이다.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180097924A KR102022375B1 (ko) | 2018-08-22 | 2018-08-22 | Uhd tv용 업스케일 칩셋 모듈 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180097924A KR102022375B1 (ko) | 2018-08-22 | 2018-08-22 | Uhd tv용 업스케일 칩셋 모듈 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102022375B1 true KR102022375B1 (ko) | 2019-09-18 |
Family
ID=68070861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180097924A KR102022375B1 (ko) | 2018-08-22 | 2018-08-22 | Uhd tv용 업스케일 칩셋 모듈 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102022375B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023177098A1 (ko) * | 2022-03-14 | 2023-09-21 | 현대자동차주식회사 | 초해상도 인루프 필터를 이용하는 비디오 코딩을 위한 방법 및 장치 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0282276A1 (en) | 1987-03-13 | 1988-09-14 | WASTE TREATMENT PATENTS & RESEARCH N.V. | Apparatus and method for effecting chemical reactions |
| KR20130037193A (ko) | 2011-10-05 | 2013-04-15 | 한국전자통신연구원 | 스케일러블 비디오 부호화 및 복호화 방법과 이를 이용한 장치 |
| KR20140044664A (ko) | 2012-10-05 | 2014-04-15 | 삼성전자주식회사 | 고 해상도 컨텐츠를 처리하는 컨텐츠 처리 장치 및 그 방법 |
| US20140146229A1 (en) | 2012-11-28 | 2014-05-29 | Sony Corporation | Using extra space on ultra high definition display presenting high definition video |
| KR20140136428A (ko) | 2012-02-29 | 2014-11-28 | 엘지전자 주식회사 | 인터 레이어 예측 방법 및 이를 이용하는 장치 |
| US20150016748A1 (en) | 2013-07-15 | 2015-01-15 | Samsung Electronics Co., Ltd. | Image Processing Apparatus, Image Processing System, and Image Processing Method |
| KR101508895B1 (ko) * | 2011-05-20 | 2015-04-08 | 주식회사 케이티 | 화면 내 예측 방법 및 장치 |
| KR20160104736A (ko) * | 2012-01-31 | 2016-09-05 | 브이아이디 스케일, 인크. | 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링 |
| KR20180048739A (ko) * | 2015-09-30 | 2018-05-10 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치 |
| KR20180075483A (ko) * | 2015-11-24 | 2018-07-04 | 삼성전자주식회사 | 픽셀의 기울기에 기초하여 인트라 또는 인터 예측 블록을 후처리하는 방법 및 장치 |
-
2018
- 2018-08-22 KR KR1020180097924A patent/KR102022375B1/ko active IP Right Grant
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0282276A1 (en) | 1987-03-13 | 1988-09-14 | WASTE TREATMENT PATENTS & RESEARCH N.V. | Apparatus and method for effecting chemical reactions |
| KR101508895B1 (ko) * | 2011-05-20 | 2015-04-08 | 주식회사 케이티 | 화면 내 예측 방법 및 장치 |
| KR20130037193A (ko) | 2011-10-05 | 2013-04-15 | 한국전자통신연구원 | 스케일러블 비디오 부호화 및 복호화 방법과 이를 이용한 장치 |
| KR20160104736A (ko) * | 2012-01-31 | 2016-09-05 | 브이아이디 스케일, 인크. | 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링 |
| KR20140136428A (ko) | 2012-02-29 | 2014-11-28 | 엘지전자 주식회사 | 인터 레이어 예측 방법 및 이를 이용하는 장치 |
| KR20140044664A (ko) | 2012-10-05 | 2014-04-15 | 삼성전자주식회사 | 고 해상도 컨텐츠를 처리하는 컨텐츠 처리 장치 및 그 방법 |
| US20140146229A1 (en) | 2012-11-28 | 2014-05-29 | Sony Corporation | Using extra space on ultra high definition display presenting high definition video |
| US20150016748A1 (en) | 2013-07-15 | 2015-01-15 | Samsung Electronics Co., Ltd. | Image Processing Apparatus, Image Processing System, and Image Processing Method |
| KR20180048739A (ko) * | 2015-09-30 | 2018-05-10 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치 |
| KR20180075483A (ko) * | 2015-11-24 | 2018-07-04 | 삼성전자주식회사 | 픽셀의 기울기에 기초하여 인트라 또는 인터 예측 블록을 후처리하는 방법 및 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023177098A1 (ko) * | 2022-03-14 | 2023-09-21 | 현대자동차주식회사 | 초해상도 인루프 필터를 이용하는 비디오 코딩을 위한 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11930159B2 (en) | Method and system of video coding with intra block copying | |
| RU2684570C1 (ru) | Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений | |
| JP2023015093A (ja) | 統合された画像再構成及び映像符号化 | |
| CN106713912B (zh) | 用于视频信号的向后兼容编码和解码的方法和装置 | |
| JP5039777B2 (ja) | Ｄｃシフトアーチファクトに対する量子化調整 | |
| JP5391290B2 (ja) | テクスチャレベルに基づく量子化調整 | |
| US10341658B2 (en) | Motion, coding, and application aware temporal and spatial filtering for video pre-processing | |
| US20080240250A1 (en) | Regions of interest for quality adjustments | |
| US20110069752A1 (en) | Moving image encoding/decoding method and apparatus with filtering function considering edges | |
| US20190342582A1 (en) | Method and apparatus of smoothing filter for ringing artefact removal | |
| US9167271B2 (en) | Image processing device, method, and program, dynamic image encoding device, method, and program, dynamic image decoding device, method, and program, and encoding/decoding system and method | |
| JP2022036084A (ja) | 符号化装置、復号装置、符号化方法、及び復号方法 | |
| EP3069513B1 (en) | Pre-dithering in high dynamic range video coding | |
| JP2015144423A (ja) | 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム | |
| CN111526367A (zh) | 样本自适应偏移控制 | |
| JP2010218549A (ja) | 深度画像をフィルタリングする方法 | |
| US20230069953A1 (en) | Learned downsampling based cnn filter for image and video coding using learned downsampling feature | |
| US9979973B2 (en) | Encoding and decoding methods for adapting the average luminance of high dynamic range pictures and corresponding encoder and decoder | |
| TW201924332A (zh) | 用於視頻寫碼及處理之導引濾波器 | |
| EP4094443A1 (en) | Global skip connection based cnn filter for image and video coding | |
| KR102022375B1 (ko) | Uhd tv용 업스케일 칩셋 모듈 | |
| JP2021515494A (ja) | 適応乗算係数を用いた画像フィルタリングのための方法および装置 | |
| US10687054B2 (en) | Decoupled prediction and coding structure for video encoding | |
| JP2022087262A (ja) | 画像復号装置及び画像復号方法 | |
| WO2019208189A1 (ja) | 画像復号装置、および画像復号方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |