KR101653039B1 - 복호화 정보를 이용한 해상도 변환 장치 및 그 방법 - Google Patents

복호화 정보를 이용한 해상도 변환 장치 및 그 방법 Download PDF

Info

Publication number
KR101653039B1
KR101653039B1 KR1020140061882A KR20140061882A KR101653039B1 KR 101653039 B1 KR101653039 B1 KR 101653039B1 KR 1020140061882 A KR1020140061882 A KR 1020140061882A KR 20140061882 A KR20140061882 A KR 20140061882A KR 101653039 B1 KR101653039 B1 KR 101653039B1
Authority
KR
South Korea
Prior art keywords
scaling
unit
parameter
lookup table
alpha
Prior art date
Application number
KR1020140061882A
Other languages
English (en)
Other versions
KR20150135637A (ko
Inventor
김진태
한종기
채진기
Original Assignee
주식회사 칩스앤미디어
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 칩스앤미디어, 세종대학교산학협력단 filed Critical 주식회사 칩스앤미디어
Priority to KR1020140061882A priority Critical patent/KR101653039B1/ko
Publication of KR20150135637A publication Critical patent/KR20150135637A/ko
Application granted granted Critical
Publication of KR101653039B1 publication Critical patent/KR101653039B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시 예에 따른 영상 신호의 해상도 변환 장치는, 복호화된 영상 신호를 수신하는 입력부; 상기 영상 신호의 복호화 과정에서 산출되는 유닛별 특징 정보를 획득하고, 상기 유닛별 특징 정보에 따른 스케일링 파라미터를 포함하는 룩업 테이블을 생성하는 룩업 테이블 생성부; 상기 룩업 테이블을 이용하여 상기 유닛별 스케일링 파라미터를 획득하고, 상기 스케일링 파라미터에 따라 상기 복호화된 영상 신호에 대한 스케일링을 수행하는 적어도 하나의 스케일러; 및 상기 스케일링 수행에 따라 해상도 변환된 영상을 출력하는 출력부를 포함한다.

Description

복호화 정보를 이용한 해상도 변환 장치 및 그 방법{AN APPRATUS FOR SCALING A RESOLTION USING DECODING INFORMATION AND A METHOD THEREOF}
본 발명은 해상도 변환 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 복호화 정보를 이용하여 해상도 변환에 활용함으로써 해상도 변환 성능을 개선시키는 해상도 변환 방법 및 그 장치에 관한 것이다.
최근 고해상도, 고화질 영상에 대한 요구가 증가함에 따라 차세대 영상 서비스를 위한 고효율의 비디오 압축 기술에 대한 필요성이 대두되었다. 이러한 시장의 요구에 따라 MPEG과 VCEG이 공동으로 구성한 JVT는 1990년대 후반부터 표준화를 시작하여 2004년에 H.264/AVC를 완성하였다. H.264/AVC 인코더 및 디코더는 이전 표준 코덱들의 구조와 유사하지만, 코덱 내부에 성능이 개선된 세부 모듈들이 추가 되었다. 또한, 현재 MPEG과 VCEG은 2010년 1월 JCT-VC(Joint Collaborative Team on Video Coding)를 구성하였으며, JCT-VC를 통하여 2013년 1월에 HEVC(High Efficiency Video Coding)라는 차세대 비디오 표준 기술을 제정하였다. 이러한 HEVC는 종래에 가장 높은 압축 효율을 갖는 것으로 알려진 비디오 표준인 H.264/AVC High 프로파일에 비하여 주관적 화질 관점에서 비교한 경우 약 50% 이상의 압축 효율을 갖는다.
한편, 화면 해상도를 변환하기 위한 해상도 변환 장치는 입력 영상에 대한 스케일링을 수행하여, 해상도를 확대 하거나 축소할 수 있다. 해상도 변환 장치에 적용되는 다양한 스케일러로서 Sample and hold, Bilinear, Cubic B-spline, Cubic convolution 등 여러 가지 기법이 제안되고 있다. 이 기법들 중 대표적으로 많이 사용되고 있는 기술로서 4개의 필터 탭으로 구성된 4 tap Cubic convolution scaler 기법이 예시될 수 있다. 4 tap Scaler는 영상의 가로와 세로 방향으로 적용될 수 있다. 그리고, 4 tap Scaler는 가로 및 세로축 폭을 각 4개 디지털 샘플에 대응시켜 4 tap Cubic convolution 커널의 basis 함수들을 적용함으로써 해상도 변환된 영상을 획득하는 방식을 사용할 수 있다.
이와 같은 다양한 스케일러들은 지금까지 많은 연구 개발에서 사용되어 오고 있다. 그러나, 영상신호의 특성과 해상도가 큰 폭으로 향상되는 추세에 비해 성능이 따라오지 못하고 있으며, 그 결과 해상도 변환된 영상의 화질이 저하되는 등의 문제점이 나타나고 있다.
또한, 기존의 기술들에서는 비디오 코덱의 복호화기와 화면 해상도 변환 모듈이 독립적으로 구성되고, 서로 간에 정보를 이용하지 않아, 시스템의 성능 개선에 한계가 존재하였다.
본 발명의 실시 예는 비디오 코덱의 복호화기에서 역양자화 및 역변환 과정에서 획득할 수 있는 블록별 특징 정보를 이용하여 해상도 변환 장치의 성능을 개선하는데 그 목적이 있다.
또한, 본 발명의 실시 예는 영상 내 블록별 특징 정보를 비디오 디코더에서 복잡도 증가 없이 간단하게 얻을 수 있고, 이를 이용하여 해상도 변환 장치의 성능을 향상 시킬 수 있는 해상도 변환 방법 및 그 장치를 제공하는데 그 목적이 있다.
한편, 본 발명의 실시 예는 알파 룩업 테이블을 이용하여 해상도 변환 모듈의 화질 및 성능을 개선하는데 그 목적이 있다.
다만, 본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 영상 신호의 해상도 변환 장치는, 복호화된 영상 신호를 수신하는 입력부; 상기 영상 신호의 복호화 과정에서 산출되는 유닛별 특징 정보를 획득하고, 상기 유닛별 특징 정보에 따른 스케일링 파라미터를 포함하는 룩업 테이블을 생성하는 룩업 테이블 생성부; 상기 룩업 테이블을 이용하여 상기 유닛별 스케일링 파라미터를 획득하고, 상기 스케일링 파라미터에 따라 상기 복호화된 영상 신호에 대한 스케일링을 수행하는 적어도 하나의 스케일러; 및 상기 스케일링 수행에 따라 해상도 변환된 영상을 출력하는 출력부를 포함한다.
또한, 상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 영상 신호의 해상도 변환 방법은, 복호화된 영상 신호를 수신하는 단계; 상기 영상 신호의 복호화 과정에서 산출되는 유닛별 특징 정보를 획득하고, 상기 유닛별 특징 정보에 따른 스케일링 파라미터를 포함하는 룩업 테이블을 생성하는 단계; 상기 룩업 테이블을 이용하여 상기 유닛별 스케일링 파라미터를 획득하고, 상기 스케일링 파라미터에 따라 상기 복호화된 영상 신호에 대한 스케일링을 수행하는 단계; 및 상기 스케일링 수행에 따라 해상도 변환된 영상을 출력하는 단계를 포함한다.
본 발명의 일 실시 예는 영상 복호화 과정 중 역양자화 또는 역변환 과정에서 획득되는 정보를 이용하여 스케일링에 이용함으로써, 복잡도를 높이지 않고도 해상도 변환 모듈의 화질 및 성능을 개선할 수 있게 된다.
또한, 본 발명의 일 실시 예는 큐빅 컨볼루션 스케일링에 있어서의 알파 파라미터 값 설정을 위해 영상 복호화 과정에서 획득되는 정보를 이용함으로써, 해상도 변환 모듈의 화질 및 성능을 개선할 수 있게 된다.
그리고, 본 발명의 일 실시 예는 영상 블록의 특징에 따라 서로 다른 알파 파라미터를 적응적으로 적용할 수 있어 스케일링 성능을 향상시킬 수 있게 된다.
본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.그리고, 미래에는 현재 영상보다 훨씬 큰 해상도의 영상 신호의 해상도를 스케일링할 것이고, 이런 환경에서 본 특허 기술의 효과는 매우 효율적으로 나타날 것이다.
도 1 및 도 2는 본 발명의 실시 예에 따른 전체 시스템을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 해상도 변환 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 해상도 변환 장치의 스케일러들을 설명하기 위한 도면들이다.
도 5는 본 발명의 실시 예에 따른 해상도 변환 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 다른 일 실시 예에 따른 해상도 변환 방법을 설명하기 위한 흐름도이다.
도 7 내지 도 8은 본 발명의 실 실시 예에 따라 생성되는 룩업 테이블을 설명하기 위한 도면들이다.
도 9 내지 도 10은 본 발명의 일 실시 예에 따른 해상도 변환 과정을 나타내는 도면들이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 해상도 변환 장치(100)와 영상 복호화 장치(200)의 연계 구성에 대한 일 예를 블록도로 도시한 것으로, H.264의 복호화가 선행되는 영상 복호화 장치를 나타낸 것이나, HEVC 또는 이외 다른 코덱에 대한 복호화에도 동일 구조가 적용될 수 있다.
도 1을 참조하면, 복호화 장치에서 데이터를 처리하는 단위는 가로 세로 16x16화소 크기의 매크로블록(Macroblock)일 수 있으며, 소정 크기의 코딩 유닛(Coding Unit)일 수 있다. 복호화 장치는 비트스트림을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 복호화를 수행하여 재구성된 영상을 출력(output)한다.
인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다. 복호화 과정의 주요한 흐름은 먼저 예측 블록을 생성한 후, 입력 받은 비트스트림을 복호화한 결과 블록과 예측 블록을 더하여 재구성된 블록을 생성하는 것이다.
먼저 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다. 먼저 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성하며, 인터 모드일 경우에는 움직임 벡터를 이용하여 참조 영상 버퍼에 저장되어 있는 참조 영상에서 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성한다.
엔트로피 복호화부(Entropy Decoder)에서는 입력된 비트스트림을 확률 분포에 따른 엔트로피 복호화를 수행하여 양자화된 계수(Quantized Coefficient)를 출력한다. 복호화 장치는 양자화된 계수를 역양자화 과정과 역 변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 다음 디블록킹 필터 또는 샘플 적응적 오프셋 필터 중 적어도 하나를 통해 필터링한 후, 복호화된 영상으로 출력함과 동시에 참조 영상 버퍼에 저장한다.
특히, 본 발명의 실시 예에 따르면, 역양자화 및 역 변환에서 처리되는 복호화된 잔차신호는 변환 유닛(Transform Unit)이라는 블록 단위에 따라 처리될 수 있다. 이와 같은 변환 유닛 블록에 대해, 역양자화 또는 역변환된 픽셀 정보 또는 변환 계수 정보는 해상도 변환 장치(100)로 전달될 수 있다.
이후, 재구성되어 복호화된 영상은 해상도 변환 장치(100)로 입력된다.
해상도 변환 장치(100)는 복호화 과정에서 생성되는 역양자화 또는 역변환된 변환 유닛 블록의 픽셀 정보 또는 변환 계수 정보를 획득하고, 획득된 정보를 이용하여 복호화된 영상에 대한 해상도 변환(또는 스케일링)을 수행한다. 그리고, 해상도 변환 장치(100)는 해상도가 변경된 영상 신호를 외부로 출력한다.
앞서 설명한 바와 같이, 영상 복호화기에서 부호화된 블록을 복호화할 때, 변환 유닛 블록에 대한 변환 계수 정보 등도 함께 복호화 된다. 이와 같은 변환 계수 정보 등은 블록 내 고주파 성분이나 급격한 밝기 변화 등에 따라 서로 다른 값을 가질 수 있다. 따라서, 해상도 변환 장치(100)는 해상도 변환에 앞서, 상기와 같은 변환 유닛 블록의 픽셀 정보 또는 변환 계수 정보 등의 특징 정보를 추출하고, 특징 정보에 대응되는 적절한 파라미터를 결정함으로써 해상도 변환된 영상의 화질 등을 개선할 수 있다.
특히, 본 발명의 일 실시 예에서 특징 정보에 기반하여 결정되는 파라미터는 큐빅 컨볼루션을 이용한 스케일링에서 사용되는 알파 파라미터를 포함할 수 있다. 보간 방법 중 큐빅 컨볼루션(Cubic Convolution)은 보간 하려는 위치 주위에 있는 복수개의 픽셀정보를 사용하여 보간을 수행하는 방법으로써, 하기와 같은 수식으로 필터 커널(Filter Kernel)을 표현할 수 있다.
Figure 112014048453272-pat00001
그리고, 알파 파라미터에 따른 커널(Kernel) 모양이 달라질 수 있다. 여기서, 알파 파라미터는 튜닝 파라미터로써 -1.5에서 1의 범위에서 사용하는데 -1.5에 가깝게 선택을 하면 엣지 부분이 강하게 표현되고 1에 가깝게 선택을 하면 엣지 부분이 뭉그러지는 현상이 나타난다. 일반적으로 알파 파라미터는 고정된 값이 사용되고 있는 실정이나, 본 발명의 실시 예에서는 각 변환 유닛 블록에 대응하여, 적절한 알파 파라미터를 결정하고, 이를 룩업 테이블로 생성할 수 있다.
큐빅 컨볼루션(Cubic Convolution)을 사용하여 보간 하는 방법을 구체적으로 알아보면 이용하려는 화소간의 거리를 1이라고 가정하고, 보간 하려는 위치에서 가장 인접한 화소 4개를 이용한다. 이 화소들을 각각의 위치를 기호로 다시 나타내면 도 2와 같이
Figure 112014048453272-pat00002
로 표현할 수 있다. 보간 하려는 위치는
Figure 112014048453272-pat00003
와
Figure 112014048453272-pat00004
사이에 있고, 보간 하려는 위치에서
Figure 112014048453272-pat00005
까지의 거리를 t 라고 하면, 0 ≤t≤ 1 인 특성이 있다. 보간 하려는 위치에서 생성된 화소의 밝기값은 아래 식과 같이 정리될 수 있다.
Figure 112014048453272-pat00006
따라서, 본 발명의 실시 예에 따른 해상도 변환 장치(100)는 복호화된 영상 신호를 수신하면, 상기 영상 신호의 복호화 과정에서 산출되는 유닛별 특징 정보를 획득하고, 상기 유닛별 특징 정보에 따른 스케일링 파라미터를 포함하는 룩업 테이블을 생성하고, 상기 룩업 테이블을 이용하여 상기 유닛별 스케일링 파라미터를 획득하고, 상기 스케일링 파라미터에 따라 상기 복호화된 영상 신호에 대한 스케일링을 수행하며, 상기 스케일링 수행에 따라 해상도 변환된 영상을 출력할 수 있다.
여기서, 상기 유닛 별 특징 정보는 상기 영상 신호의 역양자화 및 역변환 단계에서 획득되는 변환 유닛 블록의 변환 계수 값 또는 픽셀값들을 포함할 수 있으며, 해상도 변환 장치(100)는 상기 변환 계수값 및 상기 픽셀값들의 평균 에너지 값 또는 분산 값에 대응하여, 상기 유닛별 스케일링 파라미터를 결정할 수 있다.
특히, 복호화된 영상 신호에 대해 상술한 큐빅 컨볼루션 스케일링이 수행되는 경우, 해상도 변환 장치(100)는 상기 평균 에너지 값 또는 상기 분산 값에 따라, 큐빅 컨볼루션 스케일링을 위한 알파 파라미터를 산출하여 상기 유닛 별 스케일링 파라미터로 결정할 수 있다.
도 3은 본 발명의 실시 예에 따른 해상도 변환 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 해상도 변환 장치(100)는 변환 유닛(TU) 블록 식별부(110), 특징정보 추출부(120), 룩업 테이블 생성부(130), 알파 조절부(150) 및 해상도 스케일러(140)를 포함한다.
변환 유닛 블록 식별부(110)는 역양자화 또는 역변환 과정에서 획득되는 변환 유닛 블록을 식별하고, 특징정보 추출부(120)로 전달한다.
변환 유닛 블록은 변환 유닛 블록의 크기 또는 위치에 따라 식별될 수 있으며, 변환 유닛 블록 식별부(110)는 변환 유닛 블록의 크기 정보 또는 위치 정보 중 적어도 하나를 특징정보 추출부(120)로 전달할 수 있다.
특징정보 추출부(120)는 식별된 변환 유닛 블록에 대응하는 특징정보를 추출하고, 룩업 테이블 생성부(130)로 전달한다.
본 발명의 실시 예에서, 특징 정보는 변환 유닛 블록에 대응되는 블록 내 픽셀값들의 분산 값 또는 평균 에너지 값 중 적어도 하나를 포함할 수 있다.
예를 들어, 분산 값의 경우, 특징 정보는 역양자화 및 역변환 된 변환 유닛 블록의 잔차신호의 절대값들의 분산 값을 포함할 수 있다. 각 변환 유닛 블록별 분산 값은 하기와 같은 식으로 연산될 수 있다.
Figure 112014048453272-pat00007
여기서, P(x, y)는 변환 유닛 블록내의 잔차 신호 픽셀값들을 의미할 수 있으며, N은 변환 유닛 블록의 크기를 의미할 수 있다. 분산 값은 상기 변환 유닛 블록의 특징 정보를 나타낼 수 있으며 상기 변환 유닛 블록 블록을 확대/축소 할 때 사용하는 큐빅 컨볼루션 스케일러의 알파 파라미터가 상기 분산 값에 따라 가변될 수 있다.
또한, 예를 들어, 평균 에너지 값의 경우, 역양자화만 된 변환 유닛 블록의 잔차신호로부터 획득되는 변환 계수들의 평균 에너지 정보를 포함할 수 있다. 각 변환 유닛 블록별 평균 에너지 값은 하기와 같은 식으로 연산될 수 있다. 평균 에너지 값 또한 상기 변환 유닛 블록의 특징 정보를 나타낼 수 있으며 상기 변환 유닛 블록 블록을 확대/축소 할 때 사용하는 큐빅 컨볼루션 스케일러의 알파 파라미터가 상기 평균 에너지 값에 따라 가변될 수 있다.
Figure 112014048453272-pat00008
그리고, 룩업 테이블 생성부(130)는 연산된 변환 유닛 블록별 잔차신호의 분산 값 또는 변환 계수들의 평균 에너지 값에 기초하여, 알파 조절부(150)에서 설정되는 알파 파라미터를 대응시키는 룩업 테이블을 생성한다.
룩업 테이블 생성부(130)는 변환 유닛 블록들의 분산 또는 에너지 값을 영상 전체에 대한 누적 분포도로 산출할 수있다. 그리고, 룩업 테이블 생성부(130)는 누적 분포도를 복수의 구간으로 분리할 수 있으며, 분리 시에 누적된 양에 따라 구간의 폭을 조절함으로써 알파 파라미터에 대응되는 룩업 테이블을 생성할 수 있다.
일반적으로, 알파 파라미터가 특정 구간에 포함된 값을 사용하여 큐빅 컨볼루션 스케일링을 수행하면, 좋은 성능을 보이는 영상을 획득할 수 있다. 따라서, 룩업 테이블 생성부(130)는 그 특정 구간에 해당하는 구간 폭을 넓히고, 다른 값들의 구간 폭은 상대적으로 줄이는 룩업 테이블을 생성할 수 있다.
다만, 알파 파라미터의 구간 별 값들은 경우에 따라 가변될 수 있으며, 알파 조절부(150)에서 설정함에 따라 구간별로 다른 값들이 할당될 수 있다.
그리고, 룩업 테이블 생성부(130)는 해상도 스케일러(140)의 요청에 따라 적절한 알파 파라미터를 추출하여 해상도 스케일러(140)로 전달한다.
해상도 스케일러(140)는 원본 영상에 대한 해상도 변환을 수행하되, 큐빅 컨볼루션 스케일링을 적용함에 있어서의 알파 파라미터를 룩업 테이블 생성부(130)로 요청하고, 룩업 테이블 생성부(130)에서 출력되는 알파 파라미터를 이용하여 해상도 변환을 수행한다. 룩업 테이블 생성부(130)의 알파 파라미터는 영상 프레임의 변환 유닛 블록에 대응되어 생성될 수 있으므로, 해상도 스케일러(140)는 각 변환 유닛 블록의 크기 및 위치에 따라 각각의 알파 파라미터를 선택하고, 각각 해상도 변환을 수행할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 해상도 스케일러를 보다 구체적으로 설명하기 위한 도면들이다.
도 4를 참조하면, 해상도 변환 장치의 해상도 스케일러(140)는 제1 방향 큐빅 컨볼루션 스케일러(141) 및 제2 방향 큐빅 컨볼루션 스케일러(142)를 포함한다.
제1 방향 큐빅 컨볼루션 스케일러(141) 및 제2 방향 큐빅 컨볼루션 스케일러(142)는 각각 복호화된 영상으로부터 특정 방향으로의 큐빅 컨볼루션 스케일링을 수행함으로써 해상도를 변환할 수 있다. 여기서, 제1 방향은 가로 방향일 수 있으며, 제2 방향은 세로 방향일 수 있다.
그리고, 제1 방향 큐빅 컨볼루션 스케일러(141) 및 제2 방향 큐빅 컨볼루션 스케일러(142)가 해상도를 변환함에 있어, 룩업 테이블 생성부(130)로부터 전달되는 알파 파라미터를 이용할 수 있다.
또한, 그리고, 제1 방향 큐빅 컨볼루션 스케일러(141) 및 제2 방향 큐빅 컨볼루션 스케일러(142)는 알파 파라미터를 적절한 변환 유닛 블록의 위치에 적용하기 위해, 룩업 테이블 생성부(130)로부터 변환 유닛 블록의 크기 및 위치 정보를 수신할 수 있다. 이에 따라, 제1 방향 큐빅 컨볼루션 스케일러(141) 및 제2 방향 큐빅 컨볼루션 스케일러(142)는 변환 유닛 블록별로 스케일링을 수행할 수 있으며, 각 변환 유닛 블록별 스케일링에 있어, 미리 결정된 룩업 테이블 생성부(130)의 알파 파라미터를 이용할 수 있다.
이와 같은 방식을 통해, 각 변환 유닛 블록 별 최적의 알파 파라미터가 선택될 수 있으며, 이에 따라 해상도 변환된 영상의 화질이 향상될 뿐만 아니라, 연산 성능 및 화질에 대한 최적화을 기대할 수 있게 된다.
도 5는 분산 정보를 이용하는 본 발명의 실시 예에 따른 해상도 변환 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 해상도 변환 장치(100)는 먼저 변환 유닛 블록을 식별하여, 분산 정보를 획득한다(S101).
앞서 설명한 바와 같이, 해상도 변환 장치(100)는 역양자화 및 역변환 된 변환 유닛 블록의 픽셀값들로부터 분산 정보를 획득할 수 있다. 분산 정보를 획득하기 위해, 변환 유닛 블록의 픽셀값인 잔차신호로부터 절대 값을 연산하여 그 분산을 산출할 수 있다. 이를 구하기 위한 식을 앞서 수학식 3에서 예시하였다.
그리고, 해상도 변환 장치(100)는 분산 정보를 이용하여 누적 분포도를 생성한다(S103).
앞서 설명한 바와 같이, 룩업 테이블 생성부(130)는 변환 유닛 블록들의 분산 또는 에너지 값을 영상 전체에 대한 누적 분포도로 산출할 수있다.
이후, 해상도 변환 장치(100)는 누적 분포도를 이용하여 구간을 분류한다(S105).
룩업 테이블 생성부(130)는 누적 분포도를 복수의 구간으로 분리할 수 있다. 각 구간별 누적되는 값들은 설정에 따라 달라질 수 있다. 따라서, 분류 시에 누적된 양에 따라 구간의 폭은 조절될 수 있다. 예를 들어, 누적 분포로 정리되는 값들은 26개의 구간으로 분류될 수 있으며, 각 구간은 서로 같거나 다른 알파 파라미터에 대응될 수 있다.
그리고, 해상도 변환 장치(100)는 분류된 구간별 알파 파라미터를 지정하여 룩업 테이블을 생성한다(S107).
룩업 테이블 생성부(130)는 각 분류된 구간에 따라 적절한 알파 파라미터를 대응시켜 룩업 테이블을 생성할 수 있다.
앞서 설명한 바와 같이, 알파 파라미터는 특정 구간에 포함된 값을 사용하여 큐빅 컨볼루션 스케일링을 수행할 때, 좋은 성능을 보이는 영상을 획득할 수 있다. 예를 들어 알파 파라미터는 -0.6에서 -0.4인 경우 좋은 성능을 보일 수 있다. 이에 따라, 알파 파라미터가 -0.6에서 -0.4인 경우는 구간 폭을 상대적으로 크게 설정하고, 최고치인 -1.5 또는 1.0 등에 가까운 경우에는 구간 폭을 상대적으로 작게 설정할 수 있다.
따라서, 룩업 테이블 생성부(130)는 그 특정 구간에 해당하는 구간 폭을 넓히고, 다른 값들의 구간 폭은 상대적으로 줄이는 룩업 테이블을 생성할 수 있다. 다만, 알파 파라미터의 구간 별 값들은 경우에 따라 가변될 수 있으며, 알파 조절부(150)에서 설정함에 따라 구간별로 다른 값들이 할당될 수 있다.
이후, 해상도 변환 장치(100)는 룩업 테이블에 기초하여 해상도 변환을 수행한다(S109).
전술한 바와 같이, 해상도 스케일러(140)는 룩업 테이블 생성부(130)로부터 변환 유닛 블록별 알파 파라미터를 수신하여 가로 또는 세로 방향별 큐빅 컨볼루션 스케일링을 수행함으로써 해상도 변환된 영상을 획득하고, 외부로 출력할 수 있다. 그리고, 가로 방향 및 세로 방향 스케일링이 종료되면, 해상도 변환 장치(100)는 해상도 변환된 영상을 raw 데이터의 형태로 프레임 단위 또는 실시간으로 출력할 수 있다.
도 6은 평균 에너지 정보를 이용하는 본 발명의 실시 예에 따른 해상도 변환 방법을 설명하기 위한 흐름도이며, 도 7은 본 발명의 실시 예에 따른 평균 에너지 정보를 설명하기 위한 도면이다.
본 발명의 다른 일 실시 예에 따른 해상도 변환 방법으로, 역양자화 된 블록의 값들로 블록의 에너지 값을 구할 수 있다.
역양자화만 된 블록의 경우, 해상도 변환 장치(100)는 변환 유닛 블록의 픽셀 값과 달리, 잔차신호가 변환된 변환 계수들을 획득할 수 있다.
도 7에서는 DCT(Discrete Cosine Transform) 계수들의 특성을 나타내고 있다. 좌측/상단 쪽은 영상의 저주파 성분(DC 성분)이 클 경우 높은 값을 갖게 되고, 우측/하단으로 갈수록 영상의 고주파 성분(AC 성분) 즉, 블록 안의 픽셀값들이 급격한 밝기 변화를 보이는 경우 높은 값을 갖게 된다. DC성분은 블록의 평균 밝기 값을 의미하므로, AC성분만을 이용하여 블록의 에너지 값을 구할 수 있다. 따라서, 앞서 해상도 변환 장치(100)는 수학식 4를 통해 구해진 평균 에너지값을 통해 해당 블록의 특징 정보를 파악할 수 있으며 해당블록을 확대/축소 할 때 사용하는 큐빅 컨볼루션 스케일러(141, 142)의 알파 파라미터 값을 조절할 수 있다.
다시, 도 6을 참조하면, 해상도 변환 장치(100)는 먼저 변환 유닛 블록을 식별하여, 평균 에너지 정보를 획득한다(S201).
앞서 설명한 바와 같이, 해상도 변환 장치(100)는 역양자화 된 변환 유닛 블록에 대한 변환 계수로부터 평균 에너지 정보를 획득할 수 있다. 평균 에너지 정보는 앞서 설명한 수학식 4를 통해 산출될 수 있다.
그리고, 해상도 변환 장치(100)는 평균 에너지 정보를 이용하여 누적 분포도를 생성한다(S203).
앞서 설명한 바와 같이, 룩업 테이블 생성부(130)는 변환 유닛 블록들의 분산 또는 에너지 값을 영상 전체에 대한 누적 분포도로 산출할 수있다.
이후, 해상도 변환 장치(100)는 평균 에너지 정보의 누적 분포도를 이용하여 구간을 분류한다(S205).
룩업 테이블 생성부(130)는 평균 에너지 정보의 누적 분포도를 복수의 구간으로 분리할 수 있다. 각 구간별 누적되는 값들은 설정에 따라 달라질 수 있다. 따라서, 분류 시에 누적된 양에 따라 구간의 폭은 조절될 수 있다. 예를 들어, 누적 분포로 정리되는 값들은 26개의 구간으로 분류될 수 있으며, 각 구간은 서로 같거나 다른 알파 파라미터에 대응될 수 있다.
그리고, 해상도 변환 장치(100)는 평균 에너지 정보로 분류된 구간별 알파 파라미터를 지정하여 룩업 테이블을 생성한다(S207).
룩업 테이블 생성부(130)는 각 평균 에너지 정보로 분류된 구간에 따라 적절한 알파 파라미터를 대응시켜 룩업 테이블을 생성할 수 있다.
앞서 설명한 바와 같이, 알파 파라미터는 특정 구간에 포함된 값을 사용하여 큐빅 컨볼루션 스케일링을 수행할 때, 좋은 성능을 보이는 영상을 획득할 수 있다. 예를 들어 알파 파라미터는 -0.6에서 -0.4인 경우 좋은 성능을 보일 수 있다. 이에 따라, 알파 파라미터가 -0.6에서 -0.4인 경우네는 구간 폭을 상대적으로 크게 설정하고, 최고치인 -1.5 또는 1.0 등에 가까운 경우에는 구간 폭을 상대적으로 작게 설정할 수 있다.
따라서, 룩업 테이블 생성부(130)는 그 특정 구간에 해당하는 구간 폭을 넓히고, 다른 값들의 구간 폭은 상대적으로 줄이는 룩업 테이블을 생성할 수 있다. 다만, 알파 파라미터의 구간 별 값들은 경우에 따라 가변될 수 있으며, 알파 조절부(150)에서 설정함에 따라 구간별로 다른 값들이 할당될 수 있다.
이후, 해상도 변환 장치(100)는 룩업 테이블에 기초하여 해상도 변환을 수행한다(S209).
전술한 바와 같이, 해상도 스케일러(140)는 룩업 테이블 생성부(130)로부터 변환 유닛 블록별 알파 파라미터를 수신하여 가로 또는 세로 방향별 큐빅 컨볼루션 스케일링을 수행함으로써 해상도 변환된 영상을 획득하고, 외부로 출력할 수 있다. 그리고, 가로 방향 및 세로 방향 스케일링이 종료되면, 해상도 변환 장치(100)는 해상도 변환된 영상을 raw 데이터의 형태로 프레임 단위 또는 실시간으로 출력할 수 있다.
도 8은 본 발명의 실 실시 예에 따라 생성되는 룩업 테이블을 설명하기 위한 도면이며, 도 9 내지 도 10은 본 발명의 일 실시 예에 따른 해상도 변환 결과를 나타내는 도면들이다.
도 8은 변환 유닛 블록별 평균 에너지에 따라 추출되는 에너지 특징 정보에 따른 룩업 테이블이 생성되는 것을 나타내고 있다.
도 8에 도시된 바와 같이, 역양자화 과정에서 생성되는 변환 계수들의 평균 에너지량과, 이에 대응되는 구간별 누적 수를 분류하고, 분류 결과에 따라 각 평균 에너지 구간에 대응되는 알파 파라미터가 결정될 수 있다.
도 9 내지 도 10는 NxN 변환 유닛 블록 안에서 화소값들의 분산을 계산하여, 본 발명의 실시 예에 따른 변환 방법을 거쳐 생성된 변환 유닛(TU) 블록들을 도시하고 있다.
도 9 내지 도 10에 도시된 바와 같이, 미리 결정된 룩업 테이블로부터 획득되는 분산 또는 평균 에너지에 따른 알파 파라미터를 이용하여, 각 변환 유닛 블록별 알파 파라미터가 적용된 후, 각각의 큐빅 컨볼루션 스케일링을 통한 해상도 변환이 이루어 질 수 있다.
또한, 변환 유닛 블록별 크기와 위치는 앞서 룩업 테이블 생성부(130)에서 역양자화/역변환을 수행하는 모듈의 정보를 이용해 미리 생성하여 저장할 수 있다. 이에 따라, 각 스케일러(141, 142)에서는 전달 받은 변환 유닛 블록의 크기 및 위치에 따라 해당하는 변환 유닛 블록에 맞는 알파 파라미터를 조절할 수 있으며, 스케일링을 진행하고, 해상도 변환된 영상 결과물을 출력할 수 있다.
100: 해상도 변환 장치
200: 복호화기

Claims (15)

  1. 영상 신호의 해상도 변환 장치에 있어서,
    복호화된 영상 신호를 수신하는 입력부;
    상기 영상 신호의 복호화 과정에서 산출되는 유닛별 특징 정보를 획득하고, 상기 유닛별 특징 정보에 따른 스케일링 파라미터를 포함하는 룩업 테이블을 생성하는 룩업 테이블 생성부;
    상기 룩업 테이블을 이용하여 상기 유닛별 스케일링 파라미터를 획득하고, 상기 스케일링 파라미터에 따라 상기 복호화된 영상 신호에 대한 스케일링을 수행하는 적어도 하나의 스케일러; 및
    상기 스케일링 수행에 따라 해상도 변환된 영상을 출력하는 출력부를 포함하고,
    상기 스케일링 파라미터는 큐빅 컨볼루션 스케일러의 커널 모양을 결정하는 알파 파라미터를 포함하며,
    상기 룩업 테이블 생성부에서 분류된 유닛별 특징 정보 구간별 상기 알파 파라미터를 조절하여, 상기 스케일러의 큐빅 컨볼루션 스케일링 커널의 알파 파라미터를 적응적으로 가변하는 알파 조절부를 더 포함하는 해상도 변환 장치.
  2. 제1항에 있어서,
    상기 유닛 별 특징 정보는 상기 영상 신호의 역변환 단계에서 획득되는 변환 유닛 블록의 픽셀값들을 포함하고,
    상기 룩업 테이블 생성부는 상기 픽셀값들의 분산 값의 누적 분포도에 대응하여, 상기 유닛별 스케일링 파라미터를 결정하는
    해상도 변환 장치.
  3. 제2항에 있어서,
    상기 적어도 하나의 스케일러는
    상기 복호화된 영상 신호에 대해 제1 방향으로 스케일링을 수행하는 큐빅 컨볼루션 스케일러를 포함하고,
    상기 룩업 테이블 생성부는
    상기 분산 값의 누적 분포도에 따라, 상기 알파 조절부로부터 큐빅 컨볼루션 스케일링을 위한 상기 알파 파라미터를 누적 구간별로 획득하는
    해상도 변환 장치.
  4. 제3항에 있어서,
    상기 큐빅 컨볼루션 스케일러는
    상기 룩업 테이블 생성부로부터 스케일링 블록에 대한 상기 변환 유닛 블록의 크기 정보 및 위치 정보를 획득하고, 상기 변환 유닛 블록의 크기 정보 및 위치에 대응되는 상기 알파 파라미터를 획득하여 상기 스케일링 블록에 대한 큐빅 컨볼루션을 수행하는
    해상도 변환 장치.
  5. 제1항에 있어서,
    상기 유닛 별 특징 정보는 상기 영상 신호의 역양자화 단계에서 획득되는 변환 유닛 블록의 픽셀값들을 포함하고,
    상기 룩업 테이블 생성부는 상기 픽셀값들의 평균 에너지 값의 누적 분포도에 대응하여, 상기 유닛별 스케일링 파라미터를 결정하는
    해상도 변환 장치.
  6. 제5항에 있어서,
    상기 적어도 하나의 스케일러는
    상기 복호화된 영상 신호에 대해 제1 방향으로 스케일링을 수행하는 큐빅 컨볼루션 스케일러를 포함하고,
    상기 룩업 테이블 생성부는 상기 평균 에너지 값의 누적 분포도와 상기 알파 조절부에서 조절되는 구간별 알파 파라미터에 기초하여 큐빅 컨볼루션 스케일링을 위한 알파 파라미터를 상기 유닛별 스케일링 파라미터로 결정하는
    해상도 변환 장치.
  7. 제6항에 있어서,
    상기 큐빅 컨볼루션 스케일러는
    상기 룩업 테이블 생성부로부터 스케일링 블록에 대한 상기 변환 유닛 블록의 크기 정보 및 위치 정보를 획득하고, 상기 변환 유닛 블록의 크기 정보 및 위치에 대응되는 상기 알파 파라미터를 획득하여 상기 스케일링 블록에 대한 큐빅 컨볼루션을 수행하는
    해상도 변환 장치.
  8. 영상 신호의 해상도 변환 방법에 있어서,
    복호화된 영상 신호를 수신하는 단계;
    상기 영상 신호의 복호화 과정에서 산출되는 유닛별 특징 정보를 획득하고, 상기 유닛별 특징 정보에 따른 스케일링 파라미터를 포함하는 룩업 테이블을 생성하는 단계;
    상기 룩업 테이블을 이용하여 상기 유닛별 스케일링 파라미터를 획득하고, 상기 스케일링 파라미터에 따라 상기 복호화된 영상 신호에 대한 스케일링을 수행하는 단계; 및
    상기 스케일링 수행에 따라 해상도 변환된 영상을 출력하는 단계를 포함하고,
    상기 스케일링 파라미터는 큐빅 컨볼루션 스케일러의 커널 모양을 결정하는 알파 파라미터를 포함하며,
    알파 조절부가 상기 유닛별 특징 정보 구간별 상기 알파 파라미터를 조절하여, 상기 스케일러의 큐빅 컨볼루션 스케일링 커널의 알파 파라미터를 적응적으로 가변하는 단계를 더 포함하는
    해상도 변환 방법.
  9. 제8항에 있어서,
    상기 유닛 별 특징 정보는 상기 영상 신호의 역변환 단계에서 획득되는 변환 유닛 블록의 픽셀값들을 포함하고,
    상기 룩업 테이블을 생성하는 단계는, 상기 픽셀값들의 분산 값의 누적 분포도에 대응하여, 상기 유닛별 스케일링 파라미터를 결정하는 단계를 포함하는
    해상도 변환 방법.
  10. 제9항에 있어서,
    상기 스케일링을 수행하는 단계는
    상기 복호화된 영상 신호에 대해 제1 방향으로 큐빅 컨볼루션 스케일링을 수행하는 단계를 포함하고,
    상기 분산 값의 누적 분포도에 따라, 큐빅 컨볼루션 스케일링을 위한 알파 파라미터를 누적 구간별로 산출하여 상기 유닛 별 스케일링 파라미터로 결정하는 단계를 포함하는
    해상도 변환 방법.
  11. 제10항에 있어서,
    상기 스케일링을 수행하는 단계는,
    상기 룩업 테이블 생성부로부터 스케일링 블록에 대한 상기 변환 유닛 블록의 크기 정보 및 위치 정보를 획득하고, 상기 변환 유닛 블록의 크기 정보 및 위치에 대응되는 알파 파라미터를 획득하여 상기 스케일링 블록에 대한 큐빅 컨볼루션을 수행하는 단계를 포함하는
    해상도 변환 방법.
  12. 제8항에 있어서,
    상기 유닛 별 특징 정보는 상기 영상 신호의 역양자화 단계에서 획득되는 변환 유닛 블록의 픽셀값들을 포함하고,
    상기 룩업 테이블을 생성하는 단계는, 상기 픽셀값들의 평균 에너지 값에 대응하여, 상기 유닛별 스케일링 파라미터를 결정하는 단계를 포함하는
    해상도 변환 방법.
  13. 제12항에 있어서,
    상기 스케일링을 수행하는 단계는,
    상기 복호화된 영상 신호에 대해 제1 방향으로 큐빅 컨볼루션 스케일링을 수행하는 단계를 포함하고,
    상기 룩업 테이블을 생성하는 단계는,
    상기 평균 에너지 값의 누적 분포도와 알파 조절부에서 조절되는 구간별 알파 파라미터에 기초하여 큐빅 컨볼루션 스케일링을 위한 알파 파라미터를 상기 유닛별 스케일링 파라미터로 결정하는
    해상도 변환 방법.
  14. 제13항에 있어서,
    상기 큐빅 컨볼루션 스케일링을 수행하는 단계는,
    상기 룩업 테이블 생성부로부터 스케일링 블록에 대한 상기 변환 유닛 블록의 크기 정보 및 위치 정보를 획득하고, 상기 변환 유닛 블록의 크기 정보 및 위치에 대응되는 알파 파라미터를 획득하여 상기 스케일링 블록에 대한 큐빅 컨볼루션을 수행하는 단계를 포함하는
    해상도 변환 방법.
  15. 제8항 내지 제14항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터가 읽을 수 있는 기록 매체.
KR1020140061882A 2014-05-22 2014-05-22 복호화 정보를 이용한 해상도 변환 장치 및 그 방법 KR101653039B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140061882A KR101653039B1 (ko) 2014-05-22 2014-05-22 복호화 정보를 이용한 해상도 변환 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140061882A KR101653039B1 (ko) 2014-05-22 2014-05-22 복호화 정보를 이용한 해상도 변환 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20150135637A KR20150135637A (ko) 2015-12-03
KR101653039B1 true KR101653039B1 (ko) 2016-09-12

Family

ID=54871942

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140061882A KR101653039B1 (ko) 2014-05-22 2014-05-22 복호화 정보를 이용한 해상도 변환 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101653039B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11616988B2 (en) 2018-10-19 2023-03-28 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
KR102525576B1 (ko) * 2018-10-19 2023-04-26 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080827A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
US11720997B2 (en) 2018-10-19 2023-08-08 Samsung Electronics Co.. Ltd. Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof
KR102525578B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
KR102622950B1 (ko) * 2018-11-12 2024-01-10 삼성전자주식회사 디스플레이장치, 그 제어방법 및 기록매체
CN118233626A (zh) * 2019-06-28 2024-06-21 Sk电信有限公司 自适应地设置分辨率的设备和提供视频数据的设备
US12120320B2 (en) 2019-06-28 2024-10-15 Sk Telecom Co., Ltd. Method for adaptively setting resolution, and image decoding apparatus
CN114022357A (zh) * 2021-10-29 2022-02-08 北京百度网讯科技有限公司 图像重建方法、图像重建模型的训练方法、装置和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060011281A (ko) * 2004-07-30 2006-02-03 한종기 트랜스코더에 적용되는 해상도 변환장치 및 방법
KR100672958B1 (ko) * 2004-07-30 2007-01-22 세종대학교산학협력단 해상도 변환모듈과 움직임 예측모듈의 공동 최적화가가능한 트랜스코딩 시스템 및 방법

Also Published As

Publication number Publication date
KR20150135637A (ko) 2015-12-03

Similar Documents

Publication Publication Date Title
KR101653039B1 (ko) 복호화 정보를 이용한 해상도 변환 장치 및 그 방법
US20240283943A1 (en) Intra prediction in image processing
KR101972407B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
US11533470B2 (en) Method and apparatus for encoding/decoding an image signal
CN108028931B (zh) 用于视频编解码的自适应帧间预测的方法及装置
JP6535744B2 (ja) 画像符号化装置、画像復号化装置、及びこれらのプログラム
KR101857755B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
US20220030250A1 (en) Encoding device, decoding device, and program
KR20170058869A (ko) 인루프 필터를 이용한 비디오 복호화 방법 및 이를 위한 장치
JP5488684B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
KR101522260B1 (ko) 해상도 변환 방법 및 그 장치
KR101526321B1 (ko) 해상도 변환 방법 및 그 장치
KR101615503B1 (ko) 인트라 예측 정보를 이용한 해상도 변환 방법 및 그 장치
KR101615507B1 (ko) 움직임 정보를 이용한 해상도 변환 방법 및 그 장치
JP5509048B2 (ja) イントラ予測装置、符号化器、復号器、及びプログラム
KR101522261B1 (ko) 해상도 변환 방법 및 그 장치
JP6102977B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6102978B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5776803B2 (ja) 画像処理装置および方法、並びに記録媒体
JP5776804B2 (ja) 画像処理装置および方法、並びに記録媒体
KR20130070195A (ko) 문맥 기반의 샘플 적응적 오프셋 필터 방향 추론 및 적응적 선택에 대한 비디오 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190620

Year of fee payment: 4