KR20230133659A - 영상 변환방법 및 장치 - Google Patents

영상 변환방법 및 장치 Download PDF

Info

Publication number
KR20230133659A
KR20230133659A KR1020220030892A KR20220030892A KR20230133659A KR 20230133659 A KR20230133659 A KR 20230133659A KR 1020220030892 A KR1020220030892 A KR 1020220030892A KR 20220030892 A KR20220030892 A KR 20220030892A KR 20230133659 A KR20230133659 A KR 20230133659A
Authority
KR
South Korea
Prior art keywords
color
frequency
frequency coefficients
coefficients
color distortion
Prior art date
Application number
KR1020220030892A
Other languages
English (en)
Inventor
전진
김명훈
김재엽
나태영
최종인
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020220030892A priority Critical patent/KR20230133659A/ko
Publication of KR20230133659A publication Critical patent/KR20230133659A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 변환방법 및 장치를 개시한다.
본 개시의 일 측면에 의하면, 입력영상으로부터 색상 왜곡을 가지는 열화영상을 생성하기 위한 영상 변환 방법으로서, 상기 입력영상의 대상블록을 주파수 도메인으로 변환하는 과정; 및 상기 대상블록의 휘도 성분의 주파수 계수들 및 색차 성분들의 주파수 계수들 중 하나 이상을 이용하여, 상기 대상블록에 색상 왜곡을 추가하는 과정을 포함하는 것을 특징으로 하는 영상 변환방법을 제공한다.

Description

영상 변환방법 및 장치{Method and Apparatus for Image Transformation}
본 개시는 영상 변환방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
영상은 일상생활에서 가장 밀접하게 통합된 멀티미디어 중 하나이며 오늘날 더 나은 품질(QoE)에 대한 소비자의 기대치는 그 어느 때보다 높다. 화질이 좋지 않은 과거 영상들은 우수한 내용에도 불구하고 품질 문제로 인해 소비자에 의해 외면되는 경우가 많다. 이러한 문제를 해결하기 위해서, 저화질 영상을 고화질 영상으로 복원하는 딥러닝(deep learning) 기반의 영상 복원모델의 개발이 활발히 이루어지고 있다.
영상의 품질 열화 현상 중 영상 내의 색상이 왜곡되는 현상으로는, 컬러 블리딩(color bleeding) 현상 및 무아레(moire) 현상을 예로 들 수 있다. 컬러 블리딩 현상은 영상의 변환 및 디지털화(예컨대, MPEG-2 코딩)에 따라 발생할 수 있으며, 무아레 현상은 2가지 이상의 주파수 성분 간의 간섭에 의해 발생할 수 있다.
이러한 색상 왜곡들을 제거하도록 영상 복원모델을 학습시키기 위해서는, 학습용 데이터로서 색상 왜곡을 포함하는 영상이 필요하다. 영상 복원모델의 성능은 얼마나 다양한 영상 및/또는 얼마나 다양한 열화 정도를 갖는 영상을 이용하여 학습을 수행하였는지에 크게 좌우될 수 있다.
그러나 종래의 기술들은 영상 복원모델의 네트워크 구조를 통해 영상의 화질을 개선하는 측면으로만 접근하고 있으며, 색상 왜곡을 포함하는 학습용 데이터를 생성하는 방안에 대한 연구는 부족한 실정이다.
본 개시는, 입력 영상을 색상 왜곡을 가지는 열화 영상으로 변환하는 영상 변환방법 및 장치를 제공하는 데 주된 목적이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 측면에 의하면, 입력영상으로부터 색상 왜곡을 가지는 열화영상을 생성하기 위한 영상 변환 방법으로서, 상기 입력영상의 대상블록을 주파수 도메인으로 변환하는 과정; 및 상기 대상블록의 휘도 성분의 주파수 계수들 및 색차 성분들의 주파수 계수들 중 하나 이상을 이용하여, 상기 대상블록에 색상 왜곡을 발생시키는 과정을 포함하는 것을 특징으로 하는 영상 변환방법을 제공한다.
본 개시의 다른 측면에 의하면, 입력영상으로부터 색상 왜곡을 가지는 열화영상을 생성하는 영상 변환 장치로서, 상기 입력영상의 대상블록을 주파수 도메인으로 변환하는 변환부; 및 상기 대상블록의 휘도 성분의 주파수 계수들 및 색차 성분들의 주파수 계수들 중 하나 이상을 이용하여, 상기 대상블록에 색상 왜곡을 발생시키는 열화 발생부를 포함하는 것을 특징으로 하는 영상 변환장치를 제공한다.
본 개시의 일 실시예에 의하면, 입력 영상을 색상 왜곡을 가지는 열화 영상으로 변환할 수 있다.
본 개시의 일 실시예에 의하면, 열화 영상 내의 열화 정도를 다양하게 조정하거나, 특정한 열화 정도를 갖는 여러 열화 영상을 생성할 수 있다.
본 개시의 일 실시예에 의하면, 과거 영상 내에 존재하는 색상 왜곡현상을 인위적으로 재현한 열화 영상을 생성함으로써, 딥러닝 기반의 영상 복원모델의 학습용 데이터로 이용할 수 있다.
본 개시의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 영상 변환장치를 개략적으로 나타낸 블록구성도이다.
도 2는 영상의 컬러 포맷을 설명하기 위한 예시도이다.
도 3a 내지 도 3c는 본 개시의 일 실시예에 따른 주파수 도메인에서 양자화된 변환 계수들을 예시한 예시도이다.
도 4는 본 개시의 일 실시예에 따른 영상 변환방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따라 색상 왜곡을 추가하는 방법을 나타내는 흐름도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 이용해 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 개시에 따른 실시예의 구성요소를 설명하는 데 있어서, 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례나 순서 등이 한정되지 않는다. 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 개시의 예시적인 실시형태를 설명하고자 하는 것이며, 본 개시가 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
도 1은 본 개시의 일 실시예에 따른 영상 변환장치를 개략적으로 나타낸 블록구성도이다.
도 2는 영상의 컬러 포맷을 설명하기 위한 예시도이다.
도 3a 내지 도 3c는 본 개시의 일 실시예에 따른 주파수 도메인에서 양자화된 변환 계수들을 예시한 예시도이다.
도 1에 도시되듯이, 본 개시의 일 실시예에 따른 영상 변환장치(10)는 컬러 포맷 변환부(110), 예측부(120), 감산기(130), 변환부(140), 양자화부(150), 열화 발생부(160), 역양자화부(170), 역변환부(180) 및 가산기(190)의 전부 또는 일부를 포함할 수 있다. 도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 영상 변환장치(10)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. 영상 변환장치(10)의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고, 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
하나의 동영상(비디오)은 하나 이상의 픽처들을 포함하는 하나 이상의 시퀀스로 구성될 수 있다. 영상 변환장치(10)는, 각 픽처들을 하나 이상의 블록(block)으로 분할하여, 블록 단위로 색상 왜곡을 발생시킬 수 있다. 따라서, 블록의 크기를 조정함으로써, 색상 왜곡이 발생되는 영역의 크기를 다양화할 수 있다.
컬러 포맷 변환부(110)는 입력 영상의 컬러 포맷(color format)을 변환한다.
컬러 포맷 변환부(110)는 입력 영상의 컬러 포맷을 저해상도 크로마(chroma) 샘플링 포맷으로 변환할 수 있다. 크로마 샘플링 포맷은 밝기 성분과 색차 성분이 분리되어 있는 YUV 컬러 포맷에서 휘도 성분(Y)과 색차 성분들(U 및 V)의 비율을 나타내며, 각각의 비율에 따라 YUV 4:4:4, YUV 4:2:2 및 YUV 4:2:0 등으로 나뉠 수 있다. 예컨대, 도 2를 참조하면, YUV 4:4:4 포맷의 영상은, 각 화소마다 하나씩의 휘도 성분(Y)과 색차 성분들(U 및 V)이 할당된다. 반면, YUV 4:2:0 포맷의 영상은 각 화소마다 휘도 성분(Y)이 할당되고, 색차 성분들(U 및 V)은 4개의 픽셀 중 2개의 픽셀에 할당된다.
컬러 포맷 변환부(110)는 고해상도 크로마 샘플링 포맷의 입력 영상을 저해상도 크로마 샘플링 포맷으로 변환함으로써, 색의 공간 해상도를 떨어뜨려 1차적인 컬러 블리딩(color bleeding)을 발생시킬 수 있다. 예컨대, 컬러 포맷 변환부(110)는 YUV 4:4:4 포맷의 입력 영상의 색차 성분들을 수직 방향과 수평 방향으로 다운 샘플링하여 YUV 4:2:0 포맷으로 변환할 수 있으나, 이에 한정되는 것은 아니다.
한편, 이상에서는 입력 영상에 대해 컬러 포맷 변환을 수행하는 예를 설명하였으나, 이는 일 예로서 이에 한정되는 것은 아니며, 본 개시의 다른 실시예에 따르면 각 픽처 또는 각 블럭에 대해 컬러 포맷 변환을 수행할 수도 있다.
이하에서는, 색상 왜곡을 발생시키고자 하는 블록을 '현재블록'이라 칭한다. 본 개시에서 현재블록은, 저해상도 크로마 샘플링 포맷으로 컬러 포맷이 변환된 블록을 의미할 수 있다.
예측부(120)는 현재블록을 예측하여 예측블록(predicted block)을 생성한다.
현재블록의 예측은 현재블록을 포함하는 픽처로부터의 데이터를 사용하는 인트라 예측 기술을 사용하여 수행될 수 있다. 예컨대, 예측부(120)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재블록 내의 픽셀들을 예측할 수 있다.
감산기(130)는 현재블록으로부터 예측부(120)에 의해 생성된 예측블록을 감산하여 잔차블록을 생성한다.
변환부(140)는 공간 영역의 픽셀 값들을 가지는 잔차블록을 주파수 도메인으로 변환한다. 구체적으로, 변환부(140)는 잔차블록 내의 잔차신호를 주파수 도메인의 변환 계수들로 변환할 수 있다. 변환부(140)는 이산 코사인 변환(DCT: Discrete Cosine Transform, 이하 'DCT 변환'이라 칭함) 등의 다양한 변환 기법을 이용하여 잔차신호를 주파수 도메인으로 변환할 수 있다. 변환부(140)는 휘도 성분의 잔차블록과 색차 성분들의 잔차블록을 각각 주파수 도메인으로 변환할 수 있다.
양자화부(150)는 주파수 도메인으로 변환된 잔차블록을 양자화(quantization)한다. 구체적으로, 양자화부(150)는 변환부(140)로부터 출력되는 변환 계수들을 양자화할 수 있다. 양자화부(150)는 휘도 성분의 변환 계수들 및 색차 성분의 변환 계수들을 각각 양자화할 수 있다.
열화 발생부(160)는 휘도 성분의 양자화된 변환 계수들 및 색차 성분의 양자화된 변환 계수들 중 하나 이상을 이용하여, 잔차블록에 색상 왜곡을 추가한다.
열화 발생부(160)는 휘도 성분의 양자화된 변환 계수들 및 색차 성분들의 양자화된 변환 계수들 중 하나 이상에 기초하여, 잔차블록에 색상 왜곡을 추가할지 여부 및/또는 추가할 색상 왜곡의 유형을 결정하는 결정부(162) 및 결정된 색상 왜곡의 유형에 기초하여 색차 성분들의 양자화된 변환 계수들 중 하나 이상을 조정하는 조정부(164)를 전부 또는 일부 포함할 수 있다. 여기서, 색상 왜곡의 유형은 색상 왜곡 없음, 컬러 블리딩 및 무아레 패턴 중 하나 이상을 포함할 수 있다.
과거 영상에서 컬러 블러딩은 일반적으로 휘도 성분이 급격하게 변화하는 엣지(edge) 부분에서 발생하게 된다. 이러한 점에 기인하여, 본 개시의 일 실시예에 따른 결정부(162)는, 잔차블록에서 엣지가 검출되는지에 기초하여 잔차블록에 컬러 블러딩을 추가할지 여부를 결정할 수 있다.
이를 위해, 결정부(162)는 휘도 성분의 양자화된 변환 계수들 중 기설정된 제1 고주파 영역에 대응하는 계수들의 절댓값의 합을 이용하여, 엣지를 검출할 수 있다. 여기서, 고주파 영역은 수평 및 수직 주파수(또는 인덱스)가 소정의 값 이상인 영역이거나, 수평 및 수직 주파수의 합이 소정의 값 이상인 영역일 수 있다.
예컨대, 휘도 성분의 잔차블록의 크기가 8×8이고, 휘도 성분의 양자화된 변환 계수들을 도 3a와 같이 지그재그(Zigzag) 순으로 넘버링할 때, 제1 고주파 영역에 대응하는 계수들의 절댓값의 합은 수학식 1과 같이 표현될 수 있다.
Figure pat00001
여기서, Yi는 휘도 성분의 i번째 양자화된 변환 계수이고, YHF는 휘도 성분의 제1 고주파 영역에 대응하는 계수들의 절댓값의 합이다.
결정부(162)는 휘도 성분의 양자화된 변환 계수들 중 제1 고주파 영역에 대응하는 계수들의 절댓값의 합을 기설정된 제1 임계치와 비교하여, 잔차블록에 컬러 블리딩을 추가할지 여부를 결정할 수 있다.
구체적으로, 휘도 성분의 양자화된 변환 계수들 중 제1 고주파 영역에 대응하는 절댓값의 합이 기설정된 제1 임계치보다 같거나 작은 것으로 판단되면, 결정부(162)는 잔차블록에 색상 왜곡을 추가하지 않는 것으로 결정할 수 있다.
반면, 휘도 성분의 양자화된 변환 계수들 중 제1 고주파 영역에 대응하는 계수들의 합이 기설정된 제1 임계치보다 큰 것으로 판단되면, 결정부(162)는 잔차 블록에 추가할 색상 왜곡의 유형이 컬러 블리딩을 포함하는 것으로 결정할 수 있다. 이러한 컬러 블리딩 추가 조건은 수학식 2와 같이 표현될 수 있다.
Figure pat00002
여기서, λY는 기설정된 제1 임계치이다. 제1 임계치는 픽처 내에서 컬러 블리딩을 추가할 블록을 결정하는 요소로, 예컨대 100일 수 있으나 이에 한정되는 것은 아니다. 실시예들에 따라, 결정부(162)는 제1 임계치를 변경함으로써 픽처 내에서 컬러 블리딩이 추가되는 영역을 다양화할 수 있다.
본 개시의 일 실시예에 따른 결정부(162)는, 색차 성분들의 양자화된 변환 계수들 중 제2 고주파 영역에 대응하는 계수들의 절댓값의 합을 이용하여, 잔차블록에 무아레 패턴을 추가할지 여부를 결정할 수 있다.
예컨대, 색차 성분들의 잔차블록의 크기가 4×4이고, 색차 성분들의 양자화된 변환 계수들을 도 3b 및 도 3c와 같이 지그재그 순으로 넘버링할 때, 각 색차 성분의 제2 고주파 영역에 대응하는 계수들의 절댓값의 합은 수학식 3과 같이 표현될 수 있다.
Figure pat00003
여기서, Ui는 제1 색차 성분의 i번째 양자화된 변환 계수이고, UHF는 제1 색차 성분의 제2 고주파 영역에 대응하는 계수들의 절댓값의 합이다. Vi는 제2 색차 성분의 i번째 양자화된 변환 계수이고, VHF는 제2 색차 성분의 제2 고주파 영역에 대응하는 계수들의 절댓값의 합이다.
결정부(162)는 색차 성분들의 양자화된 변환 계수들 중 제2 고주파 영역에 대응하는 계수들의 절댓값의 합을 기설정된 제2 임계치와 비교하여, 잔차블록에 무아레 패턴을 추가할지 여부를 결정할 수 있다.
구체적으로, 휘도 성분의 양자화된 변환 계수들 중 제2 고주파 영역에 대응하는 계수들의 합이 기설정된 제2 임계치보다 큰 것으로 판단되면, 결정부(162)는 잔차 블록에 추가할 색상 왜곡의 유형이 무아레 패턴을 포함하는 것으로 결정할 수 있다. 이러한 무아레 패턴 추가 조건은 수학식 4와 같이 표현될 수 있다.
Figure pat00004
여기서, λU,V는 기설정된 제2 임계치이다. 제2 임계치는 픽처 내에서 무아레 패턴을 추가할 블록을 결정하는 요소로, 예컨대 50일 수 있으나 이에 한정되는 것은 아다. 실시예들에 따라, 결정부(162)는 제2 임계치를 변경함으로써 픽처 내에서 무아레 패턴이 추가되는 영역을 다양화할 수 있다.
조정부(164)는 색상 왜곡의 유형이 컬러 블리딩 및/또는 무아레 패턴을 포함하는 경우, 색차 성분들의 양자화된 변환 계수들 중 하나 이상을 조정한다.
구체적으로, 색상 왜곡의 유형이 컬러 블러딩을 포함하면, 조정부(164)는 색차 성분들의 양자화된 변환 계수들 중 제3 고주파 영역에 대응하는 계수들을 모두 0으로 변경할 수 있다. 즉, 조정부(164)는 색차 성분들의 일부 주파수 성분들을 제거함으로써 컬러 블러딩을 발생시킬 수 있다. 이러한 컬러 블리딩을 위한 계수 조정은 수학식 5와 같이 표현될 수 있다.
Figure pat00005
여기서, 제3 고주파 영역은, 컬러 블러딩에 의한 열화 정도를 결정하는 요소로, 예컨대 제2 고주파 영역과 동일한 영역일 수 있으나 이에 한정되는 것은 아니다. 실시예들에 따라, 조정부(164)는 제3 고주파 영역을 변경함으로써 컬러 블러딩에 의한 열화 정도를 다양화할 수 있다.
한편, 색상 왜곡의 유형이 무아레 패턴을 포함하면, 조정부(164)는 색차 성분들의 양자화된 변환 계수들 중 DC성분의 변환 계수(이하, DC 계수)를 증가시킬 수 있다. 즉, 조정부(164)는 색차 성분들의 양자화된 DC 계수에 소정의 증가분을 더함으로써, 무아레 현상에 의해 새로운 주파수와 새로운 색이 나타나는 것을 표현할 수 있다. 이러한 무아레 패턴을 위한 계수 조정은 수학식 6과 같이 표현될 수 있다.
Figure pat00006
여기서, μd,U 및 μd,V는 각 색차 성분들의 양자화된 DC 계수에 더해지는 증가분이다.
본 개시의 일 실시예에 따르면, 각 색차 성분들의 양자화된 DC 계수에 더해지는 증가분은, 색차 성분들의 양자화 전의 DC 계수, 즉, 변환부(140)가 출력하는 색차 성분들의 DC 계수를 기초로 산출될 수 있다. 예컨대, 수학식 7과 같이, 색차 성분들의 양자화된 DC 계수에 더해지는 증가분은, 색차 성분들의 양자화 전의 DC 계수를 기설정된 제수(예컨대, 3)으로 나눈 나머지일 수 있다.
Figure pat00007
한편, 각 색차 성분들의 양자화된 DC 계수에 더해지는 증가분 및/또는 기설정된 제수는, 무아레 패턴에 열화 정도를 결정하는 요소로, 전술한 예시에 한정되는 것은 아니다. 실시예들에 따라, 조정부(164)는 증가분 및/또는 제수를 변경함으로써 무아레 패턴에 의한 열화 정도를 다양화할 수 있다.
역양자화부(170)는 조정된 변환계수들을 역양자화하고, 역변환부(180)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여, 공간 도메인 상에서 색상 왜곡이 추가된 잔차블록을 생성한다. 여기서, 역양자화와 역변환은 변환부(140)가 수행한 변환 과정과 양자화부(150)가 수행한 양자화 과정을 각각 역으로 수행함으로써 이루어질 수 있다.
가산기(190)는 예측부(120)에서 생성된 예측블록과 역변환부(180)에 의해 생성된 잔차 블록을 가산하여, 현재블록을 재구성한다.
한 픽처 내의 모든 블록들이 재구성되면 재구성된 블록들을 포함하는 열화 픽처를 생성할 수 있고, 하나 이상의 열화 픽처를 기초로 열화 영상을 생성할 수 있다.
한편, 이상에서는 열화 발생부(160)가 양자화된 변환 계수들을 이용하여 색상 왜곡의 유형을 결정하고, 결정된 유형에 따라 양자화된 변환 계수를 조정하는 예를 설명하였으나, 본 개시가 이에 한정되는 것은 아니다.
예컨대, 본 개시의 다른 실시예에 따른 열화 발생부(160)는 변환부(140)로부터 출력되는 휘도 성분의 변환 계수들 및 색차 성분의 변환 계수들을 이용하여 잔차블록에 색상 왜곡을 추가할 수도 있다. 나아가, 양자화부(150)는 열화 발생부(160)로부터 출력되는 조정된 변환 계수들을 양자화하고, 역양자화부(170)는 양자화된 변환 계수들을 역양자화할 수 있다.
도 4는 본 개시의 일 실시예에 따른 영상 변환방법을 나타내는 흐름도이다.
도 4에 도시된 방법은, 전술한 영상 변환장치(10)에 의해 수행될 수 있으므로, 중복되는 설명에 대해서는 생략한다.
영상 변환장치(10)는 입력영상(또는 현재블록)의 컬러 포맷을 저해상도 크로마 샘플링 포맷으로 변환한다(S400). 예컨대, YUV 4:4:4 포맷의 입력 영상의 색차 성분들을 수직 방향과 수평 방향으로 다운 샘플링하여 YUV 4:2:0 포맷으로 변환할 수 있다.
영상 변환장치(10)는 입력영상의 대상블록을 주파수 도메인으로 변환한다(S410). 여기서, 대상블록은, 현재블록으로부터 예측블록을 감산한 잔차블록일 수 있다.
영상 변환장치(10)는 대상블록의 휘도 성분의 주파수 계수들 및 색차 성분들의 주파수 계수들 중 하나 이상을 이용하여, 대상블록에 색상 왜곡을 추가한다(S420). 여기서, 주파수 계수들은, 변환 계수들 또는 양자화된 변환 계수들일 수 있다.
일 실시예에서, 영상 변환장치(10)는 휘도 성분의 주파수 계수들 및 색차 성분들의 주파수 계수들 중 하나 이상에 기초하여, 대상블록에 추가할 색상 왜곡의 유형을 결정할 수 있다. 색상 왜곡의 유형은, 색상 왜곡 없음, 컬러 블리딩 및 무아레 패턴 중 하나 이상을 포함할 수 있다.
일 실시예에서, 영상 변환장치(10)는 결정된 색상 왜곡의 유형에 기초하여 색차 성분들의 주파수 계수들 중 하나 이상을 조정할 수 있다.
영상 변환장치(10)가 대상블록에 추가할 색상 왜곡의 유형을 결정하고, 이를 기초로 색차 성분들의 주파수 계수들을 조정하는 구체적인 방법은 도 5에서 후술하도록 한다.
영상 변환장치(10)는 주파수 도메인 상에서 색상 왜곡이 추가된 대상블록을 공간 도메인으로 역변환하여 열화영상을 생성한다(S430).
도 5는 본 개시의 일 실시예에 따라 색상 왜곡을 추가하는 방법을 나타내는 흐름도이다.
도 4에 도시된 방법은, 전술한 열화 발생부(160) 및/또는 이를 포함하는 영상 변환장치(10)에 의해 수행될 수 있으므로, 중복되는 설명에 대해서는 생략한다.
영상 변환장치(10)는 휘도 성분의 주파수 계수들 중 제1 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합(YHF)이 기설정된 제1 임계치(λY)보다 큰지 확인한다(S500).
영상 변환장치(10)는 색차 성분들의 주파수 계수들 중 제2 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합(UHF + VHF)이 기설정된 제2 임계치(λU,V)보다 큰지 확인한다(S510 및 S514).
영상 변환장치(10)는 과정 S500, S510 및/또는 S514의 확인 결과에 기초하여 대상블록에 추가할 색상 왜곡의 유형을 결정할 수 있다.
제1 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합(YHF)이 기설정된 제1 임계치(λY) 이하이고(S500, No), 색차 성분들의 주파수 계수들 중 제2 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합(UHF+VHF)이 기설정된 제2 임계치(λU,V) 이하인 것으로 확인되면(S514, No), 제1 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합(YHF)이 기설정된 제1 임계치(λY) 이하인 것으로 확인되면, 영상 변환장치(10)는 대상블록에 추가할 색상 왜곡의 유형을 '색상 왜곡 없음'으로 결정한다(S520).
제1 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합(YHF)이 기설정된 제1 임계치(λY) 이하이고(S500, No), 색차 성분들의 주파수 계수들 중 제2 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합(UHF+VHF)이 기설정된 제2 임계치(λU,V)보다 큰 것으로 확인되면(S514, Yes), 영상 변환장치(10)는 대상블록에 추가할 색상 왜곡의 유형을 '무아레 패턴'으로 결정하고, 대상블록에 무아레 패턴이 추가되도록 색차 성분들의 주파수 계수들을 조정한다(S524).
예컨대, 영상 변환장치(10)는 색차 성분들의 주파수 계수들 중 DC 주파수의 계수를 소정의 증가분만큼 증가시킴으로써, 대상블록에 무아레 패턴을 추가할 수 있다. 여기서, 증가분은 색차 성분들의 DC 변환 계수를 기설정된 제수로 나눈 나머지일 수 있다.
제1 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합(YHF)이 기설정된 제1 임계치(λY) 보다 크고(S500, Yes), 색차 성분들의 주파수 계수들 중 제2 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합(UHF+VHF)이 기설정된 제2 임계치(λU,V) 이하인 것으로 확인되면(S510, No), 영상 변환장치(10)는 대상블록에 추가할 색상 왜곡의 유형을 '컬러 블리딩'으로 결정하고, 대상블록에 컬러 블리딩이 추가되도록 색차 성분들의 주파수 계수들을 조정한다(S530).
예컨대, 영상 변환장치(10)는 색차 성분들의 주파수 계수들 중 제3 고주파 영역에 대응하는 주파수 계수들을 모두 0으로 변경함으로써, 대상블록에 컬러 블리딩을 추가할 수 있다.
제1 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합(YHF)이 기설정된 제1 임계치(λY) 보다 크고(S500, Yes), 색차 성분들의 주파수 계수들 중 제2 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합(UHF+VHF)이 기설정된 제2 임계치(λU,V)보다 큰 것으로 확인되면(S510, Yes), 영상 변환장치(10)는 대상블록에 추가할 색상 왜곡의 유형을 '컬러 블리딩 및 무아레 패턴'으로 결정하고, 대상블록에 컬러 블리딩 및 무아레 패턴이 추가되도록 색차 성분들의 주파수 계수들을 조정한다(S540).
예컨대, 영상 변환장치(10)는 색차 성분들의 주파수 계수들 중 제3 고주파 영역에 대응하는 주파수 계수들은 모두 0으로 변경하고, DC 주파수의 계수는 소정의 증가분만큼 증가시킴으로써, 대상블록에 컬러 블리딩 및 무아레 패턴을 추가할 수 있다. 여기서, 증가분은 색차 성분들의 DC 변환 계수를 기설정된 제수로 나눈 나머지일 수 있다.
본 발명에 따른 장치 또는 방법의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록매체"에 저장된다.
컴퓨터가 읽을 수 있는 기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있으며, 또한 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.
본 명세서의 흐름도/타이밍도에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 흐름도/타이밍도에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 흐름도/타이밍도는 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 영상 변환장치

Claims (10)

  1. 입력영상으로부터 색상 왜곡을 가지는 열화영상을 생성하기 위한 영상 변환 방법으로서,
    상기 입력영상의 대상블록을 주파수 도메인으로 변환하는 과정; 및
    상기 대상블록의 휘도 성분의 주파수 계수들 및 색차 성분들의 주파수 계수들 중 하나 이상을 이용하여, 상기 대상블록에 색상 왜곡을 추가하는 과정
    을 포함하는 것을 특징으로 하는 영상 변환방법.
  2. 제1항에 있어서,
    상기 색상 왜곡을 추가하는 과정은,
    상기 휘도 성분의 주파수 계수들 및 색차 성분들의 주파수 계수들 중 하나 이상에 기초하여, 상기 대상블록에 추가할 색상 왜곡의 유형을 결정하는 과정; 및
    상기 색상 왜곡의 유형에 기초하여, 상기 색차 성분들의 주파수 계수들 중 하나 이상을 조정하는 과정
    을 포함하는 것을 특징으로 하는 영상 변환방법.
  3. 제2항에 있어서,
    상기 결정하는 과정은,
    상기 휘도 성분의 주파수 계수들 중 기설정된 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합이 기설정된 제1 임계치보다 크면, 상기 색상 왜곡의 유형이 컬러 블리딩(color bleeding)을 포함하는 것으로 결정하는 것을 특징으로 하는 영상 변환방법.
  4. 제2항에 있어서,
    상기 조정하는 과정은,
    상기 색상 왜곡의 유형이 컬러 블리딩을 포함하면, 상기 색차 성분들의 주파수 계수들 중 기설정된 고주파 영역에 대응하는 주파수 계수들을 모두 0으로 변경하는 것을 특징으로 하는 영상 변환방법.
  5. 제2항에 있어서,
    상기 결정하는 과정은,
    상기 색차 성분들의 주파수 계수들 중 기설정된 고주파 영역에 대응하는 주파수 계수들의 절댓값의 합이 기설정된 제2 임계치보다 크면, 상기 색상 왜곡의 유형이 무아레 패턴(moire pattern)을 포함하는 것으로 결정하는 것을 특징으로 하는 영상 변환방법.
  6. 제2항에 있어서,
    상기 조정하는 과정은,
    상기 색상 왜곡의 유형이 무아레 패턴을 포함하면, 상기 색차 성분들의 주파수 계수들 중 DC 주파수의 계수(이하, DC 주파수 계수)를 증가시키는 것을 특징으로 하는 영상 변환방법.
  7. 제6항에 있어서,
    상기 색차 성분들의 DC 주파수 계수는, 상기 색차 성분들의 양자화된 DC 변환 계수이고,
    상기 조정하는 과정은,
    상기 색차 성분들의 양자화된 DC 변환 계수를, 상기 색차 성분들의 DC 변환 계수를 기설정된 제수로 나눈 나머지만큼 증가시키는 것을 특징으로 하는 영상 변환방법.
  8. 제1항에 있어서,
    상기 변환하는 과정 이전에,
    상기 입력영상의 컬러 포맷(color format)을 저해상도 크로마 샘플링 포맷으로 변환하는 과정
    을 추가로 포함하는 것을 특징으로 하는 영상 변환방법.
  9. 입력영상으로부터 색상 왜곡을 가지는 열화영상을 생성하는 영상 변환 장치로서,
    상기 입력영상의 대상블록을 주파수 도메인으로 변환하는 변환부; 및
    상기 대상블록의 휘도 성분의 주파수 계수들 및 색차 성분들의 주파수 계수들 중 하나 이상을 이용하여, 상기 대상블록에 색상 왜곡을 추가하는 열화 발생부
    를 포함하는 것을 특징으로 하는 영상 변환장치.
  10. 제9항에 있어서,
    상기 열화 발생부는,
    상기 휘도 성분의 주파수 계수들 및 색차 성분들의 주파수 계수들 중 하나 이상에 기초하여, 상기 대상블록에 추가할 색상 왜곡의 유형을 결정하는 결정부; 및
    상기 색상 왜곡의 유형에 기초하여, 상기 색차 성분들의 주파수 계수들 중 하나 이상을 조정하는 조정부
    를 포함하는 것을 특징으로 하는 영상 변환장치.
KR1020220030892A 2022-03-11 2022-03-11 영상 변환방법 및 장치 KR20230133659A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220030892A KR20230133659A (ko) 2022-03-11 2022-03-11 영상 변환방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220030892A KR20230133659A (ko) 2022-03-11 2022-03-11 영상 변환방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230133659A true KR20230133659A (ko) 2023-09-19

Family

ID=88196675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220030892A KR20230133659A (ko) 2022-03-11 2022-03-11 영상 변환방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230133659A (ko)

Similar Documents

Publication Publication Date Title
KR100723403B1 (ko) 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
TWI611689B (zh) 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及／或儲存設備
JP2877768B2 (ja) 動補償された映像のブロック化効果及びリンギングノイズ減少のためのループフィルタリング方法
US20180302634A1 (en) Advanced video coding method, system, apparatus, and storage medium
CN112789856A (zh) 视频编/解码中基于变换域滤波的量化伪影抑制
US8340404B2 (en) Image processing device and method, learning device and method, program, and recording medium
JP2007521740A (ja) 変換ドメイン内のゼロを早期に発見する方法
JP2005525014A (ja) 符号化されたデジタルビデオのためのシャープネスエンハンスメントのシステムおよび方法
US11843801B2 (en) Image prediction method and apparatus for performing intra prediction
RU2661309C1 (ru) Межслойное предсказание для сигналов с улучшенным динамическим диапазоном
JP2007336468A (ja) 再符号化装置、再符号化方法およびプログラム
JP7450604B2 (ja) ビデオコーディング及び処理のためのデブロッキングフィルタ
JP2895034B1 (ja) 適応的ブロック現象除去機能を有する復号化器及び適応的ブロック現象除去復号化方法
JP4776505B2 (ja) 画像符号化装置、画像復号装置及び画像処理プログラム
KR20230133659A (ko) 영상 변환방법 및 장치
US8929439B2 (en) Compressed image noise removal device and reproduction device
KR101345294B1 (ko) 영상의 양자화 장치 및 방법
JP4784618B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化プログラム、及び動画像復号化プログラム
Li et al. MPEG2 video parameter and no reference PSNR estimation
JP4784386B2 (ja) 復号化装置、逆量子化方法及びプログラム
WO2005004496A1 (en) Method for preventing noise when coding macroblocks
JP4857152B2 (ja) 直交変換・量子化装置
KR102467091B1 (ko) 효과적인 비디오 압축을 위한 슈퍼 레졸루션 영상 처리 방법 및 시스템
JP4250553B2 (ja) 画像データ処理方法及び装置
JP5488168B2 (ja) 画像符号化装置