KR20170077621A - 영상 압축에서의 플리커링 현상 제거 방법 및 그 장치 - Google Patents

영상 압축에서의 플리커링 현상 제거 방법 및 그 장치 Download PDF

Info

Publication number
KR20170077621A
KR20170077621A KR1020150187690A KR20150187690A KR20170077621A KR 20170077621 A KR20170077621 A KR 20170077621A KR 1020150187690 A KR1020150187690 A KR 1020150187690A KR 20150187690 A KR20150187690 A KR 20150187690A KR 20170077621 A KR20170077621 A KR 20170077621A
Authority
KR
South Korea
Prior art keywords
flickering
variance
unit
image
frame
Prior art date
Application number
KR1020150187690A
Other languages
English (en)
Inventor
이상윤
김성완
손한빈
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020150187690A priority Critical patent/KR20170077621A/ko
Publication of KR20170077621A publication Critical patent/KR20170077621A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 압축 기술에서 발생하는 플리커링 현상을 제거하는 방법 및 그 장치에 관한 것이다.
본 발명에 따른 영상 압축에서의 플리커링 제거 방법은, 현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 제1 분산을 산출하는 단계; 현재 프레임이 속하는 GOP에 포함된 I 프레임에서의 상기 예측 유닛 블록에 대응하는 영상 블록에 포함된 화소들의 제2 분산을 산출하는 단계; 상기 제1 분산과 상기 제2 분산 간의 비율에 따라 플리커링 현상의 발생 여부를 판단하는 단계; 상기 플리커링 현상이 발생한 것으로 판단한 경우, 라그랑주 승수를 보정하는 단계; 및 상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 단계;를 포함할 수 있다.

Description

영상 압축에서의 플리커링 현상 제거 방법 및 그 장치 {Method and Apparatus of removal of Flickering artifact for Video compression}
본 발명은 영상 압축 기술에서 발생하는 플리커링 현상을 제거하는 방법 및 그 장치에 관한 것이다.
영상 신호를 저장하고 전송하기 위하여 기존에 다양한 영상 압축 기술에 개발되어 사용되어 오고 있다. 특히 점차적으로 4K급 초고화질, 초고해상도 영상의 수요가 증가함에 따라, 보다 높은 압축률을 달성할 수 있는 영상 압축 기술에 대한 수요 역시 증대되어 왔다. 이에 따라 기존의 영상 압축 기술 중 하나인 H.264/AVC 보다 높은 압축 효율을 가진 새로운 영상 압축 표준이 필요하게 되었고, 국제 영상 표준화 단체에서는 차세대 영상 부호화 표준으로 고효율 영상 부호화기(High Efficiency Video Coding)에 대한 표준화를 2013년 1월 경에 완료하였다.
HEVC(High Efficiency Video Coding)는 초고해상도 및 초고화질의 영상을 높은 압축률로 부호화 및 복호화하기 위하여 제안된 표준기술로써, 국제 표준기구 ISO/IEC 산하의 MPEG과 ITU-T산하의 VCEG이 협력하여 구성한 JCT-VC에서 표준화 작업이 시작되어 표준 승인이 된 국제 표준기술이다. HEVC는 영상 부호화에 있어서 향상된 압축률을 달성하기 위하여 기존의 AVC/H.264 등의 표준기술에서 적용되었던 부호화 방법들을 개선하였고, 그중 화면 내 예측 부호화 방법에 있어서도 보다 개선된 부호화 방법들을 표준으로 채택하였다. 이와 같은 HEVC 부호화기는 압축 성능 측면에서 기존의 영상 압축 기술인 H.264/AVC 표준 기술에 비하여 40% 정도의 부호화 효율 향상을 보이고 있다.
이와 같은 부호화 효율의 향상을 위하여 HEVC는 예를 들어 기존의 AVC/H.264가 화면 내 예측 부호화에 있어서 9가지 방향의 모드를 지원하였던 것을 개선하여, 총 35가지 방향의 모드를 지원한다. 또한 HEVC는 영상 압축 성능을 개선하기 위하여 최대 64x64 부터 최소 8x8 화소의 다양한 크기를 가지는 부호화 유닛(Coding Unit) 개념을 도입하기도 하였다. HEVC는 압축 대상 영상을 그 특성에 따라 가장 적절한 크기의 부호화 유닛 단위로 분할하고, 각 부호화 유닛 별로 적용할 부호화 방법 즉 화면 간 부호화 또는 화면 내 부호화 방법 등을 결정한다. 그리고 위와 같이 분할된 부호화 유닛을 다시 예측 유닛(Prediction Unit)으로 분할하고, 각 예측 유닛 별로 부호화 방법의 세부 동작 모드들을 결정하여 최적화된 부호화가 수행되도록 한다.
그런데 HEVC 압축 기법에 의하여 부호화되고 복호화되는 영상 프레임에 있어서도 영상 압축의 오류 중 하나인 플리커링 현상이 나타난다는 문제점이 있다. 플리커링은 부호화 후에 시간적 영역에서 발생하는 대표적인 잡음 현상이다. 이와 같은 플리커링은 프레임과 프레임 사이에 존재하는 화질의 시간적인 변화가 시각적으로 인식되면서 발생한다. 특히 플리커링은 영상 안에서 복잡한 부분이 단순한 영상으로 바뀌었을 때 인간 눈에 잘 띄는 현상이 있다.
HEVC에서 플리커링이 발생하는 경우는 예를 들면 다음과 같다. 고효율 부호화기(High Efficiency Video Coding)에서 프레임은 GOP(Group of picture) 단위로 묶이게 된다. 시간적인 영역에서 GOP구조 안에서 I 프레임(Intra picture frame)과 B 프레임(Predictive frame)이 연속적으로 존재할 경우 화질의 차이가 발생하게 되고 이때 플리커링이 발생할 수 있다. 또한 공간적인 영역에서는 영상안의 영역이 복잡한 영역에서 단순한 영역으로 바뀌었을 때 인간에게 잘 인지되는 플리커링 현상이 발생할 수 있다.
(비특허문헌 0001) Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, and Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 22, NO. 12, DECEMBER 2012.
이에 본 발명에서는 영상 압축 과정에서 발생하는 플리커링 현상을 제거하기 위한 방법 및 그에 관한 장치를 제공하고자 한다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 영상 압축에서의 플리커링 제거 방법은, 현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 제1 분산을 산출하는 단계; 현재 프레임이 속하는 GOP에 포함된 I 프레임에서의 상기 예측 유닛 블록에 대응하는 영상 블록에 포함된 화소들의 제2 분산을 산출하는 단계; 상기 제1 분산과 상기 제2 분산 간의 비율에 따라 플리커링 현상의 발생 여부를 판단하는 단계; 상기 플리커링 현상이 발생한 것으로 판단한 경우, 라그랑주 승수를 보정하는 단계; 및 상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 단계;를 포함할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 영상 압축에서의 플리커링 제거 방법은, 현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 분산을 산출하는 단계; 상기 분산을 소정의 임계치와 비교하고, 그 비교 결과에 따라 라그랑주 승수를 보정하는 단계; 및 상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 단계;를 포함할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 영상 압축에서의 플리커링 제거 장치는 현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 제1 분산을 산출하는 제1 분산 산출부; 현재 프레임이 속하는 GOP에 포함된 I 프레임에서의 상기 예측 유닛 블록에 대응하는 영상 블록에 포함된 화소들의 제2 분산을 산출하는 제2 분산 산출부; 상기 제1 분산과 상기 제2 분산 간의 비율에 따라 플리커링 현상의 발생 여부를 판단하는 플리커링 발생 판단부; 상기 플리커링 현상이 발생한 것으로 판단한 경우, 라그랑주 승수를 보정하는 라그랑주 승수 보정부; 및 상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 율-왜곡 최적화부;를 포함할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 영상 압축에서의 플리커링 제거 장치는, 현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 분산을 산출하는 분산 산출부; 상기 분산을 소정의 임계치와 비교하고, 그 비교 결과에 따라 라그랑주 승수를 보정하는 라그랑주 승수 보정부; 및 상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 율-왜곡 최적화부;를 포함할 수 있다.
본 발명에 따른 플리커링 현상 제거 장치 및 그 방법에 의하면, 영상 압축에서 화질 차이로 인해 발생하는 플리커링을 효과적으로 제거할 수 있는 효과가 있다. 특히 본 발명 따른 플리커링 제거 장치 및 그 방법에 의하면 공간적 영역에서 인간에게 잘 인지되는 플리커링을 줄임으로써 주관적 화질 향상을 달성할 수 있는 효과가 있다. 또한 본 발명에 따른 플리커링 제거 장치 및 방법에 의하면, 입력 영상의 픽셀의 통계적 정보를 이용하기 때문에 부호화 시 복잡도가 크게 증가하지 않는 장점이 있다.
도 1은 고효율 영상 부호화기(High Efficiency Video Coding)의 구조이다.
도 2는 고효율 영상 부호화기에서 부호화 트리 유닛(Coding tree unit), 부호화 유닛(Coding unit), 예측 유닛(Prediction unit), 변환 유닛(transform unit)의 재귀적 분할 구조를 나타낸 것이다.
도 3은 고효율 영상 부호화기에서 율-왜곡 최적화(Rate-distortion optimization) 시에 예측 방법 선택 과정을 나타낸 것이다.
도 4는 IPPP 구조에서 I프레임(Intra prediction frame)이 주기적으로 삽입된 GOP 구조이다.
도 5는 본 발명에 따른 픽셀의 분산 변화량 정보를 이용하는 람다(Lambda) 가중치 알고리즘의 순서도이다.
도 6는 본 발명에 따른 현재 프레임의 픽셀의 분산을 이용한 람다(Lambda) 가중치 알고리즘의 순서도이다.
도 7는 도 5의 알고리즘과 도 6의 알고리즘을 혼합한 본 발명에 따른 알고리즘의 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
영상 압축 기술은 영상의 저장과 전송의 용이성을 위하여 필요한 기술이다. 4K급 초고화질, 초고해상도 영상의 수요의 증가에 따라 좀 더 높은 압축률을 가진 부호화기의 필요성이 대두되었다. 이에 따라 기존의 영상 압축 기술인 H.264/AVC를 뛰어넘는 압축 효율을 가진 새로운 영상 압축 표준이 필요하게 되었고, 국제 영상 표준화 단체에서는 차세대 영상 부호화 표준인 고효율 영상 부호화기(High Efficiency Video Coding)에 대한 표준화를 2013년 1월에 완료하였다. 영상 부호화 기술인 고효율 영상 부호화기는 압축 성능 측면에서 기존의 영상 압축 기술인 H.264/AVC 표준 기술에 비하여 40% 정도의 부호화 효율 향상을 보이고 있다.
영상 압축의 기본 원리는 입력된 영상의 통계적인 특성을 이용해서 부호화하는 것이다. 고효율 영상 부호화기에서는 부호화 과정을 약 다섯 가지로 나눌 수 있다. 도 1은 고효율 영상 부호화기의 부호화 과정을 시각적으로 나타낸 도면이다. 부호화기는 입력받은 영상을 통해 시간 및 공간적 중복성을 이용하는 예측 부호화를 한다. 예측 부호화의 결과로 예측 영상을 얻으면 원래 영상과의 잔차를 계산하여 변환과 양자화를 수행하게 된다. 한편, 변환과 양자화된 영상은 다시 역변환과 역양자화를 통해 복호화 되어 이 정보를 인-루프 필터를 이용해 보정하게 된다. 보정된 결과는 버퍼에 저장되어 예측을 하는데 이용된다. 최종적으로 변환과 양자화된 영상은 엔트로피 변환을 이용하여 부호화된 비트 스트림으로 출력된다.
고효율 부호화기에서는 과거의 H.264/AVC에서 기본 블록단위로 사용되었던 16x16로 고정된 크기를 가진 매크로블록 대신 입력 영상을 계층적 트리 구조인 부호화 트리 유닛(Coding Tree Unit; CTU)을 이용한다. 도 2는 고효율 부호화기의 부호화 트리 유닛, 부호화 유닛(Coding Unit), 예측 유닛(Prediction Unit), 변환 유닛(Transform Unit)의 다양한 분할 방법의 예시이다. 도 2를 참조하면 각 프레임은 복수의 부호화 트리 유닛의 단위로 분할된다. 부호화 트리 유닛은 8x8부터 64x64의 가변적인 크기를 가질 수 있다. 부호화 트리 유닛은 다시 적어도 하나의 부호화 유닛으로 분할된다. 부호화 유닛은 적어도 하나의 예측 유닛과 변환 유닛으로 분할된다. 하나의 부호화 유닛 안에서 예측 유닛과 변환 유닛은 서로 독립적이고 영역의 크기는 다양할 수 있다.
도 3와 같이 고효율 부호화기에서는 여러 가지 예측 방법을 사용한다. 예측은 예측 유닛에서 수행 되며 압축 효율을 극대화하기 위해 율-왜곡 최적화(Rate-Distortion optimization) 과정을 통해 효율적인 방법을 선택한다. 예측 방법은 크게 화면 내 예측과 화면 간 예측 기술로 나뉘며 두 가지 방법은 여러 가지 옵션과 혼합되어 다양한 예측 방법을 만들어 낸다.
율-왜곡 최적화 과정은 예측 후보를 선택함에 있어서 여러 가지 예측 후보 중 비트율과 왜곡 정도를 적절히 고려하여 최대의 효율성을 가지는 후보를 선택하는 과정이다. 고효율 부호화기에서는 일반적으로 왜곡 정도에 라그랑주 승수인 람다를 곱하고 비트율을 더하여 후보 선택 비용을 결정한다. 따라서 부호화기는 람다에 따라 비트율과 왜곡 정도에 가중을 두어 예측 방법을 선택하게 된다. 부호화기는 람다에 따라 비트율과 왜곡 정도에 가중을 두어 예측 방법을 선택하기 때문에 람다 제어를 통해 화질을 제어할 수 있다. 따라서 작은 람다 값이 배정된 영역에서는 좋은 화질을 기대할 수 있고 큰 람다 값이 배정된 영역에서는 작은 비트율을 갖게 된다.
GOP(Group of picture) 구조란 연속적인 프레임의 집합이다. GOP 단위 안에서 프레임은 I 프레임(Intra picture frame), P 프레임(Predictive frame), B 프레임(Bi-predictive inter frame) 중 하나로 결정된다. 프레임의 종류에 따라 프레임 내부에 존재하는 부호화 블록의 예측 방법이 제한된다. I프레임은 화면 내 부호화만으로 부호화하는 방식이다. P 프레임과 B 프레임은 인트라 부호화와 인터 부호화를 모두 사용한다는 공통점이 있지만 참조 프레임의 개수에 차이가 있다. P 프레임과 B 프레임은 I 프레임을 참조하여 부호화를 시행하기 때문에 GOP단위 안에서 일반적으로 I 프레임과 P 프레임, B 프레임을 비교했을 때 I프레임의 화질이 P 프레임, B 프레임에 비하여 월등히 좋지만 비트율이 크다.
플리커링은 부호화 후에 시간적 영역에서 발생하는 대표적인 잡음 현상이다. 플리커링은 프레임과 프레임 사이에 존재하는 화질의 시간적인 변화가 시각적으로 인식되면서 발생한다. 특히 플리커링은 영상 안에서 복잡한 부분이 단순한 영상으로 바뀌었을 때 인간 눈에 잘 띄는 현상이 있다.
플리커링이 발생하는 예시는 다음과 같다. 고효율 부호화기(High Efficiency Video Coding)에서 프레임은 GOP(Group of picture) 단위로 묶이게 된다. 시간적인 영역에서 GOP구조 안에서 I 프레임(Intra picture frame) 과 B프레임(Predictive frame)이 연속적으로 존재할 경우 화질의 차이가 발생하게 되고 플리커링이 발생한다. 공간적인 영역에서는 영상안의 영역이 복잡한 영역에서 단순한 영역으로 바뀌었을 때 인간에게 잘 인지되는 플리커링 현상이 발생한다고 가정할 수 있다.
이에 본 발명에서는 영상 압축 과정에서 발생하는 플리커링 현상을 제거하기 위한 방법 및 그에 관한 장치를 제공하고자 한다.
이하에서는 본 발명에 따른 플리커링 현상 제거 장치 및 그 방법의 동작에 대하여 보다 상세히 설명한다.
먼저 플리커링을 제거하기 위해서는 영상 재생 시에 프레임이 바뀔 때 같은 영역에서 화질 차이가 적어야 한다. 본 발명에 따른 플리커링 제거 방법은 각 부호화 유닛 블록 내부의 픽셀의 휘도 성분과 색차 성분의 통계적 정보가 플리커링의 발생과 상관관계가 높음을 이용한다. 상관관계의 높음은 아래에서 구체적으로 설명할 것이다. 통계적 정보를 이용하여 한 프레임 안에서 부호화 유닛마다 선택적으로 화질을 조절하여 시간적으로 연속된 두 프레임에서 같은 위치의 영역 간의 화질 왜곡 차이를 줄인다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.
부호화기는 원본 영상 정보를 입력 받아 부호화 작업을 시작한다. 부호화기는 영상을 GOP(Group of picture) 단위로 나누어 버퍼에 저장한다.
GOP구조는 사용자의 설정에 따라 입력되는 구조이다. 도 4는 IPPP 구조에서 주기적으로 I프레임(Intra picture frame)이 삽입된 GOP 구조의 예시이다. GOP구조안의 모든 P 프레임(Prediction frame)은 GOP 구조 안의 첫 번째에 위치하는 I 프레임과 바로 이전 프레임을 참조하여 부호화한다.
부호화기는 원본 영상의 분할된 예측 유닛(Prediction Unit) 혹은 변환 유닛(Transform Unit)에서 픽셀의 휘도 성분과 색차 성분 정보를 이용하여 통계적인 특성을 추출해 각 유닛을 대표할 수 있는 정보를 생성한다. 각 유닛의 정보는 다른 프레임의 같은 위치에 있는 유닛의 정보와 함께 이용할 수 있다.
각 예측 유닛에서는 서로 다른 율-왜곡 최적화(Rate-distortion optimization) 과정의 라그랑주 승수(Lagrange multiplier)인 람다(Lambda)를 가질 수 있다.
하나의 GOP 단위에서 I 프레임 대비 각 프레임의 분산이 줄어들었다는 것은 복잡한 영상이 단순한 영상으로 바뀌었을 확률이 높다는 것이다. 플리커링 현상은 복잡한 영상에서 단순한 영상으로 바뀌는 영역에서 인간에게 인지 되기 쉽다고 가정할 수 있다.
이상과 같은 원리를 이용하여 본 발명에 따른 플리커링 현상 제거 장치 방법은 아래와 같이 동작할 수 있다.
먼저 일 실시예에 있어서 본 발명에 따른 영상 압축에서의 플리커링 제거 방법은, 현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 제1 분산을 산출하는 단계; 현재 프레임이 속하는 GOP에 포함된 I 프레임에서의 상기 예측 유닛 블록에 대응하는 영상 블록에 포함된 화소들의 제2 분산을 산출하는 단계; 상기 제1 분산과 상기 제2 분산 간의 비율에 따라 플리커링 현상의 발생 여부를 판단하는 단계; 상기 플리커링 현상이 발생한 것으로 판단한 경우, 라그랑주 승수를 보정하는 단계; 및 상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 단계;를 포함할 수 있다.
또한 본 발명의 또 다른 실시예에 따른 영상 압축에서의 플리커링 제거 장치는 현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 제1 분산을 산출하는 제1 분산 산출부; 현재 프레임이 속하는 GOP에 포함된 I 프레임에서의 상기 예측 유닛 블록에 대응하는 영상 블록에 포함된 화소들의 제2 분산을 산출하는 제2 분산 산출부; 상기 제1 분산과 상기 제2 분산 간의 비율에 따라 플리커링 현상의 발생 여부를 판단하는 플리커링 발생 판단부; 상기 플리커링 현상이 발생한 것으로 판단한 경우, 라그랑주 승수를 보정하는 라그랑주 승수 보정부; 및 상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 율-왜곡 최적화부;를 포함할 수 있다.
이하에서는 도 5를 참조하면서 상술한 본 발명에 따른 플리커링 제거 방법 및 그 장치에 대하여 보다 상세히 설명한다.
도 5에서는 픽셀의 분산 정보가 플리커링과 관계가 있음을 이용한 실시 예이다. 알고리즘을 적용할 영역은 4x4 크기의 예측 유닛으로 한다. 여기서 예측 유닛의 크기는 설정에 따라 다른 크기가 될 수도 있다. Var_cur은 현재 프레임에서 예측 유닛의 최소크기인 4x4 크기의 블록 안의 픽셀의 분산 정보이다. Var_I는 현재 프레임이 속해있는 GOP구조에서 첫 번째 I프레임의 같은 위치에 있는 블록 안에서의 픽셀 분산 정보이다.
Var_cur / Var_I는 I프레임의 분산 대비 현재 프레임의 분산이다. 이 지표는 분산이 기준 프레임에서 얼마나 바뀌었는지에 대한 정보를 담고 있다.
도 5에서 분산의 변화량이 D_th보다 작으면 인간에게 잘 인지되는 플리커링 현상이 발생한다고 가정할 수 있다. 이 조건을 만족하는 예측 유닛 단위의 블록에서 람다 값에 1보다 작은 가중치인 W_Small을 곱하여 수정된 람다 값을 율-왜곡 최적화 과정에 이용한다. D_th, W_small는 실험적인 결과로 최적의 값을 얻을 수 있다. 도 5에서 수정된 람다 값은 기존의 값 보다 작으므로 부호화기는 해당 블록에서 예측 과정 시에 화질을 더욱 고려하여 예측 후보를 선정한다.
특정 부분의 람다 값을 줄이면 전체적으로 화질이 개선되지만 비트율이 증가하므로 압축 성능에 영향을 줄 수 있으므로 인간이 인지 할 수 있는 화질의 손실이 적은 영역에서 비트율을 낮춘다.
화질의 손실이 인간에게 주관적으로 얼마나 잘 인지 되는 지의 정도는 해당 영역의 픽셀의 분산과 비례한다고 가정할 수 있다. 유닛의 분산 값이 작은 영역은 분산이 큰 영역보다 해당 영역의 인간이 인지 할 수 있는 화질의 손실이 작다고 할 수 있으므로 상대적으로 분산이 작은 영역에서 비트율을 줄일 수 있다.
또한 본 발명의 또 다른 실시 예에 따른 영상 압축에서의 플리커링 제거 방법은, 현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 분산을 산출하는 단계; 상기 분산을 소정의 임계치와 비교하고, 그 비교 결과에 따라 라그랑주 승수를 보정하는 단계; 및 상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 단계;를 포함할 수 있다.
여기서 본 발명의 또 다른 실시예에 따른 영상 압축에서의 플리커링 제거 장치는, 현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 분산을 산출하는 분산 산출부; 상기 분산을 소정의 임계치와 비교하고, 그 비교 결과에 따라 라그랑주 승수를 보정하는 라그랑주 승수 보정부; 및 상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 율-왜곡 최적화부;를 포함할 수 있다.
이하에서는 도 6을 참조하면서 상술한 본 발명에 따른 플리커링 제거 방법 및 그 장치에 대하여 보다 상세히 설명한다.
도 6은 현재 프레임의 픽셀의 분산을 이용한 비트율을 낮추는 알고리즘의 순서도이다. 알고리즘을 적용할 영역은 4x4 크기의 예측 유닛으로 한다. 도 5의 입력 조건에 만족하지 않는 영역 중에서 분산이 V_th보다 작은 영역은 람다 값에 1보다 큰 가중치인 W_Large를 곱한다. V_th, W_Large는 실험적인 결과로 최적의 값을 얻을 수 있다.
도 7은 도 5의 알고리즘과 도 6의 알고리즘을 혼합한 알고리즘이다. 플리커링을 제거가 필요한 블록에서 수정된 람다 값은 기존의 값 보다 작으므로 부호화기는 해당 블록에서 예측 과정 시에 화질을 더욱 고려하여 예측 후보를 선정한다. 화질 저하가 발생해도 인간의 눈에 잘 인지되지 않는 블록에서 수정된 람다 값은 기존의 값 보다 크므로 부호화기는 해당 블록에서 예측 과정 시에 비트율을 더욱 고려하여 예측 후보를 선정한다.
본 명세서에 개시되어있는 본 발명의 방법에 따른 실시 예들에 대해서 특정한 구조와 설정들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적이다. 본 발명의 개념에 따른 실시 예는 다양한 형태들로 실시될 수 있으므로 본 명세서에 설명된 실시 예들에 한정되지 않는다. 또한 본 발명을 설명함에 있어서 관련된 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (4)

  1. 영상 압축에서의 플리커링 제거 방법에 있어서,
    현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 제1 분산을 산출하는 단계;
    현재 프레임이 속하는 GOP에 포함된 I 프레임에서의 상기 예측 유닛 블록에 대응하는 영상 블록에 포함된 화소들의 제2 분산을 산출하는 단계;
    상기 제1 분산과 상기 제2 분산 간의 비율에 따라 플리커링 현상의 발생 여부를 판단하는 단계;
    상기 플리커링 현상이 발생한 것으로 판단한 경우, 라그랑주 승수를 보정하는 단계; 및
    상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 단계;를 포함하는 것을 특징으로 하는 영상 압축에서의 플리커링 제거 방법.
  2. 영상 압축에서의 플리커링 제거 방법에 있어서,
    현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 분산을 산출하는 단계;
    상기 분산을 소정의 임계치와 비교하고, 그 비교 결과에 따라 라그랑주 승수를 보정하는 단계; 및
    상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 단계;를 포함하는 것을 특징으로 하는 영상 압축에서의 플리커링 제거 방법.
  3. 영상 압축에서의 플리커링 제거 장치에 있어서,
    현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 제1 분산을 산출하는 제1 분산 산출부;
    현재 프레임이 속하는 GOP에 포함된 I 프레임에서의 상기 예측 유닛 블록에 대응하는 영상 블록에 포함된 화소들의 제2 분산을 산출하는 제2 분산 산출부;
    상기 제1 분산과 상기 제2 분산 간의 비율에 따라 플리커링 현상의 발생 여부를 판단하는 플리커링 발생 판단부;
    상기 플리커링 현상이 발생한 것으로 판단한 경우, 라그랑주 승수를 보정하는 라그랑주 승수 보정부; 및
    상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 율-왜곡 최적화부;를 포함하는 것을 특징으로 하는 영상 압축에서의 플리커링 제거 장치.
  4. 영상 압축에서의 플리커링 제거 장치에 있어서,
    현재 프레임에서의 예측 유닛 블록에 포함된 화소들의 분산을 산출하는 분산 산출부;
    상기 분산을 소정의 임계치와 비교하고, 그 비교 결과에 따라 라그랑주 승수를 보정하는 라그랑주 승수 보정부; 및
    상기 보정한 라그랑주 승수를 이용하여 율-왜곡 최적화를 수행하는 율-왜곡 최적화부;를 포함하는 것을 특징으로 하는 영상 압축에서의 플리커링 제거 장치.
KR1020150187690A 2015-12-28 2015-12-28 영상 압축에서의 플리커링 현상 제거 방법 및 그 장치 KR20170077621A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150187690A KR20170077621A (ko) 2015-12-28 2015-12-28 영상 압축에서의 플리커링 현상 제거 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150187690A KR20170077621A (ko) 2015-12-28 2015-12-28 영상 압축에서의 플리커링 현상 제거 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20170077621A true KR20170077621A (ko) 2017-07-06

Family

ID=59354014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150187690A KR20170077621A (ko) 2015-12-28 2015-12-28 영상 압축에서의 플리커링 현상 제거 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20170077621A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200008343A (ko) * 2018-07-16 2020-01-28 삼성전자주식회사 영상 처리 장치 및 그 동작방법
US11153575B2 (en) 2018-03-06 2021-10-19 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11153575B2 (en) 2018-03-06 2021-10-19 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR20200008343A (ko) * 2018-07-16 2020-01-28 삼성전자주식회사 영상 처리 장치 및 그 동작방법
US11871144B2 (en) 2018-07-16 2024-01-09 Samsung Electronics Co., Ltd. Image processing apparatus and operation method thereof

Similar Documents

Publication Publication Date Title
JP6974516B2 (ja) 復元ブロック生成方法、予測情報符号化方法、ビットストリーム、コンピュータ可読媒体
JP6316487B2 (ja) エンコーダ、デコーダ、方法、及びプログラム
JP6254668B2 (ja) イントラ予測モードにおける映像復号化方法
KR101952293B1 (ko) 적응형 컬러 공간 변환 코딩
CN107197256B (zh) 用于对图像的序列进行编码和解码的方法和装置
KR101538704B1 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
US20160191951A1 (en) Secondary boundary filtering for video coding
US20120128070A1 (en) Video Encoding Method for Encoding Division Block, Video Decoding Method for Decoding Division Block, and Recording Medium for Implementing the Same
KR101981905B1 (ko) 인코딩 방법 및 장치, 디코딩 방법 및 장치, 및 컴퓨터 판독가능 저장 매체
KR20090095317A (ko) 영상 부호화 및 복호화 방법 및 장치
KR102138828B1 (ko) 영상 부호화 방법 및 장치
JP4529615B2 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
KR20110071231A (ko) 부호화 방법, 복호화 방법 및 장치
KR20130045148A (ko) 인트라 예측 모드에서의 영상 부호화 방법 및 장치
KR20060054485A (ko) 경계강도에 기초한 적응 필터링
US8903184B2 (en) Image-encoding method, image-encoding device, and computer-readable recording medium storing image-encoding program
US10638155B2 (en) Apparatus for video encoding, apparatus for video decoding, and non-transitory computer-readable storage medium
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
KR20120010177A (ko) 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
CN110300302B (zh) 一种视频编码方法、装置和存储介质
KR20110112165A (ko) 컨텐트에 기반한 다이나믹 레인지 변환을 이용하는 비디오 부호화 방법과 그 장치, 및 컨텐트에 기반한 다이나믹 레인지 변환을 이용하는 비디오 복호화 방법과 그 장치
CN110913215B (zh) 一种预测模式的选择方法及装置、可读存储介质
KR20170077621A (ko) 영상 압축에서의 플리커링 현상 제거 방법 및 그 장치
CN113906754A (zh) 图像编码/解码方法和设备
EP2735144B1 (en) Adaptive filtering based on pattern information