KR20210017434A - 영상 압축 장치 및 영상 압축 방법 - Google Patents

영상 압축 장치 및 영상 압축 방법 Download PDF

Info

Publication number
KR20210017434A
KR20210017434A KR1020190096673A KR20190096673A KR20210017434A KR 20210017434 A KR20210017434 A KR 20210017434A KR 1020190096673 A KR1020190096673 A KR 1020190096673A KR 20190096673 A KR20190096673 A KR 20190096673A KR 20210017434 A KR20210017434 A KR 20210017434A
Authority
KR
South Korea
Prior art keywords
compression
line
bit rate
image data
image
Prior art date
Application number
KR1020190096673A
Other languages
English (en)
Other versions
KR102239193B1 (ko
Inventor
이성원
김호영
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020190096673A priority Critical patent/KR102239193B1/ko
Publication of KR20210017434A publication Critical patent/KR20210017434A/ko
Application granted granted Critical
Publication of KR102239193B1 publication Critical patent/KR102239193B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/797—Processing of colour television signals in connection with recording for recording the signal in a plurality of channels, the bandwidth of each channel being less than the bandwidth of the signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 압축 장치 및 영상 압축 방법에 관한 것이다. 본 발명의 일 실시예에 따른 영상 압축 장치는, 복수의 라인을 포함하는 영상 데이터를 압축하며, 하나의 라인을 단위로 영상 데이터를 압축하는 제 1 압축 모드와 2개의 라인을 단위로 영상 데이터를 압축하는 제 2 압축 모드 사이에서 압축 모드가 동적으로 변화하는 라인 압축기; 및 상기 라인 압축기가 압축하는 상기 영상 데이터의 각 라인의 비트율을 결정하는 비트율 제어기를 포함할 수 있다.

Description

영상 압축 장치 및 영상 압축 방법{IMAGE COMPRESSION APPARATUS AND IMAGE COMPRESSION METHOD}
본 발명은 영상 처리에 관한 것으로서, 더욱 상세하게는, 영상 압축 장치 및 영상 압축 방법에 관한 것이다.
최근 각종 디스플레이 장치와 저가형 영상센서 장치들의 해상도가 급격히 증가하면서 기존에 영상 압축 기술을 적용하지 않았던 영상처리 장치들에서 처리되는 영상 데이터량 또한 급격히 증가하고 있다. 이러한 급격한 영상 데이터량의 증가는 각종 디스플레이 장치와 저가형 영상센서 기반의 장치들에서 대역폭의 한계 발생, 전력 소모량의 급격한 증가, 실시간성 유지의 어려움 등의 다양한 문제들을 일으키고 있다. 증가된 영상 데이터량을 효과적으로 감소시키는 기술로써 영상 압축 표준 기술들이 많이 연구되고 있지만, 종래의 영상 압축 표준 기술들은 높은 압축 복잡도 및 관련 하드웨어 구현 비용 등으로 인해 저비용의 시스템 설계가 매우 중요한 영상 응용 장치들에서는 그 적용이 제한적이다. 따라서, 최소한의 압축 비용만으로 영상처리 장치들에 쉽게 추가되어 종래 기술의 문제들을 효율적으로 해결할 수 있는 저메모리 영상 압축 장치 및 영상 압축 방법에 대한 요구가 증가하고 있다.
본 발명이 이루고자 하는 기술적 과제는, 저메모리에 의해 구현 가능하면서도 전력 소모가 증가되지 않고, 향상된 비트율 제어 성능을 나타낼 뿐만 아니라, 텍스트 영상과 분할 영상 모드에서도 화질의 일관성이 강하게 유지되는 영상 압축 방법 및 영상 압축 장치를 제공하는 것이다.
본 발명의 실시예에 따르면, 복수의 라인을 포함하는 영상 데이터를 압축하며, 하나의 라인을 단위로 영상 데이터를 압축하는 제 1 압축 모드와 2개의 라인을 단위로 영상 데이터를 압축하는 제 2 압축 모드 사이에서 압축 모드가 동적으로 변화하는 라인 압축기; 및 상기 라인 압축기가 압축하는 상기 영상 데이터의 각 라인의 비트율을 결정하는 비트율 제어기를 포함하는 영상 압축 장치가 제공될 수 있다.
일 실시예에서, 상기 라인 압축기는, 상기 영상 데이터를 상기 제 1 압축 모드와 상기 제 2 압축 모드로 각각 압축한 결과를 비교하고, 상기 제1 압축 모드와 상기 제 2 압축 모드 중 압축 효율이 더 높은 압축 모드를 동적으로 선택할 수 있다.
일 실시예에서, 영상 압축 장치는 상기 영상 데이터를 휘도 채널 성분과 색차 채널 성분으로 변환하는 컬러 변환부; 인접한 2개의 라인 사이의 방향적 상관도를 추정하여 SAD(Sum of Absolute Difference) 값이 최소가 되는 예측 방향에 기초하여 라인간 예측을 수행하는 라인간 예측부; 상기 영상 데이터의 상기 휘도 채널 성분과 상기 색차 채널 성분에 대하여 복수의 주파수 대역별로 이산 웨이블릿 변환을 수행하는 이산 웨이블릿 변환부; 이산 웨이블릿 변환된 상기 영상 데이터의 복수의 고주파수 대역의 계수를 주파수 대역에 따라 상이한 양자화 레벨로 양자화하는 양자화부; 이산 웨이블릿 변환된 상기 영상 데이터의 저주파수 대역의 계수를 수평 방향 예측 또는 수직 방향 예측에 기초하여 부호화하는 선택적 예측 코딩부; 양자화된 복수의 고주파수 대역의 계수 및 부호화된 저주파수 대역의 계수를 미리 정해진 순서에 따라 복수의 비트로 배열하는 주파수 셔플러; 및 배열된 복수의 비트를 허프만 테이블 기반의 가변 길이 코딩 방식에 의해 코딩한 비트 스트림을 생성하는 가변 길이 코딩부를 포함할 수 있다.
일 실시예에서, 상기 비트율 제어기는 상기 제 1 압축 모드에 대하여 미리 정해진 제 1 비트율 제어 테이블과 상기 제 2 압축 모드에 대하여 미리 정해진 제 2 비트율 제어 테이블에 기초하여 상기 영상 데이터의 각 라인의 비트율을 결정하고, 상기 제 1 비트율 제어 테이블과 상기 제 2 비트율 제어 테이블 간의 기울기 변화 차이를 보상할 수 있다.
일 실시예에서, 상기 비트율 제어기는 가장 높은 주파수 특성을 갖는 H1 대역의 평균 에너지의 차이가 가장 큰 위치를 경계선으로 하여 상기 영상 데이터의 프레임의 상단 영역과 하단 영역을 구분하고, 상기 상단 영역의 누적 압축률을 기반으로 나머지 영역의 목표 압축률을 동적으로 할당할 수 있다.
일 실시예에서, 상기 비트율 제어기는 가장 높은 주파수 특성을 갖는 H1 대역의 평균 에너지가 프레임의 마지막 1/4 이전에 임계값 이상으로 변경되는 장면 전환이 발생한 경우에, 장면 전환이 발생한 프레임의 나머지 영역에 대한 목표 압축률을 미리 정해진 기본값으로 변경할 수 있다.
본 발명의 다른 실시예에 따르면, 복수의 라인을 포함하는 영상 데이터를 압축하며, 하나의 라인을 단위로 영상 데이터를 압축하는 제 1 압축 모드와 2개의 라인을 단위로 영상 데이터를 압축하는 제 2 압축 모드 사이에서 압축 모드가 동적으로 변화하는 라인 압축 단계; 및 상기 라인 압축 단계에서 압축되는 상기 영상 데이터의 각 라인의 비트율을 결정하는 비트율 제어 단계를 포함하는 영상 압축 방법이 제공될 수 있다.
일 실시예에서, 상기 라인 압축 단계는, 상기 영상 데이터를 상기 제 1 압축 모드와 상기 제 2 압축 모드로 각각 압축한 결과를 비교하고, 상기 제1 압축 모드와 상기 제 2 압축 모드 중 압축 효율이 더 높은 압축 모드를 동적으로 선택하는 단계를 포함할 수 있다.
일 실시예에서, 상기 라인 압축 단계는 상기 영상 데이터를 휘도 채널 성분과 색차 채널 성분으로 변환하는 컬러 변환 단계; 인접한 2개의 라인 사이의 방향적 상관도를 추정하여 SAD(Sum of Absolute Difference) 값이 최소가 되는 예측 방향에 기초하여 라인간 예측을 수행하는 라인간 예측 단계; 상기 영상 데이터의 상기 휘도 채널 성분과 상기 색차 채널 성분에 대하여 복수의 주파수 대역별로 이산 웨이블릿 변환을 수행하는 이산 웨이블릿 변환 단계; 이산 웨이블릿 변환된 상기 영상 데이터의 복수의 고주파수 대역의 계수를 주파수 대역에 따라 상이한 양자화 레벨로 양자화하는 양자화 단계; 이산 웨이블릿 변환된 상기 영상 데이터의 저주파수 대역의 계수를 수평 방향 예측 또는 수직 방향 예측에 기초하여 부호화하는 선택적 예측 코딩 단계; 양자화된 복수의 고주파수 대역의 계수 및 부호화된 저주파수 대역의 계수를 미리 정해진 순서에 따라 복수의 비트로 배열하는 주파수 셔플 단계; 및 배열된 복수의 비트를 허프만 테이블 기반의 가변 길이 코딩 방식에 의해 코딩한 비트 스트림을 생성하는 가변 길이 코딩 단계를 포함할 수 있다.
일 실시예에서, 상기 비트율 제어 단계는 상기 제 1 압축 모드에 대하여 미리 정해진 제 1 비트율 제어 테이블과 상기 제 2 압축 모드에 대하여 미리 정해진 제 2 비트율 제어 테이블에 기초하여 상기 영상 데이터의 각 라인의 비트율을 결정하고, 상기 제 1 비트율 제어 테이블과 상기 제 2 비트율 제어 테이블 간의 기울기 변화 차이를 보상하는 단계를 포함할 수 있다.
일 실시예에서, 상기 비트율 제어 단계는 가장 높은 주파수 특성을 갖는 H1 대역의 평균 에너지의 차이가 가장 큰 위치를 경계선으로 하여 상기 영상 데이터의 프레임의 상단 영역과 하단 영역을 구분하고, 상기 상단 영역의 누적 압축률을 기반으로 나머지 영역의 목표 압축률을 동적으로 할당하는 단계를 포함할 수 있다.
일 실시예에서, 상기 비트율 제어 단계는 가장 높은 주파수 특성을 갖는 H1 대역의 평균 에너지가 프레임의 마지막 1/4 이전에 임계값 이상으로 변경되는 장면 전환이 발생한 경우에, 장면 전환이 발생한 프레임의 나머지 영역에 대한 목표 압축률을 미리 정해진 기본값으로 변경하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 영상 데이터를 1 라인 단위로 압축하는 제 1 압축 모드와 2 라인 단위로 압축하는 제 2 압축 모드 사이에서 압축 효율이 더 높은 압축 모드를 동적으로 선택함으로써, 저메모리에 의해 구현 가능하면서도 전력 소모가 증가되지 않고, 향상된 비트율 제어 성능을 나타낼 뿐만 아니라, 텍스트 영상과 분할 영상 모드에서도 화질의 일관성이 강하게 유지되는 영상 압축 방법 및 영상 압축 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 압축 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 영상 압축 장치의 라인 압축기(10)의 구성을 도시하는 블록도이다.
도 3은 본 발명의 실시예에 따른 영상 압축 장치에서 이전 라인의 참조 샘플들과 현재 라인의 예측 샘플들 간의 관계를 나타낸다.
도 4는 본 발명의 실시예의 1 라인 압축모드에서의 1차원 IWT 수행에 따른 5개의 부대역 결과와 2 라인 압축모드에서의 2차원 IWT 수행에 따른 10개의 부대역 결과를 각각 구분하여 나타내는 도면이다
도 5는 본 발명의 실시예에서 저주파 대역에서의 예측 부호화 과정을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 최적 압축모드의 선택 과정을 도시한다.
도 7은 각 압축 방식에 따른 FCR 결과를 도시하는 그래프이다.
도 8은 종래의 라인 압축시스템에서의 화질의 불균형이 발생하는 것을 설명하는 도면이다.
도 9는 본 발명의 실시예에 따른 비트율 제어 기법을 나타내는 순서도이다.
도 10은 본 발명의 실시예에 따른 1L/2L 압축 모드의 비트율 제어 테이블 간의 차이를 도시하는 그래프이다.
도 11은 본 발명의 실시예에 따른 비트율 제어 기법에서 비디오 영상과 데이터 영상이 결합된 분할 영상 모드에서의 목표 압축률 재조정 방법에 대한 세부 동작 방식을 도시한다.
도 12는 동영상 모드에서의 영상의 화질의 일관성을 평가하기 위한 영상 시퀸스의 구성을 나타내는 이미지이다.
도 13은 분할 영상 모드에서 텍스트 영역의 가독성 유지 성능을 비교한 이미지이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
도면에서 동일 부호는 동일한 요소를 지칭한다. 또한, 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위하여 사용되며, 본 발명의 범위를 제한하기 위한 것이 아니다. 또한, 본 명세서에서 단수로 기재되어 있다 하더라도, 문맥상 단수를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이란 용어는 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 실시예들을 설명함에 있어 관련된 공지 기능 또는 구성에 관한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그에 관한 상세한 설명은 생략할 것이다.
도 1은 본 발명의 실시예에 따른 영상 압축 장치의 구성을 도시하는 블록도이다.
도 1을 참조하면, 영상 압축 장치는 라인 압축기(10)와 비트율 제어기(20)을 포함할 수 있다. 라인 압축기(10)는 복수의 라인을 포함하는 영상 데이터를 압축하며, 하나의 라인을 단위로 영상 데이터를 압축하는 제 1 압축 모드와 2개의 라인을 단위로 영상 데이터를 압축하는 제 2 압축 모드 사이에서 압축 모드가 동적으로 변화할 수 있다. 비트율 제어기(20)는 라인 압축기(10)가 압축하는 영상 데이터의 각 라인의 비트율을 결정할 수 있다.
도 2는 본 발명의 실시예에 따른 영상 압축 장치의 라인 압축기(10)의 구성을 도시하는 블록도이다.
도 2를 참조하면, 라인 압축기(10)는 컬러 변환부(110), 라인간 예측부(120), 이산 웨이블릿 변환부(130), 양자화부(140), 선택적 예측 코딩부(150), 주파수 셔플러(160) 및 가변 길이 코딩부(170)을 포함할 수 있다.
컬러 변환부(100)는 영상 데이터를 휘도 채널 성분과 색차 채널 성분으로 변환할 수 있다.
일반적으로 영상압축 기술과 관련하여 손실압축 방식에서는 RGB 입력 신호를 그대로 사용하여 압축하기 보다는 인간의 시각 체계에 기반하여 휘도 및 색차 성분으로 분류하여 변환한 뒤 서로 다른 양자화 레벨을 적용하는 것이 화질 유지 대비 압축률을 높이는데 더 효율적이다. 본 발명의 실시예에 따른 영상 압축 장치에서는 RGB 채널을 가역적 색 공간의 YCuCv 채널로 변환하는 과정을 첫 단계로 사용한다. 컬러 변환 과정은 기존 응용시스템에서 요구하는 저복잡도의 압축시스템 설계 조건을 유지하면서도 시각적 무손실의 고화질 조건을 만족시키기 위해 정밀도의 손실없이 다시 복원할 수 있고, 정수 연산만으로 구성된 가역적 컬러 변환 방식을 사용한다. 아래의 [수학식 1]은 휘도 채널과 색차 채널 성분들을 계산하는 식을 나타낸다.
[수학식 1]
Figure pat00001
라인간 예측부(120)는 인접한 2개의 라인 사이의 방향적 상관도를 추정하여 SAD(Sum of Absolute Difference) 값이 최소가 되는 예측 방향에 기초하여 라인간 예측을 수행할 수 있다. 영상 압축 장치는 라인 간의 공간적 중복성을 효과적으로 제거하기 위해 라인 간 방향적 예측기법을 사용할 수 있다.
라인간 예측부(120)는 인접한 두 라인 사이의 SAD 연산을 기반으로 방향적 상관도를 추정하여 SAD 값이 최소가 되는 예측 방향의 모드를 최적의 예측모드로 선택한다. 이때, 예측 후보모드의 종류가 많아질수록 라인 간의 공간적 중복성은 더욱 많이 제거할 수 있지만 전체 압축시스템 관점에서의 압축이득 개선 대비 부가정보 관련 전송 비용 증가에 대한 트레이드-오프를 고려하여 총 4 개의 예측 모드를 정의할 수 있다. 일반적으로 휘도 채널에서는 색차 채널에 비해 공간영역에서의 방향적 중복성이 더 강하게 나타나기 때문에 휘도 채널에는 4 개의 예측 모드를 정의하여 예측 후보 모드로 사용하고, 색차 채널에는 2개의 예측 후보 모드만을 정의하여 사용할 수 있다. 또한, 영상 압축 장치는 매번 1 라인 압축 모드와 2 라인 압축 모드를 동시에 고려하므로 1 라인 압축 모드에 대해서는 1×8 블록 단위로 예측을 수행하고, 2라인 모드에서는 2×8 블록 단위로 예측을 수행한다.
도 3은 본 발명의 실시예에 따른 영상 압축 장치에서 이전 라인의 참조 샘플들과 현재 라인의 예측 샘플들 간의 관계를 나타낸다. 본 발명의 실시예에 따른 예측 모드 후보의 종류는 아래의 [표 1]과 같다. 표 1에서 Rx,y는 기준 샘플들을 의미하고, Px,y는 예측 샘플들을 의미한다. 그리고 x,y는 각 픽셀들의 위치를 나타낸다.
[표 1]
Figure pat00002
이산 웨이블릿 변환부(130)는 영상 데이터의 휘도 채널 성분과 색차 채널 성분에 대하여 복수의 주파수 대역별로 이산 웨이블릿 변환을 수행할 수 있다.
이산 웨이블릿 변환부(130)는 이전 단계에서 수신한 Y와 Cu, Cv의 3개 채널 값에 대해 4레벨의 (4,2) 이산 웨이블릿 변환 (DWT) 과정을 수행한다. 이산 웨이블릿 변환 과정에는 리프팅 기반 (Lifting-based)의 IWT (Integer Wavelet Transform) 기법이 적용되며, 정수 기반의 시프트 연산과 덧셈 연산으로만 구성되어 있어서 저비용 하드웨어 구현에 용이하다. [수학식 2]는 (4,2) IWT의 고주파 대역과 저주파 대역 변환 과정에 대한 식을 나타낸다. 여기서 c 는 Y, Cu, Cv 성분들을 나타내고, i는 이미지 픽셀 위치를, h 및 l은 각각 (4,2) IWT로부터 계산되는 고주파 대역 및 저주파 대역의 계수들을 나타낸다.
[수학식 2]
Figure pat00003
IWT 과정 또한 라인 압축 모드에 따라서 다른 방식으로 동작하게 된다. 즉, 1 라인 압축모드에서는 수평 방향의 (4,2) IWT만을 적용한다. 반면에 2 라인 압축모드에서는 수평 방향의 (4,2) IWT 이후에 수직 방향의 IWT를 추가로 적용하여 영상의 인접 라인 간의 남아 있을 수 있는 수직 방향 중복성들을 추가로 제거해준다. 이때, 전체 압축시스템의 복잡도 증가는 최소한으로 제한하기 위해 연산 복잡도가 낮은 Haar 웨이블릿 변환 방법을 사용할 수 있다.
도 4는 본 발명의 실시예에 있어서 1 라인 압축모드에서의 1차원 IWT 수행에 따른 5개의 부대역 결과와 2 라인 압축모드에서의 2차원 IWT 수행에 따른 10개의 부대역 결과를 각각 구분하여 나타낸다.
양자화부(140)는 이산 웨이블릿 변환된 영상 데이터의 복수의 고주파수 대역의 계수를 주파수 대역에 따라 상이한 양자화 레벨로 양자화할 수 있다.
정수 웨이블릿 변환된 고주파 대역의 값들이 엔트로피 코딩에서 높은 복원 화질 유지 대비 목표 압축률을 달성할 수 있도록 설계하기 위해 다수의 고주파 대역에 저복잡도 기반의 스칼라 제로 존 양자화 과정을 적용하여 고주파 대역의 계수 값들의 분포가 최대한 제로 값에 몰릴 수 있도록 맵핑한다. 이때, 다수의 고주파 대역에 대해서는 각 주파수 대역 별 RD 특성에 따라 서로 다른 강도의 양자화 레벨을 정의하여 사용한다. 즉, 주파수가 낮은 H4 대역에는 상대적으로 좀 더 약한 양자화 강도를 사용하면서 주파수가 높은 H1 대역쪽으로 가면서 양자화 강도가 점점 증가하도록 점진적인 양자화 스케일 범위를 정하여 사용한다. 또한, 영상 고유의 채널 특성도 함께 고려하여 휘도 채널 성분에서 색차 채널 성분으로 갈수록 점점 양자화 강도가 증가할 수 있도록, 양자화 파라미터들을 설계하여 사용한다. [수학식 3]에서 x 는 양자화 수행 전의 IWT 계수를, y 는 양자화된 IWT 계수 값을, Q 는 양자화 크기를, Z 는 제로존의 범위를 나타낸다. 본 발명의 실시예에서, 양자화 과정의 연산 또한 저비용의 하드웨어 연산 조건을 유지하기 위해 Q 값들을 2의 지수 승으로만 결정하고, 다양한 디스플레이 장치 또는 멀티미디어 IoT 장치 등의 사용 환경에서 자주 나타날 수 있는 영상들을 사용한 많은 실험을 통하여 화질 손실 대비 압축률 개선이 가능한 선형적으로 증가하는 16 단계의 Q와 Z의 쌍을 테이블 형태로 구성하여 사용할 수 있다. 또한, 제로존과 스케일링 적용 순서 역시 화질 손실 대비 압축 이득에 대한 트레이드-오프를 고려하여 제로존 처리가 먼저 적용되도록 하고, 다음으로 스케일링 처리가 적용되도록 한다.
[수학식 3]
Figure pat00004
선택적 예측 코딩부(150)는 이산 웨이블릿 변환된 영상 데이터의 저주파수 대역의 계수를 수평 방향 예측 또는 수직 방향 예측에 기초하여 부호화할 수 있다.
IWT 수행 이후, 영상신호의 대부분의 에너지는 가장 낮은 주파수 대역인 L4 대역 또는 LL4 대역쪽에 집중되기 때문에 입력 영상의 특성에 따라 수평 또는 수직 방향의 공간적 중복성이 여전히 남아 있게 된다. 제안하는 FALCOMS는 수평 및 수직 방향에 대한 선택적 예측 부호화 기법을 사용한다. 즉, 수평 방향 예측 과정과 수직 방향 예측과정을 모두 수행하여 개별 버퍼에 임시 저장했다가 가변 길이 코드 테이블을 기반으로 비트 발생 비용을 비교하여 더 좋은 예측 부호화 모드를 동적으로 선택하는 방법을 사용한다. 도 5는 저주파 대역에서의 예측 부호화 과정을 나타낸다. [수학식 4]는 휘도 채널 성분과 색차 채널 성분에 따른 첫 번째 데이터에 대한 DC 레벨 시프트를 포함하는 DPCM (Differential Pulse-Coded Modulation)기반의 1차원 예측 부호화에 대한 수식을 나타낸다.
[수학식 4]
Figure pat00005
주파수 셔플러(160)는 양자화된 복수의 고주파수 대역의 계수 및 부호화된 저주파수 대역의 계수를 미리 정해진 순서에 따라 복수의 비트로 배열할 수 있다.
가변 길이 코딩부(170)는 배열된 복수의 비트를 허프만 테이블 기반의 가변 길이 코딩 방식에 의해 코딩한 비트 스트림을 생성할 수 있다. 가변 길이 코딩부(170)는 허프만 테이블 기반의 가변 길이 코딩 방식을 사용하는 엔트로피 코딩 과정이 적용될 수 있다.
엔트로피 코딩 과정은 산술 코딩 보다 하드웨어 구현 복잡도가 낮은 허프만 테이블 기반의 VLC 방식을 사용한다. 5개의 부대역 계수들에 대한 각 심볼 테이블의 구성은 각종 디스플레이기기 및 멀티미디어 IoT 장치들에서 많이 사용되는 다양한 영상을 활용한 반복적인 실험을 통하여 구축되었다. VLC 테이블의 크기는 메모리 자원 사용에도 영향을 줄 수 있기 때문에 크기를 제한하기 위해 [-128 : +128] 범위의 값으로 제한하였으며, 해당 범위를 넘는 간헐적인 심볼 값들에 대해서는 [prefix, DWT coefficient] 코드로 출력한다. 또한, 색차 성분의 고주파 대역(LH3, LH2, LH1, HH3, HH2, HH1)에서 연속적인 제로 값이 많이 나타나는 특성을 추가로 반영하여 독립적인 허프만 테이블을 사용하는 제로 런 길이 코딩 기법의 적용을 함께 포함한다.
라인 압축기(10)는, 영상 데이터를 제 1 압축 모드와 제 2 압축 모드로 각각 압축한 결과를 비교하고, 제1 압축 모드와 제 2 압축 모드 중 압축 효율이 더 높은 압축 모드를 동적으로 선택할 수 있다.
본 발명에서 제안하는 1L/2L 압축방법은 입력되는 영상 라인의 특성에 따라 2 라인을 한번 압축하는 2 라인 압축모드와 2 라인 입력을 분리하여 1 라인 씩 두 번 압축하는 1 라인 압축모드에 대한 압축률 결과를 비교하여 더 유리한 방식을 현재 압축 모드 방식으로 결정한다. 예를 들어 입력 영상의 특성이 매우 복잡한 텍스처 영상(Complex Texture Images)이 포함된 영상 라인인 경우, 라인 간의 상관성은 매우 낮아지므로 2 라인 압축모드의 압축이득 보다 1 라인 압축모드의 압축이득이 더 좋을 수 있다. 반면에 상/하 라인 간에 변화가 별로 없는 일반 영상의 라인 구간인 경우, 상/하 간의 추가적인 중복성 제거 효과들로 인해 2L 압축모드의 사용이 1L 압축모드의 결과 보다 더 좋은 압축 성능을 발휘할 수 있다.
도 6은 본 발명의 실시예에 따른 최적 압축모드의 선택 과정을 도시한다. 라인 압축기(10)는 데이터를 수신단의 디코더부로 전송하기 전에 1L 압축모드와 2L 압축모드로 각각 따로 압축하여 개별적인 임시 버퍼에 보관했다가 중앙의 비교기가 VLC 테이블을 기반으로 각 압축모드 별로 발생된 비트스트림의 비용을 비교해보고, 매번 동적으로 더 효율이 좋은 압축모드를 선택한다. 이 방법의 적용으로 인해 라인 압축기(10)는 라인 단위의 장면 전환과 같이 상/하 라인 간의 변화가 큰 영상 구간들에서도 높은 압축률 성능을 달성할 수 있다.
이하에서는 본 발명의 실시예에 따른 영상 압축 장치가 저가형 멀티미디어 IoT 장치에 추가로 적용되었을 때 전체 IoT 시스템에 대한 저전력화 성능을 비교한 결과를 설명한다. 서로 다른 압축 알고리즘을 사용하는 멀티미디어 IoT Platform에서의 에너지 소비량을 비교하기 위해 각 압축과정에서 사용되는 마이크로프로세서의 연산 횟수와 메모리 접근 횟수를 측정하고, 에너지 복잡성 (Energy Complexity) 평가 방법을 사용하여 에너지 효율성 측면을 평가하였다. 여기서 에너지 복잡성 평가 방법은 임베디드 프로그램 구현 기술, 최적화 수준, 운영체제와 여러 프로그램 간의 복잡한 상호작용으로 인한 많은 예측오차 요소들을 피하면서도 임베디드 시스템에서 작동하는 개별 알고리즘들의 전력소비량을 예측할 수 있는 방법이다.
에너지 복잡성 평가 방법은 이론적인 알고리즘 제안 단계의 연구 수준에서 높은 정확도로 다수의 알고리즘들에 대한 에너지 비용 변화의 추세를 예측할 수 있게 해주는 방법이다. 각 저메모리 압축방법들의 추가 적용을 통한 기존 IoT 시스템에서의 저전력화 성능을 평가하기 위해 최근 상업용으로 많이 활용되고 있는 Intel Galileo Gen 2 개발보드의 사용을 가정하였다.
본 발명의 실시예에 따른 영상 압축 장치와 기존의 저메모리 영상압축방법들의 에너지 복잡성을 계산하기 위해 각 압축 알고리즘들에 대한 압축 관련 연산 횟수와 메모리 접근 횟수를 모두 세고, 각 압축 과정에 필요한 전력소비량을 추정하고, 압축 효과로 인해 줄어든 데이터량을 계산하여 감소된 RF (Radio Frequency) 전송 에너지 비용을 추정하였다. 각 알고리즘에 대한 압축률 성능을 평가를 위해 정지 영상 프레임 1장의 평균 압축률을 의미하는 FCR (Frame Compression Ratio)을 [수학식 5]와 같이 정의하여 사용하였다.
[수학식 5]
Figure pat00006
실험영상으로는 영상압축 연구의 성능 평가에서 많이 사용되는 24개의 Kodak 정지영상 세트가 사용되었다. 전체 멀티미디어 IoT 플랫폼의 전력소비 비용은 비트 당 에너지 (energy/bit) 정보를 기초로 Intel quark SoC X1000 Processor 및 모바일 DRAM 메모리의 사용 상황을 가정하여 총 에너지 비용을 추정하였다. 또한, 11 Mbps 무선 영상 전송에 대해 약 1,170 mW의 평균 전송 전력을 소비하는 것으로 알려진 Broadcom BCM43340을 사용하여 데이터 전송을 위한 RF 에너지 소비량을 추정하였다. 압축되지 않은 원본영상 1 프레임의 RGB 채널에 대한 데이터량은 9,437,184 비트 (3×768×512×8)이기 때문에 단일 원본영상의 총 전송 에너지 비용은 957 mJ가 된다.
[표 2]는 시각적 무손실 유지의 조건에서 각 알고리즘들에 대한 평균 FCR 결과와 그에 따른 IoT 시스템의 에너지 복잡성 변화 결과를 나타낸다.
[표 2]
Figure pat00007
(표에서, M은 이미지의 폭 크기이고, N은 이미지의 높이 크기이고, CPU 연산 에너지 비용은 62.5pJ/bit이고, 메모리 액세스 에너지 비용은 70 pJ/bit이며, 평균 RF 전력 소모는 1,170 mW이고, RF 대역폭은 11 Mbps임)
비교예 1에서는 DSC 1.2a를, 비교예 2에서는 1D SPIHT를, 비교예 3에서는 L-BCWT를, 비교예 4에서는 ZMSPECK를, 비교예 5에서는 1라인 기반 압축 방식, 비교예 6에서는 8L JPEG를, 비교예 7에서는 4L H.264 Intra를, 비교예 8에서는 4L HEVC Intra를 영상 압축 방식으로 사용하였고, 실시예 1에서는 본 발명의 전술한 영상 압축 장치의 실시예를 영상 압축 방식으로 사용하였다.
도 7은 각 압축 방식에 따른 FCR 결과를 도시하는 그래프이다.
도 7을 참조하면, DSC 1.2a 표준 기술(비교예 1)은 4:1의 비교적 높은 압축률 결과를 달성하여 RF 전송을 위한 에너지 소모가 239.3 mJ까지 감소한다. 하지만, DSC 1.2a의 압축과정에 포함된 많은 예측모드의 사용과 ICH 모드의 사용으로 인해 연산 복잡도와 메모리 접근에 대한 에너지 사용이 높고, 총 에너지 비용이 1D SPIHT 방법 보다 약간 더 개선된 수준을 보인다.
1D SPIHT 방식(비교예 2)은 2.04:1의 가장 낮은 압축률을 가지며, 이에 따라 전송 시간의 감소량도 가장 짧게 되어 RF 전송을 위한 에너지 소모도 469mJ를 소모한다. 또한, 반복적인 메모리 접근으로 인해 높은 에너지 소모량을 가진다.
L-BCWT 방식(비교예 3)은 1D SPIHT 방법의 높은 메모리 접근 비용을 줄였다. 하지만, 압축률은 1D SPIHT 방법과 동일하다. ZM-SPECK 방식(비교예 4)은 L-BCWT 방법 보다 2.37:1의 좀 더 높은 FCR 값을 보인다. 하지만, 달성된 압축률로는 IoT 시스템에서 RF의 전송 에너지 소모량을 감소시키기에는 충분하지 않았다. 1라인 기반 압축 방식(비교예 5)은 평균 압축률 결과가 3.37:1로 1D SPIHT 방법 보다 좀 더 높아졌고, 이에 따른 RF의 전송 에너지 비용은 284 mJ 정도를 보인다. 8L JPEG 방식(비교예 6)은 기존의 JPEG와 동일하지만 한번에 8 라인만 사용하도록 제한한 방법이다. 8L JPEG 방식은 실시예 1에 비해 11.47:1의 매우 높은 FCR 결과를 보인다. 하지만, 시각적 무손실 화질 조건을 만족시키기 위해 필요한 부동 소수점 연산 과정으로 인해 총 에너지 소비량이 실시예 1 보다 13.5 mJ 만큼 더 높았다. 4L HEVC 방식(비교예 8)은 12.5:1의 가장 높은 압축률 결과를 보이지만 높은 압축률을 가져오기 위한 과도한 메모리 접근량과 많은 계산량으로 인해 압축과정에서 가장 높은 에너지 소모를 요구했다. 또한, 4L H.264 방식(비교예 7)은 4L HEVC 방법 보다는 낮은 에너지 소모를 요구하지만, 여전히 압축 관련 연산과정에서 너무 높은 에너지 소모를 요구한다. 실시예 1은 1라인 기반의 압축 장치에 한 개의 라인 메모리를 추가로 사용하기 때문에 연산횟수는 약간 더 많아졌지만 기존 1D SPIHT 방법과 1라인 기반의 압축 장치 보다 더 높은 압축률 결과인 4.9:1을 보인다. 결과적으로, 기존 방식들 보다 실시예 1을 사용할 때 에너지 효율성 측면에서 가장 우수함을 알 수 있다.
도 8은 종래의 라인 압축시스템에서의 화질의 불균형이 발생하는 것을 설명하는 도면이다.
라인 기반의 저메모리 영상압축시스템에서는 라인 간의 영상 특성이 빠르게 변화되는 구간에서는 라인 간의 화질의 일관성이 무너지는 현상들이 나타난다. 도 8의 (a)를 참조하면, 라인간 영상 특성 변화에 따른 적절한 양자화 강도의 조정이 제대로 이루어지지 않아 라인 단위의 양자화 에러들이 눈에 띄게 나타난 결과를 확인할 수 있다. 라인 기반 저메모리 영상압축시스템에서 이러한 현상에 대처하기 위해서는 라인 단위의 새로운 비트율 제어 기술요소가 필요하다. 도 8의 (b)를 참조하면, 비트율 제어에 의해 화질의 일관성이 향상되는 것을 파악할 수 있다. 라인 압축 시스템을 위한 추가 비트율 제어 기술은 가능한 적은 연산량과 적은 하드웨어로 설계되는 것이 바람직하다.
본 발명의 실시예에 따른 비트율 제어 기법은 가능한 최소한의 하드웨어 자원의 추가로 설계하기 위해 각 양자화 레벨에 따른 평균 압축률 정보를 가진 룩업테이블을 미리 생성하여 참조하는 방식으로 동작한다. 각 라인에 대한 양자화 레벨의 결정은 이전 라인 압축률 정보를 바탕으로 다음 라인의 압축률을 예측하여 결정하되 저메모리 사용 방식으로 오버플로우 현상을 방지하기 위해 현재 라인까지의 누적 압축률과 관련된 버퍼 충만도 변수를 따로 운영한다. 한편, 저복잡도 설계를 위해 단순히 기존 라인 압축용 비트율 제어기법들처럼 이전 라인 압축률 정보나 누적 압축률 정보에만 기초하여 비트율 제어를 운영하면 영상 종류의 급격한 변화 구간에서는 화질의 일관성이 낮아지는 한계가 있다. 본 발명의 실시예에 따른 비트율 제어 기법에서는 이전 라인 압축률이 목표 압축률에서 크게 벗어나는 상황이 발생하면 새로운 압축 특성으로의 전환 상황으로 판단하여 해당 라인의 영상 종류에 적합한 양자화 레벨을 신속하게 재할당한다. 이를 위해 룩업테이블 생성 시 화질 이득 대비 헤더 비용 증가에 대한 트레이드-오프 관계를 고려하여 각 영상의 종류를 네 가지로 구분하여 생성하되 라인 간의 장면 전환이 발생되는 구간에서는 가장 근접한 영상 종류에 해당되는 양자화 값을 동적으로 할당한다. 또한, 저복잡도 설계를 유지하면서도 최근 디스플레이 장치에서 많이 나타나는 텍스트 영상 모드나 분할 영상 모드 등에서도 좀 더 개선된 성능을 달성하기 위해 이전 라인에 대한 고주파 대역의 평균 에너지 값들을 임시 메모리에 기록했다가 텍스트 라인과 같이 복잡한 영상 라인 영역으로의 진입 상황이 감지되면 양자화 레벨을 재조정해주는 기법을 함께 포함한다.
도 9는 본 발명의 실시예에 따른 비트율 제어 기법을 나타내는 순서도이다.
본 발명의 실시예에 따른 영상 압축 장치를 위한 비트율 제어 기법은 초기화 단계, 양자화 종류 선택 단계, 양자화 레벨 결정 단계, 나머지 라인 처리 단계 그리고 텍스트 라인 처리 단계의 총 5 단계의 과정으로 구성된다. 먼저, 초기화 단계에서는 영상이 갖는 시간적 유사성에 기반하여 현재 프레임의 초기 양자화 레벨과 목표 압축률을 결정한다. 다음으로 양자화 종류 선택 단계에서는 이전 라인 압축률 결과와 목표 압축률을 비교하여 장면 전환이 발생한 경우를 임계치 이상의 라인 간 압축률 변화량을 기반으로 검출하여 해당 영상종류에 해당되는 양자화 종류를 재결정한다. 이어서 양자화 레벨 결정 단계에서는 현재 해당되는 영상 종류의 룩업테이블을 기반으로 이전 라인의 압축률과 프레임 단위의 목표 압축률 값을 기반으로 다음 라인에 대한 양자화 레벨을 결정한다. 나머지 라인 처리 단계에서는 프레임의 70% 라인 위치에 도달했을 때 현재까지 달성된 누적 압축률 정보를 확인하여 현재 누적 압축률이 임계값 보다 낮은 경우, 전체 프레임 단위의 목표 압축률이 달성될 수 있도록 양자화 레벨을 추가로 증가시킨다. 마지막으로 텍스트 라인 처리 단계에서는 영상 압축 장치의 H1 대역의 평균에너지 값을 기반으로 텍스트 구간을 검출하여 텍스트 라인 영역의 가독성이 확보될 수 있도록 양자화 레벨을 임계치 이하로 제한해준다.
도 10은 본 발명의 실시예에 따른 1L/2L 압축 모드의 비트율 제어 테이블 간의 차이를 도시하는 그래프이다.
본 발명의 실시예에 따른 영상 압축 장치는 1L/2L 선택적인 압축방식으로 설계되었으므로 비트율 제어기법은 1L 기반 비트율 제어 테이블과 2L 기반 비트율 제어 테이블을 함께 사용하여 비트율 제어를 운용한다. 하지만, 저복잡도 설계를 위한 평균 압축률 기반의 룩업 테이블 값은 도 10에 도시된 바와 같이 압축률의 기울기가 양자화 레벨 구간에 따라 비선형적으로 달라지는 특징들이 나타날 수밖에 없다. 즉, 본 발명의 실시예에 따른 영상 압축 장치에 제안된 비트율 제어 기법을 사용하기 위해서는 2개의 비트율 제어 테이블 간의 기울기 변화 차이를 보상해줄 수 있는 추가적인 과정이 필요하다.
본 발명의 실시예에 따른 비트율 제어 기법에서는 이전 라인에서 선택된 압축 모드의 비트율 제어 정보를 기반으로 다음 라인의 양자화 레벨을 결정하되, 선택되지 못한 다른 압축 모드의 양자화 레벨도 계속해서 공정한 비교가 가능하도록 조정해주는 과정을 포함한다.
[표 3]
Figure pat00008
*BRC: Bit Rate Control
[표 3]은 본 발명의 실시예에 따른 비트율 제어 기법에서 1L/2L 압축 모드에 따른 양자화 레벨 조정 방법을 나타낸다. [표 3]의 1번의 경우, 현재 비트율 제어의 상태는 변화가 크지 않은 안정한 상태 (Stable State)이면서 영상 압축 장치에서 이전 라인에 대해 1 라인 압축모드로 압축하였고, 압축률의 결과가 목표 압축률 보다 작으므로 다음 라인을 더 높은 양자화 레벨로 압축해야 한다. 이를 위해 1 라인 압축모드에 대한 양자화 레벨인 Q1을 1 레벨을 증가시켜주고, 동시에 2 라인 압축모드에 대한 양자화 레벨인 Q2는 2 레벨을 증가시켜줘서 계속해서 한쪽만 선택되는 현상을 방지한다.
또한, [표 3]의 2번의 경우, 라인 압축률이 목표 압축률 보다 더 큰 것을 제외하고는 모두 1번 경우와 유사하다. 다만, 이 경우에는 1 라인 압축모드에 대한 양자화 레벨인 Q1은 1 레벨을 감소시키지만 2 라인 압축모드에 대한 양자화 레벨인 Q2는 이전과 동일하게 유지하는 정책을 사용한다. 갑작스런 라인 간의 장면 전환 (Scene Change State)이 있는 경우에는 두 가지 압축모드 모두에 대해 양자화 레벨을 결정해주기가 어렵다. 따라서 현재 압축모드에 대한 비트율 제어용 룩업 테이블에 따라 새로운 양자화 레벨을 우선적으로 선택한다. 이렇게 선택된 양자화 레벨은 1 라인 모드와 2 라인 모드의 양자화 레벨 값으로 공통적으로 결정한다. 라인 간의 장면 전환 (Scene Change State)에서의 새로운 양자화 레벨의 공통 결정에서 발생되는 오차는 1 라인 모드와 2 라인 모드의 비트율 제어용 룩업 테이블 생성 시 같은 양자화 레벨 조건에서는 유사한 PSNR을 갖도록 구성하여 큰 오차가 발생되지 않고, 발생 가능한 약간의 오차들은 앞서 설명된 조정 과정들로 인해 후속 비트율 제어가 진행될수록 보상된다.
본 발명의 실시예에 따른 라인 압축용 비트율 제어 기법은 연속 프레임들이 갖는 시간적 유사성을 기반으로 여러 개의 서로 다른 영상이 구성된 분할 영상 모드에서 화질의 일관성을 향상시킬 수 있다. 이때, 전체 압축시스템의 저복잡도 설계 조건을 유지하기 위해서 H1 대역의 평균 에너지 값을 사용하는 방식을 사용한다. H1 대역은 부대역 중 가장 높은 주파수 특성을 가지고 있으며, H1 대역의 평균 에너지가 높을수록 영상들의 압축률은 낮아지는 특성을 가진다. 그러므로 H1 대역의 평균 에너지는 비트율 제어를 위한 영상 종류 분류에 사용될 수 있다. 예를 들어 텍스트 라인과 같은 복잡한 텍스쳐 영상들은 단순한 형태의 일반 영상들 보다 H1 대역에서의 평균 에너지가 큰 특징을 보인다.
도 11은 본 발명의 실시예에 따른 비트율 제어 기법에서 비디오 영상과 데이터 영상이 결합된 분할 영상 모드에서의 목표 압축률 재조정 방법에 대한 세부 동작 방식을 도시한다.
도 11을 참조하면, 먼저, 이전 프레임의 ROI (2/4~3/4) 내에서 H1 대역의 평균 에너지의 차이가 가장 큰 곳을 검출하면서 해당 경계선을 기준으로 상단 영역과 하단영역을 구분하여 각각의 H1 대역의 평균 에너지를 기록한다. 다음 프레임에서도 이전 프레임에서 검출된 경계선 위치 주변에서 유사한 에너지 차이가 검출되면, 동일한 분할 영상 모드가 계속 사용되는 것으로 판단하고, 상단 영역의 누적 압축률을 기반으로 나머지 영역에 적합한 목표 압축률을 동적으로 재계산하여 할당해준다. 여기서 경계선 위치는 스크롤링 동작 등으로 인해 위/아래로 약간씩 이동될 수 있다. [수학식 6]은 나머지 영역에 대한 새로운 목표 압축률 TCR2(Target Compression Ratio2)을 결정하는데 사용되며, HEIGHT 는 영상 프레임의 높이를, i 는 프레임의 첫 라인부터 경계선까지의 길이를 나타낸다.
[수학식 6]
Figure pat00009
본 발명의 실시예에 따른 비트율 제어 기법은 연속 프레임들의 시간적 화면 전환 상황에서도 능동적으로 대처할 수 있는 방법을 포함한다. H1 대역의 평균 에너지가 프레임의 마지막 1/4 이전에 임계 값 이상으로 변경되면 장면 전환으로 감지한다. 프레임 단위의 장면 전환이 감지되면, 나머지 영역에 대한 목표 압축률은 기본 값으로 변경하여 적용한다. 이 방법은 분할 영상 모드를 갖는 프레임들 간의 장면 전환으로 인한 불필요한 화질 저하 현상을 방지해주는 효과를 가져온다.
[표 4]
Figure pat00010
[표 4]는 코닥 정지 영상에 대한 비트율 제어 방법들의 FCR 및 PSNR 결과를 나타낸다. 본 발명의 실시예에 따른 영상 압축 장치에서의 비트율 제어의 성능을 평가하기 위해 목표 압축률을 4:1로 설정하여 본 발명의 비트율 제어 기법(실시예 2)과 기존 비트율 제어 기법들과의 비트율 제어 성능을 추가로 비교하였다. 앞선 실험들과 유사하게 공정한 비교를 위해 본 발명의 실시예에 따른 영상 압축 장치에 실시예 2의 비트율 제어 기법과 기존의 비트율 제어 기법들을 포팅하여 비트율 제어 성능 평가 실험들을 진행하였다. 실험영상으로는 FALCOMS를 위해 추가로 제안된 동영상에서의 분할모드 처리와 화면 전환 처리 기법들의 성능을 평가하기 위해 기존 Kodak 정지영상 Set와 함께 HEVC 공통 테스트 시퀀스와 텍스트 영상을 합성한 동영상을 추가로 제작하여 비트율 제어 실험에 사용하였다.
[표 4]는 목표 압축률 4.0으로 코닥 정지 영상 세트에 대해 비트율 제어 실험을 진행했을 때의 각 알고리즘 별로 달성된 PSNR 결과와 FCR 결과를 보여준다. 기존의 누적 압축률을 기반한 Edirisinghe의 비트율 제어 방법(E. Edirisinghe, S. Bedi, "Variation of JPEG-LS to low cost rate control and its application in region-of-interest based coding," Int. J. Signal Processing: Image Communication, vol. 18, no. 5, pp. 357-372, May 2003.)은 평균적으로 4.03 압축률 결과에서 39.77 dB의 PSNR 결과를 보였고, Jiang의 비트율 제어 방법(J. Jiang, "A low-cost content-adaptive and rate-controllable near-lossless image codec in DPCM domain," IEEE Trans. Image Processing, vol. 9, no. 4, pp. 543-554, Apr. 2000.)은 평균 PSNR 결과가 40.36 dB이 달성되어 Edirisinghe의 방법 보다 더 높았지만, 평균 압축률 결과가 4.37이 달성되어 목표 압축률인 4.00을 훨씬 벗어난 비트율 제어 결과를 보였다. 이는 저복잡도의 비트율 제어를 위해 이전 라인 압축률과 현재 라인 압축률을 기반으로 단순히 1차 선형 예측 과정을 통한 비트율 제어 과정을 수행했기 때문이다. 하지만, 실시예 2에서는 프레임 압축률 결과가 4.02로 목표 압축률(4.00) 부근에 가장 근접한 결과를 달성하면서도 기존 Edirisinghe의 비트율 제어 방식 보다는 평균 1.62 dB, Jiang의 방법 보다는 1.03 dB 정도 더 높은 PSNR 결과를 보였다.
[표 5]
Figure pat00011
도 12는 동영상 모드에서의 영상의 화질의 일관성을 평가하기 위한 영상 시퀸스의 구성을 나타낸다. 또한, [표 5]는 이러한 연속적인 영상 시퀀스 입력에 대한 비트율 제어 결과를 보여준다.
도 12의 영상 시퀀스들은 분할 영상 모드를 포함하는 연속적인 4개의 영상으로 구성된다. t0~t3은 영상의 각 시퀀스 번호를 나타내며, R0~R3은 위에서 아래로 4등분된 영역을 나타낸다. 실험결과, 기존의 Edirisinghe의 방법은 t0, t2 그리고 t3에서 목표 압축률을 달성하지 못했다. 특히, t2와 같이 장면이 전환되는 경우에서는 R2 및 R3 영역에서의 PSNR 결과가 텍스트 영역에서 매우 낮은 결과를 보였다. Jiang의 비트율 제어 방법은 앞선 실험결과들과 비슷하게 압축률 예측 과정에서의 큰 오차 발생으로 인해 [표 5]와 같이 t0~t3까지의 영상들을 목표 압축률 보다 과도하게 압축한 결과를 보인다. 영상 분할 모드인 t2와 t3의 영상들의 화질의 일관성은 심각하게 훼손되었고, 너무 높은 양자화 레벨의 사용으로 인해 텍스트 영역인 R3 영역의 PSNR은 약 31dB 근처까지 감소되었다.
실시예 2는 영상 분할 모드와 장면 전환 상황에서도 H1 대역 평균 에너지 기반의 동적인 목표 압축률의 재할당 기법으로 인해 t2의 PSNR이 높게 유지되었다. 또한, t2 영상 시퀀스에서 텍스트 영역인 R2와 R3에 대해서도 실시예 2의 비트율 제어 기법의 PSNR은 각각 38.38 dB와 36.21 dB로 높게 유지되었다. t3 영상 시퀀스에서 영역 R2와 R3에 대한 PSNR은 각각 37.84 dB와 41.06 dB를 보였다. 영상 분할 모드를 포함한 동영상에 대한 성능평가 결과, 실시예 2가 기존기법들 보다 더 우수한 화질의 일관성 성능을 보임을 알 수 있다.
도 13은 분할 영상 모드에서 텍스트 영역의 가독성 유지 성능을 비교한 이미지이다. 도 13의 (a)는 분할 모드의 입력 영상을 나타내고, 도 13의 (b)는 Edirisinghe의 방법의 복원 화질을, 도 13의 (c)는 실시예 2의 비트율 제어 기법의 복원 화질을 보여준다. 실시예 2의 비트율 제어 방법은 앞선 연산 복잡도 비교에서 비록 Edirisinghe의 방법 보다는 연산량이 약간 더 높았지만 추가 연산 비용이 적은 H1 대역의 평균 에너지를 사용하여 텍스트 라인을 동적으로 검출한 뒤 적응적으로 양자화 레벨을 제한해주는 과정을 포함하기 때문에 도 13의 (b)의 Edirisinghe의 방법 보다 텍스트 영역에서의 가독성 유지가 더 좋은 성능 결과를 보여준다.
전술한 바와 같이, 영상 압축 장치의 기본 압축의 가능성을 확인하기 위해 각종 디스플레이 장치와 멀티미디어 IoT 장치에서의 성능 평가 관련 실험에서 본 발명의 실시예에 따른 영상 압축 장치는 기존의 대표적인 저메모리 압축 알고리즘들 보다 기존의 영상처리 장치들에서의 전력소모 증가 문제를 더 효율적으로 개선하는 성능을 나타낸다.
또한, 전체 압축시스템 관점에서 상호 간에 미치는 영향의 분석을 통해 설계된 본 발명의 실시예에 따른 영상 압축 장치를 위한 비트율 제어 기법은 기존의 라인 압축용 비트율 제어 기법들 보다 더 좋은 비트율 제어 성능을 달성하였고, 최근 디스플레이 장치들에서 많이 나타나는 텍스트 영상과 분할 영상 모드에서도 화질의 일관성 또한 강인하게 유지하는 성능을 나타낸다.
이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

Claims (12)

  1. 복수의 라인을 포함하는 영상 데이터를 압축하며, 하나의 라인을 단위로 영상 데이터를 압축하는 제 1 압축 모드와 2개의 라인을 단위로 영상 데이터를 압축하는 제 2 압축 모드 사이에서 압축 모드가 동적으로 변화하는 라인 압축기; 및
    상기 라인 압축기가 압축하는 상기 영상 데이터의 각 라인의 비트율을 결정하는 비트율 제어기
    를 포함하는 영상 압축 장치.
  2. 제 1 항에 있어서,
    상기 라인 압축기는, 상기 영상 데이터를 상기 제 1 압축 모드와 상기 제 2 압축 모드로 각각 압축한 결과를 비교하고, 상기 제1 압축 모드와 상기 제 2 압축 모드 중 압축 효율이 더 높은 압축 모드를 동적으로 선택하는 영상 압축 장치.
  3. 제 1 항에 있어서,
    상기 라인 압축기는
    상기 영상 데이터를 휘도 채널 성분과 색차 채널 성분으로 변환하는 컬러 변환부;
    인접한 2개의 라인 사이의 방향적 상관도를 추정하여 SAD(Sum of Absolute Difference) 값이 최소가 되는 예측 방향에 기초하여 라인간 예측을 수행하는 라인간 예측부;
    상기 영상 데이터의 상기 휘도 채널 성분과 상기 색차 채널 성분에 대하여 복수의 주파수 대역별로 이산 웨이블릿 변환을 수행하는 이산 웨이블릿 변환부;
    이산 웨이블릿 변환된 상기 영상 데이터의 복수의 고주파수 대역의 계수를 주파수 대역에 따라 상이한 양자화 레벨로 양자화하는 양자화부;
    이산 웨이블릿 변환된 상기 영상 데이터의 저주파수 대역의 계수를 수평 방향 예측 또는 수직 방향 예측에 기초하여 부호화하는 선택적 예측 코딩부;
    양자화된 복수의 고주파수 대역의 계수 및 부호화된 저주파수 대역의 계수를 미리 정해진 순서에 따라 복수의 비트로 배열하는 주파수 셔플러; 및
    배열된 복수의 비트를 허프만 테이블 기반의 가변 길이 코딩 방식에 의해 코딩한 비트 스트림을 생성하는 가변 길이 코딩부를 포함하는 영상 압축 장치.
  4. 제 1 항에 있어서,
    상기 비트율 제어기는 상기 제 1 압축 모드에 대하여 미리 정해진 제 1 비트율 제어 테이블과 상기 제 2 압축 모드에 대하여 미리 정해진 제 2 비트율 제어 테이블에 기초하여 상기 영상 데이터의 각 라인의 비트율을 결정하고, 상기 제 1 비트율 제어 테이블과 상기 제 2 비트율 제어 테이블 간의 기울기 변화 차이를 보상하는 영상 압축 장치.
  5. 제 1 항에 있어서,
    상기 비트율 제어기는 가장 높은 주파수 특성을 갖는 H1 대역의 평균 에너지의 차이가 가장 큰 위치를 경계선으로 하여 상기 영상 데이터의 프레임의 상단 영역과 하단 영역을 구분하고, 상기 상단 영역의 누적 압축률을 기반으로 나머지 영역의 목표 압축률을 동적으로 할당하는 영상 압축 장치.
  6. 제 1 항에 있어서,
    상기 비트율 제어기는 가장 높은 주파수 특성을 갖는 H1 대역의 평균 에너지가 프레임의 마지막 1/4 이전에 임계값 이상으로 변경되는 장면 전환이 발생한 경우에, 장면 전환이 발생한 프레임의 나머지 영역에 대한 목표 압축률을 미리 정해진 기본값으로 변경하는 영상 압축 장치.
  7. 복수의 라인을 포함하는 영상 데이터를 압축하며, 하나의 라인을 단위로 영상 데이터를 압축하는 제 1 압축 모드와 2개의 라인을 단위로 영상 데이터를 압축하는 제 2 압축 모드 사이에서 압축 모드가 동적으로 변화하는 라인 압축 단계; 및
    상기 라인 압축 단계에서 압축되는 상기 영상 데이터의 각 라인의 비트율을 결정하는 비트율 제어 단계
    를 포함하는 영상 압축 방법.
  8. 제 7 항에 있어서,
    상기 라인 압축 단계는, 상기 영상 데이터를 상기 제 1 압축 모드와 상기 제 2 압축 모드로 각각 압축한 결과를 비교하고, 상기 제1 압축 모드와 상기 제 2 압축 모드 중 압축 효율이 더 높은 압축 모드를 동적으로 선택하는 단계를 포함하는 영상 압축 방법.
  9. 제 7 항에 있어서,
    상기 라인 압축 단계는
    상기 영상 데이터를 휘도 채널 성분과 색차 채널 성분으로 변환하는 컬러 변환 단계;
    인접한 2개의 라인 사이의 방향적 상관도를 추정하여 SAD(Sum of Absolute Difference) 값이 최소가 되는 예측 방향에 기초하여 라인간 예측을 수행하는 라인간 예측 단계;
    상기 영상 데이터의 상기 휘도 채널 성분과 상기 색차 채널 성분에 대하여 복수의 주파수 대역별로 이산 웨이블릿 변환을 수행하는 이산 웨이블릿 변환 단계;
    이산 웨이블릿 변환된 상기 영상 데이터의 복수의 고주파수 대역의 계수를 주파수 대역에 따라 상이한 양자화 레벨로 양자화하는 양자화 단계;
    이산 웨이블릿 변환된 상기 영상 데이터의 저주파수 대역의 계수를 수평 방향 예측 또는 수직 방향 예측에 기초하여 부호화하는 선택적 예측 코딩 단계;
    양자화된 복수의 고주파수 대역의 계수 및 부호화된 저주파수 대역의 계수를 미리 정해진 순서에 따라 복수의 비트로 배열하는 주파수 셔플 단계; 및
    배열된 복수의 비트를 허프만 테이블 기반의 가변 길이 코딩 방식에 의해 코딩한 비트 스트림을 생성하는 가변 길이 코딩 단계를 포함하는 영상 압축 방법.
  10. 제 7 항에 있어서,
    상기 비트율 제어 단계는 상기 제 1 압축 모드에 대하여 미리 정해진 제 1 비트율 제어 테이블과 상기 제 2 압축 모드에 대하여 미리 정해진 제 2 비트율 제어 테이블에 기초하여 상기 영상 데이터의 각 라인의 비트율을 결정하고, 상기 제 1 비트율 제어 테이블과 상기 제 2 비트율 제어 테이블 간의 기울기 변화 차이를 보상하는 단계를 포함하는 영상 압축 방법.
  11. 제 7 항에 있어서,
    상기 비트율 제어 단계는 가장 높은 주파수 특성을 갖는 H1 대역의 평균 에너지의 차이가 가장 큰 위치를 경계선으로 하여 상기 영상 데이터의 프레임의 상단 영역과 하단 영역을 구분하고, 상기 상단 영역의 누적 압축률을 기반으로 나머지 영역의 목표 압축률을 동적으로 할당하는 단계를 포함하는 영상 압축 방법.
  12. 제 7 항에 있어서,
    상기 비트율 제어 단계는 가장 높은 주파수 특성을 갖는 H1 대역의 평균 에너지가 프레임의 마지막 1/4 이전에 임계값 이상으로 변경되는 장면 전환이 발생한 경우에, 장면 전환이 발생한 프레임의 나머지 영역에 대한 목표 압축률을 미리 정해진 기본값으로 변경하는 단계를 포함하는 영상 압축 방법.
KR1020190096673A 2019-08-08 2019-08-08 영상 압축 장치 및 영상 압축 방법 KR102239193B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190096673A KR102239193B1 (ko) 2019-08-08 2019-08-08 영상 압축 장치 및 영상 압축 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190096673A KR102239193B1 (ko) 2019-08-08 2019-08-08 영상 압축 장치 및 영상 압축 방법

Publications (2)

Publication Number Publication Date
KR20210017434A true KR20210017434A (ko) 2021-02-17
KR102239193B1 KR102239193B1 (ko) 2021-04-09

Family

ID=74731542

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190096673A KR102239193B1 (ko) 2019-08-08 2019-08-08 영상 압축 장치 및 영상 압축 방법

Country Status (1)

Country Link
KR (1) KR102239193B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150054554A (ko) * 2013-11-12 2015-05-20 삼성전자주식회사 영상 처리장치 및 방법
KR20180056688A (ko) * 2015-09-18 2018-05-29 퀄컴 인코포레이티드 디스플레이 스트림 압축 (dsc) 에 대한 블록 예측 모드를 위한 가변 파티션 사이즈

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150054554A (ko) * 2013-11-12 2015-05-20 삼성전자주식회사 영상 처리장치 및 방법
KR20180056688A (ko) * 2015-09-18 2018-05-29 퀄컴 인코포레이티드 디스플레이 스트림 압축 (dsc) 에 대한 블록 예측 모드를 위한 가변 파티션 사이즈

Also Published As

Publication number Publication date
KR102239193B1 (ko) 2021-04-09

Similar Documents

Publication Publication Date Title
JP5107495B2 (ja) 品質ベースのイメージ圧縮
US8331438B2 (en) Adaptive selection of picture-level quantization parameters for predicted video pictures
KR100932412B1 (ko) 구성가능한 패턴 옵티마이저
US7751633B1 (en) Method for compressing an image
US8331449B2 (en) Fast encoding method and system using adaptive intra prediction
US7653129B2 (en) Method and apparatus for providing intra coding frame bit budget
EP3284253B1 (en) Rate-constrained fallback mode for display stream compression
KR101263813B1 (ko) 듀얼 패스 인코딩에서 주사 모드의 선택을 위한 방법 및 장치
US8406297B2 (en) System and method for bit-allocation in video coding
US20060268990A1 (en) Adaptive video encoding using a perceptual model
JP2001510311A (ja) 符号化方式におけるオブジェクトベースのレート制御装置及びその方法
US6252905B1 (en) Real-time evaluation of compressed picture quality within a digital video encoder
JP2007049680A (ja) イメージ圧縮デバイス及びその方法
JP3703299B2 (ja) ピクチャ中央の画質を最適化するためのビデオ符号化方法、システムおよびコンピュータ・プログラム製品
JP2005530423A (ja) 画像鮮鋭度を符号化中に最適化する方法及びシステム
JPH09200758A (ja) 画像符号化装置
US7369705B2 (en) Image data compression device and encoder
KR101086724B1 (ko) 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기
US7421135B2 (en) Image data compression device and encoder
KR102239193B1 (ko) 영상 압축 장치 및 영상 압축 방법
KR100566290B1 (ko) 스캔 테이블을 이용한 영상 주사방법과 그를 적용한 이산코사인 변환 장치
KR100260702B1 (ko) 인간의 시각특성을 이용한 영상신호 압축 부호화 방법 및 그 장치
CN116156168A (zh) 一种图像编解码方法及装置
KR20180032570A (ko) 디스플레이 스트림 압축에서의 변환 모드를 위한 블록 크기에 대한 수정
KR20010104058A (ko) 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant