KR20150054554A - 영상 처리장치 및 방법 - Google Patents

영상 처리장치 및 방법 Download PDF

Info

Publication number
KR20150054554A
KR20150054554A KR1020130137130A KR20130137130A KR20150054554A KR 20150054554 A KR20150054554 A KR 20150054554A KR 1020130137130 A KR1020130137130 A KR 1020130137130A KR 20130137130 A KR20130137130 A KR 20130137130A KR 20150054554 A KR20150054554 A KR 20150054554A
Authority
KR
South Korea
Prior art keywords
line
image
compression
compressed
bits
Prior art date
Application number
KR1020130137130A
Other languages
English (en)
Inventor
조재헌
스리할샤 카타마네니
이용만
조성대
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130137130A priority Critical patent/KR20150054554A/ko
Priority to EP20140075072 priority patent/EP2871847A1/en
Priority to CN201410645322.1A priority patent/CN104639946A/zh
Priority to US14/539,500 priority patent/US20150131716A1/en
Publication of KR20150054554A publication Critical patent/KR20150054554A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 처리 디바이스에서 복수의 라인에 의해 구성되는 영상 프레임을 각 라인 단위로 압축하는 영상 압축 장치 및 방법에 관한 것이다.
이를 위해 하나의 영상 프레임을 구성하는 각 라인의 영상 품질을 예측하고, 상기 각 라인에 대해 예측한 영상 품질을 얻을 수 있도록 라인 별 압축률을 독립적으로 결정하며, 임의 라인에서의 영상을 압축할 시, 상기 임의 라인을 위해 독립적으로 결정한 압축률을 사용한다.

Description

영상 처리장치 및 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}
본 발명은 영상 데이터를 압축 및 복원하는 영상 처리장치 및 방법에 관한 것이다.
최근에는 통신 기술과 방송 기술의 융합에 의한 영상 통신 시대가 도래하였다. 이로 인해 빠른 속도와 많은 정보 처리가 가능한 개인 단말 외에 정보의 빠른 전송을 위한 광 대역 통신 서비스가 급속히 발전하고 있다. 이러한 기술 발전의 흐름에 부합하여 주목되고 있는 기술중의 하나가 음성 및 영상을 포함하는 미디어 정보를 처리하는 압축 기술이라 할 수 있다. 상기 압축 기술은 정보의 량을 줄이기 위한 부호화 기술에 해당한다. 상기 부호화 기술의 대표적인 예가 동영상 데이터를 압축하기 위한 동영상 압축 부호화 기술이다.
예컨대 상기 동영상 압축 부호화 기술로는 국제전기통신연합-전기통신표준화 부문 (ITU-T: International Telecommunication Union-Telecommunication Standardization Sector)에서 동영상 압축 부호화를 위한 만들어진 표준인 H.264/AVC가 존재한다.
일반적으로 정보를 처리하는 대부분의 전자 장치에서는 정보의 량을 줄이기 위해 다양한 압축 기술 및 압축 해제 (이하 “복원”이라 칭함) 기술이 사용되고 있다. 이와 같이 정보의 량을 줄이기 위한 시도는 정보를 기록하기 위한 기록 매체의 용량을 효율적으로 사용하기 위한 측면과, 전달의 용이성을 제공하기 위한 측면 등을 기반으로 한다.
통상적으로 최고 수준, 즉 높은 압축 효율로 데이터를 압축하는 기법은 압축을 위한 절차가 복잡하여 처리 속도가 느리다. 이에 반하여 낮은 수준으로 데이터를 압축하는 기법은 상대적으로 압축을 위한 처리 절차가 간단하여 빠른 처리 속도를 얻을 수 있다.
예컨대 가변 길이 부호화 기법은 부호화를 위한 이진 문자열에서 특정 값을 가지는 심볼의 출현 빈도에 따라 할당하는 부호의 길이를 달리하여 상기 이진 문자열을 압축하는 기법이다. 즉 이진 문자열에서 출현 빈도가 높은 심볼 패턴에 대해서는 짧은 부호를 할당하고, 출현 빈도가 상대적으로 낮은 심볼 패턴에 대해서는 긴 부호를 할당한다. 상기 가변 길이 부호화 기법의 일 예로 엔트로피 부호화 기법이 존재한다.
일반적으로 가변 길이 부호화 기법에 의해 이진 문자열을 압축할 시, 많은 처리 시간뿐만 아니라 출력되는 문자열의 길이가 길어질 수 있다. 따라서 하드웨어의 복잡성이나 처리 시간을 고려하여 원하는 수준의 품질을 얻기 위한 데이터 압축 기법을 선택하는 것이 일반적이나 향후에는 하드웨어의 복잡도와 처리 시간을 줄이면서도 높은 수준의 품질을 얻을 수 있는 압축 부호화 기법 및 이에 대응한 복호화 기법이 마련되어야 할 것이다.
본 발명의 실시 예에서는 압축 영상을 복원함으로써 얻어진 복원 영상이 일정 수준 내에서 압축 전 원본 영상의 영상 품질을 유지하도록 하는 영상 처리장치 및 방법을 개시한다.
또한 본 발명의 실시 예에서는 영상 압축 및 복원 시에 영상 품질이 손상되는 것을 최소화하면서 대역폭을 저감할 수 있는 영상 처리장치 및 방법을 개시한다.
또한 본 발명의 실시 예에서는 영상 압축 및 복원 시에 고정된 압축률을 만족하면서 최대의 영상 품질 (PSNR)로 압축 및 복원이 이루어질 수 있도록 하는 영상 처리장치 및 방법을 개시한다.
또한 본 발명의 실시 예에서는 영상 프레임을 구성하는 라인 별로 예측된 영상 품질에 의해 해당 라인의 압축률을 동적으로 할당하는 영상 처리장치 및 방법을 개시한다.
또한 본 발명의 실시 예에서는 영상 처리 디바이스에서 복수의 라인에 의해 구성되는 영상 프레임을 각 라인 단위로 압축하고, 이를 복원하는 영상 압축/복원장치 및 방법을 개시한다.
또한 본 발명의 실시 예에서는 하나의 영상 프레임을 구성하는 각 라인의 영상 품질을 예측하고, 상기 각 라인에 대해 예측한 영상 품질을 얻을 수 있도록 라인 별 압축률을 독립적으로 결정하며, 임의 라인에 상응한 영상을 압축할 시에 상기 임의 라인을 위해 독립적으로 결정한 압축률을 사용하는 영상 처리장치 및 방법을 개시한다.
또한 본 발명의 실시 예에서는 영상 프레임의 종류에 따라 서로 다른 기준에 의해 영상 프레임을 구성하는 각 라인에 대한 압축 비트 수를 동적으로 할당하는 영상 처리장치 및 방법을 개시한다.
또한 본 발명의 실시 예에서는 영상 프레임을 구성하는 라인 별 압축 성능을 분석하고, 상기 분석된 압축 성능을 고려하여 라인 별 압축률을 동적으로 설정하는 영상 처리장치 및 방법을 개시한다.
또한 본 발명의 실시 예에서는 정지 영상의 경우에 영상 프레임의 라인 별 압축 성능을 분석하고, 상기 분석이 이루어진 라인 별 압축 성능을 기반으로 다음 영상 프레임의 라인 별 압축 비트 수를 할당함으로써, 라인 별 압축률을 가변적으로 적용하는 영상 처리장치 및 방법을 개시한다.
또한 본 발명의 실시 예에서는 동 영상의 경우에 하나의 영상 프레임에서 이전 라인의 압축 정보와 현재 라인을 압축할 시에 예상되는 압축 성능을 기반으로 상기 현재 라인의 압축 비트 수를 할당함으로써, 라인 별 압축률을 가변적으로 적용하는 영상 처리장치 및 방법을 개시한다.
또한 본 발명의 실시 예에서는 영상 프레임을 구성하는 각 라인의 영상 품질을 예측하기 위해, 웨이블렛 (Wavelet) 변환 기술을 사용하는 영상 처리장치 및 방법을 개시한다.
또한 본 발명의 실시 예에서는 이전 영상 프레임에 대한 영상 품질의 분석 결과에 의해 현재 영상 프레임에 대한 압축 여부를 결정하는 영상 처리장치 및 방법을 개시한다.
본 발명의 실시 예에 따른 영상 처리 디바이스에서 복수의 라인에 의해 구성되는 영상 프레임을 각 라인 단위로 압축하는 영상 압축방법은, 하나의 영상 프레임을 구성하는 각 라인의 영상 품질을 예측하고, 상기 각 라인에 대해 예측한 영상 품질을 얻을 수 있도록 라인 별 압축률을 독립적으로 결정하며, 임의 라인에서의 영상을 압축할 시, 상기 임의 라인을 위해 독립적으로 결정한 압축률을 사용함을 특징으로 한다.
또한 본 발명의 실시 예에 따른 복수의 라인에 의해 구성되는 영상 프레임을 각 라인 단위로 압축하는 영상 처리 디바이스는, 압축할 영상 프레임을 입력 받아 저장하는 프레임 버퍼와, 상기 프레임 버퍼로부터 출력되는 하나의 영상 프레임을 구성하는 각 라인의 영상 품질을 예측하고, 상기 각 라인에 대해 예측한 영상 품질을 얻을 수 있도록 라인 별 압축률을 독립적으로 결정하며, 임의 라인에서의 영상을 압축할 시, 상기 임의 라인을 위해 독립적으로 결정한 압축률을 사용하는 인코더를 포함한다.
본 발명의 실시 예에서 제안된 영상 압축 기술은 영상 신호를 전송하기 위해 요구되는 대역폭을 절감할 수 있을 뿐만 아니라 압축 및 복원 시 발생할 수 있는 영상 품질의 손실을 줄일 수 있다.
그 외에 본 발명의 실시 예로 인해 얻을 수 있거나 추정되는 효과에 대해서는 본 발명의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 즉 본 발명의 실시 예에 따라 추정되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 발명에서 제안하는 영상 압축 및 복원 처리를 수행하는 영상 처리 디바이스의 예를 보이고 있는 도면;
도 2는 본 발명에서 제안하는 영상 압축 및 복원 처리가 내부에서 이루어지는 영상 처리 디바이스의 일 예를 보이고 있는 도면;
도 3은 본 발명에서 제안하는 영상 압축 및 복원 처리가 내부에서 이루어지는 영상 처리 디바이스의 다른 예를 보이고 있는 도면;
도 4는 본 발명에서 제안하는 영상 데이터를 압축하기 위한 영상 처리장치의 구성을 보이고 있는 도면;
도 5는 본 발명에서 제안하는 정지 영상을 압축하기 위한 인코더의 구조에 대한 일 예를 보이고 있는 도면;
도 6은 본 발명에서 제안하는 동 영상을 압축하기 위한 인코더의 구조에 대한 일 예를 보이고 있는 도면;
도 7은 본 발명에 적용된 웨이블렛 변환 기술에 의해 데이터를 압축하는 일 예를 보이고 있는 도면;
도 8은 본 발명의 실시 예에서 영상 정보 비율과 영상 품질이 매핑된 일 예를 보이고 있는 도면;
도 9는 본 발명에서 제안하는 인코더에서 압축 비트 수를 스케줄링 하는 일 예를 보이고 있는 도면;
도 10은 본 발명에서 제안하는 인코더에서의 영상 데이터 압축을 위한 제어 흐름을 보이고 있는 도면;
도 11은 본 발명에서 제안하는 인코더에서의 압축 동작에 따른 제어 흐름을 보이고 있는 도면;
도 12는 본 발명에서 제안하는 정지 영상의 영상 프레임에 대한 인코딩을 수행하는 정지 영상 압축 서브루틴에 따른 제어 흐름을 보이고 있는 도면;
도 13은 본 발명에서 제안하는 동 영상의 영상 프레임에 대한 인코딩을 수행하는 정지 영상 압축 서브루틴에 따른 제어 흐름을 보이고 있는 도면;
도 14는 본 발명의 다른 실시 예에 따른 영상 처리 장치의 구성을 보이고 있는 도면;
도 15는 본 발명의 다른 실시 예에 따라 예측된 영상 품질에 의해 영상 프레임의 처리 방식을 결정하는 제어 흐름을 보이고 있는 도면;
도 16은 도 15에서 보이고 있는 영상 품질 예측을 위해 하나의 영상 프레임을 이용하는 방안에 따른 제어 흐름을 보이고 있는 도면;
도 17은 도 15에서 보이고 있는 영상 품질 예측을 위해 두 개의 영상 프레임을 이용하는 방안에 따른 제어 흐름을 보이고 있는 도면.
이하 상세한 설명에서는 상술한 기술적 과제를 이루기 위한 대표적인 실시 예에 대해 개시할 것이다. 이때 설명의 편의를 위해 정의하고 있는 개체들의 명칭들은 상세한 설명에 있어서 동일하게 사용할 수 있다. 하지만 설명의 편의를 위해 사용된 명칭들이 권리를 한정하는 것은 아니며, 유사한 기술적 배경을 가지는 시스템에 대해 동일 또는 용이한 변경에 의해 적용이 가능함은 물론이다.
뿐만 아니라 하기에서의 상세한 설명에 있어 공지된 기능 또는 구성에 대한 구체적인 설명이 제안하는 기술적 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 구체적인 설명을 생략할 것이다.
일반적으로 영상 처리 디바이스는 하나의 영상 프레임에 대해 하나의 압축률을 지정하므로, 영상 프레임을 구성하는 라인들 중 영상 품질 (및/또는 압축 성능)이 높은 라인과 상대적으로 영상 품질 (및/또는 압축 성능)이 낮은 라인을 동일한 압축률 (입력 비트 수와 출력 비트 수의 비)에 의해 압축한다. 즉 하나의 영상 프레임 내에서 영상 품질이 높은 라인과 상대적으로 영상 품질이 낮은 라인이 동일한 비트 수로 구성됨을 가정할 시, 영상 품질이 높은 라인을 압축하여 획득되는 압축 비트 수와 상대적으로 영상 품질이 낮은 라인을 압축하여 획득되는 압축 비트 수가 동일하다.
하지만 실제로 영상 프레임을 라인 별로 압축하면, 높은 영상 품질의 라인을 압축하여 획득되는 압축 비트 수가 상대적으로 낮은 영상 품질의 라인을 압축하여 획득되는 압축 비트 수에 비해 적다. 즉 높은 영상 품질의 라인에 의해 얻어지는 압축률 (또는 압축 성능)이 낮은 영상 품질의 라인에 의해 얻어지는 압축률 (또는 압축 성능)에 비해 높다.
이러한 이유로 하나의 영상 프레임을 구성하는 모든 라인에 대해 동일한 압축률 (즉 동일한 압축 비트 수)을 할당하였다면, 영상 품질이 좋은 라인에 대해서는 불필요하게 많은 압축 비트 수를 할당한 것이고, 영상 품질이 좋지 않은 라인에 대해서는 압축 비트 수를 부족하게 할당한 것이다. 여기서 라인 별 영상 품질은 압축 성능과 밀접한 관계를 가질 수 있다.
예컨대 상기 영상 품질은 압축 전의 영상 데이터에 따른 영상과, 압축 후에 복원된 영상 데이터에 따른 영상 간 품질 차이에 상응한 정도를 나타내는 척도이다. 따라서 영상 품질이 높다는 것은 영상 프레임의 압축을 위해 부여된 압축률을 상기 영상 프레임을 구성하는 모든 라인들에 대해 동일하게 적용할 시에 얻게 되는 기준 영상 품질보다 양호한 영상 품질이라 간주될 수 있다.
따라서 영상 품질이 좋은 라인은 압축 성능이 우수한 라인이 될 수 있으며, 영상 품질이 낮은 라인은 압축 성능이 좋지 않는 라인이 될 수 있다. 즉 복원 시에 유사한 영상 품질을 얻도록 함을 전제로 할 시, 압축 성능이 우수하다는 것은 높은 압축률에 의한 압축이 요구됨을 의미하고, 압축 성능이 좋지 않다는 것은 낮은 압축률에 의한 압축이 요구됨을 의미한다.
상술한 바와 같이 영상 품질이 좋은 라인의 압축률이 영상 품질이 좋지 않은 라인의 압축률에 비해 높은 이유는, 해당 영상 프레임을 복원할 시에 라인 별로 유사한 영상 품질을 얻기 위함이다.
하기의 설명에서 편의 상 상기 정의된 용어들을 혼용하여 사용할 수 있다. 하지만 사용된 용어는 앞에서의 정의에 의해 해석되어야 할 것이다.
영상 프레임을 구성하는 라인 별로 최적의 압축 비트 수 (또는 압축률)를 결정하거나 할당하기 위해서는, 각 라인의 영상 품질 (및/또는 압축 성능)을 고려하여 라인 별 압축 비트 수를 동적으로 할당하는 스케줄링 방안이 필요하다. 즉 하나의 영상 프레임을 위해 할당할 수 있는 전체 압축 비트 수가 고정 (즉 영상 프레임에 대한 압축률 고정)되어있다고 가정할 시, 상기 고정된 전체 압축 비트 수를 하나의 영상 프레임을 구성하는 라인 수로 나누어서 할당하는 것이 아니라, 각 라인이 가지는 영상 품질 (및/또는 압축 성능)을 고려하여 압축 비트가 남거나 부족한 상황이 최소화될 수 있도록, 각 라인에 대해 독립적으로 압축 비트 수를 할당하여야 한다. 상기 압축 비트 수의 할당은 압축률을 결정하는 것과 동일한 의미로 이해될 수 있다.
예컨대 하나의 영상 프레임에 대해 부여된 압축률에 의해 라인 별로 동일한 압축 비트 수를 할당함을 가정할 때, 압축률이 높을 것으로 예측되는 라인에 대해 불필요하게 많이 할당된 압축 비트 수 (이하 ‘잉여 압축 비트 수’라 칭함)를 회수하여 상대적으로 압축률이 낮을 것으로 예측되는 라인에서의 부족한 할당 비트 수 (이하 ‘결핍 압축 비트 수’라 칭함)을 위한 압축 비트 (이하 ‘추가 압축 비트’라 칭함)로 분배하는 것이 바람직할 것이다.
이하 제안할 실시 예들에 따른 영상 프레임의 압축 방안에서는 각 라인의 영상 품질 (레벨 정보)을 예측하고, 이를 기반으로 해당 라인에 대해 최적의 압축률, 즉 최적의 압축 비트 수를 할당하는 것에 대해 구체적으로 설명할 것이다.
예컨대 입력할 대상 영상 프레임의 종류 (type)에 따라, 각 라인에 대해 예측한 영상 품질 (레벨 정보)에 의해 조건을 달리하여 해당 라인의 압축 비트 수를 할당하는 구체적인 동작을 개시할 것이다.
만약 입력되는 영상 프레임이 정지 영상일 경우, 영상 프레임을 구성하는 각 라인의 영상 품질 (레벨 정보)은 앞서 생성된 참조 테이블에 등록된 정보에 의해 예측할 수 있다. 상기 참조 테이블은 이전 영상 프레임에서 라인 별로 분석된 영상 품질을 분류하는 레벨 정보를 등록한 테이블이다. 일 예로 상기 참조 테이블은 라인 별로 분석된 영상 품질을 복수의 레벨로 분류하고, 상기 영상 품질을 분류하는 복수의 레벨들에 의해 각 라인의 영상 품질을 관리한다. 따라서 영상 프레임을 구성하는 각 라인의 영상 품질은 참조 테이블에서 이전 영상 프레임에서 동일 라인에 의해 분석된 영상 품질에 따른 레벨 정보에 의해 예측할 수 있을 것이다. 일 예로 상기 영상 품질을 분류하는 복수의 레벨은 그 우수한 정도에 의해 1 내지 n 개의 레벨로 나누어질 수 있다. 이때 상기 n은 하나의 영상 프레임에서 라인에 대한 압축에 의해 출력되는 최소 압축 비트 수와 최대 압축 비트 수를 고려하여 결정할 수 있다. 일 예로 가장 좋은 영상 품질의 라인을 압축할 시에 얻어지는 압축 비트 수가 5 비트이고, 가장 좋지 않은 영상 품질의 라인을 압축할 시에 얻어지는 압축 비트 수가 14 비트라 가정할 시, 영상 품질을 분류하는 레벨의 개수 n은 9 (14-5)가 될 수 있다.
한편 입력되는 영상 프레임이 동 영상일 경우, 영상 프레임을 구성하는 각 라인의 영상 품질은 동일 영상 프레임에 존재하는 선행 라인과의 상관도 (또는 유사도) 및 선행 라인의 영상 품질 수준을 고려하여 예측할 것이다. 여기서 선행 라인과의 상관도 (또는 유사도) 또한 다양한 레벨에 의해 구분될 수 있다. 상기 상관도는 압축할 대상 라인과 선행 라인과의 유사 정도에 의해 상, 중, 하로 분류하는 것이 가장 쉬운 예가 될 수 있다. 하지만 보다 세밀한 대비를 위해 상관도를 m개의 레벨로 분류하여 정의할 수도 있다. 이때 상기 m 또한 하나의 영상 프레임에서 라인에 대한 압축에 의해 출력되는 최소 압축 비트 수와 최대 압축 비트 수를 고려하여 결정할 수 있다. 일 예로 가장 좋은 영상 품질의 라인을 압축할 시에 얻어지는 압축 비트 수가 7 비트이고, 가장 좋지 않은 영상 품질의 라인을 압축할 시에 얻어지는 압축 비트 수가 15 비트라 가정할 시, 상관도를 분류하는 레벨의 개수 m은 8 (15-7)이 될 수 있다.
상술한 바에 따라 라인 별 압축률을 결정하기 위해 고려할, 참조 테이블을 구성하기 위해서는 하나의 영상 프레임을 구성하는 라인 별 영상 품질을 분석하는 기술이 마련되어야 할 것이다. 일 예로 웨이블렛 (Wavelet) 변환 기술에 의해 얻을 수 있는 기준 정보 (Low Level Band Information)는 압축을 위해 영상 프레임을 구성하는 라인 별 영상 품질을 분석하기 위해 사용될 수 있다. 즉 라인 별 영상 품질은 ‘Num. of ‘0’/Avr. of LL band’ (이하 “영상 정보 비율”이라 칭함)를 이용하여 예측할 수 있다. 여기서 ‘Num. of ‘0’’은 해당 라인에 상응한 영상 정보에서 0의 누적 개수를 의미하고, ‘Avr. of LL band’는 웨이블렛 변환 기술에 의해 얻을 수 있는 기준 정보의 평균 값을 의미한다.
상기 웨이블렛 변환 기술에 의해 라인 별로 얻어진 영상 정보 비율은 해당 라인에 대해 실제로 측정된 최대 신호 대 잡음비 (PSNR: Peak signal-to-noise radio)과의 매핑되어 영상 품질 판단 테이블을 구성한다. 즉 영상 품질 판단 테이블은 구성하기 위해서는 라인 별 영상 품질의 척도로 사용할 수 있는 PSNR 값을 실제로 측정할 필요도 있다. 하지만 상기 라인 별 PSNR의 실측은 영상 프레임을 압축할 때마다 수행하는 것이 아니라, 압축할 영상 프레임을 구성하는 라인에 대한 영상 품질 수준을 결정하기 위해 테이블을 마련할 시에만 수행하도록 한다.
이하 본 발명에서 제안하는 실시 예들을 첨부된 도면을 참조하여 구체적으로 설명하도록 한다.
도 1은 본 발명에서 제안하는 영상 압축 및 복원 처리를 수행하는 영상 처리 디바이스의 예를 보이고 있다.
도 1을 참조하면, 영상 처리 디바이스는 영상 처리를 통해 영상을 디스플레이 하는 기기로써, 스마트 폰, 태블릿 PC 등이 될 수 있다. 상기 영상 처리 디바이스는 정지 영상 또는 동 영상에 상응한 영상 프레임을 압축하거나 압축 영상 프레임을 복원한다. 상기 영상 처리 디바이스는 압축 영상 프레임을 지정된 기록매체에 기록하거나 소정의 통신망과의 결합에 의해 외부 장치로 전송할 수도 있다. 그 반대로 상기 영상 처리 디바이스는 기록매체에 기록된 압축 영상 프레임을 복원하거나 통신망과의 결합에 의해 외부 장치로부터 전송되는 압축 영상 프레임을 복원할 수도 있다.
도 1에서는 내부에서 영상 프레임의 압축 및 복원이 이루어지는 영상 처리 디바이스의 일 예를 보이고 있다. 도 1에서 보이고 있는 영상 처리 디바이스는 디스플레이 영상 처리를 수행하는 구성으로 두 개의 영상 처리 블록들(110, 120)과, 상기 두 개의 영상 처리 블록들(110, 120) 간을 연결하는 인터페이스(130)를 포함한다. 여기서 제1영상 처리 블록(110)과 제2영상 처리 블록(120)은 소정의 인터페이스(130)에 의해 결합되어 영상 프레임을 주고 받을 수 있다.
상기 제1영상 처리 블록(110)과 제2영상 처리 블록(120) 간에 주고 받는 영상 프레임은 압축되거나 압축되지 않을 수도 있다.
먼저 제1영상 처리 블록(110)이 영상 데이터를 압축하여 제2영상 처리 블록(120)으로 제공하는 것을 가정하면, 제1영상 처리 블록(110)에 구비된 인코더 (encoder)에 의해 압축된 영상 데이터는 인터페이스(130)를 통해 제2영상 처리 블록(120)으로 전달된다. 이와 같이 제1영상 처리 블록(110)이 영상 데이터를 압축하여 제2영상 처리 블록(120)으로 전달할 경우, 인터페이스(130)에서 영상 데이터의 전달을 위해 사용되는 대역폭 (Bandwidth)을 절감할 수 있다.
상기 압축된 영상 데이터는 상기 제2영상 처리 블록(120)에 구비된 저장 영역인 프레임 버퍼 (Frame Buffer)에 저장된다.
상기 압축된 영상 데이터가 동 영상이라면, 제1영상 처리 블록(110)은 영상 데이터에 의해 생성된 영상 프레임들을 연속으로 압축하여 전송한다. 따라서 제2영상 처리 블록(120)의 프레임 버퍼는 상기 제1영상 처리 블록(120)에 의해 연속하여 전송되는 압축 영상 프레임들에 의해 계속하여 갱신될 것이다.
상기 제2영상 처리 블록(120)에 구비된 디코더 (decoder)는 프레임 버퍼에 기록된 압축 영상 프레임을 순차적으로 복원하여 압축 전의 영상 데이터를 출력한다. 상기 제2영상 처리 블록(120)은 순차적으로 복원된 영상 데이터를 디스플레이 한다.
상기 압축된 영상 데이터가 정지 영상이라면, 제1영상 처리 블록(110)은 영상 데이터에 의해 생성된 영상 프레임을 압축하여 전송한다. 상기 제1영상 처리 블록(110)은 제2영상 처리 블록(120)으로부터의 요청이 있을 때까지 영상 프레임의 전송을 멈춘다. 이로 인해 상기 제1영상 처리 블록(110)에서의 소비 전력 및 인터페이스(130)에서의 소비 전력 등을 절감시킬 수 있다.
상기 제1영상 처리 블록(110)에 의해 전송된 압축 영상 프레임은 상기 제2영상 처리 블록(120)의 프레임 버퍼에 기록된 압축 영상 프레임을 갱신할 것이다.
상기 제2영상 처리 블록(120)에 구비된 디코더 (decoder)는 프레임 버퍼에 기록된 압축 영상 프레임을 복원하여 압축 전의 영상 데이터를 출력한다. 상기 제2영상 처리 블록(120)은 복원된 영상 데이터를 디스플레이 한다.
상술한 바와 같이 제1영상 처리 블록(110)에서 영상 데이터를 압축하여 전송할 경우, 제2영상 처리 블록(120)이 인코더를 구비하고 있더라도 상기 구비된 인코더를 사용하지 않는다.
다음으로 제1영상 처리 블록(110)이 영상 데이터를 압축하지 않고 제2영상 처리 블록(120)으로 제공하는 것을 가정하면, 제1영상 처리 블록(110)은 압축되지 않은 영상 데이터를 인터페이스(130)를 통해 제2영상 처리 블록(120)으로 전달한다.
상기 압축되지 않은 영상 데이터가 정지 영상인 경우, 제1영상 처리 블록(110)은 영상 데이터가 정지 영상임을 알리는 정보를 제2영상 처리 블록(120)으로 제공할 수 있다. 상기 제1영상 처리 블록(110)은 제2영상 처리 블록(120)으로부터의 요청이 있을 때까지, 영상 데이터의 전송을 멈춤으로써, 상기 제1영상 처리 블록(110)에서의 소비 전력 및 인터페이스(130)에서의 소비 전력 등을 절감시킬 수 있다.
상기 압축되지 않은 영상 데이터는 상기 제2영상 처리 블록(120)에 구비된 인코더로 제공된다. 상기 제2영상 처리 블록(120)에 구비된 인코더는 영상 데이터를 압축하고, 상기 압축한 영상 데이터를 내부에 구비된 프레임 버퍼에 기록하거나 프레임 버퍼에 기록되어 있는 압축 영상 데이터를 갱신한다.
상기 제2영상 처리 블록(120)에 구비된 디코더 (decoder)는 프레임 버퍼에 기록된 압축 영상 데이터를 복원한다. 상기 제2영상 처리 블록(120)은 디코더에 의해 복원된 영상 데이터를 디스플레이 한다.
상술한 바에 따르면, 영상 프레임은 제1영상 처리 블록(110) 또는 제2영상 처리 블록(120)에 구비된 인코더에 의해 압축이 이루어진다. 상기 인코더는 영상 프레임에 대해 주어진 압축률에 의해, 상기 영상 프레임을 구성하는 각 라인의 압축을 수행한다. 따라서 영상 프레임을 구성하는 라인들이 서로 다른 압축 성능을 가진다면, 주어진 압축률에 의한 라인 별 압축으로 얻어지는 압축 비트 수는 서로 상이할 수 있다. 즉 각 라인을 구성하는 영상 데이터의 비트 수가 동일하나, 압축 성능의 차이로 인해 얻어지는 압축 비트 수가 다르다는 것은, 라인 별 실제 압축률, 즉 압축 성능이 서로 상이함을 의미한다. 예컨대 압축 성능이 높은 라인을 압축함으로써 얻어지는 압축 비트 수가 상대적으로 압축 성능이 낮은 라인을 압축함으로써 얻어지는 압축 비트 수에 비해 작다.
이러한 점을 고려할 시, 인코더가 각 라인의 압축 성능, 압축률, 압축 비트 수 중 적어도 하나를 예측할 수만 있다면, 라인 별 할당 압축 비트 수를 스케줄링 하는 것이 가능할 것이다. 상기 스케줄링은 하나의 영상 프레임을 고정된 압축률 (이하 ‘프레임 압축률’이라 칭함)에 의해 압축하는 것을 전제로, 압축 및 복원 시에 영상 품질을 최대화할 수 있도록 수행하는 것이 바람직할 것이다. 상기 하나의 영상 프레임을 고정된 프레임 압축률에 의해 압축한다는 것은 스케줄링 여부에 관계 없이 상기 하나의 영상 프레임을 압축함으로써 얻게 되는 전체 압축 비트 수에는 변화가 없음을 의미한다. 즉 스케줄링을 통해 라인 별로 압축 비트 수를 동적으로 할당하더라도, 모든 라인들에 대해 할당한 전체 압축 비트 수에는 변화가 없도록 한다. 만약 변화가 있더라도 스케줄링에 의한 전체 압축 비트 수는 프레임 압축률에 의한 전체 압축 비트 수를 넘지 않도록, 각 라인에 대한 압축 비트 수를 할당하는 것이 바람직하다.
일 예로 하나의 영상 프레임을 위해서는 고정된 프레임 압축률을 적용하나 상기 하나의 영상 프레임을 구성하는 라인 별 압축률을 동적으로 할당하는 스케줄링 방안이 있을 수 있다. 즉 압축 성능이 높은 라인으로부터 회수한 압축 비트 수의 범위 내에서 상대적으로 압축 성능이 낮은 라인에게 추가 압축 비트 수를 할당하는 스케줄링을 수행한다. 이는 불필요하게 압축 비트 수가 할당되는 것을 방지할 수 있을 뿐만 아니라 상대적으로 압축 성능이 낮은 라인에 대한 영상 품질을 개선시킬 수 있는 방안이 될 것이다.
또한 인코더는 압축 전의 영상 프레임에 대해 예측한 영상 품질이 소정의 기준 영상 품질을 만족하는지 여부에 따라, 영상 프레임에 대한 압축 여부를 결정하거나 압축 알고리즘을 선택적으로 적용하거나 고정된 프레임 압축률을 변경할 수도 있다. 이는 선택적 압축을 통해 디스플레이 되는 영상 품질의 저하를 방지하는 방안이 된다.
상기 스케줄링 방안과, 선택적 압축 방안에 대한 구체적인 설명은 후술하도록 한다.
도 2는 본 발명에서 제안하는 영상 압축 및 복원 처리가 내부에서 이루어지는 영상 처리 디바이스의 일 예를 보이고 있다. 즉 도 2에서 보이고 있는 영상 처리 디바이스의 구성은 도 1에서의 영상 처리 디바이스에 대한 실제 구현 예가 될 것이다.
도 2에서 보이고 있는 구조를 가지는 영상 처리 디바이스로는 스마트 폰이 대표적인 예이다. 상기 스마트 폰은 어플리케이션 프로세서 (AP: Application Processor, 도 1에서 제1영상 처리 블록(110)에 대응함)(210)와 디스플레이 구동 칩 (DDI: Display Driver IC, 도 1에서 제2영상 처리 블록(120)에 대응함)(220)이 인터페이스(230)을 통해 영상 프레임을 공유하는 구조를 가진다. 상기 AP(210)와 상기 DDI(220)는 스마트 폰과 같은 모바일 기지에서 디스플레이 영상을 처리를 담당하는 부품이다.
상기 AP(210)와 상기 DDI(220)를 연결하는 인터페이스(230)로는 영상 데이터의 전달이 용이한 고속의 직렬 인터페이스 (serial interface)가 사용된다. 대표적인 고속의 직렬 인터페이스는 MIPI (Mobile Industry Processor Interface)와, eDP (embedded Display Port) 인터페이스 등이 존재한다.
도 3은 본 발명에서 제안하는 영상 압축 및 복원 처리가 내부에서 이루어지는 영상 처리 디바이스의 다른 예를 보이고 있다. 즉 도 3에서 보이고 있는 영상 처리 디바이스의 구성은 도 1에서의 영상 처리 디바이스에 대한 다른 실제 구현 예가 될 것이다.
도 3에서 보이고 있는 구조를 가지는 영상 처리 디바이스로는 태블릿 PC가 대표적인 예이다. 상기 태블릿 PC는 AP (도 1에서 제1영상 처리 블록(110)에 대응함)(310)와 타이밍 컨트롤러 (T-CON: Timing Controller, 도 1에서 제2영상 처리 블록(120)에 대응함)(320)이 인터페이스(330)을 통해 영상 프레임을 공유하는 구조를 가진다. 상기 AP(310)와 상기 T-CON(320)는 태블릿 PC와 같은 모바일 기지에서 디스플레이 영상을 처리를 담당하는 부품이다.
상기 AP(210)와 상기 T-CON(320)을 연결하는 인터페이스(330)는 영상 데이터의 전달이 용이한 고속의 직렬 인터페이스 (serial interface)이다. 대표적인 고속의 직렬 인터페이스는 MIPI와, eDP 인터페이스 등이 존재한다.
도 4는 본 발명에서 제안하는 영상 데이터를 압축하기 위한 영상 처리장치의 구성을 보이고 있다. 도 4에서는 영상 처리 디바이스에서 제안된 발명과의 관련이 없다고 인정되는 구성을 생략하고, 영상 데이터를 압축하기 위해 요구되는 구성만을 도시하였다.
도 4를 참조하면, 영상 데이터를 압축하기 위한 영상 처리장치는 프레임 버퍼(410)와 인코더(420)를 포함한다. 상기 영상 처리장치는 그 사용 용도 및 구현 방안에 따라, 그 구성이 변경될 수 있음은 물론이다. 일 예로 프레임 버퍼(410)를 별도의 구성으로 구비하지 않고, 인코더 내에 압축할 영상 프레임을 임시로 저장하기 위한 기록 영역을 구비하도록 할 수 있다.
상기 프레임 버퍼(410)는 압축을 위해 입력되는 영상 프레임 (또는 영상 데이터)를 기록한다. 상기 프레임 버퍼(410)에 기록되는 영상 프레임의 개수는 버퍼 크기에 의해 가변될 수 있다.
상기 프레임 버퍼(410)가 하나의 영상 프레임을 기록할 수 있는 크기를 가질 시, 상기 프레임 버퍼(410)는 정지 영상 또는 동영상에 의해 생성된 하나의 영상 프레임 단위로 갱신할 것이다.
상기 인코더(420)는 프레임 버퍼(410)로부터 제공되는 입력 영상 프레임을 고정된 프레임 압축률을 고려하여 상기 입력 영상 프레임을 구성하는 라인 별로 인코딩하여 압축된 영상 프레임을 출력한다. 상기 라인 별 인코딩을 위한 압축률은 스케줄링을 통해 결정될 수 있다. 하지만 상기 고정된 프레임 압축률로 인해, 상기 인코더(420)에 의해 압축된 영상 프레임의 모든 라인 별 압축 비트 수의 합인 전체 압축 비트 수는 고정된다.
보다 구체적으로, 상기 인코더(420)는 입력 영상 프레임을 구성하는 각 라인을 독립적으로 할당된 압축률을 근거로 인코딩하여 출력한다. 상기 인코더(420)는 입력 영상 프레임을 구성하는 영상 데이터의 종류에 따라, 각 라인에 대해 압축률을 부여하기 위한 스케줄링 방안을 별도로 마련한다. 즉 상기 인코더(420)는 영상 데이터의 종류가 정지 영상인 경우에 입력 영상 프레임의 각 라인에 대해 압축률을 동적으로 부여하는 스케줄링 방안과, 영상 데이터의 종류가 동영상인 경우에 입력 영상 프레임의 각 라인에 대해 압축률을 동적으로 부여하는 스케줄링 방안을 구분하여 적용할 수 있다.
상기 스케줄링을 통해 각 라인에 대한 압축률을 부여한다는 것은 각 라인을 압축함으로써 생성되는 압축 비트 수를 결정하는 것과 동일한 의미를 가진다. 그 이유는 앞에서 반복적으로 설명된 바와 같이, 압축률이 압축을 위해 입력되는 비트와 압축에 의해 출력되는 비트의 비에 의해 정의되기 때문이다. 즉 압축을 위한 입력 비트 수가 일정하다면, 압축률은 압축에 의해 출력되는 비트 수, 즉 압축 비트 수에 비례하여 정의될 수 있다.
상기 정지 영상을 위한 스케줄링 방안은, 이전 영상 프레임 (N-1 번째 영상 프레임)을 구성하는 라인 별로 분석된 결과를 기반으로 현재 영상 프레임 (N 번째 영상 프레임)의 라인 별 압축 비트 수를 조정하는 것이다. 상기 라인 별 압축 비트 수를 조정하는 것은 라인 별 압축률을 설정하는 것과 동일한 의미를 가진다. 상기 분석 결과는 압축 성능 또는 영상 품질 등에 의해 분류된 라인 별 레벨 정보가 될 수 있다. 이를 위해 압축 성능 또는 영상 품질 등을 분류하기 위한 복수의 레벨들을 미리 정의할 수 있다.
상기 인코더(420)는 이전 영상 프레임 (N-1 번째 영상 프레임)의 라인 별로 분석한 결과를 기반으로 현재 영상 프레임 (N 번째 영상 프레임)의 라인 별 영상 품질 또는 압축 성능을 예측할 수 있다. 상기 인코더(420)는 라인 별로 예측한 영상 품질 또는 압축 성능을 참조하여 라인 별로 압축 비트 수를 회수할 것인지 아니면 압축 비트 수를 추가 할당할 것인지 판단한다.
예컨대 상기 인코더(420)는 영상 품질 또는 압축 성능이 좋은 라인 (높은 레벨이 부여된 라인)에 대해서는 잉여 압축 비트 수만큼을 회수하고, 영상 품질 또는 압축 성능이 상대적으로 좋지 않은 라인 (낮은 레벨이 부여된 라인)에 대해서는 결핍 압축 비트 수만큼을 추가 압축 비트로 할당할 것을 판단한다.
상기 인코더(420)는 상기 판단에 의해 회수할 잉여 압축 비트 수를 누적하여 관리하고, 추가 할당이 필요한 라인에 대해서는 상기 누적하여 관리하고 있는 잉여 압축 비트 수에서 지원 가능한 범위에서 압축 비트 수를 추가로 할당한다.
이와 같은 상기 인코더(420)의 스케줄링에 의해, 하나의 영상 프레임을 압축하기 위해 요구되는 전체 압축 비트 수의 변화 없이, 라인 별 압축률을 최적화시킬 수 있다. 이는 영상 프레임의 영상 품질을 더욱 향상하도록 할 것이다.
상기 동영상을 위한 스케줄링 방안은, 동일 영상 프레임 (N 번째 영상 프레임) 내에서 이전 라인 (k-1 번째 라인)의 압축 정보와 현재 라인 (k 번째 라인)을 압축할 시에 예상되는 압축 정보를 이용하여 상기 현재 라인 (k 번째 라인)의 압축 비트 수를 조정하는 것이다. 상기 라인 별로 할당할 압축 비트 수를 조정하는 것은 라인 별 압축률을 설정하는 것과 동일한 의미를 가진다.
상기 인코더(420)는 이전 라인 (k-1 번째 라인)과 현재 라인 (k 번째 라인) 간의 유사도가 일정 수준 이상이고, N 번째 영상 프레임의 예측 영상 품질이 기준 이상이면, 이전 라인 (k-1 번째 라인)의 압축 성능 (또는 영상 품질)에 의해 현재 라인 (k 번째 라인)의 압축 성능 (또는 영상 품질)을 예측한다.
일 예로 상기 인코더(420)는 이전 라인의 압축 성능을 예측한 후 상기 이전 라인에 대한 인코딩을 수행하고, 다음 라임에 대해서도 성능을 예측한다. 상기 인코더(420)는 상기 이전 라인과 다음 라인 간의 유사도가 설정된 범위 내에 존재하는 지를 판단한다. 만약 유사도가 설정된 범위 내에 존재할 시, 상기 인코더(420)는 이전 라인에 대해 예측한 압축 성능과 다음 라인에 대해 예측한 압축 성능을 기반으로 상기 다음 라인에 대한 압축 비트 수를 추가 할당한다. 예컨대 다음 라인에 대해 예측한 압축 성능이 상 또는 중인 경우에 압축 비트 수를 추가로 할당하고, 하인 경우에는 그대로 유지한다.
하지만 상기 인코더(420)는 상기 이전 라인과 다음 라인 간의 유사도가 설정된 범위 내에 존재하지 않을 시. 상기 다음 라인에 대한 압축 비트 수를 사전에 약속된 고정 값에 의해 결정한다.
한편 상기 이전 라인 (k-1 번째 라인)과 현재 라인 (k 번째 라인) 간의 유사도를 다수의 단계로 구분하고, 상기 구분한 유사도 단계 별로 압축 비트 수를 달리 할당할 수 있다. 가장 간단한 방안으로는 이전 라인 (k-1 번째 라인)과 현재 라인 (k 번째 라인) 간의 유사도를 상, 중, 하로 구분할 수 있다. 하지만 보다 세밀하게 유사도를 판단하기 위해, 압축 성능에 따라 출력되는 압축 비트 수의 범위를 고려하여 유사도 레벨을 정의할 수 있다. 이때 상기 압축 비트 수의 범위는 최소 압축 비트 수와 최대 압축 비트 수에 의해 정의될 수 있다.
상기 인코더(420)는 라인 별로 예측한 영상 품질 또는 압축 성능을 참조하여 라인 별로 압축 비트 수를 회수할 것인지 아니면 압축 비트 수를 추가 할당할 것인지를 판단한다.
예컨대 상기 인코더(420)는 압축 성능 (또는 영상 품질)이 좋은 라인에 대해서는 잉여 압축 비트 수만큼을 회수하고, 압축 성능 (또는 영상 품질)이 상대적으로 좋지 않은 라인에 대해서는 결핍 압축 비트 수만큼을 추가로 할당할 것을 판단한다.
이와 같은 상기 인코더(420)의 압축 비트 수 (또는 압축률)에 대한 스케줄링에 의해, 하나의 영상 프레임의 압축에 의한 전체 압축 비트 수의 변화 없이 라인 별 압축률을 최적화시킬 수 있다. 이는 영상 프레임의 압축 및 복원에 따른 영상 품질이 더욱 향상되도록 한다.
한편 상기 인코더(420)의 압축 비트 수 (또는 압축률)에 대한 스케줄링은 다수의 프레임들을 단위로 이루어질 수 있다. 즉 상기 인코더(420)는 각 라인에 대해 분석한 압축 성능을 하나의 대상 영상 프레임을 구성하는 라인들에 대한 압축 비트 수를 결정하기 위해 사용하는 것 외에도 그 이후에 존재하는 소정 개수의 프레임들에 대해서도 동일하게 적용할 수도 있다. 상기 한번의 분석 결과를 공통으로 적용할 영상 프레임의 개수는 필요에 의해 정의되거나 갱신될 수 있다.
도 5는 본 발명에서 제안하는 정지 영상을 압축하기 위한 인코더의 구조에 대한 일 예를 보이고 있다. 도 5에서 보이고 있는 블록은 하드웨어 또는 소프트웨어 또는 하드웨어와 소프트웨어의 결합에 의한 구성으로써, 이전 영상 프레임에서의 라인 별 분석 결과를 기반으로 현재 영상 프레임에서의 라인 별 압축 비트 수를 독립적으로 할당한다. 상기 이전 영상 프레임에서의 라인 별 분석 결과에 의해, 현재 영상 프레임의 라인 별 압축 성능 또는 영상 품질 등을 예측할 수 있다.
상기 압축 성능은 동일한 압축 방식에 의해 영상 데이터를 압축하였을 때, 얼마나 적은 압축 비트 수를 얻을 수 있는 지를 나타내는 척도의 일 예이다. 상기 압축 성능을 측정하기 위해서는 압축 및 복원에 따른 영상 품질을 영상 프레임의 라인 별로 동일하게 얻을 수 있음을 전제로 하여야 한다.
동일한 영상 품질을 얻기 위해, 압축에 의해 생성되는 압축 비트 수가 적을수록 압축 성능이 높다고 할 수 있고, 압축에 의해 생성되는 압축 비트 수가 많을수록 압축 성능이 낮다고 할 수 있다. 이러한 이유로 압축 성능이 좋은 라인에 대해서는 높은 압축률을 할당할 수 있으나 상대적으로 압축 성능이 좋지 않은 라인에 대해서는 낮은 압축률을 할당할 수 있다.
예컨대 상기 압축 성능은 사전의 정의된 복수의 레벨들에 의해 분류할 수 있다. 일 예로 상기 압축 성능을 분류하는 복수의 레벨들은 압축 성능에 따라 획득될 수 있는 최소 압축 비트 수와 최대 압축 비트 수 간의 차이 값에 의해 미리 설정될 수 있다. 이 경우 각 압축 성능을 정의하는 레벨은 출력되는 압축 비트 수를 정의할 수 있다.
도 5를 참조하면, 영상 품질 예측부(510)는 영상 프레임의 라인 별 영상 품질을 예측한다. 상기 영상 품질의 일 예로 PSNR이 있다. 하지만 라인 별 영상 품질의 예측은 모든 영상 프레임을 압축하기 위해 수행될 필요는 없다. 바람직하기로는 한번의 라인 별 영상 품질 예측에 의해, 그 영상 품질을 유지하기에 바람직한 수만큼의 영상 프레임들에 대한 압축이 수행될 동안에는 라인 별 영상 품질에 대한 예측이 요구되지는 않는다.
예컨대 영상 품질 예측부(510)는 웨이블렛 변환 기술을 사용하여 영상 품질을 판단하기 위한 기준으로 활용할 영상 정보 비율을 획득한다. 일 예로 영상 정보 비율을 ‘해당 라인에 상응한 영상 정보에서 0의 누적 개수와 웨이블렛 변환 기술에 의해 얻을 수 있는 기준 정보의 평균 값의 비 (Num. of ‘0’/Avr. Of LL band)’에 의해 획득할 수 있다.
도 7은 본 발명에 적용된 웨이블렛 변환 기술에 의해 데이터를 압축하는 일 예를 보이고 있다.
도 7을 참조하여 웨이블렛 변환 기술에 대해 살펴보면, 영상 품질 예측부(510)는 압축을 위해 입력되는 영상 데이터로부터 저 주파수 (Low frequency)의 데이터 (이하 ‘제1 저 주파수 분리 데이터’라 칭함)와 고 주파수 (High Frequency)의 데이터 (이하 ‘제1 고 주파수 분리 데이터’라 칭함)를 분리한다 (stage 1). 일 예로 2000 픽셀로 구성된 영상 데이터로부터 1000 픽셀의 제1 저 주파수 분리 데이터와 1000 픽셀의 제1 고 주파수 분리 데이터를 분리한다.
상기 영상 품질 예측부(510)는 제1 저 주파수 분리 데이터로부터 저 주파수의 데이터 (이하 ‘제2 저 주파수 분리 데이터’라 칭함)와 고 주파수의 데이터 (이하 ‘제2 고 주파수 분리 데이터’라 칭함)를 분리한다 (stage 2). 일 예로 1000 픽셀로 구성된 제1 저 주파수 분리 데이터로부터 500 픽셀의 제2 저 주파수 분리 데이터와 500 픽셀의 제2 고 주파수 분리 데이터를 분리한다.
상기 영상 품질 예측부(510)는 제2 저 주파수 분리 데이터로부터 저 주파수의 데이터 (이하 ‘제3 저 주파수 분리 데이터’라 칭함)와 고 주파수의 데이터 (이하 ‘제3 고 주파수 분리 데이터’라 칭함)를 분리한다 (stage 3). 일 예로 500 픽셀로 구성된 제2 저 주파수 분리 데이터로부터 250 픽셀의 제3 저 주파수 분리 데이터와 250 픽셀의 제3 고 주파수 분리 데이터를 분리한다.
상술한 바와 같은 웨이블렛 변환에 의해, 저 주파수의 데이터와 고 주파수의 데이터를 분리하는 절차를 반복하여 레벨을 형성한다. 이를 ‘피라미드 레벨 (Pyramid Level)’이라 한다.
상기 웨이블렛 변환을 거쳐 마지막 단계에서 분리된 저 주파수 데이터에 상응한 저 레벨 밴드 정보 (Low Level Band Information)는 가장 많은 영상 정보를 포함된다. 따라서 상기 저 레벨 밴드 정보 (Low Level Band Information)는 압축/복원을 진행할 영상의 영상 품질을 예측하기 위해 주요하게 사용될 기준 정보가 된다.
상기 영상 품질 예측부(510)는 웨이블렛 변환을 수행하여 얻은 저 레벨 밴드 정보에서의 데이터 평균 값과 ‘0’의 누적 개수의 비로 정의되는 영상 정보 비율을 이용하여 라인 별 영상 품질을 예측한다.
도 8은 본 발명의 실시 예에서 영상 정보 비율과 영상 품질이 매핑된 일 예를 보이고 있다. 즉 도 8에서 보이고 있는 예는 영상 정보 비율을 x 축에 배열하고, 라인 별로 실측한 영상 품질 (PSNR) 값을 y 축에 배열한 그래프이다.
상기 라인 별 PSNR은 하기 <수학식 1>에 의해 측정할 수 있다.
Figure pat00001
여기서 MSE (Mean Squared Error, 오차 제곱 평균)는 두 개의 같은 양의 데이터에 대한 동일한 위치에서 계산된 분산으로써,
Figure pat00002
로 정의될 수 있다. 상기 MSE를 정의하는 수식에서의 두 개 변수 i와 j는 영상 처리를 기준으로 가로와 세로를 정의한다.
도 8의 그래프에서 각 라인의 영상 품질을 나타내는 PSNR들의 분포를 살펴보면, x 축의 영상 정보 비율이 높을수록 상대적으로 높은 PSNR이 많이 분포하고, x 축의 영상 정보 비율이 낮을수록 상대적으로 낮은 PSNR이 많이 분포함을 관찰할 수 있다. 일반적으로 PSNR이 30dB가 넘으면, 사람은 두 영상의 차이를 눈으로 식별할 수 없다.
따라서 PSNR의 분포를 고려하여 x 축에 배열된 영상 정보 비율을 복수의 레벨들로 분류할 수 있다. 일 예로 대략 250 이하의 영상 정보 비율을 제3레벨로 분류하고, 대략 250 ~ 700 사이의 영상 정보 비율을 제2레벨로 분류하며, 대략 700 이상의 영상 정보 비율을 제3레벨로 분류할 수 있다.
만약 도 8에서 보이고 있는 영상 정보 비율에 대응하여 실측된 PSNR을 테이블로 생성한다면, 상기 영상 품질 예측부(510)는 웨이블렛 변환에 의해 라인 별로 획득한 영상 정보 비율에 의해 쉽게 영상 품질, 즉 PSNR을 예측할 수 있을 것이다. 상기 영상 품질 예측부(510)는 예측한 영상 품질, 즉 PSNR을 판단부(540)로 제공한다.
영상 처리부(520)는 압축을 위해 입력되는 라인 별 영상 데이터를 소정의 압축 알고리즘에 의해 인코딩하고, 상기 인코딩의 결과로 압축 비트 열을 출력한다. 이때 출력되는 압축 비트 열을 구성하는 비트 수는 해당 라인의 압축률을 결정한다.
압축 결과 분석부(530)는 압축을 위해 입력된 라인의 영상 데이터의 비트 수와 상기 영상 처리부(520)에 의해 출력되는 압축 비트 열의 비트 수에 의해 압축률, 즉 압축 성능을 산출한다. 상기 압축 결과 분석부(510)는 산출한 압축 성능을 상기 판단부(540)로 제공한다.
상기 판단부(540)는 상기 영상 품질 예측부(510)에 의해 제공되는 라인 별 영상 품질과, 상기 압축 결과 분석부(530)에 의해 제공되는 압축 성능을 기반으로 라인 별 압축 비트 수 (즉 압축률)를 결정한다. 상기 판단부(540)는 초기 할당 방안과 참조 할당 방안 중 어느 하나에 의해 라인 별 압축 비트 수를 결정한다.
상기 초기 할당 방안은 라인 별 레벨 정보가 마련되어 있지 않는 상황에서 라인 별 압축 비트 수를 스케줄링 하는 방안이고, 상기 참조 할당 방안은 라인 별 레벨 정보가 마련되어 있는 상황에서 라인 별 압축 비트 수를 스케줄링 하는 방안이다.
예컨대 N-1 번째 영상 프레임과 N 번째 영상 프레임이 입력되는 상황을 가정할 때, N-1 번째 영상 프레임에 대해서는 초기 할당 방안에 의한 스케줄링을 수행하고, N 번째 영상 프레임 또는 N 내지 N+α에 대해서는 참조 할당 방안에 의한 스케줄링을 수행한다. 상기 α는 한번의 압축 성능의 분석에 따른 결과를 공통으로 적용할 주기, 즉 영상 프레임의 개수를 정의하는 파라미터이다.
먼저 초기 할당 방안에 대해 설명하면, 판단부(540)는 현재 영상 프레임의 라인 별 영상 품질을 예측하고, 상기 예측된 라인 별 영상 품질 및 압축 성능을 기반으로 해당 라인의 압축 비트 수에 대한 스케줄링을 수행한다.
상기 판단부(540)는 현재 영상 프레임을 구성하는 라인 별로 예측에 의한 영상 품질과, 측정에 의한 압축 성능 (잉여 압축 비트 또는 결핍 압축 비트의 발생 여부)을 기반으로, 영상 프레임을 구성하는 라인들을 분류할 수 있다. 즉 상기 판단부(540)는 라인 별 영상 품질과 압축 성능을 소정의 기준에 의해 복수의 레벨들로 분류할 수 있다.
예컨대 임의 라인을 압축하여 획득한 또는 예측되는 압축 비트 수가 설정된 기준 (기준 압축 비트 수)보다 작을 시, 상기 판단부(540)는 상기 임의 라인을 원하는 영상 품질을 얻을 수 있을 뿐만 아니라 압축 성능이 우수하다고 판단하여 “제1레벨 (Good Quality)”로 분류한다. 그렇지 않고 임의 라인을 압축하여 획득한 또는 예측되는 압축 비트 수가 설정된 기준 (기준 압축 비트 수)보다 작지 않을 시, 상기 판단부(540)는 상기 임의 라인에 대한 영상 품질을 분석하고, 상기 분석에 의해 예측된 영상 품질에 의해 상기 임의 라인을 “제2레벨 (Moderate Quality)” 또는 “제3레벨 (Poor Quality)”로 분류한다. 상기 일 예에서는 세 개의 레벨들을 가정하고 있으나 그 이상의 레벨에 의해 영상 품질을 세분화할 수 있다.
상기 판단부(540)는 각 라인의 분류에 의해 해당 라인에 대응한 레벨 정보를 결정하고, 상기 라인 별로 결정된 레벨 정보에 의해 관리 테이블을 생성할 수 있다. 상기 관리 테이블은 향후 참조 할당 방안에 의해 라인 별 압축 비트 수를 결정하기 위해 사용될 것이다.
상기 판단부(540)는 임의 라인에 대한 압축에 의해 획득되는 잉여 압축 비트 수를 누적하고, 상기 누적한 잉여 압축 비트 수를 활용하여 다른 임의 라인에서 압축 비트 수가 부족한 상황이 발생하지 않도록, 스케줄링에 의해 라인 별로 회수할 잉여 압축 비트 수 또는 추가 할당할 결핍 압축 비트 수를 결정한다.
일 예로 상기 판단부(540)는 제1 및 제2레벨로 분류된 라인에 대해서는 실제 압축을 통해 소정의 잉여 압축 비트 수를 회수하고, 제3레벨로 분류된 라인에 대해서는 실제 압축을 통해 소정의 결핍 압축 비트 수를 추가로 할당한다.
다음으로 참조 할당 방안에 대해 설명하면, 판단부(540)는 선행 영상 프레임의 압축에 의해 마련된 라인 별 레벨 정보를 기반으로 현재 영상 프레임의 라인 별 레벨 정보를 획득하고, 상기 획득한 레벨 정보를 기반으로 해당 라인의 압축 비트 수에 대한 스케줄링을 수행한다.
예컨대 상기 판단부(540)는 초기 할당 방안에 의해 생성된 참조 테이블에 의해, 현재 영상 프레임의 임의 라인의 레벨 정보가 제1레벨이라 판단될 시에 할당된 압축 비트 수와 실제 압축 비트 수의 차이를 누적하고, 제1 및 제2레벨에서 할당을 줄인 압축 비트 수를 함께 누적하여, 제3레벨로 분류된 라인의 압축을 위한 압축 비트 수로 할당한다.
도 6은 본 발명에서 제안하는 동 영상을 압축하기 위한 인코더의 구조에 대한 일 예를 보이고 있다. 도 6에서 보이고 있는 블록은 하드웨어 또는 소프트웨어 또는 하드웨어와 소프트웨어의 결합에 의한 구성으로써, 하나의 영상 프레임 내에서 이전 라인에서의 분석 결과를 기반으로 현재 라인에서의 압축 비트 수를 독립적으로 할당한다. 상기 이전 라인에서의 분석 결과에 의해, 현재 라인의 압축 성능 또는 영상 품질 등을 예측할 수 있다.
상기 압축 성능은 동일한 압축 방식에 의해 영상 데이터를 압축하였을 때, 얼마나 적은 압축 비트 수를 얻을 수 있는 지를 나타내는 척도의 일 예이다. 상기 압축 성능을 측정하기 위해서는 압축 및 복원에 따른 영상 품질을 영상 프레임의 라인 별로 동일하게 얻을 수 있음을 전제로 하여야 한다.
동일한 영상 품질을 얻기 위해, 압축에 의해 생성되는 압축 비트 수가 적을수록 압축 성능이 높다고 할 수 있고, 압축에 의해 생성되는 압축 비트 수가 많을수록 압축 성능이 낮다고 할 수 있다. 이러한 이유로 압축 성능이 좋은 라인에 대해서는 높은 압축률을 할당할 수 있으나 상대적으로 압축 성능이 좋지 않은 라인에 대해서는 낮은 압축률을 할당할 수 있다.
도 6을 참조하면, 영상 품질 예측부(610)는 영상 프레임의 라인 별 영상 품질을 예측한다. 상기 영상 품질의 일 예로 PSNR이 있다. 상기 영상 품질 예측부(610)는 도 5에서의 영상 품질 예측부(510)와 동일한 동작에 의해 PSNR을 예측할 수 있다. 따라서 상기 영상 품질 예측부(610)가 PSNR을 예측하기 위한 구체적인 동작 설명은 생략하도록 한다.
유사도 분석부(620)는 동일 영상 프레임에서 두 개의 라인들 각각에 대응한 영상 데이터들 간의 유사도를 분석하고, 그 결과를 판단부(630)로 출력한다. 예컨대 상기 유사도 분석부(620)는 N 번째 영상 프레임의 k-1 번째 라인 (LN ,k -1 )을 구성하는 각 픽셀을 N 번째 영상 프레임의 k 번째 라인 (LN,k )을 구성하는 픽셀들 중 동일 위치에 존재하는 픽셀과 비교하여, 그 유사 정도에 의해 유사도를 분석한다. 상기 유사도는 영상을 표현하는 다양한 값들에 의해 분석될 수 있다. 예컨대 픽셀의 유사도는 색상을 표현하는 R, G, B 각각의 값, 휘도, 명도, 채도 등을 나타내는 값 등에 의해 분석될 수 있다.
상기 유사도 분석부(620)에 의해 출력되는 유사도는 ‘상’, ‘중’, ‘하’ 등에 의해 구분될 수 있는 레벨 정보 또는 ‘%’로 표현되는 백분율 등에 의해 정의될 수 있다. 하지만 상기 유사도 분석부(620)에 의해 분석되는 유사도의 정도는 더 구체적인 단계들에 의해 세분화될 수 있다. 예컨대 영상 품질에 대응하여 할당이 가능한 최대 압축 비트 수와 최소 압축 비트 수에 의해 정의되는 범위를 기반으로 유사도를 구분하는 레벨을 정의할 수 있다. 이에 대해서는 앞에서 이미 충분히 예시하였으므로, 그 설명을 생략하도록 한다.
상기 판단부(630)는 상기 영상 품질 예측부(610)에 의해 제공되는 라인 별 영상 품질과, 상기 유사도 분석부(620)에 의해 제공되는 유사도에 관한 정보를 기반으로 라인 별 압축 비트 수 (즉 압축률)를 결정하는 스케줄링을 수행한다. 상기 유사도에 관한 정보는 유사 여부를 나타내는 정보이거나 유사도의 정도를 정의하는 레벨 정보일 수도 있다.
예컨대 상기 판단부(540)는 상기 유사도 분석부(620)에 의해 제공되는 유사도가 소정의 범위 내에 위치하고, 상기 영상 품질 예측부(610)에 의해 제공되는 현재 라인의 영상 품질이 미리 설정된 기준 영상 품질을 만족한다면, 이전 라인의 영상 품질에 비례하여 현재 라인을 위한 압축 비트 수를 결정한다. 즉 상기의 두 가지 조건을 모두 만족할 시, 현재 라인에 대한 압축 비트 수를 추가로 할당하여야 한다고 판단한다.
상기 판단부(630)는 판단된 현재 라인의 영상 품질을 고려하여 할당된 압축 비트 수와 실제 압축 비트 수의 차이를 누적하고, 상기 누적한 잉여 압축 비트 수를 남은 라인 수로 나눈 몫에 의해, 낮은 영상 품질의 라인에서의 결핍 압축 비트 수를 충족시키기 위한 압축 비트 수로 추가 할당한다.
하지만 상기 유사도 분석부(620)에 의해 제공되는 유사도가 소정의 범위 내에 위치하지 않을 시에는 현재 라인에 대한 압축 비트 수를 사전에 설정된 고정 값에 의해 할당하여야 한다고 판단한다.
일 예로 유사도가 소정 범위에 포함되고, 예측 영상 품질이 잉여 비트가 발생하는 정도의 레벨을 만족할 시, 프레임 압축률에 의해 할당 가능한 기준 압축 비트 수에서 영상 품질에 따라 회수하기 위해 미리 설정된 고정 비트 수 외에 유사도와 관련하여 미리 설정된 소정 개수 더 추가로 회수한다. 하지만 유사도가 소정 범위에 포함되지 않고, 예측 영상 품질이 잉여 비트가 발생하는 정도의 레벨을 만족할 시, 프레임 압축률에 의해 할당 가능한 기준 압축 비트 수에서 영상 품질에 따라 회수하기 위해 미리 설정된 고정 비트 수만을 회수한다.
만약 상술한 경우 외의 다른 판단 결과에 대해서는 회수한 잉여 압축 비트 수를 추가로 할당할 것이다.
도 9는 본 발명에서 제안하는 인코더에서 압축 비트 수를 스케줄링 하는 일 예를 보이고 있다. 도 9에서는 하나의 영상 프레임이 N개의 라인으로 구성됨을 가정하고 있다.
도 9를 참조하면, 제1, 제2, 제5 라인이 상대적으로 압축 성능이 열악하고, 제3, 제N 라인이 상대적으로 압축 성능이 우수함을 가정하였으며, 제4 라인은 해당 영상 프레임의 고정 프레임 압축률과 동일한 압축 성능을 가짐을 가정하였다.
따라서 제3, 제N 라인을 압축함에 의해 발생하는 잉여 압축 비트 수를 회수하여 제1, 제2, 제5 라인을 압축할 시에 요구되는 결핍 압축 비트 수로 할당하는 스케줄링이 이루어질 수 있다. 이때 상기 잉여 압출 비트 수를 회수하거나 결핍 압축 비트 수를 할당하기 위해 기준이 되는 압축 성능 (압축률 또는 압축 비트 수)은 해당 영상 프레임에 대해 부여된 고정 프레임 압축률 (또는 기준 압축률)에 의해 결정될 수 있다. 즉 기준이 되는 압축 성능이 압축 비트 수라고 가정할 시, 상기 기준이 되는 압축 비트 수는 기준 압축률에 의해 영상 프레임을 압축할 시, 발생될 전체 압축 영상 비트 수를 라인 수 (N)으로 나눈 몫에 의해 결정할 수 있다.
한편 상기 잉여 압축 비트 수는 대상 라인에 대한 예측 영상 품질에 상응한 레벨 또는 대상 라인에 대한 예측 영상 품질에 상응한 레벨 및 유사도를 정의하는 레벨을 고려하여 결정할 수 있다. 상기 잉여 압축 비트 수를 결정하는 예에 대해서는 상술되었음에 따라, 그 구체적인 설명은 생략한다.
도 10은 본 발명에서 제안하는 인코더에서의 영상 데이터 압축을 위한 제어 흐름을 보이고 있다. 도 10에서는 압축되지 않은 영상 프레임이 입력되는 상황만을 전제로 하고 있음에 유념할 필요가 있다.
도 10을 참조하면, 인코더는 압축 대상 영상 프레임을 입력 받는다 (1010단계). 상기 압축 대상 영상 프레임의 입력 방식은 그 타입에 의해 달리 결정될 수 있다. 예컨대 압축 대상 영상 프레임의 타입이 정지 영상인 경우, 인코더의 요청에 의해서만 영상 프레임의 입력이 이루어지므로, 상기 인코더의 요청이 있기 전까지 영상 프레임을 입력하는 인터페이스로 인한 소비 전력을 절감시킬 수 있다. 상기 압축 대상 영상 프레임의 입력 방식이 동 영상인 경우에는 영상 프레임들이 연속하여 입력되는 것이 일반적이다.
상기 인코더는 설정된 소정의 압축 알고리즘을 사용하여 입력되는 영상 프레임에 대한 인코딩을 통해, 해당 영상 프레임을 압축한다 (1020단계). 상기 영상 프레임을 인코딩하기 위한 프레임 압축률은 고정되는 것이 일반적이다. 하지만 상기 프레임 압축률은 압축 및 복원에 따른 영상 품질의 향상을 위해, 특정한 상황에서 가변적으로 적용될 수도 있다. 일 예로 영상 프레임에 대한 압축 및 복원 시에 영상 품질이 설정 기준을 만족하지 못할 것으로 예측될 시, 인코더는 영상 프레임의 프레임 압축률을 변경하거나 압축을 행하지 않을 수도 있다. 그 외에도 인코더는 해당 영상 프레임을 인코딩하기 위한 압축 알고리즘을 변경할 수도 있다.
상기 인코더는 영상 프레임을 압축함에 있어, 해당 영상 프레임을 구성하는 라인 별로의 인코딩을 수행한다. 이를 위해 상기 인코더는 라인 별 압축률 (또는 압축 비트 수)을 독립적으로 할당하기 위한 스케줄링을 수행한다.
예컨대 인코더는 특정 라인에서 발생하는 잉여 압축 비트 수를 압축 비트 수의 결핍이 예상되는 라인을 위한 추가 압축 비트 수로 할당하는 스케줄링을 수행한다. 이와 같은 상기 인코더의 스케줄링은 고정된 프레임 압축률을 만족하면서 영상 프레임의 각 라인에 대한 압축 및 복원 시에 일정 영상 품질 이상을 만족하도록 한다.
상기 인코더는 압축된 영상 프레임을 출력한다 (1030). 상기 인코더에 의해 출력되는 압축된 영상 프레임은 내부 인터페이스를 통해 다른 내부 장치로 전달되거나 통신 망을 통해 다른 디바이스로 전달될 수도 있다. 상기 압축된 영상 프레임을 내부 인터페이스를 통해 내부 장치로 제공하는 구성에 대한 예들은 도 1 내지 도 3에서 보이고 있는 바와 같다.
도 11은 본 발명에서 제안하는 인코더에서의 압축 동작에 따른 제어 흐름을 보이고 있다. 즉 도 11에서 보이고 있는 제어 흐름은 도 10에서 입력 영상 프레임을 압축하는 1020단계의 서브루틴을 정의하고 있다.
도 11을 참조하면, 인코더는 압축 대상 영상 프레임이 입력되면, 상기 입력된 영상 프레임의 타입을 판단한다 (1110단계). 상기 영상 프레임의 타입에 대한 판단은, 해당 영상 프레임에 대해 제공되는 제어 정보에 의해 이루어지거나 해당 영상 프레임을 구성하는 영상 데이터의 분석에 의해 이루어지거나 영상 프레임의 입력 방식에 의해서도 이루어질 수 있다. 상기한 방안들 중 영상 프레임을 공급하는 구성이 해당 영상 프레임이 정지 영상에 따른 것임을 나타내는 정보를 함께 제공하는 것이 바람직할 것이다.
상기 인코더는 입력된 영상 프레임의 타입이 정지 영상이라고 판단한 경우, 정지 영상 프레임의 압축을 위해 미리 정의된 모드 (정지 영상 프레임 압축 모드)에 의해 입력된 영상 프레임에 대한 인코딩을 수행한다 (1112단계). 그렇지 않고 입력된 영상 프레임의 타입이 동 영상이라고 판단한 경우, 동 영상 프레임의 압축을 위해 미리 정의된 모드 (동 영상 프레임 압축 모드)에 의해 입력된 영상 프레임에 대한 인코딩을 수행한다 (1114단계).
상기 정지 영상에 따른 영상 프레임을 압축하는 인코딩 동작과, 상기 동 영상에 따른 영상 프레임을 압축하는 인코딩 동작은 앞에서 도 4 내지 도 6을 참조하여 설명된 바와 동일할 수 있다.
도 12는 본 발명에서 제안하는 정지 영상의 영상 프레임에 대한 인코딩을 수행하는 정지 영상 압축 서브루틴에 따른 제어 흐름을 보이고 있다. 도 12에서 보이고 있는 제어 흐름은 라인 별 압축률 (또는 압축 비트 수)을 할당하는 초기 할당 방안과 참조 할당 방안을 동시에 고려하고 있다.
도 12를 참조하면, 인코더는 영상 프레임을 인코딩하기 위해, 상기 영상 프레임을 구성하는 각 라인에 대응한 레벨 정보를 정의하는 참조 테이블이 존재하는 지를 판단한다 (1210단계). 상기 참조 테이블이 존재한다는 것은 선행하여 초기 할당 방안에 의해, 이전 영상 프레임에 대한 인코딩을 수행하면서 라인 별 영상 품질, 압축 성능 등을 분석하고, 상기 분석에 의해 각 라인에 대한 레벨 분류가 이루어졌음을 의미한다. 하지만 참조 테이블이 존재하지 않는다는 것은 영상 프레임의 인코딩에 의해 라인 별 영상 품질, 압축 성능 등의 분석에 의해, 각 라인에 대한 레벨 분류가 이루어지지 않았음을 의미한다.
따라서 상기 인코더는 참조 테이블의 존재 여부에 따라, 초기 할당 방안에 의한 라인 별 압축률 (또는 압축 비트 수)을 결정하는 동작을 수행하거나 참조 할당 방식에 의한 라인 별 압축률 (또는 압축 비트 수)을 결정하는 동작을 수행한다.
예컨대 참조 테이블이 존재하지 않을 시, 상기 인코더는 1212단계 내지 1218단계 및 1222단계에 상응한 동작을 통해 라인 별 압축률 스케줄링을 수행한다. 하지만 참조 테이블이 존재할 시, 상기 인코더는 1220단계와 1222단계에 상응한 동작을 통해 라인 별 압축률 스케줄링을 수행한다.
상기 초기 할당 방안은 라인 별 레벨 정보가 마련되어 있지 않는 상황에서 라인 별 압축 비트 수를 스케줄링 하는 방안이고, 상기 참조 할당 방안은 라인 별 레벨 정보가 마련되어 있는 상황에서 라인 별 압축 비트 수를 스케줄링 하는 방안이다. 상기 레벨 정보는 압축 성능을 분류하기 위해 정의된 복수의 레벨들 중 해당 라인에 대해 예측된 압축 성능에 대응하여 정의된 레벨에 관한 정보를 의미한다.
예컨대 N-1 번째 영상 프레임과 N 번째 영상 프레임이 입력되는 상황을 가정할 때, N-1 번째 영상 프레임에 대해서는 초기 할당 방안에 의한 스케줄링을 수행하고, N 번째 영상 프레임에 대해서는 참조 할당 방안에 의한 스케줄링을 수행한다. 하지만 상기 초기 할당 방안에 의해 마련된 각 라인의 레벨 정보를 정의하는 테이블을 기반으로 하는 참조 할당 방안에 의한 스케줄링은 미리 설정된 주기에 의해 복수의 영상 프레임들에 대해 공통으로 적용될 수 있음은 물론이다.
먼저 초기 할당 방안에 따른 동작을 살펴보면, 인코더는 압축을 위해 입력된 영상 프레임의 라인 별 영상 품질을 예측한다 (1212단계). 일 예로 상기 인코더는 각 라인의 분석 결과에 의해 해당 라인의 영상 품질을 예측할 수 있다. 즉 라인 별 웨이블렛 변환을 수행하고, 상기 웨이블렛 변환의 결과를 분석하여 해당 라인에 대응하여 획득한 영상 정보 비율에 의해 해당 라인의 영상 품질을 예측한다.
상기 영상 정보 비율은 ‘해당 라인에 상응한 영상 정보에서 0의 누적 개수 (Num. of ‘0’)’와 ‘기준 정보의 평균 값 (Avr. Of LL band)’의 비 (Num. of ‘0’/Avr. Of LL band)에 의해 정의될 수 있다. 상기 ‘해당 라인에 상응한 영상 정보에서 0의 누적 개수 (Num. of ‘0’)’와 ‘기준 정보의 평균 값 (Avr. Of LL band)’은 영상 프레임을 구성하는 라인 별 웨이블렛 변환의 수행에 의해 획득할 수 있다.
상기 영상 정보 비율에 의해 해당 라인의 영상 품질을 예측하기 위해서는, 영상 정보 비율과 PSNR의 매핑 관계를 정의하는 테이블을 사전에 마련하는 것이 바람직하다. 일 예로 영상 정보 비율에 대응한 PSNR의 분포를 분석하고, 상기 분석된 PSNR의 분포를 고려하여 영상 정보 비율을 복수의 레벨로 분류하며, 상기 분류된 영상 정보 비율의 레벨 별로 PSNR에 의한 영상 품질을 정의하는 것에 의해 테이블을 마련할 수 있다. 영상 프레임을 구성하는 각 라인에 대응한 PSNR은 상기 <수학식 1> 등에 의해 실제로 측정될 수 있다.
상기 인코더는 입력된 영상 프레임의 라인 별 압축 성능을 분석한다 (1214단계). 상기 압축 성능은 압축을 위해 입력되는 비트 수와 인코딩을 통해 압축된 비트 수에 의해 분석할 수 있는 압축 정도에 의해 정의될 수 있다. 일 예로 상기 인코더는 실제 압축에 의해 출력되는 비트 수가 소정의 기준 비트 수보다 작은 라인을 제1그룹으로 분류하고, 실제 압축에 의해 출력되는 비트 수가 소정의 기준 비트 수보다 큰 라인을 제2그룹으로 분류한다. 상기 인코더는 제1그룹으로 분류된 라인을 압축 성능이 우수하다고 분석하고, 제2그룹으로 분류된 라인을 압축 성능이 상대적으로 우수하지 않다고 분석한다. 상기한 예에서는 두 개의 그룹에 의해 라인의 압축 성능을 분류하는 것을 가정하였으나 그 이상의 그룹들로 분류하는 것이 가능함은 물론이다.
상기 인코더는 라인 별로 예측된 영상 품질과 분석된 압축 성능을 기반으로 각 라인에 대한 레벨 정보를 결정한다 (1216단계). 예컨대 상기 인코더는 영상 프레임의 라인 별로 예측된 영상 품질과, 실측에 의한 압축 성능 (잉여 압축 비트 또는 결핍 압축 비트의 발생 여부)을 기반으로, 영상 프레임의 라인들에 대한 레벨을 분류한다. 즉 상기 인코더는 압축하고자 하는 영상 프레임의 라인들을 라인 별 영상 품질과 압축 성능을 기반으로 마련된 소정의 기준에 의해 복수의 레벨들로 분류할 수 있다.
일 예로 임의 라인을 압축하여 획득한 또는 예측된 압축 비트 수가 설정된 기준 (기준 압축 비트 수)보다 작을 시, 상기 인코더는 상기 임의 라인을 원하는 영상 품질을 얻을 수 있을 뿐만 아니라 압축 성능이 우수하다고 판단하여 “제1레벨 (Good Quality)”로 분류한다. 그렇지 않고 임의 라인을 압축하여 획득한 또는 예측된 압축 비트 수가 설정된 기준 (기준 압축 비트 수)보다 작지 않을 시, 상기 인코더는 상기 임의 라인에 대해 예측된 영상 품질에 의해 상기 임의 라인을 “제2레벨 (Moderate Quality)” 또는 “제3레벨 (Poor Quality)”로 분류한다.
상술한 바에 의해 분류된 “제1레벨 (Good Quality)”, “제2레벨 (Moderate Quality)”, “제3레벨 (Poor Quality)”을 라인 별로 부여되는 레벨 정보로 정의할 수 있다.
상기 인코더는 라인 별로 결정된 레벨 정보에 의해 참조 테이블을 생성할 수 있다 (1218단계). 즉 상기 인코더는 이후 압축을 위해 입력되는 적어도 하나의 영상 프레임이 정지 영상에 따른 것일 경우, 영상 프레임의 라인 별 영상 품질 또는 압축 성능을 고려하여 동적인 압축률을 할당하기 위해, 라인 별로 분류된 레벨 정보를 활용할 수 있다. 따라서 상기 인코더는 라인 별로 분류된 레벨 정보에 의해 참조 테이블로 구성하는 것이 바람직하다. 이후 상기 인코더는 영상 프레임을 구성하는 각 라인을 압축하기 위한 압축률을 결정함에 있어, 상기 구성된 참조 테이블을 참조할 것이다. 여기서 상기 레벨 정보는 영상 품질 또는 압축 성능을 분류하기 위해 사전에 정의된 레벨들 중 하나의 레벨을 지정하는 정보이다.
하지만 본 발명에서의 제안을 위해 상기 참조 테이블을 반드시 생성하여야 하는 것은 아니다. 즉 상기 참조 테이블을 마련하지 않고도 라인 별 레벨 정보를 관리할 수 있는 방안이 있다면 그 것에 의한 구현도 가능할 것이다.
상기 인코더는 라인 별 압축률 (또는 압축 비트 수)를 결정하기 위한 스케줄링을 수행한다 (1222단계). 예컨대 상기 인코더는 앞서 압축 성능을 분석하기 위해 이루어진 인코딩을 통해, 적어도 하나의 라인에서 발생한 잉여 비트 수를 누적하여 관리하고, 적어도 하나의 라인에서 발생하는 결핍 압축 라인 수를 상기 누적 관리하고 있던 잉여 비트 수를 활용하여 보상하는 스케줄링을 수행한다. 하지만 상기 인코더는 초기 할당 방안 시에 한하여 라인 별 압축률을 조정하기 위한 스케줄링을 수행하지 않을 수도 있다. 그 이유는 초기 할당 방안에서는 라인 별 레벨 정보를 결정하기에 앞서 압축 성능을 분석하기 위한 인코딩 동작이 미리 이루어질 수 있기 때문이다. 즉 실질적인 인코딩 동작에 의해 압축 성능을 분석하는 경우라면, 상기 인코더는 라인 별 압축률을 결정하기 위한 스케줄링을 수행할 필요가 없다.
뿐만 아니라 이 경우 상기 인코더는 이미 라인 별 영상 데이터에 대한 인코딩을 수행한 상태이므로, 1224단계에서의 인코딩 동작도 생략할 수 있다.
다음으로 참조 할당 방안에 따른 동작을 살펴보면, 인코더는 초기 할당 방안에 의해 생성된 참조 테이블로부터 압축할 대상 라인에 상응한 레벨 정보를 확인한다 (1220단계). 예컨대 상기 압축 대상 라인에 상응한 레벨 정보는 제1레벨, 제2레벨 및 제3레벨 중 하나로 정의될 수 있다. 이때 상기 제1레벨이 상기 제2레벨에 비해 상대적으로 압축 성능이 우수하거나 영상 품질이 우수하고, 상기 제2레벨이 상기 제3레벨에 비해 상대적으로 압축 성능이 우수하거나 영상 품질이 우수함을 의미한다. 하지만 앞에서도 정의된 바와 같이 압축 성능을 정의하는 레벨은 반드시 제1 내지 제3레벨에 의해 정의되는 것은 아니다. 즉 상기 압축 성능을 정의하는 레벨은 앞에서도 설명된 바와 같이 구현을 위해 보다 더 세분화될 수 있다.
상기 인코더는 라인 별 레벨 정보를 확인하면, 상기 확인한 레벨 정보를 고려하여 각 라인에 대한 압축률을 결정하기 위한 스케줄링을 수행한다 (1222단계). 예컨대 상기 인코더는 임의 라인으로부터 잉여 압축 비트 수를 회수하고, 상기 회수한 잉여 압축 비트 수를 활용하여 다른 라인에서 압축 비트 수가 부족한 상황이 발생하지 않도록 하는 스케줄링을 수행한다.
일 예로 압축 성능을 “제1레벨 (Good Quality)”, “제2레벨 (Moderate Quality)” 및 “제3레벨 (Poor Quality)”로 분류함을 가정할 때, 임의 라인의 영상 품질이 제1레벨 (Good Quality)로 예측되었다면, 상기 제1레벨의 영상 데이터를 압축하기에 바람직한 압축률 (또는 압축 비트 수)을 상기 임의 라인을 위해 할당할 것이다. 상기 바람직한 압축률은 영상 프레임의 압축을 위해 고정된 압축률에 비해 상대적으로 높을 것이므로, 상기 임의 라인을 할당된 압축률에 의해 압축할 시, 잉여 압축 비트 수가 발생한다. 상기 인코더는 상기한 이유로 인해 발생하는 잉여 압축 비트 수를 누적하여 관리한다.
하지만 상기 임의 라인의 영상 품질이 제3레벨 (Poor Quality)로 예측되었다면, 상기 제3레벨의 영상 데이터를 압축하기 위해 바람직한 압축률 (또는 압축 비트 수)을 상기 임의 라인을 위해 할당할 것이다. 상기 바람직한 압축률은 영상 프레임의 압축을 위해 고정된 압축률에 비해 상대적으로 낮을 것이므로, 상기 임의 라인을 할당된 압축률에 의해 압축할 시, 결핍 압축 비트 수가 발생한다. 상기 인코더는 상기한 이유로 인해 발생하는 압축 비트 수의 결핍을 해소하기 위해 누적하여 관리하고 있는 잉여 압축 비트 수를 이용한다. 즉 상기 인코더는 관리하고 있던 잉여 압축 비트 수에 의해 결핍이 발생한 라인에 대해 압축 비트 수를 추가로 할당한다.
그 외에 상기 임의 라인의 영상 품질이 제2레벨 (Moderate Quality)로 예측되었을 시에 잉여 압축 비트 수가 발생하도록 압축률을 설정할 것인지 아니면 결핍 압축 비트 수가 발생하도록 압축률을 설정할 것인지는 구현에 따라 달라질 수 있다. 바람직하기로는 영상 품질이 제2레벨 (Moderate Quality)로 예측되었을 시, 잉여 압축 비트 수가 발생하도록 압축률을 설정하는 것이다.
정리하면 상기 인코더는 영상 품질이 제1레벨 (Good Quality) 또는 제2레벨 (Moderate Quality)로 예측된 라인의 압축에 의해 확인된 잉여 압축 비트 수를 누적하고, 영상 품질이 제3레벨 (Poor Quality)로 예측된 라인의 압축에 의해 확인된 압축 비트 수의 결핍을 해소하기 위한 스케줄링을 수행한다.
상기 인코더는 약속된 압축 알고리즘을 이용하여 라인 별 영상 데이터에 대한 인코딩을 수행함으로써, 앞서 결정된 압축률에 따른 압축 비트 수를 압축 영상 데이터를 출력한다 (1224단계). 하지만 상기 라인 별 영상 데이터의 인코딩이 선행하여 이루어졌다면, 1224단계에서의 인코딩 동작은 생략될 수 있다.
도 13은 본 발명에서 제안하는 동 영상의 영상 프레임에 대한 인코딩을 수행하는 동 영상 압축 서브루틴에 따른 제어 흐름을 보이고 있다.
도 13을 참조하면, 인코더는 압축을 위해 입력된 영상 프레임의 라인 별 영상 품질을 예측한다 (1310단계). 일 예로 상기 인코더는 각 라인의 분석 결과에 의해 해당 라인의 영상 품질을 예측할 수 있다. 즉 라인 별 웨이블렛 변환을 수행하고, 상기 웨이블렛 변환의 결과를 분석하여 해당 라인에 대응하여 획득한 영상 정보 비율에 의해 해당 라인의 영상 품질을 예측한다.
상기 영상 정보 비율은 ‘Num. of ‘0’/Avr. Of LL band’에 의해 정의될 수 있다. 여기서 상기 ‘해당 라인에 상응한 영상 정보에서 0의 누적 개수 (Num. of ‘0’)’와 ‘기준 정보의 평균 값 (Avr. Of LL band)’은 영상 프레임의 각 라인에 대한 웨이블렛 변환에 의해 획득할 수 있다.
만약 영상 정보 비율과 PSNR의 매핑 관계를 정의하는 테이블을 사전에 마련되어 있다면, 상기 인코더는 웨이블렛 변환에 의해 획득한 영상 정보 비율에 대응한 PSNR을 마련된 테이블로부터 획득할 수 있다. 상기 영상 정보 비율을 활용하여 PSNR을 획득하는 것은 이미 앞에서 상세히 설명되었으므로, 그 설명을 생략한다.
상기 인코더는 하나의 영상 프레임 내에서 이전 라인 (k-1 번째 라인)과 현재 라인 (k 번째 라인)의 유사도를 검사한다 (1312단계). 예컨대 상기 두 라인 간의 유사도 검사는 인코딩 이전에 이루지는 것이 바람직하나 인코딩이 이루어진 이후에도 이루어질 수 있다. 만약 인코딩 이전에 라인 간 유사도 검사를 수행하고자 한다면, 상기 인코더는 도 13의 1316단계에서 수행하는 것으로 도시한 인코딩 수행은 생략되어야 할 것이다.
상기 인코더는 라인 별 압축 성능과 라인 간의 유사도를 참조하여 라인 별 압축률 (또는 압축 비트 수)에 대한 스케줄링을 수행한다 (1314단계). 예컨대 상기 인코더는 이전 라인과의 유사도가 일정 범위 내에 있을 시에 현재 라인의 예측 압축 성능이 일정 수준, 즉 잉여 압축 비트가 발생할 것으로 예상되는 레벨을 가질 경우, 프레임 압축률에 의해 획득할 것으로 예상되는 압축 비트 수 중에서 회수할 소정의 잉여 압축 비트 수를 결정한다.
하지만 상기 인코더는 이전 라인과의 유사도가 소정의 범위 내에 위치하지 않을 시에는 현재 라인에 대해 예측한 압축 성능이 잉여 압축 비트가 발생할 것으로 예상되는 레벨을 가질 경우, 사전에 설정된 고정 값에 의해 할당하여야 한다고 판단한다.
일 예로 유사도가 소정 범위에 포함되고, 예측 압축 성능이 잉여 비트가 발생하는 정도의 레벨을 만족할 시, 프레임 압축률에 의해 할당 가능한 기준 압축 비트 수에서 영상 품질에 따라 회수하기 위해 미리 설정된 고정 비트 수 외에 유사도와 관련하여 미리 설정된 소정 개수를 추가로 회수한다. 하지만 유사도가 소정 범위에 포함되지 않고, 예측 영상 품질이 잉여 비트가 발생하는 정도의 레벨을 만족할 시, 프레임 압축률에 의해 할당 가능한 기준 압축 비트 수에서 영상 품질에 따라 회수하기 위해 미리 설정된 고정 비트 수만을 회수한다.
만약 상술한 경우 외의 다른 판단 결과에 대해서는 회수한 잉여 압축 비트 수를 추가로 할당할 것이다.
상기 인코더는 상기 결정된 레벨을 기반으로 현재 라인의 인코딩에 의해 발생하는 잉여 압축 비트 수를 회수하거나 결핍 압축 비트 수를 추가 할당하는 스케줄링을 수행한다.
보다 구체적으로, 인코더는 앞서 검사된 이전 라인과 현재 라인 간의 유사도가 소정 범위 내에 있는지를 판단한다. 이는 이전 라인의 영상 데이터와 현재 라인의 영상 데이터가 어느 수준 이상으로 유사한 경우에 한하여, 이전 라인의 영상 품질을 현재 라인의 레벨을 분류할 시에 반영될 수 있도록 하기 위함이다.
상기 인코더는 이전 라인과 현재 라인 간의 유사도가 소정 범위 내에 있다고 판단할 시, 현재 라인에 대해 예측한 영상 품질이 요구 기준을 만족하는지에 대한 판단 결과에 의해 현재 라인의 영상 품질을 결정한다. 즉 라인 별 영상 품질을 제1레벨 (Good Quality), 제2레벨 (Moderate Quality) 및 제3레벨 (Poor Quality)로 구분함을 가정할 시, 이전 라인의 영상 품질이 제1레벨 (Good Quality)이었다면, 현재 라인의 영상 품질을 제1레벨 (Good Quality)로 결정한다.
상기 인코더는 현재 라인의 영상 품질이 제1레벨 (Good Quality)로 결정되었다면, 현재 라인에 대한 인코딩을 통해 발생하는 잉여 압축 비트 수를 이전에 관리하고 있던 잉여 압축 비트 수에 누적하여 관리한다. 상기 인코더는 현재 라인의 영상 품질이 제2레벨 (Moderate Quality)인 경우에 대해서도, 상기 현대 라인에 대한 인코딩 시에 잉여 압축 비트 수가 발생하는 것으로 판단할 수 있다.
이때 회수할 잉여 압축 비트 수는 유사도를 고려하여 회수할 것으로 사전에 약속된 비트 수와 압축 성능에 상응한 레벨 별로 회수하도록 미리 설정된 비트 수를 기반으로 결정할 수 있다.
이에 반해 상기 인코더는 현재 라인의 영상 품질이 제3레벨 (Poor Quality)로 결정되었다면, 현재 라인에 대한 인코딩을 통해 발생하는 결핍 압축 비트 수를 보상하기 위해, 누적하여 관리하고 있던 잉여 압축 비트 수를 사용한다. 그 일 예로 결핍 압축 비트 수가 발생한 라인에 대해 추가로 할당할 비트 수를 ‘총 누적 압축 비트 수/현재 프레임에서 압축되지 않고 남은 라인 수’에 의해 결정할 수 있다.
상기 인코더는 약속된 압축 알고리즘을 이용하여 라인 별 영상 데이터에 대한 인코딩을 수행함으로써, 앞서 결정된 압축률에 따른 압축 비트 수를 압축 영상 데이터를 출력한다 (1316단계). 하지만 상기 라인 별 영상 데이터의 인코딩이 선행하여 이루어졌다면, 1316단계에서의 인코딩 동작은 생략될 수 있다.
본 발명의 다른 실시 예로써, 입력된 영상 프레임에 대한 압축 및 복원 후의 영상 품질이 기준에 미달할 것으로 예상될 시, 상기 입력된 영상 프레임을 압축하지 않거나 상기 입력된 영상 프레임의 압축을 위한 압축 알고리즘을 변경하거나 압축률을 조정하여 영상 품질이 저하되는 것을 회피할 수 있다.
도 14는 본 발명의 다른 실시 예에 따른 영상 처리 장치의 구성을 보이고 있다.
도 14를 참조하면, 인코더(1410)는 소정의 압축 알고리즘에 의해 입력 영상 프레임에 대한 인코딩을 통해 압축된 영상 프레임을 출력한다.
출력 선택부(1420)는 입력 영상 프레임에 대한 영상 품질을 예측하고, 상기 예측한 영상 품질의 수준을 고려하여 출력 선택 신호를 생성한다. 상기 출력 선택부(1420)는 입력 영상 프레임에 대한 영상 품질을 웨이블렛 변환 기술을 활용하여 예측하거나 두 개의 연속하는 선행 영상 프레임들을 이용하여 예측하는 방안이 있을 수 있다. 이에 대한 구체적인 설명은 후술될 것이다.
상기 출력 선택부(1420)는 예측한 영상 품질이 설정된 허용 범위 내에 포함되는 경우에 한하여 상기 인코더(1410)에 의해 인코딩된 압축 영상 프레임을 선택하는 출력 선택 신호를 생성한다. 만약 예측한 영상 품질이 설정된 허용 범위 내에 포함되지 않았다면, 상기 출력 선택부(1420)는 인코딩되기 전의 영상 프레임, 즉 입력 영상 프레임을 선택하는 출력 선택 신호를 생성한다.
멀티플렉서(MUX)(1430)는 상기 인코더(1410)에 의해 인코딩된 압축 영상 프레임과, 인코딩되기 전의 영상 프레임 각각을 입력으로 하고, 상기 출력 선택부(1420)에 의해 생성된 출력 선택 신호에 의해 상기 두 개의 입력 중 하나를 선택하여 출력한다.
상술한 바와 같은 영상 처리 블록에 따르면, 입력 영상 프레임에 대해 예측된 영상 품질이 설정된 기준을 만족하지 못할 정도로 좋지 않을 시에는 입력 영상 프레임을 인코딩하지 않고 바이패스 (bypass) 시킨다. 즉 입력 영상 프레임에 대해 예측된 영상 품질이 설정된 기준을 만족할 시에만 상기 입력 영상 프레임에 대한 인코딩을 수행하여 압축 영상 프레임을 출력한다.
따라서 상기 도 14에서 보이고 있는 영상 처리장치에서는, 압축을 진행할 시점을 기준으로 이전 프레임의 영상을 우선 분석하고, 상기 분석된 결과에 의해 현재 프레임의 영상을 압축 후 복원할 시에 예상되는 영상 품질을 예측하며, 상기 예측한 영상 품질이 기준 영상 품질에 미달할 시에 상기 현재 프레임의 영상에 대한 별도의 처리를 행한다.
예컨대 N 번째 프레임의 영상 품질은 N-1 번째 프레임을 웨이블렛 변환한 후, 그 변환 결과에 의해 확인된 ‘0’의 개수와 로우 밴드 데이터의 평균 값을 이용하여 라인 별 영상 품질 레벨을 분류하고, 상기 각 레벨에 대해 부여된 가중치를 감안하여 예측할 수 있다.
다른 예로 N 번째 프레임의 영상 품질은 두 개의 이전 프레임 중 하나의 프레임인 N-2 번째 프레임의 영상을 압축 및 복원한 영상을 N-1 번째 프레임의 영상과 비교하고, 상기 비교된 결과에 의해 예측할 수 있다.
도 15는 본 발명의 다른 실시 예에 따라 예측된 영상 품질에 의해 영상 프레임의 처리 방식을 결정하는 제어 흐름을 보이고 있다.
도 15를 참조하면, 영상 처리부는 이전 영상 프레임에 대한 영상 품질을 예측한다 (1510단계). 예컨대 상기 영상 프레임에 대한 영상 품질을 예측하는 방안은 하나의 이전 영상 프레임을 이용하여 방안과 두 개의 이전 영상 프레임을 이용하는 방안이 있다.
상기 영상 처리부는 상기 예측된 영상 품질이 허용 범위 내에 있는지를 판단한다 (1520단계). 상기 허용 범위는 압축 및 복원을 통해 획득될 영상 프레임으로부터 얻고자 하는 영상 품질의 영역을 설정하는 것이다.
상기 영상 처리부는 예측된 영상 품질이 허용 범위 내에 있다면, 압축 및 복원에 의해 원하는 정도의 품질을 가지는 영상 프레임을 얻을 수 있다고 판단하여, 현재 영상 프레임에 대한 인코딩을 수행한다 (1530단계). 하지만 예측된 영상 품질이 허용 범위 내에 있지 않다면, 상기 영상 처리부는 압축 및 복원에 의해 원하는 정도의 품질을 가지는 영상 프레임을 얻을 수 없다고 판단하여, 현재 영상 프레임을 설정된 방식에 따라 부가 처리한다 (1540단계). 상기 부가 처리를 위한 설정 방식으로는 입력 영상 프레임을 인코딩하지 않고 바이패스 시키는 방식 외에도 압축 알고리즘을 변경하거나 압축률을 조정하는 방식 중 하나가 될 수 있다.
도 16은 도 15에서 보이고 있는 영상 품질 예측을 위해 하나의 영상 프레임을 이용하는 방안에 따른 제어 흐름을 보이고 있다.
도 16을 참조하면, 영상 처리부는 N-1 번째 프레임에서 하나의 라인을 선택하고, 상기 선택한 라인의 픽셀 값을 입력한다 (1610단계). 상기 영상 처리부는 입력되는 선택한 라인의 픽셀 값들에 대한 웨이블렛 변환을 수행한다 (1612단계).
상기 영상 처리부는 웨이블렛 변환에 의해 획득한 결과 값에서 상기 선택한 라인에 대응한 ‘0’의 개수를 확인하고, 상기 확인한 ‘0’의 개수를 앞서 누적된 ‘0’의 개수에 추가로 누적한다 (1614단계). 또한 상기 영상 처리부는 웨이블렛 변환에 의해 획득한 결과 값에 상응한 로우 레벨 밴드 데이터를 앞서 산출한 로우 밴드 데이터의 평균 값에 추가로 반영함으로써, 로우 밴드 데이터의 평균 값을 갱신한다 (1616단계).
상기 영상 처리부는 상기 누적한 ‘0’의 개수와 로우 레벨 데이터의 평균 값을 이용하여 상기 선택한 라인의 영상 품질을 예측하고, 상기 예측한 영상 품질에 의해 복수의 레벨들 중 하나의 레벨로 분류한다 (1618단계). 예컨대 영상 품질을 분류할 복수의 레벨은 제1레벨 내지 제3레벨에 의해 정의될 수 있다
상기 영상 처리부는 앞서 선택한 라인이 입력된 영상 프레임의 마지막 라인인지를 판단한다 (1620단계). 상기 영상 처리부는 마지막 라인이 아니라고 판단되면, N-1 번째 프레임의 다음 라인을 선택하여 상술한 동작을 다시 수행한다.
하지만 마지막 라인이라 판단되면, 상기 영상 처리부는 N-1 번째 프레임에 대한 예상 영상 품질을 산출한다. 예컨대 상기 영상 처리부는 레벨 별로 분류된 라인 수와 레벨 별로 부여된 가중치를 반영하여 N-1 번째 프레임에 대한 예상 영상 품질을 계산할 수 있다.
상술한 바와 같이 N-1 번째 프레임으로부터의 예상 영상 품질을 기반으로, N 번째 프레임에 대한 압축을 진행할 경우에 얻게 될 영상 품질이 기준 영상 품질을 넘어설지를 판단할 수 있다.
도 17은 도 15에서 보이고 있는 영상 품질 예측을 위해 두 개의 영상 프레임을 이용하는 방안에 따른 제어 흐름을 보이고 있다.
도 17을 참조하면, 영상 처리부는 N-2 번째 프레임과 N-1 번째 프레임을 입력 받는다 (1710단계, 1712단계). 상기 영상 처리부는 N-2 번째 프레임에 대한 인코딩을 수행한 후, 상기 인코딩에 의해 획득한 압축 영상 프레임을 프레임 버퍼에 저장한다 (1714단계, 1716단계). 상기 영상 처리부는 상기 프레임 버퍼에 저장된 압축 영상 프레임에 대한 디코딩을 수행하여 복원된 영상 프레임을 출력한다 (1718단계). 상기 영상 처리부는 다음 영상 프레임인 N-1 번째 프레임은 압축 및 복원하지 않고, 그대로 출력한다.
상기 영상 처리부는 압축 및 복원에 의해 획득한 N-2 번째 프레임과 압축 및 복원이 이루어지지 않은 N-1 번째 프레임에 의해, 현재 프레임 (N 번째 프레임)에 대한 영상 품질을 산출한다 (1720단계).
예컨대 상기 영상 처리부는 복원된 N-2 번째 프레임과 바이패스된 N-1 프레임의 처리 지연이 서로 상이하므로, 두 프레임 간의 처리 지연을 일치시킨다. 그 후 상기 처리 지연을 일치시킨 복원된 N-2 번째 프레임과 바이패스된 N-1번째 프레임의 영상 품질을 계산하고, 상기 계산한 영상 품질에 의해 현재 프레임, 즉 N 번째 프레임을 어떻게 처리할 것인지를 판단한다.
한편 상기 N 번째 프레임의 처리 방안을 결정하기 위해 활용된 N-1과 N-2 번째 프레임은 디스플레이 등의 목적으로 하는 영상 데이터로 활용하지 않는 것이 바람직할 것이다.
상술한 바와 같이 도 15 내지 도 17에서 보이고 있는 제어 흐름에 따른 동장에 의해, 영상 품질 (PSNR)이 기준을 만족하는 영상 프레임에 대해서만 정상적인 압축 및 복원이 이루어질 수 있도록 한다. 그리고 영상 품질 (PSNR)이 기준에 미달되는 영상 프레임에 대해서는 압축 없이 바이패스 시키거나 블록 코딩 등 특화된 압축 알고리즘을 적용하여 압축 및 복원하거나 압축률을 낮추어 압축 및 복원을 수행한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 변형에 의한 실시가 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다. 뿐만 아니라 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (24)

  1. 영상 처리 디바이스에서 복수의 라인에 의해 구성되는 영상 프레임을 각 라인 단위로 압축하는 영상 압축방법에 있어서,
    하나의 영상 프레임을 구성하는 각 라인의 영상 품질을 예측하고, 상기 각 라인에 대해 예측한 영상 품질을 얻을 수 있도록 라인 별 압축률을 독립적으로 결정하며, 임의 라인에서의 영상을 압축할 시, 상기 임의 라인을 위해 독립적으로 결정한 압축률을 사용함을 특징으로 하는 영상 압축방법.
  2. 제1항에 있어서,
    상기 라인 별 압축률의 결정은 해당 라인을 압축하여 생성할 압축 비트 수를 할당하는 것임을 특징을 하는 영상 압축방법.
  3. 제2항에 있어서,
    상기 하나의 영상 프레임을 구성하는 각 라인에 대해 결정할 압축률에 의해 상기 하나의 영상 프레임을 구성하는 전체 라인들을 압축할 시에 생성이 예상되는 전체 압축 비트 수가 하나의 기준 압축률에 의해 상기 하나의 영상 프레임을 구성하는 전체 라인들을 압축할 시에 생성이 예상되는 전체 압축 비트 수를 넘지 않도록 상기 라인 별 압축률을 결정함을 특징으로 하는 영상 압축방법.
  4. 제3항에 있어서,
    상기 임의 라인을 위해 독립적으로 결정한 압축률에 상응한 할당 압축 비트 수가 상기 기준 압축률에 의해 상기 임의 라인에서의 영상을 압축할 시에 생성될 기준 압축 비트 수보다 작을 시, 상기 실제 압축 비트 수와 상기 기준 압축 비트 수 간의 차이 비트 수를 누적하여 잉여 비트 수로 관리하는 과정을 더 포함하는 영상 압축방법.
  5. 제4항에 있어서,
    상기 할당 압축 비트 수는 상기 임의 라인에서의 영상을 상기 임의 라인을 위해 독립적으로 결정한 압축률을 사용하여 압축함으로써 생성된 압축 비트 수임을 특징으로 하는 영상 압축방법.
  6. 제4항에 있어서,
    상기 할당 압축 비트 수는 상기 임의 라인을 위해 독립적으로 결정한 압축률을 위해 할당하기로 사전에 약속된 압축 비트 수임을 특징으로 하는 영상 압축방법.
  7. 제4항에 있어서, 상기 압축률을 독립적으로 결정하는 과정은,
    상기 임의 라인에 대해 결정된 압축률이 상기 기준 압축률에 비해 상대적으로 낮은 경우, 상기 임의 라인에 대해 상기 기준 압축 비트 수 외에 상기 잉여 비트 수를 넘지 않는 범위 내에서 추가 압축 비트 수를 할당하는 과정을 포함하며,
    여기서 상기 추가 압축 비트 수는, 상기 임의 라인에 대해 결정된 압축률에 의해 상기 임의 라인에서의 영상을 압축할 시에 생성될 압축 비트 수와 상기 기준 압축 비트 수 간의 차이 비트 수를 고려하여 할당함을 특징으로 하는 영상 압축방법.
  8. 제7항에 있어서,
    상기 추가 압축 비트 수는 상기 하나의 영상 프레임을 구성하는 라인들 중 압축이 이루어지지 않은 라인 수로 상기 잉여 비트 수를 나눈 몫에 의해 할당함을 특징으로 하는 영상 압축방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    N 번째 영상 프레임이 정지 영상 프레임인 경우, 상기 N 번째 영상 프레임을 구성하는 복수의 라인들 중 k 번째 라인 (lN ,k )의 영상 품질은 상기 N 번째 영상 프레임의 N-1 번째 영상 프레임을 구성하는 복수의 라인들 중 k 번째 라인 (lN -1,k )에 대해 분석한 영상 품질을 참조하여 예측하며,
    여기서, N 은 영상 프레임을 식별하기 위해 양의 정수로 정의되는 인덱스이고, k는 하나의 영상 프레임을 구성하는 복수의 라인들 (1≤k≤K) 중 하나의 라인을 가리키기 위해 양의 정수로 정의되는 인덱스임을 특징으로 하는 영상 압축방법.
  10. 제9항에 있어서,
    상기 N-1 번째 영상 프레임을 구성하는 k 번째 라인 (lN -1 ,k )의 영상 품질의 예측은,
    상기 k 번째 라인 (lN -1 ,k )에서의 영상을 실제 압축하여 생성된 압축 비트 수와 기준 압축 비트 수의 비교 결과에 의해 최상위 영상 품질을 부여하고,
    상기 최상위 영상 품질이 부여되지 않을 시, 상기 k 번째 라인 (lN -1 ,k )에 대한 웨이블렛 (wavelet) 변환에 의해 획득한 로우 레벨 밴드의 데이터 평균값과 0의 누적 개수의 비를 이용하여 차 상위 영상 품질을 부여함을 특징으로 하는 영상 압축방법.
  11. 제1항 내지 제8항 중 어느 한 항에 있어서,
    N 번째 영상 프레임이 동 영상 프레임인 경우, 상기 N 번째 영상 프레임을 구성하는 복수의 라인들 중 k 번째 라인 (lN ,k )에 대한 압축률은, 상기 N 번째 영상 프레임에서 k 번째 라인 (lN ,k )의 영상을 압축할 시에 예측되는 압축 성능과 k-1 번째 라인 (lN ,k-1 )의 압축 정보를 참조하여 독립적으로 결정함을 특징으로 하는 영상 압축방법.
  12. 제1항 내지 제8항 중 어느 한 항에 있어서,
    N 번째 영상 프레임이 동 영상 프레임인 경우, 상기 N 번째 영상 프레임을 구성하는 복수의 라인들 중 k 번째 라인 (lN ,k )의 영상 품질은 상기 N 번째 영상 프레임에서 상기 k 번째 라인 (lN ,k )과 k-1 번째 라인 (lN ,k-1 ) 간의 유사도, 상기 k 번째 라인 (lN ,k )에 대한 웨이블렛 (wavelet) 변환에 의해 획득한 로우 레벨 밴드의 데이터 평균값과 0의 누적 개수의 비 및 상기 k-1 번째 라인 (lN ,k-1 )의 영상 품질을 참조하여 예측하며,
    여기서, N 은 영상 프레임을 식별하기 위해 양의 정수로 정의되는 인덱스이고, k는 하나의 영상 프레임을 구성하는 복수의 라인들 (1≤k≤K) 중 하나의 라인을 가리키기 위해 양의 정수로 정의되는 인덱스임을 특징으로 하는 영상 압축방법.
  13. 복수의 라인에 의해 구성되는 영상 프레임을 각 라인 단위로 압축하는 영상 처리 디바이스에 있어서,
    압축할 영상 프레임을 입력 받아 저장하는 프레임 버퍼와,
    상기 프레임 버퍼로부터 출력되는 하나의 영상 프레임을 구성하는 각 라인의 영상 품질을 예측하고, 상기 각 라인에 대해 예측한 영상 품질을 얻을 수 있도록 라인 별 압축률을 독립적으로 결정하며, 임의 라인에서의 영상을 압축할 시, 상기 임의 라인을 위해 독립적으로 결정한 압축률을 사용하는 인코더를 포함하는 영상 처리 디바이스.
  14. 제13항에 있어서,
    상기 라인 별 압축률의 결정은 해당 라인을 압축하여 생성할 압축 비트 수를 할당하는 것임을 특징을 하는 영상 처리 디바이스.
  15. 제14항에 있어서, 상기 인코더는,
    상기 하나의 영상 프레임을 구성하는 각 라인에 대해 결정할 압축률에 의해 상기 하나의 영상 프레임을 구성하는 전체 라인들을 압축할 시에 생성이 예상되는 전체 압축 비트 수가 하나의 기준 압축률에 의해 상기 하나의 영상 프레임을 구성하는 전체 라인들을 압축할 시에 생성이 예상되는 전체 압축 비트 수를 넘지 않도록 상기 라인 별 압축률을 결정함을 특징으로 하는 영상 처리 디바이스.
  16. 제15항에 있어서, 상기 인코더는,
    상기 임의 라인을 위해 독립적으로 결정한 압축률에 상응한 할당 압축 비트 수가 상기 기준 압축률에 의해 상기 임의 라인에서의 영상을 압축할 시에 생성될 기준 압축 비트 수보다 작을 시, 상기 실제 압축 비트 수와 상기 기준 압축 비트 수 간의 차이 비트 수를 누적하여 잉여 비트 수로 관리함을 특징으로 하는 영상 처리 디바이스.
  17. 제16항에 있어서,
    상기 할당 압축 비트 수는 상기 임의 라인에서의 영상을 상기 임의 라인을 위해 독립적으로 결정한 압축률을 사용하여 압축함으로써 생성된 압축 비트 수임을 특징으로 하는 영상 처리 디바이스.
  18. 제16항에 있어서,
    상기 할당 압축 비트 수는 상기 임의 라인을 위해 독립적으로 결정한 압축률을 위해 할당하기로 사전에 약속된 압축 비트 수임을 특징으로 하는 영상 처리 디바이스.
  19. 제16항에 있어서, 상기 인코더는,
    상기 임의 라인에 대해 결정된 압축률이 상기 기준 압축률에 비해 상대적으로 낮은 경우, 상기 임의 라인에 대해 상기 기준 압축 비트 수 외에 상기 잉여 비트 수를 넘지 않는 범위 내에서 추가 압축 비트 수를 할당하며,
    여기서 상기 추가 압축 비트 수는, 상기 임의 라인에 대해 결정된 압축률에 의해 상기 임의 라인에서의 영상을 압축할 시에 생성될 압축 비트 수와 상기 기준 압축 비트 수 간의 차이 비트 수를 고려하여 할당함을 특징으로 하는 영상 처리 디바이스.
  20. 제19항에 있어서, 상기 인코더는,
    상기 하나의 영상 프레임을 구성하는 라인들 중 압축이 이루어지지 않은 라인 수로 상기 잉여 비트 수를 나눈 몫에 의해 상기 추가 압축 비트 수를 할당함을 특징으로 하는 영상 처리 디바이스.
  21. 제13항 내지 제20항 중 어느 한 항에 있어서, 상기 인코더는,
    N 번째 영상 프레임이 정지 영상 프레임인 경우, 상기 N 번째 영상 프레임을 구성하는 복수의 라인들 중 k 번째 라인 (lN ,k )의 영상 품질은 상기 N 번째 영상 프레임의 N-1 번째 영상 프레임을 구성하는 복수의 라인들 중 k 번째 라인 (lN -1,k )에 대해 분석한 영상 품질을 참조하여 예측하며,
    여기서, N 은 영상 프레임을 식별하기 위해 양의 정수로 정의되는 인덱스이고, k는 하나의 영상 프레임을 구성하는 복수의 라인들 (1≤k≤K) 중 하나의 라인을 가리키기 위해 양의 정수로 정의되는 인덱스임을 특징으로 하는 영상 처리 디바이스.
  22. 제21항에 있어서, 상기 인코더는,
    상기 k 번째 라인 (lN -1 ,k )에서의 영상을 실제 압축하여 생성된 압축 비트 수와 기준 압축 비트 수의 비교 결과에 의해 상기 N-1 번째 영상 프레임을 구성하는 k 번째 라인 (lN -1,k )의 영상 품질을 최상위 영상 품질로 예측하고,
    상기 최상위 영상 품질로 예측되지 않을 시, 상기 k 번째 라인 (lN -1 ,k )에 대한 웨이블렛 (wavelet) 변환에 의해 획득한 로우 레벨 밴드의 데이터 평균값과 0의 누적 개수의 비를 이용하여 상기 N-1 번째 영상 프레임을 구성하는 k 번째 라인 (lN -1,k )의 영상 품질을 차 상위 영상 품질로 예측함을 특징으로 하는 영상 처리 디바이스.
  23. 제13항 내지 제20항 중 어느 한 항에 있어서, 상기 인코더는,
    N 번째 영상 프레임이 동 영상 프레임인 경우, 상기 N 번째 영상 프레임을 구성하는 복수의 라인들 중 k 번째 라인 (lN ,k )에 대한 압축률을, 상기 N 번째 영상 프레임에서 k 번째 라인 (lN ,k )의 영상을 압축할 시에 예측되는 압축 성능과 k-1 번째 라인 (lN ,k-1 )의 압축 정보를 참조하여 독립적으로 결정함을 특징으로 하는 영상 처리 디바이스.
  24. 제13항 내지 제20항 중 어느 한 항에 있어서, 상기 인코더는,
    N 번째 영상 프레임이 동 영상 프레임인 경우, 상기 N 번째 영상 프레임을 구성하는 복수의 라인들 중 k 번째 라인 (lN ,k )의 영상 품질을 상기 N 번째 영상 프레임에서 상기 k 번째 라인 (lN ,k )과 k-1 번째 라인 (lN ,k-1 ) 간의 유사도, 상기 k 번째 라인 (lN ,k )에 대한 웨이블렛 (wavelet) 변환에 의해 획득한 로우 레벨 밴드의 데이터 평균값과 0의 누적 개수의 비 및 상기 k-1 번째 라인 (lN ,k-1 )의 영상 품질을 참조하여 예측하며,
    여기서, N 은 영상 프레임을 식별하기 위해 양의 정수로 정의되는 인덱스이고, k는 하나의 영상 프레임을 구성하는 복수의 라인들 (1≤k≤K) 중 하나의 라인을 가리키기 위해 양의 정수로 정의되는 인덱스임을 특징으로 하는 영상 처리 디바이스.
KR1020130137130A 2013-11-12 2013-11-12 영상 처리장치 및 방법 KR20150054554A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130137130A KR20150054554A (ko) 2013-11-12 2013-11-12 영상 처리장치 및 방법
EP20140075072 EP2871847A1 (en) 2013-11-12 2014-11-12 Apparatus and method for image processing
CN201410645322.1A CN104639946A (zh) 2013-11-12 2014-11-12 图像处理设备和方法
US14/539,500 US20150131716A1 (en) 2013-11-12 2014-11-12 Apparatus and method for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130137130A KR20150054554A (ko) 2013-11-12 2013-11-12 영상 처리장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150054554A true KR20150054554A (ko) 2015-05-20

Family

ID=51947106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130137130A KR20150054554A (ko) 2013-11-12 2013-11-12 영상 처리장치 및 방법

Country Status (4)

Country Link
US (1) US20150131716A1 (ko)
EP (1) EP2871847A1 (ko)
KR (1) KR20150054554A (ko)
CN (1) CN104639946A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210017434A (ko) * 2019-08-08 2021-02-17 광운대학교 산학협력단 영상 압축 장치 및 영상 압축 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6455121B2 (ja) * 2014-12-12 2019-01-23 株式会社リコー 情報処理装置、情報処理方法およびプログラム
WO2018180510A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 撮像素子、並びに、撮像装置および方法
US10838922B2 (en) * 2017-03-31 2020-11-17 International Business Machines Corporation Data compression by using cognitive created dictionaries
KR102606200B1 (ko) * 2018-03-06 2023-11-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US11153576B2 (en) * 2019-09-20 2021-10-19 Qualcomm Incorporated Scaling matrices and signaling for video coding
US20210127125A1 (en) * 2019-10-23 2021-04-29 Facebook Technologies, Llc Reducing size and power consumption for frame buffers using lossy compression
CN116758296B (zh) * 2023-08-21 2023-12-05 深圳前海量子云码科技有限公司 微观编码码图防伪特征值的提取方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412429A (en) * 1993-03-11 1995-05-02 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Picture data compression coder using subband/transform coding with a Lempel-Ziv-based coder
JP3629728B2 (ja) * 1994-08-31 2005-03-16 ソニー株式会社 動画像信号符号化方法、動画像信号符号化装置及び動画像信号記録媒体
IL122361A0 (en) * 1997-11-29 1998-04-05 Algotec Systems Ltd Image compression method
US5986712A (en) * 1998-01-08 1999-11-16 Thomson Consumer Electronics, Inc. Hybrid global/local bit rate control
US8165203B2 (en) * 2006-12-07 2012-04-24 Qualcomm Incorporated Line-based video rate control

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210017434A (ko) * 2019-08-08 2021-02-17 광운대학교 산학협력단 영상 압축 장치 및 영상 압축 방법

Also Published As

Publication number Publication date
EP2871847A1 (en) 2015-05-13
US20150131716A1 (en) 2015-05-14
CN104639946A (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
KR20150054554A (ko) 영상 처리장치 및 방법
USRE40079E1 (en) Video encoding and decoding apparatus
CN1726709B (zh) 用于对未压缩数字视频序列的图像进行编码的方法和装置
US7200276B2 (en) Rate allocation for mixed content video
JP4554927B2 (ja) ビデオトランスコーディングにおけるレート制御方法およびシステム
US9813711B2 (en) Hybrid transform-based compression
KR101263887B1 (ko) 화상 신호 처리 장치, 카메라 시스템, 및 화상 신호 처리방법
US9774875B2 (en) Lossless and near-lossless image compression
US20020021756A1 (en) Video compression using adaptive selection of groups of frames, adaptive bit allocation, and adaptive replenishment
JP2001512651A (ja) 量子化マトリクスのフレーム毎の計算方法
US10523936B2 (en) Data compression
US20110310955A1 (en) Method and system for repetition based adaptive video compression
CN101931800B (zh) 利用有限可变比特率控制的感兴趣区域编码方法与系统
US8351723B2 (en) Methods and apparatus for generating and using visual error weights
JPH09200758A (ja) 画像符号化装置
RU2329616C2 (ru) Способ управления расходом битов и устройство для нормализации качества визуального изображения
JP2002262288A (ja) 画像データ送信装置および画像データ受信装置
US20120033727A1 (en) Efficient video codec implementation
CN110012292B (zh) 用于压缩视频数据的方法和装置
JPWO2012160626A1 (ja) 画像圧縮装置、画像復元装置、及びプログラム
KR20180026360A (ko) 비트율 제어 방법 및 이의 장치
KR20060133962A (ko) 스케일러블 신호 처리를 위한 방법 및 장치
CN114051144A (zh) 视频的压缩方法、装置、计算机设备及存储介质
JP4145292B2 (ja) 画像伝送装置及び方法
CN112822493A (zh) 基于复杂度来适应性地对视频帧进行编码

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid