KR20030040974A - 오브젝트 기반 비트율 제어방법 - Google Patents

오브젝트 기반 비트율 제어방법 Download PDF

Info

Publication number
KR20030040974A
KR20030040974A KR1020010071653A KR20010071653A KR20030040974A KR 20030040974 A KR20030040974 A KR 20030040974A KR 1020010071653 A KR1020010071653 A KR 1020010071653A KR 20010071653 A KR20010071653 A KR 20010071653A KR 20030040974 A KR20030040974 A KR 20030040974A
Authority
KR
South Korea
Prior art keywords
quantization parameter
bit rate
parameter value
importance
macro block
Prior art date
Application number
KR1020010071653A
Other languages
English (en)
Other versions
KR100643453B1 (ko
Inventor
유재신
이진수
박기수
Original Assignee
주식회사 엘지이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지이아이 filed Critical 주식회사 엘지이아이
Priority to KR1020010071653A priority Critical patent/KR100643453B1/ko
Priority to US10/259,726 priority patent/US7027506B2/en
Priority to EP02023557A priority patent/EP1313322A3/en
Priority to CNB021502889A priority patent/CN1288910C/zh
Publication of KR20030040974A publication Critical patent/KR20030040974A/ko
Application granted granted Critical
Publication of KR100643453B1 publication Critical patent/KR100643453B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object

Abstract

본 발명은 영상 데이터 전송시에 오브젝트의 중요도에 따라 양자화 파라미터를 매크로 블록마다 다르게 설정하여 비트율을 제어하는 방법이다.
본 발명은 네트워크 기반으로 멀티미디어 통신을 할 때, 출력 버퍼에서 들어온 결과를 바탕으로 목표 비트를 설정한 후, 오브젝트 세그멘테이션 결과를 바탕으로 매크로 블록 단위로 서로 다른 양자화 파라미터를 지정한다. 본 발명은 사용자가 관심이 있는 영역 혹은 사용자에게 중요한 영역(예를 들면 사람영역이나 사람의 얼굴영역)은 작은 양자화 파라미터를 이용해서 많은 비트를 할당하여 부호화하고, 상대적으로 관심이 없는 영역이나 중요하지 않은 영역(예를 들면 배경 영역)은 큰 양자화 파라미터를 이용해서 적은 수의 비트를 할당하여 부호화함으로써, 네트워크를 통해 영상 데이터를 전송할 때 사용자가 직관적으로 느끼는 화질을 향상시키는 것과 제한된 네트워크 환경에서 전송속도와 효율을 높이는 것을 모두 만족시킨다.

Description

오브젝트 기반 비트율 제어방법{BIT RATE CONTROL BASED ON OBJECT}
본 발명은 블록 단위로 영상신호를 부호화하는 시스템에서 오브젝트의 중요도에 따라 해당 블록 부호화를 위한 양자화 파라미터(QP)를 다른 값으로 설정하여 비트율(bit rate)을 제어하는 방법에 관한 것이다.
대역폭이 제한된 채널을 통해 많은 양의 정보를 포함하는 영상 데이터를 전송할 때 네트워크의 상황에 따라 비트율을 제어한다. 영상 데이터 전송을 위한 비트율 제어는 일반적으로 부호화 파라미터를 정하는 제어 기법에 의하여 이루어진다. 비트율 제어 기법에는 입력 영상의 특성을 고려하여 비트율을 할당하는 방식인 포워드(forward) 제어 기법과, 버퍼의 상태 전송율 등과 같이 소스 인코더(sourceencoder)의 후단 부의 특성을 고려하여 부호화기의 파라미터를 결정하는 백워드(backward)제어 기법이 있다.
화상통신이나 영상 폰과 같은 저속 전송 매체용 영상 인코더는 압축 효율 면에서 우수한 성능을 가져야 하며 인코더의 복잡도도 낮아야 한다. 그래서 대부분의 저속 전송 매체용 영상 부호화기를 위한 비트율 제어 기법은 버퍼의 상태를 고려한 양자화 파라미터(QP)를 조정하여 비트율을 제어하는 백워드 기법을 주로 사용하고 있다.
도1은 일반적인 비트율 제어기법을 설명하기 위한 계통도로서, 입력 영상을 받아 들여 특성을 분석하는 특성 분석기(101)와, 부호화기(102), 상기 부호화된 신호를 비트열로 출력하는 버퍼(103), 입력 영상 신호와 비트열 출력 버퍼의 상태에 기초하여 목표 비트(target bits)를 설정하는 목표 비트 할당 설정기(104) 및 할당된 목표 비트로 부호화율을 조정하는 비트율 조정기(105)를 포함한다.
특성 분석기(101)는 입력된 영상 데이터의 특성을 분석하여 목표 비트 할당 설정기(104)에 제공하고, 목표 비트 할당 설정기(104)는 입력 영상의 특성과 출력 버퍼(103)의 상태 정보를 입력받아 목표 비트를 설정한다. 비트율 조정기(105)는 목표 비트 할당 설정기(104)에서 설정된 목표 비트에 따라 비트율 부호화기(102)의 부호화 비트율을 조정해 주며, 부호화기(102)는 특성 분석기(101)를 거친 영상 데이터를 조정된 비트율에 맞춰서 부호화하여 출력 버퍼(103)에 저장한다. 출력 버퍼는 가변 비트열을 제한된 대역폭을 갖는 채널을 통해 전송하기 위해서 출력 비트열을 일정한 속도로 내보낼 수 있도록 조절하게 되며, 또한 비트열 복원 중에 발생할수 있는 버퍼 넘침이나 버퍼 결핍을 방지하는 기능을 수행한다.
위와 같은 비트율의 조정은 양자화 파라미터(QP)와 같은 부호화 파라미터를 사용하여 조정할 수 있는데, 예를 들어 양자화 파라미터 값을 크게 설정할 경우 비트율은 낮아지는 반면 화질은 저하되고, 반대로 양자화 파라미터 값을 작게 설정할 경우 비트율은 높아지는 반면 화질은 좋아진다. 이와 같이 화질과 비트율은 서로 상반관계에 있으므로 비트율이 떨어지면 화질 저하가 발생한다. 그러나 상기와 같은 비트율 제어 방법은 모든 영상에 대하여 하나의 수학적 모델(선형 모델, 비선형 모델, 리플라시안 모델, 지수형 모델, 가우시안 모델 등)을 제시하고 이를 따라 비트를 할당하기 때문에 입력 영상의 특성이나 입력 영상내의 중요 부분에 대해 최적의 부호화 파라미터를 결정할 수 없는 단점이 있다. 즉 중요한 영역이라도 네트워크 환경이 나빠짐으로 인해 비트율을 낮추면 화질이 저하되고, 중요하지 않은 영역이라도 네트워크 환경 변화에 따라 중요한 영역에 비해 높은 화질로 나타날 수도 있게 된다.
이와 같은 비트율과 화질의 상관성은 화상 통신이나 영상 폰 통신에서 고려의 대상이 된다. 즉, 사용자가 중요 영역 혹은 관심 영역의 화질 저하에 대해서는 그렇지 않은 영역의 화질 저하보다 민감하게 반응한다. 다시 말하면, 화면 전체에 대한 화질보다는 중요 영역 혹은 관심 영역의 화질이 사용자가 느끼는 화질을 크게 좌우하게 되는 것이다. 그렇지만 일반적인 비트율 제어 방식에서는 출력 버퍼의 넘침이나 출력 버퍼의 결핍에 따라 양자화 파라미터를 조정하기 때문에 네트워크 상황에 따라 화질의 차이가 크고 화질 열화가 자주 일어나 사용자에게 충분한 화질을제공하지 못한다.
본 발명은 네트워크를 통해 영상 데이터를 전송할 때 양자화 파라미터를 이용하여 오브젝트 기반으로 비트율을 제어하는 방법을 제공한다.
본 발명은 블록단위로 영상을 부호화하여 전송하는 시스템에 있어서, 영상에서 오브젝트를 분리하는 단계, 상기 분리된 오브젝트의 중요도를 지정하는 단계, 상기 오브젝트의 중요도에 따라 해당 블록에 대한 양자화 파라미터 값을 조절하여 비트율을 가변 설정하는 단계, 상기 오브젝트 중요도 기반 양자화 파라미터 값에 의해 조절된 비트율에 따라 영상을 부호화하는 단계로 이루어진 것을 특징으로 하는 비트율 제어방법을 제공한다.
본 발명에서는 네트워크 환경이 나빠지더라도 중요하지 않은 영역의 화질만을 떨어뜨림으로써 낮은 비트율과 높은 화질을 유지할 수 있는 방법을 제안한다.
본 발명에서는 화상 통신이나 영상 폰 등의 네트워크 통신에서 영상이 오브젝트 단위로 분리되었을 때 매크로블록 양자화 파라미터를(QP) 이용하여 오브젝트 기반으로 비트율을 제어하는 방법을 제안한다. 본 발명의 비트율 제어방법의 핵심은 입력 영상에서 관심 있는 영역 혹은 중요한 영역은 작은 양자화 파라미터를 이용하여 많은 비트를 할당하여 부호화하고, 관심 없는 영역 혹은 중요하지 않은 영역은 큰 양자화 파라미터를 이용하여 적은 비트를 할당하여 부호화하는 방법을 제안한다.
도1은 일반적인 비트율 제어기법의 계통도
도2는 양자화 파라미터를 이용한 비트율 제어기법의 계통도
도3은 오브젝트 세그멘테이션의 예1
도4는 오브젝트 세그멘테이션의 예2
도5는 본 발명의 오브젝트 기반 비트율 제어방법의 실시예 플로우차트
도2는 본 발명의 오브젝트 중요도를 기반으로 양자화 파라미터 값을 조절하여 비트율을 제어하는 기법의 계통도를 보여준다. 입력 영상에 대한 오브젝트 세그멘테이션(Object Segmentation) 결과(201)를 입력받아 오브젝트 중요도 기반 양자화 파라미터에 따른 영상 부호화를 수행하는 부호화기(202), 상기 부호화된 영상 데이터를 전송을 위해 출력하기 위한 버퍼(203), 상기 오브젝트 세그멘테이션 결과로부터 중요한 영역과 그렇지 않은 영역에 대한 정보를 이용해서 목표 비트를 설정하는 목표 비트 할당 설정기(204), 상기 목표 비트 할당 설정기(204)의 목표 비트에 대응하는 양자화 파라미터 값을 설정하는 양자화 파라미터 설정기(Select QP)(205)를 포함한다.
도2의 양자화 파라미터를 이용한 비트율 제어기법은 네트워크를 통해서 멀티미디어 통신을 수행할 때, 출력 버퍼에서 들어온 결과를 바탕으로 목표 비트를 설정한 후, 오브젝트 세그멘테이션 결과를 바탕으로 영상에서 중요한 영역과 그렇지 않은 영역에 따라 매크로 블록 단위로 서로 다른 양자화 파라미터를 지정하는 기법으로서, 다음의 기술에 근거한다.
H.263이나 MPEG1/2와 같은 동영상 표준에 의하면 주어진 영상의 각 프레임은 16*16 크기의 부분 영역인 매크로 블록 단위로 부호화된다. 각 매크로 블록의 밝기 성분과 색상 성분은 DCT(Discrete Cosine Transform)을 거친 후 계수 값들을 양자화하여 각각 N개의 비트로 표현하게 된다. 양자화된 값은 다시 VLC(Variable Length Coding)에 의해 부호화된다. 이 때 양자화를 수행하는 방법을 결정하는 것이 양자화 파라미터로서 양자화 파라미터보다 작은 수의 계수 값은 '0'이 된다. 따라서 양자화 파라미터 값이 크면 '0'으로 변환되는 계수가 증가하여 VLC에 의해 부호화된 결과 비트 수가 작아지는 대신 양자화로 인한 정보의 손실은 커짐으로써 화질 저하가 발생하게 되고, 반대로 양자화 파라미터 값이 작으면 양자화로 인한 정보의 손실은 작아지고 화질은 향상되지만 제한된 대역폭의 네트워크를 통해 전송되는 데이터의 부담은 증가한다.
따라서, 본 발명에서는 전송할 영상에서 관심 있는 영역 혹은 중요한 영역을 분리하고, 관심 있거나 중요한 영역에 대해서는 상대적으로 양자화 파라미터 값을 작게 설정하여 화질을 높이는 한편, 관심 없거나 중요하지 않은 영역에 대해서는 상대적으로 양자화 파라미터 값을 크게 설정하여 데이터 전송의 부담을 줄여주는 기법을 제안하는 것이다.
도2에서 오브젝트 세그멘테이션 결과(201)는 이와 같이 중요한 영역과 그렇지 않은 영역에 대한 정보를 제공한다. 오브젝트 세그멘테이션은 영상 입력 영상에서 오브젝트를 분리하는 기술로서, 사용자와 배경 혹은 여러 개의 오브젝트가 있을 때 각 오브젝트를 분리하는 기술이다. 이와 같은 기술이 제공되었을 경우 오브젝트를 분리하는 부분에서 분리된 오브젝트 마다 중요도를 부과할 수 있다. 각 오브젝트 마다 중요도가 부과된 정보를 목표 비트 설정 할당기(204)에 제공한다. 목표 비트 설정 할당기(204)는 오브젝트 마다의 중요도 정보를 가지고 있다가 출력 버퍼(203)로부터의 상태 정보 즉, 네트워크의 비트율이 낮아지면 중요도가 높은 부분은 양자화 파라미터를 작게 하고(양자화 파라미터 설정기(205)의 양자화 파라미터 값을 작게 설정), 중요도가 낮은 부분은 양자화 파라미터를 크게 하여(양자화파라미터 설정기(205)의 양자화 파라미터 값을 크게 설정) 중요한 오브젝트는 비트율이 낮아지더라도 상대적으로 많은 비트 수를 할당하고 중요하지 않은 오브젝트는 비트율을 최대한 낮춰 낮춤으로써, 목표 비트 수를 유지하면서도 중요한 부분과 그렇지 않은 부분을 구분하여 부호화할 수 있다. 이렇게 함으로써 사용자가 화질의 저하를 덜 느끼게 할 수 있다. 즉, 부호화기(202)가 오브젝트 세그멘테이션 결과로부터 중요한 영역과 그렇지 않은 영역을 매크로 블록 단위로 구분하여 상기 오브젝트 중요도 기반 양자화 파라미터 값에 따라 부호화를 수행함으로써, 목표 비트 수를 유지하면서도 화질의 저하를 덜 느끼는 것과 제한된 네트워크 대역폭의 부담 문제를 모두 해결할 수 있게 되는 것이다.
이와 같이 오브젝트 중요도 기반 양자화 파라미터 값 조절을 통한 비트율 제어 동작을 더욱 상세히 설명한다.
화상 통신 환경에서 일반적으로 중요 영역은 사람 영역, 또는 얼굴 영역이나, 눈, 입 영역이 될 수 있고, 이들의 하나 또는 둘 이상의 조합으로 구성될 수도 있다. 또한 오브젝트의 중요도를 지정함에 있어서 배경 영역에 비하여 사람 영역이나 얼굴 영역, 눈이나 입 영역의 중요도를 더 높게 지정할 수 있다.
오브젝트 분리는 사람과 배경 영역, 또는 얼굴과 배경 영역으로 분리하는 과정이다. 실제로 얼굴 영역이 높은 화질로 나타날 경우 다른 주변 영역이 양자화 파라미터에 의해 화질이 저하되더라도 사용자가 화질 저하를 잘 느끼지 못하게 된다. 그것은 사용자의 시선이 주로 영상에서 얼굴 부분에 집중되므로 화질의 민감도도 얼굴 부분에 집중되기 때문이다.
이러한 기술을 H.263+에서 제공하는 Annex T(Modified Quantization Parameter)를 이용하여 구현할 수 있다. 기존 H.263에서는 매크로 블록 단위로 양자화 파라미터를 이전 매크로블록의 양자화 파라미터 값의 +2에서부터 2까지 조절할 수 있다. 즉 비트율을 변화시키기 위한 양자화 파라미터의 변화 정도가 이전 매크로 블록에서의 양자화 파라미터 값의 ±2 이내에서만 가능하다. 그렇기 때문에 갑작스러운 네트워크 환경에 적응하기 어려울 뿐 아니라 주요영역과 주요하지 않은 영역 사이에 확연한 변화를 주기 어렵다. 하지만 Annex T에서는 기능을 'small-step QUANT alteration 모드'에서는 2비트를 이용하여 표1처럼 지정된 QUANT의 차이를 이용하여 양자화 파라미터를 조절하거나, 'arbitrary QUANT selection 모드'에서는 6비트를 이용하여 이전 양자화 파라미터 값에 관계없이 양자화 파라미터 값을 1부터 31까지 조절할 수 있는 기능으로 확장되었다.
이 기능을 이용하여 네트워크의 비트율이 낮아지면 중요하지 않은 영역으로 판단된 매크로 블록의 DCT 계수값은 큰 값으로 양자화하여 데이터량을 줄이고 중요한 영역으로 판단된 매크로 블록의 DCT 계수값은 작은 값으로 양자화하여 비트율이 낮을 때에도 관심 영역에 대해 비교적 좋은 화질을 유지할 수 있다.
사용자가 오브젝트 기반으로 영상을 분리한 후 중요도를 판단하여 서로 다르게 양자화하려고 할 경우 쉽고 빠르게 비트율을 조절하는 방법은 'arbitrary QUNAT selection 모드'를 이용하는 것이다. 도3은 오브젝트 세그멘테이션의 예를 나타내며, 오브젝트 영역과 배경영역으로 분리될 수 있음을 보여준다. 도3에서처럼 화상통신에서 오브젝트 세그멘테이션이 되어 배경 영역과 사용자 영역이 분리되었을 경우, 두 부분을 구분하여 서로 다른 양자화 파라미터를 이용하여 부호화할 수 있다.
'Arbitrary QUANT selection모드'를 사용할 경우에는 이전 매크로블록의 양자화 파라미터 값에 관계없이 매크로 블록마다 1에서 31까지 사용자가 원하는 임의의 양자화 파라미터를 선택할 수 있기 때문에 사용자가 오브젝트 기반으로 영상을 분리한 후 중요도를 판단하여 각 오브젝트에 대해 서로 다르게 양자화 하면서 비트율을 조절 할 수 있다. 만일 영상이 도3에서와 같이 오브젝트와 배경 영역으로 분리되었을 경우, 이 정보를 이용해 비트율을 제어할 때 사용자 영역은 작은 양자화 파라미터를 이용해 양자화 하여 DCT 계수 정보를 많이 남기고, 배경 영역은 상대적으로 큰 양자화 파라미터를 이용해 양자화 하여 DCT 계수 정보를 버려서 비트율을 제어한다. 이러한 방법으로 관심이 있거나 중요한 영역은 상대적으로 좋은 화질로 표현하고 관심이 없거나 상대적으로 중요하지 않은 영역은 비트 수를 많이 낮출 수있다.
그렇지만 두 영역 모두 Annex T의 'arbitrary QUANT selection모드'를 사용할 경우에는 추가되는 헤더(header) 비트 수가 많아져서 비트율 제어에 오히려 부담이 될 수 있다. 즉, 일반적 방법으로 양자화 파라미터를 이용할 때는 매크로 블록 당 2비트의 헤더가 필요하던 것이 Annex T의 'arbitrary QUANT selection모드'를 이용할 경우에는 6비트의 헤더가 필요하다. 이러한 추가 비트는 매크로 블록마다 추가되기 때문에 오버헤드(overhead)가 클 수 있다.
그렇지만 도4에서와 같이 영상이 오브젝트 기반으로 분리되어 입력되었을 때 오브젝트 중요도를 판별 한 후, 배경 영역과 오브젝트 영역의 경계영역(경계 매크로 블록)에서만 양자화 파라미터의 차이가 크고 각 영역 내에서는 양자화 파라미터의 차이가 작기 때문에 각 영역의 경계에서만 양자화 파라미터가 크게 달라지게 된다. 이 특성을 이용하여 영상에서 오브젝트가 분리되었을 경우, 오브젝트의 경계 영역의 매크로블록에 대해서만 'arbitrary QUANT selection 모드'를 사용하여 사용자가 원하는 임의의 양자화 파라미터를 결정하고, 오브젝트의 내부에 대해서는 표1에 정의되어 있는 양자화 파라미터만 지정할 수 있는 'small-step QUANT selection모드'를 이용하여 네트워크 상황에 따라 양자화 파라미터를 작은 범위에서 조절하면 경계 영역에 대해서만 6비트의 헤더가 사용되고 나머지 부분은 2비트의 헤더가 사용되어 전체 프레임에 대해 6비트의 헤더가 사용되는 것 보다 헤더 비트 수가 많이 줄어들면서 오브젝트 단위로 비트율 조절을 할 수 있다.
도5는 경계 매크로 블록인가의 여부에 따라 양자화 파라미터 조절 범위를 달리하는 방법의 예를 보여준다.
영상(비디오)이 들어오면 오브젝트 세그멘테이션을 수행한다(단계 501). 오브젝트 세그멘테이션을 수행한 후에는 오브젝트(객체) 단위로 중요도를 판별하는데 이는 매크로 블록(MB)단위로 이루어진다(단계 502). 즉, 매크로 블록 단위로 중요도를 부여한다. 다음에는 현재 매크로 블록이 경계 매크로 블록인가의 여부를 판별한다(단계 503). 현재 매크로 블록이 경계 매크로 블록이면 앞서 설명한 바와 같이 'arbitrary QUANT selection모드'를 이용하여 양자화 파라미터(QP)를 큰 폭으로 조정하고, 현재 매크로 블록이 오브젝트 내의 매크로 블록이면 'small-step QUANT alteration모드'를 이용하여 양자화 파라미터(QP)를 적은 폭으로 조정한다. 즉, 현재 매크로 블록이 경계 블록이면 비관심 영역(중요하지 않은 영역)에 대해서는 양자화 파라미터(QP)를 크게하고, 관심 영역(중요한 영역)에 대해서는 양자화 파라미터(QP)를 작게하며, 현재 매크로 블록이 경계 블록이 아니면 이전에 사용했던 양자화 파라미터(QP)값을 이용해서 네트워크 상황에 맞게 작은 범위 내에서 양자화 파라미터 값을 조절한다. 이러한 동작은 해당 영상에 대한 모든 매크로 블록에 대해서 수행한다(단계 508).
상기한 바와 같이 비트율 제어에서 매크로블록 단위로 부과된 중요도 정보를 기반으로 양자화 할 때 현재 매크로 블록이 오브젝트의 경계 매크로 블록이면 'arbitrary QUANT selection모드'를 이용하여 양자화 파라미터를 큰 폭으로 조정하고 현재 매크로 블록이 오브젝트 내의 매크로 블록이면 'small-step QUANT alteration모드'를 이용하여 양자화 파라미터를 적은 폭으로 조정함으로써, 오브젝트 단위로 비트 수를 조절할 수 있기 때문에 사용자가 화질의 차이를 느끼는 중요 영역에 대해서는 상대적으로 많은 비트 수를 부과하여 낮은 비트율 전송에서도 비트율을 조절하면서 화질의 열화를 막을 수 있다.
지금까지 본 발명은 실시간 통신 환경에서 효과적인 비트율 제어를 위한 방법을 기술하였다. 하지만 본 발명에서 제시한 기술은 영상 메일과 같은 동영상의 부호화 방법으로도 유용하게 사용될 수 있다. 즉 이동 단말기 등으로 취득한 영상을 본 발명에서 제시한 방법으로 부호화할 경우 전체 부호화된 영상의 크기가 작으면서 높은 화질을 유지할 수 있다. 일반적으로 영상 서비스는 패킷 수로 요금이 부과되므로 동영상의 크기는 매우 중요한 요소이다.
본 발명은 화상 통신이나 비디오 폰 전송 등에서 비디오가 오브젝트 기반으로 세크멘테이션 되어 있을 때 사용자가 특정 오브젝트에 대해 중요도를 크게 설정 할 수 있어 화상 통신 등에서 사용자가 직관적으로 느끼기에 영상의 화질을 상승시킬 수 있다.
낮은 비트율 통신에서는 네트워크의 대역폭에 따라 전송되는 비디오의 화질이 일정하지 않고 화질 열화가 자주 발생한다. 이것은 비트율을 제어할 때 출력 버퍼의 넘침을 제어하기 위해 영상 내의 오브젝트 보다는 순간적인 비트율에 따라 양자화 파라미터를 결정하기 때문이다. 하지만 화상 통신이나 비디오 폰 통신을 할 때, 사용자는 관심이 있는 영역에 대한 화질에 민감하게 반응하므로 비트율을 제어할 때 본 발명을 적용하여 관심 있거나 중요한 영역의 정보는 많이 보내고, 비 관심 영역이나 중요하지 않은 영역의 정보를 적게 보내면 비트율을 제어하면서도 사용자에게 만족할 만한 화질을 제공할 수 있다.
본 발명은 특히 IMT 2000과 같이 무선 이동 통신에서 유용하게 사용될 수 있다. 무선 이동 통신의 경우 유선 이동 통신에 비해 낮은 네트워크 환경을 사용하므로 낮은 비트율로 높은 화질을 얻는 것이 매우 중요하다.
또한 본 발명은 이동 단말기 등으로 취득한 비디오 메일 영상을 효과적으로 부호화하여 응용할 수 있다. 즉 작은 크기로 화질 저하 없이 비디오 메일 영상을 부호화함으로써, 사용자에게 낮은 요금을 가능하도록 하는 효과가 있다.

Claims (6)

  1. 블록단위로 영상을 부호화하여 전송하는 시스템에 있어서, 입력 영상에서 오브젝트를 분리하여 그 중요도를 지정하는 단계, 상기 오브젝트의 중요도에 따라 해당 블록에 대한 양자화 파라미터 값을 조절하여 비트율을 가변 설정하는 단계, 상기 오브젝트 중요도 기반 양자화 파라미터 값에 의해 조절된 비트율에 따라 해당 블록을 부호화하는 단계로 이루어진 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
  2. 제 1 항에 있어서, 상기 오브젝트 중요도 기반 양자화 파라미터 값에 의해 비트율을 가변 설정할 때, 상기 부호화된 영상 데이터 출력단에서 목표 비트 수를 지정하는 단계를 더 포함하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
  3. 제 1 항에 있어서, 상기 매크로 블록의 양자화 파라미터 값을 설정할 때, 매크로 블록의 성격에 따라서 양자화 파라미터 값의 가변 범위를 서로 다르게 설정하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
  4. 제 1 항에 있어서, 상기 매크로 블록의 양자화 파라미터 값을 설정할 때, H.263의 AnnexT 모드에서 'arbitrary QUANT selection모드'와 'small-step QUANT alteration모드' 중에서 하나를 매크로 블록 단위로 선택하여 양자화 파라미터를설정하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
  5. 제 1 항에 있어서, 상기 매크로 블록의 양자화 파라미터 값을 설정할 때, 현재 매크로 블록이 경계 영역이면 H.263의 AnnexT 모드에서 'arbitrary QUANT selection모드'를 이용하여 양자화 파라미터 값을 변화시키고, 현재 매크로 블록이 오브젝트 내의 영역이면 H.263의 AnnexT 모드에서 'small-step QUANT alteration모드'를 이용하여 양자화 파라미터 값을 변화시키는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
  6. 제 1 항에 있어서, 상기 오브젝트는 입력 영상에서 사람, 얼굴, 눈, 입 영역 중 하나 또는 그들의 조합으로 이루어지는 오브젝트와 이 오브젝트를 제외한 배경 영역으로 분리되고, 배경 영역에 비해서 상기 오브젝트 영역의 중요도를 더 높게 지정하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
KR1020010071653A 2001-11-17 2001-11-17 오브젝트 기반 비트율 제어방법 KR100643453B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020010071653A KR100643453B1 (ko) 2001-11-17 2001-11-17 오브젝트 기반 비트율 제어방법
US10/259,726 US7027506B2 (en) 2001-11-17 2002-09-30 Object-based bit rate control method and system thereof
EP02023557A EP1313322A3 (en) 2001-11-17 2002-10-23 Object-based bit rate control method and system thereof
CNB021502889A CN1288910C (zh) 2001-11-17 2002-11-08 基于对象的比特率控制方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010071653A KR100643453B1 (ko) 2001-11-17 2001-11-17 오브젝트 기반 비트율 제어방법

Publications (2)

Publication Number Publication Date
KR20030040974A true KR20030040974A (ko) 2003-05-23
KR100643453B1 KR100643453B1 (ko) 2006-11-10

Family

ID=19716069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010071653A KR100643453B1 (ko) 2001-11-17 2001-11-17 오브젝트 기반 비트율 제어방법

Country Status (4)

Country Link
US (1) US7027506B2 (ko)
EP (1) EP1313322A3 (ko)
KR (1) KR100643453B1 (ko)
CN (1) CN1288910C (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100624404B1 (ko) * 2002-01-05 2006-09-18 삼성전자주식회사 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치
KR100770873B1 (ko) * 2005-07-25 2007-10-26 삼성전자주식회사 영상 부호화시 비트율 제어 방법 및 장치
KR100855344B1 (ko) * 2007-03-13 2008-09-04 에스케이 텔레콤주식회사 화상전화 이미지 부분별 차별코딩 시스템 및 방법
US7738716B2 (en) 2005-05-24 2010-06-15 Samsung Electronics Co., Ltd. Encoding and decoding apparatus and method for reducing blocking phenomenon and computer-readable recording medium storing program for executing the method

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10300048B4 (de) 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
US7801383B2 (en) * 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
US20060209950A1 (en) * 2005-03-16 2006-09-21 Broadcom Advanced Compression Group, Llc Method and system for distributing video encoder processing
US8422546B2 (en) * 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
GB2456593B (en) 2005-12-28 2011-07-13 Intel Corp A novel user sensitive information adaptive video transcoding framework
US7974340B2 (en) * 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US20070237237A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8503536B2 (en) * 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8296662B2 (en) * 2007-02-05 2012-10-23 Brother Kogyo Kabushiki Kaisha Image display device
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US20080240257A1 (en) * 2007-03-26 2008-10-02 Microsoft Corporation Using quantization bias that accounts for relations between transform bins and quantization bins
US8498335B2 (en) * 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) * 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) * 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8189933B2 (en) * 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
CN101931800B (zh) * 2009-06-24 2013-08-14 财团法人工业技术研究院 利用有限可变比特率控制的感兴趣区域编码方法与系统
US8994792B2 (en) 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
EP2485495A3 (en) * 2011-02-03 2013-08-28 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8768073B2 (en) * 2011-07-05 2014-07-01 Texas Instruments Incorporated Method, system and computer program product for coding a region of interest within an image of multiple views
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US10230950B2 (en) 2013-05-30 2019-03-12 Intel Corporation Bit-rate control for video coding using object-of-interest data
JP2015002429A (ja) * 2013-06-14 2015-01-05 株式会社東芝 符号化装置及び監視システム
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
KR101602879B1 (ko) * 2014-09-30 2016-03-21 삼성전자주식회사 멀티 디스플레이 시스템을 위한 미디어 처리 방법 및 장치
CN110087075B (zh) * 2019-04-22 2021-07-30 浙江大华技术股份有限公司 一种图像的编码方法、编码装置以及计算机存储介质
CN112004090A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 目标边界确定方法、计算机设备及存储介质
CN112165619A (zh) * 2020-09-24 2021-01-01 杭州当虹科技股份有限公司 一种面向监控视频压缩存储的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336135A (ja) * 1995-04-07 1996-12-17 Sony Corp 画像圧縮装置及び方法
KR100493854B1 (ko) * 1995-10-26 2005-08-04 주식회사 팬택앤큐리텔 물체중심부호화에서의양자화방법
JPH09200764A (ja) * 1996-01-16 1997-07-31 Canon Inc 符号化装置
KR100203656B1 (ko) * 1996-04-09 1999-06-15 전주범 윤곽 영상신호 부호화 장치
US5881175A (en) * 1996-06-07 1999-03-09 Daewoo Electronics Co., Ltd. Method and apparatus for encoding an image signal by using the contour signal thereof
US6208693B1 (en) * 1997-02-14 2001-03-27 At&T Corp Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
KR100273459B1 (ko) * 1998-12-21 2000-12-15 구자홍 영상데이터의 비트열 제어방법
US6539124B2 (en) * 1999-02-03 2003-03-25 Sarnoff Corporation Quantizer selection based on region complexities derived using a rate distortion model

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100624404B1 (ko) * 2002-01-05 2006-09-18 삼성전자주식회사 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치
US7738716B2 (en) 2005-05-24 2010-06-15 Samsung Electronics Co., Ltd. Encoding and decoding apparatus and method for reducing blocking phenomenon and computer-readable recording medium storing program for executing the method
KR100770873B1 (ko) * 2005-07-25 2007-10-26 삼성전자주식회사 영상 부호화시 비트율 제어 방법 및 장치
KR100855344B1 (ko) * 2007-03-13 2008-09-04 에스케이 텔레콤주식회사 화상전화 이미지 부분별 차별코딩 시스템 및 방법

Also Published As

Publication number Publication date
US7027506B2 (en) 2006-04-11
EP1313322A3 (en) 2004-09-01
EP1313322A2 (en) 2003-05-21
KR100643453B1 (ko) 2006-11-10
CN1288910C (zh) 2006-12-06
CN1420690A (zh) 2003-05-28
US20030095599A1 (en) 2003-05-22

Similar Documents

Publication Publication Date Title
KR100643453B1 (ko) 오브젝트 기반 비트율 제어방법
KR100643454B1 (ko) 영상 데이터 전송 제어방법
RU2349054C1 (ru) Контекстно-адаптивная регулировка пропускной способности при управлении скоростью передачи видеосигнала
US9516325B2 (en) Region-of-interest aware video coding
KR100484148B1 (ko) 개선된 비트율 제어 방법과 그 장치
US6389072B1 (en) Motion analysis based buffer regulation scheme
KR100970315B1 (ko) 트랜스코더 및 부호화 화상 변환 방법
US6430222B1 (en) Moving picture coding apparatus
US8107537B2 (en) Picture layer rate control for video encoding
US20050201460A1 (en) System and method for controlling bit rate of an image
US7082163B2 (en) Picture coding method, picture coding apparatus and image relaying apparatus
KR100557618B1 (ko) 오브젝트 기반 비트율 제어방법 및 장치
KR20010018573A (ko) 네트워크 대역폭에 적응적인 영상 압축 장치
US9955160B1 (en) Video encoding using adaptive pre-filtering
KR20050090841A (ko) 비트율 제어 방법
KR100543608B1 (ko) 오브젝트 기반 비트율 제어방법 및 장치
US8548045B2 (en) Method and apparatus for video encoding
EP1057344A1 (en) Adaptive buffer and quantizer regulation scheme for bandwidth scalability of video data
JPH1042293A (ja) 符号化制御装置および符号化装置および符号化制御方法
Kwon et al. Adaptive video coding rate control for better perceived picture quality in time-varying channels
CN117641045A (zh) 一种视频数据处理方法和装置
JPH07312753A (ja) 符号化制御方法
CN116233446A (zh) 一种视频实时编码的变码率控制方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
N231 Notification of change of applicant
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J121 Written withdrawal of request for trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20050324

Effective date: 20060929

Free format text: TRIAL NUMBER: 2005101001770; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20050324

Effective date: 20060929

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090929

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee