KR20030040975A - 오브젝트 기반 비트율 제어방법 - Google Patents

오브젝트 기반 비트율 제어방법 Download PDF

Info

Publication number
KR20030040975A
KR20030040975A KR1020010071654A KR20010071654A KR20030040975A KR 20030040975 A KR20030040975 A KR 20030040975A KR 1020010071654 A KR1020010071654 A KR 1020010071654A KR 20010071654 A KR20010071654 A KR 20010071654A KR 20030040975 A KR20030040975 A KR 20030040975A
Authority
KR
South Korea
Prior art keywords
bit rate
importance
block
area
low
Prior art date
Application number
KR1020010071654A
Other languages
English (en)
Other versions
KR100643454B1 (ko
Inventor
유재신
이진수
박기수
Original Assignee
주식회사 엘지이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지이아이 filed Critical 주식회사 엘지이아이
Priority to KR1020010071654A priority Critical patent/KR100643454B1/ko
Priority to US10/259,642 priority patent/US20030095598A1/en
Priority to EP02023558A priority patent/EP1315380A3/en
Priority to CNB021502897A priority patent/CN1283105C/zh
Publication of KR20030040975A publication Critical patent/KR20030040975A/ko
Application granted granted Critical
Publication of KR100643454B1 publication Critical patent/KR100643454B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Abstract

본 발명은 영상 데이터 전송시에 오브젝트의 중요도에 따라 'Not-coded block'을 이용해서 비트율을 제어하는 방법이다.
본 발명은 블록단위로 영상을 부호화하여 전송하는 시스템에 있어서, 입력 영상에서 오브젝트를 분리하여 그 중요도를 지정하는 단계, 상기 중요도가 높은 영역에 해당하는 블록의 경우 비트율이 낮아지더라도 부호화된 데이터를 전송하는 단계, 상기 중요도가 낮은 영역에 해당하는 블록의 경우 비트율이 낮아지면 해당 블록을 'Not-coded block'으로 설정하여 이전 프레임의 정보를 그대로 전송하는 단계를 포함하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법이다.
본 발명은 중요한 영역에 대해서는 비트율이 낮아져도 부호화된 데이털르 전송함으로써 네트워크를 통해 영상 데이터를 전송할 때 사용자가 직관적으로 느끼는 화질을 향상시키는 것이 가능하고, 중요하지 않은 영역에 대해서는 인코딩하지 않고 이전 프레임 정보를 그대로 이용함으로써, 제한된 네트워크 환경에서 전송속도와 효율을 높이는 것을 모두 만족시킨다.

Description

오브젝트 기반 비트율 제어방법{BIT RATE CONTROL BASED ON OBJECT}
본 발명은 블록 단위로 영상신호를 부호화하는 시스템에서 오브젝트의 중요도에 따라 코딩되지 않은 블록(Not-coded block)을 이용해서 비트율을 제어하는 방법에 관한 것이다.
대역폭이 제한된 채널을 통해 많은 양의 정보를 포함하는 영상 데이터를 전송할 때 네트워크의 상황에 따라 비트율을 제어한다. 영상 데이터 전송을 위한 비트율 제어는 일반적으로 부호화 파라미터를 정하는 제어 기법에 의하여 이루어진다. 비트율 제어 기법에는 입력 영상의 특성을 고려하여 비트율을 할당하는 방식인포워드(forward) 제어 기법과, 버퍼의 상태 전송율 등과 같이 소스 인코더(source encoder)의 후단 부의 특성을 고려하여 부호화기의 파라미터를 결정하는 백워드(backward)제어 기법이 있다.
화상통신이나 영상 폰과 같은 저속 전송 매체용 영상 인코더는 압축 효율 면에서 우수한 성능을 가져야 하며 인코더의 복잡도도 낮아야 한다. 그래서 대부분의 저속 전송 매체용 영상 부호화기를 위한 비트율 제어 기법은 버퍼의 상태를 고려한 양자화 파라미터(QP)를 조정하여 비트율을 제어하는 백워드 기법을 주로 사용하고 있다.
도1은 일반적인 비트율 제어기법을 설명하기 위한 계통도로서, 입력 영상을 받아 들여 특성을 분석하는 특성 분석기(101)와, 부호화기(102), 상기 부호화된 신호를 비트열로 출력하는 버퍼(103), 입력 영상 신호와 비트열 출력 버퍼의 상태에 기초하여 목표 비트(target bits)를 설정하는 목표 비트 할당 설정기(104) 및 할당된 목표 비트로 부호화율을 조정하는 비트율 조정기(105)를 포함한다.
특성 분석기(101)는 입력된 영상 데이터의 특성을 분석하여 목표 비트 할당 설정기(104)에 제공하고, 목표 비트 할당 설정기(104)는 입력 영상의 특성과 출력 버퍼(103)의 상태 정보를 입력받아 목표 비트를 설정한다. 비트율 조정기(105)는 목표 비트 할당 설정기(104)에서 설정된 목표 비트에 따라 비트율 부호화기(102)의 부호화 비트율을 조정해 주며, 부호화기(102)는 특성 분석기(101)를 거친 영상 데이터를 조정된 비트율에 맞춰서 부호화하여 출력 버퍼(103)에 저장한다. 출력 버퍼는 가변 비트열을 제한된 대역폭을 갖는 채널을 통해 전송하기 위해서 출력 비트열을 일정한 속도로 내보낼 수 있도록 조절하게 되며, 또한 비트열 복원 중에 발생할 수 있는 버퍼 넘침이나 버퍼 결핍을 방지하는 기능을 수행한다.
위와 같은 비트율의 조정은 양자화 파라미터(QP)와 같은 부호화 파라미터를 사용하여 조정할 수 있는데, 예를 들어 양자화 파라미터 값을 크게 설정할 경우 비트율은 낮아지는 반면 화질은 저하되고, 반대로 양자화 파라미터 값을 작게 설정할 경우 비트율은 높아지는 반면 화질은 좋아진다. 이와 같이 화질과 비트율은 서로 상반관계에 있으므로 비트율이 떨어지면 화질 저하가 발생하거나 심한 경우 수신측에서 화면의 끊김 현상이 발생한다. 그러나 상기와 같은 비트율 제어 방법은 모든 영상에 대하여 하나의 수학적 모델(선형 모델, 비선형 모델, 리플라시안 모델, 지수형 모델, 가우시안 모델 등)을 제시하고 이를 따라 비트를 할당하기 때문에 입력 영상의 특성이나 입력 영상내의 중요 부분에 대해 최적의 부호화 파라미터를 결정할 수 없는 단점이 있고, 비트율이 영상을 전송하지 못할 정도로 낮아졌을 경우 수신측에 하면의 끊김 현상이 발생하는 단점이 있다.
이와 같은 비트율과 화질의 상관성은 화상 통신이나 영상 폰 통신에서 고려의 대상이 된다. 즉, 사용자는 영상의 원활한 플레이에 민감하게 반응하고, 그 중에서도 중요 영역 혹은 관심 영역의 화질 저하에 대해서는 그렇지 않은 영역의 화질 저하보다 민감하게 반응한다. 다시 말하면, 화면 전체에 대한 화질보다는 중요 영역 혹은 관심 영역의 화질이 사용자가 느끼는 화질을 크게 좌우하게 되는 것이다. 그렇지만 일반적인 비트율 제어 방식에서는 출력 버퍼의 넘침이나 출력 버퍼의 결핍에 따라 비트율을 조정하기 때문에 네트워크 상황에 따라 화질의 차이가 발생하거나 네트워크 상황이 좋지 않을 경우 동영상 등의 정상적인 플레이를 제공하지 못하여 사용자에게 중요한 정보가 전송되지 못할 수도 있고, 화질 열화가 자주 일어나 사용자에게 충분한 화질을 제공하지 못한다.
본 발명은 네트워크를 통해 영상 데이터를 전송할 때 'Not-coded block'을 이용해서 오브젝트 중요도 기반의 비트율을 제어하는 방법을 제공한다.
본 발명은 블록단위로 영상을 부호화하여 전송하는 시스템에 있어서, 입력 영상에서 오브젝트를 분리하여 그 중요도를 지정하는 단계, 상기 중요도가 높은 영역에 해당하는 블록의 경우 비트율이 낮아지더라도 부호화된 데이터를 전송하는 단계, 상기 중요도가 낮은 영역에 해당하는 블록의 경우 비트율이 낮아지면 해당 블록에 대해서는 이전 프레임의 정보를 그대로 전송하는 단계를 포함하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법을 제공한다.
본 발명에서는 네트워크의 비트율이 낮아져서 영상을 원활하게 전송하지 못하더라도 중요한 영역의 데이터만 전송하고 그렇지 않은 영역의 데이터는 전송하지 않음으로써 낮은 비트율에서 중요 영역의 원활한 전송을 유지할 수 있는 방법을 제시한다. 특히 본 발명에서는 화상 통신이나 비디오 폰 등의 네트워크 통신에서 영상이 오브젝트 단위로 분리되었을 때 중요 영역은 전송하고 그 외 영역은 'Not-coded block'을 이용하여 데이터를 전송하지 않음으로써 오브젝트 기반으로 비트율을 제어하는 방법을 제시한다. 또한 본 발명은 네트워크의 대역폭이 전송 속도가 영상을 원활하게 전송하지 못 할만큼 낮아졌을 때 관심 있는 영역만 부호화하여 전송함으로써 전송량을 크게 줄이는 방법으로서, 화상 통신이나 비디오 폰 등 저속 전송 환경에서 비트율을 제어할 때 이용될 수 있다. 또한 본 발명은 'Not-coded block'을 사용하는 프레임의 비율을 전송 속도에 따라 다르게 제어함으로써 네트워크 환경에 맞는 최적의 화질을 유지하도록 한다.
도1은 일반적인 비트율 제어기법의 계통도
도2는 Not-coded block을 이용한 비트율 제어기법의 계통도
도3은 오브젝트 세그멘테이션의 예
도4는 Not-coded block을 이용한 비트율 제어의 예를 나타낸 도면
도5는 본 발명의 오브젝트 기반 비트율 제어방법의 실시예 플로우차트
도6은 본 발명의 오브젝트 세그멘테이션을 이용한 부호화기의 블록도
도2는 본 발명의 오브젝트 중요도를 기반으로 'Not-coded block'을 이용하여 비트율을 제어하는 기법의 계통도를 보여준다.
입력 영상에서 오브젝트 세그멘테이션(Object Segmentation)을 수행하여 오브젝트와 배경을 분리한다(200). 부호화된 영상 데이터를 출력하기 위한 출력 버퍼(205)로부터 목표 비트 수가 할당된다(201). 이와 같이 출력 버퍼에서 들어온 결과를 바탕으로 목표 비트 수를 할당할 때 현재 네트워크의 비트율이 매우 낮을 경우 해당 매크로 블록의 중요도를 판단한다(202). 중요한 매크로 블록이면 양자화를 수행하고(203), 그렇지 않은 경우는 해당 블록을 'Not-coded block'으로 설정한다(204). 이와 같이 비트율이 매우 낮을 때 중요하지 않은 영역에 해당하는 매크로 블록을 강제로 'Not-coded block'으로 설정함으로써 전송되는 정보량을 줄여서 중용한 오브젝트 영역은 비트율이 낮아지더라도 전송할 수 있게 되는 것이다.
도2에 나타낸 바와 같이 비트율과 매크로 블록 영역의 중요도에 따라 양자화 또는 'Not-coded block' 설정을 통한 비트율 제어를 수행하는 방법은 다음의 기술에 근거한다.
H.263이나 MPEG1/2와 같은 동영상 표준에 의하면 주어진 영상의 각 프레임은예측 부호화 방식으로 부호화 된다. 예측 부호화란 어떤 화소의 신호치를 다른 시간의 영상 신호치 와의 차분으로 나타냄으로써 압축 효율을 높이는 것이다. 예측 부호화는 동영상의 P픽쳐나 B픽쳐에서만 이루어진다. 예측의 수행은 16*16의 매크로 블록 단위로 수행되는데 현재 픽쳐의 특정 매크로 블록의 값과 가장 유사한 값을 가지고 있는 매크로 블록을 이전 픽쳐의 특정 범위 내에서 찾는다. 매크로 블록의 차이를 움직임 벡터라 하고 현재 매크로 블록이 이전 픽쳐에서부터 어느 정도 이동했는지를 표현한다. 그런데 현재 매크로 블록이 이전 픽쳐의 매크로 블록과 변화가 없으면 움직임 벡터의 크기도 '0'이 되고 DCT 부호화 할 계수값도 없어지게 된다. 이러한 매크로블록을 Not-coded block이라 한다. 이렇게 처리함으로써 생성되는 데이터 양을 크게 감소시키는 효과를 볼 수 있다.
따라서, 본 발명에서는 전송할 영상에서 관심 있는 영역 혹은 중요한 영역을 분리하고, 관심 있거나 중요한 영역에 대해서는 비트율이 낮아지더라도 부호화하여 전송함으로써 중요한 정보의 전송 누락을 방지하는 한편, 관심 없거나 중요하지 않은 영역에 대해서는 비트율이 낮아지면 해당 블록을 강제로 'Not-coded block'으로 설정하여 이전 프레임 정보를 그대로 전송함으로써 데이터 전송의 부담을 줄여주는 기법을 제안하는 것이다.
도2에서 오브젝트 세그멘테이션(200)은 이와 같이 중요한 영역과 그렇지 않은 영역에 대한 정보를 제공한다. 오브젝트 세그멘테이션은 영상 입력 영상에서 오브젝트를 분리하는 기술로서, 사용자와 배경 혹은 여러 개의 오브젝트가 있을 때 각 오브젝트를 분리하는 기술이다. 이와 같은 기술이 제공되었을 경우 오브젝트를분리하는 부분에서 분리된 오브젝트 마다 중요도를 부과할 수 있다. 따라서, 각 오브젝트 마다 중요도가 부과된 정보를 가지고 있다가 출력 버퍼(205)에서 들어온 결과를 바탕으로 목표 비트 수를 설정할 때(201), 네트워크의 비트율이 매우 낮을 경우에는 오브젝트 세그멘테이션 결과를 바탕으로 매크로 블록 단위로 비 관심 영역을 'Not-coded block'으로 설정하는 것이다.
즉, 각 오브젝트 마다 중요도가 부과된 정보를 가지고 있다가 네트워크의 비트율이 매우 낮아져 전체 프레임을 정상적으로 전송할 수 없게 되면 중요도가 높은 부분은 부호화하여 전송하고 중요도가 낮은 부분은 부호화할 데이터의 정보를 버리고 'Not-coded block'으로 처리하여 전송되는 정보량을 크게 줄여 중요한 오브젝트는 영역은 비트율이 낮아지더라도 전송할 수 있게 하는 것이다.
이와 같이 오브젝트 중요도 기반의 'Not-coded block'을 이용한 비트율 제어 동작을 더욱 상세히 설명한다.
화상 통신 환경에서 일반적으로 중요 영역은 사람 영역, 또는 얼굴 영역이나, 눈, 입 영역이 될 수 있고, 이들의 하나 또는 둘 이상의 조합으로 구성될 수도 있다. 또한 오브젝트의 중요도를 지정함에 있어서 배경 영역에 비하여 사람 영역이나 얼굴 영역, 눈이나 입 영역의 중요도를 더 높게 지정할 수 있다.
오브젝트 분리(Object Segmentation)는 사람과 배경 영역, 또는 얼굴과 배경 영역으로 분리하는 과정이다. 실제로 통신에서 사용자가 민감하게 반응하는 부분은 얼굴 영역이므로 다른 주변 영역이 전송되어 오지 못해서 움직임을 표현하지 못하더라도 사용자가 배경 영역의 정지 현상을 잘 느끼지 못한다. 그것은 사용자의 시선이 주로 영상에서 얼굴 부분에 집중되므로 화면의 움직임에 대한 민감도도 얼굴 부분에 집중되기 때문이다. 영상의 오브젝트가 도3에서처럼 매크로블록 단위로 오브젝트 영역(사람 영역)과 배경 영역으로 세그멘테이션 되었다고 할 경우, 사용자의 시선이 주로 집중되는 오브제트 영역(사람 영역)은 생성되는 데이터를 전송하고 배경 영역의 경우는 생성되는 데이터를 전송하지 않고 이전 픽쳐의 데이터를 그대로 사용하더라도 사용자는 배경 영역의 정지 현상을 잘 느낄 수 없게 된다.
이와 같은 점을 설명하기 위한 동영상 데이터의 예를 도4에 나타내었다. 도4의의 첫번째 프레임 영상(a)과 20번째 프레임 영상(b)을 비교하면 배경이 이동되어 두 프레임의 배경이 다른 것을 알 수 있다. 만일 20번째 프레임 영상(b)에서 사용자 영역을 도4의 (c)와 같이 추출한 후, 오브젝트(사람)를 제외한 나머지 배경 영역을 'Not-coded block'으로 설정하면, 20번째 프레임 영상이 디스플레이 될 때는 원래의 20번째 프레임 영상에서의 사용자 영역과 첫번째 프레임 영상에서의 배경 영역이 합성(배경 영역에 대한 'Not-coded block' 설정에 따라 첫번째 프레임 영상의 배경이 그대로 전송된다)되어 도4의 (d)와 같이 디스플레이된다. 도4의 (d)에서 알 수 있듯이 사용자 영역의 경계 영역에서 이동된 배경으로 인해 약간의 차이를 느낄 수는 있으나 전체적으로 크게 어색함을 주지는 않는다. 이러한 정도의 변화된 화질은 네트워크 상황 저하에 의해 발생하는 화면 끊김 등의 화질과 비교할 때 매우 우수하다. 이러한 기술을 MPEG1/2, H.263 등에서 제공하는 Not-coded block을 이용하여 구현할 수 있는 것이다.
도5는 오브젝트(객체)의 중요도와 비트율에 따라서 매크로 블록의 부호화(인코딩)를 수행하거나 해당 블록을 'Not-coded block'을 설정하여 이전 프레임 영상정보를 그대로 전송하는 방법의 예를 보여준다.
영상(비디오)이 들어오면 오브젝트 세그멘테이션을 수행한다(단계 501). 오브젝트 세그멘테이션을 수행한 후에는 오브젝트(객체) 단위로 중요도를 판별하는데 이는 매크로 블록(MB)단위로 이루어진다(단계 502). 즉, 매크로 블록 단위로 중요도를 부여한다. 다음에는 네트워크 환경을 검색하고 설정(할당)된 목표 비트 수를 기반으로 하여 현재 비트율이 어느 정도인지를 판별한다(단계 503). 상기 비트율 판별 결과 비트율이 낮은 경우에는 해당 매크로 블록이 상기 중요도에 따라 중요한 매크로 블록인지의 여부를 판별한다(단계 504). 비트율이 충분하거나 또는 비트율이 낮아 졌을 때 현재 매크로 블록이 중요한 매크로 블록이라면 해당 블록을 정상적으로 인코딩(부호화)한다(단계 505). 그러나, 비트율이 낮고 그 중요도 또한 낮은 경우에는 현재 매크로 블록을 'Not-coded block'을 설정하여 인코딩한다(단계 506). 이러한 동작은 해당 영상에 대한 모든 매크로 블록에 대해서 수행한다(단계 507).
도5에서와 같이 분리된 각 오브젝트마다 중요도를 부과하고, 비트율이 매우 낮아져서 동영상을 정상적으로 전송할 수 없게 되면 중요한 영역으로 판단된 매크로 블록은 부호화하여 전송하고, 중요하지 않은 영역으로 판단된 매크로 블록은 이전 픽쳐와 차이가 발생하여 움직임 벡터가 있어도 강제로 'Not-coded block'으로 지정함으로써, 발생되는 데이터의 양을 크게 줄일 수 있게 되는 것이다. 즉, 비트율이 매우 낮더라도 관심이 있거나 중요한 영역은 전송이 가능해지기 때문에 수신측에서는 전송되는 영상에 대해서 크게 차이를 느끼지 않을 수 있다. 이 때 전송되는 오브젝트의 위치나 크기가 변경되어 이전 오브젝트의 잔상이 남아 있을 수는 있지만 초당 전송되는 프레임 레이트(frame rate)의 수가 어느 정도 이상이면 최소 n개의 프레임당 한번씩 전체 프레임을 재전송하면 사용자는 배경 영역이 정지된 것 같이 느끼거나, 이전 오브젝트의 잔상을 크게 느끼지 않는다.
이와 같은 기능을 기존 인코더에 적용할 때는 도6과 같이 할 수 있다. 오브젝트 세그멘테이션부(601)는 입력 영상(Video in)에서 오브젝트와 배경을 분리한다. 중요도 판단부(602)는 상기 오브젝트 세그멘테이션 결과를 바탕으로 매크로 블록(MB) 단위로 중요도를 판단해서 현재 매크로 블록에 대하여 DCT 및 양자화를 수행하도록 하거나 'Not-coded block'으로 처리하여 DCT 및 양자화 과정을 거치지 않고 VLC 코딩부(Variable Length Coding)로 전달하도록 한다. 스위칭부(603)를 거쳐 입력된 데이터는 DCT부(604)에서 이산 코사인 변환처리되고, DCT 계수는 양자화부(605)에서 양자화되어 VLC 코딩부로 전달된다. 역양자화부(606)는 상기 양자화된 데이터를 역양자화하고, 역DCT부(607)에서 이산 코사인 역변환을 수행하여 복원된 정보가 스위칭부(609)에 의해서 선택된 정보와 함께 복원된 영상 정보로 영상 메모리(608)에 저장된다. 영상 메모리(608)에 저장된 정보는 상기 DCT 및 양자화를 위한 신호로 제공된다.
상기 도6에 나타낸 인코더(부호화기)에 따르면, 인코더에 영상 데이터가 들어가기 전에 오브젝트를 세그멘테이션하여 각 오브젝트의 중요도를 매크로 블록 단위로 지정하고 있다. 그리고, 네트워크 환경 검색을 통해 현재 비트율이 낮아지면현재 매크로 블록의 중요도를 판단하여, 현재 매크로 블록의 중요도가 높은 경우는 데이터를 부호화하여 전송하고 중요도가 낮은 경우는 부호화를 하지 않고 강제로 'Not-coded block'으로 지정한 뒤 전송함으로써 가장 적은 비트수를 할당하여 전송하는 것이다.
지금까지 본 발명은 실시간 통신 환경에서 효과적인 비트율 제어를 위한 방법을 기술하였다. 하지만 본 발명에서 제시한 기술은 비디오 메일과 같은 동영상의 부호화 방법으로도 유용하게 사용될 수 있다. 즉, 이동 단말기 등으로 취득한 영상을 본 발명에서 제시한 방법으로 부호화할 경우 전체 부호화된 영상의 크기를 크게 줄일 수 있다. 일반적으로 영상 서비스는 패킷 수로 요금이 부과되므로 동영상의 크기는 매우 중요한 요소이다.
본 발명은 오브젝트 단위로 세크멘테이션 된 영상을 기반으로 'Not-coded block'을 이용하여 비트율을 제어하는 방법을 제공한다. 본 발명은 화상 통신이나 비디오 폰 전송 등에서 영상이 오브젝트 기반으로 세크멘테이션 되어 있을 때 사용자가 특정 오브젝트에 대해 중요도를 높게 설정 할 수 있어 화상 통신 등에서 비트율이 매우 낮아졌을 경우 수신측에서 화면의 끊김 현상이 발생하는 것 대신 중요 영역만을 전송할 수 있기 때문에 사용자에게 중요한 정보를 연속적으로 전송할 수 있다. 특히, 낮은 비트율 통신에서는 네트워크의 대역폭에 따라 전송되는 영상의 화질의 열화가 심해지거나 심할 경우 화면의 끊김이나 정지 영상으로 보여지는 일이 자주 발생하는데, 이것은 비트율을 제어할 때 출력 버퍼의 넘침을 제어하기 위해 영상 내의 오브젝트 보다는 순간적인 비트율에 따라 전송할 데이터의 양을 결정하기 때문이다. 하지만 화상 통신이나 비디오 폰 통신을 할 때 사용자는 관심 영역에 대한 정보에 민감하게 반응하므로 비트율을 제어할 때 본 발명의 비트율 제어방법을 적용하여, 관심 영역의 정보는 연속적으로 보내고 비 관심 영역의 정보는 보내지 않음으로써 사용자에게 최소한의 비트율에서도 만족할 만한 정보를 전송할 수 있다.
본 발명은 특히 IMT 2000과 같이 무선 이동 통신에서 유용하게 사용될 수 있다. 무선 이동 통신의 경우 유선 이동 통신에 비해 낮은 네트워크 환경을 사용하므로 낮은 비트율에서도 끊김 없이 영상을 전송할 수 있는 것이 매우 중요하다. 또한 본 발명은 이동 단말기 등으로 취득한 비디오 메일 영상을 효과적으로 부호화하여 응용할 수 있다. 즉 작은 크기로 중요 정보의 손실 없이 비디오 메일 영상을 부호화함으로써 사용자에게 낮은 요금을 가능하도록 하는 효과가 있다.

Claims (6)

  1. 블록단위로 영상을 부호화하여 전송하는 시스템에 있어서, 입력 영상에서 오브젝트를 분리하여 그 중요도를 지정하는 단계, 상기 중요도가 높은 영역에 해당하는 블록의 경우 비트율이 낮아지더라도 부호화된 데이터를 전송하는 단계, 상기 중요도가 낮은 영역에 해당하는 블록의 경우 비트율이 낮아지면 해당 블록에 대해서는 이전 프레임의 정보를 그대로 전송하는 단계를 포함하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
  2. 제 1 항에 있어서, 상기 중요도가 낮은 영역에 해당하는 블록의 경우 비트율이 낮아지면 해당 블록을 'Not-coded block'으로 설정함으로써 이전 프레임의 정보를 그대로 전송하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
  3. 제 1 항에 있어서, 네트워크 환경을 검색하는 단계를 더 포함하고, 상기 네트워크 환경이 저하되었을 경우에 상기 중요도가 낮은 영역을 'Not-coded block'으로 설정함으로써 이전 프레임의 정보를 그대로 전송하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
  4. 제 1 항에 있어서, 네트워크 환경을 검색하는 단계와, 상기 부호화된 영상 데이터 출력단에서 목표 비트 수를 지정하는 단계를 더 포함하여, 네트워크 환경이저하되었을 경우에 상기 중요도가 낮은 영역을 'Not-coded block'으로 설정하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
  5. 제 1 항에 있어서, 상기 오브젝트는 입력 영상에서 사람, 얼굴, 눈, 입 영역 중 하나 또는 그들의 조합으로 이루어지는 오브젝트와 이 오브젝트를 제외한 배경 영역으로 분리되고, 배경 영역에 비해서 상기 오브젝트 영역의 중요도를 더 높게 지정하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
  6. 제 1 항에 있어서, 상기 입력 영상에서 오브젝트를 분리하여 그 중요도를 지정할 때, 원래의 오브젝트 영역보다 더 넓게 오브젝트 영역을 분리함으로써 오브젝트 경계 영역에서 발생할 수 있는 잔상을 제거하는 것을 특징으로 하는 오브젝트 기반 비트율 제어방법.
KR1020010071654A 2001-11-17 2001-11-17 영상 데이터 전송 제어방법 KR100643454B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020010071654A KR100643454B1 (ko) 2001-11-17 2001-11-17 영상 데이터 전송 제어방법
US10/259,642 US20030095598A1 (en) 2001-11-17 2002-09-30 Object-based bit rate control method and system thereof
EP02023558A EP1315380A3 (en) 2001-11-17 2002-10-23 Object-based bit rate control method and system thereof
CNB021502897A CN1283105C (zh) 2001-11-17 2002-11-08 基于对象的比特率控制方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010071654A KR100643454B1 (ko) 2001-11-17 2001-11-17 영상 데이터 전송 제어방법

Publications (2)

Publication Number Publication Date
KR20030040975A true KR20030040975A (ko) 2003-05-23
KR100643454B1 KR100643454B1 (ko) 2006-11-10

Family

ID=19716070

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010071654A KR100643454B1 (ko) 2001-11-17 2001-11-17 영상 데이터 전송 제어방법

Country Status (4)

Country Link
US (1) US20030095598A1 (ko)
EP (1) EP1315380A3 (ko)
KR (1) KR100643454B1 (ko)
CN (1) CN1283105C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100493702B1 (ko) * 2002-10-09 2005-06-02 엘지전자 주식회사 화상통신 시스템 및 그 운용방법

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10300048B4 (de) 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
US20050024487A1 (en) * 2003-07-31 2005-02-03 William Chen Video codec system with real-time complexity adaptation and region-of-interest coding
US20050024486A1 (en) * 2003-07-31 2005-02-03 Viresh Ratnakar Video codec system with real-time complexity adaptation
KR20050090841A (ko) * 2004-03-10 2005-09-14 엘지전자 주식회사 비트율 제어 방법
US8693537B2 (en) * 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
CN101164342B (zh) * 2005-03-01 2011-03-02 高通股份有限公司 使用ρ域位分配的视频电话中的关注区编码方法及装置
US8768084B2 (en) * 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
US9667980B2 (en) * 2005-03-01 2017-05-30 Qualcomm Incorporated Content-adaptive background skipping for region-of-interest video coding
US7724972B2 (en) * 2005-03-01 2010-05-25 Qualcomm Incorporated Quality metric-biased region-of-interest coding for video telephony
US7889755B2 (en) 2005-03-31 2011-02-15 Qualcomm Incorporated HSDPA system with reduced inter-user interference
US9479794B2 (en) 2005-11-10 2016-10-25 Freescale Semiconductor, Inc. Resource efficient video processing via prediction error computational adjustments
WO2007073616A1 (en) * 2005-12-28 2007-07-05 Intel Corporation A novel user sensitive information adaptive video transcoding framework
US8077775B2 (en) 2006-05-12 2011-12-13 Freescale Semiconductor, Inc. System and method of adaptive rate control for a video encoder
US7773672B2 (en) 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
US9883202B2 (en) 2006-10-06 2018-01-30 Nxp Usa, Inc. Scaling video processing complexity based on power savings factor
US8325796B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
KR101186422B1 (ko) 2009-08-05 2012-09-27 에스케이플래닛 주식회사 서비스 영상 전송 시스템 및 방법
KR101536748B1 (ko) * 2010-02-08 2015-07-14 삼성전자 주식회사 클라이언트 단말, 서버, 클라우드 컴퓨팅 시스템 및 방법
CN101827267B (zh) * 2010-04-20 2012-07-04 上海大学 基于视频图像分割技术的码率控制方法
FR2963190B1 (fr) 2010-07-23 2013-04-26 Canon Kk Procede et dispositif de codage d'une sequence d'images
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
CN103581767A (zh) * 2012-07-24 2014-02-12 鸿富锦精密工业（深圳）有限公司 视频质量调节系统、终端及方法
CN103916622B (zh) * 2013-01-06 2020-06-23 联想(北京)有限公司 一种通话模式切换方法及装置
EP2838268B1 (en) * 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
JP2015095733A (ja) * 2013-11-11 2015-05-18 キヤノン株式会社 画像伝送装置、画像伝送方法、及びプログラム
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
EP3021583B1 (en) * 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
CN106034237B (zh) * 2015-03-10 2020-07-03 杭州海康威视数字技术股份有限公司 一种基于编码切换的混合编码方法和系统
US11055976B2 (en) 2019-09-19 2021-07-06 Axis Ab Using a skip block mask to reduce bitrate from a monitoring camera
EP3968635A1 (en) * 2020-09-11 2022-03-16 Axis AB A method for providing prunable video
CN112653851A (zh) * 2020-12-22 2021-04-13 维沃移动通信有限公司 视频处理方法、装置和电子设备
US20220109838A1 (en) * 2021-12-17 2022-04-07 Intel Corporation Methods and apparatus to process video frame pixel data using artificial intelligence video frame segmentation

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5038209A (en) * 1990-09-27 1991-08-06 At&T Bell Laboratories Adaptive buffer/quantizer control for transform video coders
JPH07222173A (ja) * 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd 画像処理装置
DE4405803C2 (de) * 1994-02-23 1997-04-30 Bosch Gmbh Robert Verfahren zur Quellcodierung
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
JP3468382B2 (ja) * 1994-09-29 2003-11-17 ソニー株式会社 画像信号符号化方法及び画像信号符号化装置
US5896176A (en) * 1995-10-27 1999-04-20 Texas Instruments Incorporated Content-based video compression
US5969750A (en) * 1996-09-04 1999-10-19 Winbcnd Electronics Corporation Moving picture camera with universal serial bus interface
US6614847B1 (en) * 1996-10-25 2003-09-02 Texas Instruments Incorporated Content-based video compression
KR100238073B1 (ko) * 1996-12-18 2000-01-15 윤종용 선택적 부호화방법 및 그 장치
US6445823B1 (en) * 1997-03-12 2002-09-03 Texas Instruments Incorporated Image compression
KR100463004B1 (ko) * 1997-03-20 2005-06-02 주식회사 팬택앤큐리텔 Mpeg-4vop부호화방법
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
JP2000102007A (ja) * 1998-09-28 2000-04-07 Matsushita Electric Ind Co Ltd マルチメディア情報合成装置、及び圧縮映像信号生成装置
US6539124B2 (en) * 1999-02-03 2003-03-25 Sarnoff Corporation Quantizer selection based on region complexities derived using a rate distortion model
GB9912079D0 (en) * 1999-05-24 1999-07-21 Motorola Ltd An image encoding method and apparatus
GB2357650A (en) * 1999-12-23 2001-06-27 Mitsubishi Electric Inf Tech Method for tracking an area of interest in a video image, and for transmitting said area
JP2001275114A (ja) * 2000-03-27 2001-10-05 Matsushita Electric Ind Co Ltd ビデオ符号器における、重み付きマクロブロックに基づいた、適応的ビット割り当てのための方法及び装置
US6829391B2 (en) * 2000-09-08 2004-12-07 Siemens Corporate Research, Inc. Adaptive resolution system and method for providing efficient low bit rate transmission of image data for distributed applications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100493702B1 (ko) * 2002-10-09 2005-06-02 엘지전자 주식회사 화상통신 시스템 및 그 운용방법

Also Published As

Publication number Publication date
CN1420691A (zh) 2003-05-28
EP1315380A3 (en) 2004-09-01
EP1315380A2 (en) 2003-05-28
KR100643454B1 (ko) 2006-11-10
CN1283105C (zh) 2006-11-01
US20030095598A1 (en) 2003-05-22

Similar Documents

Publication Publication Date Title
KR100643454B1 (ko) 영상 데이터 전송 제어방법
KR100643453B1 (ko) 오브젝트 기반 비트율 제어방법
EP1170957B1 (en) Video encoding and decoding apparatus
KR100484148B1 (ko) 개선된 비트율 제어 방법과 그 장치
US20040158719A1 (en) Video encoder capable of differentially encoding image of speaker during visual call and method for compressing video signal using the same
JP3748717B2 (ja) 動画像符号化装置
JPH09214963A (ja) イメージ信号を符号化するための方法およびエンコーダ
US7082163B2 (en) Picture coding method, picture coding apparatus and image relaying apparatus
WO2000040030A1 (en) Adaptive quantizer in a motion analysis based buffer regulation scheme for video compression
KR100601615B1 (ko) 네트워크 대역폭에 적응적인 영상 압축 장치
US7957604B2 (en) Moving image coding apparatus, moving image decoding apparatus, control method therefor, and computer-readable storage medium
JP3651706B2 (ja) 動画像符号化装置
JP3519673B2 (ja) 動画データ作成装置及び動画符号化装置
EP4333433A1 (en) Video coding method and apparatus, and electronic device
KR100557618B1 (ko) 오브젝트 기반 비트율 제어방법 및 장치
JP2902386B2 (ja) 動画像の圧縮符号化装置
KR100511034B1 (ko) 화상전송장치및화상전송방법
KR20050090841A (ko) 비트율 제어 방법
KR100543608B1 (ko) 오브젝트 기반 비트율 제어방법 및 장치
JP3005147B2 (ja) 動画像符号化装置
KR0149938B1 (ko) 프랙탈과 움직임 보상을 이용한 동영상 압축 장치 및 그 압축 방법
KR20010104058A (ko) 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기
JP3779066B2 (ja) 動画像符号化装置
JP3652889B2 (ja) 映像符号化方法、映像符号化装置、記録媒体、及び映像通信システム
KR100923961B1 (ko) 저지연 영상 통신 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
N231 Notification of change of applicant
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20050324

Effective date: 20060929

Free format text: TRIAL NUMBER: 2005101001771; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20050324

Effective date: 20060929

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee