KR100624404B1 - 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치 - Google Patents

사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치 Download PDF

Info

Publication number
KR100624404B1
KR100624404B1 KR1020020000602A KR20020000602A KR100624404B1 KR 100624404 B1 KR100624404 B1 KR 100624404B1 KR 1020020000602 A KR1020020000602 A KR 1020020000602A KR 20020000602 A KR20020000602 A KR 20020000602A KR 100624404 B1 KR100624404 B1 KR 100624404B1
Authority
KR
South Korea
Prior art keywords
image quality
region
image
quantization coefficient
adaptive
Prior art date
Application number
KR1020020000602A
Other languages
English (en)
Other versions
KR20030060009A (ko
Inventor
김우식
조대성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020020000602A priority Critical patent/KR100624404B1/ko
Priority to DE10300048A priority patent/DE10300048B4/de
Priority to CN2006100067204A priority patent/CN1809166B/zh
Priority to CNB031075029A priority patent/CN1250008C/zh
Priority to JP2003000409A priority patent/JP4488679B2/ja
Priority to US10/336,779 priority patent/US7277484B2/en
Publication of KR20030060009A publication Critical patent/KR20030060009A/ko
Priority to US11/304,671 priority patent/US8599928B2/en
Priority to US11/304,672 priority patent/US8036280B2/en
Priority to US11/304,627 priority patent/US8599927B2/en
Priority to US11/304,701 priority patent/US8599930B2/en
Priority to JP2006210024A priority patent/JP4495702B2/ja
Priority to JP2006210023A priority patent/JP4495701B2/ja
Application granted granted Critical
Publication of KR100624404B1 publication Critical patent/KR100624404B1/ko
Priority to US11/700,041 priority patent/US8345771B2/en
Priority to US11/700,048 priority patent/US8345772B2/en
Priority to US11/700,057 priority patent/US8045621B2/en
Priority to US11/700,141 priority patent/US8345773B2/en
Priority to JP2007098922A priority patent/JP4495743B2/ja
Priority to JP2008000214A priority patent/JP2008125118A/ja
Priority to JP2009235782A priority patent/JP5284920B2/ja
Priority to US12/801,040 priority patent/US8948268B2/en
Priority to US14/522,079 priority patent/US9848194B2/en
Priority to US14/615,816 priority patent/US9774857B2/en
Priority to US14/615,801 priority patent/US9800871B2/en
Priority to US14/628,341 priority patent/US9781425B2/en
Priority to US14/628,350 priority patent/US9843806B2/en
Priority to US14/628,336 priority patent/US9106912B2/en
Priority to US14/628,355 priority patent/US9774859B2/en
Priority to US14/628,347 priority patent/US9781426B2/en
Priority to US14/628,338 priority patent/US9774858B2/en
Priority to US14/741,681 priority patent/US9774861B2/en
Priority to US14/741,693 priority patent/US9781429B2/en
Priority to US14/741,691 priority patent/US9807394B2/en
Priority to US14/741,716 priority patent/US9414075B2/en
Priority to US14/741,664 priority patent/US9774860B2/en
Priority to US14/741,705 priority patent/US9774862B2/en
Priority to US14/741,724 priority patent/US9781430B2/en
Priority to US14/741,730 priority patent/US9781431B2/en
Priority to US14/741,677 priority patent/US9781428B2/en
Priority to US14/741,741 priority patent/US9781432B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치가 개시된다. 상기 과제를 이루기 위해, 본 발명에 따른 적응적 부호화 방법은 화면단위로 입력되는 입력 영상의 화질이 관심영역에서 배경영역으로 갈수록 화질이 점차적으로 낮아지도록 입력 영상에 대한 화질분포를 화면단위로 모델링하는 (a)단계, 하나의 화면을 이루는 소정 크기의 매크로블록들 각각의 양자화 계수를 화질분포의 모델링 결과에 따라 결정하는 (b)단계, (b)단계에서 결정된 양자화 계수에 따라 매크로블록별 영상 데이터를 양자화하는 (c)단계 및 매크로블록 단위로 양자화된 영상 데이터의 엔트로피를 부호화하는 (d)단계를 포함함을 특징으로 하고, 화면을 관심영역과 배경영역으로 나누되 두 영역간의 화질차가 급격하지 않도록 모델링함으로써 화질을 향상시킬 수 있다. 이는 단일 또는 다중 전송채널에 모두 적용되어 사용될 수 있을 뿐만 아니라 부호화기와 복호화기가 미리 정해진 규칙에 따라 동작하기 때문에 모든 단위블록마다 양자화 계수의 값을 부여할 필요가 없으며, 주어진 비트량에 맞추기 위해 각 영역별로 양자화 계수를 반복적으로 재조정할 필요가 없어 많은 양의 계산이 필요하지 않다는 장점이 있다.

Description

사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치{Adaptive coding method and apparatus considering human visual characteristics}
도 1은 일반적인 영상의 압축 과정을 보이는 도면이다.
도 2는 본 발명에 따른 사람의 시각적 특성을 고려한 적응적 부호화 장치의 일실시예를 개략적으로 나타내는 블록도이다.
도 3은 도 2의 장치에서 수행되는 적응적 부호화 방법의 일실시예를 나타내는 흐름도이다.
도 4a 및 도 4b는 한 화면에 관심영역, 보간영역 및 배경영역을 결정하는 과정을 나타내는 도면이다.
도 5a 내지 도 5c는 종래기술과 본 발명간의 화질 분포도를 비교한 그래프이다.
도 6a 내지 도 6c는 도 2의 화질 모델링부(140)에서 결정되는 양자화 계수의 특성을 나타내는 도면이다.
도 7a 및 도 7b는 선형 또는 비선형 양자화 방식에서 양자화 계수의 변화에 따른 화질 및 비트량의 변화를 나타내는 도면이다
도 8a 내지 도 8c는 실제 영상에 본 발명에 따른 부호화 방법을 적용한 경우와 종래의 부호화 방법에 따른 영상을 비교한 결과이다.
본 발명은 영상 부호화에 관한 것으로, 특히, 사람의 시각적 특성을 고려하여 하나의 영상에서 관심영역과 배경영역을 분리하고, 관심영역과 배경영역 사이의 화질차가 급격하지 않도록 제어하여 화질을 높이는 적응적 양자화 방법을 제공하는 데 있다.
영상을 저장/전송하기 위해서는 압축하는 것이 일반적이다. 도 1은 일반적인 영상의 압축 과정을 보이는 도면이다. 도 1을 참조하여, 일반적인 압축의 과정은 공간/시간상 예측 부호화(100), DCT 변환 부호화(110), 양자화(120) 및 엔트로피 부호화(103) 과정을 거쳐 압축된 비트열을 생성하게 된다. 이 때, 대부분의 손실은 양자화(120) 과정에서 발생한다. 이러한 손실 압축 방법을 사용한 것으로는 크게 정지 영상을 위한 것과 동영상을 위한 것으로 나눌 수 있다. 정지 영상을 위한 대표적인 방법으로 JPEG 등이 있으며, 동영상을 위한 대표적인 방법으로 MPEG-1,2,4 그리고, H.261, H.263 등이 있다.
도 1에 도시된 바와 같이, 영상을 부호화 할 때에 DCT 등의 변환을 하려면 영상전체를 변환하기에는 계산량이 너무 크기 때문에 일정한 크기, 예를 들어 8X8 크기의 블록으로 나누어 부호화를 한다. 그리고, 양자화를 할 때에, 각 단위 블록마다 양자화 계수를 다르게 하기 위해 각 단위 블록마다 양자화 계수를 포함하여 부호화하면 정보량이 많아지기 때문에 영상 전체에 동일한 양자화 계수를 사용한 다. MPEG-4, H.263 등의 방법에서는 16X16 크기의 매크로블록(MB)마다 양자화 계수를 ±2까지 변화시킬 수 있도록 정보를 부여하고 있는데, 이 것은 주어진 목표 비트량을 정확히 맞추기 위하여 사용된다.
이러한 부호화기를 사용하였을 경우에 화면 전체의 화질이 거의 비슷하게 된다. 그러나, 사람이 영상을 볼 때는 배경의 화질보다는 관심영역의 화질을 중요하게 생각하게 된다. 이것은 한 번에 사람이 볼 수 있는 영역에 한계가 있기 때문인데, 관심 영역을 보다 자세하게 보게 되고 그 밖의 배경 부분의 세밀한 부분은 간과하기가 쉽다. 특히, 동영상의 경우에 이러한 현상이 두드러지게 나타나게 되는데 이 것은 정지 영상보다 빠르게 변화하기 때문에 사람이 모든 영역의 변화를 모두 감지하기에 한계가 있기 때문이다. 그러므로, 제한된 비트량 하에서 영상을 부호화할 때에 영상 전체에 골고루 비트량을 할당하기보다는 배경 영역보다 관심영역에 더 많은 비트량을 할당하여 관심 영역의 화질을 높일 필요가 있다.
한편, 미국특허 5,764,803(Motion-adaptive modeling scene content for very low bit rate model assisted coding of video sequences)의 경우, 한 장의 영상을 부호화할 때에 관심영역과 배경영역을 분리하여 부호화하기는 하나, 각 영역 내에서 변화될 수 있는 양자화 계수값의 범위에는 한계가 있기 때문에 관심영역과 배경영역사이의 화질의 차이로 인하여 두 영역간의 경계가 눈에 보이게 된다. 또한, 미국특허 6,263,022(System and method for fine granular scalable(FGS) video with selective quality enhancement)는 베이스 층(base layer)와 인핸스먼트 층(enhancement layer)으로 이루어지는 다중 전송 채널 환경에서 사용되는 압축 방법이다. 이 방법은 전송 채널의 환경에 적응적이지만 내부 예측(inter prediction)이 어렵기 때문에 부호화 효율이 떨어지며, 관심영역의 화질은 좋아지지만 전체적으로 부호화 효율이 떨어지기 때문에 배경영역의 화질이 크게 저하된다. 즉, 관심영역과 배경영역 간의 화질의 차가 커지게 되고 결국, 두 영역간의 경계가 두드러지게 나타나기 쉽다. 또한, 미국특허 6,256,423(Intra-frame quantizer selection for video compression)은 관심영역과 배경영역, 그리고 두 영역사이의 트랜지션(transition) 영역을 정의하고 각 영역간의 양자화 계수를 결정하는 압축방법이다. 비록 트랜지션 영역이 있어서 관심영역과 배경영역간에 경계가 나타나는 현상은 어느 정도 해소될 수 있지만 각 영역의 양자화 계수값의 범위에 한계가 있을 뿐만 아니라 한 장의 영역에 관심영역이 n개가 있을 때에 트랜지션 영역이 또한 n개 필요하게 되므로 부호화 방법이 복잡하다. 그리고, 각 영역간의 경계를 보다 부드럽게 하기 위해서는 트랜지션 영역과 다른 영역간에 또 다른 트랜지션 영역이 부가적으로 필요하다. 결국, 각 영역의 양자화 계수를 결정하는데 어려움이 있으며, 이를 해결하기 위해 반복적으로 양자화 계수를 선택하는 방법을 사용하기도 하나 이는 계산량이 커진다는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 사람의 시각적 특성을 고려하여 관심영역과 배경영역간의 경계가 생기지 않으면서 계산량이 적은 적응적 부호화 방법 및 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 상기 적응적 부호화 방법을 컴 퓨터에서 실행 가능한 프로그램 코드로 기록된 기록 매체를 제공하는 데 있다.
상기 과제를 이루기 위해, 본 발명에 따른 적응적 부호화 방법은 화면단위로 입력되는 입력 영상의 화질이 관심영역에서 배경영역으로 갈수록 화질이 점차적으로 낮아지도록 입력 영상에 대한 화질분포를 화면단위로 모델링하는 (a)단계, 하나의 화면을 이루는 소정 크기의 매크로블록들 각각의 양자화 계수를 화질분포의 모델링 결과에 따라 결정하는 (b)단계, (b)단계에서 결정된 양자화 계수에 따라 매크로블록별 영상 데이터를 양자화하는 (c)단계 및 매크로블록 단위로 양자화된 영상 데이터의 엔트로피를 부호화하는 (d)단계를 포함한다.
상기 과제를 이루기 위해, 본 발명에 따른 적응적 부호화 장치는 화면단위로 입력되는 입력 영상의 화질이 관심영역에서 배경영역으로 갈수록 화질이 점차적으로 낮아지도록 입력 영상에 대한 화질분포를 화면단위로 모델링하고, 하나의 화면을 이루는 소정 크기의 매크로블록들 각각의 양자화 계수를 화질분포의 모델링 결과에 따라 결정하는 화질 모델링부, 화질 모델링부에서 결정된 양자화 계수에 따라 매크로블록별 영상 데이터를 양자화하는 적응적 양자화부 및 적응적 양자화부에서 양자화된 영상 데이터의 엔트로피를 부호화하는 엔트로피 부호화부를 포함한다.
이하, 본 발명에 따른 사람의 시각적 특성을 고려한 적응적 부호화 방법을 첨부한 도면들을 참조하여 다음과 같이 상세히 설명한다.
일반적으로, MPEG-4, H.263등은 한 장의 영상에서 특정 영역을 구분하여 부호화 할 수 있는 구조를 갖고 있다. MPEG-4에서는 코어 프로파일(core profile) 이 상에서 형태 코딩(shape coding)을 사용하여 특정 영역을 화소 단위로 사용자가 원하는 대로 정의할 수 있도록 하고 있다. MPEG-4에서 이러한 방법을 사용하는 주된 이유는 화면을 구성하는 각 개체단위로 조작이 가능하도록 하기 위함이다. 각각의 객체는 서로 다른 비트열로 부호화되며, 이러한 구조를 사용하여 MPEG-4 시스템에서는 사용자 상호작용이 가능하도록 하고 있다. 또한, H.263에서는 Annex K에서 슬라이스 구조 모드(slice structured mode)를 사용하여 연속된 매크로블록(Macor Block:MB)의 그룹단위로, 또는 임의의 사각형 모양 단위의 매크로블록 그룹으로 영역을 구부하여 한 장의 영상을 부호화할 수 있다. H.263에서는 오류에 강인한 특성을 갖도록 하기 위해 이러한 방법을 사용한다. 다중의 전송 채널을 사용하는 환경에서 중요한 부분을 보다 좋은 환경을 갖는 전송채널을 통해 전송함으로써 전송의 효율을 높일 수 있고, 만약 한 부분에서 오류가 발생하더라도 다른 영역으로 오류가 전파되는 것을 방지할 수 있다.
이처럼 영역별로 구분하여 부호화할 수 있는 MPEG-4 및 H.263의 특성에 의해 본 발명의 시각적 특성을 고려한 부호화를 실행할 수 있다.
도 2는 본 발명에 따른 사람의 시각적 특성을 고려한 적응적 부호화 장치의 일실시예를 개략적으로 나타내는 블록도로서, 화질 모델링부(140), 예측부호화부(145), 변환부호화부(150), 적응적 양자화부(155) 및 엔트로피부호화부(160)를 포함하여 구성된다.
도 3은 도 2의 장치에서 수행되는 적응적 부호화 방법의 일실시예를 나타내는 흐름도이다.
도 2 및 도 3을 참조하여, 화질 모델링부(140)는 화면단위로 입력되는 입력 영상의 화질이 관심영역에서 배경영역으로 갈수록 화질이 점차적으로 낮아지도록 입력 영상에 대한 화질분포를 화면단위로 모델링한다(제200단계). 그리고, 화질 모델링부(140)는 화질분포의 모델링 결과에 따라 하나의 화면을 이루는 소정 크기 예컨대, 8(pixel)X8 또는 16X16의 매크로블록들 각각의 양자화 계수를 결정하고, 결정된 양자화 계수를 적응적 양자화부(155)로 제공한다(제210단계). 화질 모델링부(140)가 관심영역의 중심부분에서 배경영역으로 갈수록 화질이 점점 낮아지도록 화질 모델링하므로, 관심영역에서는 양자화 계수가 작고 배경영역으로 갈수록 양자화 계수는 점차로 커진다. 이러한 양자화 계수의 결정은 목표 비트량에 따라서 결정된다. 여기서, 화질 모델링부(140)는 화질분포가 가우시안 분포를 갖도록 모델링할 수 있다. 또는 화질 모델링부(140)는 각 화면별로 관심영역의 중심부분을 중심으로 소정의 보간영역을 설정하고, 관심영역의 중심부분의 영역에서 가장 높은 화질을 갖고, 경계영역으로 갈수록 영역별 화질이 낮아지되 보간영역에서 경계영역의 화질차가 두드러지지 않도록 모델링할 수도 있다. 이 경우, 예컨대 도 4a에 도시된 바와 같이 한 화면에 관심영역(250)과 배경영역(260)을 결정하고, 도 4b와 같이 각 영역이 연결되는 영역에서 영역간 화질차에 의한 블록화 현상을 제거하기 위한 보간영역(300)을 설정한다. 화질 모델링부(140)는 이 보간 영역에서 화질이 자연스럽게 연결되도록 화질 모델링을하여 양자화 계수값을 결정한다. 그리고, 이 보간 영역에서 양자화 계수의 변화는 선형 또는 비선형으로 변화시킬 수 있다. 화질의 모델링에 대한 상세한 설명은 도 5 및 도 6을 참조하여 상세히 설명될 것이다.
예측부호화부(145)는 입력 영상을 예측부호화하고, 변환부호화부(150)는 예측부호화된 입력 영상을 DCT 변환한다. 한편, 부호화 계산을 간단히 하기 위해 예측부호화부(145) 및 변환부보화부(150)에서는 매크로블록단위로 부호화처리를 한다.
적응적 양자화부(155)는 매크로블록별로 예측 부호화 및 변환 부호화된 영상 데이터를 입력하고, 화질 모델링부(140)에서 결정된 양자화 계수에 따라 매크로블록별 영상 데이터를 양자화한다(제220단계). 한편, 화질 모델링부(140)로부터 제공되는 양자화 계수는 화면의 관심영역에서 배경영역으로 갈수록 양자화 계수가 점점 커지므로 양자화에 따른 손실의 정도가 틀리게 된다. 즉, 사람의 시선을 집중적으로 받는 관심영역의 중심부분에서 손실이 가장 적고 시선을 덜 받는 배경영역으로 갈수록 손실이 점차 커지게 된다.
엔트로피 부호화부(160)는 적응적 양자화부(155)에서 양자화된 영상 데이터의 엔트로피를 부호화화여 비트열로 출력한다(제230단계).
이상에서와 같이, 사람의 시각적 특성을 고려하여 소정의 화질 모델링을 통해 관심영역에서 배경영역으로 갈수록 양자화 계수가 점차적으로 높아지도록 제어함으로써 부호화 효율을 높이면서 영역간 블록화 현상을 효과적으로 제거할 수 있다.
도 5a 내지 도 5c는 종래기술과 본 발명간의 화질 분포도를 비교한 그래프이다. 도 5a 내지 도 5c에서 x,y축은 각각 영상의 공간 도메인(spatial domain)을 의미하고 z축은 화질을 나타낸다. 그리고, 관심영역은 화면의 중앙부분으로 가정하였 다.
도 5a는 화질 모델링부(140)가 한 화면에서의 화질 분포가 관심영역을 중심으로 가우시안 분포를 가지도록 모델링한 경우의 화질분포도로서, 화질의 분포는 영상의 중심을 평균으로 2차원 가우시안 분포를 가지는데, 관심영역의 화질이 가장 좋고 배경영역으로 갈수록 점차로 화질이 떨어지는 것을 보인다. 이 경우, x,y의 분산값에 따라 화질변화의 기울기를 조절할 수 있다. 이러한 화질의 분포는 관심영역의 수에 따라 다르게 형성될 수 있다. 또한, 이 경우 각 단위블록마다 양자화 계수를 부호화하여 전송하지 않고, 대신에 한 화면에 대해 화질분포에 따른 양자화 계수분포를 모델링하여 그 모델을 전송하면 된다. 예를 들어, 관심영역의 중심에 해당되는 단위블록의 위치 및 분산값이 전송되면 수신측에서는 모든 단위블록의 양자화 계수가 자동으로 계산될 수 있다.
도 5b는 관심영역과 배경영역 사이에 화질차의 급격한 차를 줄이기 위한 보간영역을 구분한 경우이다. 이러한 경우, 각 영역에 하나씩의 양자화 계수값을 부여한다. 그리고, 영역의 크기에 따라 양자화 계수를 변화시킬 구간을 설정한다. 이 구간은 부호화기와 복호화기에서 동일한 규칙을 설정함으로써 부가적인 정보를 삽입할 필요가 없다. 예를 들어 사각형의 영역인 경우 가로길이, 세로길이의 각각 20%에 해당하는 영역을 양자화 계수를 변화시킬 구간이라고 설정한다면 각 영역의 바깥쪽에서부터 20% 내에 해당하는 MB의 영역에 변화된 양자화 계수를 적용하여 부호화할 수 있다. 또한, 복호화할 때도 동일하게 20%에 해당하는 부분에 변화된 양자화 계수를 적용함으로써 올바로 복호화할 수 있다. 그리고, 부호화기와 복호화기 에서 동일한 양자화 방법을 사용함으로써, 양자화 계수를 변화시키는 방법에 대한 부가적인 정보를 삽입할 필요 없이 미리 설정한 규칙에 따라 변화시킬 수 있다.
도 5c는 종래에 하나의 화면을 관심영역과 배경영역으로만 구분한 경우에 대한 화질분포도이다. 이 경우, 두 영역간의 화질의 격차로 인해 두 영역간에 경계가 나타나는 블록화 현상이 발생되어 화질을 손상시킨다.
결국, 도 5a 및 도 5b를 참조하면, 관심영역에서 배경영역으로 갈수록 화질이 점차로 낮아짐을 보이며, 따라서 관심영역과 배경영역간의 화질차를 사용자가 느끼지 못하게 된다. 그러나, 도 5c와 같은 경우 관심영역과 배경영역간의 화질차가 급격하여 관심영역과 배경영역에서 사용자는 블록화 현상을 느끼게 된다.
도 6a 내지 도 6c는 도 2의 화질 모델링부(140)에서 결정되는 양자화 계수의 특성을 나타내는 도면이다. 설명의 편의를 위해 공간 영역(spatial domain)의 0~2와 8~10을 배경영역으로, 2~8을 관심영역으로 하고, 양자화 계수값이 0~31까지 가변된다고 가정한다.
도 6a는 도 4b 또는 도 5c의 보간영역에서 양자화 계수가 선형적으로 변화되는 경우를 나타내며, 도 6b는 도 4b 또는 도 5c의 보간영역에서 양자화 계수가 비선형적으로 변화되는 경우를 나타낸다. 도 6a 및 도 6b를 참조하면, 관심영역과 배경영역간의 보간영역에서 관심영역과 배경영역간의 화질차가 급격히 변화되지 않고 서서히 변화되도록 양자화 계수가 결정됨을 보인다. 도 6c는 종래의 보간영역없이 하나의 화면을 관심영역과 배경영역으로만 구분한 경우 양자화 계수의 특성으로, 관심영역과 배경영역간의 양자화 계수의 차가 급격히 일어남을 보인다. 이로인해 관심영역과 배경영역의 경계에서 블록화 현상이 일어날 수 있다.
한편, 도 6a 및 도 6b와 같이 양자화 계수의 선형/비선형 특성은 양자화 방식의 특성에 따라 결정될 수 있다. 즉, 양자화 방식에 따라 양자화 계수의 변화에 따라 비트량과 화질이 선형적으로 변하는가 또는 비선형적으로 변하는 가에 따라 결정된다.
도 7a 및 도 7b는 선형 또는 비선형 양자화 방식에서 양자화 계수의 변화에 따른 화질 및 비트량의 변화를 나타내는 도면이며, MPEG-4와 H.263 부호화기를 사용한 경우이다.
먼저, 도 7a는 양자화 계수의 변화에 따른 화질의 변화로서, MPEG-4 부호화기는 비선형특성을 갖고 H.263은 선형특성을 가짐을 보인다. 또한, 도 7b는 양자화 계수의 변화에 따른 비트량의 변화로서, MPRG-4 부호화기는 비선형특성을 갖고, H.263 부호화기는 선형특성을 가짐을 보인다. 즉, 선형 또는 비선형으로 양자화 계수를 변화시키는 방법은 해당하는 양자화 방법에 따라 미리 정해지게 되므로 부가적인 정보를 전송할 필요가 없다. 그리고, 관심영역에서는 비트량이 감소하고 배경영역에서는 비트량이 증가하여 전체적인 비트량이 크게 변화하지 않기 때문에 비트량을 맞추기 위해 별도의 계산을 필요로하지 않는다.
본 발명에 따른 적응적 양자화 방법은 관심영역의 화질을 높이되 배경과 경계부분이 드러나지 않도록 함으로써 주관적 화질을 향상시킨다. 이러한 적응적 양자화 방법은 한 장의 영상을 배경영역과 관심영역으로 나누지 않고 한 장의 영상을 하나의 영역으로 간주하여 적용될 수도 있다. 이 경우 배경영역이 존재하지 않더라도 그 영역의 양자화 계수 정보를 전송해주어야 수신측에서 양자화 계수 보간계산을 수행할 수 있다.
도 8a 내지 도 8c는 실제 영상에 본 발명에 따른 부호화 방법을 적용한 경우와 종래의 부호화 방법에 따른 영상을 비교한 결과이다. 도 8a는 본 발명에 따른 적응적 부호화 방법을 적용한 경우이며, 도 8b는 영상의 중앙부분에 사각형의 관심영역을 형성하여 화면의 영역을 2개로 나누고, 각 영역에 서로 다른 양자화 계수를 사용하여 부호화한 경우이다. 또한, 도 8c는 관심영역(ROI)에 대한 구분을 두지 않고 화면의 모든 매크로블록에 동일한 양자화 계수를 사용하여 부호화한 경우이다.
도 8a 내지 도 8c를 참조하면, 도 8c와 같이 모든 매크로블록에 동일한 양자화 계수를 사용한 경우보다 도 8b와 같이 관심영역을 사용한 부호화를 통해 영상의 주관적 화질을 향상시킬 수 있음을 보인다. 또한, 도 8a와 같이 적응적 부호화 방식을 적용한 경우 관심영역과 경계영역간의 화질차가 두드러지게 나타나지 않음을 보인다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터 가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이, 본 발명에 의한 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치에 따르면, 화면을 관심영역과 배경영역으로 나누되 두 영역간의 화질차가 급격하지 않도록 모델링함으로써 화질을 향상시킬 수 있다. 이는 단일 또는 다중 전송채널에 모두 적용되어 사용될 수 있을 뿐만 아니라 부호화기와 복호화기가 미리 정해진 규칙에 따라 동작하기 때문에 모든 단위블록마다 양자화 계수의 값을 부여할 필요가 없으며, 주어진 비트량에 맞추기 위해 각 영역별로 양자화 계수를 반복적으로 재조정할 필요가 없어 많은 양의 계산이 필요하지 않다는 장점이 있다.

Claims (13)

  1. (a)입력 영상의 화질이 관심영역에서 배경영역으로 갈수록 점차적으로 낮아지도록 상기 입력 영상에 대한 화질분포를 화면단위로 모델링하는 단계;
    (b)하나의 화면을 이루는 소정 크기의 매크로블록들 각각에 대한 양자화 계수를 상기 화질분포의 모델링 결과에 따라 결정하는 단계;
    (c)상기 (b)단계에서 결정된 양자화 계수에 따라 상기 각 매크로블록에 대한 영상 데이터를 양자화하는 단계; 및
    (d)상기 매크로블록 단위로 양자화된 영상 데이터의 엔트로피를 부호화하는 단계를 포함하는 것을 특징으로 하는 적응적 부호화 방법.
  2. 제1항에 있어서, 상기 (c)단계에서 양자화되는 영상 데이터는 상기 입력 영상이 예측 부호화 및 변환 부호화된 영상인 것을 특징으로 하는 적응적 부호화 방법.
  3. 제1항에 있어서, 상기 (a) 단계에서 화질분포의 모델링은 관심영역의 중심부분에서 가장 높은 화질을 갖고, 배경영역으로 갈수록 화질이 낮아지는 가우시안 분포를 갖는 것을 특징으로 하는 적응적 부호화 방법.
  4. 제1항에 있어서, 상기 (a) 단계에서 화질분포의 모델링은 관심영역의 중심부분을 중심으로 소정의 영역을 설정하고, 상기 관심영역의 중심부분의 영역에서 가장 높은 화질을 갖도록 양자화 계수가 결정되고, 경계영역으로 갈수록 영역별 화질이 낮아지도록 양자화 계수가 결정되는 것을 특징으로 하는 적응적 부호화 방법.
  5. 제4항에 있어서, 상기 (b) 단계에서 화질변화에 따른 상기 양자화 계수가 선형으로 변화되는 것을 특징으로 하는 적응적 부호화 방법.
  6. 제4항에 있어서, 상기 (b) 단계에서 화질변화에 따른 상기 양자화 계수가 비선형으로 변화되는 것을 특징으로 하는 적응적 부화화 방법.
  7. 제1항 내지 제6항의 적응적 부화화 방법을 컴퓨터에 실행 가능한 프로그램 코드로 기록한 기록 매체.
  8. 입력 영상의 화질이 관심영역에서 배경영역으로 갈수록 화질이 점차적으로 낮아지도록 입력 영상에 대한 화질분포를 화면단위로 모델링하고, 하나의 화면을 이루는 소정 크기의 매크로블록들 각각에 대한 양자화 계수를 상기 화질분포의 모델링 결과에 따라 결정하는 화질 모델링부;
    상기 화질 모델링부에서 결정된 양자화 계수에 따라 상기 각 매크로블록에 대한 영상 데이터를 양자화하는 적응적 양자화부; 및
    상기 적응적 양자화부에서 상기 매크로블록 단위로 양자화된 영상 데이터의 엔트로피를 부호화하는 엔트로피 부호화부를 포함하는 것을 특징으로 하는 적응적 부호화 장치.
  9. 제8항에 있어서, 상기 매크로블록별 영상 데이터는 예측 부호화 및 변환 부호화된 영상 데이터인 것을 특징으로 하는 적응적 부호화 장치.
  10. 제8항에 있어서, 상기 화질 모델링부는 상기 화질 분포가 가우시안 분포를 갖도록 양자화 계수를 결정하는 것을 특징으로 하는 적응적 부호화 장치.
  11. 제8항에 있어서, 상기 화질 모델링부는 각 화면별로 관심영역의 중심부분을 중심으로 소정의 영역을 설정하고, 상기 관심영역의 중심부분의 영역에서 가장 높은 화질을 갖도록 양자화 계수가 결정되고, 경계영역으로 갈수록 영역별 화질이 낮아지도록 양자화 계수를 결정하는 것을 특징으로 하는 적응적 부호화 장치.
  12. 제11항에 있어서, 상기 영역별 화질변화에 따른 상기 양자화 계수가 선형으로 변화되는 것을 특징으로 하는 적응적 부호화 장치.
  13. 제11항에 있어서, 상기 영역별 화질변화에 따른 상기 양자화 계수가 비선형으로 변화되는 것을 특징으로 하는 적응적 부화화 장치.
KR1020020000602A 2002-01-05 2002-01-05 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치 KR100624404B1 (ko)

Priority Applications (39)

Application Number Priority Date Filing Date Title
KR1020020000602A KR100624404B1 (ko) 2002-01-05 2002-01-05 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치
DE10300048A DE10300048B4 (de) 2002-01-05 2003-01-03 Verfahren und Vorrichtung zur Bildcodierung und -decodierung
CN2006100067204A CN1809166B (zh) 2002-01-05 2003-01-05 图像编码和解码装置及其方法
CNB031075029A CN1250008C (zh) 2002-01-05 2003-01-05 考虑人类视觉特征的图像编码和解码方法及装置
JP2003000409A JP4488679B2 (ja) 2002-01-05 2003-01-06 人間の視覚特性を考慮した映像の符号化方法及び復号化方法並びにその装置
US10/336,779 US7277484B2 (en) 2002-01-05 2003-01-06 Image coding and decoding method and apparatus considering human visual characteristics
US11/304,672 US8036280B2 (en) 2002-01-05 2005-12-16 Image coding and decoding method and apparatus considering human visual characteristics
US11/304,701 US8599930B2 (en) 2002-01-05 2005-12-16 Image coding and decoding method and apparatus considering human visual characteristics
US11/304,671 US8599928B2 (en) 2002-01-05 2005-12-16 Image coding and decoding method and apparatus considering human visual characteristics
US11/304,627 US8599927B2 (en) 2002-01-05 2005-12-16 Image coding and decoding method and apparatus considering human visual characteristics
JP2006210024A JP4495702B2 (ja) 2002-01-05 2006-08-01 人間の視覚特性を考慮した映像の復号化方法
JP2006210023A JP4495701B2 (ja) 2002-01-05 2006-08-01 人間の視覚特性を考慮した映像の符号化方法、及び、記録媒体
US11/700,141 US8345773B2 (en) 2002-01-05 2007-01-31 Image coding and decoding method and apparatus considering human visual characteristics
US11/700,041 US8345771B2 (en) 2002-01-05 2007-01-31 Image coding and decoding method and apparatus considering human visual characteristics
US11/700,057 US8045621B2 (en) 2002-01-05 2007-01-31 Image coding and decoding method and apparatus considering human visual characteristics
US11/700,048 US8345772B2 (en) 2002-01-05 2007-01-31 Image coding and decoding method and apparatus considering human visual characteristics
JP2007098922A JP4495743B2 (ja) 2002-01-05 2007-04-04 映像の復号化方法
JP2008000214A JP2008125118A (ja) 2002-01-05 2008-01-04 人間の視覚特性を考慮した映像の符号化装置、復号化装置、符号化方法、及び、復号化方法
JP2009235782A JP5284920B2 (ja) 2002-01-05 2009-10-09 人間の視覚特性を考慮した映像の符号化装置、復号化装置、符号化方法、及び、復号化方法
US12/801,040 US8948268B2 (en) 2002-01-05 2010-05-18 Image coding and decoding method and apparatus considering human visual characteristics
US14/522,079 US9848194B2 (en) 2002-01-05 2014-10-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/615,816 US9774857B2 (en) 2002-01-05 2015-02-06 Image coding and decoding method and apparatus considering human visual characteristics
US14/615,801 US9800871B2 (en) 2002-01-05 2015-02-06 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,341 US9781425B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,350 US9843806B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,336 US9106912B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,355 US9774859B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,347 US9781426B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,338 US9774858B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,741 US9781432B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,677 US9781428B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,681 US9774861B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,693 US9781429B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,691 US9807394B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,716 US9414075B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,664 US9774860B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,705 US9774862B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,724 US9781430B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,730 US9781431B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020020000602A KR100624404B1 (ko) 2002-01-05 2002-01-05 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20030060009A KR20030060009A (ko) 2003-07-12
KR100624404B1 true KR100624404B1 (ko) 2006-09-18

Family

ID=36840816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020000602A KR100624404B1 (ko) 2002-01-05 2002-01-05 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치

Country Status (2)

Country Link
KR (1) KR100624404B1 (ko)
CN (1) CN1809166B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100528324B1 (ko) * 2002-08-30 2005-11-15 삼성전자주식회사 겹치는 사각 슬라이스 구조를 이용한 영상 부호화 및 복호화 장치 및 방법
KR100750138B1 (ko) * 2005-11-16 2007-08-21 삼성전자주식회사 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치
KR100792247B1 (ko) * 2006-02-28 2008-01-07 주식회사 팬택앤큐리텔 이미지 데이터 처리 시스템 및 그 방법
KR100786413B1 (ko) * 2006-06-13 2007-12-17 주식회사 팬택앤큐리텔 이미지 데이터 처리 시스템
CN101102495B (zh) * 2007-07-26 2010-04-07 武汉大学 一种基于区域的视频图像编解码方法和装置
US20120170648A1 (en) * 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
KR101662739B1 (ko) * 2014-10-29 2016-10-05 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
KR102379185B1 (ko) * 2015-08-31 2022-03-25 엘지디스플레이 주식회사 표시 장치
KR102306884B1 (ko) 2018-03-29 2021-09-30 닛폰 호소 교카이 화상 부호화 장치, 화상 복호 장치 및 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970025173A (ko) * 1995-10-26 1997-05-30 김주용 물체중심 부호화에서의 양자화 방법
JPH09200764A (ja) * 1996-01-16 1997-07-31 Canon Inc 符号化装置
KR20000023278A (ko) * 1998-09-18 2000-04-25 구자홍 비디오 압축을 위한 인트라-프레임 양자화기 선택 방법
KR20000041143A (ko) * 1998-12-21 2000-07-15 구자홍 영상데이터의 비트열 제어방법
KR20030040974A (ko) * 2001-11-17 2003-05-23 주식회사 엘지이아이 오브젝트 기반 비트율 제어방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5867208A (en) * 1997-10-28 1999-02-02 Sun Microsystems, Inc. Encoding system and method for scrolling encoded MPEG stills in an interactive television application
KR20010075530A (ko) * 1998-10-02 2001-08-09 매클린토크 샤운 엘 비디오 인코더의 속도조절을 제공하기 위한 방법 및 장치
US6570922B1 (en) * 1998-11-24 2003-05-27 General Instrument Corporation Rate control for an MPEG transcoder without a priori knowledge of picture type

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970025173A (ko) * 1995-10-26 1997-05-30 김주용 물체중심 부호화에서의 양자화 방법
JPH09200764A (ja) * 1996-01-16 1997-07-31 Canon Inc 符号化装置
KR20000023278A (ko) * 1998-09-18 2000-04-25 구자홍 비디오 압축을 위한 인트라-프레임 양자화기 선택 방법
KR20000041143A (ko) * 1998-12-21 2000-07-15 구자홍 영상데이터의 비트열 제어방법
KR20030040974A (ko) * 2001-11-17 2003-05-23 주식회사 엘지이아이 오브젝트 기반 비트율 제어방법

Also Published As

Publication number Publication date
KR20030060009A (ko) 2003-07-12
CN1809166A (zh) 2006-07-26
CN1809166B (zh) 2013-05-15

Similar Documents

Publication Publication Date Title
US9843806B2 (en) Image coding and decoding method and apparatus considering human visual characteristics
KR100197385B1 (ko) 버퍼 엠프티/필 룩어헤드 비트 할당기를 구비한 모션 비디오 압축 시스템
KR20060131699A (ko) 영상 데이터 처리방법
WO2010035505A1 (ja) 動画像符号化方法および動画像符号化装置
CN111164972A (zh) 用于在帧级别控制视频编码的系统和方法
KR100624404B1 (ko) 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치
KR100720003B1 (ko) 영상 복호화방법
KR20030063536A (ko) 슬라이스 구조를 갖는 관심 영역 부호화 및 복호화를 위한방법 및 장치
KR20150096353A (ko) 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법
KR100720004B1 (ko) 영상 역양자화방법
KR100720005B1 (ko) 영상 부호화방법
Bauermann et al. Encoding parameter estimation for RDTC optimized compression and streaming of image-based scene representations
Pai Rate control and constant quality rate control for MPEG video compression and transcoding
KR20040067239A (ko) 양자화 수행시에 사용되는 비트의 할당방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20041215

Effective date: 20060630

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120830

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170830

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 14