KR20060095821A - 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치 - Google Patents

컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치 Download PDF

Info

Publication number
KR20060095821A
KR20060095821A KR20050016938A KR20050016938A KR20060095821A KR 20060095821 A KR20060095821 A KR 20060095821A KR 20050016938 A KR20050016938 A KR 20050016938A KR 20050016938 A KR20050016938 A KR 20050016938A KR 20060095821 A KR20060095821 A KR 20060095821A
Authority
KR
South Korea
Prior art keywords
image
prediction
encoding mode
same
residue
Prior art date
Application number
KR20050016938A
Other languages
English (en)
Other versions
KR100723403B1 (ko
Inventor
김우식
김현문
조대성
드미트리 비리노브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20050016938A priority Critical patent/KR100723403B1/ko
Priority to EP20120164470 priority patent/EP2479996A1/en
Priority to TW095106678A priority patent/TW200644645A/zh
Priority to EP20060251035 priority patent/EP1696676A3/en
Priority to JP2006052657A priority patent/JP2006246474A/ja
Priority to CN2006100580500A priority patent/CN1829328B/zh
Priority to US11/362,920 priority patent/US8019001B2/en
Priority to CN2010102883701A priority patent/CN101945282B/zh
Priority to CN2010102883345A priority patent/CN101951514B/zh
Publication of KR20060095821A publication Critical patent/KR20060095821A/ko
Application granted granted Critical
Publication of KR100723403B1 publication Critical patent/KR100723403B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화 방법 및 장치에 관한 것으로서, 그 예측영상 생성 장치는 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 예측방향을 적용하여 현재 프레임의 소정 크기의 화소블록에 공간적으로 근접한 화소로부터 공간상 예측영상을 얻는 공간상 예측영상 생성부; 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 블록크기와 동일한 움직임 벡터 및 동일한 움직임 보간 방법을 적용하여 상기 각 영상성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 시간상 예측영상을 얻는 시간상 예측영상 생성부; 상기 공간상 예측영상과 상기 시간상 예측영상을 이용하여 부호화 모드를 선택하는 부호화 모드 선택부; 및 상기 부호화 모드 선택부에서 선택된 부호화 모드를 컬러영상의 각 성분별로 동일하게 적용하여 예측영상을 생성하는 단일모드 예측영상 생성부를 포함함을 특징으로 한다.
본 발명에 의하면, 컬러 성분의 예측오차 신호간에 정보의 중복성을 높임으로써 부호화 효율을 높일 수 있다.

Description

컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화 방법 및 장치{A prediction image generating method and apparatus using using single coding mode among color components, and an image and video encoding/decoding method and apparatus using it}
도 1은 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 장치의 구성을 블록도로 도시한 것이다.
도 2는 본 발명에 의한 예측영상 생성 방법을 흐름도로 도시한 것이다.
도 3은 본 발명에 의한 컬러 성분간 단일 부호화 모드를 이용한 영상 및 비디오 부호화 장치에 대한 일실시예의 구성을 블록도로 도시한 것이다.
도 4는 본 발명에 의한 컬러 성분간 단일 부호화 모드를 이용한 영상 및 비디오 부호화 방법에 대한 일실시예를 흐름도로 도시한 것이다.
도 5는 본 발명에 의한 컬러 성분간 단일 부호화 모드를 이용한 영상 및 비디오 복호화 장치의 구성에 대한 일 실시예를 블록도로 도시한 것이다.
도 6은 예측보상부의 구성을 보다 상세히 블록도로 도시한 것이다.
도 7은 본 발명에 의한 컬러 성분간 단일 부호화 모드를 이용한 영상 및 비디오 복호화 방법에 대한 일실시예를 흐름도로 도시한 것이다.
도 8은 공간상 예측을 위한 인접 화소(pixel)의 위치와 예측할 현재 블록의 화소(pixel)의 위치 및 예측 방향을 나타낸 그림이다.
도 9는 시간상 예측을 위한 ME/MC에서 매크로 블록 (macroblock)의 분할 방법을 나타낸 그림이다.
도 10은. 6-tap 필터를 사용한 MC 보간 방법을 도시한 것이다.
도 11은 Bilinear 필터를 사용한 MC 보간 방법을 도시한 것이다.
본 발명은 컬러 영상 부호화/복호화에 관한 것으로서, 특히 컬러 성분간 단일 부호화 모드를 이용한 영상 및 비디오 부호화/복호화 방법 및 장치에 관한 것이다.
일반적으로 기기로부터 영상을 취득할 때 RGB 형식으로 영상을 취득한다. 그러나, 이렇게 얻은 영상을 압축할 때에는 일반적으로 YCrCb 등의 영상 형식으로 변환한다. 이 때 Y는 흑백 영상으로 휘도 성분을 갖고 Cb 및 Cr은 컬러 성분을 갖는다. RGB 영상에서는 정보가 R, G, B에 골고루 분포되어 있으나, YCbCr 영상에서는 정보가 Y 성분에 몰리게 되고 Cb 및 Cr에는 정보의 양이 줄어든다. 따라서 압축을 할 경우 압축 효율이 높아진다는 장점이 있다.
이와 같이 YCbCr 영상에서 Y 성분이 갖는 통계적 특성과 Cb 및 Cr 성분이 갖는 통계적 특성이 다르므로, 압축할 때에 Y 성분과 Cb 및 Cr 성분을 서로 다른 방 법을 사용하여 처리하는 것이 일반적인 부호화 방법에서 사용되어 왔다. 예를 들어 최근 표준화가 이루어진 ISO/IEC MPEG 및 ITU-T VCEG의 Joint Video Team의 MPEG-4 AVC/H.264 표준화 기술 ("Text of ISO/IEC FDIS 14496-10: Information Technology - Coding of audio-visual objects - Part 10: Advanced Video Coding", ISO/IEC JTC 1/SC 29/WG 11, N5555, March, 2003)을 살펴보면, 비디오 신호에서 Y 성분을 인트라 영상으로 부호화할 때에 4x4 블록 단위로 예측 방향에 따라 9개의 예측 방법을 사용하여 공간상 예측을 수행한다. 또한 16x16 블록 단위로 예측 방향에 따라 4개의 예측 방법을 사용하여 공간상 예측을 수행한다. 그러나 Cb 및 Cr의 경우에는 Y 성분에 비해 영상이 비교적 단순하기 때문에 Y 성분과는 독립적으로 8x8 블록 단위로 예측 방향에 따라 4개의 예측 방법을 사용하여 공간상 예측을 수행한다.
그리고, 인터 영상으로 부호화할 때에도 Y 성분의 경우에는 6-tap 필터를 사용하여 예측 영상을 확장하여 정밀하게 움직임 보상을 수행하는 반면 Cb 및 Cr 성분의 경우에는 bilinear 필터를 사용하여 예측 영상을 확장하여 움직임 보상을 수행한다. 이처럼 기존의 방법에서는 Y 성분과 Cb 및 Cr 성분의 통계적 특성이 다르기 때문에 서로 다른 방법을 사용하여 영상을 압축하였다.
그러나, RGB 영상을 YCbCr로 변환할 때 색상 왜곡이 발생하는 등 영상의 품질이 손실될 수 있기 때문에 최근에 RGB 영상을 바로 부호화 하는 방법에 대해 연구가 이루어져 왔다. 특히 MPEG-4 AVC/H.264 표준의 Fidelity Range Extension 표준에서는 RGB 영상을 바로 부호화할 수 있도록 지원하고 있고, 이 경우 레지듀 변환이라는 기술을 사용하여 RGB 영상에서 공간상 또는 시간상 예측을 수행하여 레지 듀 영상을 얻은 후에, R, G, B 각각의 레지듀 상호간에 존재하는 중복되는 정보를 제거하여 화질 저하 없이 부호화 효율을 높이는 기술이 새롭게 채택되었다.
이와 같이 RGB 영상을 바로 부호화할 경우 기존의 방법은 부호화 효율이 떨어진다. 이는 YCbCr에서 사용하는 방법을 그대로 적용하기 때문이다. 따라서 RGB 입력 영상을 YCbCr로 변환하지 않고 그대로 RGB 도메인에서 부호화할 때, RGB 영상의 통계적 특성에 맞추어 공간상 예측 및 시간상 예측을 수행하여 고화질을 유지하면서도 부호화 효율을 높일 수 있도록 방안이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 컬러 성분간 단일 부호화 모드를 이용하여 예측영상을 생성하는, 단일부호화 모드를 이용한 공간상 예측영상 생성 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 컬러 성분간 단일 부호화 모드를 이용하여 예측영상을 생성하는, 단일부호화 모드를 이용한 시간상 예측영상 생성 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 컬러 성분간 단일 부호화 모드를 이용하여 예측영상을 생성하는 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 단일 부호화 모드를 이용한 영상 및 비디오 부호화 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 단일 부호화 모드를 이용한 영상 및 비디오 복호화 방법 및 장치를 제공하는 것이다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 공간상 예측영상 생성 방법은 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 예측방향을 적용하여 현재 프레임의 소정 크기의 화소블록에 공간적으로 근접한 화소로부터 예측영상을 얻음을 특징으로 한다.
상기 공간상 예측영상 생성방법은 상기 화소블록의 크기가 4x4 일 경우, 9개의 예측방향 중 어느 하나를 예측방향으로 결정함이 바람직하다.
상기 다른 기술적 과제를 이루기 위한 본 발명에 의한 시간상 예측영상 생성 방법은 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 블록크기와 동일한 움직임 벡터 및 동일한 움직임 보간 방법을 적용하여 상기 각 영상성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻음을 특징으로 한다.
상기 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 단일 부호화 모드를 이용한 예측영상 생성방법은 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 예측방향을 적용하여 현재 프레임의 소정 크기의 화소블록에 공간적으로 근접한 화소로부터 공간상 예측영상을 얻는 단계; 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 블록크기와 동일한 움직임 벡터 및 동일한 움직임 보간 방법을 적용하여 상기 각 영상성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭 단위로 움직임을 추정하여 시간상 예측영상을 얻는 단계; 상기 공간상 예측영상과 상기 시간상 예측영상을 이용하여 부호화 모드를 선택하는 단계; 및 상기 선택된 부호화 모드를 컬러영상의 각 성분별로 동일하게 적용하여 예측영상을 생성하는 단계를 포함함을 특징으로 한다.
상기 부호화 모드 선택은 상기 공간상 예측영상과 상기 시간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산하여, 상기 두 값을 더한 값이 가장 작은 것에 해당하는 부호화 모드를 부호화 모드로 선택함이 바람직하다.
상기 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 단일 부호화 모드를 이용한 예측영상 생성장치는 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 예측방향을 적용하여 현재 프레임의 소정 크기의 화소블록에 공간적으로 근접한 화소로부터 공간상 예측영상을 얻는 공간상 예측영상 생성부; 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 블록크기와 동일한 움직임 벡터 및 동일한 움직임 보간 방법을 적용하여 상기 각 영상성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 시간상 예측영상을 얻는 시간상 예측영상 생성부; 상기 공간상 예측영상과 상기 시간상 예측영상을 이용하여 부호화 모드를 선택하는 부호화 모드 선택부; 및 상기 부호화 모드 선택부에서 선택된 부호화 모드를 컬러영상의 각 성분별로 동일하게 적용하여 예측영상을 생성하는 단일모드 예측영상 생성부를 포함함을 특징으로 한다.
상기 부호화 모드 선택부는 상기 공간상 예측영상에 대해, 각각 비트량과 화 질의 왜곡을 계산하는 공간상 비트량/화질왜곡 계산부; 상기 시간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산하는 시간상 비트량/화질왜곡 계산부; 및 상기 비트량과 화질 왜곡을 더한 값을 비교하여 그 값이 작은 것에 해당하는 부호화 모드를 부호화 모드로 선택하는 성능비교부를 구비함이 바람직하다.
상기 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 컬러성분 간 단일 부호화 모드를 이용한 영상 부호화 장치는, 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 부호화 모드를 사용하여 예측 영상을 만드는 예측영상 생성부; 상기 원 영상과 예측 영상의 차에 해당하는 레지듀를 생성하는 레지듀 생성부; 및 상기 레지듀 데이터를 부호화하여 비트열로 생성하는 부호화부를 포함함을 특징으로 한다.
상기 예측영상 생성부는 상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 영상 성분의 현재 프레임의 화소 블록과 공간적으로 근접한 화소로부터 동일한 예측방향을 적용하여 예측 영상을 얻는 공간상 예측영상 생성부; 상기 원 영상의 각 성분에 대해, 인터 방식이면 각 영상 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 동일한 블록 크기와 동일한 움직임 추정 및 움직임 보간 방법을 사용하여 예측영상을 얻는 시간상 예측영상 생성부; 상기 공간상 예측영상과 상기 시간상 예측영상을 이용하여 부호화 모드를 선택하는 부호화 모드 선택부; 및 상기 부호화 모드 선택부에서 선택된 부호화 모드를 컬러영상의 각 성분별로 동일하게 적용하여 예측영상을 생성하는 단일모드 예측영상 생성부를 구비함이 바람직하다.
상기 부호화 모드 선택부는 상기 공간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산하는 공간상 비트량/화질왜곡 계산부; 상기 시간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산하는 시간상 비트량/화질왜곡 계산부; 및 상기 비트량과 화질 왜곡을 더한 값을 비교하여 그 값이 작은 것에 해당하는 부호화 모드를 부호화 모드로 선택하는 성능비교부를 구비함이 바람직하다.
상기 본 발명에 의한 부호화 장치는 상기 레지듀 생성부에서 생성된 레지듀에 대해 상기 영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 레지듀 변환하는 레지듀 변환부를 더 구비하고, 상기 부호화부는 상기 각 레지듀 변환된 영상 성분별 레지듀에 대해 비트열로 생성하는 것이 바람직하다.
상기 본 발명에 의한 부호화 장치는 상기 레지듀 변환부에서 변환된 레지듀에 대해 소정 크기의 블록별로 변환 및 양자화하는 변환/양자화부를 더 구비하고, 상기 부호화부는 상기 각 변환 및 양자화된 계수에 대해 비트열로 생성하는 것이 바람직하다.
상기 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 컬러성분 간 단일 부호화 모드를 이용한 영상 부호화 방법은, (a) 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 부호화 모드를 사용하여 예측영상을 생성하는 단계; (b) 상기 원 영상과 예측 영상의 차에 해당하는 레지듀를 생성하는 단계; 및 (c) 상기 레지듀 데이터를 부호화하여 비트열로 생성하는 단계를 포함함을 특징으로 한다.
상기 (a)단계는 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에 서 상기 각 영상 성분별로, 동일한 예측방향을 적용하여 현재 프레임의 소정 크기의 화소블록에 공간적으로 근접한 화소로부터 공간상 예측영상을 얻는 단계; 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 블록크기와 동일한 움직임 벡터 및 동일한 움직임 보간 방법을 적용하여 상기 각 영상성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 시간상 예측영상을 얻는 단계; 상기 공간상 예측영상과 상기 시간상 예측영상을 이용하여 부호화 모드를 선택하는 단계; 및 상기 선택된 부호화 모드를 컬러영상의 각 성분별로 동일하게 적용하여 예측영상을 생성하는 단계를 구비함이 바람직하다.
상기 부호화 모드 선택은 상기 공간상 예측영상과 상기 시간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산하여, 상기 두 값을 더한 값이 가장 작은 것에 해당하는 부호화 모드를 부호화 모드로 선택함이 바람직하다.
상기 본 발명에 의한 부호화 방법은 상기 (b)단계에서 생성된 레지듀에 대해 상기 영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 레지듀 변환하는 단계를 더 구비하고, 상기 (c)단계는 상기 각 레지듀 변환된 영상 성분별 레지듀에 대해 비트열로 생성하는 것이 바람직하다.
상기 본 발명에 의한 부호화 방법은 상기 변환된 레지듀에 대해 소정 크기의 블록별로 변환 및 양자화하는 단계를 더 구비하고, 상기 (c)단계는 상기 각 변환 및 양자화된 계수에 대해 비트열로 생성하는 것이 바람직하다.
상기 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 컬러성분 간 단일 부호화 모드를 이용한 영상 복호화 장치는, 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 원영상과 예측영상의 차를 레지듀라 할 때, 비트열로부터 레지듀 정보를 복호화하하여 복원하는 데이터 복원부; 복원된 레지듀 데이터에 동일한 부호화 모드를 사용하여 만든 예측영상을 더하여 영상을 복원하는 예측보상부를 포함함을 특징으로 한다.
상기 예측보상부는 상기 원 영상의 각 성분에 대해 인트라 방식이면 각 영상 성분의 현재 프레임의 화소 블록과 공간적으로 근접한 화소로부터 동일한 예측방향을 적용하여 얻어진 예측영상을, 상기 복원된 레지듀 데이터에 더하여 영상을 복원하는 공간상 예측보상부; 및 상기 원 영상의 각 성분에 대해, 인터 방식이면 각 영상 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 동일한 블록 크기와 동일한 움직임 추정 및 움직임 보간 방법을 사용하여 얻어진 예측영상을 상기 복원된 레지듀 데이터에 더하여 영상을 복원하는 시간상 예측보상부를 구비함이 바람직하다.
상기 본 발명에 의한 복호화 장치는 상기 데이터 복원부에서 복원된 데이터가 레지듀변환된 데이터일 경우, 상기 영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀 변환된 데이터를 역변환하는 레지듀 역변환부를 더 구비하고, 상기 예측 보상부는 상기 각 레지듀 역변환된 영상 성분별 레지듀에 동일한 부호화 모드를 사용하여 만든 예측영상을 더하여 예측보상을 하는 것이 바람직하다.
상기 본 발명에 의한 복호화 장치는 상기 데이터 복원부에서 복원된 데이터가 변환 및 양자화된 레지듀 데이터일 경우, 상기 변환 및 양자화된 데이터에 대해 소정 크기 블록 단위로 역양자화 및 역변환을 하는 역양자화/역변환부를 더 구비하고, 상기 예측 보상부는 상기 각 역양자화/역변환된 영상 성분별 레지듀에 대해 동일한 부호화 모드를 사용하여 만든 예측영상을 더하여 예측보상을 하는 것이 바람직하다.
상기 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 컬러성분 간 단일 부호화 모드를 이용한 영상 복호화 방법은, (a) 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 원 영상과 예측영상의 차를 레지듀라 할 때, 비트열로부터 레지듀 정보를 복호화하여 복원하는 단계; (b) 복원된 레지듀 데이터에 동일한 부호화 모드를 사용하여 만든 예측 영상을 더하여 영상을 복원하는 단계를 포함함을 특징으로 한다.
상기 (b)단계는 (b1) 상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 영상 성분의 현재 프레임의 화소 블록과 공간적으로 근접한 화소로부터 동일한 예측방향을 적용하여 예측 영상을 얻는 단계; 및 (b2) 상기 원 영상의 각 성분에 대해, 인터 방식이면 각 영상 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 동일한 블록 크기와 동일한 움직임 추정 및 움직임 보간 방법을 사용하여 예측영상을 얻는 단계를 구비함이 바람직하다.
상기 본 발명에 의한 복호화 방법은 상기 (a)단계에서 생성된 레지듀에 대해 상기 영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 역변환하는 단계를 더 구비하고, 상기 (b) 단계는 상기 각 레지듀 역변환된 영상 성분별 레지듀에 대해 동일한 부호화 모드를 사용하여 만든 예측 영상을 더하여 영상을 복원하 는 것이 바람직하다.
상기 본 발명에 의한 복호화 방법은 상기 (a)단계에서 생성된 레지듀에 대해 상기 소정 크기 블록 단위로 역양자화 및 역변환을 하는 단계를 더 구비하고, 상기 (b)단계는 상기 각 역양자화/역변환된 영상 성분별 레지듀에 대해 동일한 부호화 모드를 사용하여 만든 예측 영상을 더하여 영상을 복원하는 것이 바람직하다.
그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치에 대해 상세히 설명한다.
도 1은 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 장치의 구성을 블록도로 도시한 것으로서, 공간상 예측영상 생성부(100), 시간상 예측영상 생성부(120), 부호화모드 선택부(140) 및 단일모드 예측영상 생성부(160)를 포함하여 이루어진다.
상기 공간상 예측영상 생성부(100)는 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 예측방향을 적용하여 현재 프레임의 소정 크기의 화소블록에 공간적으로 근접한 화소로부터 공간상 예측영상을 생성한다.
상기 시간상 예측영상 생성부(120)는 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 블록크기와 동일한 움직임 벡터 및 동일한 움직임 보간 방법을 적용하여 상기 각 영상성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 시간상 예측영상을 생성한다.
상기 부호화 모드 선택부(140)는 상기 공간상 예측영상과 상기 시간상 예측영상을 이용하여 부호화 모드를 선택하며, 공간상 비트량/화질왜곡 계산부(142), 시간상 비트량/화질왜곡 계산부(144) 및 성능비교부(146)를 포함하여 이루어진다.
상기 공간상 비트량/화질왜곡 계산부(142)는 상기 공간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산한다. 상기 시간상 비트량/화질왜곡 계산부(144)는 상기 시간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산한다. 상기 성능비교부(146)는 상기 비트량과 화질 왜곡을 더한 값을 비교하여 그 값이 작은 것에 해당하는 부호화 모드를 단일 부호화 모드로 선택한다.
상기 단일모드 예측영상 생성부(160)는 컬러영상의 각 성분별로 상기 선택된 부호화 모드를 적용하여 예측영상을 생성한다.
도 2는 본 발명에 의한 예측영상 생성 방법을 흐름도로 도시한 것이다. 이를 간략히 설명하면, 컬러영상의 각 컬러성분에 대해 동일한 예측방향을 적용하여 공간상 예측영상을 생성한다.(200단계) 또한 컬러영상의 각 컬러성분에 대해 동일한 블록크기, 동일한 움직임 벡터, 동일한 보간 방법을 사용하여 시간상 예측영상을 생성한다.(220단계) 상기 생성된 공간상 예측영상과 시간상 예측영상에 대해 각 부호화 모드별로 각각 비트량과 화질 왜곡을 계산한다.(240단계) 상기 계산된 결과를 비교하여 가장 비트량이 작고 화질 왜곡이 작은 부호화 모드를 선택한다.(260단계) 상기 선택된 부호화모드를 적용하여 예측영상을 생성한다.(280단계)
상기 도 1 및 도 2를 참조하여 본 발명에 의한 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법과 그 장치의 동작을 설명하기로 한다.
본 발명에 의한 컬러영상의 성분 별 단일 부호화 모드를 이용한 예측영상 생성장치에서 컬러입력영상 Fn 은 일 실시예로 RGB 영상을 사용하기로 한다. 상기 컬러 영상은 블록 단위로 처리된다. 부호화 효율을 높이기 위해 이전 프레임 영상 F'n-1 에서 움직임을 추정하여 예측하는 시간예측을 하는 인터(inter) 방법과 F'n 에서 공간적으로 인접해 있는 블록에서 예측하는 공간예측을 사용하는 인트라(intra) 방법을 사용한다. 이 때 여러 가지 부호화 모드 중에서 가장 효과적인 모드를 선택한다.
공간예측 모드 즉 인트라 모드인 경우에는 R, G, B 모두 동일한 예측 모드를 사용하여 공간상 예측영상을 생성하고, R, G, B 각각의 레지듀 간에 상호 연관성이 높아지도록 한다.
그리고, 시간 예측을 할 경우 즉 인터 모드인 경우에는 R, G, B가 동일한 블록 크기와 동일한 움직임 벡터를 사용하며, 또한 예측영상을 확장할 때에 R, G, B 간에 동일한 필터를 사용하여 보간하도록 하여 시간상 예측영상을 생성한다.
먼저 공간예측 방법을 사용할 경우에 어떤 모드를 사용하면 가장 효율적인지 결정한다. 예를 들어 MPEG-4 AVC/H.264에서는 도 8에서와 같이 4x4 블록 크기마다 9가지 예측 방법을 사용하여 예측을 한다. 그리고 이 외에 16x16 크기 블록을 사용하여 4가지 예측 방법을 사용하여 예측한다. 이 때 R, G, B에 동일한 예측 방법을 적용하여 예측을 수행한다. 각 모드별로 예측을 수행한 결과로 얻게되는 비트량과 화질의 왜곡을 계산하여 이 두 값을 더한 값이 가장 작은 예측 방법을 선택한다. 이 때 비트량은 변환 및 양자화를 거친 후 엔트로피 부호화를 하여 비트량을 계산할 수 있고, 화질의 왜곡은 다음 식과 같이 영상을 복원하여 원본 영상과의 차이값을 제곱하여 합산한 값의 평균을 사용할 수 있다.
Figure 112005010930035-PAT00001
여기서 D는 화질 왜곡의 정도를 수치로 나타낸 값이고, p는 현재 영상의 화소 값, q는 이전 영상의 화소 값, 그리고 i는 현재 블록 내에서 화소의 인덱스를 나타낸다. 그리고, 화질의 왜곡과 비트량을 합할 때에 둘 간의 단위를 조정하기 위해 일정 상수를 곱하여 다음 식과 같이 사용한다.
Figure 112005010930035-PAT00002
여기서 R 은 비트율, λ는 일정 상수를 나타낸다. 이와 같은 값을 각 예측 방법 별로 계산한 후 L이 가장 작은 예측 방법을 선택한다.
그리고, 인터 방법에서는 도 9에서와 같이 블록을 분할하여 움직임 예측을 수행한다. 이 때 앞에서 설명한 것과 같은 방법으로 각 예측 방법 중에서 L을 계산하고 이 값이 가장 작은 방법을 선택한다. 이 때 R, G, B 각 성분에 동일한 예측 방법을 적용한다. 그리고, 움직임 벡터도 R, G, B 각 성분에 동일한 값을 사용한 다. 또한 움직임 예측을 상세하게 하기 위해서 예측 영상을 보간하여 확장하는 방법이 사용되는데, 이 때 6-tap 필터와 bilinear 필터가 널리 사용된다.
도 9는 예측 영상을 보간하여 확장하기 위해 이전 프레임의 영상을 수직/수평 방향으로 각각 4배씩 보간할 때 6-tap 필터를 사용한 예이다. 상기 6-tap 필터는 MPEG-4 AVC/H.264에서 사용하는 방식이다. 그림에서 이전 프레임의 화소 A에서 U까지 주어 졌을 때 1/4 혹은 1/2 해상도의 화소 a에서 s를 다음과 같은 방식으로 구한다.
먼저, 수직 혹은 수평 방향으로 1/2 해상도의 위치에 있는 b 및 h는 주위의 6개 화소를 이용하여 다음과 같이 보간 한다.
b1 = ( E - 5 ×F + 20 ×G + 20 ×H - 5×I + J)
h1 = (A - 5 ×C + 20×G + 20 ×M - 5×R + T)
b = Clip1((b1+16)>>5)
h = Clip1((h1+16)>>5)
여기서 Clip1(x) 은 x를 영상 화소의 비트 범위안으로 잘라주는 역할을 한다. 만약 8비트 영상이면 x가 0보다 작으면 0으로 하고 255보다 크면 255로 그 외의 값은 본래의 값을 그대로 유지하게 하는 역할을 한다. 보간에 사용한 필터 탭은 비교적 주위의 화소를 많이 이용한 6 탭 필터인 [1, -5, 20, 20, -5, 1] 이다.
수직 및 수평 방향으로 1/2 해상도의 위치에 있는 j 화소는 이전에 복원된 수직 혹은 수평 방향으로 1/2 해상도에 있는 주위의 화소를 이용하여 다음과 같이 보간 한다.
j1 = cc - 5 ×dd + 20 ×h1 + 20×m1 - 5 ×ee + ff
또는
j1 = aa - 5 ×bb + 20 ×b1 + 20×s1 - 5 ×gg + hh
j= Clip1((j1+512)>>10)
여기서 주위 화소 cc, dd, h1, m1, ee, ff 혹은 aa, bb, b, s1, gg, hh는 상기 수학식 3 과 같이 6필터를 사용하여 보간한 중간 결과이다.
1/2 해상도의 마지막 값인 s 및 m은 상기 수학식 4와 같이 s1 및 m1 으로부터 복원한다. 1/4 해상도의 위치에 있는 a, c, d, n, f, i, k, 및 q는 두개의 수직 혹은 수평 방향으로 인접한 화소의 평균에 의하여 다음과 같이 구한다.
a = (G + b + 1) >> 1
c = (H + b + 1) >> 1
d = (G + h + 1) >> 1
n = (M + h + 1) >> 1
f = (b + j + 1) >> 1
i = (h + j + 1) >> 1
k = (j + m + 1) >> 1
q = (j + s + 1) >> 1
1/4 해상도의 위치에 있는 e, g, p, 및 r는 두 개의 대각선 방향으로 인접한 화소의 평균에 의하여 다음과 같이 구한다.
e = (b + h + 1) >> 1
g = (b + m + 1) >> 1
p = (h + s + 1) >> 1
r = (m + s + 1) >> 2
도 11은 예측 영상을 보간하여 확장하기 위해 이전 프레임의 영상을 수직/수평 방향으로 각각 4배씩 보간할 때 bilinear 보간 방법을 사용한 예이다. 이 bilinear 보간 방법은 MPEG-4 AVC/H.264에서 사용하는 방식이다. 이전 프레임의 화소 A, B, C, 및 D에서 1/4 혹은 1/2의 해상도의 화소 a를 다음과 같이 구한다.
a = ((4-dx)×(4-dy)×A + dx ×(4-dy)×B + (4-dx)×dy ×C + dx ×dy ×D+8) >> 4
여기서, dx는 a가 A 혹은 C로부터 수평 방향으로 떨어진 거리를 1/4 해상도로 표시한 값이다. 그리고, dy는 a가 A 혹은 B로부터 수직 방향으로 떨어진 거리를 1/4 해상도로 표시한 값이다.
Bilinear 보간 방법은 6-tap 필터를 사용한 경우에 비해 비교적 주위의 화소를 적게 쓰고 보간 할 값과 근접한 거리의 주위 값을 쓰는 것을 알 수 있다.
본 발명에서는 R, G, B에 동일한 보간 방법을 적용하여 R, G, B 레지듀 신호가 서로 비슷한 신호를 갖도록 한다. 이렇게 할 경우 레지듀 변환에 의한 효과가 높아진다. 동일한 보간 방법을 적용하도록 하기 위해 R, G, B 모두 6-tap 필터를 사용할 수 있다. 또는 모두 bilinear 방법으로 통일하여 사용할 수 있다. 또는 블록 단위로 최적의 방법을 선택하여 선택한 방법이 어떤 것인지 블록 단위로 부호화하여 사용할 수 있다.
이와 같이 시공간 예측을 할 때에 R, G, B 모두 동일한 예측 모드를 사용하고 동일한 움직임 보간 방법을 사용함으로써 R, G, B 각각의 레지듀간에 상호 연관성이 높아지도록 한다.
도 8에서 (a)는 공간상 예측을 위한 인접 화소의 위치와 예측할 현재 블록의 화소의 위치를 나타낸 그림이다. 이 방법은 MPEG-4 AVC/H.264 표준 부호화 방식에서 사용하는 방법과 같다. 그림에서는 4×4 크기의 블록 데이터 (Pa, Pb, ..., Pq)를 예측하기 위해 이전에 부호화 되어 복원된 공간상의 인접한 데이터 (P0, P1, ..., P12)를 이용한다. (b)는 공간상 인접한 화소로부터 투영 (projection)하여 현재 블록을 예측하기 위한 0부터 8까지의 9가지 예측 방향을 나타낸다. 예를 들어 0의 방향의 경우는 인접한 화소 값 P1, P2, P3, 및 P4를 수직 방향으로 투영하여 Pa, Pe, Pi ,및 Pm은 P1값, Pb, Pf, Pj, 및 Pn은 P2값, Pc, Pg, Pk, 및 Po은 P3값, Pd, Ph, Pl, 및 Pq은 P4값으로 예측한다. 다른 방향의 경우도 마찬가지로 투영을 통해 예측한다.
도 9는 영상의 시간상 예측을 위한 움직임의 기본단위로 사용하는 매크로블 록의 분할 방법을 나타낸 그림이다. 이 방법은 MPEG-4 AVC/H.264 표준 부호화 방식에서 사용하는 방법이다. 기본적으로 가로/세로 16 크기의 매크로 블록을 16×16, 16×8, 8×16, 8×8의 다양한 크기로 나누어 각각 움직임 벡터를 구하여 시간상으로 영상 값을 예측한다. 특히 8×8 크기의 블록은 다시 8×8, 8×4, 4×8, 4×4 크기로 나누어 세밀한 움직임도 정확히 감지하게 해준다.
상술한 바와 같이 상기 공간상 예측영상 생성부(100)에서 생성된 예측영상을 이용하여 공간상 비트량/화질왜곡 계산부(142)에서는 상기 인트라 방식에서의 각 모드에서 구한 비트량과 화질왜곡을 계산한다. 그리고 시간상 비트량/화질왜곡 계산부(144)는 인터 방식에서의 각 모드에서 구한 비트량과 화질왜곡을 계산한다. 그리고 성능비교부(146)에서는 상기 계산된 값들을 비교하여 가장 부호화 효율이 높은 부호화 모드를 선택하고, 상기 단일모드 예측영상 생성부(160)에서는 상기 선택된 부호화 모드를 적용하여 예측영상을 생성한다.
한편, 상기 부호화 모드 선택부(140)에서 부호화 효율이 가장 높은 부호화 모드를 선택함에 있어서, 상기 비트량과 화질왜곡을 계산하여 비교하는 것은 일 실시예이며, 본 발명이 사용되는 상황에 따라 상기 비트량 및 화질왜곡 외의 다른 요소에 의해서도 가장 부호화 효율이 높은 부호화 모드를 선택할 수 있다.
도 3은 본 발명에 의한 컬러 성분간 단일 부호화 모드를 이용한 영상 및 비디오 부호화 장치에 대한 일실시예의 구성을 블록도로 도시한 것으로서, 예측영상 생성부(300), 레지듀 생성부(310), 변환/양자화부(330), 엔트로피 부호화부(340), 역양자화/역변환부(350), 레지듀 역변환부(360) 및 예측보상부(370)을 포함하여 이 루어진다.
상기 예측영상생성부(300)는 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 부호화 모드를 사용하여 예측 영상을 만든다. 상기 예측영상 생성부(300)는 상술한 본 발명에 의한 예측영상 생성장치를 그대로 이용한다. 따라서 상기 예측 영상 생성부(300)는 도 1에 도시된 바와 같이 공간상 예측영상 생성부(100), 시간상 예측영상 생성부(120), 부호화 모드 선택부(140) 및 단일모드 예측영상 생성부(160)를 구비할 수 있다.
상기 레지듀생성부(310)는 상기 원 영상과 예측 영상의 차에 해당하는 레지듀를 생성한다. 상기 레지듀 변환부(320)는 상기 레지듀 생성부(310)에서 생성된 레지듀에 대해 상기 영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 레지듀 변환한다. 상기 변환/양자화부(330)는 상기 레지듀 변환부(320)에서 변환된 레지듀에 대해 소정 크기의 블록별로 변환 및 양자화한다. 상기 엔트로피 부호화부(340)는 상기 변환/양자화부(330)에서 변환 및 양자화된 데이터를 엔트로피 부호화하여 비트열을 생성한다.
상기 역양자화/역변환부(350), 레지듀 역변환부(360) 및 예측보상부(370)은 상기 예측영상생성부(300)에서 예측영상을 생성할 때 필요한 현재 프레임의 예측영상 F'n 과 이전 프레임의 예측영상 F'n-1을 생성하기 위해, 상기 변환/양자화부(330)에서 변환 및 양자화된 데이터를 역양자화/역변환, 레지듀 역변환 및 예측보상을 한다.
도 4는 본 발명에 의한 컬러 성분간 단일 부호화 모드를 이용한 영상 및 비 디오 부호화 방법에 대한 일실시예를 흐름도로 도시한 것이다. 먼저 동일한 부호화 모드를 사용하여 예측영상을 생성한다.(400단계) 상기 400단계는 상술한 도 2의 예측영상 생성방법과 동일하므로 상세한 설명은 생략한다. 그리고 나서 원영상과 예측영상의 차를 구해 레지듀를 생성하고, 상기 생성된 레지듀를 변환한다.(420단계) 그 다음에 DCT변환 등과 같은 변환 및 양자화를 하고(440단계), 상기 변환 및 양자화된 데이터를 엔트로피 부호화하여 비트열을 생성한다.(460단계)
상기 본 발명에 의한 부호화장치의 컬러입력영상 Fn 은 RGB 영상을 사용하며, 상기 영상은 블록 단위로 처리된다. 부호화 장치는 부호화 효율을 높이기 위해 이전 프레임 영상 F'n-1 에서 움직임을 추정하여 예측하는 시간 예측을 하는 인터(inter) 방법과 F'n (111)에서 공간적으로 인접해 있는 블록에서 예측하는 공간예측을 사용하는 인트라(intra) 방법을 사용한다. 이 때 부호화모드 선택부(142)를 통해 여러 가지 부호화 모드 중에서 가장 효과적인 모드를 선택한다.
공간 예측 모드를 선택할 경우 R, G, B 모두 동일한 예측 모드를 사용하여 R, G, B 각각의 레지듀간에 상호 연관성이 높아지도록 한다. 그리고, 시간 예측을 할 경우 R, G, B가 동일한 블록 크기와 동일한 움직임 벡터를 사용하도록 하고, 또한 예측영상을 확장할 때에 R, G, B 간에 동일한 필터를 사용하여 보간하도록 한다. 여기서 선택된 부호화 모드 정보에 따라 공간 또는 시간 예측 부호화를 수행하면 R, G, B 각각의 레지듀 신호를 얻을 수 있다. 각 성분간의 중복되는 정보를 제거하기 위해 각 성분간에 레지듀 변환을 한다. 그리고, 각 성분의 블록 별로 압축하기 위해 이산 코사인 변환(DCT) 혹은 이산정수 변환과 같은 변환을 한 후에 변 환 계수를 양자화하고 엔트로피 부호화를 거쳐 비트열을 생성한다. 부호화의 역과정을 거쳐 복원된 영상은 이후 블록에서 예측 부호화를 위해 사용된다.
도 5는 본 발명에 의한 컬러 성분간 단일 부호화 모드를 이용한 영상 및 비디오 복호화 장치의 구성에 대한 일 실시예를 블록도로 도시한 것으로서, 엔트로피 복호화부(500), 역양자화/역변환부(520), 레지듀 역변환부(540) 및 예측보상부(560)를 포함하여 이루어진다.
상기 엔트로피 복호화부(500)는 비트열을 엔트로피 복호화하며, 상기 역양자화/역변환부(520)는 상기 엔트로피 복호화된 데이터를 소정 크기의 블록단위로 역양자화 및 역변환한다.
상기 레지듀 역변환부(540)는 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 원영상과 예측영상의 차를 레지듀라 할 때, 상기 역양자화 및 역변환된 데이터, 즉 상기 영상 성분의 레지듀 상호간의 관계성을 이용하여 변환된 레지듀 데이터를 역변환하여 레지듀 데이터를 복원한다.
상기 예측보상부(560)는 상기 복원된 레지듀 데이터에 동일한 부호화 모드를 사용하여 만든 예측영상을 더하여 영상을 복원한다. 도 6은 상기 예측보상부(560)의 구성을 보다 상세히 블록도로 도시한 것으로서, 공간상 예측보상부(600) 및 시간상 예측보상부(650)을 구비한다.
상기 공간상 예측보상부(600)는 상기 원 영상의 각 성분에 대해 인트라 방식이면 각 영상 성분의 현재 프레임의 화소 블록과 공간적으로 근접한 화소로부터 동일한 예측방향을 적용하여 얻어진 예측영상을, 상기 복원된 레지듀 데이터에 더하 여 영상을 복원한다.
상기 시간상 예측보상부(650)는 상기 원 영상의 각 성분에 대해, 인터 방식이면 각 영상 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 동일한 블록 크기와 동일한 움직임 추정 및 움직임 보간 방법을 사용하여 얻어진 예측영상을 상기 복원된 레지듀 데이터에 더하여 영상을 복원한다.
도 7은 본 발명에 의한 컬러 성분간 단일 부호화 모드를 이용한 영상 및 비디오 복호화 방법에 대한 일실시예를 흐름도로 도시한 것이다.
적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 원 영상과 예측영상의 차를 레지듀라 할 때, 비트열로부터레지듀 정보를 복호화하여 복원한다. 만일 비트열이 엔트로피 부호화하여 생성된 것이면, 엔트로피 복호화한다.(700단계) 그리고 엔트로피 복호화된 데이터에 대해 소정 크기 블록 단위로 역양자화 및 역변환을 한다.(720단계) 상기 역양자화 및 역변환된 데이터, 즉 상기 영상 성분의 레지듀 상호간의 관계성을 이용하여 변환된 레지듀 데이터를 역변환하여 레지듀 데이터를 복원한다.(740단계)
상기 각 레지듀 역변환된 영상 성분별 레지듀에 대해 동일한 부호화 모드를 사용하여 만든 예측 영상을 더하여 영상을 복원한다.(760단계) 상기 760 단계에서의 예측영상은 다음과 같이 얻을 수 있다. 상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 영상 성분의 현재 프레임의 화소 블록과 공간적으로 근접한 화소로부터 동일한 예측방향을 적용하여 예측 영상을 얻는다. 만일 인터 방식이면 각 영상 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 동일한 블록 크 기와 동일한 움직임 추정 및 움직임 보간 방법을 사용하여 예측영상을 얻는다.
도 3 및 도 4의 부호화 과정과 반대의 과정을 거쳐 압축된 비트열로부터 영상을 복원한다. 압축된 데이터는 엔트로피 복호화부(500), 역양자화 및 역변환부(520), 그리고 레지듀 역변환부(540)를 거쳐 R, G, B 각각의 레지듀 신호를 얻는다. 여기에 인터 모드의 경우 이전 영상 F'n-1을 사용하여 예측한 값에, 그리고 intra 모드의 경우는 공간적으로 인접한 블록 값을 공간상 예측 방법으로 예측한 값에 각 성분의 레지듀 값을 더하여 영상을 복원한다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의한 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와 그를 이용한 영상 및 비디오 부호화/복호화 방법 및 장치에 의하면, 컬 러영상의 각 성분을 공간상 인접한 화소(pixel)나 시간상으로 인접한 화소(pixel)를 사용하여 예측 부호화할 때에 각 컬러성분에 동일한 예측 방법을 사용함으로써 컬러 성분의 예측오차 신호간에 정보의 중복성을 높임으로써 부호화 효율을 높일 수 있다.
예를 들어 RGB 컬러영상을 사용하는 경우, RGB 입력 영상을 YCbCr로 변환하지 않고 그대로 RGB 도메인에서 부호화할 때, RGB 영상의 통계적 특성에 맞추어 공간상 예측 및 시간상 예측을 수행하여 고화질을 유지하면서 부호화 효율을 높일 수 있다.
또한 기기로부터 바로 취득할 수 있는 RGB 비디오 영상을 기존의 YCbCr 영영으로의 변환하는 과정 없이 효과적으로 직접 압축함으로써, RGB 영역에서 직접 부호화하면 YCbCr 영역으로 변환 할 때 발생하는 색상의 왜곡과 같은 영상 품질 손실이 없으므로 고품질의 영상 정보가 필요한 디지탈 영화 (Digital Cinema) 및 디지탈 아카이브(Digital Archive) 등의 응용에 적합하다.

Claims (26)

  1. 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 예측방향을 적용하여 현재 프레임의 소정 크기의 화소블록에 공간적으로 근접한 화소로부터 예측영상을 얻음을 특징으로 하는 공간상 예측영상 생성 방법.
  2. 제1항에 있어서, 상기 화소블록의 크기가 4x4 일 경우, 9개의 예측방향 중 어느 하나를 예측방향으로 결정함을 특징으로 하는 공간상 예측영상 생성 방법.
  3. 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 블록크기와 동일한 움직임 벡터 및 동일한 움직임 보간 방법을 적용하여 상기 각 영상성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻음을 특징으로 하는 시간상 예측영상 생성 방법.
  4. 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 예측방향을 적용하여 현재 프레임의 소정 크기의 화소블록에 공간적으로 근접한 화소로부터 공간상 예측영상을 얻는 단계;
    적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 블록크기와 동일한 움직임 벡터 및 동일한 움직임 보간 방법을 적용하여 상기 각 영상성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 시간상 예측영상을 얻는 단계;
    상기 공간상 예측영상과 상기 시간상 예측영상을 이용하여 부호화 모드를 선택하는 단계; 및
    상기 선택된 부호화 모드를 컬러영상의 각 성분별로 동일하게 적용하여 예측영상을 생성하는 단계를 포함함을 특징으로 하는 예측영상 생성방법.
  5. 제4항에 있어서, 상기 부호화 모드 선택은
    상기 공간상 예측영상과 상기 시간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산하여, 상기 두 값을 더한 값이 가장 작은 것에 해당하는 부호화 모드를 부호화 모드로 선택함을 특징으로 하는 예측영상 생성방법.
  6. 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 예측방향을 적용하여 현재 프레임의 소정 크기의 화소블록에 공간적으로 근접한 화소로부터 공간상 예측영상을 얻는 공간상 예측영상 생성부;
    적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 블록크기와 동일한 움직임 벡터 및 동일한 움직임 보간 방법을 적용하여 상기 각 영상성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 시간상 예측영상을 얻는 시간상 예측영상 생성부;
    상기 공간상 예측영상과 상기 시간상 예측영상을 이용하여 부호화 모드를 선택하는 부호화 모드 선택부; 및
    상기 부호화 모드 선택부에서 선택된 부호화 모드를 컬러영상의 각 성분별로 동일하게 적용하여 예측영상을 생성하는 단일모드 예측영상 생성부를 포함함을 특징으로 하는 예측영상 생성장치.
  7. 제6항에 있어서, 상기 부호화 모드 선택부는
    상기 공간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산하는 공간상 비트량/화질왜곡 계산부;
    상기 시간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산하는 시간상 비트량/화질왜곡 계산부; 및
    상기 비트량과 화질 왜곡을 더한 값을 비교하여 그 값이 작은 것에 해당하는 부호화 모드를 부호화 모드로 선택하는 성능비교부를 구비함을 특징으로 하는 예측영상 생성장치.
  8. 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 부호화 모드를 사용하여 예측 영상을 만드는 예측영상 생성부;
    상기 원 영상과 예측 영상의 차에 해당하는 레지듀를 생성하는 레지듀 생성부; 및
    상기 레지듀 데이터를 부호화하여 비트열로 생성하는 부호화부를 포함함을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 부호화 장치.
  9. 제8항에 있어서, 상기 예측영상 생성부는
    상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 영상 성분의 현재 프레임의 화소 블록과 공간적으로 근접한 화소로부터 동일한 예측방향을 적용하여 예측 영상을 얻는 공간상 예측영상 생성부;
    상기 원 영상의 각 성분에 대해, 인터 방식이면 각 영상 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 동일한 블록 크기와 동일한 움직임 추정 및 움직임 보간 방법을 사용하여 예측영상을 얻는 시간상 예측영상 생성부;
    상기 공간상 예측영상과 상기 시간상 예측영상을 이용하여 부호화 모드를 선택하는 부호화 모드 선택부; 및
    상기 부호화 모드 선택부에서 선택된 부호화 모드를 컬러영상의 각 성분별로 동일하게 적용하여 예측영상을 생성하는 단일모드 예측영상 생성부를 구비함을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 부호화 장치.
  10. 제9항에 있어서, 상기 부호화 모드 선택부는
    상기 공간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산하는 공간상 비트량/화질왜곡 계산부;
    상기 시간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산하는 시간상 비트량/화질왜곡 계산부; 및
    상기 비트량과 화질 왜곡을 더한 값을 비교하여 그 값이 작은 것에 해당하는 부호화 모드를 부호화 모드로 선택하는 성능비교부를 구비함을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 부호화 장치.
  11. 제8항에 있어서,
    상기 레지듀 생성부에서 생성된 레지듀에 대해 상기 영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 레지듀 변환하는 레지듀 변환부를 더 구비하고,
    상기 부호화부는
    상기 각 레지듀 변환된 영상 성분별 레지듀에 대해 비트열로 생성하는 것을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 부호화 장치.
  12. 제11항에 있어서,
    상기 레지듀 변환부에서 변환된 레지듀에 대해 소정 크기의 블록별로 변환 및 양자화하는 변환/양자화부를 더 구비하고,
    상기 부호화부는
    상기 각 변환 및 양자화된 계수에 대해 비트열로 생성하는 것을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 부호화 장치.
  13. (a) 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 부호화 모드를 사용하여 예측영상을 생성하는 단계;
    (b) 상기 원 영상과 예측 영상의 차에 해당하는 레지듀를 생성하는 단계; 및
    (c) 상기 레지듀 데이터를 부호화하여 비트열로 생성하는 단계를 포함함을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 부호화 방법.
  14. 제13항에 있어서, 상기 (a)단계는
    적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 예측방향을 적용하여 현재 프레임의 소정 크기의 화소블록에 공간적으로 근접한 화소로부터 공간상 예측영상을 얻는 단계;
    적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 각 영상 성분별로, 동일한 블록크기와 동일한 움직임 벡터 및 동일한 움직임 보간 방법을 적용하여 상기 각 영상성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 시간상 예측영상을 얻는 단계;
    상기 공간상 예측영상과 상기 시간상 예측영상을 이용하여 부호화 모드를 선택하는 단계; 및
    상기 선택된 부호화 모드를 컬러영상의 각 성분별로 동일하게 적용하여 예측영상을 생성하는 단계를 구비함을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 부호화 방법.
  15. 제14항에 있어서, 상기 부호화 모드 선택은
    상기 공간상 예측영상과 상기 시간상 예측영상에 대해, 각각 비트량과 화질의 왜곡을 계산하여, 상기 두 값을 더한 값이 가장 작은 것에 해당하는 부호화 모드를 부호화 모드로 선택함을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 부호화 방법.
  16. 제13항에 있어서,
    상기 (b)단계에서 생성된 레지듀에 대해 상기 영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 레지듀 변환하는 단계를 더 구비하고,
    상기 (c)단계는
    상기 각 레지듀 변환된 영상 성분별 레지듀에 대해 비트열로 생성하는 것을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 부호화 방법.
  17. 제16항에 있어서,
    상기 변환된 레지듀에 대해 소정 크기의 블록별로 변환 및 양자화하는 단계를 더 구비하고,
    상기 (c)단계는
    상기 각 변환 및 양자화된 계수에 대해 비트열로 생성하는 것을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 부호화 방법.
  18. 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 원영상과 예측영상의 차를 레지듀라 할 때, 비트열로부터 레지듀 정보를 복호화하하여 복원하는 데이터 복원부;
    복원된 레지듀 데이터에 동일한 부호화 모드를 사용하여 만든 예측영상을 더하여 영상을 복원하는 예측보상부를 포함함을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 복호화 장치.
  19. 제18항에 있어서, 상기 예측보상부는
    상기 원 영상의 각 성분에 대해 인트라 방식이면 각 영상 성분의 현재 프레임의 화소 블록과 공간적으로 근접한 화소로부터 동일한 예측방향을 적용하여 얻어진 예측영상을, 상기 복원된 레지듀 데이터에 더하여 영상을 복원하는 공간상 예측보상부; 및
    상기 원 영상의 각 성분에 대해, 인터 방식이면 각 영상 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 동일한 블록 크기와 동일한 움직임 추정 및 움직임 보간 방법을 사용하여 얻어진 예측영상을 상기 복원된 레지듀 데이터에 더하여 영상을 복원하는 시간상 예측보상부를 구비함을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 복호화 장치.
  20. 제18항에 있어서,
    상기 데이터 복원부에서 복원된 데이터가 레지듀변환된 데이터일 경우, 상기 영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀 변환된 데이터를 역변환하는 레지듀 역변환부를 더 구비하고,
    상기 예측 보상부는
    상기 각 레지듀 역변환된 영상 성분별 레지듀에 동일한 부호화 모드를 사용하여 만든 예측영상을 더하여 예측보상을 하는 것을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 복호화 장치.
  21. 제18항에 있어서,
    상기 데이터 복원부에서 복원된 데이터가 변환 및 양자화된 레지듀 데이터일 경우, 상기 변환 및 양자화된 데이터에 대해 소정 크기 블록 단위로 역양자화 및 역변환을 하는 역양자화/역변환부를 더 구비하고,
    상기 예측 보상부는
    상기 각 역양자화/역변환된 영상 성분별 레지듀에 대해 동일한 부호화 모드를 사용하여 만든 예측영상을 더하여 예측보상을 하는 것을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 복호화 장치.
  22. (a) 적어도 두 가지 이상의 영상 성분으로 이루어지는 원 영상에서 상기 원 영상과 예측영상의 차를 레지듀라 할 때, 비트열로부터 레지듀 정보를 복호화하여 복원하는 단계;
    (b) 복원된 레지듀 데이터에 동일한 부호화 모드를 사용하여 만든 예측 영상 을 더하여 영상을 복원하는 단계를 포함함을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 복호화 방법.
  23. 제22항에 있어서, 상기 (b)단계는
    (b1) 상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 영상 성분의 현재 프레임의 화소 블록과 공간적으로 근접한 화소로부터 동일한 예측방향을 적용하여 예측 영상을 얻는 단계; 및
    (b2) 상기 원 영상의 각 성분에 대해, 인터 방식이면 각 영상 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 동일한 블록 크기와 동일한 움직임 추정 및 움직임 보간 방법을 사용하여 예측영상을 얻는 단계를 구비함을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 복호화 방법.
  24. 제22항에 있어서,
    상기 (a)단계에서 생성된 레지듀에 대해 상기 영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 역변환하는 단계를 더 구비하고,
    상기 (b) 단계는
    상기 각 레지듀 역변환된 영상 성분별 레지듀에 대해 동일한 부호화 모드를 사용하여 만든 예측 영상을 더하여 영상을 복원하는 것을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 복호화 방법.
  25. 제22항에 있어서,
    상기 (a)단계에서 생성된 레지듀에 대해 상기 소정 크기 블록 단위로 역양자화 및 역변환을 하는 단계를 더 구비하고,
    상기 (b)단계는
    상기 각 역양자화/역변환된 영상 성분별 레지듀에 대해 동일한 부호화 모드를 사용하여 만든 예측 영상을 더하여 영상을 복원하는 것을 특징으로 하는 컬러 성분간 단일 부호화 모드를 이용한 영상 복호화 방법.
  26. 제1항 내지 제5항, 제13항 내지 제17항, 제22항 내지 제25항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR20050016938A 2005-02-28 2005-02-28 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치 KR100723403B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR20050016938A KR100723403B1 (ko) 2005-02-28 2005-02-28 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
TW095106678A TW200644645A (en) 2005-02-28 2006-02-27 Prediction image generating method and apparatus using single coding mode for all color components, and image and video encoding/decoding method and apparatus using the same
EP20060251035 EP1696676A3 (en) 2005-02-28 2006-02-27 Video coding with prediction using a single coding mode for all color components
EP20120164470 EP2479996A1 (en) 2005-02-28 2006-02-27 Video coding with prediction using a signle coding mode for all color components
JP2006052657A JP2006246474A (ja) 2005-02-28 2006-02-28 カラー成分間の単一符号化モードを利用して予測映像を生成する方法、およびその装置と、該単一符号化モードを利用して映像およびビデオを符号化／復号化する方法およびその装置
CN2006100580500A CN1829328B (zh) 2005-02-28 2006-02-28 预测图像产生方法及设备和图像视频编/解码方法及设备
US11/362,920 US8019001B2 (en) 2005-02-28 2006-02-28 Prediction image generating method and apparatus using single coding mode for all color components, and image and video encoding/decoding method and apparatus using the same
CN2010102883701A CN101945282B (zh) 2005-02-28 2006-02-28 预测图像产生方法及设备和图像视频编/解码方法及设备
CN2010102883345A CN101951514B (zh) 2005-02-28 2006-02-28 预测图像产生方法及设备和图像视频编/解码方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20050016938A KR100723403B1 (ko) 2005-02-28 2005-02-28 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060095821A true KR20060095821A (ko) 2006-09-04
KR100723403B1 KR100723403B1 (ko) 2007-05-30

Family

ID=36569996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20050016938A KR100723403B1 (ko) 2005-02-28 2005-02-28 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치

Country Status (6)

Country Link
US (1) US8019001B2 (ko)
EP (2) EP1696676A3 (ko)
JP (1) JP2006246474A (ko)
KR (1) KR100723403B1 (ko)
CN (3) CN101951514B (ko)
TW (1) TW200644645A (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100723408B1 (ko) * 2004-07-22 2007-05-30 삼성전자주식회사 컬러영상의 변환/역변환 및 양자화/역양자화 방법 및장치와, 이를 이용한 컬러영상의 부호화/복호화 방법 및장치
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
KR101294364B1 (ko) * 2011-01-31 2013-08-06 전자부품연구원 고화질 영상을 위한 무손실 영상 압축방법, 압축 해제방법 및 이를 적용한 전자기기
KR20130133250A (ko) * 2010-12-22 2013-12-06 엘지전자 주식회사 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR101356207B1 (ko) * 2006-10-13 2014-02-03 삼성전자주식회사 데이터 인코딩/디코딩 방법 및 장치
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9326047B2 (en) 2013-06-06 2016-04-26 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9355681B2 (en) 2007-01-12 2016-05-31 Activevideo Networks, Inc. MPEG objects and systems and methods for using MPEG objects
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
KR20190006085A (ko) * 2010-12-22 2019-01-16 엘지전자 주식회사 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371586B (zh) 2006-01-10 2012-06-27 汤姆森特许公司 用于并行实现4:4:4编码的方法和装置
KR101330630B1 (ko) 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
KR100745765B1 (ko) * 2006-04-13 2007-08-02 삼성전자주식회사 화상 데이터의 공간상 예측 장치 및 방법과 그를 이용한부호화 장치 및 방법, 화상 데이터의 공간상 예측 보상장치 및 방법과 그를 이용한 복호화 장치 및 방법
EP2223530A2 (en) 2007-11-30 2010-09-01 Dolby Laboratories Licensing Corp. Temporal image prediction
KR101487686B1 (ko) 2009-08-14 2015-01-30 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP2012094959A (ja) * 2010-10-25 2012-05-17 Sony Corp 画像処理装置と画像処理方法およびプログラム
GB2487197B (en) * 2011-01-11 2015-06-17 Canon Kk Video encoding and decoding with improved error resilience
GB2488816A (en) 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
JP5649524B2 (ja) * 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
WO2014163461A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN105230023B (zh) 2014-03-04 2019-10-18 微软技术许可有限责任公司 色彩空间、色彩采样率和/或比特深度的自适应切换
WO2015131330A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths
KR102216600B1 (ko) 2014-03-27 2021-02-16 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 컬러 공간 전환시의 양자화/스케일링 및 역 양자화/스케일링의 조정
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
EP3186964A1 (en) 2014-08-25 2017-07-05 Intel Corporation Selectively bypassing intra prediction coding based on preprocessing error data
WO2016054765A1 (en) * 2014-10-08 2016-04-14 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1507415A (en) * 1923-04-24 1924-09-02 Herbert R Oliver Hose supporter
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
JP3480067B2 (ja) 1994-09-30 2003-12-15 ソニー株式会社 画像符号化装置及び方法
US5768438A (en) * 1994-10-19 1998-06-16 Matsushita Electric Industrial Co., Ltd. Image encoding/decoding device
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP4051772B2 (ja) * 1998-07-23 2008-02-27 ソニー株式会社 画像復号装置及び画像復号方法
US6396422B1 (en) * 1999-06-09 2002-05-28 Creoscitex Corporation Ltd. Methods for quantizing and compressing digital image data
KR100304798B1 (ko) * 1999-08-11 2001-11-01 정병철 애니메이션 동영상 부호화 방법
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
JP2004165894A (ja) * 2002-11-12 2004-06-10 Kddi Corp 符号化器のビットレート制御方法
EP1478189A3 (en) * 2003-05-16 2004-12-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
KR100718121B1 (ko) * 2003-05-16 2007-05-15 삼성전자주식회사 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및장치
KR100718122B1 (ko) * 2003-07-16 2007-05-15 삼성전자주식회사 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치
US7535961B2 (en) * 2003-07-16 2009-05-19 Samsung Electronics Co., Ltd. Video encoding/decoding apparatus and method for color image
US7613351B2 (en) * 2004-05-21 2009-11-03 Broadcom Corporation Video decoder with deblocker within decoding loop
US7813432B2 (en) * 2004-12-30 2010-10-12 Intel Corporation Offset buffer for intra-prediction of digital video

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100723408B1 (ko) * 2004-07-22 2007-05-30 삼성전자주식회사 컬러영상의 변환/역변환 및 양자화/역양자화 방법 및장치와, 이를 이용한 컬러영상의 부호화/복호화 방법 및장치
US9497474B2 (en) 2005-11-14 2016-11-15 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
US10455210B2 (en) 2005-11-14 2019-10-22 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
US9877007B2 (en) 2005-11-14 2018-01-23 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
US8934541B2 (en) 2005-11-14 2015-01-13 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
US9674541B2 (en) 2005-11-14 2017-06-06 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
US9565445B2 (en) 2005-11-14 2017-02-07 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
KR101356207B1 (ko) * 2006-10-13 2014-02-03 삼성전자주식회사 데이터 인코딩/디코딩 방법 및 장치
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US9355681B2 (en) 2007-01-12 2016-05-31 Activevideo Networks, Inc. MPEG objects and systems and methods for using MPEG objects
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
KR20190124333A (ko) * 2010-12-22 2019-11-04 엘지전자 주식회사 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US10136158B2 (en) 2010-12-22 2018-11-20 Lg Electronics Inc. Intra prediction method and apparatus using the method
US9693054B2 (en) 2010-12-22 2017-06-27 Lg Electronics Inc. Intra prediction method and apparatus based on interpolation
US10609410B2 (en) 2010-12-22 2020-03-31 Lg Electronics Inc. Intra prediction method and apparatus using the method
KR20130133250A (ko) * 2010-12-22 2013-12-06 엘지전자 주식회사 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US9860557B2 (en) 2010-12-22 2018-01-02 Lg Electronics Inc. Intra prediction method and apparatus using the method
US11006145B2 (en) 2010-12-22 2021-05-11 Lg Electronics Inc. Intra prediction method and apparatus using the method
US11622129B2 (en) 2010-12-22 2023-04-04 Lg Electronics Inc. Intra prediction method and apparatus using the method
KR20190006085A (ko) * 2010-12-22 2019-01-16 엘지전자 주식회사 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR101294364B1 (ko) * 2011-01-31 2013-08-06 전자부품연구원 고화질 영상을 위한 무손실 영상 압축방법, 압축 해제방법 및 이를 적용한 전자기기
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US10757481B2 (en) 2012-04-03 2020-08-25 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US10506298B2 (en) 2012-04-03 2019-12-10 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US11073969B2 (en) 2013-03-15 2021-07-27 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US10200744B2 (en) 2013-06-06 2019-02-05 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9326047B2 (en) 2013-06-06 2016-04-26 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence

Also Published As

Publication number Publication date
EP1696676A3 (en) 2009-08-05
CN1829328A (zh) 2006-09-06
JP2006246474A (ja) 2006-09-14
US8019001B2 (en) 2011-09-13
US20060203913A1 (en) 2006-09-14
CN101951514B (zh) 2013-06-05
TW200644645A (en) 2006-12-16
CN1829328B (zh) 2011-06-15
EP2479996A1 (en) 2012-07-25
CN101951514A (zh) 2011-01-19
KR100723403B1 (ko) 2007-05-30
CN101945282A (zh) 2011-01-12
CN101945282B (zh) 2013-06-12
EP1696676A2 (en) 2006-08-30

Similar Documents

Publication Publication Date Title
KR100723403B1 (ko) 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
KR100873636B1 (ko) 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
KR100624429B1 (ko) 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
JP2004343774A (ja) 映像のレジデュー予測を利用した映像符号化／復号化方法および装置
JP2014158305A (ja) 予測映像の生成方法、装置及び記録媒体
KR101362755B1 (ko) 센서영상 부호화 및 복호화장치와 그 방법
KR101341993B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR100718121B1 (ko) 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및장치
KR100718122B1 (ko) 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치
KR100738075B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101700410B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR100964401B1 (ko) 칼라 영상을 위한 인트라 부호화/복호화 방법 및 장치
KR100647297B1 (ko) 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치
KR101562343B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101934840B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR102111437B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101810198B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101700411B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20190084929A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20190004247A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20190004246A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 12