KR20060041770A - 그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법 - Google Patents

그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법 Download PDF

Info

Publication number
KR20060041770A
KR20060041770A KR1020050010855A KR20050010855A KR20060041770A KR 20060041770 A KR20060041770 A KR 20060041770A KR 1020050010855 A KR1020050010855 A KR 1020050010855A KR 20050010855 A KR20050010855 A KR 20050010855A KR 20060041770 A KR20060041770 A KR 20060041770A
Authority
KR
South Korea
Prior art keywords
gray
prediction error
luminance
block
image
Prior art date
Application number
KR1020050010855A
Other languages
English (en)
Other versions
KR100682929B1 (ko
Inventor
조대성
김현문
김우식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP20050251304 priority Critical patent/EP1571850A3/en
Priority to US11/072,492 priority patent/US8300689B2/en
Priority to JP2005062158A priority patent/JP4955216B2/ja
Publication of KR20060041770A publication Critical patent/KR20060041770A/ko
Application granted granted Critical
Publication of KR100682929B1 publication Critical patent/KR100682929B1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D17/00—Excavations; Bordering of excavations; Making embankments
    • E02D17/02—Foundation pits
    • E02D17/04—Bordering surfacing or stiffening the sides of foundation pits
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D2220/00—Temporary installations or constructions
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D29/00—Independent underground or underwater structures; Retaining walls
    • E02D29/045—Underground structures, e.g. tunnels or galleries, built in the open air or by methods involving disturbance of the ground surface all along the location line; Methods of making them

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Paleontology (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법이 개시된다. 그레이 알파채널을 포함한 영상 부호화장치는 블럭에 해당하는 화상데이터를 수신하고, 상기 블럭에 포함된 그레이 알파성분의 값에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 블럭데이터 수신부; 상기 전경영역에 포함되는 블럭에 대하여 그레이 알파성분과 휘도 및 색도성분을 순차적으로 부호화하는 전경영역 부호화부; 및 상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 부호화하는 배경영역 부호화부를 포함한다. 또한, 그레이 알파채널을 포함한 영상 복호화장치는 상기 비트열을 블럭 단위로 해석하고, 해석결과에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 비트열 해석부; 상기 전경영역에 포함되는 블럭에 대하여, 그레이 알파성분과 휘도 및 색도성분을 순차적으로 복호화하여 복원된 그레이 알파채널영상과 복원된 휘도 및 색도영상을 생성하는 전경영역 복호화부; 및 상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 복호화하여 복원된 그레이 알파채널영상을 생성하는 배경영역 복호화부를 포함한다.

Description

그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법{Apparatus and method of encoding/decoding image having gray alpha channel}
도 1a 및 도 1b는 본 발명에 의한 그레이 알파채널을 포함한 영상 부호화장치의 구성을 나타낸 블럭도,
도 2는 도 1b에 도시된 각 부의 세부적인 구성을 나타낸 블럭도,
도 3은 본 발명에 의한 그레이 알파채널을 포함한 영상 부호화방법의 동작을 설명하는 흐름도,
도 4은 도 1에 도시된 부호화장치에서 생성되는 비트열 구조의 예를 보여주는 도면,
도 5는 본 발명에 적용되는 그레이 알파성분의 부호화 블럭 패턴을 생성하는 방법을 설명하는 도면,
도 6a 및 도 6b는 본 발명에 의한 그레이 알파채널을 포함한 영상 복호화장치의 구성을 나타낸 블럭도,
도 7은 도 6b에 도시된 각 부의 세부적인 구성을 나타낸 블럭도,
도 8은 본 발명에 의한 그레이 알파채널을 포함한 영상 복호화방법의 동작을 설명하는 흐름도,
도 9는 영상의 시간상 예측을 위해 영상을 일정 크기의 블록으로 분할하는 방법의 일 예를 보여주는 도면,
도 10은 영상의 공간상 예측을 위한 인접 화소의 위치와 예측할 현재 블록의 화소의 위치를 나타낸 도면,
도 11은 그레이 알파채널을 포함한 영상의 일 예와 이를 매크로블럭으로 나누었을때 각 매크로블럭의 투명 여부를 나타낸 도면, 및
도 12는 그레이 알파채널을 포함한 영상을 이용한 영상 합성의 예를 나타낸 도면이다.
본 발명은 영상 부호화 및 복호화에 관한 것으로서, 특히 그레이 알파채널을 포함한 영상을 부호화 및 복호화하기 위한 장치 및 방법에 관한 것이다.
그레이 알파채널을 포함한 영상은 일반 영상에서 특정 영역을 선택할 수 있도록 마스크를 제공하는 역할을 한다. ISO/IEC MPEG-4 비디오 부호화 국제 표준("Text of ISO/IEC FDIS 14496-2: Information Technology - Generic coding of audio-visual objects - Part 2: Visual)에서는 영상 내의 객체 단위로 부호화할 수 있는 방법을 제공하는데, 이때 객체 단위로 구분하기 위해서 형상 정보를 따로 부호화한다. 이 형상 정보는 그레이 알파채널을 포함한 영상과 동일하게 사용될 수 있다. 그러나, MPEG-4에서는 일반 영상을 부호화하는 방법과는 별도의 방법으로 형상 정보를 부호화하기 때문에 그레이 알파채널을 포함한 영상의 부호화장치를 구현하는 것이 용이하지 않고, 그 계산량이 높아서 실시간으로 처리하는 데 어려움이 있다.
최근 표준화가 진행 중인 ISO/IEC MPEG 및 ITU-T VCEG의 Joint Video Team (JVT)의 H.264/MPEG-4 pt.10 AVC 표준화 기술("Text of ISO/IEC FDIS 14496-10: Information Technology - Coding of audio-visual objects - Part 10: Advanced Video Coding", ISO/IEC JTC 1/SC 29/WG 11, N5555, March, 2003)에서는 여러 가지 다양한 방법으로 공간상 및 시간상 예측 부호화를 수행하여 일반적인 영상의 부호화 효율을 크게 향상시켰다. 또한, 정수 변환 부호화라는 개선된 기능을 사용하였으며, 엔트로피 부호화도 CABAC(context adaptive binary arithmetic coding)을 사용하여 부호화 효율을 향상시켰다. 그러나, 그레이 알파채널을 포함한 영상을 처리하는 방법에 대해서는 제공하지 않고 있다.
본 발명이 이루고자 하는 기술적 과제는 그레이 알파채널을 포함한 영상을 부호화 및/혹은 복호화하기 위한 장치 및 방법을 제공하는데 있다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 그레이 알파채널을 포함한 영상 부호화장치는 그레이 알파성분 및 휘도 및 색도성분을 포함하는 화상데이터를 일정한 블럭 단위로 부호화하기 위하여, 블럭에 해당하는 화상데이터를 수신하고, 상기 블럭에 포함된 그레이 알파성분의 값에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 블럭데이터 수신부; 상기 전경영역에 포함되는 블럭에 대하여 그레이 알파성분과 휘도 및 색도성분을 순차적으로 부호화하는 전경영역 부호화부; 및 상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 부호화하는 배경영역 부호화부를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 그레이 알파채널을 포함한 영상 부호화방법은 그레이 알파성분 및 휘도 및 색도성분을 포함하는 화상데이터를 일정한 블럭 단위로 부호화하기 위하여, 블럭에 포함된 그레이 알파성분의 값에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 단계; 상기 전경영역에 포함되는 블럭에 대하여 그레이 알파성분과 휘도 및 색도성분을 순차적으로 부호화하는 단계; 및 상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 그레이 알파채널을 포함한 영상 복호화장치는 그레이 알파성분 및 휘도 및 색도성분을 포함하는 화상데이터를 부호화한 비트열을 복호화하기 위하여, 상기 비트열을 블럭 단위로 해석하고, 해석결과에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 비트열 해석부; 상기 전경영역에 포함되는 블럭에 대하여, 그레이 알파성분과 휘도 및 색도성분을 순차적으로 복호화하여 복원된 그레이 알파채널영상과 복원된 휘도 및 색도영상을 생성하는 전경영역 복호화부; 및 상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 복호화하여 복원된 그레이 알파채널영상을 생성하는 배경영역 복호화부를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 그레이 알파채널을 포함한 영상 복호화방법은 그레이 알파성분 및 휘도 및 색도성분을 포함하는 화상데이터를 부호화한 비트열을 복호화하기 위하여, 상기 비트열을 블럭 단위로 해석하는 단계; 상기 비트열 해석결과에 따라서, 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 단계; 상기 전경영역에 포함되는 블럭에 대하여, 그레이 알파성분과 휘도 및 색도성분을 순차적으로 복호화하여 복원된 그레이 알파채널영상과 복원된 휘도 및 색도영상을 생성하는 단계; 및 상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 복호화하여 복원된 그레이 알파채널영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에서는 상기 그레이 알파채널을 포함한 영상 부호화/복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 그레이 알파채널 영상 부호화/복호화 장치 및 방법에 대해 상세히 설명하기로 한다.
도 1a는 본 발명에 의한 그레이 알파채널을 포함한 영상 부호화장치의 구성을 나타낸 것으로서, 블럭데이터 수신부(101), 전경영역 부호화부(103) 및 배경영역 부호화부(105)를 포함하여 이루어진다.
도 1a를 참조하면, 블럭데이터 수신부(101)는 부호화화고자 입력되는 현재 프레임의 화상데이터를 일정한 블럭 단위, 예를 들면 매크로블럭 단위로 수신하고, 블럭에 포함된 그레이 알파성분의 값에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리한다.
전경영역 부호화부(103)는 전경영역에 포함되는 블럭에 대하여 그레이 알파성분과 휘도 및 색도성분을 순차적으로 부호화한다.
배경영역 부호화부(105)는 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 부호화한다.
도 1b는 도 1a에 도시된 영상 부호화장치의 세부적인 구성을 나타낸 블럭도로서, 블럭데이터 수신부(111), 그레이 예측오차 생성부(113), 그레이 예측오차 부호화부(115), 휘도 및 색도 예측오차 생성부(117), 휘도 및 색도 예측오차 부호화부(119) 및 비트열 생성부(121)를 포함하여 이루어진다.
도 1b를 참조하면, 블럭데이터 수신부(111)는 부호화화고자 입력되는 현재 프레임의 화상데이터를 일정한 블럭 단위, 예를 들면 매크로블럭 단위로 수신하고, 수신된 화상데이터 중 그레이 알파성분은 그레이 예측오차 생성부(113)로, 휘도 및 색도성분은 휘도 및 색도 예측오차 생성부(117)로 제공한다. 하나의 블럭에 포함된 화상데이터는 그레이 알파성분과 휘도 및 색도성분으로 이루어진다. 그레이 알파성분은 전경영역에 포함된 휘도 및 색도성분의 가중치를 나타내는 성분이다. 예를 들어, 그레이 알파성분이 8 비트로 표현되는 경우 0 내지 255의 값을 가진다. 이 값은 제1 휘도 및 색도영상을 제2 휘도 및 색도 영상에 합성될 때 가중치의 역할을 하므로, 제1 영상에 포함된 그레이 알파성분이 255에 가까울수록 제1 휘도 및 색도 영상에 큰 가중치를 두어 두 영상을 합성한다. 한편, 제1 영상에 포함된 그레이 알파성분이 0인 경우에는 제1 휘도 및 색도 영상은 전혀 고려되지 않고 제2 휘도 및 색도 영상만을 사용하여 두 영상을 합성한다. 이때, 전경영역의 경계정보 는 별도로 부호화할 필요없이 그레이 알파성분이 0이면 배경영역으로, 0이 아니면 다른 영상과의 합성에 사용되는 전경영역으로 판단한다, 따라서, 휘도 및 색도성분의 경우 배경영역에서는 존재할 필요가 없으므로 부호화 및 복호화가 수행되지 않아도 되는 것이다.
그레이 예측오차 생성부(113)는 현재 블럭에 포함된 그레이 알파성분에 대하여, 인트라 모드인 경우 이전에 복원된 공간상 인접 블럭의 그레이 알파성분을 참조하여 공간상 예측을 수행하고, 인터 모드인 경우 시간상 이전 프레임의 그레이 알파성분을 참조하여 시간상 예측을 수행하여 시공간 예측영상을 생성한 다음, 시공간 예측영상에 대하여 시공간 예측보상을 수행하여 보상된 예측영상을 생성한다. 현재 블럭의 그레이 알파성분으로부터 보상된 예측영상의 그레이 알파성분을 감산하여 그레이 예측오차를 생성한다. 현재 블럭을 구성하는 각 화소에 대한 그레이 예측오차의 절대값의 합을 미리 설정된 임계치와 비교하고, 비교결과 그레이 예측오차의 절대값의 합이 임계치보다 작은 경우에는 현재 블럭의 그레이 예측오차에 대해서는 변환 및 양자화과정과 엔트로피 부호화과정을 스킵하고, 이에 대한 정보를 비트열 생성부(121)로 제공한다. 한편, 비교결과 그레이 예측오차의 절대값의 합이 임계치보다 큰 경우에는 현재 블럭의 그레이 예측오차는 그레이 예측오차 부호화부(115)로 제공한다. 그레이 예측오차의 경우 인터 모드 혹은 인트라 모드에 상관없이 모든 블럭에 대해서 부호화과정 스킵을 고려할 수 있다.
그레이 예측오차 부호화부(115)는 그레이 예측오차에 대하여 변환 및 양자화를 수행하고, 양자화된 그레이 예측오차에 대하여 엔트로피 부호화를 수행하여 비 트열 생성부(121)로 제공한다.
휘도 및 색도 예측오차 생성부(117)는 현재 블럭의 그레이 알파성분이 모두 '0'인 경우 즉, 현재 블럭이 투명한(transparent)한 경우에는 현재 블럭의 휘도 및 색도성분은 부호화할 필요가 없기 때문에 현재 블럭의 휘도 및 색도성분의 부호화과정을 스킵하고, 이에 대한 정보를 비트율 생성부(121)로 제공한다. 한편, 현재 블럭이 투명하지 않은 경우에는 현재 블럭에 포함된 휘도 및 색도성분에 대하여, 인트라 모드인 경우 이전에 복원된 공간상 인접 블럭의 휘도 및 색도성분을 참조하여 공간상 예측을 수행하고, 인터 모드인 경우 시간상 이전 프레임의 휘도 및 색도성분을 참조하여 시간상 예측을 수행하여 시공간 예측영상을 생성한 다음, 시공간 예측영상에 대하여 시공간 예측보상을 수행하여 보상된 예측영상을 생성한다. 현재 블럭의 휘도 및 색도성분으로부터 보상된 예측영상의 휘도 및 색도성분을 감산하여 휘도 및 색도 예측오차를 생성한다. 그레이 예측오차 생성부(113)에서 현재 블럭의 그레이 예측오차의 부호화과정을 스킵하는 것으로 결정된 경우에는, 현재 블럭의 휘도 및 색도 예측오차에 대해서도 변환 및 양자화과정과 엔트로피 부호화과정을 스킵하고, 이에 대한 정보를 비트열 생성부(121)로 제공한다. 한편, 그레이 예측오차 생성부(113)에서 현재 블럭의 그레이 예측오차의 부호화과정을 수행하는 것으로 결정된 경우에는, 현재 블럭의 휘도 및 색도 예측오차는 휘도 및 색도 예측오차 부호화부(119)로 제공한다. 휘도 및 색도 예측오차의 경우 바람직하게는 인터 모드인 블럭에 대해서 부호화과정 스킵을 고려할 수 있다.
휘도 및 색도 예측오차 부호화부(119)는 휘도 및 색도 예측오차에 대하여 변 환 및 양자화를 수행하고, 양자화된 휘도 및 색도 예측오차에 대하여 엔트로피 부호화를 수행하여 비트열 생성부(121)로 제공한다.
비트열 생성부(121)는 매 블럭에 대하여 그레이 예측오차와 휘도 및 색도 예측오차의 부호화 스킵에 대한 정보, 블럭타입, 인트라/인터 예측부가정보, 부호화블럭패턴(Coded Block Pattern) 정보, 그레이 예측오차, 휘도 및 색도 예측오차를 포함하는 비트열을 생성한다. 이때, 예를 들면 도 4의 (a) 혹은 (b)에 도시된 바와 같은 비트열의 구조를 가질 수 있다.
도 2는 도 1b에 도시된 그레이 예측오차 생성부(113) 및 그레이 예측오차 부호화부(115)의 세부적인 구성을 나타낸 블럭도로서, 그레이 예측오차 생성부(113)는 시공간 예측부(201), 시공간 예측보상부(203), 감산부(205), 역양자화 및 역변환부(207), 가산부(209) 및 디블록킹 필터(209)를 를 포함하여 이루어진다. 한편, 그레이 예측오차 부호화부(115)는 변환 및 양자화부(213) 및 엔트로피 부호화부(215)를 포함하여 이루어진다.
도 2를 참조하면, 시공간 예측부(201)는 현재 프레임에 대한 그레이 알파채널영상(Fn)의 현재 블럭이 인트라 모드인 경우 현재 프레임에 대한 복원된 그레이 알파채널영상(F'n)을 참조하는 공간상 예측을 수행하여 공간상 예측영상을 생성하고, 현재 블럭이 인터 모드인 경우 이전 프레임의 복원된 그레이 알파채널영상(F'n-1)을 참조하는 시간상 예측을 수행하여 시간상 예측영상을 생성한다.
시공간 예측보상부(203)는 시공간 예측부(201)로부터 제공되는 시공간상 예 측영상에 대하여 시공간상 예측보상을 수행하고, 보상된 시공간상 예측영상을 감산부(205) 및 가산부(209)로 제공한다.
감산부(205)는 현재 그레이 알파채널영상(Fn)으로부터 보상된 시공간상 예측영상을 감산하여 현재 블럭에 대한 그레이 예측오차를 생성한다. 이때, 현재 블럭을 구성하는 각 화소에 대한 그레이 예측오차의 절대값의 합을 미리 설정된 임계치와 비교하고, 비교결과에 따라서 해당 블럭의 그레이 예측오차를 모두 '0'으로 설정한 후 비트열 생성부(도 1의 111) 및 가산부(209)로 제공한다.
역양자화 및 역변환부(207)는 변환 및 양자화부(213)에서 변환 및 양자화된 그레이 예측오차를 역양자화 및 역변환하여 가산부(209)로 제공한다.
가산부(209)는 역양자화 및 역변환된 그레이 예측오차와 시공간 예측보상부(203)로부터 제공되는 보상된 시공간상 예측영상을 가산하여 현재 블럭에 대하여 복원된 그레이 알파채널영상(F'n)을 생성한다. 복원된 그레이 알파채널영상(F'n)은 시공간 예측부(201), 시공간 예측보상부(203) 및 디블록킹 필터(211)로 제공된다.
디블록킹 필터(211)는 가산부(209)로부터 제공되는 복원된 그레이 알파채널영상(F'n)에서 블럭들간의 블록킹 효과를 제거하기 위하여 사용되는 것으로서, 반드시 구비되는 구성요소는 아니다.
변환 및 양자화부(213)는 감산부(205)로부터 제공되는 그레이 예측오차를 변환 및 양자화하여, 양자화된 그레이 예측오차를 엔트로피 부호화부(215)로 제공한다. 이때, 이산여현변환 혹은 정수변환 등과 같은 변환기법을 사용할 수 있으나, 이에 한정되지는 않는다.
엔트로피 부호화부(215)는 양자화된 그레이 예측오차를 엔트로피 부호화하여 비트열 생성부(111)로 제공한다.
상기한 그레이 예측오차의 부호화과정은 임의의 블럭을 구성하는 각 화소에 대한 그레이 예측오차의 절대값의 합이 임계치보다 작은 경우에는 예측모드가 인터모드인지 인트라모드인지에 상관없이 스킵하는 것이 가능하다.
도 2에 도시된 그레이 예측오차 생성부(113) 및 그레이 예측오차 부호화부(115)의 구성은 휘도 및 색도 예측오차 생성부(117) 및 휘도 및 색도 예측오차 부호화부(119)에 그대로 적용할 수 있다. 그레이 예측오차의 부호화과정과의 차이점은 휘도 및 색도 예측오차의 부호화과정은 임의의 블럭을 구성하는 각 화소에 대한 휘도 및 색도 예측오차의 절대값의 합이 임계치보다 작은 경우에는 예측모드가 인터모드인 경우 스킵하는 것이 가능하다는 점이다.
그레이 혹은 휘도 및 색도 예측오차의 부호화과정을 스킵한 경우에는 해당 블럭의 화소값을 부호화하지 않고 스킵한다는 표시만 해당 블럭의 비트열에 포함시키는 것이다. 이에 따르면 CBP 정보, 움직임벡터, 화소값 등 모든 정보에 대한 부호화가 생략되며, 현재 블럭의 예측오차는 스킵하고, 예측보상된 예측영상을 그대로 사용하여 복원된 영상을 얻는다. 예를 들어, 이전 프레임의 그레이 알파채널영상에서 현재 프레임의 그레이 알파채널영상과 동일한 위치에 있는 블럭의 화소값을 그대로 사용하거나, 현재 블럭의 주변에 있는 블럭의 움직임 벡터를 이용하여 이전 프레임의 그레이 알파채널영상의 특정 위치를 계산하고, 그 위치에 있는 블럭의 화 소값을 그대로 사용한다.
도 3은 본 발명에 의한 그레이 알파채널을 포함한 영상 부호화방법의 동작을 설명하는 흐름도이다.
도 3을 참조하면, 301 단계에서는 부호화하고자 하는 현재 프레임의 화상데이터를 블럭 단위로 수신한다. 303 단계에서는 현재 프레임의 화상데이터 중에서 그레이 알파성분의 예측오차를 생성한다.
305 단계에서는 그레이 예측오차의 절대값의 합을 임계치와 비교하고, 그레이 예측오차의 절대값의 합이 임계치보다 작은 경우에는 307 단계에서 그레이 예측오차의 부호화과정을 스킵한다.
309 단계에서는 301 단계에서 수신된 현재 블럭의 화상데이터에 그레이 알파성분이 모두 '0'인 경우 즉, 현재 블럭이 투명한지를 판단하고, 현재 블럭이 '0'이 아닌 그레이 알파성분을 포함하고 있지 않은 경우에는 311 단계에서 현재 블럭의 휘도 및 색도성분의 부호화과정을 스킵한다.
313 단계에서는 309 단계에서의 판단결과, 현재 블럭이 '0'이 아닌 그레이 알파성분을 포함하고 있는 경우 즉, 현재 블럭이 불투명한 경우 휘도 및 색도성분의 예측오차를 생성한다.
315 단계에서는 307 단계에서 현재 블럭의 그레이 예측오차의 부호화과정을 스킵하였기 때문에 현재 블럭의 휘도 및 색도 예측오차의 부호화과정도 스킵한다.
한편, 305 단계에서의 비교결과, 그레이 예측오차의 절대값의 합이 임계치보다 큰 경우에는 317 단계에서 그레이 예측오차의 부호화과정을 수행한다.
319 단계에서는 301 단계에서 수신된 현재 블럭의 화상데이터에 그레이 알파성분이 모두 '0'인 경우 즉, 현재 블럭이 투명한지를 판단하고, 현재 블럭이 '0'이 아닌 그레이 알파성분을 포함하고 있지 않은 경우에는 321 단계에서 현재 블럭의 휘도 및 색도성분의 부호화과정을 스킵한다.
323 단계에서는 319 단계에서의 판단결과, 현재 블럭이 '0'이 아닌 그레이 알파성분을 포함하고 있는 경우 즉, 현재 블럭이 불투명한 경우 휘도 및 색도성분의 예측오차를 생성한다.
325 단계에서는 317 단계에서 현재 블럭의 그레이 예측오차의 부호화과정을 수행하였기 때문에 현재 블럭의 휘도 및 색도 예측오차의 부호화과정도 수행한다.
도 4은 도 1에 도시된 부호화장치에서 생성되는 비트열 구조의 예를 보여주는 것으로서, (a)에 도시된 비트열 구조는 인트라/인터 예측부가정보를 그레이 알파성분, 휘도 및 색도성분에 모두 동일하게 적용한 예로서, MB 스킵플래그(411), MB 타입(412), 인트라/인터 예측부가정보(413), 그레이 부호화블럭패턴(CBPG,414), 그레이 예측오차(415), 휘도 및 색도 부호화블럭패턴(CBP,416), 휘도 예측오차(417) 및 색도 예측오차(418)를 포함하여 이루어진다. 한편, (b)에 도시된 비트열 구조는 인트라/인터 예측부가정보를 그레이 알파성분에 대하여 독립적으로 적용한 예로서, MB 스킵플래그(421), MB 타입(422), 그레이 인트라/인터 예측부가정보(423), 그레이 부호화블럭패턴(CBPG,424), 그레이 예측오차(425), 휘도 및 색도 인트라/인터 예측부가정보(426), 휘도 및 색도 부호화블럭패턴(CBP,427), 휘도 예측오차(428) 및 색도 예측오차(429)를 포함하여 이루어진다.
도 4에 있어서, MB 스킵플래그(411,421)는 그레이 알파성분과 휘도 및 색도성분의 예측오차에 대한 부호화과정을 수행하였는지 여부를 나타내는 필드이다. 예를 들어, 그레이 알파성분과 휘도 및 색도성분의 예측오차에 대한 부호화과정이 스킵된 경우, 즉 MB 스킵플래그(411,421)가 '1'인 경우에는 해당 블럭에 대해서는 인트라/인터 예측부가정보 및 예측오차가 부호화되지 않고 전송되므로 인트라/인터 예측부가정보는 시공간상 인접한 블럭으로부터 예측하여 얻고, 예측오차는 '0'으로 설정한다. 복원된 그레이 알파 정보에 의해 현재 블럭이 투명한 경우에는 MB 스킵플래그(411,421)의 값에 상관없이 휘도 및 색도 예측오차가 존재하지 않아 복호화 또한 수행할 필요가 없으므로 불필요한 계산량 증가를 방지할 수 있다.
MB 타입(412,422)은 예측모드가 인트라 모드인지 인터 모드인지를 알려주는 필드이다. H.264 에서 인터 모드는 블럭을 어느 정도의 크기로 분할할 것인지에 따라서 여러가지 방식으로 구분하고, 인트라 모드는 공간적으로 인접한 화소값을 어느 방향에서 예측할 것인지에 따라서 여러가지 방식으로 구분한다.
인트라/인터 예측부가정보(413,423,5236)는 움직임벡터정보 및 인트라 예측방향 정보를 포함하는 필드이다. CBPG(414,424)는 그레이 알파성분에 대한 부호화블럭패턴을 나타내며, 휘도 및 색도성분의 CBP(416,427)와 마찬가지로 8×8 블럭 단위로 8×8 블럭 내에 '0'이 아닌 변환계수가 존재하는지 여부를 나타낸다.
도 5는 본 발명에 적용되는 그레이 알파성분의 부호화 블럭 패턴(CBPG)을 생성하는 방법을 설명하는 도면으로서, 16×16 매크로블럭의 그레이 알파성분을 4개의 8×8 블럭으로 분할하고, 순차주사 방향으로 각 8×8 블럭을 A, B, C, D라 한 경우, A, B, C, D 순으로 각각 부호화과정이 스킵된 경우 '0', 부호화과정이 수행된 경우 '1'로 할당하여 예측오차의 부호화 여부를 알려준다.
도 6a는 본 발명에 의한 그레이 알파채널을 포함한 영상 복호화장치의 구성을 나타낸 것으로서, 비트열 해석부(601), 전경영역 복호화부(603) 및 배경영역 복호화부(605)를 포함하여 이루어진다.
도 6a를 참조하면, 비트열 해석부(601)는 비트열을 블럭 단위로 해석하고, 해석결과에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리한다.
전경영역 복호화부(603)는 전경영역에 포함되는 블럭에 대하여, 그레이 알파성분과 휘도 및 색도성분을 순차적으로 복호화하여 복원된 그레이 알파채널영상과 복원된 휘도 및 색도영상을 생성한다.
배경영역 복호화부(605)는 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 복호화하여 복원된 그레이 알파채널영상을 생성한다.
도 6b는 도 6a에 도시된 영상 복호화장치의 세부적인 구성을 나타낸 블럭도로서, 비트열 해석부(611), 그레이 예측오차 복호화부(613), 그레이 성분 복원부(615), 휘도 및 색도 예측오차 복호화부(617) 및 휘도 및 색도성분 복원부(619)를 포함하여 이루어진다.
도 6b를 참조하면, 비트열 해석부(611)는 부호화되어 생성된 비트열을 해석한다.
그레이 예측오차 복호화부(613)는 현재 블럭에 대한 비트열을 해석한 결과 MB 스킵 플래그를 참조하여, 그레이 예측오차에 대한 부호화가 수행된 경우 즉, MB 스킵 플래그가 '0'인 경우 그레이 예측오차에 대한 복호화를 수행한다. 만약, 그레이 예측오차에 대한 부호화가 스킵된 경우 즉, MB 스킵 플래그가 '1'인 경우 현재 블럭의 그레이 예측오차의 복호화 결과를 '0'으로 예측한다.
그레이 성분 복원부(615)는 현재 블럭에 대한 비트열을 해석한 결과 MB 타입을 참조하여 예측모드가 인트라 모드인지 인터 모드인지를 판단하고, 복호화된 그레이 예측오차에 대하여 시공간상 예측보상을 수행하여 얻은 예측영상을 더하여 복원된 그레이 알파채널영상을 생성한다.
휘도 및 색도 예측오차 복호화부(617)는 현재 블럭에 대한 비트열을 해석한 결과 MB 스킵 플래그를 참조하여, 휘도 및 색도 예측오차에 대한 부호화가 수행된 경우 즉, MB 스킵 플래그가 '0'인 경우 휘도 및 색도 예측오차에 대한 복호화를 수행한다. 마찬가지로, 휘도 및 색도 예측오차에 대한 부호화가 스킵된 경우 즉, MB 스킵 플래그가 '1'인 경우 현재 블럭의 휘도 및 색도 예측오차의 복호화 결과를 '0'으로 예측한다.
휘도 및 색도성분 복원부(619)는 현재 블럭에 대한 비트열을 해석한 결과 MB 타입을 참조하여 예측모드가 인트라 모드인지 인터 모드인지를 판단하고, 복호화된 휘도 및 색도 예측오차에 대하여 시공간상 예측보상을 수행하여 얻은 예측영상을 더하여 복원된 휘도 및 색도 영상을 생성한다.
도 7은 도 6b에 도시된 그레이 예측오차 복호화부(613) 및 그레이 성분 복원부(615)의 세부적인 구성을 나타낸 블럭도로서, 그레이 예측오차 복호화부(613)는 엔트로피 복호화부(701) 및 역양자화 및 역변환부(703)를 포함하여 이루어지고, 그 레이 성분 복원부(615)는 시공간 예측부성부(707) 및 디블록킹 필터(709)를 포함하여 이루어진다.
도 7을 참조하면, 엔트로피 복호화부(701)는 비트열 해석부(601)의 비트열 해석결과, MB 스킵플래그가 '0'인 경우 부호화된 그레이 예측오차를 엔트로피 복호화한다. 한편, 비트열 해석부(601)의 비트열 해석결과, MB 스킵플래그가 '1'인 경우에는 해당 블럭의 그레이 예측오차를 모두 '0'으로 설정하여 가산부(705)로 제공한다.
역양자화 및 역변환부(703)는 엔트로피 복호화된 그레이 예측오차를 역양자화 및 역변환하고, 역변환된 그레이 예측오차를 가산부(705)로 제공한다.
가산부(705)는 역변환된 그레이 예측오차 혹은 '0' 값을 갖는 예측오차를 보상된 시공간상 예측영상과 가산하여 복원된 그레이 알파채널영상(Fn')을 생성한다.
시공간상 예측보상부(707)는 예측모드에 따라서 현재 프레임의 복원된 그레이 알파채널영상(Fn') 혹은 이전 프레임의 복원된 그레이 알파채널영상(Fn-1')을 이용하여 시공간상 예측보상을 수행하여, 보상된 시공간상 예측영상을 가산부(201)로 제공한다.
디블록킹 필터(709)는 가산부(705)로부터 제공되는 복원된 그레이 알파채널영상(F'n)에서 블럭들간의 블록킹 효과를 제거하기 위하여 사용되는 것으로서, 반드시 구비되는 구성요소는 아니다.
도 7에 도시된 그레이 예측오차 복호화부(613) 및 그레이 성분 복원부(615) 의 구성은 휘도 및 색도 예측오차 복호화부(617) 및 휘도 및 색도성분 복원부(619)에 그대로 적용할 수 있다.
도 8은 본 발명에 의한 그레이 알파채널을 포함한 영상 복호화방법의 동작을 설명하는 흐름도이다.
도 8을 참조하면, 801 단계에서는 수신되는 비트열을 블럭 단위로 해석한다.
803 단계에서는 비트열 해석결과, MB 스킵플래그를 참조하여 현재 블럭에 대한 예측오차의 부호화과정이 스킵되었는지 여부를 판단한다.
803 단계에서의 판단결과, 현재 블럭에 대한 예측오차의 부호화과정이 스킵된 경우 805 단계에서는 시공간상 인접한 블럭에서 인트라/인터 예측부가정보를 복원한다.
807 단계에서는 복원된 인트라/인터 예측부가정보를 이용하여 그레이 예측 영상을 보상하고, 809 단계에서는 보상된 그레이 예측영상을 이용하여 그레이 알파성분을 복원한다.
811 단계에서는 809 단계에서 복원된 현재 블럭의 그레이 알파성분이 모두 '0'인가를 판단하고, 모두 '0' 인경우 813 단계에서 현재 블럭의 휘도 및 색도성분의 복호화과정 자체를 스킵한다. 한편, 811 단계에서의 판단결과, 현재 블럭의 그레이 알파성분이 '0'이 아닌 값을 갖는 경우 815 단계에서 휘도 및 색도성분의 예측 영상을 보상하고, 817 단계에서는 보상된 휘도 및 색도 예측영상에 복호화된 휘도 및 색도 예측오차를 더하여 휘도 및 색도 성분을 복원한다.
한편, 803 단계에서의 판단결과, 현재 블럭에 대한 예측오차의 부호화과정이 수행된 경우 819 단계에서는 그레이 예측영상을 보상하고, 821 단계에서는 보상된 그레이 예측 영상에 복호화된 그레이 예측오차를 더하여 그레이 알파성분을 복원한다.
823 단계에서는 821 단계에서 복원된 현재 블럭의 그레이 알파성분이 모두 '0'인가를 판단하고, 모두 '0' 인경우 825 단계에서 현재 블럭의 휘도 및 색도성분의 복호화과정 자체를 스킵한다. 한편, 823 단계에서의 판단결과, 현재 블럭의 그레이 알파성분이 '0'이 아닌 값을 갖는 경우 827 단계에서 휘도 및 색도성분의 예측영상을 보상하고, 829 단계에서는 보상된 예측영상에 휘도 및 색도 예측오차를 더하여 휘도 및 색도 성분을 복원한다.
다음 표 1은 본 발명에 따른 그레이 알파채널을 포함한 영상 부호화장치에서 사용된 부호화모드 1 내지 4에 따른 부호화방식을 나타낸다.
부호화 모드 MB 스킵 플래그 MB의 그레이 알파 성분 포함 여부 부호화방식
1 스킵함(1) 불투명(1) 휘도 및 색도성분 예측오차 부호화 스킵 그레이 알파성분 예측오차 부호화 스킵
2 스킵함(1) 투명(0) 휘도 및 색도성분 부호화 스킵 그레이 알파성분 예측오차 부호화 스킵
3 스킵안함(0) 불투명(1) 휘도 및 색도성분 예측오차 부호화 수행 그레이 알파성분 예측오차 부호화 수행
4 스킵안함(0) 투명(0) 휘도 및 색도성분 부호화 스킵 그레이 알파성분 예측오차 부호화 수행
상기 표 1을 참조하면, 부호화하고자 입력되는 임의의 블럭이 그레이 알파성분을 포함하는지 여부에 따라서 해당 블럭을 배경영역 혹은 전경영역으로 구분한다. 만약, 해당 블럭이 그레이 알파성분을 포함하지 않는 경우에는 해당 블럭은 배경영역이므로, 휘도 및 색도성분은 부호화를 수행하지 않고, 그레이 알파성분에 대해서는 부호화를 수행한다. 이때, 해당 블럭에 대한 그레이 알파성분의 예측오차가 임계치보다 작은 경우에는 그레이 알파성분의 예측오차에 대한 부호화를 스킵하고, 큰 경우에는 그레이 알파성분의 예측오차에 대하여 변환 및 양자화과정을 거친후 엔트로피 부호화한다.
한편, 해당 블럭이 그레이 알파성분을 포함하는 경우에는 해당 블럭은 전경영역이므로, 그레이 알파성분 뿐만 아니라 휘도 및 색도성분에 대해서도 부호화를 수행한다. 이때, 해당 블럭에 대한 그레이 알파성분의 예측오차가 임계치보다 작은 경우에는 그레이 알파성분의 예측오차와 휘도 및 색도성분의 예측오차에 대한 부호화를 스킵하고, 큰 경우에는 그레이 알파성분의 예측오차와 휘도 및 색도성분의 예측오차에 대하여 변환 및 양자화과정을 거친후 엔트로피 부호화한다.
도 9는 영상의 시간상 예측을 위해 영상을 일정 크기의 블록으로 분할하는 방법의 일 예를 보여주는 도면이다. 이 방법은 ISO/IEC 14496-10 및 ITU-T Rec. H.264 표준기술에서 사용하는 방법이다. 이 방법에서는 기본적으로 가로/세로 16 화소 크기의 매크로블록을 16×16, 16×8, 8×16, 8×8의 다양한 크기로 나누고, 각각 움직임 벡터를 구하여 시간상으로 영상 값을 예측한다. 특히 8×8 크기의 블록은 다시 8×8, 8×4, 4×8, 4×4 크기로 나누어 세밀한 움직임도 정확히 감지하게 해준다.
또한, 시간상 예측을 사용하는 경우 반화소/1/4 화소(half-pel/quater-pel) 움직임 예측방법을 사용하기 위하여 이전 알파채널 영상을 2배 혹은 4배로 확대한 후에 움직임 예측을 수행할 수 있다. 이와 같은 영상의 확대를 위하여, MPEG-4에 서는 쌍선형 보간(bi-linear interpolation)을 수행하고, H.264에서는 6탭 필터를 사용한 보간을 수행한다. 그러나, 그레이 알파채널을 포함한 영상에서는 계산량을 간단히 하기 위하여 이와 같은 움직임 예측과정을 생략할 수 있으며, 이와 같은 움직임 예측과정을 적용하기 위해서는 상기 보간방법 뿐만 아니라 계산량을 간단히 할 수 있는 별도의 보간방법을 사용할 수 있다.
도 10에서 (a)는 영상의 공간상 예측을 위한 인접 화소의 위치와 예측할 현재 블록의 화소의 위치를 나타낸 그림이다. 도 9에 도시된 방법과 마찬가지로 이 방법은 ISO/IEC 14496-10 및 ITU-T Rec. H.264 표준기술에서 사용하는 방법이다. 이 방법에서는 4×4 크기의 블록 데이터 (Pa, Pb, ..., Pq)를 예측하기 위해 이전에 부호화되어 복원된 공간상의 인접한 데이터 (P0, P1, ..., P12)를 이용한다. 도 10에서 (b)는 공간상 인접한 화소로부터 투영(projection)하여 현재 블록을 예측하기 위한 0부터 8까지의 9가지 예측 방향을 나타낸다. 예를 들어 0의 방향의 경우는 인접한 화소 값 P1, P2, P3 및 P4를 수직 방향으로 투영하여 Pa, Pe, Pi 및 Pm은 P1값, Pb, Pf, Pj 및 Pn은 P2값, Pc, P g, Pk 및 Po는 P3값, Pd, Ph, P l 및 Pq는 P4값으로 예측한다. 다른 방향의 경우도 마찬가지로 투영을 통해 예측한다.
도 9 및 도 10에 도시된 바와 같은 시공간 예측 방법은 기존의 표준기술을 일 예로 들어 설명한 것으로, 다른 방법을 사용하는 것도 가능하다.
도 11은 그레이 알파영상의 일 예와 이를 매크로블럭으로 나누었을때 각 매크로블럭이 투명한지(transparent) 불투명한지(opaque) 여부를 나타낸 것으로서, '1'은 투명함을, '0'은 불투명함을 나타낸다. 여기서, '1'로 표시된 매크로블럭은 배경(background)영역으로서, 그레이 알파성분은 부호화 및 복호화에 의해 복원되지만, 휘도 및 색도 성분이 존재하지 않기 때문에 부호화 및 복호화되지 않는다. 이때, 그레이 알파성분은 투명 여부에 상관없이 매크로블럭 단위로 인트라/인터 예측보상을 수행하여 부호화 및 복호화를 수행한다. 한편, '0'으로 표시된 매크로블럭은 전경(foreground)영역으로서, 휘도 및 색도 성분이 존재하기 때문에 인트라/인터 예측보상을 수행하여 부호화 및 복호화를 수행한다.
도 12는 그레이 알파채널을 포함한 영상을 이용한 영상 합성의 예를 나타낸 것으로서, 참조번호 1201은 휘도 및 색도성분을 갖는 전경영역을 나타내고, 참조번호 1202는 이 전경영역을 나타내기 위한 그레이 알파성분의 영상을 나타낸다. 이와 같은 그레이 알파성분을 이용하여 전경영역(1201)은 임의의 휘도 및 색도성분을 갖는 영상(1203)과 합성하여 다른 합성된 영상(1204)를 얻을 수 있다. 이러한 과정은 방송을 위한 컨텐츠 편집과정에서 영상의 특정 영역을 다른 영상과 합성하여 새로운 배경의 영상을 만들때 사용할 수 있다. 만약, 전경영역(1201)의 휘도 및 색도성분을 Nyuv , 해당하는 그레이성분을 Nα , 영상(1203)의 휘도 및 색도성분을 Myuv , 두 영상의 합성 영상(1204)의 휘도 및 색도성분을 Pyuv 라 하는 경우, 다음 수학식 1에서와 같이 나타낼 수 있다.
Figure 112005006988639-PAT00001
그레이 성분 Nα 는 n 비트로 표시하는데, 예를 들어 8 비트인 경우 0에서 255 의 값을 갖는다. 수학식 1에서와 같이 그레이 성분은 두 영상의 휘도 및 색도 성분간의 가중평균을 위한 가중치 값으로 사용된다. 따라서, 그레이 성분이 '0'인 경우에는 배경영역으로서, 배경영역의 휘도 및 색도성분은 그 값에 상관없이 합성된 영상에는 영향을 미치지 않는다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 바와 같이 본 발명에 따른 그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법에 있어서, 그레이 알파성분은 두 영상의 합성을 위한 가중치 뿐만 아니라 전경 및 배경영역을 분리하기 위한 마스크로 작용하기 때문에 전경 및 배경영역을 분리하기 위한 별도의 이진 데이터를 부호화 및 복호화할 필요가 없어 전체 부호화효율이 높아지는 동시에 복잡도가 줄어드는 이점이 있다.
또한, 그레이 알파 성분이 존재하는지에 따라서 배경영역의 휘도 및 색도성분에 대한 부호화 여부를 결정함으로써 추가적인 부호화효율 개선을 도모할 수 있고, 그레이 알파 성분의 복호화 결과에 따라서 배경영역의 휘도 및 색도성분에 대한 복호화 여부를 결정함으로써 추가적인 복잡도 감소를 도모할 수 있다.
또한, 그레이 알파 성분의 경우, 휘도 및 색도 성분과는 달리 매크로블럭 스킵 플래그를 '1'로 설정하여 인트라 예측모드시 예측부가정보 및 예측오차를 부호화하지 않도록 함으로써 추가적인 부호화효율 개선을 도모할 수 있다.
또한, 그레이 알파채널을 포함한 영상은 일반적인 영상과는 독립적으로 부호화 및 복호화할 수 있고, 그레이 알파채널을 포함한 영상의 부호화 및 복호화장치의 전반적인 구조가 일반적인 영상 부호화/복호화장치 및 방법, 예를 들면 H.264 표준기술의 구조와 호환성이 있기 때문에 함께 구현하여 사용하기가 용이하고, 적은 계산량으로 높은 부호화효율을 낼 수 있는 장점이 있다.
또한, 본 발명에 따른 부호화 및 복호화장치 및 방법은 그레이 알파채널을 포함한 영상 뿐만 아니라 이진 알파채널을 포함한 영상에도 동일하게 적용하여 사용할 수 있다. 즉, 이진 알파채널을 포함한 영상에서 일정한 블럭, 예를 들면 매크로블럭 단위로 부호화 및 복호화를 수행함에 있어서, 하나의 블럭이 배경영역에 속하는 경우 휘도 및 색도성분을 부호화 및 복호화하지 않음으로써 부호화효율을 높일 수 있을 뿐 아니라 계산량을 감소시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (24)

  1. 그레이 알파성분 및 휘도 및 색도성분을 포함하는 화상데이터를 일정한 블럭 단위로 부호화하기 위하여,
    블럭에 해당하는 화상데이터를 수신하고, 상기 블럭에 포함된 그레이 알파성분의 값에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 블럭데이터 수신부;
    상기 전경영역에 포함되는 블럭에 대하여 그레이 알파성분과 휘도 및 색도성분을 순차적으로 부호화하는 전경영역 부호화부; 및
    상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 부호화하는 배경영역 부호화부를 포함하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화장치.
  2. 제1 항에 있어서, 상기 전경영역 부호화부는
    상기 블럭에 포함된 그레이 알파성분에 대한 예측오차를 생성하는 그레이 예측오차 생성부;
    상기 블럭에 대한 그레이 예측오차와 임계치와의 비교 결과에 따라서, 상기 그레이 예측오차에 대한 부호화과정을 수행하는 그레이 예측오차 부호화부;
    상기 블럭에 포함된 휘도 및 색도성분에 대한 예측오차를 생성하는 휘도 및 색도 예측오차 생성부;
    상기 블럭에 대한 그레이 예측오차와 임계치와의 비교 결과에 따라서, 상기 휘도 및 색도 예측오차에 대한 부호화과정을 수행하는 휘도 및 색도 예측오차 부호화부; 및
    상기 그레이 예측오차의 부호화결과 및 상기 휘도 및 색도 예측오차의 부호화결과에 따라서 비트열을 생성하는 비트열 생성부를 포함하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화장치.
  3. 제1 항에 있어서, 상기 배경영역 부호화부는
    상기 블럭에 포함된 그레이 알파성분에 대한 예측오차를 생성하는 그레이 예측오차 생성부;
    상기 블럭에 대한 그레이 예측오차와 임계치와의 비교 결과에 따라서, 상기 그레이 예측오차에 대한 부호화과정을 수행하는 그레이 예측오차 부호화부; 및
    상기 그레이 예측오차의 부호화결과에 따라서 비트열을 생성하는 비트열 생성부를 포함하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화장치.
  4. 제2 항 또는 제3 항에 있어서, 상기 그레이 예측오차 부호화부는 상기 블럭 에 대한 그레이 예측오차가 상기 임계치보다 작은 경우 예측모드에 상관없이 상기 그레이 예측오차의 부호화과정을 스킵하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화장치.
  5. 제2 항에 있어서, 상기 휘도 및 색도 예측오차 생성부는 상기 블럭에 포함된 그레이 알파성분의 값이 모두 '0'인 경우 상기 블럭의 휘도 및 색도 성분의 부호화과정을 스킵하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화장치.
  6. 제2 항에 있어서, 상기 휘도 및 색도 예측오차 부호화부는 상기 블럭에 대한 그레이 예측오차가 상기 임계치보다 작고 예측모드가 인터 모드인 경우, 상기 휘도 및 색도 예측오차의 부호화과정을 스킵하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화장치.
  7. 그레이 알파성분 및 휘도 및 색도성분을 포함하는 화상데이터를 일정한 블럭 단위로 부호화하기 위하여,
    블럭에 포함된 그레이 알파성분의 값에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 단계;
    상기 전경영역에 포함되는 블럭에 대하여 그레이 알파성분과 휘도 및 색도성분을 순차적으로 부호화하는 단계; 및
    상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 부호화하는 단 계를 포함하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화방법.
  8. 제7 항에 있어서, 상기 영역분리단계에서는 모두 '0'인 그레이 알파성분을 포함하는 블럭은 배경영역으로, '0'이 아닌 그레이 알파성분을 포함하고 있는 블럭은 전경영역으로 분리하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화방법.
  9. 제7 항에 있어서, 상기 전경영역 부호화단계에서는 상기 블럭에 대한 그레이 예측오차가 임계치보다 작은 경우, 상기 그레이 예측오차와 상기 휘도 및 색도 예측오차에 대한 부호화과정을 스킵하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화방법.
  10. 제9 항에 있어서, 상기 그레이 예측오차에 대한 부호화과정은 예측모드에 상관없이 스킵하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화방법.
  11. 제9 항에 있어서, 상기 휘도 및 색도 예측오차에 대한 부호화과정은 예측모드가 인터모드인 경우 스킵하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화방법.
  12. 제7 항에 있어서, 상기 배경영역 부호화단계에서는 상기 블럭에 대한 그레이 예측오차가 임계치보다 작은 경우, 상기 그레이 예측오차에 대한 부호화과정을 스킵하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화방법.
  13. 제12 항에 있어서, 상기 그레이 예측오차에 대한 부호화과정은 예측모드에 상관없이 스킵하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 부호화방법.
  14. 그레이 알파성분 및 휘도 및 색도성분을 포함하는 화상데이터를 부호화한 비트열을 복호화하기 위하여,
    상기 비트열을 블럭 단위로 해석하고, 해석결과에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 비트열 해석부;
    상기 전경영역에 포함되는 블럭에 대하여, 그레이 알파성분과 휘도 및 색도성분을 순차적으로 복호화하여 복원된 그레이 알파채널영상과 복원된 휘도 및 색도영상을 생성하는 전경영역 복호화부; 및
    상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 복호화하여 복원된 그레이 알파채널영상을 생성하는 배경영역 복호화부를 포함하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 복호화장치.
  15. 제14 항에 있어서, 상기 전경영역 복호화부는
    상기 부호화된 그레이 예측오차를 복호화하는 그레이 예측오차 복호화부;
    상기 복호화된 그레이 예측오차로부터 그레이 알파채널영상을 복원하는 그레이성분 복원부;
    상기 부호화된 휘도 및 색도 예측오차를 복호화하는 휘도 및 색도 예측오차 복호화부; 및
    상기 복호화된 휘도 및 색도 예측오차로부터 휘도 및 색도 영상을 복원하는 휘도 및 색도성분 복원부를 포함하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 복호화장치.
  16. 제14 항에 있어서, 상기 배경영역 복호화부는
    상기 부호화된 그레이 예측오차를 복호화하는 그레이 예측오차 복호화부; 및
    상기 복호화된 그레이 예측오차로부터 그레이 알파채널영상을 복원하는 그레이성분 복원부를 포함하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 복호화장치.
  17. 제15 항 또는 제16 항에 있어서, 상기 그레이 예측오차 복호화부는 그레이 예측오차의 부호화과정이 스킵된 블럭의 그레이 예측오차를 '0'으로 복호화하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 복호화장치.
  18. 제16 항에 있어서, 상기 휘도 및 색도 예측오차 복호화부는 휘도 및 색도 부호화과정이 스킵된 블럭에 대하여 복호화과정을 스킵하는 것을 특징으로 하는 그레 이 알파채널을 포함한 영상 복호화장치.
  19. 제18 항에 있어서, 상기 휘도 및 색도 예측오차 복호화부는 휘도 및 색도 예측오차의 부호화과정이 스킵된 블럭의 휘도 및 색도 예측오차를 '0'으로 복호화하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 복호화장치.
  20. 그레이 알파성분 및 휘도 및 색도성분을 포함하는 화상데이터를 부호화한 비트열을 복호화하기 위하여,
    상기 비트열을 블럭 단위로 해석하고, 해석결과에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 단계;
    상기 전경영역에 포함되는 블럭에 대하여, 그레이 알파성분과 휘도 및 색도성분을 순차적으로 복호화하여 복원된 그레이 알파채널영상과 복원된 휘도 및 색도영상을 생성하는 단계; 및
    상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 복호화하여 복원된 그레이 알파채널영상을 생성하는 단계를 포함하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 복호화방법.
  21. 제20 항에 있어서, 상기 전경영역 복호화단계는 그레이 예측오차의 부호화과정이 스킵된 블럭의 그레이 예측오차와 휘도 및 색도 예측오차를 '0'으로 복호화하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 복호화방법.
  22. 제20 항에 있어서, 상기 배경영역 복호화단계는 그레이 예측오차의 부호화과정이 스킵된 블럭의 그레이 예측오차를 '0'으로 복호화하는 것을 특징으로 하는 그레이 알파채널을 포함한 영상 복호화방법.
  23. 그레이 알파성분 및 휘도 및 색도성분을 포함하는 화상데이터를 일정한 블럭 단위로 부호화하기 위하여,
    블럭에 포함된 그레이 알파성분의 값에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 단계;
    상기 전경영역에 포함되는 블럭에 대하여 그레이 알파성분과 휘도 및 색도성분을 순차적으로 부호화하는 단계; 및
    상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 부호화하는 단계를 포함하는 그레이 알파채널을 포함한 영상 부호화방법을 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  24. 그레이 알파성분 및 휘도 및 색도성분을 포함하는 화상데이터를 부호화한 비트열을 복호화하기 위하여,
    상기 비트열을 블럭 단위로 해석하고, 해석결과에 따라서 각 블럭을 전경영역과 배경영역 중 어느 하나로 분리하는 단계;
    상기 전경영역에 포함되는 블럭에 대하여, 그레이 알파성분과 휘도 및 색도 성분을 순차적으로 복호화하여 복원된 그레이 알파채널영상과 복원된 휘도 및 색도영상을 생성하는 단계; 및
    상기 배경영역에 포함되는 블럭에 대하여, 그레이 알파성분을 복호화하여 복원된 그레이 알파채널영상을 생성하는 단계를 포함하는 그레이 알파채널을 포함한 영상 복호화방법을 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020050010855A 2004-03-05 2005-02-04 그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법 KR100682929B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20050251304 EP1571850A3 (en) 2004-03-05 2005-03-04 Apparatus and method for encoding and decoding image containing grayscale alpha channel image
US11/072,492 US8300689B2 (en) 2004-03-05 2005-03-07 Apparatus and method for encoding and decoding image containing gray alpha channel image
JP2005062158A JP4955216B2 (ja) 2004-03-05 2005-03-07 グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040015152 2004-03-05
KR20040015152 2004-03-05

Publications (2)

Publication Number Publication Date
KR20060041770A true KR20060041770A (ko) 2006-05-12
KR100682929B1 KR100682929B1 (ko) 2007-02-15

Family

ID=37148141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050010855A KR100682929B1 (ko) 2004-03-05 2005-02-04 그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법

Country Status (1)

Country Link
KR (1) KR100682929B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100807330B1 (ko) * 2006-09-07 2008-02-28 엠엠비 주식회사 Ｈ.264/ａｖｃ 인코더의 인트라 매크로블록 모드 스킵 방법
WO2016148516A1 (ko) * 2015-03-16 2016-09-22 스타십벤딩머신 주식회사 영상압축방법 및 영상압축장치
CN113613008A (zh) * 2021-08-20 2021-11-05 百果园技术(新加坡)有限公司 一种视频编解码的方法、装置、电子设备及存储介质
CN115760637A (zh) * 2022-12-01 2023-03-07 南京哈哈云信息科技有限公司 基于养老机器人的老年人体征健康监测方法、系统及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238220A (ja) 1995-10-27 2001-08-31 Toshiba Corp 動画像符号化装置および動画像符号化方法
KR20010019704A (ko) * 1999-08-30 2001-03-15 정선종 움직임이 없는 배경을 갖는 영상의 매크로블록 단위 객체 기반부호화 처리 방법
JP3551908B2 (ja) 1999-09-24 2004-08-11 日本電信電話株式会社 背景スプライトと前景オブジェクトの分離方法、及びその装置
JP2003143624A (ja) 2001-10-30 2003-05-16 Nippon Hoso Kyokai <Nhk> 画像符号化装置及び画像符号化プログラム並びに画像復号化装置及び画像復号化プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100807330B1 (ko) * 2006-09-07 2008-02-28 엠엠비 주식회사 Ｈ.264/ａｖｃ 인코더의 인트라 매크로블록 모드 스킵 방법
WO2016148516A1 (ko) * 2015-03-16 2016-09-22 스타십벤딩머신 주식회사 영상압축방법 및 영상압축장치
CN113613008A (zh) * 2021-08-20 2021-11-05 百果园技术(新加坡)有限公司 一种视频编解码的方法、装置、电子设备及存储介质
CN115760637A (zh) * 2022-12-01 2023-03-07 南京哈哈云信息科技有限公司 基于养老机器人的老年人体征健康监测方法、系统及设备
CN115760637B (zh) * 2022-12-01 2023-08-25 南京哈哈云信息科技有限公司 基于养老机器人的老年人体征健康监测方法、系统及设备

Also Published As

Publication number Publication date
KR100682929B1 (ko) 2007-02-15

Similar Documents

Publication Publication Date Title
JP4955216B2 (ja) グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法
KR100695133B1 (ko) 알파채널 영상을 위한 부호화블럭패턴 생성장치 및 방법과이를 이용한 알파채널 영상 부호화/복호화장치 및 방법
JP4673758B2 (ja) 画像データの復号化方法およびそのためのプログラムを記録したコンピュータ読み取り可能媒体
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
US11695955B2 (en) Image encoding device, image decoding device and program
CN111183641A (zh) 视频编码设备、视频解码设备、视频编码方法、视频解码方法和程序
KR100738075B1 (ko) 영상 부호화/복호화 장치 및 방법
KR100682929B1 (ko) 그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법
KR100647297B1 (ko) 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치
CN114830646A (zh) 图像编码方法和图像解码方法
CN114830642A (zh) 图像编码方法和图像解码方法
JP7219030B2 (ja) 色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラム
KR20170122351A (ko) 화면 내 예측 방향성에 따른 적응적 부호화 순서를 사용하는 비디오 코딩 방법 및 장치
KR20180041833A (ko) 화면 내 예측에 대한 참조 모드 리스트를 사용하는 비디오 코딩 방법 및 장치
CN114830644A (zh) 图像编码方法和图像解码方法
CN114830647A (zh) 图像编码方法和图像解码方法
CN114788270A (zh) 图像编码方法和图像解码方法
CN114830641A (zh) 图像编码方法和图像解码方法
CN114830645A (zh) 图像编码方法和图像解码方法
CN114830650A (zh) 图像编码方法和图像解码方法
CN114830643A (zh) 图像编码方法和图像解码方法
CN114521325A (zh) 图像编码方法和图像解码方法
KR20180021941A (ko) 부호화 유닛들의 병합을 사용하는 비디오 부호화 방법 및 장치, 그리고 비디오 복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee