KR101323732B1 - 영상 부호화장치 및 방법과 그 복호화장치 및 방법 - Google Patents

영상 부호화장치 및 방법과 그 복호화장치 및 방법 Download PDF

Info

Publication number
KR101323732B1
KR101323732B1 KR1020060066577A KR20060066577A KR101323732B1 KR 101323732 B1 KR101323732 B1 KR 101323732B1 KR 1020060066577 A KR1020060066577 A KR 1020060066577A KR 20060066577 A KR20060066577 A KR 20060066577A KR 101323732 B1 KR101323732 B1 KR 101323732B1
Authority
KR
South Korea
Prior art keywords
image
encoded
auxiliary
image data
data
Prior art date
Application number
KR1020060066577A
Other languages
English (en)
Other versions
KR20070009485A (ko
Inventor
조대성
김우식
드미트리 비리노브
김현문
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20070009485A publication Critical patent/KR20070009485A/ko
Application granted granted Critical
Publication of KR101323732B1 publication Critical patent/KR101323732B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 부호화장치 및 방법과 그 복호화장치 및 방법이 개시된다. 영상 부호화장치는 메인영상과 보조영상을 부호화하여, 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 생성하는 부호화부; 및 상기 부호화된 메인영상 데이터에 상기 부호화된 보조영상 데이터의 결합하여 하나의 비트스트림으로 패킹하는 비트스트림 패킹부를 포함한다. 영상 복호화장치는 부호화된 메인영상 데이터에 부호화된 보조영상 데이터가 결합되어 패킹된 비트스트림을 언패킹하여 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 분리하는 비트스트림 언패킹부; 및 상기 분리된 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 복호화하여 복원영상을 생성하는 복호화부를 포함한다.

Description

영상 부호화장치 및 방법과 그 복호화장치 및 방법 {Apparatus and method of encoding video and apparatus and method of decoding encoded video}
도 1은 본 발명의 일실시예에 따른 영상 부호화장치의 구성을 나타낸 블록도,
도 2는 도 1에 있어서 휘도성분 부호화부의 일실시예에 따른 세부적인 구성을 나타내는 블록도,
도 3는 본 발명의 일실시예에 따른 영상 복호화장치의 구성을 나타낸 블록도,
도 4는 도 3에 있어서 휘도성분 복호화부의 일실시예에 따른 세부적인 구성을 나타내는 블록도,
도 5은 본 발명에 따른 영상 부호화장치에 입력되는 영상신호의 형식을 나타내는 도면,
도 6a 및 도 6b는 슬라이스 및 매크로블럭의 구조를 나타내는 도면,
도 7a는 보조영상 없이 프레임 타입 메인영상을 부호화한 결과 생성되는 비트스트림의 구조를, 도 7b는 보조영상을 포함하여 프레임 타입 메인영상을 부호화한 결과 생성되는 비트스트림의 구조를 나타낸 도면,
도 8a 내지 도 8c는 프레임 타입 메인영상과 보조영상간의 관계를 보여주는 도면,
도 9a는 보조영상 없이 필드 타입의 메인영상을 부호화한 결과 생성되는 비트스트림의 구조를, 도 9b 및 도 9c는 보조영상을 포함하여 필드 타입의 메인영상을 부호화한 결과 생성되는 비트스트림의 구조를 나타낸 도면,
도 10a 내지 도 10e는 필드 타입 메인영상과 보조영상간의 관계를 보여주는 도면,
도 11a는 보조영상 없이 슬라이스 타입의 메인영상을 부호화한 결과 생성되는 비트스트림의 구조를, 도 11b 및 도 11c는 보조영상을 포함하여 슬라이스 타입의 메인영상을 부호화한 결과 생성되는 비트스트림의 구조를 나타낸 도면,
도 12a 및 도 12b는 슬라이스 타입 메인영상과 보조영상의 관계를 보여주는 도면, 및
도 13은 보조영상의 일예로서 그레이 알파 영상을 이용한 영상 합성의 예를 설명하는 도면이다.
본 발명은 영상 부호화 및 복호화에 관한 것으로서, 특히 동일한 부호화스킴을 사용하여 메인영상 및 보조영상을 부호화하여 비트스트림을 생성하고, 생성된 비트스트림을 동일한 복호화스킴을 이용하여 복호화하기 위한 장치 및 방법에 관한 것이다.
일반적인 영상 압축의 경우에는 멀티미디어 기기로부터 바로 획득할 수 있는 R, G, 및 B 성분의 영상 형식을 압축에 적합한 형식인 휘도성분 즉, Y 성분, 및 색차성분 즉, Cb 및 Cr 성분으로 구성된 영상형식으로 변환한다. 다음, 압축 효율을 위해 추가로 색차성분인 Cb 및 Cr 성분을 각각 4배만큼 크기를 줄여 부호화 및 복호화하게 된다. 이러한 부호화 및 복호화방법으로 대표적인 것으로는 국제 표준화 기구인 SMPTE(The Society of Motion Picture and Television Engineers)에서 제안한 VC-1 비디오 압축 기술을 들 수 있다.("Proposed SMPTE Standard for Television: VC-1 Compressed Video Bitstream Format and Decoding Process", SMPTE42M, FCD, 2005 참조).
그런데, 이러한 비디오 압축 기술은 영상들을 효율적으로 서비스하기 위하여, 그레이(gray) 형상정보 등과 같은 보조(auxiliary) 정보들을 영상들 사이에서 합성 및 편집하는 기능을 필요로 한다. 여기서, 휘도성분 및 색차성분 이외의 보조 정보는 이들 휘도성분 및 색차성분으로 이루어진 영상 정보를 처리하여 사용하고자 하는 응용 기기에 적합하도록 하기 위해 필요로 하는 영상 정보이다.
본 발명이 이루고자 하는 기술적 과제는 메인영상 및 보조영상을 동일한 부호화스킴을 사용하여 부호화하여 비트스트림을 생성하기 위한 영상 부호화장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 메인영상 및 보조영상을 부호화하여 이루어진 비트스트림으로부터 분리된 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 동일한 복호화스킴을 이용하여 복호화하기 위한 영상 복호화장치 및 방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 영상 부호화장치는 메인영상과 보조영상을 부호화하여, 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 생성하는 부호화부; 및 상기 부호화된 메인영상 데이터에 상기 부호화된 보조영상 데이터를 결합하여 하나의 비트스트림으로 패킹하는 비트스트림 패킹부를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 영상 부호화방법은 메인영상과 보조영상을 부호화하여, 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 생성하는 단계; 및 상기 부호화된 메인영상 데이터에 상기 부호화된 보조영상 데이터를 결합하여 하나의 비트스트림으로 패킹하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 영상 복호화장치는 부호화된 메인영상 데이터에 부호화된 보조영상 데이터가 결합되어 패킹된 비트스트림을 언패킹하여 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 분리하는 비트스트림 언패킹부; 및 상기 분리된 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 복호화하여 복원영상을 생성하는 복호화부를 포함한다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 영상 복호화방법은 부호화된 메인영상 데이터에 부호화된 보조영상 데이터가 결합되어 패킹된 비트스트림을 언패킹하여 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 분리하는 단계; 및 상기 분리된 부호화된 메인영상 데이터와 부호화된 보조영상 데이 터를 복호화하여 복원영상을 생성하는 단계를 포함한다.
상기 영상 부호화방법 및 복호화방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 영상 부호화장치의 구성을 나타낸 블록도로서, 영상입력부(110), 부호화부(130) 및 비트스트림 패킹부(150)를 포함하여 이루어진다. 여기서, 부호화부(130)는 휘도성분 부호화부(131), 부가정보 생성부(133) 및 색차성분 부호화부(135)를 포함하여 이루어진다.
도 1을 참조하면, 영상입력부(110)는 메인영상(main image) 및 보조영상(auxiliary image)을 입력하고, 영상 포맷에 따라서 메인영상의 휘도성분과 색차성분을 분리한다. 여기서, 메인영상은 4:0:0 포맷, 4:2:0 포맷, 4:2:2 포맷 혹은 4:4:4 포맷 중 어느 하나의 영상 포맷을 가질 수 있다. 한편, 보조영상은 편집 혹은 합성을 위한 용도로 사용되거나, 3차원 영상을 생성하기 위한 용도로 사용되거나, 에러 내성(error resilience)를 부여하기 위한 용도로 사용될 수 있다. 편집 혹은 합성 영상을 생성하기 위한 보조영상의 예로는 그레이 알파 영상을 들 수 있다. 3차원 영상을 생성하기 위한 보조영상의 예로는 메인영상의 깊이(depth) 정보를 갖는 깊이영상을 들 수 있다. 에러 내성을 부여하기 위한 보조영상은 메인영상과 동일한 영상을 들 수 있다. 보조영상은 상기 열거한 예에 한정되지 않으며, 다 양한 영상을 예로 들 수 있다.
부호화부(130)는 영상입력부(110)로부터 제공되는 메인영상 혹은 보조영상을 부호화한다. 휘도성분 부호화부(131)는 입력되는 메인영상 혹은 보조영상의 휘도성분을 부호화한다. 부가정보 생성부(133)는 휘도성분 부호화부(131)에서의 움직임 예측을 통하여 얻어진 움직임 벡터 등과 같은 부가정보를 생성한다. 색차성분 부호화부(135)는 부가정보 생성부(133)에서 생성된 부가정보를 이용하여 메인영상의 색차성분을 부호화한다. 부호화부(130)에서는, 입력되는 영상이 메인영상인지 보조영상인지에 따라서, 메인영상의 경우 영상 포맷에 따라서, 휘도성분만을 부호화할 것인지 휘도성분과 색차성분을 모두 부호화할 것인지가 결정된다. 즉, 부호화부(130)에 입력되는 영상이 메인영상이면서 4:2:0 포맷, 4:2:2 포맷 혹은 4:4:4 포맷 중 어느 하나의 영상 포맷을 가질 경우 휘도성분 및 색차성분을 부호화한다. 한편, 부호화부(130)에 입력되는 영상이 메인영상이면서 4:0:0 포맷을 가지거나, 보조영상인 경우에는 휘도성분만 부호화한다. 한편, 에러 내성을 부여하기 위하여 보조영상으로 메인영상을 동일하게 사용하는 경우에는, 보조영상에 대해서는 휘도성분만 부호화하거나 휘도성분 및 색차성분을 모두 부호화할 수 있다. 이와 같은 영상의 종류, 영상 포맷 및 부호화대상에 대한 정보는 영상입력부(110)로부터 제공되거나, 사용자에 의해 미리 설정되어 부호화부(130)의 동작을 결정할 수 있다.
비트스트림 패킹부(150)는 부호화부(130)로부터 제공되는 부호화된 메인영상 데이터와 보조영상 데이터를 결합하여 하나의 비트스트림을 패킹한다. 이때, 결합여부를 외부 제어신호에 따라서 결정하는 것도 가능하다. 여기서, 외부 제어신호 는 사용자의 입력, 영상 복호화장치로부터의 요청, 혹은 전송채널의 상황에 의해 생성되며, 반드시 이에 한정되는 것은 아니다. 예를 들어, 사용자가 보조영상 데이터가 불필요한 것으로 판단하거나, 영상 복호화장치로부터 디코딩 성능상 보조영상 데이터를 커버하지 못할 상황이라는 정보가 수신되거나, 전송채널이 열악한 상황이라는 정보가 수신되는 경우에는 부호화된 보조영상 데이터를 결합하지 않고 부호화된 메인영상 데이터를 이용하여 비트스트림을 패킹한다.
다음, 표 1은 도시된 비트스트림 패킹부(150) 에 의해 생성된 비트스트림에 포함되는 구성요소들을 정의한 것이다.
Figure 112006050590751-pat00001
도 2는 도 1에 도시된 부호화부(130)에 있어서 휘도성분 부호화부(131)의 일실시예에 따른 세부적인 구성을 나타내는 블록도로서, 공간변환부(211), 양자화부(213), 역양자화부(215), 공간 역변환부(217), 가산부(219), 참조영상 저장부(221), 움직임 예측부(223), 움직임 보상부(225), 감산부(227) 및 엔트로피 부호화부(229)를 포함하여 이루어진다. 부호화부(130)는 부호화 효율을 높이기 위하여 이전 프레임과 현재 프레임 간에 블록 단위로 움직임을 추정하여 변환계수를 예측하는 인터모드와 현재 프레임에서 공간적으로 인접해 있는 블록에서 변환계수를 예측하는 인트라모드를 적용한다. 바람직하게는 ISO/IEC MPEG-4 비디오 부호화 국제 표준 혹은 ISO/IEC MPEG 및 ITU-T VCEG의 JVT의 H.264/MPEG-4 pt.10 AVC 표준화 기술을 채택한다.
이를 간단히 살펴보면, 공간 변환부(211)는 인트라 모드인 경우 현재 영상에 대해, 인터 모드인 경우 감산부(227)로부터 제공되는 현재 영상과 이전 참조영상의 움직임 보상된 영상간의 차영상인 시간상 예측오차에 대해 DCT(Discrete Cosine Transform), 하다마드 변환(hadamard transfom) 또는 정수 변환과 같은 주파수 공간 변환을 수행한다. 양자화부(213)에서는 공간 변환부(211)로부터 제공되는 변환 계수에 대해 양자화를 수행하여 양자화 계수들을 출력한다.
역양자화부(215) 및 공간 역변환부(217)는 양자화부(213)로부터 제공된 양자화 계수에 대하여 역양자화 및 공간 역변환을 수행하여, 그 결과 복원된 현재영상을 인트라 모드인 경우 그대로 참조영상 저장부(221)에 저장하고, 인터모드인 경우 가산부(219)에서 복원된 현재영상을 움직임 보상부(225)에서 움직임 보상된 영상과 더하여 참조영상 저장부(221)에 저장한다.
움직임 예측부(223) 및 움직임 보상부(225)는 참조영상 저장부(221)에 저장된 이전 참조영상에 대하여 움직임 예측 및 움직임 보상을 수행하여 움직임 보상된 영상을 생성한다.
엔트로피 부호화부(229)는 양자화부(213)로부터 제공되는 양자화 계수들과, 움직임 예측부(223)에서 출력되는 움직임 벡터와 같은 부가정보 등을 엔트로피 부호화하여 비트스트림을 생성한다.
한편, 도 1에 도시된 색차성분 부호화부(135)는 움직임 벡터와 같은 부가정보가 제공되므로 휘도성분 부호화(133)의 구성요소 중 움직임 예측부(223)를 제거하여 용이하게 구현할 수 있다.
도 3은 본 발명의 일실시예에 따른 부가영상을 포함하는 비디오 복호화장치의 구성을 나타낸 블록도로서, 비트스트림 언패킹부(310), 복호화부(33) 및 복원영상 구성부(350)를 포함하여 이루어진다. 여기서, 복호화부(330)는 휘도성분 복호화부(331), 부가정보 생성부(333) 및 색차성분 복호화부(335)를 포함하여 이루어진다.
도 3을 참조하면, 비트스트림 언패킹부(310)는 전송채널 혹은 저장매체를 통하여 제공되는 비트스트림을 언패킹하고, 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 분리한다.
복호화부(330)는 비트스트림 언패킹부(310)로부터 제공되는 부호화된 메인영상 데이터 혹은 부호화된 보조영상 데이터를 동일한 복호화스킴(decoding scheme)에 의거하여 복호화한다. 휘도성분 복호화부(331)는 부호화된 메인영상 데이터 혹은 부호화된 보조영상 데이터의 휘도성분을 복호화한다. 부가정보 생성부(333)는 휘도성분 부호화부(331)에서의 움직임 보상시 사용된 움직임 벡터 등과 같은 부가정보를 생성한다. 색차성분 복호화부(335)는 부가정보 생성부(333)에서 생성된 부가정보를 이용하여 부호화된 메인영상 데이터의 색차성분을 복호화한다. 복호화부(330)에서는, 비트스트림의 헤더로부터 얻어지는 영상데이터의 종류 및 영상 포맷에 대한 정보에 따라서, 휘도성분만을 복호화할 것인지 휘도성분과 색차성분을 모두 복호화할 것인지가 결정된다. 즉, 복호화부(330)에 입력되는 부호화된 영상데이터가 메인영상이면서 4:2:0 포맷, 4:2:2 포맷 혹은 4:4:4 포맷 중 어느 하나의 영상 포맷을 가질 경우 휘도성분 및 색차성분을 복호화한다. 한편, 복호화부(330)에 입력되는 부호화된 영상데이터가 메인영상이면서 4:0:0 포맷을 가지거나, 보조영상인 경우에는 휘도성분만 복호화한다.
복원영상 구성부(350)는 복호화부(330)에서 복호화된 메인영상과 보조영상을 결합하여 최종 복원영상을 구성한다. 여기서, 복원영상은 편집 혹은 합성한 영상, 3차원 영상, 혹은 메인영상에 에러가 발생된 경우 대체된 영상 중 어느 하나가 될 수 있다. 이와 같은 복원영상을 방송이나 컨텐츠 저작자들이 다양한 응용 분야에 유용하게 사용할 수 있다.
도 4는 도 3에 도시된 복호화부(330)에 있어서 휘도성분 복호화부(331)의 일실시예에 따른 세부적인 구성을 나타내는 블록도로서, 엔트로피 복호화부(411), 역양자화부(413), 공간 역변환부(415), 참조영상 저장부(417), 움직임 보상부(419) 및 가산부(421)를 포함하여 이루어진다.
도 4를 참조하면, 엔트로피 복호화부(411)는 비트스트림 언패킹부(310)로부터 분리된 메인영상 데이터 혹은 보조영상 데이터를 엔트로피 복호화하여 양자화계수 및 부가정보를 추출한다.
역양자화부(413) 및 공간 역변환부(415)는 엔트로피 복호화부(411)에서 추출된 양자화계수에 대하여 역양자화 및 공간 역변환을 수행하여, 인트라모드인 경우 복원된 현재영상을 바로 참조영상 저장부(417)에 저장하고, 인터모드인 경우 가산부(421)에서 이전 참조영상의 움직임 보상된 영상과 더하여 참조영상 저장부(417)에 저장한다.
움직임 보상부(419)는 엔트로피 복호화부(411)로부터 제공되는 부가정보를 이용하여 이전 참조영상의 움직임 보상된 영상을 생성한다.
도 5는 본 발명에 따른 영상 부호화장치에 입력되는 영상의 타입을 나타낸 것으로서, (a)는 프레임 타입 영상, (b)는 필드 타입 영상을 각각 나타낸다. 프레임 타입 영상은 짝수 필드와 홀수 필드로 이루어지며, 필드 타입 영상은 프레임 타입 영상에서 짝수 필드만을 혹은 홀수 필드만을 따로 모아서 구성한 것이다.
도 6은 슬라이스 및 매크로블럭의 구조를 나타내는 도면이다. 여기서, 매크로블럭은 영상의 처리단위를 나타내는 것으로서, 일예로서 휘도성분은 16X16 화소, 색차성분은 8X8 화소를 매크로블럭으로 설정한다. 한편, 슬라이스는 복수의 매크로블럭들로 이루어진다. 압축된 비트스트림을 전송채널을 통해 전송하거나, 저장장치에 저장한 후 사용할 경우 영상 데이터에 에러가 발생할 수 있다. 이때 영상 데이터의 일부에서 발생된 에러가 영상 데이터 전체로 퍼지지 않도록 하기 위하여 전체 영상 데이터를 복수의 매크로블럭들 즉, 슬라이스로 나누어 각각 독립적으로 부호화한다.
도 7a 및 도 7b는 도 1에 도시된 비트스트림 패킹부(150)에 의해 생성되는 비트스트림의 구조를 나타낸 것으로서, 도 7a는 보조영상 없이 프레임 타입의 메인영상을 부호화한 결과로서 생성되는 제1 비트스트림의 구조를, 도 7b는 보조영상을 포함하여 프레임 타입의 메인영상을 부호화한 결과 생성되는 제2 비트스트림의 구조를 각각 나타낸다.
도 7a에 도시된 제1 비트스트림의 구조에 있어서, SEQ_SC 필드(701)와 SEQ_HEADER 필드(703)는 시퀀스의 다른 데이터에 앞서 위치한다. 시퀀스를 나타내는 정보 이후에는 GOP(Group Of Picture)를 구분하고 랜덤억세스를 지원하기 위하여 ENTRY_SC 필드(705) 및 ENTRY_HEADER 필드(707)가 위치한다. 이후, 메인영상의 복수의 프레임영상에 상응하는 데이터(713)가 위치한다. 각 프레임영상에 상응하는 데이터는 FRAME_SC 필드(709)와 FRAME_DATA 필드(711)로 구성된다. 하나의 GOP를 구성한 후, 존재하는 다른 GOP(715)를 반복적으로 구성한다. 또한, 하나의 시퀀스를 구성한 후, 존재하는 다른 시퀀스(717)를 반복적으로 구성한다.
한편, 보조영상을 제1 비트스트림의 구조에 포함시켜 제2 비트스트림을 구성하기 위하여, 메인영상인 프레임 영상 이후에 보조영상을 위한 독립적인 영역을 표 1의 AUXILIARY_SC 필드와 AUXILIARY_DATA 필드를 이용하여 정의한다. AUXILIARY_SC 필드는 보조영상의 시작위치를 나타내는 필드로서, 메인영상과 구분할 수 있는 보조영상 구분신호에 해당하고, AUXILIARY_DATA 필드는 보조영상 부호화된 데이터를 나타내는 필드로서, 보조영상을 표현하는 헤더정보와 부호화된 보조영상 데이터를 포함한다.
도 7b에 도시된 제2 비트스트림의 구조에 있어서, SEQ_SC 필드(751)와 SEQ_HEADER 필드(753)는 시퀀스의 다른 데이터에 앞서 위치한다. 시퀀스를 나타내는 정보 이후에는 GOP를 구분하고 랜덤억세스를 지원하기 위하여 ENTRY_SC 필드(755) 및 ENTRY_HEADER 필드(757)가 위치한다. 이후, 메인영상의 복수의 프레임 영상에 상응하는 데이터(773)가 위치한다. 각 프레임 영상에 상응하는 데이터는 FRAME_SC 필드(759), FRAME_DATA 필드(761), AUXILIARY_SC 필드(763)와 AUXILIARY_DATA 필드(765)로 구성된다. 여기서, 메인영상의 하나의 프레임영상에 대하여 보조영상은 복수의 프레임영상(767)으로 구성할 수 있다. 한편, 사용자의 필요에 따라서, 복호화장치의 요구에 의해, 혹은 전송채널의 상황에 따라서 보조영상을 생략(769)하는 것도 가능하다. 하나의 GOP를 구성한 후, 존재하는 다른 GOP(773)를 반복적으로 구성한다. 또한, 하나의 시퀀스를 구성한 후, 존재하는 다른 시퀀스(775)를 반복적으로 구성한다.
도 8a 내지 도 8c는 프레임영상인 메인영상과 보조영상간의 관계를 보여주는 것이다. 도 8a는 예측 부호화방식을 사용하는 I, B, P 프레임영상(811,813,815)간의 관계를 나타낸다. I 프레임영상(811)은 다른 영상은 참조하지 않고, 영상 내부의 부호화블럭에 공간적으로 인접한 블록을 예측에 이용하여 부호화 혹은 복호화한다. I 프레임영상(811) 이후에 P 프레임영상(815)이 부호화 혹은 복호화되며, P 프레임영상(815)은 이전의 예측가능한 영상으로부터 움직임 예측을 통해 부호화 혹은 복호화된다. 이후, B 프레임영상(813)은 이전 및 이후의 두 예측가능한 영상으로부터 움직임 예측을 통해 부호화 혹은 복호화된다.
도 8b는 메인영상인 I, B, P 프레임영상(811,813,815)에 대응되는 보조영상으로서 I, B, P 프레임영상(831,833,835)을 나타낸 것이다. 보조영상인 I, B, P 프레임영상(831,833,835)간에도 메인영상에서와 동일한 방식의 예측 부호화 흑은 예측 복호화가 수행된다.
도 8c는 메인영상의 예측 부호화방식과는 상관없이 메인영상인 I, B, P 프레임영상(811,813,815)에 대응되는 보조영상이 모두 I 프레임영상(851,853,855)인 경우를 나타낸 것이다. 이는 메인영상과는 달리 인접한 보조영상들 사이에 유사성이 적은 경우를 감안하여 정의한 것이다.
도 9a 내지 도 9c는 도 1에 도시된 비트스트림 패킹부(150)에 의해 생성되는 비트스트림의 구조를 나타낸 것으로서, 도 9a는 보조영상 없이 필드 타입의 메인영상을 부호화한 결과로서 생성되는 제1 비트스트림의 구조를, 도 9b는 보조영상을 포함하여 필드 타입의 메인영상을 부호화한 결과 생성되는 제2 비트스트림의 구조의 일예를, 도 9c는 보조영상을 포함하여 필드 타입의 메인영상을 부호화한 결과 생성되는 제2 비트스트림의 구조의 다른 예를 각각 나타낸다.
도 9a에 도시된 제1 비트스트림의 구조에 있어서, SEQ_SC 필드(901)와 SEQ_HEADER 필드(903)는 시퀀스의 다른 데이터에 앞서 위치한다. 시퀀스를 나타내는 정보 이후에는 ENTRY_SC 필드(905) 및 ENTRY_HEADER 필드(907)가 위치한다. 이후, 메인영상의 복수의 프레임영상에 상응하는 데이터(917)가 위치한다. 각 프레임영상에 상응하는 데이터는 FRAME_SC 필드(909), 첫번째 필드 데이터에 해당하는 FLD1_DATA 필드(911), 첫번째 필드와 두번째 필드를 구분하기 위한 FLD_SC 필드(913), 두번째 필드 데이터에 해당하는 FLD2_DATA 필드(915)로 구성된다. 하나의 GOP를 구성한 후, 존재하는 다른 GOP(919)를 반복적으로 구성한다. 또한, 하나의 시퀀스를 구성한 후, 존재하는 다른 시퀀스(921)를 반복적으로 구성한다.
한편, 보조영상을 제1 비트스트림의 구조에 포함시켜 제2 비트스트림을 구성하기 위하여, 도 9b에 도시된 제2 비트스트림의 구조는 메인영상의 각 필드 데이터 즉, FLD1_DATA 필드(941) 및 FLD2_DATA 필드(953) 이후에 보조영상 데이터가 위치한다. 즉, 메인영상의 첫번째 필드 데이터 이후에 보조영상 데이터인 AUXILIARY_SC 필드(943) 및 AUXILIARY1_DATA 필드(945)가 위치하고, 메인영상의 두번째 필드 데이터 이후에 보조영상 데이터인 AUXILIARY_SC 필드(955) 및 AUXILIARY2_DATA 필드(957)가 위치한다. 마찬가지로, 메인영상의 하나의 필드영상에 대하여 보조영상은 복수의 영상(947,959)으로 구성할 수 있다. 한편, 사용자의 필요에 따라서, 복호화장치의 요구에 의해, 혹은 전송채널의 상황에 따라서 보조영상을 생략(949,961)하는 것도 가능하다.
또한, 보조영상을 제1 비트스트림의 구조에 포함시켜 제2 비트스트림을 구성하기 위하여, 도 9c에 도시된 제2 비트스트림의 구조는 메인영상의 두번째 필드 데이터 즉, FLD2_DATA 필드(985) 이후에 보조영상 데이터가 위치한다. 즉, 메인영상의 두번째 필드 데이터 이후에, 두 필드영상으로 구성된 메인영상의 프레임영상에 대응하는 보조영상 데이터인 AUXILIARY_SC 필드(987) 및 AUXILIARY_DATA 필드(989)가 위치한다. 마찬가지로, 메인영상의 하나의 프레임영상에 대하여 보조영상은 복수의 영상(991)으로 구성할 수 있다. 한편, 사용자의 필요에 따라서, 복호화장치의 요구에 의해, 혹은 전송채널의 상황에 따라서 보조영상을 생략(993)하는 것도 가능하다.
도 10a 내지 도 10e는 필드영상인 메인영상과 보조영상간의 관계를 보여주는 것이다. 도 10a는 예측 부호화방식을 사용하는 I, B, P 필드영상(1011~1016)간의 관계를 나타낸다. 프레임을 구성하는 필드영상 중에서 짝수 필드인 I 필드영상(1011)이 먼저 부호화된다. 다음, 홀수 필드는 P 필드영상(1012)으로 부호화된다. I 필드영상은 다른 영상을 참조하지 않고 영상 내부의 부호화 블록에 공간적으로 인접한 블록을 움직임 예측에 이용하여 부호화한다. P 필드영상은 시간적으로 인접한 이전의 두 참조 필드영상으로부터 움직임 예측을 수행하여 부호화한다. P 필드영상(1015)은 I 필드영상(1011) 및 P 필드영상(1012)를 통해 움직임 예측을 수행하고, P 필드영상(1016)은 P 필드영상(1012) 및 P 필드영상(1015)을 통해 움직임 예측을 수행하여 부호화한다. 홀수 필드 중 P 필드영상(1012)은 하나의 참조 필드영상만 존재하므로 I 필드영상(1011)을 통해서만 움직임 예측을 수행하여 부호화한다. B 필드영상은 시간상 이전 및 이후로 가장 근접하고 예측가능한 두 필드영상으로부터 움직임 예측을 수행한다. 특히 하나의 프레임 내의 두번째 필드의 B 필드영상의 경우 복원된 첫번째 필드의 B 필드영상도 움직임 예측 부호화에 이용한다. 프레임영상의 첫번째 필드의 B 필드영상(1013)은 이전 I 필드영상(1011) 및 이전 P 필드영상(1012)을 통해 움직임 예측을 수행하고, 이후 P 필드영상(1015, 1016)을 통해 움직임 예측을 수행한다. 두번째 필드의 B 필드영상(1014)은 이전 P 필드영상(1012) 및 이전 B 필드영상(1013)을 통해 움직임 예측을 수행하고, 이후 P 필드영상(1015, 1016)을 통해 움직임 예측을 수행한다.
도 10b는 메인영상인 I 필드영상(1011), B 필드영상(1013, 1014), 및 P 필드영상(1012,1015,1016)에 대응되는 보조영상으로서 I 필드영상(1031), B 필드영상(1033, 1034), 및 P 필드영상(1032,1035,1036)을 나타낸다. 보조영상인 I, B, P 필드영상(1031~1036)간에도 메인영상에서와 동일한 방식의 예측 부호화 흑은 예측 복호화가 수행된다.
도 10c는 메인영상의 예측 부호화방식과는 상관없이 메인영상인 I, B, P 필드영상(1011~1016)에 대응되는 보조영상이 모두 I 필드영상(1051~1056)인 경우를 나타낸 것이다. 이는 메인영상과는 달리 인접한 보조영상들 사이에 유사성이 적은 경우를 감안하여 정의한 것이다.
도 10d는 보조영상이 메인영상의 각 필드영상이 아닌 메인영상의 두 필드영상으로 구성된 프레임영상에 대응시킨 것을 나타낸다. 보조영상의 I 영상(1071)은 두 필드영상(1011, 1012)으로 구성된 프레임 영상에 대응한다. 보조영상의 P 및 B 영상(1073,1075)도 동일한 방식으로 대응된다. 이는 보조영상이 편집이나 합성을 위한 것일 경우에는 필드 단위로 부호화 혹은 복호화될 필요가 없기 때문이다.
도 10e는 메인영상의 예측 부호화방식과는 상관없이 메인영상인 프레임영상 에 대응되는 보조영상이 모두 I 영상(1091,1093,1095)인 경우를 나타낸 것이다. 마찬가지로, 이는 메인영상과는 달리 인접한 보조영상들 사이에 유사성이 적은 경우를 감안하여 정의한 것이다.
도 11a 내지 도 11c는 도 1에 도시된 비트스트림 패킹부(150)에 의해 생성되는 비트스트림의 구조를 나타낸 것으로서, 도 11a는 보조영상 없이 슬라이스 타입의 메인영상을 부호화한 결과로서 생성되는 제1 비트스트림의 구조를, 도 11b는 보조영상을 포함하여 슬라이스 타입의 메인영상을 부호화한 결과 생성되는 제2 비트스트림의 구조의 일예를, 도 11c는 보조영상을 포함하여 슬라이스 타입의 메인영상을 부호화한 결과 생성되는 제2 비트스트림의 구조의 다른 예를 각각 나타낸다.
도 11a에 도시된 제1 비트스트림의 구조에 있어서, SEQ_SC 필드(1101)와 SEQ_HEADER 필드(1103)는 시퀀스의 다른 데이터에 앞서 위치한다. 시퀀스를 나타내는 정보 이후에는 ENTRY_SC 필드(1105) 및 ENTRY_HEADER 필드(1107)가 위치한다. 이후, 메인영상의 복수의 프레임영상에 상응하는 데이터(1119)가 위치한다. 각 프레임영상에 상응하는 데이터는 FRAME_SC 필드(1109), 첫번째 슬라이스 데이터에 해당하는 SLC_DATA 필드(1111), 첫번째 슬라이스를 두번째 슬라이스와 구분하기 위한 SLC_SC 필드(1113), 두번째 슬라이스 데이터에 해당하는 SLC_DATA 필드(1115)로 구성된다. 하나의 프레임 영상 혹은 하나의 필드영상을 구성할 때까지 복수의 슬라이스(1117)를 위한 SLC_SC 필드와 SLC_DATA 필드가 존재한다. GOP를 구성한 후, 존재하는 다른 GOP(1121)를 반복적으로 구성한다. 또한, 하나의 시퀀스를 구성한 후, 존재하는 다른 시퀀스(1123)를 반복적으로 구성한다.
한편, 보조영상을 제1 비트스트림의 구조에 포함시켜 제2 비트스트림을 구성하기 위하여, 도 11b에 도시된 제2 비트스트림의 구조는 메인영상의 마지막 슬라이스 데이터 즉, SLC_DATA 필드(1145) 이후에 보조영상 데이터가 위치한다. 즉, 메인영상의 마지막 슬라이스 데이터 이후에 보조영상 데이터인 AUXILIARY_SC 필드(1149) 및 AUXILIARY1_DATA 필드(1151)가 위치한다. 마찬가지로, 메인영상의 하나의 프레임영상에 대하여 보조영상은 복수의 영상(1153)으로 구성할 수 있다. 한편, 사용자의 필요에 따라서, 복호화장치의 요구에 의해, 혹은 전송채널의 상황에 따라서 보조영상을 생략(1155)하는 것도 가능하다.
또한, 보조영상을 제1 비트스트림의 구조에 포함시켜 제2 비트스트림을 구성하기 위하여, 도 11c에 도시된 제2 비트스트림의 구조는 메인영상의 각 슬라이스 데이터 즉, SLC_DATA 필드(1176,1182) 이후에 보조영상 데이터가 위치한다. 즉, 메인영상의 첫번째 슬라이스 데이터 이후에, 보조영상 데이터인 AUXILIARY_SC 필드(1177) 및 AUXILIARY3_DATA 필드(1178)가 위치한다. 마찬가지로, 메인영상의 하나의 슬라이스에 대하여 보조영상은 복수의 영상(1179)으로 구성할 수 있다. 한편, 사용자의 필요에 따라서, 복호화장치의 요구에 의해, 혹은 전송채널의 상황에 따라서 보조영상을 생략(1180)하는 것도 가능하다. 또한, 메인영상의 두번째 슬라이스 데이터 이후에, 보조영상 데이터인 AUXILIARY_SC 필드(1183) 및 AUXILIARY3_DATA 필드(1187)가 위치한다. 마찬가지로, 메인영상의 하나의 슬라이스에 대하여 보조영상은 복수의 영상(1185)으로 구성할 수 있다. 한편, 사용자의 필요에 따라서, 복호화장치의 요구에 의해, 혹은 전송채널의 상황에 따라서 보조영상을 생략(1186)하는 것도 가능하다.
도 12a 및 도 12b는 슬라이스 타입 메인영상과 보조영상의 관계를 보여주는 것으로서, 도 12a는 슬라이스로 구성된 I 영상(1211), B 영상(1213), 및 P 영상(1215)의 각각의 슬라이스에 대해 보조영상인 I 영상(1231), B 영상(1233), 및 P 영상(1235)을 대응시킨 것이다. 여기서, 보조영상은 슬라이스 단위의 구성이 아닌 단일 영상이다.
도 12b는 슬라이스로 구성된 I 영상(1211), B 영상(1213), 및 P 영상(1215)의 각각의 슬라이스에 대해 I 영상(10101), B 영상 (10102), 및 P 영상 (10103)의 각각의 슬라이스에 대해 보조영상인 I 영상(1251), B 영상(1253), 및 P 영상(1255)을 대응시킨 것이다. 여기서, 보조영상의 슬라이스는 각각 대응하는 메인영상의 슬라이스와 같은 크기를 갖는다
도 13은 보조영상의 일예로서 그레이 알파 영상을 이용한 영상합성의 예를 설명하는 도면으로서, 참조번호 1301은 휘도 및 색차성분을 갖는 전경영역을 나타내고, 참조번호 1302는 이 전경영역을 나타내기 위한 그레이 알파성분의 보조영상을 나타낸다. 이와 같은 그레이 알파성분을 이용하여 전경영역(1301)은 임의의 휘도 및 색차성분을 갖는 제1 영상(1303)과 합성하여 합성결과, 다른 제2 영상(1304)을 얻을 수 있다. 이러한 과정은 방송을 위한 컨텐츠 편집과정에서 영상의 특정 영역을 다른 영상과 합성하여 새로운 배경의 영상을 만들때 사용할 수 있다. 만약, 전경영역(1301)의 휘도 및 색차성분을 Nyuv , 해당하는 그레이 알파성분을 Nα , 제1 영상(1303)의 휘도 및 색차성분을 Myuv 라 하는 경우, 두 영상의 합성에 의한 제2 영상(1304)의 휘도 및 색차성분(Pyuv)는 다음 수학식 1에서와 같이 나타낼 수 있다.
Figure 112006050590751-pat00002
그레이 알파성분 Nα 는 n 비트로 표시하는데, 예를 들어 8 비트인 경우 0에서 255 의 값을 갖는다. 수학식 1에서와 같이 그레이 알파성분은 두 영상의 휘도 및 색차 성분간의 가중평균을 위한 가중치 값으로 사용된다. 따라서, 그레이 알파성분이 '0'인 경우에는 배경영역으로서, 배경영역의 휘도 및 색차성분은 그 값에 상관없이, 합성된 제2 영상에는 영향을 미치지 않는다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 바와 같이 본 발명에 따르면, 그레이 알파 영상, 깊이영상, 혹은 메인영상과 동일한 영상을 보조영상으로 설정한 경우, 메인영상에 사용된 것과 동일한 부호화 스킴을 이용하여 보조영상을 부호화하고, 부호화된 메인영상과 보조영상을 결합하여 비트스트림을 패킹할 수 있다. 그 결과, 보조영상에 대하여 별도로 비트스트림을 생성할 필요가 없고, 기존의 영상 부호화장치 및 복호화장치와 호환하면서도 방송 혹은 컨텐츠 저작을 위한 보조영상을 메인영상과 함께 편리하게 전송할 수 있는 이점이 있다.
본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (34)

  1. 메인영상과 보조영상을 부호화하여, 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 생성하는 부호화부; 및
    상기 부호화된 메인영상 데이터와 상기 부호화된 보조영상 데이터의 결합여부를 결정하는 외부 제어신호에 따라서, 상기 부호화된 메인영상 데이터와 상기 부호화된 보조영상 데이터 중 적어도 하나를 하나의 비트스트림으로 패킹하는 비트스트림 패킹부를 포함하는 것을 특징으로 하는 영상 부호화장치.
  2. 삭제
  3. 제1 항에 있어서, 상기 보조영상은 그레이 알파 영상, 깊이영상 및 상기 메인영상과 동일한 영상 중 하나에 해당하는 것을 특징으로 하는 영상 부호화장치.
  4. 제1 항에 있어서, 상기 부호화부에서는 상기 보조영상에 대하여 휘도신호 부호화를 수행하는 것을 특징으로 하는 영상 부호화장치.
  5. 제1 항에 있어서, 상기 비트스트림 패킹부는 상기 부호화된 보조영상 데이터를 상기 부호화된 메인영상 데이터와 결합시키기 위하여 상기 보조영상의 구분신호 를 나타내는 제1 필드, 및 상기 보조영상에 관한 헤더정보와 상기 보조영상의 부호화된 데이터를 나타내는 제2 필드를 정의하는 것을 특징으로 하는 영상 부호화장치.
  6. 제1 항에 있어서, 상기 비트스트림 패킹부는 상기 메인영상이 프레임 영상인 경우, 상기 부호화된 보조영상 데이터는 부호화된 프레임영상 데이터 이후에 위치하는 것을 특징으로 하는 영상 부호화장치.
  7. 제6 항에 있어서, 상기 메인영상과 상기 보조영상은 동일한 예측 부호화방식으로 부호화되는 것을 특징으로 하는 영상 부호화장치.
  8. 제6 항에 있어서, 상기 보조영상은 I 프레임영상으로만 구성되는 것을 특징으로 하는 영상 부호화장치.
  9. 제1 항에 있어서, 상기 비트스트림 패킹부는 상기 메인영상이 필드 영상인 경우, 상기 부호화된 보조영상 데이터는 부호화된 짝수 필드영상 데이터와 부호화된 홀수 필드영상 데이터 이후에 각각 위치하는 것을 특징으로 하는 영상 부호화장치.
  10. 제9 항에 있어서, 상기 메인영상과 상기 보조영상은 동일한 예측 부호화방식 으로 부호화되는 것을 특징으로 하는 영상 부호화장치.
  11. 제9 항에 있어서, 상기 보조영상은 I 필드영상 혹은 I 프레임영상으로만 구성되는 것을 특징으로 하는 영상 부호화장치.
  12. 제1 항에 있어서, 상기 비트스트림 패킹부는 상기 메인영상이 필드 영상인 경우, 상기 부호화된 보조영상 데이터는 부호화된 짝수 필드영상 데이터와 부호화된 홀수 필드영상 데이터 중 나중에 위치하는 필드영상 데이터 이후에 위치하는 것을 특징으로 하는 영상 부호화장치.
  13. 제12 항에 있어서, 상기 메인영상과 상기 보조영상은 동일한 예측 부호화방식으로 부호화되는 것을 특징으로 하는 영상 부호화장치.
  14. 제12 항에 있어서, 상기 보조영상은 I 필드영상 혹은 I 프레임영상으로만 구성되는 것을 특징으로 하는 영상 부호화장치.
  15. 제1 항에 있어서, 상기 비트스트림 패킹부는 상기 메인영상이 슬라이스로 구성되는 경우, 상기 부호화된 보조영상 데이터는 마지막 부호화된 슬라이스 데이터 이후에 위치하는 것을 특징으로 하는 영상 부호화장치.
  16. 제15 항에 있어서, 상기 메인영상과 상기 보조영상은 동일한 예측 부호화방식으로 부호화되며, 상기 보조영상은 프레임 영상 혹은 필드 영상인 것을 특징으로 하는 영상 부호화장치.
  17. 제15 항에 있어서, 상기 메인영상과 상기 보조영상은 동일한 예측 부호화방식으로 부호화되며, 상기 보조영상은 상기 메인영상과 동일한 슬라이스로 구성되는 것을 특징으로 하는 영상 부호화장치.
  18. 제1 항에 있어서, 상기 비트스트림 패킹부는 상기 메인영상이 슬라이스로 구성되는 경우, 상기 부호화된 보조영상 데이터는 각 부호화된 슬라이스 데이터 이후에 위치하는 것을 특징으로 하는 영상 부호화장치.
  19. 제18 항에 있어서, 상기 메인영상과 상기 보조영상은 동일한 예측 부호화방식으로 부호화되며, 상기 보조영상은 프레임 영상 혹은 필드 영상인 것을 특징으로 하는 영상 부호화장치.
  20. 제18 항에 있어서, 상기 메인영상과 상기 보조영상은 동일한 예측 부호화방식으로 부호화되며, 상기 보조영상은 상기 메인영상과 동일한 슬라이스로 구성되는 것을 특징으로 하는 영상 부호화장치.
  21. 메인영상과 보조영상을 부호화하여, 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 생성하는 단계; 및
    상기 부호화된 메인영상 데이터와 상기 부호화된 보조영상 데이터의 결합여부를 결정하는 외부 제어신호에 따라서, 상기 부호화된 메인영상 데이터와 상기 부호화된 보조영상 데이터 중 적어도 하나를 하나의 비트스트림으로 패킹하는 단계를 포함하는 것을 특징으로 하는 영상 부호화방법.
  22. 제21 항에 있어서, 상기 보조영상은 그레이 알파 영상, 깊이영상 및 상기 메인영상과 동일한 영상 중 하나에 해당하는 것을 특징으로 하는 영상 부호화방법.
  23. 제21 항에 있어서, 상기 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 생성하는 단계에서는 상기 보조영상에 대하여 휘도신호 부호화를 수행하는 것을 특징으로 하는 영상 부호화방법.
  24. 제21 항에 있어서, 상기 비트스트림 패킹단계는 상기 부호화된 보조영상 데이터를 상기 부호화된 메인영상 데이터와 결합시키기 위하여 상기 보조영상의 구분신호를 나타내는 제1 필드, 및 상기 보조영상에 관한 헤더정보와 상기 보조영상의 부호화된 데이터를 나타내는 제2 필드를 정의하는 것을 특징으로 하는 영상 부호화방법.
  25. 부호화된 메인영상 데이터에 부호화된 보조영상 데이터가 결합되어 패킹된 비트스트림을 언패킹하여 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 분리하는 비트스트림 언패킹부; 및
    상기 분리된 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 복호화하여 복원영상을 생성하는 복호화부를 포함하는 것을 특징으로 하는 영상 복호화장치.
  26. 제25 항에 있어서, 상기 보조영상은 그레이 알파 영상, 깊이영상 및 상기 메인영상과 동일한 영상 중 하나에 해당하는 것을 특징으로 하는 영상 복호화장치.
  27. 제25 항에 있어서, 상기 복호화부에서는 상기 보조영상에 대하여 휘도신호 복호화를 수행하는 것을 특징으로 하는 영상 복호화장치.
  28. 제25 항에 있어서, 상기 비트스트림 언패킹부는 상기 부호화된 보조영상 데이터를 상기 부호화된 메인영상 데이터와 결합시키기 위하여 상기 보조영상의 구분신호를 나타내는 제1 필드, 및 상기 보조영상에 관한 헤더정보와 상기 보조영상의 부호화된 데이터를 나타내는 제2 필드를 이용하여 상기 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 분리하는 것을 특징으로 하는 영상 복호화장치.
  29. 부호화된 메인영상 데이터와 부호화된 보조영상 데이터의 결합여부를 결정하는 외부 제어신호에 따라서, 상기 부호화된 메인영상 데이터와 부호화된 상기 보조영상 데이터 중 적어도 하나로 패킹된 비트스트림을 언패킹하여 상기 부호화된 메인영상 데이터와 상기 부호화된 보조영상 데이터를 분리하는 단계; 및
    상기 분리된 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 복호화하여 복원영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화방법.
  30. 제29 항에 있어서, 상기 보조영상은 그레이 알파 영상, 깊이영상 및 상기 메인영상과 동일한 영상 중 하나에 해당하는 것을 특징으로 하는 영상 복호화방법.
  31. 제29 항에 있어서, 상기 분리된 부호화된 보조영상 데이터에 대하여 휘도신호 복호화를 수행하는 것을 특징으로 하는 영상 복호화방법.
  32. 제29 항에 있어서, 상기 부호화된 메인영상 데이터와 상기 부호화된 보조영상 데이터를 분리하는 단계는 상기 부호화된 보조영상 데이터를 상기 부호화된 메인영상 데이터와 결합시키기 위하여 상기 보조영상의 구분신호를 나타내는 제1 필드, 및 상기 보조영상에 관한 헤더정보와 상기 보조영상의 부호화된 데이터를 나타내는 제2 필드를 이용하여 상기 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 분리하는 것을 특징으로 하는 영상 복호화방법.
  33. 메인영상과 보조영상을 부호화하여, 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 생성하는 단계; 및
    상기 부호화된 메인영상 데이터와 상기 부호화된 보조영상 데이터의 결합여부를 결정하는 외부 제어신호에 따라서, 상기 부호화된 메인영상 데이터와 상기 부호화된 보조영상 데이터 중 적어도 하나를 하나의 비트스트림으로 패킹하는 단계를 포함하는 영상 부호화방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  34. 부호화된 메인영상 데이터와 부호화된 보조영상 데이터의 결합여부를 결정하는 외부 제어신호에 따라서, 상기 부호화된 메인영상 데이터와 부호화된 상기 보조영상 데이터 중 적어도 하나로 패킹된 비트스트림을 언패킹하여 상기 부호화된 메인영상 데이터와 상기 부호화된 보조영상 데이터를 분리하는 단계; 및
    상기 분리된 부호화된 메인영상 데이터와 부호화된 보조영상 데이터를 복호화하여 복원영상을 생성하는 단계를 포함하는 영상 복호화방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060066577A 2005-07-15 2006-07-14 영상 부호화장치 및 방법과 그 복호화장치 및 방법 KR101323732B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050064504 2005-07-15
KR20050064504 2005-07-15

Publications (2)

Publication Number Publication Date
KR20070009485A KR20070009485A (ko) 2007-01-18
KR101323732B1 true KR101323732B1 (ko) 2013-10-31

Family

ID=37809065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060066577A KR101323732B1 (ko) 2005-07-15 2006-07-14 영상 부호화장치 및 방법과 그 복호화장치 및 방법

Country Status (3)

Country Link
US (1) US20080181305A1 (ko)
KR (1) KR101323732B1 (ko)
WO (1) WO2007027010A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007516630A (ja) * 2003-06-23 2007-06-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ シーンを合成する方法及び復号器
JP4403173B2 (ja) * 2006-12-22 2010-01-20 富士フイルム株式会社 立体表示用ファイルの生成方法および装置並びに表示制御方法および装置
JP5660361B2 (ja) * 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2013034163A (ja) 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
CN104427323B (zh) * 2013-08-23 2016-08-10 鸿富锦精密工业（深圳）有限公司 基于深度的三维图像处理方法
US9953199B2 (en) 2014-02-24 2018-04-24 Hewlett-Packard Development Company, L.P. Decoding a main image using an auxiliary image
CN113099271A (zh) * 2021-04-08 2021-07-09 天津天地伟业智能安全防范科技有限公司 视频辅助信息的编码、解码方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759092A (ja) * 1993-08-19 1995-03-03 Hitachi Ltd 画像信号の伝送装置
JPH07203433A (ja) * 1993-12-29 1995-08-04 Matsushita Electric Ind Co Ltd デジタル画像符号化方法及びデジタル画像復号化方法
JPH10108181A (ja) * 1996-09-30 1998-04-24 Sony Corp サブピクチャ符号化装置
US5886736A (en) 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144415A (en) * 1996-03-07 2000-11-07 Thomson Licensing S.A. Apparatus for sampling and displaying an auxiliary image with a main image to eliminate a spatial seam in the auxiliary image
US6307597B1 (en) * 1996-03-07 2001-10-23 Thomson Licensing S.A. Apparatus for sampling and displaying an auxiliary image with a main image
CN1726530A (zh) * 2002-12-18 2006-01-25 皇家飞利浦电子股份有限公司 剪辑网络中发送的媒体数据
CN1981531B (zh) * 2004-05-04 2012-07-04 高通股份有限公司 构建用于时间可分级的双向预测帧的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759092A (ja) * 1993-08-19 1995-03-03 Hitachi Ltd 画像信号の伝送装置
JPH07203433A (ja) * 1993-12-29 1995-08-04 Matsushita Electric Ind Co Ltd デジタル画像符号化方法及びデジタル画像復号化方法
JPH10108181A (ja) * 1996-09-30 1998-04-24 Sony Corp サブピクチャ符号化装置
US5886736A (en) 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence

Also Published As

Publication number Publication date
US20080181305A1 (en) 2008-07-31
KR20070009485A (ko) 2007-01-18
WO2007027010A1 (en) 2007-03-08

Similar Documents

Publication Publication Date Title
KR101088375B1 (ko) 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
US9510011B2 (en) Video encoding device, video decoding device, video encoding method, video decoding method, and program
JP5878551B2 (ja) 高ダイナミック・レンジ（ｈｄｒ）ビデオ・データ・ストリームをトーン・マッピングするための方法、コンピュータ・プログラム及びシステム
JP4625411B2 (ja) 画像データの符号化方法およびそのためのプログラムを記録したコンピュータ読み取り可能媒体
US8090025B2 (en) Moving-picture coding apparatus, method and program, and moving-picture decoding apparatus, method and program
US9083947B2 (en) Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
US20100232691A1 (en) Image coding device, image decoding device, image coding method, and image decoding method
JP6704932B2 (ja) ビデオコーディングシステムにおける残差変換及び逆変換方法
KR101147744B1 (ko) 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ
KR101323732B1 (ko) 영상 부호화장치 및 방법과 그 복호화장치 및 방법
US20100104022A1 (en) Method and apparatus for video processing using macroblock mode refinement
CN114556931A (zh) 基于调色板模式的图像或视频编码
JP2023158204A (ja) 変換スキップ及びパレットコーディング関連情報のシグナリングベースの映像又はビデオコーディング
CN114556933A (zh) 基于调色板转义编码的图像或视频编码
US20190268619A1 (en) Motion vector selection and prediction in video coding systems and methods
WO2018152749A1 (en) Coding block bitstream structure and syntax in video coding systems and methods
JP2011082629A (ja) 画像符号化方法、画像復号化方法、画像符号化装置、及び画像復号化装置、並びにプログラム
KR20080084890A (ko) 동영상 부호화 및 재생 방법 및 장치
US10652569B2 (en) Motion vector selection and prediction in video coding systems and methods
CN114762339A (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
KR20220050968A (ko) 변환 스킵 및 팔레트 코딩 관련 정보 기반 영상 또는 비디오 코딩
CN114902667A (zh) 基于色度量化参数偏移信息的图像或视频编码

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee