KR100938553B1 - 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한바운더리 처리 방법 및 장치 - Google Patents

스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한바운더리 처리 방법 및 장치 Download PDF

Info

Publication number
KR100938553B1
KR100938553B1 KR1020080025002A KR20080025002A KR100938553B1 KR 100938553 B1 KR100938553 B1 KR 100938553B1 KR 1020080025002 A KR1020080025002 A KR 1020080025002A KR 20080025002 A KR20080025002 A KR 20080025002A KR 100938553 B1 KR100938553 B1 KR 100938553B1
Authority
KR
South Korea
Prior art keywords
lower layer
upsampling
decoder
information
boundary
Prior art date
Application number
KR1020080025002A
Other languages
English (en)
Other versions
KR20090066183A (ko
Inventor
신일홍
최해철
정순흥
유정주
임종수
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20090066183A publication Critical patent/KR20090066183A/ko
Application granted granted Critical
Publication of KR100938553B1 publication Critical patent/KR100938553B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법 및 장치에 관한 것으로, H.264 스케일러블 영상 코덱(Scalable Video Codec: SVC)의 싱글-루프-디코딩(single-loop-decoding) 방식의 특성을 활용하여, 작은 하위 레이어의 부/복호화 시에 상위 레이어의 이미 복원된 정보를, 다운 샘플링 과정을 통해 하위 레이어의 대응 블록의 확대에 필요한 바운더리 정보로 이용하여, 영상 블록의 확대시에 필요한 바운더리 처리 방법을 제공한다.
영상 부호화, 영상 복호화, 레이어, 블록

Description

스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법 및 장치{METHOD AND DEVICE FOR BOUNDARY PROCESSING USING NEIGHBOUR BLOCK INFORMATION IN SCALABLE VIDEO ENCODER/DECODER}
본 발명은 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법 및 장치에 관한 것으로, 영상신호의 스케일러블(scalable) 엔코딩 및 디코딩시에, 주변블록의 정보를 이용한 영상블록의 확대시의 바운더리 처리 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT 성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-017-02, 과제명: 지상파 DMB 전송 고도화 기술개발].
스케일러블 영상 코덱(Scalable Video Codec: SVC) 방식은 영상신호를 엔코딩(encoding)함에 있어, 최고 화질로 엔코딩 하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스(시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스)를 디코딩하여 사용하여도, 저화질의 영상 표현이 가능하도록 한 방식이다.
에이치-비 픽쳐(Hierarchical B pictures: H-B picture) 방식은 상기와 같은 스케일러블 영상 코덱(SVC)에 사용하기 위해 제안된 엔코딩 방식이다.
그런데, 앞서 언급한 바와 같이 스케일러블 방식인 에이치-비 픽쳐(H-B picture)로 엔코딩된 픽처(picture) 시퀀스는, 부분 시퀀스만을 수신 및 처리하여 저화질의 영상 표현이 가능하지만, 비트레이트(bitrate)가 낮아지는 경우 화질저하가 크게 나타난다. 이를 해소하기 위하여 낮은 전송률을 위한 별도의 보조 픽처 시퀀스, 예를 들어 초당 프레임수 등이 낮은 픽처 시퀀스를 계층적으로 제공할 수도 있다.
또한, 작은 영상과 큰 영상을 동시에 전송하기 위해서 영상의 축소와 확대가 필요하다. 즉, 하나의 영상 신호원을 4 씨아이에프(4 Common Intermediate Format: CIF)의 픽처 시퀀스, 씨아이에프(CIF)의 픽처 시퀀스, 또는 큐씨아이에프(Quarter Common Intermediate Format: QCIF)의 픽처 시퀀스로 각각 엔코딩하여 디코딩 장치에 전송할 수 있다.
그런데, 하위 레이어와 상위 레이어는 동일한 영상신호원을 엔코딩하는 것이므로, 양 레이어의 엔코딩 신호에는 잉여정보(redundancy)가 존재한다.
따라서, 여러 화면 사이즈를 전송하는 방식에 의해 엔코딩 되는 특정 레이어의 코딩율(coding rate)을 높이기 위해, 하위 레이어의 임의 영상 프레임을 기준으로 하여 그와 동시간의 현재 레이어의 영상 프레임을 예측된 이미지, 즉 레지듀얼 데이터로 만든다. 예를 들어, 높은 해상도 영상의 현재 매크로 블록을 엔코딩 함에 있어서, 내부 모드(intra BL mode)로 코딩해야 하는 경우, 그 하위 레이어의 대응 블록, 즉 현재 매크로 블록과 동시간이면서 프레임에서 동위치에 해당하는 영역 을 포함하는 블록을 확대한 다음, 그 확대된 블록의 화소값들과의 차이 값 또는 에러 값을 현재 매크로 블록에 엔코딩 한다.
상기와 같이 확대된 블록은 디코더에 전송되지 않으므로, 디코더가 상기와 같이 엔코딩 된 매크로 블록을 디코딩하기 위해서도, 역시 그 하위 레이어의 대응블록을 확대하여 이용하여야 한다. 또한, 상기와 같은 내부 모드의 매크로 블록의 엔코딩을 위해서뿐만 아니라, 레이어간 레지듀얼 데이터 예측 동작을 수행하는 경우에도 하위 레이어의 블록을 확대해야 한다.
이와 같이, 상이한 픽처 크기 또는 해상도를 갖는 복수 레이어를 엔코딩 스트림으로 제공하는 경우에는 엔코딩 및 디코딩 과정에서 영상 블록의 확대가 필요하다.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, H.264 스케일러블 영상 코덱(Scalable Video Codec: SVC)의 싱글-루프-디코딩(single-loop-decoding) 방식의 특성을 활용하여, 작은 하위 레이어의 부/복호화 시에 상위 레이어의 이미 복원된 정보를, 다운 샘플링 과정을 통해 하위 레이어의 대응 블록의 확대에 필요한 바운더리 정보로 제공하여, 영상 블록의 확대시에 필요한 효율적인 바운더리 처리 방법을 제공하는 것을 목적으로 한다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명의 일례에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법은, 스케일러블 영상의 부/복호화 시에, 하위 레이어의 매크로 블록 모드를 판단하는 단계, 상기 판단 결과, 상기 하위 레이어의 매크로 블록 모드가 내부 모드인 경우, 상위 레이어의 매크로 블록의 인접한 블록의 보호화된 정보를 이용하여 상기 업 샘플링 비율에 따른 다운 샘플링을 수행하여, 바운더리 픽셀 정보를 생성하는 단계, 및 상기 바운더리 픽셀 정보에 기초하여 상기 하위 레이어의 업 샘플링을 수행하는 단계를 포함한다.
본 발명의 또 다른 일측에 따르면, 업 샘플링의 필요 여부를 판단하는 단계를 더 포함하고, 상기 하위 레이어의 매크로 블록 모드를 판단하는 단계는, 상기 업 샘플링의 필요 여부 판단 결과, 업 샘플링이 필요한 경우에 상기 하위 레이어의 매크로 블록 모드를 판단한다.
본 발명의 또 다른 일측에 따르면, 상기 바운더리 픽셀 정보에 기초하여 상기 하위 레이어의 업 샘플링을 수행하는 단계는, 상기 하위 레이어의 복원 영상을 이용하여, 수평 및 수직 방향으로 필터에 의한 컨버루션을 수행에 의한 업 샘플링을 수행하는 단계이다.
본 발명의 또 다른 일측에 따르면, 상기 하위 레이어의 복원 영상을 이용하여, 수평 및 수직 방향으로 필터에 의한 컨버루션을 수행에 의한 업 샘플링을 수행하는 단계는, 상기 수평 방향으로 컨버루션을 수행한 후, 상기 수직 방향으로 컨버루션을 수행하거나, 또는 상기 수직 방향을 컨버루션을 수행한 후, 상기 수평 방향을 컨버루션을 수행한다.
본 발명의 또 다른 일측에 따르면, 상기 다운 샘플링은 바이리니어-인터폴레이션(bilinear-interpolation)을 사용한다.
본 발명의 또 다른 일측에 따르면, 상기 스케일러블 영상의 부/복호화는 싱글-루프-디코딩 방식을 사용한다.
본 발명의 또 다른 일측에 따르면, 상기 바운더리 픽셀 정보에 기초하여 상기 하위 레이어의 업 샘플링을 수행하는 단계는, 상기 하위 레이어의 소정의 배수를 비율로 하여 업 샘플링을 수행하는 단계이다.
본 발명의 일례에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치는, 스케일러블 영상의 부/복호화 시에, 하위 레이어의 매크로 블록 모드를 판단하는 매크로 블록 모드 판단부, 상기 판단 결과, 상기 하 위 레이어의 매크로 블록 모드가 내부 모드인 경우, 상위 레이어의 매크로 블록의 인접한 블록의 보호화된 정보를 이용하여 상기 업 샘플링 비율에 따른 다운 샘플링을 수행하여, 바운더리 픽셀 정보를 생성하는 바운더리 픽셀 정보 생성부, 및 상기 바운더리 픽셀 정보에 기초하여 상기 하위 레이어의 업 샘플링을 수행하는 업 샘플링부를 포함한다.
본 발명에 따르면, H.264 스케일러블 영상 코덱(Scalable Video Codec: SVC)의 싱글-루프-디코딩(single-loop-decoding) 방식의 특성을 활용하여, 작은 하위 레이어의 부/복호화 시에 상위 레이어의 이미 복원된 정보를, 다운 샘플링 과정을 통해 하위 레이어의 대응 블록의 확대에 필요한 바운더리 정보로 제공하여, 영상 블록의 확대시에 필요한 효율적인 바운더리 처리 방법을 제공할 수 있다.
이하 첨부된 도면들 및 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일례에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치의 구성도이다. 도 1을 참조하여 본 발명의 일례에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치의 구성을 설명한다.
도 1에 도시된 바와 같이, 본 발명의 바운더리 처리 장치는 업 샘플링 판단부(110), 매크로 블록 모드 판단부(120), 바운더리 픽셀 정보 생성부(130), 및 업 샘플링부(140)를 포함하여 구성된다.
업 샘플링 판단부(110)는, 스케일러블 영상의 부/복호화 시에, 바운더리 패딩(boundary padding) 즉 업 샘플링(up sampling)이 필요한지의 여부를 판단한다.
상기 레이어의 영상의 부/복호화는, 스케일러블 영상 코덱(Scalable Video Codec: SVC) 방식을 사용하며, 상기 스케일러블 영상 코덱 방식은 싱글-루프-디코딩(single-loop-decoding)을 사용한다.
매크로 블록 모드 판단부(120)는 스케일러블 영상의 부/복호화 시에 하위 레이어의 매크로 블록의 모드를 조사하여 판단한다.
상기 매크로 블록 모드 판단부(120)는 상기 업 샘플링 판단부(110)의 판단 결과, 업 샘플링이 필요한 경우에 상기 하위 레이어의 매크로 블록 모드를 판단한다.
바운더리 픽셀 정보 생성부(130)는 매크로 블록 모드 판단부(120)의 판단 결과, 하위 레이어의 매크로 블록의 모드가 내부 모드(intra mode)인 경우, 상위 레이어의 매크로 블록의 인접한 블록의 보호화된 정보를 이용하여 상기 업 샘플링 비율에 따른 다운 샘플링을 수행하여, 바운더리 픽셀 정보를 생성한다.
상기 다운 샘플링 방법은, 바이리니어-인터폴레이션(bilinear-interpolation)을 사용할 수 있다.
업 샘플링부(140)는 상기 바운더리 픽셀 정보에 기초하여, 상기 하위 레이어 의 영상 확대를 수행하는데, 이때 상기 하위 레이어의 복원 영상을 이용하여, 수평 및 수직 방향으로 필터에 의한 컨버루션(convolution)을 수행하여, 영상 확대를 수행한다. 이와 같은 영상 확대 방향은, 수평 방향 또는 수직 방향의 컨버루션 수행 순서에 관계 없다. 즉, 영상 확대 방향을, 수평 방향으로 컨버루션을 수행한 후, 상기 수직 방향으로 컨버루션을 수행하거나, 상기 수직 방향을 컨버루션을 수행한 후, 상기 수평 방향을 컨버루션을 수행할 수 있다.
또한, 스케일러블 영상의 부/복호화는 싱글-루프-디코딩(single-loop-decoding) 방식을 사용할 수 있다.
이와 같은 본 발명에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치는, 상기 상위 레이어와 상기 하위 레이어의 가로, 세로 크기가 각각 소정의 배수(예를 들어, 1배, 2배, 3배 등등) 비율의 관계일 때 적용 가능하다.
도 2는 본 발명의 일례에 따른, 싱글-루프-디코딩(single-loop-decoding) 방식에 의하여, 하위 레이어의 매크로 블록 중에서 내부 모드(intra mode)로 코딩된 블록만 업-샘플링(up-sampling) 연산을 수행하는 방법을 도시한 도면이다. 도 2를 참조하여, 하위 레이어의 매크로 블록 중에서 내부 모드로 코딩된 블록만 업-샘플링(up-sampling) 연산을 수행하는 방법을 설명한다.
영상의 확대 연산은 스케일러블 영상 코덱(SVC) 부/복호화기에 필수적인 연산이다. 현재 표준화중인 H.264 스케일러블 영상 코덱(Scalable Video Codec: SVC)은 싱글-루프-디코딩(single-loop-decoding) 방식을 채용하고 있다. 싱글-루 프-디코딩 방식은 하위 레이어(적은 사이즈의 화면: 210)의 매크로 블록 중 내부 모드(intra BL mode)로 코딩 된 블록만 확대하는 업 샘플링(up-sampling) 연산을 수행하여, 현재 레이어의 내부 모드의 재구성에 예측신호로 사용하는 방식이다. 따라서, 부/복호기에서는 싱글-루프-디코딩(single-loop-decoding) 모드의 특성을 활용하여, 효율적인 영상확대 연산이 가능하다.
도 3은 본 발명의 일례에 따른 영상 확대를 위한 바운더리 패딩(boundary padding) 방법을 도시한 도면이다. 도 3을 참조하여 본 발명의 일례에 따른 영상 확대를 위한 바운더리 패딩(boundary padding) 방법을 설명한다.
본 발명의 일례에 따른 영상 확대를 위한 바운더리 패딩 방법은, H.264 스케일러블 영상 코덱(Scalable Video Codec: SVC)은 싱글-루프-디코딩(single-loop-decoding) 모드를 사용하므로, 공간적 스케일러빌러티(scalability)를 지원하는 경우, 하위 영상은 내부 모드로 코딩된 매크로 블록만을 복호화하여, 업-샘플링 필터(up-sampling filter)를 이용하여 상위 레이어에 필요한 확대신호를 만든다. 이때, 필터링 과정에 바운더리 패딩(boundary padding) 과정이 필수적이다.
도 3에 도시된 바와 같이, 주변블록이 모두 인터 코딩(inter coding)된 하위 레이어의 영상인 경우, 현재 블록만이 싱글-루프-디코딩(single-loop-decoding) 모드에 의해 복호화가되기 때문에, 복호화된 현재 블록의 바운더리(boundary)를 패딩(padding)하여 업-샘플링(up-sampling) 필터링시에 신호로 사용한다.
본 발명은 H.264 스케일러블 영상 코덱(SVC)에서 영상의 업-샘플링 비율(up-sampling ratio)이 임의의 배수를 가지는 경우에 적용이 가능하다. 즉, 상위 레이 어와 하위 레이어의 가로, 세로 크기가 각각 임의의 배수인 경우에 적용 가능하다. 또한, H.264 스케일러블 영상 코덱(SVC)뿐만 아니라, 일반적인 공간적 스케일러빌러티(scalability)를 제공하는 비디오 코덱을 적용하는 것도 가능하다.
본 발명에 따른 영상블록의 효율적인 확대를위한 바운더리 처리과정을 보다 상세하게 설명하면, H.264 스케일러블 영상 코덱(SVC)의 싱글-루프-디코딩(single-loop-decoding) 모드의 특성을 활용하여, 작은 사이즈 화면(하위 레이어)의 부/복호화 후에, 큰 화면 (상위 레이어)의 부/복호화시에 하위 레이어의 매크로 블록의 모드를 조사하여, 바운더리 패딩이 필요한지를 결정한다. 적어도 하나의 내부 모드(intra mode)가 존재하는 경우, 상위 레이어의 매크로 블록의 4 방향(4 neighbour)의 블록의 복호화 된 정보를 조사하여, 업-샘플링(up-sampling) 비율에 맞게 다운샘플링을 수행하여, 하위 레이어에 필요한 바운더리 픽셀(boundary pixel) 정보를 제공하고, 영상확대 연산을 수행한다.
도 4는 본 발명의 일례에 따른 영상 확대 방법을 도시한 도면이다. 도 4를 참조하여 본 발명의 일례에 따른 영상 확대 방법을 설명한다.
도 4에 도시된 바와 같이, 하위 레이어(Lower layer)의 복원 영상(410)을 이용하여, 수평과 수직 방향으로 필터를 이용해서 컨버루션(convolution) 과정을 수행한다.
하위 레이어의 복원 영상(410)을 수평 컨버루션(Horizontal Convolution)을 통하여 수평으로 확대된 영상(Temporary image: 420)를 생성하고, 상기 수평으로 확대된 영상(420)을 수직 컨버루션(Vertical Convolution)을 통하여, 확대된 업-샘 플링 영상(up-sampling image: 430)를 생성할 수 있다.
이때, 수평 방향과 수직 방향 컨버루션의 순서는 어느 방향을 먼저 수행하여도 상관이 없다.
도 5는 본 발명의 일례에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법을 도시한 도면이다. 도 5를 참조하여 본 발명의 일례에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법을 설명한다.
본 발명의 일실시예에 따른 바운더리 처리 방법은, 우선 현재 영상이 내부 모드(intra BL 모드) 인지 판별한 후, 내부(intra BL)면의 하위 레이어에 대응되는 매크로 블록(510)의 복원된 정보와 상위 레이어의 주변 4 블록(520)의 정보를 다운 샘플링(Down-sampling)하여, 하위 레이어에 필요한 바운더리 픽셀정보로 사용한다.
이때, 다운샘플링 방법은 계산량을 감안하여, 바이리니어-인터폴레이션(bilinear-interpolation)을 사용할 수 있다.
도 6은 본 발명의 일례에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법을 도시한 흐름도이다. 도 6을 참조하여 본 발명의 일례에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법을 설명한다.
스케일러블 영상의 부/복호화 시에, 하위 레이어의 매크로 블록 모드를 판단한다(S610). 이때, 상기 스케일러블 영상의 부/복호화는 싱글-루프-디코딩 방식을 사용할 수 있다.
상기와 같은 블록 모드의 판단 이전에, 업 샘플링의 필요 여부를 판단할 수 있으며, 하위 레이어의 매크로 블록 모드를 판단 결과, 업 샘플링이 필요한 경우에 상기 하위 레이어의 매크로 블록 모드를 판단하도록 구성될 수 있다.
상기 판단 결과, 상기 하위 레이어의 매크로 블록 모드가 내부 모드인 경우(S620), 상위 레이어의 매크로 블록의 인접한 블록의 보호화된 정보를 이용하여 상기 업 샘플링 비율에 따른 다운 샘플링을 수행하여, 바운더리 픽셀 정보를 생성한다(S630).
이때, 상기 다운 샘플링은 바이리니어-인터폴레이션(bilinear-interpolation)을 사용할 수 있다.
상기 바운더리 픽셀 정보에 기초하여 상기 하위 레이어의 업 샘플링을 수행한다(S640).
이때, 상기 하위 레이어의 복원 영상을 이용하여, 수평 및 수직 방향으로 필터에 의한 컨버루션을 수행에 의한 업 샘플링을 수행할 수 있다. 특히, 상기 수평 방향으로 컨버루션을 수행한 후, 상기 수직 방향으로 컨버루션을 수행하거나, 또는 상기 수직 방향을 컨버루션을 수행한 후, 상기 수평 방향을 컨버루션을 수행할 수 있다.
상기와 같은 하위 레이어의 업 샘플링을 수행시에는 상기 하위 레이어의 소정의 배수를 비율로 하여 업 샘플링을 수행할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일례에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치의 구성도이다.
도 2는 본 발명의 일례에 따른, 싱글-루프-디코딩(single-loop-decoding) 방식에 의하여, 하위 레이어의 매크로 블록 중에서 내부 모드로 코딩된 블록만 업-샘플링(up-sampling) 연산을 수행하는 방법을 도시한 도면이다.
도 3은 본 발명의 일례에 따른 영상 확대를 위한 바운더리 패딩(boundary padding) 방법을 도시한 도면이다.
도 4는 본 발명의 일례에 따른 영상 확대 방법을 도시한 도면이다.
도 5는 본 발명의 일례에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법을 도시한 도면이다.
도 6은 본 발명의 일례에 따른 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법을 도시한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 업 샘플링 판단부
120: 매크로 블록 모드 판단부
130: 바운더리 픽셀 정보 생성부
140: 업 샘플링부

Claims (14)

  1. 스케일러블 영상의 부/복호화 시에, 하위 레이어의 매크로 블록 모드를 판단하는 단계;
    상기 판단 결과, 상기 하위 레이어의 매크로 블록 모드가 내부 모드인 경우, 상위 레이어의 매크로 블록의 인접한 블록의 보호화된 정보를 이용하여 업 샘플링 비율에 따른 다운 샘플링을 수행하여, 바운더리 픽셀 정보를 생성하는 단계; 및
    상기 바운더리 픽셀 정보에 기초하여 상기 하위 레이어의 업 샘플링을 수행하는 단계
    를 포함하는 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법.
  2. 제1항에 있어서,
    업 샘플링의 필요 여부를 판단하는 단계
    를 더 포함하고,
    상기 하위 레이어의 매크로 블록 모드를 판단하는 단계는,
    상기 업 샘플링의 필요 여부 판단 결과, 업 샘플링이 필요한 경우에 상기 하위 레이어의 매크로 블록 모드를 판단하는 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법.
  3. 제1항에 있어서,
    상기 바운더리 픽셀 정보에 기초하여 상기 하위 레이어의 업 샘플링을 수행하는 단계는,
    상기 하위 레이어의 복원 영상을 이용하여, 수평 및 수직 방향으로 필터에 의한 컨버루션을 통하여 업 샘플링을 수행하는 단계
    인 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법.
  4. 제3항에 있어서,
    상기 하위 레이어의 복원 영상을 이용하여, 수평 및 수직 방향으로 필터에 의한 컨버루션을 통하여 업 샘플링을 수행하는 단계는,
    상기 수평 방향으로 컨버루션을 수행한 후, 상기 수직 방향으로 컨버루션을 수행하거나, 또는 상기 수직 방향을 컨버루션을 수행한 후, 상기 수평 방향을 컨버루션을 수행하는 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법.
  5. 제1항에 있어서,
    상기 다운 샘플링은,
    바이리니어-인터폴레이션(bilinear-interpolation)을 사용하는 것을 특징으 로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법.
  6. 제1항에 있어서,
    상기 스케일러블 영상의 부/복호화는,
    싱글-루프-디코딩 방식을 사용하는 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법.
  7. 제1항에 있어서,
    상기 바운더리 픽셀 정보에 기초하여 상기 하위 레이어의 업 샘플링을 수행하는 단계는,
    상기 하위 레이어의 소정의 배수를 비율로 하여 업 샘플링을 수행하는 단계
    인 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 방법.
  8. 스케일러블 영상의 부/복호화 시에, 하위 레이어의 매크로 블록 모드를 판단하는 매크로 블록 모드 판단부;
    상기 판단 결과, 상기 하위 레이어의 매크로 블록 모드가 내부 모드인 경우, 상위 레이어의 매크로 블록의 인접한 블록의 보호화된 정보를 이용하여 업 샘플링 비율에 따른 다운 샘플링을 수행하여, 바운더리 픽셀 정보를 생성하는 바운더리 픽셀 정보 생성부; 및
    상기 바운더리 픽셀 정보에 기초하여 상기 하위 레이어의 업 샘플링을 수행하는 업 샘플링부
    를 포함하는 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치.
  9. 제8항에 있어서,
    상기 업 샘플링의 필요 여부를 판단하는 업 샘플링 판단부
    를 더 포함하고,
    상기 매크로 블록 모드 판단부는,
    상기 업 샘플링 판단부의 판단 결과, 업 샘플링이 필요한 경우에 상기 하위 레이어의 매크로 블록 모드를 판단하는 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치.
  10. 제8항에 있어서,
    상기 업 샘플링부는,
    상기 하위 레이어의 복원 영상을 이용하여, 수평 및 수직 방향으로 필터에 의한 컨버루션을 통하여 업 샘플링을 수행하는 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치.
  11. 제10항에 있어서,
    상기 업 샘플링부는,
    상기 수평 방향으로 컨버루션을 수행한 후, 상기 수직 방향으로 컨버루션을 수행하거나, 또는 상기 수직 방향을 컨버루션을 수행한 후, 상기 수평 방향을 컨버루션을 수행하는 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치.
  12. 제8항에 있어서,
    상기 다운 샘플링은,
    바이리니어-인터폴레이션(bilinear-interpolation)을 사용하는 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치.
  13. 제8항에 있어서,
    상기 스케일러블 영상의 부/복호화는,
    싱글-루프-디코딩 방식을 사용하는 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치.
  14. 제8항에 있어서,
    상기 업 샘플링부는,
    상기 하위 레이어의 소정의 배수를 비율로 하여 업 샘플링을 수행하는 것을 특징으로 하는 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한 바운더리 처리 장치.
KR1020080025002A 2007-12-18 2008-03-18 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한바운더리 처리 방법 및 장치 KR100938553B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020070133204 2007-12-18
KR20070133204 2007-12-18

Publications (2)

Publication Number Publication Date
KR20090066183A KR20090066183A (ko) 2009-06-23
KR100938553B1 true KR100938553B1 (ko) 2010-01-22

Family

ID=40994301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080025002A KR100938553B1 (ko) 2007-12-18 2008-03-18 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한바운더리 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100938553B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060043115A (ko) * 2004-10-26 2006-05-15 엘지전자 주식회사 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
KR20060063613A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060108887A (ko) * 2005-04-14 2006-10-18 삼성전자주식회사 랜덤 엑세스의 지연을 최소화하는 비디오 복부호화 장치 및방법
US20070160133A1 (en) 2006-01-11 2007-07-12 Yiliang Bao Video coding with fine granularity spatial scalability

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060043115A (ko) * 2004-10-26 2006-05-15 엘지전자 주식회사 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
KR20060063613A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060108887A (ko) * 2005-04-14 2006-10-18 삼성전자주식회사 랜덤 엑세스의 지연을 최소화하는 비디오 복부호화 장치 및방법
US20070160133A1 (en) 2006-01-11 2007-07-12 Yiliang Bao Video coding with fine granularity spatial scalability

Also Published As

Publication number Publication date
KR20090066183A (ko) 2009-06-23

Similar Documents

Publication Publication Date Title
KR100888963B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100781524B1 (ko) 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
KR101003435B1 (ko) 영상 블록을 디코딩 하는 방법
KR100783396B1 (ko) 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US7813428B2 (en) Method of encoding and decoding video signals
EP1878260B1 (en) Method for scalably encoding and decoding video signal
KR100657268B1 (ko) 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
US7787540B2 (en) Method for scalably encoding and decoding video signal
KR100888962B1 (ko) 영상 신호의 인코딩 및 디코딩 방법
KR100963424B1 (ko) 스케일러블 영상 복호화기 및 그 제어 방법
US20090225846A1 (en) Inter-Layer Motion Prediction Method
CN103098471A (zh) 用于多层画面编码/解码的设备和方法
KR20060043115A (ko) 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
US20090103613A1 (en) Method for Decoding Video Signal Encoded Using Inter-Layer Prediction
KR20060063613A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP5137119B2 (ja) ビデオ画像の階層符号化法
KR102163477B1 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR100938553B1 (ko) 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한바운더리 처리 방법 및 장치
KR100935528B1 (ko) 주변 블록의 정보를 이용한 효율적인 영상 확대 방법 및이를 적용한 스케일러블 비디오 부호화/복호화 장치 및방법
KR100914133B1 (ko) 주변 블록의 정보를 이용한 효율적인 영상 확대 방법 및이를 적용한 스케일러블 비디오 부호화/복호화 장치 및방법
JP6635197B2 (ja) 映像符号化装置、映像符号化方法およびプログラム
JP2009260519A (ja) 画像復号化装置、画像復号化集積回路、画像復号化方法および画像復号化プログラム
KR20070013995A (ko) 레이어간 예측방식를 사용해 영상신호를 엔코딩하고 그엔코딩된 영상신호를 디코딩하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee