KR100963424B1 - 스케일러블 영상 복호화기 및 그 제어 방법 - Google Patents

스케일러블 영상 복호화기 및 그 제어 방법 Download PDF

Info

Publication number
KR100963424B1
KR100963424B1 KR1020080071563A KR20080071563A KR100963424B1 KR 100963424 B1 KR100963424 B1 KR 100963424B1 KR 1020080071563 A KR1020080071563 A KR 1020080071563A KR 20080071563 A KR20080071563 A KR 20080071563A KR 100963424 B1 KR100963424 B1 KR 100963424B1
Authority
KR
South Korea
Prior art keywords
lower layer
information
residual
texture
enlargement
Prior art date
Application number
KR1020080071563A
Other languages
English (en)
Other versions
KR20100010612A (ko
Inventor
신일홍
유정주
홍진우
임종수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080071563A priority Critical patent/KR100963424B1/ko
Priority to US12/269,920 priority patent/US8571103B2/en
Publication of KR20100010612A publication Critical patent/KR20100010612A/ko
Application granted granted Critical
Publication of KR100963424B1 publication Critical patent/KR100963424B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은 스케일러블 영상 복호화기 및 그 제어 방법에 관한 것으로, 스케일러블 영상의 복호화 시에, 상위 레이어의 매크로 블록 모드를 판단하여, 상위 레이어의 매크로 블록 모드가 계층간 참조(inter-layer prediction) 모드인 경우, 확대 연산이 필요한 것으로 판단하여, 하위 레이어의 대응 매크로 블록 정보와 주변 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하고, 상기 텍스쳐 확대 또는 레지듀얼 확대를 이용하여, 상위 레이어를 복호화한다.
영상 복호화, H.264 SVC, 메모리

Description

스케일러블 영상 복호화기 및 그 제어 방법{SCALABLE VIDEO DECODER AND CONTROLLING METHOD FOR THE SAME}
본 발명은 스케일러블 영상 복호화기 및 그 제어 방법에 관한 것으로, 보다 상세하게는 영상 신호의 스케일러블(scalable) 복호화시에 영상 블록을 확대하는 경우 메모리의 사용량을 줄일 수 있는, 스케일러블 영상 복호화기 및 그 제어 방법에 관한에 관한 것이다.
스케일러블 영상 코덱(Scalable Video Codec: SVC) 방식은 영상신호를 엔코딩(encoding)함에 있어, 최고 화질로 엔코딩 하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스(시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스)를 디코딩하여 사용하여도, 저화질의 영상 표현이 가능하도록 한 방식이다.
에이치-비 픽쳐(Hierarchical B pictures: H-B picture) 방식은 상기와 같은 스케일러블 영상 코덱(SVC)에 사용하기 위해 제안된 엔코딩 방식이다.
그런데, 앞서 언급한 바와 같이 스케일러블 방식인 에이치-비 픽쳐(H-B picture)로 엔코딩된 픽처(picture) 시퀀스는, 부분 시퀀스만을 수신 및 처리하여 저화질의 영상 표현이 가능하지만, 비트레이트(bitrate)가 낮아지는 경우 화질저하 가 크게 나타난다. 이를 해소하기 위하여 낮은 전송률을 위한 별도의 보조 픽처 시퀀스, 예를 들어 초당 프레임수 등이 낮은 픽처 시퀀스를 계층적으로 제공할 수도 있다.
또한, 작은 영상과 큰 영상을 동시에 전송하기 위해서 영상의 축소와 확대가 필요하다. 즉, 하나의 영상 신호원을 4 씨아이에프(4 Common Intermediate Format: CIF)의 픽처 시퀀스, 씨아이에프(CIF)의 픽처 시퀀스, 또는 큐씨아이에프(Quarter Common Intermediate Format: QCIF)의 픽처 시퀀스로 각각 엔코딩하여 디코딩 장치에 전송할 수 있다.
그런데, 하위 레이어와 상위 레이어는 동일한 영상신호원을 엔코딩하는 것이므로, 양 레이어의 엔코딩 신호에는 잉여정보(redundancy)가 존재한다.
따라서, 여러 화면 사이즈를 전송하는 방식에 의해 엔코딩 되는 특정 레이어의 코딩율(coding rate)을 높이기 위해, 하위 레이어의 임의 영상 프레임을 기준으로 하여 그와 동시간의 현재 레이어의 영상 프레임을 예측된 이미지, 즉 레지듀얼 데이터로 만든다. 예를 들어, 높은 해상도 영상의 현재 매크로 블록을 엔코딩 함에 있어서, 내부 모드(intra BL mode)로 코딩해야 하는 경우, 그 하위 레이어의 대응 블록, 즉 현재 매크로 블록과 동시간이면서 프레임에서 동위치에 해당하는 영역을 포함하는 블록을 확대한 다음, 그 확대된 블록의 화소값들과의 차이 값 또는 에러 값을 현재 매크로 블록에 엔코딩한다.
상기와 같이 확대된 블록은 디코더에 전송되지 않으므로, 디코더가 상기와 같이 엔코딩 된 매크로 블록을 디코딩하기 위해서도, 역시 그 하위 레이어의 대응 블록을 확대하여 이용하여야 한다. 또한, 상기와 같은 내부 모드의 매크로 블록의 엔코딩을 위해서뿐만 아니라, 레이어간 레지듀얼 데이터 예측 동작을 수행하는 경우에도 하위 레이어의 블록을 확대해야 한다.
이와 같이, 상이한 픽처 크기 또는 해상도를 갖는 복수 레이어를 엔코딩 스트림으로 제공하는 경우에는 엔코딩 및 디코딩 과정에서 영상 블록의 확대가 필요하다.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, H.264 스케일러블 영상 코덱(Scalable Video Codec: SVC)의 싱글-루프-디코딩(single-loop-decoding) 모드의 특성을 활용하여 작은 사이즈 화면(하위 레이어)의 복호화 후 큰 화면(상위 레이어)의 복호화시에, 현재 매크로 블록의 모드를 조사하여 영상의 확대가 필요한지를 결정하고, 텍스쳐나 레지듀얼의 확대가 필요하면 하위 레이어의 매크로 블록의 정보와 그 주변의 일부분만을 사용하여 영상확대 연산을 실행하여, 필요한 메모리 사용량을 줄이는 것을 목적으로 한다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명의 일례에 따른 스케일러블 영상 복호화기의 제어 방법은, 스케일러블 영상 코딩의 싱글-루프-디코딩 방식에 있어서 스케일러블 영상의 복호화 시에, 상위 레이어의 매크로 블록 모드를 판단하는 단계, 상기 판단 결과 상기 상위 레이어의 매크로 블록 모드가 계층간 참조(inter-layer prediction) 모드인 경우에, 확대 연산이 필요한 것으로 판단하여, 하위 레이어의 대응 매크로 블록 정보와 상기 하위 레이어의 대응 매크로 블록에 인접한 상하좌우 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하는 단계-상기 하위 레이어의 대응 매크로 블록은 내부 모드(intra BL mode)-, 및 상기 텍스쳐 확대 또는 상기 레지듀얼 확대를 이용하여, 상기 상위 레이어를 복호화하는 단계를 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 상하좌우 픽셀 정보는, 상기 대응 매크로 블록과 인접한 4 픽셀의 정보이다.
본 발명의 또 다른 일측에 따르면, 상기 하위 레이어의 대응 매크로 블록 정보와 상기 하위 레이어의 대응 매크로 블록에 인접한 상하좌우 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하는 단계는, 상기 하위 레이어의 대응 매크로 블록과 그 인접한 2픽셀을, 20 x 20 크기의 메모리에 복사하고, 4-탭(4-tap) 텍스쳐 업샘플링 필터를 이용하여 텍스쳐 확대를 하는 단계이다.
본 발명의 또 다른 일측에 따르면, 상기 하위 레이어의 대응 매크로 블록 정보와 상기 하위 레이어의 대응 매크로 블록에 인접한 상하좌우 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하는 단계는, 상기 하위 레이어의 대응 매크로 블록의 레지듀얼 값을, 16 x 16 크기의 메모리에 복사하고, 2-탭(2-tap) 레지듀얼 업샘플링 필터를 이용하여 레지듀얼 확대를 하는 단계이다.
본 발명의 또 다른 일측에 따르면, 상기 하위 레이어의 대응 매크로 블록 정보와 상기 하위 레이어의 대응 매크로 블록에 인접한 상하좌우 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하는 단계는, 수평 방향으로 컨버루션을 수행한 후에 수직 방향으로 컨버루션을 수행하거나, 또는 상기 수직 방향을 컨버루션을 수행한 후에 상기 수평 방향을 컨버루션을 수행하여 영상 확대를 하는 단계이다.
본 발명의 또 다른 일측에 따르면, 상기 상위 레이어의 가로 및 세로의 크기 는, 각각 상기 하위 레이어의 가로 및 세로 크기의 2 배이다.
본 발명의 일례에 따른 스케일러블 영상 복호화기는, 상기 판단 결과 상기 상위 레이어의 매크로 블록 모드가 계층간 참조(inter-layer prediction) 모드인 경우, 확대 연산이 필요한 것으로 판단하여, 하위 레이어의 대응 매크로 블록 정보와 상기 하위 레이어의 대응 매크로 블록에 인접한 상하좌우 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하는 확대 연산부-상기 하위 레이어의 대응 매크로 블록은 내부 모드(intra BL mode)-, 및 상기 텍스쳐 확대 또는 상기 레지듀얼 확대를 이용하여, 상기 상위 레이어를 복호화하는 복호화부를 포함한다.
본 발명에 따르면, H.264 스케일러블 영상 코덱(Scalable Video Codec: SVC)의 싱글-루프-디코딩(single-loop-decoding) 모드의 특성을 활용하여 작은 사이즈 화면(하위 레이어)의 복호화 후 큰 화면(상위 레이어)의 복호화시에, 현재 매크로 블록의 모드를 조사하여 영상의 확대가 필요한지를 결정하고, 텍스쳐나 레지듀얼의 확대가 필요하면 하위 레이어의 매크로 블록의 정보와 그 주변의 일부분만을 사용하여 영상확대 연산을 실행하여, 필요한 메모리 사용량을 줄일 수 있다.
이하 첨부된 도면들 및 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일례에 따른 스케일러블 영상 복호화기의 구성도이다. 도 1을 참조하여 본 발명의 일례에 따른 스케일러블 영상 복호화기의 구성을 설명하기로 한다.
도 1에 도시된 바와 같이, 본 발명의 일례에 따른 스케일러블 영상 복호화기는 매크로 블록 모드 판단부(110), 확대 연산부(120), 및 복호화부(130)를 포함하여 구성된다.
매크로 블록 모드 판단부(110)는 스케일러블 영상의 복호화 시에, 상위 레이어의 매크로 블록 모드를 판단한다.
확대 연산부(120)는 상기 매크로 블록 모드 판단부(110)의 상기 판단 결과, 상기 상위 레이어의 매크로 블록 모드가 계층간 참조(inter-layer prediction) 모드인 경우, 확대 연산이 필요한 것으로 판단하여 확대 연산을 한다.
이때, 상기 확대 연산부(120)는 하위 레이어의 대응 매크로 블록 정보와 주변 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하게 된다.
특히, 확대 연산부(120)는 텍스쳐 확대를 할 때, 상기 대응 매크로 블록과 인접한 4 픽셀의 정보를 이용하여 텍스쳐 확대를 하게 되는데, 이때 상기 하위 레이어의 대응 매크로 블록과 그 인접한 2픽셀을, 20 x 20 크기의 메모리에 복사하고, 4-탭(4-tap) 텍스쳐 업샘플링 필터를 이용하여 텍스쳐 확대를 할 수 있다.
또한, 상기 확대 연산부(120)는 상기 하위 레이어의 대응 매크로 블록의 레지듀얼 값을, 16 x 16 크기의 메모리에 복사하고, 2-탭(2-tap) 레지듀얼 업샘플링 필터를 이용하여 레지듀얼 확대를 할 수 있다.
한편, 확대 연산부(120)는 영상 확대 시에, 수평 방향으로 컨버루션을 수행한 후에 수직 방향으로 컨버루션을 수행하거나, 또는 상기 수직 방향을 컨버루션을 수행한 후에 상기 수평 방향을 컨버루션을 수행하여 영상 확대를 실행할 수 있다.
이때, 상기 상위 레이어의 가로 및 세로의 크기가, 각각 상기 하위 레이어의 가로 및 세로 크기의 2 배인 경우에 적용이 가능하다.
복호화부(130)는 상기 텍스쳐 확대 또는 상기 레지듀얼 확대를 이용하여, 상기 상위 레이어를 복호화하게 된다.
따라서, 상위 레이어의 복호화시에, 현재 매크로 블록의 모드를 조사하여 영상의 확대가 필요한지를 결정하고, 텍스쳐나 레지듀얼의 확대가 필요하면 하위 레이어의 매크로 블록의 정보와 그 주변의 일부분 만을 사용하여 영상확대 연산을 실행하여, 필요한 메모리 사용량을 줄일 수 있다.
도 2는 본 발명의 일례에 따른 하위 레이어의 매크로 블록 중에서 내부 모드로 코딩된 블록만 확대 연산을 수행하는 방법을 도시한 도면이다. 도 2를 참조하여, 본 발명의 일례에 따른 하위 레이어의 매크로 블록 중에서 내부 모드로 코딩된 블록만 확대 연산을 수행하는 방법을 설명하기로 한다.
영상의 확대 연산은 스케일러블 영상 코덱(SVC) 부/복호화기에 필수적인 연산이다. 현재 표준화중인 H.264 스케일러블 영상 코덱(Scalable Video Codec: SVC)은 싱글-루프-디코딩(single-loop-decoding) 방식을 채용하고 있다. 싱글-루프-디코딩 방식은 하위 레이어(적은 사이즈의 화면: 210)의 매크로 블록 중 내부 모드(intra BL mode)로 코딩 된 블록만 확대하는 업 샘플링(up-sampling) 연산을 수행하여, 현재 레이어의 내부 모드의 재구성에 예측신호로 사용하는 방식이다. 따라서, 부/복호기에서는 싱글-루프-디코딩(single-loop-decoding) 모드의 특성을 활용하여, 효율적인 영상확대 연산이 가능하다.
또한, 상위 레이어(220)는 기존의 H.264의 부호 모드(I_16X16,I_4X4,P_16X16,P_8X8 등)와 SVC의 부호화 모드(base_mode_flag, residual_prediction_flag 등)가 동시에 적용되므로, 상위 레이어의 디코딩 시에 부호화 모드를 조사하여 하위 레이어(210)의 정보 재사용 여부를 결정할 수 있다. 따라서 필요한 메모리 크기를 줄일 수 있다.
도 3은 본 발명의 일례에 따른 영상 확대 방법을 도시한 도면이다. 도 3을 참조하여 본 발명의 일례에 따른 영상 확대 방법을 설명하기로 한다.
도 3에 도시된 바와 같이, 하위 레이어(Lower layer)의 복원 영상(410)을 이용하여, 수평과 수직 방향으로 필터를 이용해서 컨버루션(convolution) 과정을 수행한다.
하위 레이어의 복원 영상(310)을 수평 컨버루션(Horizontal Convolution)을 통하여 수평으로 확대된 영상(Temporary image: 320)를 생성하고, 상기 수평으로 확대된 영상(320)을 수직 컨버루션(Vertical Convolution)을 통하여, 확대된 업-샘플링 영상(up-sampling image: 330)를 생성할 수 있다.
이때, 수평 방향과 수직 방향 컨버루션의 순서는 어느 방향을 먼저 수행하여도 상관이 없다.
즉, 상기 하위 레이어의 복원 영상을 이용하여, 수평 및 수직 방향으로 필터에 의한 컨버루션을 수행에 의한 업 샘플링을 수행할 수 있다. 특히, 상기 수평 방향으로 컨버루션을 수행한 후, 상기 수직 방향으로 컨버루션을 수행하거나, 또는 상기 수직 방향을 컨버루션을 수행한 후, 상기 수평 방향을 컨버루션을 수행할 수 있다.
상기와 같은 하위 레이어의 업 샘플링을 수행시에는 상기 하위 레이어의 소정의 배수를 비율로 하여 확대(업 샘플링)를 수행할 수 있다.
도 4는 본 발명의 일례에 따른 하위 레이어의 대응 매크로 블록 정보와 주변 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하는 방법을 설명하기 위한 도면이다. 도 4를 참조하여 본 발명의 일례에 따른 텍스쳐 확대를 하는 방법을 설명하기로 한다.
상위 레이어가 계층간 참조 방식중 텍스쳐 확대가 필요한 모드인 경우에는, 하위 레이어의 대응 매크로 블록(410)의 정보와 주변 픽셀(pixel)(420)의 정보를 이용하여 텍스쳐 확대를 한다.
보다 상세하게는, 하위 레이어 대응 매크로 블록(410)과 그 주변의 2 픽셀(pixel)(420)을 20 x 20 크기의 메모리에 복사하여, 4-탭(4-tap) 텍스쳐 업샘플링 필터를 사용하며 확대하게 된다.
이때, 복호기에서는 2차원 확대시 가로 혹은 세로 컨버루션(convolution)의 순서가 무작위로 수행되기 때문에 20 x 20의 블록이 필요하다.
도 5는 본 발명의 일례에 따른 하위 레이어의 대응 매크로 블록(510)의 정보 를 이용하여 레지듀얼 확대를 하는 방법을 설명하기 위한 도면이다. 도 5를 참조하여 본 발명의 일례에 따른 레지듀얼 확대를 하는 방법을 설명하기로 한다.
상위 레이어가 계층간 참조 방식중 레지듀얼 확대가 필요한 모드인 경우에는, 하위 레이어의 대응 매크로 블록(510)의 정보를 이용하여 레지듀얼 확대를 한다.
보다 상세하게는, 하위 레이어 대응 매크로 블록의 레지듀얼 값을 16 x 16 메모리에 복사하여 2-탭(2-tap) 레지듀얼 업샘플링 필터를 사용하며 확대하게 되면, 이때 블록의 경계에서는 적절한 패딩 연산이 H.264 SVC의 표준에 따라 이루어진다.
기존의 방법에서 상위 레이어의 영상 크기에 해당하는 텍스쳐와 레지듀얼 확대 정보를 필요로 하는 것과는 달리, 도 4 및 도 5에 도시된 본 발명의 일례에 따르면 40 X 40 과 32 X 32 (20 X 20, 16 X 16을 두 배로 확대)의 부가 메모리만을 필요로 한다. 특히, HD급의 고화질 복호화의 경우에는 기존의 방법에 비해 메모리 사용량은 절대적으로 줄어든다.
도 6은 본 발명의 일례에 따른 스케일러블 영상 복호화기의 제어 방법을 설명하기 위한 흐름도이다. 도 6을 참조하여 본 발명의 일례에 따른 스케일러블 영상 복호화기의 제어 방법을 설명하기로 한다.
스케일러블 영상의 복호화 시에, 상위 레이어의 매크로 블록 모드를 판단한다(S610).
상기 판단 결과, 상기 상위 레이어의 매크로 블록 모드가 계층간 참 조(inter-layer prediction) 모드인 경우에는, 확대 연산이 필요한 것으로 판단하여, 확대 연산이 필요한 것으로 판단하여 확대 연산을 한다(S620).
이때, 하위 레이어의 대응 매크로 블록 정보와 주변 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하게 된다.
특히, 텍스쳐 확대를 할 때, 상기 대응 매크로 블록과 인접한 4 픽셀의 정보를 이용하여 텍스쳐 확대를 하게 되는데, 이때 상기 하위 레이어의 대응 매크로 블록과 그 인접한 2픽셀을, 20 x 20 크기의 메모리에 복사하고, 4-탭(4-tap) 텍스쳐 업샘플링 필터를 이용하여 텍스쳐 확대를 할 수 있다.
또한, 상기 하위 레이어의 대응 매크로 블록의 레지듀얼 값을, 16 x 16 크기의 메모리에 복사하고, 2-탭(2-tap) 레지듀얼 업샘플링 필터를 이용하여 레지듀얼 확대를 할 수 있다.
한편, 영상 확대 시에, 수평 방향으로 컨버루션을 수행한 후에 수직 방향으로 컨버루션을 수행하거나, 또는 상기 수직 방향을 컨버루션을 수행한 후에 상기 수평 방향을 컨버루션을 수행하여 영상 확대를 실행할 수 있다. 이때, 상기 상위 레이어의 가로 및 세로의 크기가, 각각 상기 하위 레이어의 가로 및 세로 크기의 2 배인 경우에 상기와 같은 영상 확대가 이루어진다.
이후, 상기 텍스쳐 확대 또는 상기 레지듀얼 확대를 이용하여, 상기 상위 레이어를 복호화하게 된다(S630).
따라서, 상위 레이어의 복호화시에, 현재 매크로 블록의 모드를 조사하여 영 상의 확대가 필요한지를 결정하고, 텍스쳐나 레지듀얼의 확대가 필요하면 하위 레이어의 매크로 블록의 정보와 그 주변의 일부분만을 사용하여 영상확대 연산을 실행하여, 필요한 메모리 사용량을 줄일 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일례에 따른 스케일러블 영상 복호화기의 구성도이다.
도 2는 본 발명의 일례에 따른 도 2는 본 발명의 일례에 따른 하위 레이어의 매크로 블록 중에서 내부 모드로 코딩된 블록만 확대 연산을 수행하는 방법을 도시한 도면이다.
도 3은 본 발명의 일례에 따른 영상 확대 방법을 도시한 도면이다.
도 4는 본 발명의 일례에 따른 하위 레이어의 대응 매크로 블록 정보와 주변 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일례에 따른 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일례에 따른 스케일러블 영상 복호화기의 제어 방법을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 블록 모드 판단부
120: 확대 연산부
130: 복호화부

Claims (12)

  1. 스케일러블 영상 코딩의 싱글-루프-디코딩 방식에 있어서 스케일러블 영상의 복호화 시에, 상위 레이어의 매크로 블록 모드를 판단하는 단계;
    상기 판단 결과, 상기 상위 레이어의 매크로 블록 모드가 계층간 참조(inter-layer prediction) 모드인 경우, 확대 연산이 필요한 것으로 판단하여, 하위 레이어의 대응 매크로 블록 정보와 상기 하위 레이어의 대응 매크로 블록에 인접한 상하좌우 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하는 단계-상기 하위 레이어의 대응 매크로 블록은 내부 모드(intra BL mode)-; 및
    상기 텍스쳐 확대 또는 상기 레지듀얼 확대를 이용하여, 상기 상위 레이어를 복호화하는 단계
    를 포함하는 것을 특징으로 하는 스케일러블 영상 복호화기의 제어 방법.
  2. 제1항에 있어서,
    상기 상하좌우 픽셀 정보는, 상기 대응 매크로 블록과 인접한 4 픽셀의 정보인 것을 특징으로 하는 스케일러블 영상 복호화기의 제어 방법.
  3. 제1항에 있어서,
    상기 하위 레이어의 대응 매크로 블록 정보와 상기 하위 레이어의 대응 매크로 블록에 인접한 상하좌우 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하는 단계는,
    상기 하위 레이어의 대응 매크로 블록과 그 인접한 2픽셀을, 20 x 20 크기의 메모리에 복사하고, 4-탭(4-tap) 텍스쳐 업샘플링 필터를 이용하여 텍스쳐 확대를 하는 단계인 것을 특징으로 하는 스케일러블 영상 복호화기의 제어 방법.
  4. 제1항에 있어서,
    상기 하위 레이어의 대응 매크로 블록 정보와 상기 하위 레이어의 대응 매크로 블록에 인접한 상하좌우 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하는 단계는,
    상기 하위 레이어의 대응 매크로 블록의 레지듀얼 값을, 16 x 16 크기의 메모리에 복사하고, 2-탭(2-tap) 레지듀얼 업샘플링 필터를 이용하여 레지듀얼 확대를 하는 단계인 것을 특징으로 하는 스케일러블 영상 복호화기의 제어 방법.
  5. 제1항에 있어서,
    상기 하위 레이어의 대응 매크로 블록 정보와 상기 하위 레이어의 대응 매크로 블록에 인접한 상하좌우 픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하는 단계는,
    수평 방향으로 컨버루션을 수행한 후에 수직 방향으로 컨버루션을 수행하거나, 또는 상기 수직 방향을 컨버루션을 수행한 후에 상기 수평 방향을 컨버루션을 수행하여 영상 확대를 하는 단계인 것을 특징으로 하는 스케일러블 영상 복호화기의 제어 방법.
  6. 제1항에 있어서,
    상기 상위 레이어의 가로 및 세로의 크기는, 각각 상기 하위 레이어의 가로 및 세로 크기의 2 배인 것을 특징으로 하는 스케일러블 영상 복호화기의 제어 방법.
  7. 스케일러블 영상 코딩의 싱글-루프-디코딩 방식에 있어서 스케일러블 영상의 복호화 시에, 상위 레이어의 매크로 블록 모드를 판단하는 매크로 블록 모드 판단부;
    상기 판단 결과, 상기 상위 레이어의 매크로 블록 모드가 계층간 참조(inter-layer prediction) 모드인 경우, 확대 연산이 필요한 것으로 판단하여, 하위 레이어의 대응 매크로 블록 정보와 상기 하위 레이어의 대응 매크로 블록에 인접한 상하좌우픽셀(pixel) 정보를 이용하여 텍스쳐 확대를 하거나, 또는 상기 하위 레이어의 대응 매크로 블록 정보를 이용하여 레지듀얼 확대를 하는 확대 연산부-상기 하위 레이어의 대응 매크로 블록은 내부 모드(intra BL mode)-; 및
    상기 텍스쳐 확대 또는 상기 레지듀얼 확대를 이용하여, 상기 상위 레이어를 복호화하는 복호화부
    를 포함하는 것을 특징으로 하는 스케일러블 영상 복호화기.
  8. 제7항에 있어서,
    상기 상하좌우 픽셀 정보는, 상기 대응 매크로 블록과 인접한 4 픽셀의 정보인 것을 특징으로 하는 스케일러블 영상 복호화기.
  9. 제7항에 있어서,
    상기 확대 연산부는,
    상기 하위 레이어의 대응 매크로 블록과 그 인접한 2픽셀을, 20 x 20 크기의 메모리에 복사하고, 4-탭(4-tap) 텍스쳐 업샘플링 필터를 이용하여 텍스쳐 확대를 하는 단계인 것을 특징으로 하는 스케일러블 영상 복호화기.
  10. 제7항에 있어서,
    상기 확대 연산부는,
    상기 하위 레이어의 대응 매크로 블록의 레지듀얼 값을, 16 x 16 크기의 메모리에 복사하고, 2-탭(2-tap) 레지듀얼 업샘플링 필터를 이용하여 레지듀얼 확대를 하는 단계인 것을 특징으로 하는 스케일러블 영상 복호화기.
  11. 제7항에 있어서,
    상기 확대 연산부는,
    수평 방향으로 컨버루션을 수행한 후에 수직 방향으로 컨버루션을 수행하거나, 또는 상기 수직 방향을 컨버루션을 수행한 후에 상기 수평 방향을 컨버루션을 수행하여 영상 확대를 실행하는 것을 특징으로 하는 스케일러블 영상 복호화기.
  12. 제7항에 있어서,
    상기 상위 레이어의 가로 및 세로의 크기는, 각각 상기 하위 레이어의 가로 및 세로 크기의 2 배인 것을 특징으로 하는 스케일러블 영상 복호화기.
KR1020080071563A 2008-07-23 2008-07-23 스케일러블 영상 복호화기 및 그 제어 방법 KR100963424B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080071563A KR100963424B1 (ko) 2008-07-23 2008-07-23 스케일러블 영상 복호화기 및 그 제어 방법
US12/269,920 US8571103B2 (en) 2008-07-23 2008-11-13 Scalable video decoder and controlling method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080071563A KR100963424B1 (ko) 2008-07-23 2008-07-23 스케일러블 영상 복호화기 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20100010612A KR20100010612A (ko) 2010-02-02
KR100963424B1 true KR100963424B1 (ko) 2010-06-15

Family

ID=41568635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080071563A KR100963424B1 (ko) 2008-07-23 2008-07-23 스케일러블 영상 복호화기 및 그 제어 방법

Country Status (2)

Country Link
US (1) US8571103B2 (ko)
KR (1) KR100963424B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9143793B2 (en) 2010-05-27 2015-09-22 Freescale Semiconductor, Inc. Video processing system, computer program product and method for managing a transfer of information between a memory unit and a decoder
CN104255032B (zh) 2012-03-29 2018-03-27 Lg 电子株式会社 层间预测方法和使用其的编码设备和解码设备
CN104038425B (zh) * 2013-03-06 2018-01-02 阿里巴巴集团控股有限公司 转发以太网报文的方法和装置
DE202016009102U1 (de) 2015-02-19 2022-04-22 Magic Pony Technology Limited Verbesserung visueller Daten mittels gestufter Faltungen
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
WO2016156864A1 (en) 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
EP3298579B1 (en) 2016-04-12 2021-07-21 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060063533A (ko) * 2004-12-03 2006-06-12 삼성전자주식회사 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
KR20070012201A (ko) * 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR20070090273A (ko) * 2005-01-12 2007-09-05 노키아 코포레이션 스케일러블 비디오 코딩에서의 계층 간 예측 모드 코딩을위한 방법 및 시스템
KR20070095180A (ko) * 2006-03-20 2007-09-28 엘지전자 주식회사 영상신호의 엔코딩/디코딩시의 픽처유형에 따른 레이어간예측 방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3873785A (en) * 1973-10-25 1975-03-25 Magnetic Controls Co Electrical connector
US3946390A (en) * 1975-04-07 1976-03-23 Motorola, Inc. Radio frequency connector system for portable radios
US4749968A (en) * 1985-12-13 1988-06-07 Adc Telecommunications, Inc. Jack device
US4820200A (en) * 1987-02-13 1989-04-11 Switchcraft, Inc. Slab-like jack module
US4815104A (en) * 1988-01-11 1989-03-21 Telect, Inc. Digital telecommunications network, cross-connect module
US5246378A (en) * 1989-08-09 1993-09-21 Trimm, Inc. Coaxial jack assembly
US5233501A (en) * 1992-02-27 1993-08-03 Telect, Inc. Digital telecommunication network cross-connect module having a printed circuit board connected to jack switches
CA2133304C (en) * 1992-04-02 2003-04-08 Dennis M. Burroughs Miniature coax jack module
US5348491A (en) * 1993-10-29 1994-09-20 Adc Telecommunications, Inc. Jack module
US5702262A (en) * 1996-10-04 1997-12-30 Trompeter Electronics, Inc. Connector assembly
US5913701A (en) * 1997-02-28 1999-06-22 Adc Telecommunications, Inc. DSX module with removable switching jack
US5964607A (en) * 1997-04-04 1999-10-12 Adc Telecommunications, Inc. Coaxial switching jack with sliding center conductor
US5885096A (en) * 1997-04-04 1999-03-23 Adc Telecommunications, Inc. Switching coaxial jack
US6045378A (en) * 1998-03-27 2000-04-04 Adc Telecommunications, Inc. Switching coaxial jack with impedance matching
US6116961A (en) * 1998-11-12 2000-09-12 Adc Telecommunications, Inc. Jack assembly
US6589062B1 (en) * 1999-04-06 2003-07-08 Adc Telecommunications, Inc. DSX module with removable jack
ES2203448T3 (es) * 1999-04-06 2004-04-16 Adc Telecommunications, Inc Modulo dsx con enchufe quitable.
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6511330B1 (en) * 2001-08-24 2003-01-28 Adc Telecommunications, Inc. Interconnect module
US6504726B1 (en) * 2001-11-16 2003-01-07 Adc Telecommunications, Inc. Telecommunications patch panel
US6608764B2 (en) * 2001-11-16 2003-08-19 Adc Telecommunications, Inc. Telecommunications patch panel
US6817876B2 (en) * 2002-06-07 2004-11-16 Switchcraft, Inc. High frequency coaxial jack
US6848948B1 (en) * 2003-11-03 2005-02-01 Adc Telecommunications, Inc. Jack with modular mounting sleeve
JP4774816B2 (ja) * 2005-04-07 2011-09-14 ソニー株式会社 画像処理装置，画像処理方法，およびコンピュータプログラム。
US7175455B2 (en) * 2005-04-15 2007-02-13 Adc Telecommunications, Inc. High density coaxial switching jack
KR100809296B1 (ko) * 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
US7244131B1 (en) * 2006-04-21 2007-07-17 Adc Telecommunications, Inc. High density coaxial jack
KR101354659B1 (ko) * 2006-11-08 2014-01-28 삼성전자주식회사 멀티 코덱을 지원하는 움직임 보상 방법 및 장치
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060063533A (ko) * 2004-12-03 2006-06-12 삼성전자주식회사 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
KR20070090273A (ko) * 2005-01-12 2007-09-05 노키아 코포레이션 스케일러블 비디오 코딩에서의 계층 간 예측 모드 코딩을위한 방법 및 시스템
KR20070012201A (ko) * 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR20070095180A (ko) * 2006-03-20 2007-09-28 엘지전자 주식회사 영상신호의 엔코딩/디코딩시의 픽처유형에 따른 레이어간예측 방법

Also Published As

Publication number Publication date
US8571103B2 (en) 2013-10-29
KR20100010612A (ko) 2010-02-02
US20100020874A1 (en) 2010-01-28

Similar Documents

Publication Publication Date Title
JP5065051B2 (ja) 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
KR100963424B1 (ko) 스케일러블 영상 복호화기 및 그 제어 방법
US9924181B2 (en) Method and apparatus of bi-directional prediction for scalable video coding
KR101003435B1 (ko) 영상 블록을 디코딩 하는 방법
KR100913104B1 (ko) 영상 신호의 인코딩 및 디코딩 방법
TWI556629B (zh) 規定視覺動態範圍編碼操作及參數
US8446956B2 (en) Inter-layer motion prediction method using resampling
US7899115B2 (en) Method for scalably encoding and decoding video signal
US7924917B2 (en) Method for encoding and decoding video signals
CN108111846B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
TWI752739B (zh) 視訊編解碼系統中的視訊處理方法和裝置
KR20060105409A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
TWI535273B (zh) 經組態以寫碼視訊資訊之設備及視訊寫碼裝置、編碼及解碼視訊資訊之方法與非暫態電腦可讀媒體
JP2007524280A (ja) 低複雑性空間スケーラブル復号化のための方法および装置
JP5137119B2 (ja) ビデオ画像の階層符号化法
CN113491131B (zh) 视频编解码的方法和装置
JP5211048B2 (ja) 低解像度画像のモーションデータから高解像度画像用のモーションデータを取得する方法並びにその方法を実施する符号化及び復号装置
KR100938553B1 (ko) 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한바운더리 처리 방법 및 장치
KR100935528B1 (ko) 주변 블록의 정보를 이용한 효율적인 영상 확대 방법 및이를 적용한 스케일러블 비디오 부호화/복호화 장치 및방법
JP6635197B2 (ja) 映像符号化装置、映像符号化方法およびプログラム
KR100914133B1 (ko) 주변 블록의 정보를 이용한 효율적인 영상 확대 방법 및이를 적용한 스케일러블 비디오 부호화/복호화 장치 및방법
KR20240050414A (ko) 비디오 처리를 위한 방법, 기기 및 매체
KR20240049612A (ko) 비디오 처리를 위한 방법, 기기 및 매체
CN116491116A (zh) 具有扩展精度的范围扩展的约束标志信令技术

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160719

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170621

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190409

Year of fee payment: 10