KR100827094B1 - 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치 - Google Patents

동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치 Download PDF

Info

Publication number
KR100827094B1
KR100827094B1 KR1020060105757A KR20060105757A KR100827094B1 KR 100827094 B1 KR100827094 B1 KR 100827094B1 KR 1020060105757 A KR1020060105757 A KR 1020060105757A KR 20060105757 A KR20060105757 A KR 20060105757A KR 100827094 B1 KR100827094 B1 KR 100827094B1
Authority
KR
South Korea
Prior art keywords
block
lost
previous frame
frame
loss
Prior art date
Application number
KR1020060105757A
Other languages
English (en)
Inventor
최정석
박영오
최광표
주영훈
김용덕
송관웅
김창수
Original Assignee
삼성전자주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 고려대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020060105757A priority Critical patent/KR100827094B1/ko
Application granted granted Critical
Publication of KR100827094B1 publication Critical patent/KR100827094B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Abstract

본 발명은 동영상 복호화시 손실 은폐 방법에 있어서, 동영상 복호화시 현재 프레임의 손실된 블록을 확인하는 과정과, 이전 프레임의 각 블록들과 손실된 블록을 해당 블록들의 왼쪽 및 위쪽 또는 왼쪽, 위쪽 및 아래쪽의 주변 픽셀을 비교함으로써, 이전 프레임에서 상기 손실된 블록과 가장 유사도가 높은 블록을 찾아 손실된 블록을 대체하여 손실된 블록을 일차적으로 복원하는 과정과, 이전 프레임의 각 블록들과 일차적으로 복원된 블록을 해당 블록들의 왼쪽, 위쪽, 아래쪽 및 오른쪽의 주변 픽셀을 비교함으로써, 이전 프레임에서 손실된 블록과 가장 유사도가 높은 블록을 찾아 손실된 블록을 대체하여 손실된 블록을 이차적으로 최종 복원하는 과정을 수행한다.
손실 은폐, DMVE, 복호화, 매크로 블록

Description

동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화 장치{METHOD AND APPARATUS　FOR VIDEO DECODING ERROR CONCEALMENT}
도 1은 동영상 복호화시 손실 은폐를 위한 종래의 DMVE(Decoder Motion Vector Estimation) 기법의 개념도
도 2는 본 발명이 적용되는 복호화 장치의 블록 구성도
도 3은 본 발명의 일 실시예에 따른 동영상 복호화시 손실 은폐 기법의 개념도
도 4는 본 발명의 일 실시예에 따른 동영상 복호화시 손실 은폐 동작의 흐름도
본 발명은 동영상 복호화에 관한 기술로서, 특히 동영상 복호화시 손실 은폐(EC: Error Concealment) 방법 및 이를 이용한 복호화 장치에 관한 것이다.
일반적으로, H.263, H.264, MPEG-4와 같은 대부분의 동영상 부호화 기술은 가변장 부호화(VLC: Variable Length Coding)와 공간 및 움직임 예측(spatial and motion prediction) 등의 효율적인 영상 압축 기법을 사용하고 있다.
그런데, 가변장 부호화 기술은 손실이 있는 채널 환경에 매우 취약하여 소수의 비트 손실에 의해서도 영상 디코딩 도중에 동기를 잃어버리게 하는 원인을 제고하며, 또한 예측 부호화 기술은 전체 영상을 통해 손실이 전파되게 만든다. 이로 인해 채널 전송, 저장 매체 기록 또는 읽기 중에 발생하는 손실은 복원된 영상의 화질 저하에 많은 영상을 끼치게 된다.
따라서 이와 같이 피할 수 없는 전송 손실에 효과적으로 대응하기 위하여 손실에 강인한 부호화 기법들에 대한 연구와 더불어, 전송 환경에서 발생하는 손실에 의한 피해를 최소화하기 위한 기법으로 손실 은폐(EC) 기법이 연구되어 왔다.
다양한 EC 기법 중 널리 이용되는 기법은 복호기가 EC의 역할을 담당하는 후처리 기법으로 자연 이미지의 경우 공간적 또는 시간적으로 인접한 픽셀 들은 부드럽게 변화한다는 특성을 이용하여 손실된 정보를 복원하는 기법이다. 이때 손실된 블록과 이웃한 블록의 픽셀 값 또는 모션 벡터(MV: Motion Vector)를 이용하여 손실된 블록을 화소 단위 또는 매크로 블록 단위로 복원하게 된다.
후처리 기법은 크게 시간적으로 연속된 화면 사이에는 유사성이 높은 성질을 이용하여 현재 영상에서 손실된 블록에 대한 참조 영상에서 가장 유사한 블록을 찾아 손실된 블록을 은폐하는 시간적 손실 은폐(TEC: Temporal EC) 방식과, 공간 영역에서 이웃 화소들 사이에는 갑작스런 밝기 변화가 없다고 가정하고, 주변의 정상적으로 복호화된 블록들의 화소값을 이용하여 손실된 부분을 은폐하는 공간적 손실 은폐(SEC: Spatial EC) 방식으로 구분되어 진다.
일반적으로 공간적 EC(SEC)는 정지영상 또는 인트라 모드(intra mode)로 부호화된 영상에 이용하게 되며, 시간적 EC(TEC)는 인터 프레임(inter frame)의 손실 은폐에 이용된다. 동영상의 대부분은 높은 부호화 효율을 위해 인터(inter mode)를 사용하여 부호화 되며 따라서 TEC가 더 높은 복원 효율을 나타내게 된다. TEC에 가장 대표적인 기법이 복호기에서 모션 벡터(MV)를 찾아 손실된 블록을 복원하는 DMVE(Decoder Motion Vector Estimation) 기법이다.
DMVE 기법은 부호기에서 높은 부호화 효율을 위해 특정 블록에 대해 참조 프레임과 비교하여 유사한 특성을 나타내는 블록을 찾는 과정인 모션 추정(motion estimation) 과정과 유사하게, 복호기에서도 손실 은폐가 필요한 블록과 참조 프레임간의 유사성이 가장 높은 블록을 찾고 이를 이용하여 해당 매크로 블록을 복원하는 기법이다.
도 1에는 동영상 복호화시 손실 은폐를 위한 DMVE(Decoder Motion Vector Estimation) 기법의 개념이 개시되고 있다. 도 1을 참조하면, 동영상 복호화시 현재 프레임의 손실된 매크로 블록(102)을 은폐하기 위해서 이전 프레임(참조 프레임)에서 해당 손실 매크로 블록(102)의 범위를 포함하면서 적절히 그보다 크게 설정되는 검색 창(110)을 설정하고 해당 검색 창(110)에서 각 매크로 블록들을 검색하게 된다. 이때 손실 매크로 블록(102)의 주변 픽셀들(예를 들어 왼쪽 및 위쪽 또한 이와 더불어 아래쪽에서의 적정 범위의 픽셀들)과 가장 차이가 적은(가장 유사도가 높은) 주변 픽셀들을 가진 매크로 블록(112)을 찾은 다음, 이를 현재 프레임의 손실된 매크로 블록(102)과 대치하여 손실을 은폐하게 된다. 이러한 DMVE 기법 의 예로는 IEEE Transaction on Circuits and Systems for Video Technology지(2000년 6월 간행)에 개시된 명칭 'A cell-loss concealment technique for MPEG-2 codec video' 논문에 개시된 바를 예로 들 수 있다.
그런데, 상기한 손실 은폐 방식에서, H.264 코덱(CODEC) 특성상 매크로 블록의 오른쪽의 픽셀 정보는 항상 손실된 블록으로 이용이 불가능하며, 경우에 따라서 아래쪽에 위치한 픽셀 정보도 이용이 불가능해진다. 이와 같이, 매크로 블록간의 유사성을 찾는 과정에 이용되는 픽셀 정보에 제한을 받으면 정확한 손실 은폐의 효율이 낮아지는 문제점이 발생한다.
따라서 본 발명의 목적은 높은 복원 효율을 얻을 수 있도록 하기 위한 효율적인 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화 장치를 제공함에 있다.
상기한 목적을 달성하기 위하여 본 발명의 일 형태에 따르면, 본 발명은 동영상 복호화시 손실 은폐 방법에 있어서, 동영상 복호화시 현재 프레임의 손실된 블록을 확인하는 과정과, 이전 프레임의 각 블록들과 상기 손실된 블록을 해당 블록들의 왼쪽 및 위쪽 또는 왼쪽, 위쪽 및 아래쪽의 주변 픽셀을 비교함으로써, 상기 이전 프레임에서 상기 손실된 블록과 가장 유사도가 높은 블록을 찾아 상기 손실된 블록을 대체하여 상기 손실된 블록을 일차적으로 복원하는 과정과, 상기 이전 프레임의 각 블록들과 상기 일차적으로 복원된 블록을 해당 블록들의 왼쪽, 위쪽, 아래쪽 및 오른쪽의 주변 픽셀을 비교함으로써, 상기 이전 프레임에서 상기 손실된 블록과 가장 유사도가 높은 블록을 찾아 상기 손실된 블록을 대체하여 상기 손실된 블록을 이차적으로 최종 복원하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 형태에 따르면, 본 발명은 손실 은폐 기능을 수행하는 동영상 복호화 장치에 있어서, 입력되는 비트 스트림을 슬라이스 단위로 파싱(parsing)하는 파서와; 상기 파서의 출력을 제공받아 다시 매크로 블록단위로 엔트로피 디코딩하며, 손실이 발생한 블록의 정보를 손실 은폐부로 제공하는 엔트로피 디코더와; 상기 엔트로피 디코더의 출력을 제공받아 부호화시에 양자화된 이산 코사인 변환(DCT: Discrete Cosine Transform) 계수를 역양자화하여 복원하는 영양자화부와; 상기 역양자화부의 출력 데이터를 제공받아 부호화시에 이산 코사인 변환된 데이터를 원래의 데이터로 변환하는 역변환부와; 이전 프레임의 영상을 참조하여 움직임 보상 정보를 출력하는 모션 보상부와; 상기 역변환부의 출력과 상기 모션 보상부의 출력을 가산하는 가산부와; 상기 가산부의 출력에서 상기 이전 참조 프레임을 이용하여 손실된 매크로 블록을 은폐하여 최종 복원된 프레임을 출력하는 손실 은폐부를 포함하며; 상기 손실 은폐부는 상기 이전 프레임의 각 블록들과 상기 손실된 블록을 해당 블록들의 왼쪽 및 위쪽 또는 왼쪽, 위쪽 및 아래쪽의 주변 픽셀을 비교함으로써, 상기 이전 프레임에서 상기 손실된 블록과 가장 유사도가 높은 블록을 찾아 상기 손실된 블록을 일차적으로 복원하며, 상기 이전 프레임의 각 블록들과 상기 일차적으로 복원된 블록을 해당 블록들의 왼쪽, 위쪽, 아래쪽 및 오른쪽의 주변 픽셀을 비교함으로써, 상기 이전 프레임에서 상기 손실된 블록과 가장 유사도가 높은 블록을 찾아 상기 손실된 블록을 이차적으로 최종 복원함을 특징으로 한다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 2는 본 발명이 적용되는 복호화 장치의 블록 구성도이다. 도 2를 참조하여 먼저 복호화 장치에 대한 구성 및 동작을 설명하기로 한다. 영상 복호화기는 영상 부호화기에서 부호화 절차의 역순의 절차를 수행하도록 구성되는데, 이러한 영상 복호화기에는 영상 부호화기에서 전송된 비디오 코딩 계층(VCL: Video Coding Layer) NAL(Network Abstraction Layer)의 비트 스트림이 입력되는데, VCL NAL에서 하나의 프레임은 여러 개의 슬라이스로 구분되며, 하나의 슬라이스는 슬라이스(slice) 헤더와 데이터(data) 필드로 이루어지고, 각 슬라이스 데이터는 적어도 하나 이상의 여러 개의 매크로 블록으로 이루어질 수 있다. 파서(10)는 입력되는 비트 스트림을 슬라이스 단위로 파싱(parsing)하여 엔트로피 디코더(20)로 제공한다. 엔트로피 디코더(20)는 파싱된 비트 스트림을 다시 매크로 블록단위로 엔트로피 디코딩하여 역양자화부(30)로 제공한다. 이때 손실이 발생한 매크로 블록(또는 슬라이스)의 정보를 손실 은폐부(80)로 제공한다.
역양자화부(30)는 부호화시에 양자화된 이산 코사인 변환(DCT: Discrete Cosine Transform) 계수를 역양자화하여 복원한다. 역양자화부(30)의 출력 데이터는 역변환부(40)로 제공되는데, 역변환부(40)는 부호화시에 이산 코사인 변환된 데이터를 원래의 데이터로 변환한다.
한편, 이전 프레임(참조 프레임)의 영상은 참조 프레임 저장부(70)에 저장되는데, 모션 보상부(60)는 이를 참조하여 움직임 보상 정보를 출력하며, 가산부(50)는 역변환부(40)의 출력과 모션 보상부(60)의 출력을 가산하여 디코딩된 영상 데이터를 출력하게 된다.
손실 은폐부(80)는 본 발명의 특징에 따라, 가산부(50)의 출력에서 참조 프레임 저장부(70)에 저장된 이전 참조 프레임을 이용하여 손실된 매크로 블록을 은폐하여 최종 복원된 프레임을 출력한다.
기존의 DMVE 기법은 동영상의 손실이 발생한 경우 비교적 정확한 손실 복원이 가능한 방법이다. 그러나 원본 영상과 비교하여 보다 정확한 손실 은폐 기법이 필요하다. 이에 본 발명에서는 기존의 DMVE 기법에 일명 '이중 반복(double iteration)' 기법을 적용하여 손실된 매크로 블록의 위, 아래, 왼쪽 그리고 오른쪽에 위치한 정보까지 이용함으로써 정확한 손실 은폐 효과를 얻도록 한다. 도 3을 참조하여 이를 보다 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 동영상 복호화시 손실 은폐 기법의 개념도이다. 도 3을 참조하면, 본 발명에 따른 동영상 복호화시 현재 프레임의 손실된 매크로 블록(102)을 은폐하기 위해서 종래와 유사한 방식으로 먼저, 이중 반복 절 차 중 일차 반복 절차를 수행하여, 일반적인 DMVE와 동일하게 하나의 프레임에 대해 복원을 진행한다.
즉, 이전 프레임(참조 프레임)에서 해당 손실 매크로 블록(102)을 포함하도록 적절한 범위로 설정되는 검색 창(110)을 설정하고 해당 검색 창(110)에서 각 매크로 블록들을 검색하게 된다. 또한 이때 종래와 유사하게 손실 매크로 블록(102)의 주변 픽셀들(예를 들어 위쪽 및 왼쪽 또한 이와 더불어 아래쪽에서의 적정 범위의 픽셀들)과 가장 차이가 적은(가장 유사도가 높은) 주변 픽셀들을 가진 매크로 블록(112)을 찾은 다음, 이를 현재 프레임의 손실된 매크로 블록(102)과 대치하여 손실을 은폐하게 된다. 이때 각 픽셀 값들의 비교 방식은 SAD(Sum of Absolute Difference) 값을 확인하는 것일 수 있다
이후 복원된 정보를 바탕으로 손실된 블록에 대해 오른쪽 또는 아래쪽 정보까지 이용하여 이중 반복 절차 중 이차 반복 절차를 수행한다. 즉, 상기 일차 반복 절차를 수행한 후에 해당 손실된 매크로 블록을 은폐하였으므로, 이를 통해 해당 손실 매크로 블록의 오른쪽 또는 아래쪽의 주변 픽셀들을 이용할 수 있게 되며, 이를 이용하여 이차 반복 절차를 수행시에는 이러한 정보까지 이용하여 현재 프레임에서 손실된 매크로 블록과 가장 유사한 이전 프레임의 매크로 블록을 찾는 것이다. 이때에도 마찬가지로 이전 프레임(참조 프레임)에서 해당 손실 매크로 블록(102)을 포함하도록 적절한 범위로 설정되는 검색 창(110)을 설정하고 해당 검색 창(110)에서 각 매크로 블록들을 검색하게 된다. 다만 이때에는 손실 매크로 블록(102)에서 위쪽, 왼쪽, 아래쪽, 오른쪽 모두의 적정 범위의 주변 픽셀들을 이용 하여 가장 차이가 적은(가장 유사도가 높은) 주변 픽셀들을 가진 매크로 블록(112)을 찾게 된다. 이후 찾은 블록을 현재 프레임의 손실된 매크로 블록(102)과 대치하여 최종적으로 손실을 은폐하게 된다. 이러한 본 발명의 이중 반복 기법을 사용하여 보다 정확한 손실 은폐가 가능해진다.
일반적인 복호기의 구조에서 손실 은폐 알고리즘은 하나의 매크로 블록을 처리한 후 동작하는 경우와 하나의 프레임 전체가 복호된 후 손실된 영역만 손실 은폐 알고리즘이 적용되는 두 가지 동작 방법이 있다. 특히 전자의 경우 DMVE 기법을 이용한 손실 복원시에 사용가능한 인접 블록의 정보는 이미 복호된 위쪽과 왼쪽으로 제한되며 이 경우 높은 손실 은폐 효율을 얻을 수 없게 된다. 그러나, 본 발명에 따른 이중 반복 기법은 앞에서 언급된 내용과 더불어, 특히 손실된 블록이 프레임의 경계 영역에 위치하여 DMVE 방법 적용시에 사용할 수 있는 인접 블록의 픽셀 정보의 제한이 발생한 경우와 오른쪽 또는 아래쪽에 위치한 인접 블록에 손실이 발생한 경우에 더 효과적인 손실 복원을 할 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른 동영상 복호화시 손실 은폐 동작의 흐름도로서, 도 2에 도시된 바와 같은 복호화 장치에서의 동작일 수 있다. 도 4를 참조하면, 비트 스트림이 입력되면, 먼저 402단계에서 NAL(Network Abstraction Layer)의 비트 스트림을 복호화하며, 404단계에서는 각 프레임을 복호화하고, 406단계에서는 각 프레임의 각 슬라이스를 복호화한다. 이후 406단계에서는 각 슬라이스의 매크로 블록을 복호화하며, 이때 손실이 발생되지 않았을 경우에는 420단계로 진행하여 해당 복호화된 매크로 블록별로 출력 버퍼에 저장하여 이후 복원된 비트 스트 림으로 출력되도록 한다.
한편, 상기 408단계에서 매크로 블록별 복호화를 수행한 후에, 손실이 발생된 매크로 블록(또는 슬라이스)이 발생된 경우에는 410단계로 진행하여 해당 손실이 발생된 슬라이스를 복호화하며, 이후 412단계에서는 본 발명에 따른 이중 반복 절차 중 일차 반복 절차를 수행하여 손실이 발생된 매크로 블록의 손실 은폐 동작을 수행하게 된다. 이후 414단계에서는 본 발명에 다른 이중 반복 절차 중 이차 반복 절차를 수행하여 손실이 발생된 매크로 블록의 손실 은폐 동작을 수행하게 된다. 이러한 방식에 따라, 본 발명에 따른 손실 은폐 기법은 복호화 장치에서 큰 설계 변경없이 복호화 장치의 출력 신호를 이용하여 손실 은폐를 할 수 있다는 장점이 있게 된다.
상기한 바와 같은 본 발명의 손실 은폐 기법의 성능 확인을 위해 기존의 DMVE 기법과 본 발명의 이중 반복 기법 각각을 구현하여 테스트를 진행한 결과를 하기 표 1에 나타내었다.
Figure 112006079091332-pat00001
상기 표 1을 참조하면, 실험의 신뢰성 확보를 위해 8 가지의 다양한 임의의 테스트 시퀀스 영상을 이용하였다. 사용된 영상은 빠른 움직임 특성을 나타내는 일명 'Foreman', 'Bus', 'Football', 'Stefan'의 네 가지와, 느린 움직임 특성을 갖는 일명 'Ice', 'hall monitor', 'City' 그리고 'Crew'의 네 가지 영상이다.
상기 표 1에서 나타난 바와 같이, 각각에 대해 다른 형태의 손실 패턴(error pattern)을 발생시켜 총 10회에 걸쳐 실험을 진행한 결과, 본 발명에서 제안하는 이중 반복 기법이 기존의 DMVE 방법과 비교하여 영상별로 차이가 있으나 대략 0.2dB 더 높은 PSNR(Peak Signal to Noise Ratio) 특성을 얻었음을 알 수 있다. 그리고 손실 매크로 블록의 아래쪽 정보를 사용할 수 없는 DMVE 기법과 비교할 경우에는 약 1~2dB의 PSNR의 향상 효과를 얻었음을 알 수 있다. 실험은 10%의 손실 하에서 진행되었으며, 이는 실제 동영상의 전송 시에 발생할 수 있는 손실율을 충분히 고려한 값이다.
상기와 같이 본 발명의 일 실시예에 따른 동영상 복호화시 손실 은폐 동작 및 이를 이용한 복호화 장치의 구성 및 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
상기한 바와 같이, 본 발명에 따른 동영상 복호화시 손실 은폐 방식은 높은 복원 효율을 얻을 수 있어서, 효과적인 손실 은폐가 가능할 수 있다.

Claims (4)

  1. 동영상 복호화시 손실 은폐 방법에 있어서,
    동영상 복호화시 현재 프레임의 손실된 블록을 확인하는 과정과,
    이전 프레임의 각 블록들과 상기 손실된 블록을 프레임 상에서 해당 블록들의 왼쪽 및 위쪽의 주변 픽셀을 비교하거나 또는 왼쪽, 위쪽 및 아래쪽의 주변 픽셀을 비교함으로써, 상기 이전 프레임에서 상기 손실된 블록과 가장 유사도가 높은 블록을 찾아 상기 손실된 블록을 대체하여 상기 손실된 블록을 일차적으로 복원하는 과정과,
    상기 이전 프레임의 각 블록들과 상기 일차적으로 복원된 블록을 해당 블록들의 왼쪽, 위쪽, 아래쪽 및 오른쪽의 주변 픽셀을 비교함으로써, 상기 이전 프레임에서 상기 손실된 블록과 가장 유사도가 높은 블록을 찾아 상기 손실된 블록을 대체하여 상기 손실된 블록을 이차적으로 최종 복원하는 과정을 포함함을 특징으로 하는 손실 은폐 방법.
  2. 제1항에 있어서, 상기 이전 프레임의 각 블록들과 상기 손실된 블록을 해당 블록들의 주변 픽셀을 비교하는 것은
    상기 이전 프레임에서 상기 손실된 블록에 해당하는 위치에서 미리 설정된 범위로 설정되는 검색 창 내에서 수행함을 특징으로 하는 손실 은폐 방법.
  3. 제1항 또는 제2항에 있어서, 상기 이전 프레임의 각 블록들과 상기 손실된 블록을 해당 블록들의 주변 픽셀을 비교시 상기 픽셀들의 비교 방식은 SAD(Sum of Absolute Difference) 값을 확인하는 것임을 특징으로 하는 손실 은폐 방법.
  4. 손실 은폐 기능을 수행하는 동영상 복호화 장치에 있어서,
    입력되는 비트 스트림을 슬라이스 단위로 파싱(parsing)하는 파서와,
    상기 파서의 출력을 제공받아 다시 매크로 블록단위로 엔트로피 디코딩하며, 손실이 발생한 블록의 정보를 손실 은폐부로 제공하는 엔트로피 디코더와,
    상기 엔트로피 디코더의 출력을 제공받아 부호화시에 양자화된 이산 코사인 변환(DCT: Discrete Cosine Transform) 계수를 역양자화하여 복원하는 영양자화부와,
    상기 역양자화부의 출력 데이터를 제공받아 부호화시에 이산 코사인 변환된 데이터를 원래의 데이터로 변환하는 역변환부와,
    이전 프레임의 영상을 참조하여 움직임 보상 정보를 출력하는 모션 보상부와,
    상기 역변환부의 출력과 상기 모션 보상부의 출력을 가산하는 가산부와,
    상기 가산부의 출력에서 상기 이전 참조 프레임을 이용하여 손실된 매크로 블록을 은폐하여 최종 복원된 프레임을 출력하는 손실 은폐부를 포함하며,
    상기 손실 은폐부는 상기 이전 프레임의 각 블록들과 상기 손실된 블록을 프레임 상에서 해당 블록들의 왼쪽 및 위쪽의 주변 픽셀을 비교하거나 또는 왼쪽, 위쪽 및 아래쪽의 주변 픽셀을 비교함으로써, 상기 이전 프레임에서 상기 손실된 블록과 가장 유사도가 높은 블록을 찾아 상기 손실된 블록을 일차적으로 복원하며, 상기 이전 프레임의 각 블록들과 상기 일차적으로 복원된 블록을 해당 블록들의 왼쪽, 위쪽, 아래쪽 및 오른쪽의 주변 픽셀을 비교함으로써, 상기 이전 프레임에서 상기 손실된 블록과 가장 유사도가 높은 블록을 찾아 상기 손실된 블록을 이차적으로 최종 복원함을 특징으로 하는 복호화 장치.
KR1020060105757A 2006-10-30 2006-10-30 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치 KR100827094B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060105757A KR100827094B1 (ko) 2006-10-30 2006-10-30 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060105757A KR100827094B1 (ko) 2006-10-30 2006-10-30 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치

Publications (1)

Publication Number Publication Date
KR100827094B1 true KR100827094B1 (ko) 2008-05-02

Family

ID=39649558

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060105757A KR100827094B1 (ko) 2006-10-30 2006-10-30 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치

Country Status (1)

Country Link
KR (1) KR100827094B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030033123A (ko) * 2001-10-17 2003-05-01 주식회사 하이닉스반도체 주변 화소의 표본들을 이용한 에러 은닉 장치 및 방법
KR20050099080A (ko) * 2004-04-08 2005-10-13 엘지전자 주식회사 동영상 복호화 시 영상 품질 향상 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030033123A (ko) * 2001-10-17 2003-05-01 주식회사 하이닉스반도체 주변 화소의 표본들을 이용한 에러 은닉 장치 및 방법
KR20050099080A (ko) * 2004-04-08 2005-10-13 엘지전자 주식회사 동영상 복호화 시 영상 품질 향상 방법

Similar Documents

Publication Publication Date Title
US7738716B2 (en) Encoding and decoding apparatus and method for reducing blocking phenomenon and computer-readable recording medium storing program for executing the method
US20160309192A1 (en) System and Method for Video Encoding Using Constructed Reference Frame
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
KR100772391B1 (ko) 직교 변환 및 벡터 양자화에 기반한 동영상 부호화 및복호화 방법과 이를 이용한 장치
KR100827091B1 (ko) 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치
US9392280B1 (en) Apparatus and method for using an alternate reference frame to decode a video frame
KR20080073157A (ko) 인터 예측 부호화, 복호화 방법 및 장치
US20090238283A1 (en) Method and apparatus for encoding and decoding image
US8594189B1 (en) Apparatus and method for coding video using consistent regions and resolution scaling
KR101375669B1 (ko) 인터 예측 부호화, 복호화 방법 및 장치
JP3519441B2 (ja) 動画像伝送装置
US20130235942A1 (en) Signal shaping techniques for video data that is susceptible to banding artifacts
US20060159168A1 (en) Method and apparatus for encoding pictures without loss of DC components
US10104389B2 (en) Apparatus, method and non-transitory medium storing program for encoding moving picture
KR100827094B1 (ko) 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치
KR100711204B1 (ko) 선택적 에러 은닉 장치 및 방법
KR100454526B1 (ko) 시공간적 정보를 이용한 인트라 프레임의 에러 은닉방법
KR100677548B1 (ko) 복호된 영상의 오류 재은닉 방법 및 그 장치
Tung et al. An error detection and concealment scheme for H. 264 video transmission
KR100856215B1 (ko) 동영상 복호화시 프레임 손실의 은폐 방법 및 장치
Lin et al. An error resilient coding scheme for H. 26L video transmission based on data embedding
KR100689216B1 (ko) 서브블록을 이용한 인트라 프레임의 시간적인 오류은닉방법
Chaudhari et al. Data hiding in Motion Vectors of Compressed Video Based On their Associated Prediction Error
Rao et al. A robust secured datahiding technique in videos and associated estimated artifacts
Jain et al. A secure process of hiding data in motion vector of compressed video based on artifacts

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee