KR20080071725A - 동영상 복호화시 프레임 손실의 은폐 방법 및 장치 - Google Patents

동영상 복호화시 프레임 손실의 은폐 방법 및 장치 Download PDF

Info

Publication number
KR20080071725A
KR20080071725A KR1020070009975A KR20070009975A KR20080071725A KR 20080071725 A KR20080071725 A KR 20080071725A KR 1020070009975 A KR1020070009975 A KR 1020070009975A KR 20070009975 A KR20070009975 A KR 20070009975A KR 20080071725 A KR20080071725 A KR 20080071725A
Authority
KR
South Korea
Prior art keywords
frame
motion vector
loss
lost
input
Prior art date
Application number
KR1020070009975A
Other languages
English (en)
Other versions
KR100856215B1 (ko
Inventor
김용덕
박영오
최광표
최정석
주영훈
송관웅
김창수
Original Assignee
삼성전자주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 고려대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020070009975A priority Critical patent/KR100856215B1/ko
Publication of KR20080071725A publication Critical patent/KR20080071725A/ko
Application granted granted Critical
Publication of KR100856215B1 publication Critical patent/KR100856215B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상 복호화시 프레임 손실 은폐 방법에 있어서, 동영상 복호화시 입력된 프레임의 손실을 확인하는 과정과, 입력된 프레임에 손실이 발생한 경우 입력된 프레임을 매크로 블록 단위로 복원하기 위해 이전에 입력된 프레임에서 복원할 매크로 블록과 같은 위치의 매크로 블록과, 같은 위치의 매크로 블록의 상하좌우의 주변 매크로 블록들을 복원에 사용할 참조 매크로 블록으로 설정하는 과정과, 참조 매크로 블록들의 각각의 움직임 벡터를 검사하고 검사한 움직임 벡터에 미리 설정된 가중치를 적용하여 가중치 평균 움직임 벡터를 계산하는 과정과, 가중치 평균 움직임 벡터를 사용하여 손실된 매크로 블록을 복원하는 과정과, 손실된 프레임의 모든 매크로 블록을 복원하여 손실된 프레임을 대체하는 복원 프레임을 생성하는 과정을 포함한다.
프레임, 손실 은폐, 움직임 벡터, 매크로 블록

Description

동영상 복호화시 프레임 손실의 은폐 방법 및 장치{METHOD AND APPARATUS FOR FRAME ERROR CONCEALMENT IN VIDEO DECODING}
도 1은 동영상 복호화시 프레임 에러 발생 이후의 출력되는 프레임들의 예시도
도 2는 일반적인 프레임 프리즈(Frame Freeze) 기법을 사용한 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도
도 3은 본 발명의 일 실시예에 따른 동영상 복호화시 프레임 손실 은폐 장치의 블록 구성도
도 4는 본 발명의 일 실시예에 따른 동영상 복호화시 프레임 손실 은폐 방법의 이전 프레임의 매크로 블록을 참조하는 방식을 보여주는 예시도
도 5는 본 발명의 일 실시예에 따른 동영상 복호화시 프레임 손실 은폐 방법의 각 블록의 움직임 벡터의 가중치를 나타내는 도면
도 6은 본 발명의 일 실시예에 따른 동영상 복호화시 프레임 손실 은폐 동작의 흐름도
도 7은 본 발명의 일 실시예에 따른 프레임 손실 은폐 방법을 사용한 동영상 복호화시 프레임 에러 발생 이후의 출력되는 프레임들의 예시도
본 발명은 동영상 복호화에 관한 기술로서, 특히 동영상 복호화시 프레임의 손실을 은폐(EC: Error Concealment)하는 방법 및 장치에 관한 것이다.
일반적으로 국제적인 표준으로 제정된 H.263, H.264, MPEG-4와 같은 대부분의 동영상 부호화 기술은 가변 길이 부호화(VLC: Variable Length Coding)와 공간 및 움직임 예측(spatial and motion prediction) 등의 효율적인 영상 압축 기법을 사용하고 있다. 그런데, 가변 길이 부호화 기술은 손실이 있는 채널 환경에 매우 취약하여 소수의 비트 손실에 의해서도 영상 디코딩 도중에 동기를 잃어버리게 하는 원인을 제공하며, 또한 예측 부호화 기술은 전체 영상을 통해 손실이 전파되게 만든다. 이로 인해 채널 전송, 저장 매체 기록 또는 읽기 중에 발생하는 손실은 복원된 영상의 화질 저하에 많은 영향을 끼치게 된다.
이와 같은 피할 수 없는 전송 손실에 효과적으로 대응하기 위하여 손실에 강인한 부호화 기법들에 대한 연구와 더불어, 전송 환경에서 발생하는 손실에 의한 피해를 최소화하기 위한 기법으로 손실 은폐(EC: Error Concealment) 기법이 연구되어 왔다.
다양한 EC 기법 중 널리 이용되는 기법은 복호기가 EC의 역할을 담당하는 후처리 기법으로 자연 이미지의 경우 공간적 또는 시간적으로 인접한 픽셀(pixel)들은 부드럽게 변화한다는 특성을 이용하여 손실된 정보를 복원하는 기법이다. 이때 손실된 블록과 이웃한 블록의 픽셀 값 또는 움직임 벡터(MV: Motion Vector)를 이용하여 손실된 블록을 화소 단위 또는 매크로 블록 단위로 복원하게 된다. 그러나 프레임 단위로 발생되는 에러의 경우에는 블록 단위의 에러와는 달리 하나의 프레임 내에 활용 가능한 정보가 없다는 문제점이 있다. 이와 같은 이유로 프레임 단위의 EC기법은 거의 전무한 실정이다.
도 1은 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도이다. 도 1을 참조하면, 손실이 발생한 프레임(Fk)과 이후에 전송되는 프레임은, 이전 프레임과의 상관관계를 이용한 압축 방식 때문에 이전 프레임의 에러가 전파되는 형태를 보여준다. 따라서 손실된 프레임은 Fk 이지만 이후에 전송된 Fk+1 , Fk+2 프레임에도 그 영향이 전달되어 실제 영상을 확인하는 것이 불가능하게 된다.
최근 활성화 되고 있는 지상파 DMB(Digital Multimedia Broadcasting)의 동영상의 경우 H.264의 압축 방식을 이용하면서 하나의 슬라이스로 하나의 프레임을 구성하는 방법을 이용하게 된다. 슬라이스단위의 압축 방법은 에러에 강인한 특성을 갖도록 설계 된 방법이나, 하나의 슬라이스 내부에 에러가 발생할 경우 슬라이스 전체에 대한 복호가 불가능해지는 특징을 가지고 있고 이는 프레임 단위의 에러가 발생함을 의미한다.
하나의 슬라이스로 하나의 프레임이 구성되는 영상에서 발생되는 에러는 슬라이스 전체가 에러로 취급되기 때문에 기존의 화소 또는 블록 단위의 에러와 비교하여 동영상의 화질에 더욱 심각한 문제가 발생하게 된다. 따라서 손실된 영역이 전체 프레임이기 때문에 기존에 개발 된 블록 단위의 EC기법의 적용이 불가능한 문제점이 있다.
이와 같은 이유로 인해 기존의 프레임 단위의 EC기법은 일반적으로 새로운 IDR(Instantaneous Decoding Refresh) 화면이 수신될 때까지 손실 이전의 영상을 정지 화면 형태로 출력하는 프레임 프리즈(Frame Freeze) 기법이 주로 사용되었다.
도 2는 일반적인 프레임 프리즈(Frame Freeze) 기법을 사용한 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도이다. 도 2에서와 같이 프레임 프리즈 기법은 프레임이 손실되기 이전의 올바르게 전송된 프레임을 손실된 프레임 대신 출력하게 되기 때문에 프레임 프리즈 기법은 사용자에게 영상 정보를 정확하게 전달 할 수 없는 문제점이 있으며, 다수의 프레임이 손실되어 다수의 프레임을 프레임 프리즈 기법을 사용하여 처리 할 경우 중요한 정보의 손실이 발생할 수 있다.
본 발명은 높은 복원 효율을 얻을 수 있도록 하기 위한 동영상 복호화시 효율적인 프레임 손실 은폐 방법 및 장치를 제공하고자 한다.
이를 달성하기 위한 본 발명의 일 형태에 따르면, 본 발명은 동영상 복호화시 프레임 손실 은폐 방법에 있어서, 동영상 복호화시 입력된 프레임의 손실을 확인하는 과정과, 상기 입력된 프레임에 손실이 발생한 경우 상기 입력된 프레임을 매크로 블록 단위로 복원하기 위해 이전에 입력된 프레임에서 상기 복원할 매크로 블록과 같은 위치의 매크로 블록과, 상기 같은 위치의 매크로 블록의 상하좌우의 주변 매크로 블록들을 복원에 사용할 참조 매크로 블록으로 설정하는 과정과, 상기 참조 매크로 블록들의 각각의 움직임 벡터를 검사하고 상기 검사한 움직임 벡터에 미리 설정된 가중치를 적용하여 가중치 평균 움직임 벡터를 계산하는 과정과, 상기 가중치 평균 움직임 벡터를 사용하여 상기 손실된 매크로 블록을 복원하는 과정과, 상기 손실된 프레임의 모든 매크로 블록을 복원하여 상기 손실된 프레임을 대체하는 복원 프레임을 생성하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 형태에 따르면, 본 발명은 동영상 복호화시 프레임 손실 은폐 장치에 있어서, 입력받은 부호화된 프레임의 비트 스트림을 복호화하고 복호화된 프레임에 대한 손실 발생 여부를 확인하는 프레임 복호부와; 상기 프레임 복호부로부터 받은 이전에 복호화된 이전 프레임과 현재 복호화된 현재 프레임을 일시 저장하는 버퍼부와; 프레임 손실 은폐 기능을 수행시의 각 구성을 제어하는 제어부와; 입력받은 영상 프레임의 손실시 이전에 정상적으로 수신 된 프레임을 이용하여 원본 영상과 유사한 복원 프레임을 생성하는 프레임 손실 은폐부와; 상기 버퍼부로부터 손실 없이 입력된 영상 프레임을 받아서 그대로 출력하거나, 입력된 프레임에 손실 발생시 상기 프레임 손실 은폐부에서 생성한 복원 프레임을 출력하는 출력부를 포함하며; 상기 프레임 손실 은폐부는 상기 입력된 프레임에 손실이 발생한 경우 상기 입력된 프레임을 매크로 블록 단위로 복원하기 위해 이전에 입력된 프레임에서 상기 복원할 매크로 블록과 같은 위치의 매크로 블록과, 상기 같은 위치의 매크로 블록의 상하좌우의 주변 매크로 블록들을 복원에 사용할 참조 매크로 블록으 로 설정하며, 상기 참조 매크로 블록들의 각각의 움직임 벡터를 검사하고 상기 검사한 움직임 벡터에 미리 설정된 가중치를 적용하여 가중치 평균 움직임 벡터를 계산하며, 상기 가중치 평균 움직임 벡터를 사용하여 상기 손실된 매크로 블록을 복원하며, 상기 손실된 프레임의 모든 매크로 블록을 복원하여 상기 손실된 프레임을 대체하는 복원 프레임을 생성하는 것을 특징으로 한다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다
동영상 복호화시 프레임의 손실을 은폐하는 방식으로 손실된 프레임을 이전 프레임과 동일한 프레임으로 처리하여 이후에 수신되는 정상적인 정보는 계속 복호를 진행하는 방식을 고려해 볼 수 있다. 이 방식은 프레임 프리즈 기법과 비교하여 비교적 사용자에게 영상에 대한 정보를 정확하게 전달할 수는 있으나, 손상된 프레임의 이후에 출력되는 영상 프레임에도 많은 에러가 발생하게 되고, 발생된 에러는 IDR(Instantaneous Decoding Refresh) 화면이 수신될 때까지 계속 나타나게 되는 문제점이 있다.
본 발명의 일 실시예에 따른 동영상 복호화시 프레임 손실 은폐 기법은 정상적으로 수신된 이전의 프레임을 사용하여 현재 입력받은 손실된 프레임을 은폐하는 새로운 프레임(이하 복원 프레임이라 칭함)을 생성하여 손실된 프레임 이후의 프레임에 전파되는 오류를 최소화하여 정상적인 복호가 가능하도록 하는 방법이다.
도 3은 본 발명의 일 실시예에 따른 동영상 복호화시 프레임 손실 은폐 장치의 블록 구성도이다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 프레임 손실 은폐 장치는 입력받은 영상 프레임의 비트 스트림을 복호화하고 복호화된 영상 프레임의 손실 발생 여부를 확인하는 프레임 복호부(310)와, 상기 프레임 복호부로부터 받은 이전에 복호화된 이전 프레임과 현재 복호화된 현재 프레임을 일시 저장하는 버퍼부(330)와, 프레임 손실 은폐 기능을 수행시의 각 구성을 제어하는 제어부(320)와, 입력받은 영상 프레임의 손실시 이전에 정상적으로 수신 된 프레임을 이용하여 원본 영상과 유사한 복원 프레임을 생성하는 프레임 손실 은폐부(340)와, 상기 버퍼부(330)로부터 손실 없이 입력된 영상 프레임을 받아서 그대로 출력하거나 혹은 입력된 프레임에 손실 발생시 상기 프레임 손실 은폐부(340)에서 생성한 복원 프레임을 출력하는 출력부(350)를 포함한다.
이하 도 3을 참조하여 프레임 손실 은폐 장치의 각 구성 및 동작에 대하여 상세히 설명하기로 한다. 영상 신호에 대한 입력 비트 스트림은 상기 프레임 복호부(310)로 입력된다. 상기 프레임 복호부(310)는 입력된 비트 스트림의 데이터를 부호화된 형식에 맞춰 복호화를 수행한다. 이러한 부호화 형식은 일반적인 국제적인 표준인 H.263, H.264, MPEG-1, MPEG-2, MPEG-3, MPEG-4 등의 방식이 될 수 있다. 상기 프레임 복호부(310)는 이러한 방식에 맞춰 프레임 복호를 수행하고, 복호된 데이터를 버퍼부(330)로 출력한다.
상기 버퍼부(330)는 상기 프레임 복호부(310)로부터 입력되는 영상 프레임을 저장하는 현재 프레임 저장부(331)와, 그 다음 프레임이 입력될 시 상기 현재 프레임 저장부(331)에 저장된 데이터를 입력받아 저장하는 이전 프레임 저장부(332)를 포함한다. 이러한 이전 프레임 저장부(332)에 저장된 프레임은 오류가 발생한 프레임이 발생하는 경우 이를 은폐하기 위한 자료로서 사용하기 위해 저장된다.
또한 상기 프레임 복호부(310)는 프레임의 복호 결과에 따른 오류 발생 신호를 생성하여 제어부(320)로 출력한다. 상기 프레임 복호 결과에 따른 상기 오류 발생 신호는 프레임 단위의 오류가 발생하여 프레임이 손실된 경우 손실된 프레임에 대한 정보를 제어부(320)로 보낸다.
상기 제어부(320)는 상기 프레임 복호부(310)로부터 수신된 프레임에 오류가 발생했다는 오류 발생 신호를 입력 받으면, 상기 버퍼부(330)와 상기 프레임 손실 은폐부(340)를 제어하여 이전 프레임의 매크로 블록을 사용하여 오류가 발생한 프레임을 대신할 복원 프레임을 생성한다. 그리고 상기 제어부(320)는 복원 프레임을 오류가 발생한 손실된 프레임과 대체하도록 제어하고, 상기 출력부(350)에서 복원 프레임을 출력하도록 제어한다. 그러나 프레임이 정상적으로 수신된 경우에는 제어부(320)는 수신된 프레임을 바로 출력하도록 제어한다.
상기 이전 프레임 저장부(332)는 현재 영상 프레임을 받아서 저장하게 되는데, 만일 상기 프레임 복호부(310)에서 입력받은 프레임이 손실된 프레임일 경우에는 상기 출력부(350)에서 출력되는 오류가 은폐된 프레임 즉, 손실된 프레임의 은폐를 위하여 새롭게 생성된 복원 프레임을 저장할 수 있다.
상기 프레임 손실 은폐부(340)는 입력된 프레임에 오류가 발생하여 프레임이 손실된 경우에 이전에 입력된 프레임을 참고하여 새로운 복원 프레임을 생성한다. 이하 이전에 입력된 프레임을 사용하여 새로운 복원 프레임을 생성하는 방식에 대하여 상세히 살펴보기로 한다.
도 4는 본 발명의 일 실시예에 따른 동영상 복호화시 프레임 손실 은폐 방법의 이전 프레임의 매크로 블록을 참조하는 방식을 보여주는 예시도이다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 프레임 손실 은폐 방법은, 본 발명의 특징에 따라 손실된 프레임(Lost frame)의 매크로 블록을 복원하기 위하여 이전 프레임(Previous frame)의 같은 위치의 매크로 블록뿐만 아니라 같은 위치의 매크로 블록의 상하좌우의 주변 매크로 블록의 움직임 벡터를 함께 참조하여 복원하는 방식을 사용한다. 여기서 손실된 매크로 블록과 같은 위치의 매크로 블록과, 그 상하좌우의 주변 매크로 블록을 참조 매크로 블록이라고 칭한다.
본 발명에 따른 프레임 손실 은폐 방법은 본 발명의 특징에 따라, 손실된 매크로 블록을 복원하기 위해 참조하는 이전 프레임의 참조 매크로 블록들의 움직임 벡터에 미리 설정된 가중치를 적용하여 하나의 움직임 벡터(이하 가중치 평균 움직임 벡터라고 칭함)를 구하고 상기 가중치 평균 움직임 벡터를 사용하여 손실된 매 크로 블록을 복원하게 된다. 여기서 가중치는 손실된 매크로 블록의 각 픽셀별로 다르게 적용된다. 다시 말하면 복원할 픽셀의 블록내의 위치에 따라 다르게 적용되어, 매크로 블록이 복원할 픽셀에 가까울수록 가중치를 더 많이 받게 되고, 반대로 매크로 블록이 복원할 픽셀에 멀어질수록 가중치를 덜 받게 된다. 예를 들어 손실된 매크로 블록에서 제일 왼쪽에 위치한 픽셀을 복원한다고 가정하면, 이전 프레임의 참조 매크로 블록들 중에서 가장 가까운 왼쪽 블록의 움직임 벡터의 가중치를, 오른쪽 블록의 움직임 벡터의 가중치보다 상대적으로 크게 적용하게 된다. 이하 본 발명의 일 실시예를 들어 본 발명의 특징을 상세히 살펴보기로 한다.
도 5는 본 발명의 일 실시예에 따른 동영상 복호화시 프레임 손실 은폐 방법의 각 매크로 블록의 움직임 벡터의 가중치를 나타내는 도면이다. 도 5는 4x4 픽셀 단위의 블록을 사용한 본 발명의 일실시예를 나타낸다. 도 5를 참조하면, 가운데 4x4 사각형은 손실된 블록을 나타내고, 그 상하좌우에 위치한 사각형은 이전 프레임의 참조 블록을 나타낸다. 또 i와 j는 블록 내 픽셀의 위치를 나타내는데, i는 수평축을 j는 수직축을 나타내어, 제일 왼쪽 위의 픽셀을 pixel(0,0)으로 표시하고 제일 오른쪽 아래에 위치한 픽셀을 pixel(3,3)으로 표시하기로 한다.
본 발명의 일 실시예에 따른 프레임 손실 은폐 방법은 4x4 픽셀 단위의 블록을 사용하여 이전 프레임의 동일 위치의 참조 블록의 움직임 벡터에 15의 가중치를 적용하고, 오른쪽 참조 블록의 움직임 벡터에는 (i+1)의 가중치를 적용하고, 아래쪽 참조 블록의 움직임 벡터에는 (j+1)의 가중치를 적용하고, 왼쪽 참조 블록의 움직임 벡터에는 5-(i+1)의 가중치를 적용하고, 위쪽 참조 블록의 움직임 벡터에는 5-(j+1)의 가중치를 적용한다.
상기의 가중치를 나타내는 식은 i와 j값이 가지는 픽셀의 위치에 따라 가중치가 변화됨을 보여준다. 오른쪽 참조 블록의 움직임 벡터의 가중치는 i+1 이므로 i 값이 커질수록, 다시 말하면 픽셀의 위치가 오른쪽 블록에 가까워질수록 가중치가 커지는 것을 알 수 있다. 또한 반대로 왼쪽 참조 블록의 움직임 벡터의 가중치는 5-(i+1) 이므로 i 값이 작아질수록, 다시 말하면 픽셀의 위치가 왼쪽 블록에 가까워질수록 가중치가 커지는 것을 알 수 있다.
각 픽셀별로 계산하는 가중치 평균 움직임 벡터를 수학식으로 표현하면 다음과 같다.
Figure 112007009541965-PAT00001
상기 수학식에서 mvC, mvT, mvB, mvL, mvR은 각각 가운데, 위, 아래, 왼쪽 그리고 오른쪽에 위치한 참조 블록의 움직임 벡터를 의미한다.
가중치는 실험을 통해 가장 효율적인 값으로 선택되어, 가운데 위치한 참조 블록의 움직임 벡터에 60%의 가중치를 적용하고, 나머지 40%의 가중치를 복원할 픽셀의 위치에 따라 위, 아래, 왼쪽, 오른쪽 참조 블록에 적용한다. 상기 위, 아래, 왼쪽, 오른쪽 참조 블록에 적용하는 가중치는 상기 블록들과 복원할 픽셀이 근접한 정도에 따라 더 가까운 블록에 더 많은 가중치를 적용하게 된다.
본 발명에서 사용된 매크로 블록의 손실 은폐 방법은 본 발명의 일 실시예에 서처럼 4x4 픽셀 단위의 블록에 적용이 가능하나, 4x4 픽셀 단위의 블록에 적용시와 같은 원리를 사용하여 16x16 픽셀 단위의 매크로 블록에도 적용이 가능하다.
상기 프레임 손실 은폐부(340)는 상기에 설명한 매크로 블록 복원 방식을 손실된 프레임에 전체적으로 적용하여 모든 매크로 블록을 복원함으로서 손실된 프레임을 대체하는 복원 프레임을 생성한다.
도 6은 본 발명의 일 실시예에 따른 동영상 복호화시 프레임 손실 은폐 동작의 흐름도이다. 도 6을 참조하면, 처음 602단계에서 영상 프레임이 입력되면 604단계로 진행하여 프레임 복호부(310)에서 영상 프레임을 복호한다. 다음 606단계에서 오류 프레임이 발생 하였는지 판단하여 프레임에 오류가 발생하여 프레임이 손실되었으면 608단계로 진행하여 프레임 손실 은폐부(340)에서 이전 프레임을 사용하여 오류가 발생한 손실된 프레임을 매크로 블록 단위로 복원하여 손실된 프레임을 대체하는 복원 프레임을 생성한다. 그 후에 610단계로 진행하여 상기 복원 프레임을 출력한다. 상기 606단계에서 프레임에 오류가 발생하지 않았다면 바로 610단계로 진행하여 해당 프레임을 출력한다. 612단계에서 동작이 종료될지 판단하여 종료된다면 모든 동작을 종료하게 되고, 종료되지 않으면 602단계로 다시 진행하여 상기 동작을 반복 수행하게 된다.
도 7은 본 발명의 일 실시예에 따른 프레임 손실 은폐 방법을 사용한 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도이다. 도 7은 본 발명에서 제안한 방법을 이용하여 프레임 손실 이후에 에러를 복원한 영상으로 도 1과 비교하여 높은 복원효율을 보이며, 도 2의 프레임 프리즈 기법과 비교하여도 우 수한 성능을 나타냄을 알 수 있다.
상기와 같이 본 발명의 일 실시예에 따른 동영상 복호화시 프레임 손실 은폐 방법 및 장치의 동작 및 구성이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
본 발명은 동영상의 오류가 발생하여 프레임 단위로 손실이 발생할 경우 동영상의 손실을 보다 효율적으로 복원할 수 있으며, 또한 이후에 전송되는 프레임으로 오류가 전파되는 것을 막을 수 있다.

Claims (8)

  1. 동영상 복호화시 프레임 손실 은폐 방법에 있어서,
    동영상 복호화시 입력된 프레임의 손실을 확인하는 과정과,
    상기 입력된 프레임에 손실이 발생한 경우 상기 입력된 프레임을 매크로 블록 단위로 복원하기 위해 이전에 입력된 프레임에서 상기 복원할 매크로 블록과 같은 위치의 매크로 블록과, 상기 같은 위치의 매크로 블록의 상하좌우의 주변 매크로 블록들을 복원에 사용할 참조 매크로 블록으로 설정하는 과정과,
    상기 참조 매크로 블록들의 각각의 움직임 벡터를 검사하고 상기 검사한 움직임 벡터에 미리 설정된 가중치를 적용하여 가중치 평균 움직임 벡터를 계산하는 과정과,
    상기 가중치 평균 움직임 벡터를 사용하여 상기 손실된 매크로 블록을 복원하는 과정과,
    상기 손실된 프레임의 모든 매크로 블록을 복원하여 상기 손실된 프레임을 대체하는 복원 프레임을 생성하는 과정을 포함함을 특징으로 하는 프레임 손실 은폐 방법.
  2. 제 1항에 있어서, 상기 움직임 벡터에 가중치를 적용할 때,
    상기 참조 매크로 블록들 중에서 손실된 매크로 블록과 같은 위치의 참조 매 크로 블록의 움직임 벡터에 미리 설정된 일정 비율의 가중치를 적용하고,
    나머지 가중치는 상하좌우의 참조 매크로 블록들의 움직임 벡터에, 상기 상하좌우의 참조 매크로 블록들과 복원할 픽셀의 위치와의 근접정도에 비례하여 각각 적용하는 것을 특징으로 하는 프레임 손실 은폐 방법.
  3. 제 2항에 있어서, 상기 손실된 매크로 블록과 같은 위치의 참조 매크로 블록의 움직임 벡터에 60%의 가중치를 적용하는 것을 특징으로 하는 프레임 손실 은폐 방법.
  4. 제 1항에 있어서, 상기 입력된 프레임에 손실이 발생하지 않은 경우 상기 입력된 프레임을 그대로 출력하는 과정을 더 포함함을 특징으로 하는 프레임 손실 은폐 방법.
  5. 제 1항에 있어서, 상기 매크로 블록이 4x4 픽셀 단위로 구성된 블록이면, 상기 가중치 평균 움직임 벡터는 하기 <수학식>을 사용하여 계산함을 특징으로 하는 프레임 손실 은폐 방법.
    <수학식>
    Figure 112007009541965-PAT00002
    상기 수학식에서 상기 i, j는 블록 내 픽셀의 위치를 의미하며, 상기 mv(i,j)는 pixel(i,j)의 가중치 평균 움직임 벡터를 의미하고, 상기 mvC, mvT, mvB, mvL, mvR은 각각 가운데, 위, 아래, 왼쪽 그리고 오른쪽에 위치한 참조 매크로 블록의 각 움직임 벡터를 의미함.
  6. 동영상 복호화시 프레임 손실 은폐 장치에 있어서,
    입력받은 부호화된 프레임의 비트 스트림을 복호화하고 복호화된 프레임에 대한 손실 발생 여부를 확인하는 프레임 복호부와,
    상기 프레임 복호부로부터 받은 이전에 복호화된 이전 프레임과 현재 복호화된 현재 프레임을 일시 저장하는 버퍼부와,
    프레임 손실 은폐 기능을 수행시의 각 구성을 제어하는 제어부와,
    입력받은 영상 프레임의 손실시 이전에 정상적으로 수신 된 프레임을 이용하여 원본 영상과 유사한 복원 프레임을 생성하는 프레임 손실 은폐부와,
    상기 버퍼부로부터 손실 없이 입력된 영상 프레임을 받아서 그대로 출력하거나, 입력된 프레임에 손실 발생시 상기 프레임 손실 은폐부에서 생성한 복원 프레임을 출력하는 출력부를 포함하며,
    상기 프레임 손실 은폐부는 상기 입력된 프레임에 손실이 발생한 경우 상기 입력된 프레임을 매크로 블록 단위로 복원하기 위해 이전에 입력된 프레임에서 상기 복원할 매크로 블록과 같은 위치의 매크로 블록과, 상기 같은 위치의 매크로 블록의 상하좌우의 주변 매크로 블록들을 복원에 사용할 참조 매크로 블록으로 설정하며, 상기 참조 매크로 블록들의 각각의 움직임 벡터를 검사하고 상기 검사한 움직임 벡터에 미리 설정된 가중치를 적용하여 가중치 평균 움직임 벡터를 계산하며, 상기 가중치 평균 움직임 벡터를 사용하여 상기 손실된 매크로 블록을 복원하며, 상기 손실된 프레임의 모든 매크로 블록을 복원하여 상기 손실된 프레임을 대체하는 복원 프레임을 생성하는 것을 특징으로 하는 프레임 손실 은폐 장치.
  7. 제 6항에 있어서, 상기 버퍼부는 상기 프레임 복호부로부터 수신되는 상기 현재 프레임을 저장하는 현재 프레임 저장부와, 상기 이전 프레임들을 저장하는 이전 프레임 저장부를 포함함을 특징으로 하는 프레임 손실 은폐 장치.
  8. 제 6항에 있어서, 상기 제어부는 프레임이 정상적으로 수신된 경우에는 수신된 프레임을 바로 출력하도록 제어함을 특징으로 하는 프레임 손실 은폐 장치.
KR1020070009975A 2007-01-31 2007-01-31 동영상 복호화시 프레임 손실의 은폐 방법 및 장치 KR100856215B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070009975A KR100856215B1 (ko) 2007-01-31 2007-01-31 동영상 복호화시 프레임 손실의 은폐 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070009975A KR100856215B1 (ko) 2007-01-31 2007-01-31 동영상 복호화시 프레임 손실의 은폐 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080071725A true KR20080071725A (ko) 2008-08-05
KR100856215B1 KR100856215B1 (ko) 2008-09-03

Family

ID=39882346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070009975A KR100856215B1 (ko) 2007-01-31 2007-01-31 동영상 복호화시 프레임 손실의 은폐 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100856215B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016122778A1 (en) * 2015-01-31 2016-08-04 Intel Corporation REPLAYING OLD PACKETS FOR CONCEALING VIDEO DECODING ERRORS and VIDEO DECODING LATENCY ADJUSTMENT BASED ON WIRELESS LINK CONDITIONS

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100255744B1 (ko) * 1996-12-23 2000-05-01 전주범 전송되는비디오신호의에러은폐방법및장치
KR100587274B1 (ko) * 1999-07-22 2006-06-08 엘지전자 주식회사 엠펙­２ 압축복원시스템에서의 오류 은폐방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016122778A1 (en) * 2015-01-31 2016-08-04 Intel Corporation REPLAYING OLD PACKETS FOR CONCEALING VIDEO DECODING ERRORS and VIDEO DECODING LATENCY ADJUSTMENT BASED ON WIRELESS LINK CONDITIONS
US10158889B2 (en) 2015-01-31 2018-12-18 Intel Corporation Replaying old packets for concealing video decoding errors and video decoding latency adjustment based on wireless link conditions

Also Published As

Publication number Publication date
KR100856215B1 (ko) 2008-09-03

Similar Documents

Publication Publication Date Title
KR100888962B1 (ko) 영상 신호의 인코딩 및 디코딩 방법
KR100667806B1 (ko) 영상 부호화 및 복호화 방법 및 장치
US9300956B2 (en) Method and apparatus for redundant video encoding
KR101640872B1 (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
KR100886191B1 (ko) 영상 블록을 디코딩 하는 방법
EP1469681A1 (en) Image coding method and apparatus and image decoding method and apparatus
US8428131B2 (en) Video encoder and decoder using region based coding and decoding techniques with sequential refresh
KR20060109248A (ko) 영상신호의 엔코딩/디코딩시에 내부모드 블록의 정보를처리하는 방법 및 장치
KR20090053169A (ko) 동영상 프레임의 선택적 오류 은폐 방법 및 장치
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR20060063613A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100885443B1 (ko) 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
KR20080029511A (ko) 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치
KR100587274B1 (ko) 엠펙­２ 압축복원시스템에서의 오류 은폐방법
KR100856215B1 (ko) 동영상 복호화시 프레임 손실의 은폐 방법 및 장치
JP5547622B2 (ja) 映像再生方法、映像再生装置、映像再生プログラム及び記録媒体
KR100860689B1 (ko) 동영상 복호화시 프레임 손실 은폐 방법 및 장치
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
JP4909592B2 (ja) 動画像再生方法及び装置並びにプログラム
KR20060059773A (ko) 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치
JP4239894B2 (ja) 画像符号化装置及び画像復号化装置
KR100827094B1 (ko) 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070131

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20080117

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20080717

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080827

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080827

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20110728

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20120730

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20130730

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20140730

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20150730

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20160728

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20170728

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20170728

Start annual number: 10

End annual number: 10

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190607