KR101420878B1 - 동영상 프레임의 선택적 오류 은폐 방법 및 장치 - Google Patents

동영상 프레임의 선택적 오류 은폐 방법 및 장치 Download PDF

Info

Publication number
KR101420878B1
KR101420878B1 KR1020070119862A KR20070119862A KR101420878B1 KR 101420878 B1 KR101420878 B1 KR 101420878B1 KR 1020070119862 A KR1020070119862 A KR 1020070119862A KR 20070119862 A KR20070119862 A KR 20070119862A KR 101420878 B1 KR101420878 B1 KR 101420878B1
Authority
KR
South Korea
Prior art keywords
frame
error
frames
received
threshold value
Prior art date
Application number
KR1020070119862A
Other languages
English (en)
Other versions
KR20090053169A (ko
Inventor
김용덕
주영훈
최광표
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070119862A priority Critical patent/KR101420878B1/ko
Priority to US12/313,559 priority patent/US8472530B2/en
Publication of KR20090053169A publication Critical patent/KR20090053169A/ko
Application granted granted Critical
Publication of KR101420878B1 publication Critical patent/KR101420878B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상 프레임의 선택적 프레임 오류 은폐 방법에 있어서, 동영상 프레임 수신중 오류 프레임을 수신한 경우, 오류 프레임이 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 이내의 프레임인지 판단하는 과정과, 오류 프레임이 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 이내의 프레임이 아닌 경우, 연속적인 오류 프레임의 개수가 미리 설정된 문턱값보다 큰지 판단하는 과정과, 연속적인 오류 프레임의 개수가 문턱값보다 크지 않은 경우, 미리 설정된 오류 은폐 기법을 사용하는 과정과, 오류 프레임이 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 이내의 프레임이거나, 연속적인 오류 프레임의 개수가 문턱값보다 큰 경우에는, 새로운 I 프레임이 수신될 때까지 오류 프레임 이전에 오류 없이 정상적으로 수신된 프레임을 디스플레이하는 과정을 포함한다.
오류 은폐(Error Concealment), I 프레임, 프레임 프리즈(Frame freeze), 매크로 블록, 움직임 벡터

Description

동영상 프레임의 선택적 오류 은폐 방법 및 장치{METHOD AND APPARATUS FOR SELECTIVELY ERROR CONCEALMENT OF VIDEO FRAME}
본 발명은 동영상 데이터 복호화에 관한 것으로서, 특히 동영상 복호화시 선택적으로 프레임의 오류를 은폐(EC: Error Concealment)하는 방법 및 장치에 관한 것이다.
일반적으로 국제적인 표준으로 제정된 H.263, H.264, MPEG-4와 같은 대부분의 동영상 부호화 기술은 가변 길이 부호화(VLC: Variable Length Coding)와 공간 및 움직임 예측(spatial and motion prediction) 등의 효율적인 영상 압축 기법을 사용하고 있다. 그런데, 가변 길이 부호화 기술은 잡음이 있는 채널 환경에 매우 취약하여 소수의 비트 오류에 의해서도 영상 디코딩 도중에 동기를 잃어버리게 하는 원인을 제공하며, 또한 예측 부호화 기술은 전체 영상을 통해 오류가 전파되게 만든다. 이로 인해 채널 전송, 저장 매체 기록 또는 읽기 중에 발생하는 오류는 복원된 영상의 화질 저하에 많은 영향을 끼치게 된다.
이와 같은 피할 수 없는 전송 오류에 효과적으로 대응하기 위하여 오류에 강인한 부호화 기법들에 대한 연구와 더불어, 전송 환경에서 발생하는 오류에 의한 피해를 최소화하기 위한 기법으로 오류 은폐(EC: Error Concealment) 기법이 연구되어 왔다.
다양한 EC 기법 중 널리 이용되는 기법은 복호기가 EC의 역할을 담당하는 후처리 기법으로 자연 이미지의 경우 공간적 또는 시간적으로 인접한 픽셀(pixel)들은 부드럽게 변화한다는 특성을 이용하여 오류 정보를 복원하는 기법이다. 이때 오류 블록과 이웃한 블록의 픽셀 값 또는 움직임 벡터(MV: Motion Vector)를 이용하여 오류 블록을 화소 단위 또는 매크로 블록 단위로 복원하게 된다.
도 1은 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도이다. 도 1을 참조하면, 오류가 발생한 프레임(Fk) 이후에 전송되는 프레임은, 이전 프레임과의 상관관계를 이용한 압축 방식 때문에 이전 프레임의 오류가 전파되는 형태를 보여준다. 따라서 오류 프레임은 Fk 이지만 이후에 전송된 Fk +1 , Fk +2 프레임에도 Fk 프레임의 오류의 영향이 전달되어 실제 영상을 확인하는 것이 거의 불가능하게 된다.
최근 활성화되고 있는 지상파 DMB(Digital Multimedia Broadcasting)의 동영상의 경우 H.264의 압축 방식을 이용하면서 하나의 슬라이스로 하나의 프레임을 구성하는 방법을 이용하게 된다. 슬라이스단위의 압축 방법은 오류에 강인한 특성을 갖도록 설계된 방법이다. 그러나 하나의 슬라이스 내부에 오류가 발생할 경우 슬라이스 전체에 대한 복호가 불가능해지는 특징이 있고 이는 프레임 단위의 오류가 발생함을 의미한다.
하나의 슬라이스로 하나의 프레임이 구성되는 영상에서 발생되는 에러는 슬라이스 전체가 에러로 취급되기 때문에 기존의 화소 또는 블록 단위의 에러와 비교하여 동영상의 화질에 더욱 심각한 문제가 발생하게 된다. 따라서 오류 영역이 전체 프레임이기 때문에 기존에 개발된 블록 단위의 EC기법의 적용이 불가능한 문제점이 있다.
현재 지상파 DMB나 위성 DMB와 같은 휴대방송의 경우 수신된 방송의 동영상에 에러가 존재할 경우 일반적으로 새로운 I 프레임이 수신될 때까지 오류 이전의 영상을 정지 화면 형태로 출력하는 프레임 프리즈(Frame Freeze) 기법이 주로 사용된다.
도 2는 일반적인 프레임 프리즈(Frame Freeze) 기법을 사용한 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도이다. 도 2에서와 같이 프레임 프리즈 기법은 프레임이 손실되기 이전의 올바르게 전송된 프레임을 오류 프레임 대신 출력하게 되기 때문에 프레임 프리즈 기법은 사용자에게 영상 정보를 정확하게 전달할 수 없는 문제점이 있으며, 다수의 프레임에 오류가 발생되어 다수의 프레임을 프레임 프리즈 기법을 사용하여 처리할 경우 중요한 정보의 손실이 발생할 수 있다. 일반적인 지상파 DMB의 경우에는 30프레임 마다 I 프레임이 수신되기 때문에 수신 에러가 발생할 경우 다음 I 프레임이 수신될 때까지 수신되는 모든 비디오 프레임 정보를 버릴 수밖에 없게 되고, 따라서 휴대방송 시청자는 정지된 영상을 볼 수밖에 없는 문제점이 있다.
본 발명은 동영상 전송중에 프레임의 오류 발생시 끊김 없는 동영상 품질을 제공할 수 있는 선택적 프레임 오류 은폐 방법 및 장치를 제공하고자 한다.
이를 달성하기 위한 본 발명의 일 형태에 따르면, 동영상 프레임의 선택적 프레임 오류 은폐 방법에 있어서, 동영상 프레임 수신중 오류 프레임을 수신한 경우, 상기 오류 프레임이 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 이내의 프레임인지 판단하는 과정과, 상기 오류 프레임이 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 이내의 프레임이 아닌 경우, 연속적인 오류 프레임의 개수가 미리 설정된 문턱값보다 큰지 판단하는 과정과, 상기 연속적인 오류 프레임의 개수가 상기 문턱값보다 크지 않은 경우, 미리 설정된 오류 은폐 기법을 사용하는 과정과, 상기 오류 프레임이 상기 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 이내의 프레임이거나, 상기 연속적인 오류 프레임의 개수가 상기 문턱값보다 큰 경우에는, 새로운 I 프레임이 수신될 때까지 상기 오류 프레임 이전에 오류 없이 정상적으로 수신된 프레임을 디스플레이하는 과정을 포함함을 특징으로 하며,
상기 오류 프레임이 상기 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 이내의 프레임인지 판단하는 과정은, 상기 오류 프레임이 상기 I 프레임 다음에 수신되는 두 프레임에 속하는 프레임인지 판단하는 과정임을 특징으로 하며,
동영상 프레임을 수신중 오류가 발생하지 않은 정상 프레임을 수신한 경우, 수신한 상기 정상 프레임을 디스플레이하는 것을 특징으로 하며,
상기 문턱값은 하기의 수학식과 같음을 특징으로 하며,
[수학식]
Figure 112007084173521-pat00001
상기 Threshold는 문턱값이고, Number of MBs는 한 프레임 내에 존재하는 매크로블럭의 개수이며 MVx는 x방향의 움직임벡터 값, MVy는 y방향의 움직임벡터 값이고, a는 미리 설정된 계수이며,
상기 문턱값은 새로운 I 프레임이 수신될 때마다 초기화 되어 새로이 계산되는 것을 특징으로 한다.
본 발명의 다른 형태에 따르면, 동영상 복호화시 프레임 오류 은폐 장치에 있어서, 입력받은 부호화된 프레임의 비트 스트림을 복호화하고 복호화된 프레임에 대한 오류 발생 여부를 확인하는 프레임 복호부와, 상기 프레임 복호부로부터 받은 이전에 복호화된 이전 프레임과 현재 복호화된 현재 프레임을 일시 저장하는 버퍼부와, 프레임 오류 은폐 기능을 수행시의 각 구성을 제어하는 제어부와, 입력받은 영상 프레임의 오류발생시 이전에 정상적으로 수신된 프레임을 이용하여 복원 프레임을 생성하는 프레임 오류 은폐부와, 상기 버퍼부로부터 오류 발생 없이 입력된 영상 프레임을 받아서 그대로 출력하거나, 입력된 프레임에 오류 발생시 상기 프레 임 오류 은폐부에서 생성한 복원 프레임을 출력하는 출력부를 포함하며, 상기 제어부는 동영상 프레임 수신중 오류 프레임을 수신한 경우, 상기 오류 프레임이 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 이내의 프레임인지 판단하며, 상기 오류 프레임이 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 이내의 프레임이 아닌 경우 연속적인 오류 프레임의 개수가 미리 설정된 문턱값보다 큰지 판단하며, 상기 연속적인 오류 프레임의 개수가 상기 문턱값보다 크지 않은 경우, 미리 설정된 오류 은폐 기법을 사용하며, 상기 오류 프레임이 상기 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 이내의 프레임이거나, 상기 연속적인 오류 프레임의 개수가 문턱값보다 큰 경우에는 새로운 I 프레임이 수신될 때까지 상기 오류 프레임 이전에 오류발생 없이 정상적으로 수신된 프레임을 디스플레이하도록 제어하는 것을 특징으로 하며,
상기 오류 프레임이 상기 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 이내의 프레임인지 판단하는 것은, 상기 오류 프레임이 상기 I 프레임 다음에 수신되는 두 프레임에 속하는 프레임인지 판단하는 것임을 특징으로 하며,
상기 버퍼부는 상기 프레임 복호부로부터 수신되는 상기 현재 프레임을 저장하는 현재 프레임 저장부와, 상기 이전 프레임들을 저장하는 이전 프레임 저장부를 포함함을 특징으로 하며,
상기 제어부는 동영상 프레임을 수신중 오류가 발생하지 않은 정상 프레임을 수신한 경우, 수신한 상기 정상 프레임을 디스플레이하는 것을 특징으로 하며,
상기 문턱값은 하기의 수학식과 같음을 특징으로 하며,
[수학식]
Figure 112007084173521-pat00002
상기 Threshold는 문턱값이고, Number of MBs는 한 프레임 내에 존재하는 매크로블럭의 개수이며 MVx는 x방향의 움직임벡터 값, MVy는 y방향의 움직임벡터 값이고, a는 미리 설정된 계수임을 특징으로 한다.
본 발명은 동영상 데이터 송수신중 오류가 발생한 프레임이 수신될 경우의 프레임의 오류 은폐방법에서 영상 정보의 오류를 감지하고 오류 정도에 따라 선택적으로 오류 은폐 기법 또는 프레임 프리즈 기법을 사용하여 수신된 영상정보를 최대한 활용할 수 있으며 동시에 시청자에게 더욱 고품질의 동영상 정보를 제공할 수 있는 효과가 있다.
이하 첨부된 도면을 참조하여 본 발명을 구성하는 장치 및 동작 방법을 본 발명의 실시 예를 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
동영상 프레임 수신시 동영상 프레임에 오류가 발생하여 프레임이 손실되는 경우가 발생하면 프레임 오류 은폐 방법을 사용할 수 있다. 프레임 오류 은폐 방법은 수신된 오류 프레임 이전의 프레임을 이용하여 오류 프레임을 가급적 원본 영상과 유사하게 복원하여 오류 발생 이후의 프레임에서 발생하는 오류 전파를 최소화하여 정상적인 복호가 가능하도록 하는 방법이다. 그러나 프레임에 오류가 발생한 경우 오류가 발생한 프레임이 I 프레임 바로 이후의 프레임일 경우에는 오류의 전파가 심하기 때문에 오류 은폐 방법을 사용하여도 영상의 품질이 떨어지게 된다. 또한 수신 상태가 불량하여 연속된 오류 프레임이 수신될 경우에도 오류 은폐 기법을 사용하면 영상이 심하게 왜곡되는 문제점이 있다.
따라서 본 발명은 동영상 데이터 송수신시 오류가 발생한 프레임을 수신한 경우 상기 오류가 발생한 프레임의 오류 정도를 판단하여 선택적으로 프레임 프리즈(Frame Freeze) 기법 또는 오류 은폐 기법을 사용하는 방법을 제시한다.
상기 프레임 프리즈 기법은 종래기술에서 설명한 것처럼 프레임에 오류가 발생한 경우 새로운 I 프레임이 수신될 때까지 오류 발생 이전의 정상적으로 수신된 프레임을 정지 화면 형태로 출력하는 방법이며, 상기 오류 은폐 기법은 오류 발생 이전에 수신한 프레임을 참조하여 오류 프레임을 복원하는 방법이다.
먼저 본 발명의 일 실시 예에 따른 동영상 프레임의 오류 은폐 장치를 도 3을 참조하여 살펴보기로 한다.
도 3은 본 발명의 일 실시 예에 따른 동영상 프레임 오류 은폐 장치의 블록 구성도이다. 도 3을 참조하면, 본 발명의 일 실시 예에 따른 프레임 오류 은폐 장치는 입력받은 영상 프레임의 비트 스트림을 복호화하고 복호화된 영상 프레임의 오류 발생 여부를 확인하는 프레임 복호부(310)와, 상기 프레임 복호부로부터 받은 이전에 복호화된 이전 프레임과 현재 복호화된 현재 프레임을 일시 저장하는 버퍼부(330)와, 프레임 오류 은폐 기능을 수행시의 각 구성을 제어하는 제어부(320)와, 입력받은 영상 프레임의 오류시 이전에 정상적으로 수신된 프레임을 이용하여 원본 영상과 유사한 복원 프레임을 생성하는 프레임 오류 은폐부(340)와, 상기 버퍼부(330)로부터 오류 없이 입력된 영상 프레임을 받아서 그대로 출력하거나 혹은 입력된 프레임에 오류 발생시 상기 프레임 오류 은폐부(340)에서 생성한 복원 프레임을 출력하는 출력부(350)를 포함한다.
이하 도 3을 참조하여 프레임 오류 은폐 장치의 각 구성 및 동작에 대하여 상세히 설명하기로 한다. 영상 신호에 대한 입력 비트 스트림은 상기 프레임 복호부(310)로 입력된다. 상기 프레임 복호부(310)는 입력된 비트 스트림의 데이터를 부호화된 형식에 맞춰 복호화를 수행한다. 이러한 부호화 형식은 일반적인 국제적인 표준인 H.263, H.264, MPEG-1, MPEG-2, MPEG-3, MPEG-4 등의 방식이 될 수 있다. 상기 프레임 복호부(310)는 이러한 방식에 맞춰 프레임 복호를 수행하고, 복호된 데이터를 버퍼부(330)로 출력한다.
상기 버퍼부(330)는 상기 프레임 복호부(310)로부터 입력되는 영상 프레임을 저장하는 현재 프레임 저장부(331)와, 그 다음 프레임이 입력될 시 상기 현재 프레임 저장부(331)에 저장된 데이터를 입력받아 저장하는 이전 프레임 저장부(332)를 포함한다. 이러한 이전 프레임 저장부(332)에 저장된 프레임은 오류 프레임이 발생하는 경우 이를 은폐하기 위한 자료로서 사용하기 위해 저장된다.
또한 상기 프레임 복호부(310)는 프레임의 복호 결과에 따른 오류 발생 신호를 생성하여 제어부(320)로 출력한다. 상기 프레임 복호 결과에 따른 상기 오류 발생 신호는 프레임 단위의 오류가 발생하여 프레임이 손실된 경우 오류 프레임에 대한 정보를 제어부(320)로 보낸다.
상기 제어부(320)는 상기 프레임 복호부(310)로부터 수신된 프레임에 오류가 발생했다는 오류 발생 신호를 입력받으면, 오류 프레임의 오류 정도를 판단하여 프레임 프리즈 방식이나 미리 설정된 오류 은폐 기법을 사용하도록 제어한다. 또한 상기 제어부(320)는 상기 버퍼부(330)와 상기 프레임 오류 은폐부(340)를 제어하여 이전 프레임의 매크로 블록을 사용하여 오류가 발생한 프레임을 대신할 복원 프레임을 생성한다. 그리고 상기 제어부(320)는 복원 프레임을 오류가 발생한 프레임과 대체하도록 제어하고, 상기 출력부(350)에서 복원 프레임을 출력하도록 제어한다.
그러나 프레임이 정상적으로 수신된 경우에는 제어부(320)는 수신된 프레임을 바로 출력하도록 제어한다.
상기 이전 프레임 저장부(332)는 현재 영상 프레임을 받아서 저장하게 되는데, 만일 상기 프레임 복호부(310)에서 입력받은 프레임이 오류 프레임일 경우에는 상기 출력부(350)에서 출력되는 오류가 은폐된 프레임 즉, 오류 프레임의 은폐를 위하여 새롭게 생성된 복원 프레임을 저장할 수 있다.
상기 프레임 오류 은폐부(340)는 입력된 프레임에 오류가 발생하여 프레임이 손실된 경우에 이전에 입력된 프레임을 참고하여 새로운 복원 프레임을 생성한다. 여기서 복원 프레임은 오류 프레임의 오류 정도의 판단에 따라 미리 설정된 오류 은폐 방식에 따른 복원 프레임이거나 프레임 프리즈 기법에 따른 정상적으로 수신된 이전 프레임이 된다.
상기 출력부(350)는 버퍼부(330)로부터 오류 발생 없이 입력된 영상 프레임을 받아서 그대로 출력하거나, 입력된 프레임에 오류 발생시 상기 프레임 오류 은폐부에서 생성한 상기 복원 프레임을 출력한다.
도 4는 본 발명의 일 실시 예에 따른 동영상 프레임의 오류 은폐 동작의 흐름도이다. 도 4를 참조하면, 처음 410단계에서 오류가 발생한 동영상 프레임이 수신된 경우, 420단계로 진행하여 수신한 오류 프레임이 I 프레임 이후의 첫번째 프레임 또는 두번째 프레임인지 판단한다. 상기 판단결과 수신한 오류 프레임이 I 프레임 이후의 첫번째 또는 두번째 프레임이 아니면, 430단계로 진행하여 연속적인 오류 프레임의 개수가 문턱값(Threshold)보다 큰지 판단한다. 상기 판단결과 연속적인 오류 프레임의 개수가 문턱값보다 크지 않으면 450단계로 진행하여 미리 설정된 오류 은폐 기법을 사용하고 460단계로 진행한다. 460단계에서는 상기 450단계에서 오류 은폐된 동영상 프레임을 디스플레이한다.
상기 450단계에서 사용하는 오류 은폐 기법은 오류 발생 이전에 수신한 프레임을 참조하여 오류 프레임을 복원하는 기존의 오류 은폐 기법이 사용될 수 있다. 바람직하게는 오류 발생 이전에 수신한 프레임에서 복원하고자하는 매크로 블 록과 동일한 위치의 매크로 블록 및 그 주변에 위치한 매크로 블록들을 참조하여, 상기 참조하는 매크로 블록들의 픽셀값 또는 움직임 벡터를 이용하여 매크로 블록 단위로 프레임을 복원하여 원본 영상과 유사한 복원 프레임을 생성하고, 상기 복원 프레임을 이용해 오류 프레임을 은폐하여 오류 발생 이후의 프레임에서 발생하는 오류전파를 최소화하도록 하는 프레임 오류 은폐 방법을 사용할 수 있다. 상기 설명한 오류 은폐 방법의 예로는 국내 논문 발표 및 특허 출원된 OBEC(Overlapped Block Error Concealment)방식을 들 수 있다.(2006 추계학술대회 논문발표, 발표일: 2006.11.25, 명칭: H.264 비디오 프레임의 오류 은닉 기법, 발명자: 송관웅외 3명)(대한민국 특허 출원번호: 10-2007-11554, 출원일:2007.2.5, 출원인: 삼성전자, 고려대학교 산학협력단, 명칭: 동영상 복호화시 프레임의 손실 은폐 방법 및 장치, 발명자: 송관웅외 6명)
오류가 발생한 프레임이 I 프레임 바로 이후 프레임이나 그 다음 프레임일 경우에는 오류의 전파가 심하기 때문에 상기 오류 은폐 방법보다 프레임 프리즈 방법을 사용하는 것이 더욱 효과적이다. 따라서 상기 420단계에서 수신한 오류 프레임이 I 프레임 이후 첫번째 또는 두번째 프레임인 경우에는 440단계로 진행하여 프레임 프리즈 기법을 사용하고, 460단계로 진행하여 디스플레이한다. 또한 상기 430 단계에서 연속적인 오류 프레임의 개수가 문턱값보다 큰 경우에도 440단계로 진행하여 프레임 프리즈 기법을 사용하고, 460단계로 진행하여 디스플레이한다.
수신 상태가 불량하여 연속된 오류 프레임이 수신될 경우 오류 은폐 기법을 사용하면 영상이 심하게 왜곡되어 시청자의 거부감을 불러 일으킬 수 있으므로 최 대한 시청자의 거부감을 일으키지 않는 한도 내에서 오류를 은폐하여 정보를 전달할 수 있는 문턱값 설정이 중요하다. 일반적으로 움직임이 많은 동영상의 경우에는 적은 개수의 프레임만 손실되어도 오류 은폐가 어려우며, 움직임이 거의 없는 동영상의 경우에는 다수의 프레임이 손실되어도 거부감없이 오류 은폐가 가능하다.
상기와 같은 사실을 이용하여, 상기 문턱값을 구하는 방법을 식으로 표현하면 하기의 수학식 1과 같다.
Figure 112007084173521-pat00003
상기 수학식 1에서 Number of MBs는 한 프레임내에 존재하는 매크로블럭의 개수이며 MVx는 x방향의 움직임벡터 값, MVy는 y방향의 움직임벡터 값이고, a는 미리 설정된 임의의 계수이다.
상기 임의의 계수 a는 상기 문턱값(Threshold)이 최적의 값을 얻을 수 있도록 해주는 미리 설정된 보정값이다. 상기 문턱값은 한 프레임내에 존재하는 모든 매크로블럭의 x방향, y방향 움직임벡터에 대해 각각 절대값(abs)을 취하여 합산한 후 매크로블럭의 개수로 나눠서 움직임의 정도를 파악한다. 이 움직임의 정도에 대한 정보는 현재까지 계속 누적하고, 이값에 임의의 계수를 곱하여 문턱값을 구하는 데 사용한다. 이 문턱값은 새로운 I 프레임이 수신될 때마다 초기화되어 새로이 계산된다. 움직임이 큰 영상일수록 문턱값이 작게 계산되어 소수의 연속된 오류 프레 임이 수신되어도 프레임 프리즈 방법으로 영상을 디스플레이하게 된다.
도 5는 본 발명의 일 실시 예에 따른 동영상 프레임의 오류 은폐 방법을 사용한 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도이다. 도 5를 참조하면, Fk 프레임에서 오류가 발생한 영상을 복원한 것으로 에러가 발생한 프레임 이후에 오류 은폐 기법을 사용하여 복호 된 영상에 에러 전파가 거의 사라졌음을 알 수 있다. 만약 다수의 연속된 프레임에서 에러가 발생하거나 움직임이 큰 영상이라서 문턱값이 작게 계산된다면 프레임 프리즈 방법으로 디스플레이될 것이다.
상기와 같이 본 발명의 일 실시 예에 따른 동영상 프레임의 오류 은폐 방법 및 장치의 동작 및 구성이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 상기 도4의 420단계에서 I 프레임 이후에 두번째 프레임 이내의 프레임인지 판단하는 기준을 첫번째 프레임 또는 세번째 프레임 이내의 프레임인지 판단하는 것으로 적절하게 변경하여 적용할 수 있는 등 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다.
도 1은 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도
도 2는 일반적인 프레임 프리즈(Frame Freeze) 기법을 사용한 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도
도 3은 본 발명의 일 실시 예에 따른 동영상 복호화시 프레임 오류 은폐 장치의 블록 구성도
도 4는 본 발명의 일 실시 예에 따른 동영상 프레임의 오류 은폐 동작 흐름도
도 5는 본 발명의 일 실시 예에 따른 동영상 프레임의 오류 은폐 방법을 사용한 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도

Claims (10)

  1. 동영상 프레임의 선택적 프레임 오류 은폐 방법에 있어서,
    동영상 프레임 수신중 오류 프레임을 수신한 경우, 상기 오류 프레임이 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 범위 내의 프레임인지 판단하는 과정과,
    상기 오류 프레임이 상기 미리 설정된 수만큼의 프레임 범위를 벗어나는 경우, 연속적인 오류 프레임의 개수가 미리 설정된 문턱값보다 큰지 판단하는 과정과,
    상기 연속적인 오류 프레임의 개수가 상기 문턱값보다 크지 않은 경우, 미리 설정된 오류 은폐 기법을 사용하는 과정과,
    상기 오류 프레임이 상기 미리 설정된 수만큼의 프레임 범위 내에 포함되거나, 상기 연속적인 오류 프레임의 개수가 상기 문턱값보다 큰 경우에는, 새로운 I 프레임이 수신될 때까지 상기 오류 프레임 이전에 오류 없이 정상적으로 수신된 프레임을 디스플레이하는 과정을 포함함을 특징으로 하는 동영상 프레임의 오류 은폐 방법.
  2. 제 1항에 있어서, 상기 오류 프레임이 상기 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 범위 내의 프레임인지 판단하는 과정은,
    상기 오류 프레임이 상기 I 프레임 다음에 수신되는 두 프레임에 속하는 프레임인지 판단하는 과정임을 특징으로 하는 오류 은폐 방법.
  3. 제 1항에 있어서, 동영상 프레임을 수신중 오류가 발생하지 않은 정상 프레임을 수신한 경우, 수신한 상기 정상 프레임을 디스플레이하는 것을 특징으로 하는 동영상 프레임의 오류 은폐 방법.
  4. 제 1항에 있어서, 상기 문턱값은 하기의 수학식 2와 같음을 특징으로 하는 동영상 프레임의 오류 은폐 방법.
    [수학식 2]
    Figure 112007084173521-pat00004
    상기 Threshold는 문턱값이고, Number of MBs는 한 프레임 내에 존재하는 매크로블럭의 개수이며 MVx는 x방향의 움직임벡터 값, MVy는 y방향의 움직임벡터 값이고, a는 미리 설정된 계수이다.
  5. 제 1항에 있어서, 상기 문턱값은 새로운 I 프레임이 수신될 때마다 초기화 되어 새로이 계산되는 것을 특징으로 하는 동영상 프레임의 오류 은폐 방법.
  6. 동영상 복호화시 프레임 오류 은폐 장치에 있어서,
    입력받은 부호화된 프레임의 비트 스트림을 복호화하고 복호화된 프레임에 대한 오류 발생 여부를 확인하는 프레임 복호부와,
    상기 프레임 복호부로부터 받은 이전에 복호화된 이전 프레임과 현재 복호화된 현재 프레임을 일시 저장하는 버퍼부와,
    프레임 오류 은폐 기능을 수행시의 각 구성을 제어하는 제어부와,
    입력받은 영상 프레임의 오류발생시 이전에 정상적으로 수신된 프레임을 이용하여 복원 프레임을 생성하는 프레임 오류 은폐부와,
    상기 버퍼부로부터 오류 발생 없이 입력된 영상 프레임을 받아서 그대로 출력하거나, 입력된 프레임에 오류 발생시 상기 프레임 오류 은폐부에서 생성한 복원 프레임을 출력하는 출력부를 포함하며,
    상기 제어부는 동영상 프레임 수신중 오류 프레임을 수신한 경우, 상기 오류 프레임이 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 범위 내에 포함되는지 판단하며, 상기 오류 프레임이 상기 미리 설정된 수만큼의 프레임 범위를 벗어남에 따라 연속적인 오류 프레임의 개수가 미리 설정된 문턱값보다 큰지 판단하며, 상기 연속적인 오류 프레임의 개수가 상기 문턱값보다 크지 않은 경우, 미리 설정된 오류 은폐 기법을 사용하며,
    상기 오류 프레임이 상기 미리 설정된 수만큼의 프레임 범위 내에 포함되거나, 상기 연속적인 오류 프레임의 개수가 문턱값보다 큰 경우에는 새로운 I 프레임이 수신될 때까지 상기 오류 프레임 이전에 오류발생 없이 정상적으로 수신된 프레임을 디스플레이하도록 제어하는 것을 특징으로 하는 프레임 오류 은폐 장치.
  7. 제 6항에 있어서, 상기 오류 프레임이 상기 I 프레임 다음에 수신되는 미리 설정된 수만큼의 프레임 범위 내의 프레임인지 판단하는 것은,
    상기 오류 프레임이 상기 I 프레임 다음에 수신되는 두 프레임에 속하는 프레임인지 판단하는 것임을 특징으로 하는 오류 은폐 장치.
  8. 제 6항에 있어서, 상기 버퍼부는 상기 프레임 복호부로부터 수신되는 상기 현재 프레임을 저장하는 현재 프레임 저장부와, 상기 이전 프레임들을 저장하는 이전 프레임 저장부를 포함함을 특징으로 하는 프레임 오류 은폐 장치.
  9. 제 6항에 있어서, 상기 제어부는 동영상 프레임을 수신중 오류가 발생하지 않은 정상 프레임을 수신한 경우, 수신한 상기 정상 프레임을 디스플레이하는 것을 특징으로 하는 동영상 프레임의 오류 은폐 장치.
  10. 제 6항에 있어서, 상기 문턱값은 하기의 수학식 3과 같음을 특징으로 하는 동영상 프레임의 오류 은폐 장치.
    [수학식 3]
    Figure 112007084173521-pat00005
    상기 Threshold는 문턱값이고, Number of MBs는 한 프레임 내에 존재하는 매크로블럭의 개수이며 MVx는 x방향의 움직임벡터 값, MVy는 y방향의 움직임벡터 값이고, a는 미리 설정된 계수이다.
KR1020070119862A 2007-11-22 2007-11-22 동영상 프레임의 선택적 오류 은폐 방법 및 장치 KR101420878B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070119862A KR101420878B1 (ko) 2007-11-22 2007-11-22 동영상 프레임의 선택적 오류 은폐 방법 및 장치
US12/313,559 US8472530B2 (en) 2007-11-22 2008-11-21 Selective error concealment method and apparatus for moving picture frame

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070119862A KR101420878B1 (ko) 2007-11-22 2007-11-22 동영상 프레임의 선택적 오류 은폐 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090053169A KR20090053169A (ko) 2009-05-27
KR101420878B1 true KR101420878B1 (ko) 2014-07-21

Family

ID=40675316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070119862A KR101420878B1 (ko) 2007-11-22 2007-11-22 동영상 프레임의 선택적 오류 은폐 방법 및 장치

Country Status (2)

Country Link
US (1) US8472530B2 (ko)
KR (1) KR101420878B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728538B2 (en) * 2010-01-11 2020-07-28 Telefonaktiebolaget L M Ericsson(Publ) Technique for video quality estimation
KR101507243B1 (ko) * 2013-10-28 2015-03-30 조선대학교산학협력단 오류 은닉 기법의 선택적 적용을 이용하는 svc의 복호화 방법 및 이를 이용한 svc의 복호화 시스템
US10057346B1 (en) * 2013-12-06 2018-08-21 Concurrent Ventures, LLC System, method and article of manufacture for automatic detection and storage/archival of network video
US9641867B2 (en) * 2014-10-24 2017-05-02 Megachips Corporation Image processor
US9800825B2 (en) * 2015-03-02 2017-10-24 Chih-Ta Star Sung Semiconductor display driver device, mobile multimedia apparatus and method for frame rate conversion
CN106101726B (zh) * 2016-07-22 2019-04-02 福建师范大学 一种时空域相结合的自适应错误隐藏修复方法及系统
GB2554680B (en) * 2016-10-03 2020-04-01 Advanced Risc Mach Ltd Selecting encoding options
US10182248B2 (en) * 2016-11-21 2019-01-15 Cisco Technology, Inc. Keyframe mitigation for video streams with multiple receivers
GB2567835B (en) 2017-10-25 2020-11-18 Advanced Risc Mach Ltd Selecting encoding options
EP3989530A1 (en) * 2020-10-23 2022-04-27 Axis AB Generating substitute image frames based on camera motion
US11854269B2 (en) * 2021-06-04 2023-12-26 Waymo Llc Autonomous vehicle sensor security, authentication and safety
CN116132728A (zh) * 2022-12-29 2023-05-16 深圳创维－Rgb电子有限公司 异常图像帧的处理方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336674A (ja) * 1997-05-29 1998-12-18 Sanyo Electric Co Ltd デジタル放送受信機
JP2002135786A (ja) 2000-10-27 2002-05-10 Sony Corp 受信装置及びディジタルデータ復号方法
WO2006003232A1 (en) 2004-07-01 2006-01-12 Oy Gamecluster Ltd A method and a device for transferring predictive and non-predictive data frames
JP2006339863A (ja) 2005-05-31 2006-12-14 Mitsubishi Electric Corp デジタル放送受信装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336674A (ja) * 1997-05-29 1998-12-18 Sanyo Electric Co Ltd デジタル放送受信機
JP2002135786A (ja) 2000-10-27 2002-05-10 Sony Corp 受信装置及びディジタルデータ復号方法
WO2006003232A1 (en) 2004-07-01 2006-01-12 Oy Gamecluster Ltd A method and a device for transferring predictive and non-predictive data frames
JP2006339863A (ja) 2005-05-31 2006-12-14 Mitsubishi Electric Corp デジタル放送受信装置

Also Published As

Publication number Publication date
US20090141166A1 (en) 2009-06-04
US8472530B2 (en) 2013-06-25
KR20090053169A (ko) 2009-05-27

Similar Documents

Publication Publication Date Title
KR101420878B1 (ko) 동영상 프레임의 선택적 오류 은폐 방법 및 장치
KR101075860B1 (ko) 비디오 시퀀스에서 오류 은폐 방법
US10075726B2 (en) Video decoding method/device of detecting a missing video frame
JP2006319701A (ja) デジタル放送受信装置及び受信方法
JP2009100424A (ja) 受信装置、受信方法
JP4020883B2 (ja) 動画像復号装置
JP2007281692A (ja) 画像補正装置および画像補正方法
JP4833923B2 (ja) トランスコード装置、トランスコーダ、デコーダおよびトランスコード方法
US8798163B2 (en) Video decoder and digital broadcast transreceiver
KR100587274B1 (ko) 엠펙­２ 압축복원시스템에서의 오류 은폐방법
JP2002135786A (ja) 受信装置及びディジタルデータ復号方法
KR100856215B1 (ko) 동영상 복호화시 프레임 손실의 은폐 방법 및 장치
JP2010093627A (ja) 動画像符号化装置
KR20090076794A (ko) 재생 장치, 재생 시스템, 재생 방법 및 기록 매체
KR20050076943A (ko) 비디오 디코더의 에러 은닉 장치 및 방법
JP4794711B2 (ja) エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム
KR100219178B1 (ko) 프레임 삽입방법 및 장치
JP2009284035A (ja) デコード装置
JP2007180759A (ja) 動画像再生装置
KR100860689B1 (ko) 동영상 복호화시 프레임 손실 은폐 방법 및 장치
KR101394765B1 (ko) 영상표시기기의 영상 처리장치 및 방법
JP2005303480A (ja) 動画像復号化方法および動画像復号化装置
JPWO2005062623A1 (ja) 動画像再生方法及び装置並びにプログラム
KR20000032572A (ko) 오류 은폐장치 및 방법
JP2007124445A (ja) デジタル放送記録再生装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 5