KR20090000501A - Ｇｏｐ의 재구성을 통한 화질 개선 방법 및 장치 - Google Patents

Ｇｏｐ의 재구성을 통한 화질 개선 방법 및 장치 Download PDF

Info

Publication number
KR20090000501A
KR20090000501A KR1020070064611A KR20070064611A KR20090000501A KR 20090000501 A KR20090000501 A KR 20090000501A KR 1020070064611 A KR1020070064611 A KR 1020070064611A KR 20070064611 A KR20070064611 A KR 20070064611A KR 20090000501 A KR20090000501 A KR 20090000501A
Authority
KR
South Korea
Prior art keywords
frame
error
display
blocks
gop
Prior art date
Application number
KR1020070064611A
Other languages
English (en)
Inventor
최진현
이민재
이중환
심효선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070064611A priority Critical patent/KR20090000501A/ko
Priority to US12/051,097 priority patent/US20090003444A1/en
Priority to EP08153649A priority patent/EP2009922A3/en
Publication of KR20090000501A publication Critical patent/KR20090000501A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 GOP의 재구성을 통한 화질 개선 방법 및 장치에 관한 것으로써, 압축 전송된 후 복호화되어 디스플레이되는 프레임의 화질 개선 방법에 있어서, 현재 프레임에서 에러가 발생한 에러 블록 개수를 세고, 에러 블록 개수에 따라 선택적으로 현재 프레임이 속하는 현재 GOP 중 현재 프레임 및 적어도 하나의 이후 프레임에 대해, 에러 은닉 방법을 수행할 프레임 및 디스플레이에 표시할 프레임을 선택하여 선택된 프레임을 기초로 결과 GOP를 재구성함으로써, 에러 은닉 연산량이 감소되면서 에러 전파 현상을 방지하여 화질을 개선한다.
Figure P1020070064611
에러 은닉, GOP, 영상 통신, 압축 표준

Description

ＧＯＰ의 재구성을 통한 화질 개선 방법 및 장치{Method and apparatus for video enhancement through reorganizating GOPs}
도 1은 정상적으로 동작하는 GOP의 일례를 도시한다.
도 2a 는 비디오 무선 환경에서 발생하는 패킷 손실이 발생한 경우를 설명하는 첫 번째 영상을 도시한다.
도 2b 는 비디오 무선 환경에서 발생하는 패킷 손실이 발생한 경우를 설명하는 두 번째 영상을 도시한다.
도 3a 는 에러 전파 현상으로 인해 손상된 영상의 일례를 도시한다.
도 3b 는 에러 전파 현상으로 인해 손상된 영상의 다른 예를 도시한다.
도 4은 본 발명의 일 실시예에 따른 화질 개선 장치를 도시한다.
도 5는 본 발명의 일 실시예에 따라, 에러 블록의 개수에 따라 디스플레이될 프레임이 선택되는 과정을 도시한다.
도 6은 프레임 종류에 적응적인 에러 은닉 기법 및 프레임 선택 방법을 설명하는 흐름도를 도시한다.
도 7은 본 발명의 일 실시예에 따라, 디스플레이에 표시되는 프레임으로 재구성된 GOP를 도시한다.ㄹ\
도 8a은 본 발명의 바람직한 실시예에 따라 재구성된 GOP의 결과 영상을 설명하기 위한 첫 번째 영상를 도시한다.
도 8b은 본 발명의 바람직한 실시예에 따라 재구성된 GOP의 결과 영상을 설명하기 위한 두 번째 영상를 도시한다.
도 9는 본 발명의 바람직한 실시예에 따른 화질 개선 방법의 흐름도를 도시한다.
본 발명은 비디오의 화질 개선 방법 및 장치에 관한 것으로, 더 상세하게는 전송되어 온 압축 비디오를 복호화하여 구성한 GOP를 선택적으로 재구성함으로써 화질을 개선하는 방법 및 장치에 관한 것이다.
ITU(International Telecommunication Union)의 H.26x, ISO(International Organization for Standardization)의 MPEG(Moving Picture Experts Group) 등의 압축 표준에서 영상 압축 기법이 널리 사용되고 있다. 비디오 플레이어, 주문형 비디오, 영상 전화 등의 많은 애플리케이션에서 많은 영상 데이터의 전송이 필요하므로, 영상의 보다 빠르고 효율적인 전송을 위해 영상 압축이 유용하게 쓰일 수 있다. 따라서 전술한 압축 표준이 영상 관련 애플리케이션에서 많이 사용되고 있다.
MPEG, H.26x와 같은 영상 통신 규격은 압축 효율을 높이기 위해서 시간적으로 분리된 영상 간에 존재하는 상관성을 줄이고, 차이 영상만을 전송하여 사용한 다. 이때 사용되는 영상은 I, P 및 B 프레임으로 구분된다. 또한 GOP(group of picture)는 I 프레임과 I 프레임 사이에 존재하는 일련의 영상 프레임으로 구성된다.
I 프레임은 자신의 영상 내에 있는 정보만을 이용하여 부호화 및 복호화되는 영상이고, P 프레임은 과거의 영상 정보를 이용해서 현재의 영상 정보를 예측하여 부호화 및 복호화되는 영상을 말하며, B 프레임은 과거와 미래의 영상 정보를 둘 다 이용하여 부호화 및 복호화된다.
비디오 압축 규격은 움직임 추정 및 보상 알고리즘을 사용하여 압축 효율을 높인다. 과거 및 미래의 영상 정보를 이용하여 부호화하기 위하여, 입력되는 영상을 각 프레임 단위로 시간적으로 재배치할 필요가 있다. 이러한 프레임 재배치 과정을 통하여, 부호화할 때의 영상의 순서가 입력되는 원 영상의 시간적인 순서와는 다르게 설정된다.
부호화단에서 시간적으로 재배치된 영상 신호는 복호화 과정을 수행하여 역으로 재배치되어 수신단의 화면에서는 최초 입력된 영상과 같은 순서의 자연스러운 영상을 볼 수 있다.
도 1은 정상적으로 동작하는 GOP의 일례를 도시한다.
본 발명의 일 실시예의 GOP가 I 프레임 및 P 프레임만으로 구성된다. 하나의 GOP는 I프레임으로 시작하며 적어도 하나의 P 프레임이 연속된다. 도면에서는 하나의 GOP(GOP1)가 하나의 I 프레임(I1)과 n개의 P 프레임(P11, P12 , ... , P1n)을 포함한다. GOP1에 이어지는 GOP2및 GOP3도 각각 I2, I3 프레임으로 시작하므로, 새로운 I 프레임이 입력되면 새로운 GOP가 입력되는 것으로 해석할 수 있다.
현재의 패킷 망에서는 트래픽의 전달 경로 상에서 정보의 무손실이 보장되지 않으며, 패킷 손실이 발생함에 따라 발생하는 영상 품질의 저하를 피하기 어렵다.
특히 MPEG과 같은 압축 영상에서는 참조 영상의 움직임 정보를 이용하기 때문에, 이전 영상에 블록 손실이 발생하는 경우에는 그 손실된 블록을 참조하는 다음 영상의 복원이 어려워 진다. 이러한 현상을 시간적 에러 전파 현상이라 한다.
또한, 패킷 정보가 손실되어 에러가 발생한 블록 때문에 인접한 블록까지 손실되어 에러가 발생하는 공간적 에러 전파 현상이 존재한다.
P 프레임은 과거의 I 프레임 및 P 프레임을 사용하므로, Pxy는 Ix 프레임 및 Px1, Px2, ... , Px(y-1) 프레임 중 적어도 하나를 참조하여 부호화 및 복호화된다. 따라서 Ix 프레임 및 Px1, Px2, ... , Px(y-1) 프레임 중 적어도 하나의 프레임에서, 전송 과정 중 에러가 발생한다면 이를 참조하여 복호화되는 Pxy 프레임도 손상되게 되는 에러 전파 현상이 발생할 수 있다.
도 2a 는 비디오 무선 환경에서 발생하는 패킷 손실이 발생한 경우를 설명하는 첫 번째 영상을 도시한다.
도 2b 는 비디오 무선 환경에서 발생하는 패킷 손실이 발생한 경우를 설명 하는 두 번째 영상을 도시한다.
도 2a는 하나의 GOP가 전송 과정 중 에러로 의해 손상된 경우이다. GOP중 하나의 프레임에서 전송 과정 중 손실된 블록이 발생된다면, 에러가 발생한 프레임을 이용하여 에러 은닉 기법이 수행되는 이후 프레임들은 에러 전파 현상으로 인해 심각한 화질 저하가 발생한다. 특히 블록 단위로 에러 은닉 기법이 수행되므로, 도 2a와 같이 블록 형태의 에러가 반복적으로 발생한다.
도 2b는 도 2a의 GOP에 이어지는 다음 GOP의 새로운 I 프레임이 에러 없이 전송됨으로써 정상적인 화면이 보여지는 경우를 나타낸다. 따라서 과거 GOP에서 에러가 발생한 경우 블록 단위로 손실된 영상(도 2a)이 화면에 표시되다가, 새로운 GOP의 I 프레임이 입력되면 정상적인 화면(도 2b)이 보여지므로, 영상이 화질이 저하되었다가 정상적인 영상으로 돌아오는 현상이 주기적으로 반복된다.
도 3a 는 에러 전파 현상으로 인해 손상된 영상의 일례를 도시한다.
도 3b 는 에러 전파 현상으로 인해 손상된 영상의 다른 예를 도시한다.
동일 GOP의 과거의 I 프레임 또는 P 프레임에서 에러로 인해 손실된 블록이 많은 경우, 이들을 참조하는 미래의 P 프레임은 에러 전파 현상으로 인해 심각하게 훼손된다. 도 2a와 같이 블록 형태로 에러가 전파되는 경우도 있으나, 도 3a 및 도 3b와 같이 이전 프레임의 잘못된 정보를 이용하여 복원된 영상이 원 영상을 예상할 수 없을 정도로 심하게 손상되는 경우도 있다.
패킷 손실에 의해 발생하는 시간적 또는 공간적 에러 전파 현상으로 인한 영상의 왜곡 현상을 막기 위해, 순방향 에러 정정 기법(forward error correction), 자동 반복 요청 기법(automatic repeat request, ARQ) 및 에러 은닉 기법(error concealment) 등과 같은 에러 제어 기법들이 사용된다.
순방향 에러 정정 기법은 패러티 비트(parity bit)나 R/S 코드 등을 사용하여 데이터 비트 프레임에 삽입하여 망에서 손실된 영상 정보를 수신단에서 복원하거나 손실 여부를 판단할 수 있도록 한다. 자동 반복 요청 기법은 비디오 플레이를 위한 지연 시간이 증가하여, 역 방향 채널의 구성도 필수적으로 필요로 한다. 에러 은닉 기법은 참조 프레임 또는 현재 프레임을 이용하여 손실 블록의 정보를 복원한다.
QVGA 형식의 프레임의 경우, 하나의 프레임은 약 300개의 매크로블록으로 구성되어 있으며, 각각의 매크로블록은 옵션에 의해 여러 개의 슬라이스로 쪼개져서 무선으로 전송된다. 그러나 무선 환경의 상황에 따라 많은 패킷 손실이 발생되며, 수신단에서는 패킷 손실을 보상하기 위해 에러 은닉 기법을 수행한다. 그러나 부정확한 정보를 이용한 에러 은닉 기법은 오히려 화질의 저하를 가져온다. 또한 이전 화면에 대비하여 급격하게 화면이 전환되는 경우에는 에러 은닉 기법을 적용하면 블록 단위로 복원에 실패하여 바둑판 모양으로 에러가 전파된다.
따라서 본 발명이 이루고자 하는 기술적 과제는, 에러 발생 여부에 따라 선택적으로 GOP를 재구성함으로써 최종적으로 디스플레이되는 영상의 화질을 개선하는 방법 및 장치를 제안하는 데 있다.
또한, 본 발명의 기술적 과제는, 전송 과정에서 발생한 패킷 손실 등으로 인해 블록 단위로 에러가 발생한 프레임에 대해 에러 은닉 기법을 수행하는 한편, 에러가 발생한 블록의 개수에 따라, 최종적으로 디스플레이에 표시될 GOP에 포함될 프레임을 선택하는 데 있다.
따라서 상기 기술적 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 화질 개선 방법은 GOP(Group Of Picture)의 재구성을 통한 화질 개선 방법에 있어서, GOP에 구비된 프레임들 중 복호화되는 현재 프레임에서 에러가 발생한 에러 블록 개수를 카운트하는 단계 및 에러 블록 개수에 따라서 현재 프레임 및 현재 프레임 이후의 적어도 하나의 프레임에 대한 디스플레이 여부를 결정하는 단계를 포함한다.
본 발명의 바람직한 실시예의 카운트 단계는 현재 프레임의 블록 중 에러 블록을 검출하는 단계, 에러 블록의 종류에 따라 적응적으로 에러 은닉 방법을 수행하는 단계 및 에러 은닉 방법을 수행한 횟수를 세는 단계를 포함한다.
일 실시예의 디스플레이 여부 결정 단계는 현재 프레임의 모든 블록에 대해 에러 은닉 방법이 수행된 후 디스플레이 여부를 결정한다.
본 발명의 일 실시예의 디스플레이 여부 결정 단계는, 블록 개수가 소정의 임계치 미만이면, 현재 프레임을 디스플레이하기로 결정하는 단계 및 블록 개수가 소정의 임계치 이상이면, 현재 GOP에 속하는 적어도 하나의 이후 프레임 및 현재 프레임을 모두 디스플레이하지 않기로 결정하는 단계를 포함한다.
다른 실시예는, 블록 개수가 소정의 임계치 이상이면, 이후 프레임에 대해 에러 블 록 개수를 카운트하지 않기로 결정하는 단계를 포함한다.
바람직한 실시예의 디스플레이 여부 결정 단계는 블록 개수가 임계치 이상이면, 디스플레이하지 않기로 결정된 프레임이 디스플레이되지 않는 시간 동안에는, 가장 최근에 디스플레이된 현재 프레임의 이전 프레임을 디스플레이하기로 결정하는 단계를 포함한다.
본 발명의 일 실시예는, 디스플레이 여부 결정 단계를 통해 디스플레이하기로 결정된 프레임으로 결과 GOP를 재구성하여, 결과 GOP를 디스플레이하는 단계를 포함한다.
본 발명의 일 실시예의 카운트 단계는 프레임 단위로 수행한다.
다른 실시예의 디스플레이 여부 결정 단계는 GOP 단위로 선택한다.
본 발명의 바람직한 실시예에서, 에러 은닉 방법은 시간적 에러 은닉 방법 또는 공간적 에러 은닉 방법을 적응적으로 선택하는 단계를 포함한다.
일 실시예는 현재 프레임이 I 프레임이면 공간적 에러 은닉 방법을 수행한다.
다른 실시예는 현재 프레임이 P 프레임이면 시간적 에러 은닉 방법을 수행한다.
바람직한 실시예의 임계치는 에러 은닉 방법의 종류에 따라 별도로 설정한다.
상기 기술적 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 화질 개선 장치는, GOP의 재구성을 통한 화질 개선 장치에 있어서, GOP에 구비된 프레임들 중 복호화되는 현재 프레임에서 에러가 발생한 에러 블록 개수를 카운트하는 에러 블록 카운터 및 에러 블록 개수에 따라 선택적으로, 현재 프레임 및 현재 프레임 이후의 적어도 하나의 프레임에 대한 디스플레이 여부를 결정하는 디스플레이 여부 결정부를 포함한다.
본 발명의 바람직한 실시예의 에러 블록 카운터는 현재 프레임의 블록 중 에러 블록을 검출하는 에러 블록 검출부, 에러 블록의 종류에 따라 적응적으로 에러 은닉 방법을 수행하는 에러 은닉 기법 수행부 및 에러 은닉 기법 수행부가 에러 은닉 방법을 수행한 횟수를 세는 누적 카운터를 포함한다.
본 발명의 바람직한 실시예는, 디스플레이 여부 결정부에서 디스플레이하기로 결정한 프레임으로 결과 GOP를 재구성하여, 결과 GOP를 디스플레이하는 디스플레이부를 포함한다.
또한 본 발명은 가능한 일 실시예들에 따르는 화질 개선 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
이하에서 본 발명의 바람직한 실시예를 도 1 내지 도 9를 참조하여 설명한다.
도 4은 본 발명의 일 실시예에 따른 화질 개선 장치를 도시한다.
화질 개선 장치(400)은 에러 블록 검출부(412), 에러 은닉 기법 수행부(414) 및 누적 카운터(416)을 구비하는 에러 블록 카운터(410), 디스플레이 여부 결정부(420) 및 디스플레이부(430)을 포함한다.
본 발명의 일 실시예에 따른 화질 개선 장치(400)는 비디오 무선 통신 환경에서 패킷이 손실된 영상 프레임을 GOP 단위로 입력 받아, 프레임 별로 에러 은닉 처리를 하고 최종적으로 재구성된 결과 GOP를 출력한다.
비디오 무선 통신 환경에 발생되는 패킷 손실로 인하여 화질이 저하되는 현상을 방지하기 위해, 프레임의 종류에 적응적으로 선택된 에러 은닉 기법을 블록 단위로 수행한다. 한편, 에러 은닉 처리되는 블록의 개수에 따라 최종적으로 디스플레이될 프레임을 결정함으로써 GOP를 재구성한다.
에러 블록 카운터(410)는 GOP에 구비된 프레임들 중 복호화되는 현재 프레임에서 에러가 발생한 에러 블록 개수를 카운트하고, 카운트 값을 디스플레이 여부 결정부(420)에 출력한다.
비디오 무선 통신 시스템은 수신단에서 하나의 NAL 단위로 구성된 하나의 패킷을 연속적으로 받아, 타임 스탬프가 동일한 패킷으로 하나의 프레임을 구성한다. 복호화단은 하나의 NAL 단위로 데이터를 처리하고, 동일 타임 스탬프를 갖는 모든 입력 NAL이 처리되면 하나의 프레임을 구성한다. 그러나 입력된 프레임은 무선 환경에 의한 NAL의 유실이 존재할 수 있으며, NAL의 유실은 블록의 유실과 직결된다. 유실된 블록을 검출함으로써 에러 은닉 기법이 수행된다. 이를 위한 작업을 에러 블록 검출부(412) 및 에러 은닉 기법 수행부(414)가 수행한다.
에러 블록 검출부(412)는 현재 프레임을 입력 받고, 현재 프레임의 현재 블록에 에러가 발생하였는지 판단하여, 에러가 발생하였다면 에러 은닉 기법 수행부(414)로 출력한다.
에러 은닉 기법 수행부(414)는 에러 블록 검출부(412)로부터 입력 받은 에러 블록이 포함된 현재 프레임에 대해, 에러 블록의 종류에 따라 적응적으로 에러 은닉 기법을 수행하는 한편, 에러 은닉 기법이 수행된 블록을 누적 카운터(416)로 출력한다.
누적 카운터(416)는 에러 은닉 기법 수행부(414)로부터 입력 받은 에러 블록을 기초로 하여 에러 은닉 기법 수행부(414)가 에러 은닉 기법을 수행한 횟수를 센다.
전술한 에러 블록 검출부(412), 에러 은닉 기법 수행부(414) 및 누적 카운터(416)은 블록 단위로 작동하므로, 에러 블록 검출부(412)에서 에러가 있는 블록으로 판단하여 에러 블록이 검출되면 해당 블록에 대해 에러 은닉 기법 수행부(414) 및 누적 카운터(416)가 작동된다. 현재 프레임 내에 해당 블록의 다음 블록이 더 존재한다면, 다시 에러 블록 검출부(412)가 다음 블록에 에러가 존재하는 지 여부를 판단하는 과정이 반복된다.
또한 본 발명의 일 실시예는 에러가 발생한 블록에 대해 블록 별로 에러 은닉 기법을 수행하게 되므로, 에러 은닉 기법 수행부(414)가 에러 은닉 기법을 수행한 횟수는 에러 블록의 개수와 동일하다. 따라서 에러 은닉 기법 수행부(414)가 에러 은닉 기법을 수행할 때마다 누적 카운터(416)는 에러 블록 개수를 하나씩 증가시킨다.
누적 카운터(416)는 프레임 단위로 에러 블록 개수로써 에러 은닉 기법 수행 횟수를 세므로, 새로운 프레임에 대한 작동할 때에는 0으로 재설정한다.
디스플레이 여부 결정부(420)는 에러 블록 카운터(410)로부터 입력 받은 에러 블록 개수에 따라서 현재 프레임 및 현재 프레임 이후의 적어도 하나의 프레임에 대한 디스플레이 여부를 결정하여, 디스플레이 정보를 디스플레이부 (430)로 출력한다. 또한 다음 프레임에 대한 화질 개선 장치(400)의 실시 여부를 재귀적으로 에러 블록 카운터(410)로 출력한다.
본 발명의 일 실시예의 디스플레이 여부 결정부(420)는 에러가 발생한 블록에 대해 소정의 임계치를 두고, 현재 프레임에서 에러 은닉 기법이 수행된 블록 개수가 소정의 임계치 이상인 경우에는 현재 GOP에 포함된 현재 프레임 및 이후 프레임을 디스플레이할 프레임 및 에러 은닉 기법이 수행될 프레임으로 선택하지 않는다. 반면에, 에러 블록 개수가 소정의 임계치 미만이면, 현재 프레임을 디스플레이에 표시할 프레임으로 선택하고, 다음 프레임은 디스플레이 여부를 판단받기 위해 재귀적으로 본 발명의 화질 개선 장치(400)에 적용된다.
디스플레이부(430)는 디스플레이 여부 결정부(420)로부터 입력 받은 결정 정보를 이용하여 재구성된 결과 GOP를 디스플레이한다. 디스플레이부(430)는 디스플레이 여부 결정부(420)에서 디스플레이하기로 결정한 프레임이 포함된 결과 GOP를 디스플레이하고, 에러가 심각하게 발생하여 디스플레이되지 않도록 결정된 손상된 프레임 및 손상 프레임 이후 프레임은 디스플레이하지 않는다.
본 발명의 일 실시예의 디스플레이 여부 결정부(420)는 프레임마다 에러가 발생한 블록의 개수를 세어, 에러 블록 개수에 따라 현재 프레임의 디스플레이 여 부를 결정하므로, 에러 블록의 개수에 대한 소정의 임계치를 설정해 놓는다. 만약 에러 블록 개수가 소정의 임계치보다 큰 경우 에러가 많다고 판단하고, 해당 프레임은 에러에 의해 심하게 손상되서 최종적으로 디스플레이되는 결과 GOP에서 제외한다.
본 발명은 에러 전파 현상으로 인한 화질 저하를 방지하는데 목적이 있으므로, 현재 프레임이 에러가 많다고 판단된 경우 이후 프레임은 현재 프레임을 참조할 것이므로 마찬가지로 에러에 의해 심하게 손상될 것이다. 따라서 현재 프레임의 에러 블록 개수가 소정의 임계치보다 큰 경우, 현재 프레임뿐만 아니라 현재 GOP 중 적어도 하나의 이후 프레임까지 디스플레이 대상에서 제외한다.
또한 본 발명의 일 실시예에서는, 디스플레이되지 않을 프레임에 대해 더 이상 발생한 에러를 보정할 필요가 없으므로 이후 프레임에 대해서는 에러 은닉 기법이 수행되지 않는다.
도 5는 본 발명의 일 실시예에 따라, 에러 블록의 개수에 따라 디스플레이될 프레임이 결정되는 과정을 도시한다.
예를 들어, 하나의 GOP가 1개의 I 프레임 및 n개의 P 프레임을 포함한다. GOP1의 6번 째 P 프레임(P16)의 에러 블록 개수가 소정의 임계치보다 크므로, P16 프레임부터 P1n프레임까지는 디스플레이되지 않기로 결정되어 결과 GOP에서 제외된다. 본 발명의 일 실시예는 에러가 많은 것으로 판단된 프레임 및 적어도 하나의 이후 프레임을 디스플레이할 결과GOP에서 제외할 수 있지만, 도 5의 일 실시예는 에러가 많은 것으로 판단된 프레임 P16로부터 GOP1의 이후의 나머지 P 프레임을 모두 GOP1에서 제외한다.
제외된 프레임은 디스플레이 대상에서 제외될 뿐만 아니라, 더 이상 에러가 발생하였는지 검출되고 에러 은닉 기법이 수행되지도 않는다. 따라서 에러가 많다고 판단된 프레임 이후 프레임에 대해서 에러 은닉 기법이 수행될 필요가 없으므로 연산량이 감소된다.
예를 들어 하나의 GOP가 15개의 프레임으로 구성된 경우, 처음 I 프레임에 손실된 블록이 많이 존재한다면 그 이후 14개의 프레임은 처음 프레임의 에러가 반영되어 급격한 화질 저하가 전파된다. 따라서 본 발명의 일 실시예에 따라 처음 프레임 및 이후의 14개의 프레임 모두가 재구성되는 결과 GOP에서 제외된다. 따라서 하나의 GOP에 포함되는 프레임 모두가 결과 GOP에서 제외될 수 있다.
본 발명의 일 실시예에 따른 화질 개선 장치(400)는 GOP1에서 입력 프레임이 제외되더라도, GOP2가 입력되면 새롭게 프레임 별로 에러 블록 개수를 세서 화면에 표시될 결과 GOP의 대상이 되는 프레임을 결정한다.
이하 프레임 종류에 따라, 본 발명의 일 실시예에 따른 화질 개선 장치(400)의 에러 블록 카운터(410) 및 디스플레이 여부 결정부(420)의 동작 과정을 상세히 설명한다.
본 발명의 일 실시예에 따라, 에러 은닉 기법은 I 프레임 도는 P 프레임에 따라 다른 방식이 적용된다. I 프레임의 경우 프레임 안에 필요한 정보를 모두 갖고 있으므로 공간적 에러 은닉 기법이 적용된다. 공간적 에러 은닉 기법에 의하면 하나의 블록이 손상되어 있으면 동일한 프레임의 주변 블록을 이용하여 보정한다. 반면에 P 프레임의 경우 시간적 에러 은닉 기법이 적용되고, 에러에 의해 손상된 블록에 대한 참조 인덱스를 이용하여 주변 프레임에서 유사한 블록의 정보를 차용하여 보정한다.
도 6은 프레임 종류에 적응적인 에러 은닉 기법 및 프레임 선택 방법을 설명하는 흐름도를 도시한다.
단계 602에서, 현재 작업 중인 GOP로부터 에러 블록이 소정의 임계치보다 많이 검출된 프레임이 입력된다.
단계 604에서, 단계 602의 입력 프레임의 종류가 I 프레임 또는 P 프레임인지 파악한다.
단계 612에서, 단계 604에서 입력 프레임이 I 프레임으로 결정된 경우 입력 프레임의 에러 블록에 대해 공간적 에러 은닉 기법이 수행된다.
단계 614에서. 단계 604에서 입력 프레임이 P 프레임으로 결정된 경우 입력 프레임의 에러 블록에 대해 시간적 에러 은닉 기법이 수행된다.
단계 622에서, 단계 612에서 I 프레임의 에러 블록에 대해 공간적 에러 은닉 기법이 수행되는 횟수인 CI가 공간적 에러 은닉 기법에 대한 임계치 ThI와 크기를 비교한다. CI이 ThI보다 크다면 단계 632로 진행되고, 크지 않다면 단계 634로 진행된다.
단계 624에서, 단계 614에서 P 프레임의 에러 블록에 대해 시간적 에러 은닉 기법이 수행되는 횟수인 CP가 시간적 에러 은닉 기법에 대한 임계치 ThP와 크기를 비교한다. CP이 ThP보다 크다면 단계 632로 진행되고, 크지 않다면 단계 634로 진행된다.
본 발명의 일 실시예는 공간적 에러 은닉 기법에 대한 임계치 ThI와 시간적 에러 은닉 기법에 대한 임계치 ThP를 따로 설정한다. 따라서 에러가 많은 프레임이라고 판단하는 기준이 I 프레임과 P 프레임에 대해 다르게 설정할 수 있다. 따라서 본 발명의 일 실시예에 따른 GOP 재구성 요건이 프레임의 종류에 따라 적응적으로 결정된다.
단계 632에서, 입력 프레임의 에러 블록 개수(CI또는CP)가 소정의 임계치(ThI또는ThP)보다 크므로 입력 프레임은 에러가 많이 발생한 프레임으로 파악되어, 입력 프레임은 재구성되는 최종 프레임에서 제외된다. 또한 입력 프레임과 동일 GOP에 속하는 적어도 하나의 이후의 프레임도 최종 프레임에서 제외된다.
단계 634에서, 입력 프레임의 에러 블록 개수(CI또는CP)가 소정의 임계치(ThI또는ThP)보다 크지 않으므로 입력 프레임은 정상적으로 전송된 프레임으로 파악되어, 입력 프레임은 재구성되는 결과 GOP에 포함될 프레임으로 선택된다.
에러 블록 개수에 대한 임계치 ThI, ThP가 클수록 에러가 많은 프레임이 검출될 가능성이 감소하고, 임계치 ThI, ThP가 작을수록 에러가 많은 프레임이 검출될 가능성이 증가한다. 따라서 임계치 ThI, ThP가 클수록 입력 프레임이 결과 GOP에 선택될 가능성이 증가하므로 입력 프레임이 디스플레이될 확률이 높아진다. 반면에, 임계치 ThI, ThP가 작을수록 입력 프레임이 결과 GOP에 선택될 가능성이 감소하므로 입력 프레임이 디스플레이 대상에서 제외될 확률이 높아진다.
본 발명의 일 실시예는 I 프레임에 대해 일정하게 공간적 에러 은닉 기법이 수행되는 것뿐만 아니라, 프레임 특성 및 통신 환경에 적응적으로 시간적 에러 은닉 기법 또는 다른 방법이 적용될 수 있다. 마찬가지로 P 프레임에 대해서도 일정하게 시간적 에러 은닉 기법뿐만 아니라, 프레임 특성 및 통신 환경에 적응적으로 공간적 에러 은닉 기법 또는 다른 방법이 적용될 수 있다.
도 7은 본 발명의 일 실시예에 따라, 디스플레이에 표시되는 프레임으로 재구성된 결과 GOP를 도시한다.
본 발명의 일 실시예에 따른 디스플레이될 프레임 결정 방법을 도시한 도 5와 같이 에러가 많은 프레임으로부터 이후 프레임을 모두 제외하고 나면 해당 GOP가 디스플레이되어야 하는 주기 시간 동안에 디스플레이될 프레임을 결정해야 한다. P16프레임에서부터 프레임이 모두 제외되었다면, 대신에 제외된 프레임이 디 스플레이되어야 했던 시간 동안은 P16 프레임 이전에 마지막으로 디스플레이 된 이전 프레임인 P15 프레임이 계속 디스플레이된다. 즉 디스플레이될 결과 GOP에서 제외된 프레임들 대신에 P15 프레임이 선택된다. 따라서 P15프레임이 해당 시간 동안 디스플레이되다가, GOP2가 디스플레이될 시간이 되면 새롭게 I2 프레임이 디스플레이되게 된다.
H.264 시스템을 예를 들면, 초당 30 프레임 또는 15 프레임이 디스플레이되므로, 한 프레임이 디스플레이되는 시간은 시청자가 느끼기에 짧은 시간이다. 따라서 에러 전파 현상에 의해 심하게 훼손된 프레임이 디스플레이되는 것보다는 가장 최근에 디스플레이된 이전 프레임을 일정 시간 동안 유지하는 것이 화질 면에서 유리하다.
따라서 임계치 ThI, ThP가 크다면, 임계치 ThI, ThP가 작을 때 결과 GOP에 선택된 프레임에 비해 상대적으로 에러가 많은 프레임이 디스플레이되므로 화질이 다소 저하될 수도 있으나, 화면의 연결성이 좋을 수 있다. 반면에 임계치 ThI, ThP가 작다면, 화면의 연결성은 다소 떨어질 수 있으나 에러가 많은 프레임이 디스플레이되지 않으므로 화질 개선에 효과적이다.
따라서 이전 프레임이 유지되는 기간이 시청자가 인식할 수 없을 정도라면 화면이 부드럽게 전환되므로, 임계치 ThI, ThP가 작은 경우에 화질 개선 효과가 훨씬 향상된다.
도 8a은 본 발명의 바람직한 실시예에 따라 재구성된 GOP의 결과 영상을 설명하기 위한 첫 번째 영상를 도시한다.
도 8a에서는, 하나의 GOP를 구성하는 프레임 모두가 디스플레이 여부 결정부(420)에서 디스플레이되지 않기로 결정되어, 디스플레이부(430)가 하나의 GOP를 전부 디스플레이하지 못하고, 하나의 GOP가 디스플레이되는 주기 시간 동안 가장 최근에 최종적으로 디스플레이된 영상을 계속 유지하고 있는 영상을 나타낸다. 전술한 일례와 같이 GOP의 첫 번째 I 프레임의 에러 블록 개수가 소정의 임계치 이상이라면, 하나의 GOP가 전부 디스플레이되지 않기로 결정될 수 있다.
도 8b은 본 발명의 바람직한 실시예에 따라 재구성된 GOP의 결과 영상을 설명하기 위한 두 번째 영상를 도시한다.
도 8b에서는, 디스플레이 여부 결정부(420)에서 하나의 GOP를 구성하는 프레임 모두가 디스플레이 되지 못한 것으로 결정되어, 디스플레이부(430)가 하나의 GOP가 전부 디스플레이하지 못하고, 바로 그 다음 GOP의 첫 번째 프레임을 디스플레이한 화면을 나타낸다. 도 8a와 도 8b는 완전히 일치하는 영상은 아니지만, 에러 블록이 많은 프레임으로 인해 에러가 전파되어 블록 단위로 손실이 많이 발생한 도 3a 및 도 3b의 결과와 비교할 때 시청자가 느끼는 화질 저하가 덜하며, 짧은 시간 동안 화면의 연결이 끊기는 것이므로 보다 부드럽게 화면이 전환되는 것으로 보일 수 있다.
도 9는 본 발명의 바람직한 실시예에 따른 화질 개선 방법의 흐름도를 도 시한다.
단계 910에서, GOP에 구비된 프레임들 중 복호화되는 현재 프레임에서 에러가 발생한 에러 블록 개수가 카운트된다. 본 발명의 일 실시예는 에러 은닉 기법이 수행된 횟수를 카운트함으로써 에러 블록 개수를 카운트하며, 에러 은닉 기법은 프레임의 종류에 따라 선택된다.
단계 920에서, 에러 블록 개수에 따라서 현재 프레임 및 현재 프레임 이후의 적어도 하나의 프레임에 대한 디스플레이 여부가 결정된다.
본 발명의 일 실시예는 에러 은닉 기법에 따라 임계치를 개별적으로 설정할 수 있으며, 임계치를 조절함에 따라 디스플레이될 프레임으로 결정되는 프레임의 개수를 조절할 수 있다.
본 발명의 일 실시예는 입력 프레임이 에러가 많다고 판단되어, 최종적으로 디스플레이될 결과 GOP에서 해당 프레임 및 관련 프레임이 제외되는 경우, 제외된 프레임들의 디스플레이 주기 동안에는 가장 최근에 디스플레이되었던 이전 프레임을 디스플레이하기로 결정함으로써, 디스플레이 화면을 계속 유지한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인 터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명은 전송된 압축 비디오를 복호화하여 구성한 GOP를 에러 발생 여부에 선택적으로 재구성함으로써 시청자가 감지하는 최종 화질을 개선하는 효과가 있다.
에러 블록 개수에 대한 임계치가 큰 경우에는 화면의 전환이 좋은 장점이 있고, 임계치가 작은 경우에는 에러가 없는 화면이 표시됨으로써 화질이 개선되는 효과가 있다. 또한 에러가 많다고 판단된 프레임 이후 프레임에 대해서 에러 은닉 기법을 수행할 필요가 없으므로 연산량이 감소되는 효과가 있다.
본 발명은 하나의 GOP가 화면에 표시되는 시간이 짧기 때문에, 시청자는 화면의 불연속성을 인식하지 못하고 에러가 없는 프레임을 시청함으로써 시각적 화질이 개선되는 효과를 갖는다.

Claims (27)

  1. GOP(Group Of Picture)의 재구성을 통한 화질 개선 방법에 있어서,
    상기 GOP에 구비된 프레임들 중 복호화되는 현재 프레임에서 에러가 발생한 에러 블록 개수를 카운트하는 단계; 및
    상기 에러 블록 개수에 따라서 상기 현재 프레임 및 상기 현재 프레임 이후의 적어도 하나의 프레임에 대한 디스플레이 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 화질 개선 방법.
  2. 제 1 항에 있어서, 상기 카운트 단계는
    현재 프레임의 블록 중 상기 에러 블록을 검출하는 단계;
    상기 에러 블록의 종류에 따라 적응적으로 에러 은닉 방법을 수행하는 단계; 및
    상기 에러 은닉 방법을 수행한 횟수를 세는 단계를 포함하는 것을 특징으로 하는 화질 개선 방법.
  3. 제 2 항에 있어서,
    상기 디스플레이 여부 결정 단계는 상기 현재 프레임의 모든 블록에 대해 상기 에러 은닉 방법이 수행된 후 디스플레이 여부를 결정하는 것을 특징으로 하는 화질 개선 방법.
  4. 제 1 항에 있어서, 상기 디스플레이 여부 결정 단계는
    상기 블록 개수가 소정의 임계치 미만이면, 상기 현재 프레임을 디스플레이하기로 결정하는 단계; 및
    상기 블록 개수가 소정의 임계치 이상이면, 상기 현재 GOP에 속하는 적어도 하나의 이후 프레임 및 상기 현재 프레임을 모두 상기 디스플레이하지 않기로 결정하는 단계를 포함하는 것을 특징으로 하는 화질 개선 방법.
  5. 제 4 항에 있어서,
    상기 블록 개수가 소정의 임계치 이상이면, 상기 이후 프레임에 대해 에러 블록 개수를 카운트하지 않기로 결정하는 단계를 포함하는 것을 특징으로 하는 화질 개선 방법.
  6. 제 5 항에 있어서,
    상기 디스플레이 여부 결정 단계는 상기 블록 개수가 상기 임계치 이상이면, 상기 디스플레이하지 않기로 결정된 프레임이 디스플레이되지 않는 시간 동안에는, 가장 최근에 디스플레이된 상기 현재 프레임의 이전 프레임을 디스플레이하기로 결정하는 단계를 포함하는 것을 특징으로 하는 화질 개선 방법.
  7. 제 6 항에 있어서,
    상기 디스플레이 여부 결정 단계를 통해 디스플레이하기로 결정된 프레임으로 결과 GOP를 재구성하여, 상기 결과 GOP를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 화질 개선 방법.
  8. 제 1 항에 있어서,
    상기 카운트 단계는 프레임 단위로 수행하는 것을 특징으로 하는 화질 개선 방법.
  9. 제 1 항에 있어서,
    상기 디스플레이 여부 결정 단계는 GOP 단위로 선택하는 것을 특징으로 하는 화질 개선 방법.
  10. 제 2 항에 있어서,
    상기 에러 은닉 방법은 시간적 에러 은닉 방법 또는 공간적 에러 은닉 방법을 적응적으로 선택하는 단계를 포함하는 것을 특징으로 하는 화질 개선 방법.
  11. 제 2 항에 있어서,
    상기 현재 프레임이 I 프레임이면 공간적 에러 은닉 방법을 수행하는 것을 특징으로 하는 화질 개선 방법.
  12. 제 2 항에 있어서,
    상기 현재 프레임이 P 프레임이면 시간적 에러 은닉 방법을 수행하는 것을 특징으로 하는 화질 개선 방법.
  13. 제 4 항에 있어서,
    상기 임계치는 상기 에러 은닉 방법의 종류에 따라 별도로 설정하는 것을 특징으로 하는 화질 개선 방법.
  14. GOP의 재구성을 통한 화질 개선 장치에 있어서,
    상기 GOP에 구비된 프레임들 중 복호화되는 현재 프레임에서 에러가 발생한 에러 블록 개수를 카운트하는 에러 블록 카운터; 및
    상기 에러 블록 개수에 따라 선택적으로, 상기 현재 프레임 및 상기 현재 프레임 이후의 적어도 하나의 프레임에 대한 디스플레이 여부를 결정하는 디스플레이 여부 결정부를 포함하는 것을 특징으로 하는 화질 개선 장치.
  15. 제 14 항에 있어서, 상기 에러 블록 카운터는
    현재 프레임의 블록 중 상기 에러 블록을 검출하는 에러 블록 검출부;
    상기 에러 블록의 종류에 따라 적응적으로 에러 은닉 방법을 수행하는 에러 은닉 기법 수행부; 및
    상기 에러 은닉 기법 수행부가 에러 은닉 방법을 수행한 횟수를 세는 누적 카운터를 포함하는 것을 특징으로 하는 화질 개선 장치.
  16. 제 14 항에 있어서,
    상기 디스플레이 여부 결정부는 상기 현재 프레임의 모든 블록에 대해 상기 에러 은닉 방법이 수행된 후 상기 디스플레이 여부를 결정하는 것을 특징으로 하는 화질 개선 장치.
  17. 제 14 항에 있어서, 상기 디스플레이 여부 결정부는
    상기 블록 개수가 소정의 임계치 미만이면, 상기 현재 프레임을 상기 디스플레이하기로 결정하는 수단; 및
    상기 블록 개수가 소정의 임계치 이상이면, 상기 현재 GOP에 속하는 적어도 하나의 이후 및 상기 현재 프레임을 모두 상기 디스플레이하지 않기로 결정하는 수단를 포함하는 것을 특징으로 하는 화질 개선 장치.
  18. 제 17 항에 있어서,
    상기 블록 개수가 소정의 임계치 이상이면, 상기 이후 프레임에 대해 에러 블록 개수를 카운트하지 않기로 결정하는 수단을 포함하는 것을 특징으로 하는 화질 개선 장치.
  19. 제 18 항에 있어서,
    상기 디스플레이 여부 결정부는 상기 블록 개수가 상기 임계치 이상이면, 상기 디스플레이하지 않기로 결정된 프레임이 디스플레이되지 않는 시간 동안에는, 가장 최근에 디스플레이된 상기 현재 프레임의 이전 프레임을 디스플레이하기로 결정하는 단계를 포함하는 것을 특징으로 하는 화질 개선 장치.
  20. 제 14 항에 있어서,
    상기 디스플레이 여부 결정부에서 디스플레이하기로 결정한 프레임으로 결과 GOP를 재구성하여, 상기 결과 GOP를 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 화질 개선 장치.
  21. 제 14 항에 있어서,
    상기 에러 블록 카운터는 프레임 단위로 수행하는 것을 특징으로 하는 화질 개선 장치.
  22. 제 14 항에 있어서,
    상기 디스플레이 여부 결정부는 GOP 단위로 선택하는 것을 특징으로 하는 화질 개선 장치.
  23. 제 15 항에 있어서,
    상기 에러 은닉 방법은 시간적 에러 은닉 방법 또는 공간적 에러 은닉 방 법을 적응적으로 선택하는 것을 특징으로 하는 화질 개선 장치.
  24. 제 15 항에 있어서,
    상기 현재 프레임이 I 프레임이면 공간적 에러 은닉 방법을 수행하는 것을 특징으로 하는 화질 개선 장치.
  25. 제 15 항에 있어서,
    상기 현재 프레임이 P 프레임이면 시간적 에러 은닉 방법을 수행하는 것을 특징으로 하는 화질 개선 장치.
  26. 제 17 항에 있어서,
    상기 임계치는 상기 에러 은닉 방법의 종류에 따라 별도로 설정하는 것을 특징으로 하는 화질 개선 장치.
  27. 제 1 항 내지 제 13 항 중 적어도 하나의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020070064611A 2007-06-28 2007-06-28 Ｇｏｐ의 재구성을 통한 화질 개선 방법 및 장치 KR20090000501A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070064611A KR20090000501A (ko) 2007-06-28 2007-06-28 Ｇｏｐ의 재구성을 통한 화질 개선 방법 및 장치
US12/051,097 US20090003444A1 (en) 2007-06-28 2008-03-19 Method and apparatus for video enhancement by reorganizing group of pictures
EP08153649A EP2009922A3 (en) 2007-06-28 2008-03-28 Method and apparatus for video enhancement by reorganizing group of pictures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070064611A KR20090000501A (ko) 2007-06-28 2007-06-28 Ｇｏｐ의 재구성을 통한 화질 개선 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20090000501A true KR20090000501A (ko) 2009-01-07

Family

ID=39832225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070064611A KR20090000501A (ko) 2007-06-28 2007-06-28 Ｇｏｐ의 재구성을 통한 화질 개선 방법 및 장치

Country Status (3)

Country Link
US (1) US20090003444A1 (ko)
EP (1) EP2009922A3 (ko)
KR (1) KR20090000501A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2944938B1 (fr) * 2009-04-28 2011-10-21 Canon Kk Procede et dispositif de correction d'erreurs.

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023435A (ja) * 1996-06-27 1998-01-23 Sanyo Electric Co Ltd エラー処理装置及び復号装置
JP2003116136A (ja) * 2001-10-05 2003-04-18 Sharp Corp 動画像復号装置
TWI228919B (en) * 2003-12-22 2005-03-01 Sunplus Technology Co Ltd Circuit and method for decompressing image
KR100755688B1 (ko) * 2005-02-02 2007-09-05 삼성전자주식회사 에러 은닉 장치 및 방법

Also Published As

Publication number Publication date
EP2009922A3 (en) 2009-04-08
EP2009922A2 (en) 2008-12-31
US20090003444A1 (en) 2009-01-01

Similar Documents

Publication Publication Date Title
KR100628494B1 (ko) 화상복호화방법 및 장치와 기록매체
US20030012286A1 (en) Method and device for suspecting errors and recovering macroblock data in video coding
US20060188025A1 (en) Error concealment
EP0901288A1 (en) Moving image coding method and apparatus
US8335388B2 (en) Image coding apparatus and image coding method
US8948255B2 (en) Moving picture coding method for quantizing a plurality of pictures using a quantization step and a small quantization step having a size smaller than a size of the quantization step
KR20060109248A (ko) 영상신호의 엔코딩/디코딩시에 내부모드 블록의 정보를처리하는 방법 및 장치
US20130100248A1 (en) Video transmitting apparatus and video transmitting method
US8135076B2 (en) Error concealment apparatus and method
US9031127B2 (en) Video coding
KR20060043051A (ko) 영상 신호의 인코딩 및 디코딩 방법
US8199817B2 (en) Method for error concealment in decoding of moving picture and decoding apparatus using the same
US20120106632A1 (en) Method and apparatus for error resilient long term referencing block refresh
US20060078053A1 (en) Method for encoding and decoding video signals
JP5068316B2 (ja) ビデオ符号化
KR20080066706A (ko) 채널 스위치 프레임
US6757332B1 (en) Video decoding method, video decoding apparatus, and program storage media
JP2002027483A (ja) 画像符号化装置、画像復号化装置および記憶媒体
US8379729B2 (en) Content adaptive error localization to improve quality of corrupted video data streams upon decode
KR20060085150A (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR20090000501A (ko) Ｇｏｐ의 재구성을 통한 화질 개선 방법 및 장치
JPH08251597A (ja) 動画像符号化／復号化装置
JPH0715729A (ja) 画像符号化方法、画像符号化回路、画像符号化装置及び光ディスク
Carreira et al. A robust video encoding scheme to enhance error concealment of intra frames
Benjak et al. Neural network-based error concealment for b-frames in vvc

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid