KR20070003502A - 에러 은닉 방법 및 장치 - Google Patents

에러 은닉 방법 및 장치 Download PDF

Info

Publication number
KR20070003502A
KR20070003502A KR1020050082858A KR20050082858A KR20070003502A KR 20070003502 A KR20070003502 A KR 20070003502A KR 1020050082858 A KR1020050082858 A KR 1020050082858A KR 20050082858 A KR20050082858 A KR 20050082858A KR 20070003502 A KR20070003502 A KR 20070003502A
Authority
KR
South Korea
Prior art keywords
frame
weight
backward
hidden
reference point
Prior art date
Application number
KR1020050082858A
Other languages
English (en)
Other versions
KR100736041B1 (ko
Inventor
백현기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP20060115980 priority Critical patent/EP1739974B1/en
Priority to DE602006016044T priority patent/DE602006016044D1/de
Priority to JP2006178275A priority patent/JP4440233B2/ja
Priority to US11/476,673 priority patent/US8369416B2/en
Publication of KR20070003502A publication Critical patent/KR20070003502A/ko
Application granted granted Critical
Publication of KR100736041B1 publication Critical patent/KR100736041B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 에러 은닉 방법 및 장치에 관한 것으로, 본 발명의 실시예에 따른 에러 은닉 방법은, 손실 프레임을 기준으로 프레임간 장면 전환 여부를 판단하여 상기 손실 프레임의 참조 방향을 결정하는 제 1 단계; 상기 결정된 참조 방향에 따라 상기 손실 프레임을 제외한 적어도 하나 이상의 프레임을 이용하여 상기 손실 프레임을 구성하는 픽셀에 대한 은닉 참조점을 추출하는 제 2 단계; 상기 추출된 은닉 참조점에 가중치를 부여하여 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 제 3 단계; 및 상기 은닉 픽셀값을 이용하여 상기 픽셀에 대한 은닉을 수행하여 상기 손실 프레임을 복원하는 제 4 단계를 포함한다.
또한, 본 발명의 실시예에 따른 에러 은닉 장치는, 손실 프레임을 기준으로 프레임간 장면 전환 여부를 판단하여 상기 손실 프레임의 참조 방향을 결정하는 참조 방향 결정부; 상기 참조 방향에 따라 상기 손실 프레임을 제외한 적어도 하나 이상의 프레임을 이용하여 상기 손실 프레임을 구성하는 픽셀에 대한 은닉 참조점을 추출하는 은닉 참조점 추출부; 상기 추출된 은닉 참조점에 가중치를 부여하여 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 가중치 계산부; 및 상기 은닉 픽셀값을 이용하여 상기 픽셀에 대한 은닉을 수행하여 상기 손실 프레임을 복원하는 프레임 복원부를 포함한다.
본 발명의 실시예에 따르면, 압축된 동영상을 수신하고 출력하는 장비에서 프레임 손실이 일어났을 경우, 프레임 단위의 에러 은닉을 효과적으로 수행하고 에 러의 전파로 인한 화질의 저하를 최소화할 수 있다.
에러 은닉, 가변장 복호부, 역양자화부, IDCT부, 가중치

Description

에러 은닉 방법 및 장치{METHOD AND APPARATUS FOR CONCEALING ERROR OF ENTIRE FRAME LOSS}
도 1은 종래 기술에 따른 동영상 디코더의 구성을 나타내는 블럭도이다.
도 2a는 종래 기술에 따른 프레임 단위의 손실 발생시 에러 전파를 도시한 도면이다.
도 2b는 종래 기술에 따른 프레임 단위 에러 은닉 방법 중 이전 프레임의 매크로 블럭들을 참조하는 개념을 나타내는 도면이다.
도 2c는 종래 기술에 따른 프레임 단위 에러 은닉 방법 중 양방향 외삽을 통해 손실된 프레임의 픽셀들을 예측하는 방법을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 에러 은닉 장치의 구성을 포함하는 동영상 디코더의 구성을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 에러 은닉 방법의 흐름을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 에러 은닉 방법의 단계 중 손실 프레임의 참조 방향을 결정하는 단계를 설명하는 도면이다.
도 6은 본 발명의 실시예에 따른 에러 은닉 방법의 단계 중 손실 프레임을 구성하는 픽셀에 대한 은닉 참조점을 추출하는 단계를 설명하는 도면이다.
(도면의 주요 부분에 대한 설명)
110: 버퍼 120: 가변장 복호부
130: 영양자화부 140: IDCT부
150: 가산부 160: 저장부
170: 움직임 보상부 200: 에러 은닉 장치
210: 참조 방향 결정부 220: 은닉 참조점 추출부
230: 가중치 계산부 240: 프레임 복원부
본 발명은 에러 은닉 방법 및 장치에 관한 것으로, 더욱 상세하게는, 비디오 데이터 전송 수행 중 발생하는 프레임 단위의 에러로 인하여 손실된 프레임에 대해 손실 프레임을 구성하는 픽셀 단위로 에러 은닉을 수행하여 화질의 향상을 도모하고 에러 전파를 감소시켜 프레임 손실을 은닉하기 위한 에러 은닉 방법 및 장치에 관한 것이다.
무선 네트워크 환경의 발전에 따라, 무선 네트워크 상에서의 동영상 전송이 활발히 이루어지고 있다. 이러한 동영상 프레임의 압축 기술에 대하여 많은 연구와 개발이 이루어지고 있으며, 이를 바탕으로 국제 표준화 기구에서 프레임의 압축 기술에 대하여 H.263, H.263+, MPEG-1, MPEG-2, MPEG-4 등의 압축 기술이 국제적인 표준으로 제정되었다. 이러한 압축 기술로 만들어진 데이터들은 높은 압축율을 가 지므로, 대역폭에 제한이 있는 채널을 가지는 시스템에서도 전송이 용이하다.
그러나, 데이터 압축율이 높을 경우 전송되는 데이터의 오류 발생시 데이터 복원에 심각한 피해를 입게 되는 단점도 있다. 무선의 특성상 장애물로 인한 전파의 간섭 현상에 따라 패킷의 손실이 자주 발생하게 되고, 이로 인해 비디오 데이터의 손실이 일어나게 되는 것이다. 비디오 데이터는 압축을 수행하기 위해 이용되는데, 이때 압축의 효율을 높이기 위해 시간적으로 이전에 있는 프레임들의 데이터를 참조하는 방식을 사용한다. 따라서, 비디오 데이터의 손실로 인한 에러는 에러가 발생한 이후로도 에러 전파 현상이 지속되게 된다. 특히, 프레임 데이터 전체가 손실되는 에러는 프레임 일부인 슬라이스(Slice) 혹은 매크로블록(Macroblock) 단위의 에러 손실에 비해 더욱 심각한 에러 손실 현상 및 에러 전파 현상을 야기시킨다.
이러한 단점을 극복하고자 동영상 데이터들이 오류에 대해 최대한 강인성을 가지도록 부호화하는 시도가 많은 분야에서 이루어지고 있다. 동영상 데이터들의 오류에 대한 강인성을 부여하기 위한 방법 중 하나로 프레임 오류 은닉(Frame Error Concealment)기법이 있다. 프레임 오류 은닉이란, 오류가 존재하는 프레임이 동영상 디코더로 수신될 때, 수신된 원본 프레임의 복호시 오류의 영향을 최대한 줄이는 방법을 의미한다. 이는 마치 처음부터 아무런 오류도 발생하지 않은 것처럼 잘못된 데이터를 완벽하게 회복하는 방법인 "오류 수정(Error Correction)"이라는 과정과는 구별되는 개념이다.
그러면, 현재 사용되고 있는 프레임 오류 은닉 기법들로는, 영상 정보에 따 라 연속된 프레임간의 중복된 정보를 이용하는 "시간 예측 오류 은닉 기법"과 손실된 정보가 포함된 동일 프레임에서 공간적 중복성을 이용하는 "공간 예측 은닉 기법"이 있다. 공간 예측 은닉 기법은 시간적인 중복성을 사용하지 않고 현재 프레임 내의 손상되지 않은 매크로 블럭들의 정보를 이용하여 손상된 매크로 블럭을 보상하는 기법이다. 이때, 손실 블럭에 가까운 주위의 매크로 블럭으로 대치하거나 여러 가지 보간법을 사용한 오류 은닉 기법들이 제안되었다. 시간 예측 은닉 기법은 연속된 영상들은 시간적으로 상관성이 있음을 이용하여 현재 프레임 내에서 손실된 매크로 블럭의 정보를 복원하기 위해서 시간적으로 다른 위치에 존재하는 프레임을 참조하는 방법이다. 참조하는 프레임의 수에 따라서 크게 두 가지로 나눌 수 있다. 복원시 참조하는 프레임이 하나인 경우에 이를 "단일 프레임 오류 은닉 기법"이라 하며, 참조되는 프레임이 두 개 이상인 경우는 "다중 프레임 오류 은닉 기법"이라 한다.
여기서 상기 프레임 오류 은닉 기법은 손실된 매크로 블럭의 움직임 벡터(motion vector)를 구하는 방법에 따라서 몇가지의 기술들이 제안되었다. 첫째로는 이전에 수신된 하나의 프레임을 이용하는 방법이 있으며, 둘째로 이전에 수신된 둘 이상의 프레임을 이용하는 방법이 있다. 상기 첫번째 방법은 이전에 수신된 프레임(이하, "이전 프레임"이라 한다)의 사용 방법에 따라 다시 3 가지로 구분할 수 있는데, 그 3 가지 방법들에 대해 간략히 설명한다.
첫번째 방법은 현재 수신된 프레임 중 오류가 발생한 매크로 블럭과 동일한 매크로 블럭을 이전 프레임으로부터 가져오는 방법이 있다. 두번째 방법은 현재 수신된 프레임의 손실된 매크로 블럭 주변의 움직임 벡터 값들의 중간값 또는 평균값을 이용하여 손실된 움직임 벡터를 복원하는 방법이다. 세번째 방법은 손실된 매크로 블럭의 주변 화소값들을 이전 프레임에서 추정하여 현재 프레임과 가장 비슷한 매크로 블럭을 가져오는 방법이다.
이와 관련하여 다중 프레임 오류 은닉 기법도 기본적으로는 상기 단일 프레임 오류 은닉 기법에서 사용되었던 방법들을 이용하여 움직임 벡터를 복원한다. 하지만, 상기 다중 프레임 오류 은닉 기법은 손실된 매크로 블럭을 찾기 위해서 하나의 이전 프레임만을 검색하는 것이 아니라 적어도 두개 이상의 이전 프레임을 검색한다는 점에서 구별된다.
그러면, 종래의 프레임 오류 은닉 기법의 문제점에 대해 설명하기에 앞서 일반적인 동영상 디코더의 구성에 대해서 간략히 설명한다. 일반적으로 동영상 디코더는 압축된 형태의 영상 비트 스트림을 가변장 복호화 및 역양자화를 통해 원래의 영상 신호로 복원하게 되는데, 이를 도 1을 참조하여 설명한다. 도 1은 종래 기술에 따른 동영상 디코더의 구성을 나타내는 블럭도이다.
먼저, 버퍼(11)는 입력되는 비트 스트림을 일정량 저장하고, 가변장 복호부(12)는 버퍼(11)에 저장된 비트 스트림을 가변장 복호화하고 그에 따라 발생하는 영상 정보를 두 갈래로 분류하여 역양자화부(13)와 움직임 보상부(15)로 출력한다. 역양자화부(13)는 가변장 복호부(12)로부터 출력되는 양자화 정보를 입력받아 가변장 복호화된 데이터를 역양자화한다. IDCT부(14)는 역양자화부(13)에서 출력되는 역양자화된 데이터를 IDCT(Inverse Discrete Cosine Transform) 처리한다. 한편, 움직임 보상부(15)는 가변장 복호부(12)로부터 출력되는 움직임 정보와 출력 영상 데이터를 가지고 움직임이 보상된 영상 데이터를 생성한다. 가산부(16)는 움직임 보상부(15)에 의해 움직임 보상된 영상 데이터와 IDCT부(14)에 의해 역 DCT 처리되어 출력된 영상 데이터를 가산한다. 저장부(17)는 가산부(16)에서 출력되는 영상 데이터를 저장한다.
이와 같이, 상기 도 1과 같은 동영상의 복호화는 입력되는 비트 스트림을 버퍼(11)에 저장한 후 디코딩 능력대로 영상 데이터를 리드하여 먼저 가변장 복호화를 수행하는 방식이다. 그러나, 전송 도중 에러가 발생하여 입력된 영상 데이터에 가변장 복호화할 수 없는 손실된 데이터가 포함되어 있을 때 그 손실된 에러 데이터는 시간적으로 이후의 화면에도 영향을 미쳐 일정 단위 내에서 누적되어 화면에 출력되는 문제점이 있다.
한편, 도 2a는 종래 기술에 따른 프레임 단위의 손실 발생시 에러 전파를 도시한 도면인데, 상기 도 2a에 도시된 손실된 프레임(21)과 같이 프레임의 일부가 아닌 프레임 전체의 오류가 발생하였을 경우, 이후 프레임 중 전방 프레임을 참조하는 매크로 블록에 모두 영향을 끼치므로, 이로 인해 미치는 영향은 다른 형태의 에러 발생과 비교할 수 없을 정도의 매우 심각한 수준의 화질 저하를 가져오게 된다. 즉, 손실된 프레임(21)으로 인해 이후의 프레임들(22, 23, 24) 모두에 영향을 미쳐 화질의 저하를 가져오는 것이다. 이러한 에러 발생으로 인한 단점을 극복하고자 동영상 데이터의 에러에 강인성을 부여하기 위한 방법 중의 하나로 프레임 에러 은닉(Frame error concealment) 기법이 있다. 본 명세서의 전체에서 사용되는 프레임 에러 은닉이란, 에러가 발생하여 프레임 전체 데이터가 디코더로 수신되지 않을 때 이후 수신된 데이터의 복호화시 에러의 영향을 최대한 줄이는 방법의 의미로 사용한다.
도 2b는 종래 기술에 따른 프레임 단위 에러 은닉 방법 중 이전 프레임의 매크로 블럭들을 참조하는 방법을 나타내는 도면이다. 이러한 방법은 손실 프레임(40)의 매크로 블럭(40-1)을 복원하기 위해 이전 프레임(30)에 영점 움직임 벡터(35)를 적용하여 손실된 프레임(40)의 매크로 블럭(40-1)에 해당되는 이전 프레임(30)의 매크로 블럭(30-1)을 가져오는 동작을 수행한다.
그러나, 상기 도 2b에 도시된 방법의 문제점은 이전 프레임(30)의 데이터를 참조함으로써 실제로 장면 전환이 발생하거나 혹은 프레임간에 화면의 변화가 많을 경우에는 예측에 대한 오류가 커져서 화질의 감소가 크다는 점이다.
도 2c는 종래 기술에 따른 프레임 단위 에러 은닉 방법 중 양방향 외삽을 통해 손실된 프레임의 픽셀들을 예측하는 방법을 나타내는 도면이다.
상기 도 2c의 방법은 전방(Forward)과 후방(Backward) 두 가지 방향의 은닉 참조를 수행하는데, 먼저 전방 은닉 참조를 살펴보면 다음과 같이 동작한다.
즉, 이전 프레임에 대하여 매크로 블럭 단위로 움직임 벡터(Motion Vector)를 외삽 보간(Extrapolation)을 수행하여 손실 프레임에 대응시키는 방식이다. 상기 도 2c 에서 프레임 (60)의 매크로 블럭(60-1)의 움직임 벡터는 (55)이다. 움직임 벡터 (55)를 이후의 프레임 (70)에 대하여 외삽 보간(Extrapolation)을 수행하면, 픽셀 (70-0-1)에 대응되는 움직임 벡터 (65)가 된다. 이러한 동작을 통해 프 레임 (70)에서의 픽셀 (70-0-1)은 프레임 (60)에서의 픽셀 (60-1-1)을 은닉 참조점으로 선정한다. 이러한 과정을 통해 픽셀 (70-0-1)은 이전 프레임 (60)에 대해 0 개 이상의 은닉 참조점을 가질 수 있다. 만약, 은닉 참조점이 없을 경우는 이전 프레임 (60)에서의 동일한 위치의 픽셀을 은닉 참조점으로 정하게 된다. 또한, 은닉 참조점이 다수일 경우에는 은닉 참조점의 평균점을 전방향에서의 은닉 참조점으로 정한다.
다음으로 후방 은닉 참조를 살펴보면 다음과 같이 동작한다. 상기 도 2c에서 후방 프레임 (80)에 대하여 각 매크로 블럭의 움직임 벡터(75, 76, 77)를 이용하여 손실 프레임(70)의 픽셀 (70-0-1)에 대응하는 은닉 참조점들(80-0-1, 80-0-2, 80-0-3)을 탐색한다. 그 이후의 과정은 전술한 전방 은닉 참조와 동일하다.
이러한 과정을 통해 얻어진 전방 및 후방 은닉값의 평균값이 손실 프레임(70)의 픽셀 (70-0-1)의 은닉값이 된다. 손실 프레임 (70)은 각각의 픽셀에 대해 위와 같은 양방향 참조를 통해 프레임 복원을 수행하게 되는 것이다.
그러나, 상기 도 2c에 도시된 방법의 문제점은 다음과 같다.
우선, 장면 변환시 양방향 참조로 인해 예측의 정확도가 떨어진다는 점이다. 다시 말하면, 장면이 손실된 프레임의 후방 프레임에서 전환된다면, 손실된 프레임과 후방 프레임과는 연관성이 없을 것이며, 장면이 손실된 프레임의 전방 프레임에서 전환된다면, 손실된 프레임과 전방 프레임과는 연관성이 없을 것이다. 상술한 상기 도 2c에 도시된 방법은 이러한 경우들에 대해서 양방향 참조를 하게 되어 손실된 프레임의 각 픽셀들에 대한 예측의 정확도가 낮아지게 된다.
둘째로, 전방 참조를 할 때에 하나의 전방 프레임만을 이용하여 에러를 은닉하므로, 화면의 가장자리 부분에 대한 은닉을 수행하거나 화면 속에서 물체가 사라졌다가 다시 나타나는 경우 등에 대해 정확한 픽셀을 예측할 확률이 낮아지게 된다.
셋째로, 손실된 프레임을 은닉하는 참조점들에 대하여 단순한 평균값을 구해서 예측을 수행하는데, 정확하지 않은 참조점들의 정보가 같은 가중치를 가지고 예측을 수행한다는 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 고안된 것으로서, 본 발명이 이루고자 하는 기술적 과제는, 프레임 간의 장면 변환에 따라 참조 방향을 결정하여 은닉 참조점을 추출하고, 추출된 은닉 참조점에 대한 가중치를 부여하여 가중치에 따른 손실 프레임의 픽셀별 은닉을 통해 손실 프레임의 복원을 수행함으로써, 프레임 단위 에러로 인한 화질의 손상을 최소화할 수 있는 에러 은닉 방법 및 장치를 제공하는데 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 에러 은닉 방법은, 손실 프레임을 기준으로 프레임간 장면 전환 여부를 판단하여 상기 손실 프레 임의 참조 방향을 결정하는 제 1 단계; 상기 결정된 참조 방향에 따라 상기 손실 프레임을 제외한 적어도 하나 이상의 프레임을 이용하여 상기 손실 프레임을 구성하는 픽셀에 대한 은닉 참조점을 추출하는 제 2 단계; 상기 추출된 은닉 참조점에 가중치를 부여하여 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 제 3 단계; 및 상기 은닉 픽셀값을 이용하여 상기 픽셀에 대한 은닉을 수행하여 상기 손실 프레임을 복원하는 제 4 단계를 포함한다.
또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 에러 은닉 장치는, 손실 프레임을 기준으로 프레임간 장면 전환 여부를 판단하여 상기 손실 프레임의 참조 방향을 결정하는 참조 방향 결정부; 상기 참조 방향에 따라 상기 손실 프레임을 제외한 적어도 하나 이상의 프레임을 이용하여 상기 손실 프레임을 구성하는 픽셀에 대한 은닉 참조점을 추출하는 은닉 참조점 추출부; 상기 추출된 은닉 참조점에 가중치를 부여하여 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 가중치 계산부; 및 상기 은닉 픽셀값을 이용하여 상기 픽셀에 대한 은닉을 수행하여 상기 손실 프레임을 복원하는 프레임 복원부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 바람직한 실시예에 대해 첨부된 도면을 참조하여 보다 상세히 설명한다. 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하 는 것도 가능하다.
도 3은 본 발명의 실시예에 따른 에러 은닉 장치의 구성을 포함하는 동영상 디코더의 구성을 나타내는 도면이다. 상기 도 3를 살펴보면, 종래의 버퍼(110), 가변장 복호부(120), 영양자화부(130), IDCT부(140), 가산부(150), 저장부(160), 움직임 보상부(170)에다가 본 발명의 실시예에 따른 에러 은닉 장치(200)를 부가하고 있는데, 상기 에러 은닉 장치(200)는 참조 방향 결정부(210), 은닉 참조점 추출부(220), 가중치 계산부(230) 및 프레임 복원부(240)를 포함한다.
종래의 디코더처럼, 버퍼(110)는 입력되는 비트 스트림을 일정량 저장하고, 가변장 복호부(120)는 버퍼(110)에 저장된 비트 스트림을 가변장 복호화하고 그에 따라 발생하는 영상 정보가 정상적인 경우에는 이를 두 갈래로 분류하여 역양자화부(130)와 움직임 보상부(170)로 출력한다. 역양자화부(130)는 가변장 복호부(120)로부터 출력되는 양자화 정보를 입력받아 가변장 복호화된 데이터를 역양자화한다. IDCT부(140)는 역양자화부(130)에서 출력되는 역양자화된 데이터를 IDCT(Inverse Discrete Cosine Transform) 처리한다. 한편, 움직임 보상부(170)는 가변장 복호부(120)로부터 출력되는 움직임 정보와 출력 영상 데이터를 가지고 움직임이 보상된 영상 데이터를 생성한다. 가산부(150)는 움직임 보상부(170)에 의해 움직임 보상된 영상 데이터와 IDCT부(140)에 의해 역 DCT 처리되어 출력된 영상 데이터를 가산한다. 저장부(160)는 가산부(150)에서 출력되는 영상 데이터를 저장한다.
한편, 가변장 복호부(120)가 버퍼(110)에 저장된 비트 스트림을 가변장 복호 화할 경우에 발생하는 영상 정보가 비 정상적인 에러를 포함하고 있는 경우에는 에러 은닉 장치(200)로 출력하여 에러 은닉 과정을 거쳐야 한다. 이하, 에러 은닉 장치(200)의 구성을 설명한다.
참조 방향 결정부(210)는 가변장 복호부(120)로부터 출력된 손실 프레임을 입력받아 손실 프레임의 참조 방향을 결정하는 역할을 한다. 이는 손실 프레임을 기준으로 프레임간에 장면 전환이 되었는지 여부를 판단함으로써 상기 손실 프레임의 참조 방향을 결정하는 방식이다. 그런데, 이러한 장면 전환의 판단은 장면 전환 판단부(215)에서 담당하는데, 참조 방향 결정부(210)는 상기 손실 프레임보다 시간적으로 선행하는 이전 프레임과 시간적으로 후행하는 이후 프레임의 이미지 데이터를 분석함으로써 상기 손실 프레임을 기준으로 프레임간 장면 전환이 발생하였는지 여부를 판단하는 장면 전환 판단부(215)를 포함한다. 이를 나타낸 것이 도 5이다. 도 5는 본 발명의 실시예에 따른 에러 은닉 방법의 단계 중 손실 프레임의 참조 방향을 결정하는 단계를 설명하는 도면이다. 상기 도 5에 나타나듯이, 프레임간 장면 전환을 판단하여 참조 방향을 결정하는 과정을 설명하고 있다. 장면 전환은 손실 프레임을 기준으로 한 프레임 이전인 프레임과 한 프레임 이후의 프레임 간의 각 픽셀간의 픽셀값의 차가 일정 수치를 넘어설 경우 장면 변환이 발생한 것으로 판단한다. 이외에도 연산량을 줄이기 위해 DC 계수간의 차이 혹은 움직임 벡터 간의 분포 등을 이용하여 장면 전환을 판단할 수 있다.
도 5의 좌측 부분에서 프레임 (511) 내지 (515)는 장면 전환이 없을 경우이다. 이때 손실된 프레임 (514)는 다수의 이전 프레임(511 내지 513) 및 이후 프레 임(515)에서 은닉 참조점을 추출하는 양방향 참조를 수행하게 된다. 즉, 장면 전환 판단부(215)에 의해 상기 장면 전환이 발생하지 않았다고 판단되는 경우이므로 상기 참조 방향을 양방향으로 결정하게 되는 것이다.
도 5의 중간 부분에서는 5 개의 프레임 중 손실된 프레임인 (524) 이후 프레임인 (525)에서 장면 전환이 발생한 경우이다. 이 경우, 프레임 (524)는 프레임 (525)와 연관성이 없으므로, 손실 프레임(524)의 이전 프레임들(521 내지 523)에서 은닉 참조점을 추출하는 전방 참조를 수행하게 된다. 즉, 장면 전환 판단부(215)에 의해 상기 장면 전환이 발생하였다고 판단되었고, 또한, 손실 프레임이 시간적으로 선행하는 이전 프레임과 동일한 장면인 경우이므로, 상기 참조 방향을 전방향으로 결정하게 된다.
도 5의 우측 부분에서는 5 개의 프레임 중에서 손실 프레임(534)에서 장면 전환이 발생한 경우이다. 이 경우, 손실 프레임(534)는 이전 프레임(533)과 연관성이 없으므로 손실 프레임(534)의 이후 프레임(535)에서 은닉 참조점을 추출하는 후방 참조를 수행하게 된다. 즉, 상기 손실 프레임이 시간적으로 후행하는 이후 프레임과 동일한 장면인 경우이므로 상기 참조 방향을 후방향으로 결정하게 된다.
은닉 참조점 추출부(220)는 상기 참조 방향에 따라 상기 손실 프레임을 제외한 하나 이상의 프레임을 이용하여 상기 손실 프레임을 구성하는 픽셀에 대한 은닉 참조점을 추출하는 기능을 수행한다. 즉, 장면 전환 판단부(215)에 의해 상기 참조 방향이 전방향으로 판단된 경우는 상기 복수의 이전 프레임을 이용하여 은닉 참조점을 추출하고, 상기 참조 방향이 후방향으로 판단된 경우는 상기 하나 이상의 이후 프레임을 이용하여 은닉 참조점을 추출하며, 상기 참조 방향이 양방향으로 판단된 경우는 상기 복수의 이전 프레임과 상기 하나 이상의 이후 프레임을 이용하여 은닉 참조점을 추출하게 된다.
이를 나타낸 것이 도 6이므로 도 6을 참조하여 설명한다. 도 6은 본 발명의 실시예에 따른 에러 은닉 방법의 단계 중 손실 프레임을 구성하는 픽셀에 대한 은닉 참조점을 추출하는 단계를 설명하는 도면이다. 도 6에서는 5 개의 프레임(610 내지 650)을 시간적 순서로 배열하였으며 프레임 (640)에서 에러가 발생한 경우이다.
먼저, 전방 참조시 은닉 참조점들을 추출하는 과정을 설명한다. 전방향의 은닉 참조점을 구하기 위해 손실 프레임(640)의 이전 프레임들의 움직임 벡터의 평균을 구해야 한다. 손실 프레임(640)의 픽셀(640a)에 대해 외삽 보간(Extrapolation)을 통하여 픽셀 (640a)에서 픽셀 (630a)로 향하는 움직임 벡터 (645)를 찾아내고, 픽셀 (630a)에서 픽셀 (620a)로 향하는 움직임 벡터 (635)와 상기 움직임 벡터 (635)가 참조하는 픽셀 (620a)에서 픽셀 (610a)로 향하는 움직임 벡터 (625)의 평균을 구하여 계산한다. 그러면, 픽셀 (640a)에서 픽셀 (630b)로 향하는 움직임 벡터 (646)이 참조하는 픽셀 (630b)을 은닉 참조점으로 추출하는 것이다. 이와 같은 과정으로 손실 프레임(640)의 픽셀(640a)에 대한 전방향의 은닉 참조점들을 추출하는 것이다.
한편, 후방향의 은닉 참조점들을 추출하는 과정은 다음과 같다. 손실 프레임 (640)의 이후 프레임 (650)의 각 점들(650a, 650b, 650c)을 움직임 벡터를 통해 손실 프레임 (640)에 대응시켜 손실 프레임(640)의 픽셀(640a)을 참조하는 점들을 은닉 참조점으로 추출한다. 이때, 각각의 픽셀들(650a, 650b, 650c)은 손실 프레임(640)내의 픽셀(640a)에 대응하는 움직임 벡터 (655, 656, 657)들을 가지고 있으므로 이후 프레임(650)에 존재하는 픽셀들(650a, 650b, 650c)이 후방 은닉 참조점으로 추출될 수 있는 것이다.
가중치 계산부(230)는 상기 추출된 은닉 참조점들에 대한 가중치를 부여함으로써 상기 손실 프레임의 은닉 픽셀값을 구하는 기능을 수행한다. 구체적으로 설명하면, 장면 전환 판단부(215)에 의해 상기 참조 방향이 전방향으로 판단된 경우는 전방향 가중치를 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하고, 상기 참조 방향이 후방향으로 판단된 경우는 후방향 가중치를 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하며, 상기 참조 방향이 양방향으로 판단된 경우는 상기 전방 가중치와 상기 후방 가중치를 부여한 후에 방향에 따른 방향별 가중치를 더 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 역할을 한다.
여기서, 전방향 가중치 또는 후방향 가중치는 움직임 벡터의 절대값이 적을수록 높게 부여하고 상기 움직임 벡터의 절대값이 클수록 낮게 부여하여야 한다. 왜냐하면, 움직임 벡터의 크기가 클수록 픽셀들간의 오차가 커지기 때문이다. 이를 수학식으로 표현하면, 전방향 가중치는 하기 <수학식 1>에 의해 결정되고, 후방향 가중치는 하기 <수학식 2>에 의해 결정된다.
Figure 112005049865540-PAT00001
Figure 112005049865540-PAT00002
여기서, 상기 wfi는 이전 프레임들의 픽셀들 중 i 번째 전방향 참조점의 픽셀값에 곱해지는 전방향 가중치를 의미하고, 상기 wbi는 이후 프레임들 중 i 번째 후방향 참조점의 픽셀값에 곱해지는 후방향 가중치를 의미한다. 상기
Figure 112005049865540-PAT00003
는 i 번째 참조점의 움직임 벡터의 크기를 의미하며, 상기
Figure 112005049865540-PAT00004
는 k 번째 참조점의 움직임 벡터의 크기를 의미하며, 상기 N은 전방향 참조점의 개수, 그리고, 상기 M은 후방향 참조점의 개수를 의미한다. 위 수식에서 알 수 있듯이, 같은 형태의 두 개의 식에서 가중치는
Figure 112005049865540-PAT00005
에 반비례함을 알 수 있다. 왜냐하면, <수학식 1>의 우변에 있는
Figure 112005049865540-PAT00006
는 가중치들의 총합이 1이 되도록 하 기 위한 일종의 계수로서, 가중치들을 모두 합하면 1이 된다(
Figure 112005049865540-PAT00007
). <수학식 2>에 대해서도 동일한 설명이 적용되므로 <수학식 2>에 대해선 설명을 생략한다. 위 식에서 알 수 있듯이, 전방향 가중치든 후방향 가중치든 모두 움직임 벡터의 크기에 반비례하는 것이다.
그리고, 상기 방향별 가중치는 하기 <수학식 3>에 의해 결정될 수 있다.
Figure 112005049865540-PAT00008
여기서, 상기 dwf는 전방향에 대한 방향별 가중치, 상기 dwb는 후방향에 대한 방향별 가중치, 상기 ibnf는 상기 이전 프레임의 인트라 매크로블록의 개수, 상기 ibnb는 상기 이후 프레임의 인트라 매크로블록의 개수를 의미한다. 상기 <수학식 3>은 손실 프레임과 이전 프레임, 손실 프레임과 이후 프레임과의 연관성을 이용한 수식으로서, 특히 양방향 참조의 경우에 직접 적용된다. 전방향에 대한 방향별 가중치(dwf)는 이전 프레임보다 이후 프레임에 존재하는 인트라 매크로 블럭의 개수(ibnb)가 많을수록 이후 프레임을 참조할 가능성이 적어지고 전방향의 이전 프레임을 참조할 가능성은 그만큼 높아지기 때문에 전방향에 대한 방향별 가중치가 커진다. 인트라(intra) 매크로블럭은 다른 프레임을 참조하지 않는 매크로블럭이어서 인트라 매크로블럭을 많이 가진 프레임에 대해선 참조할 가능성이 낮아 지기 때문이다. 후방향에 대한 방향별 가중치(dwb)에 대해서도 마찬가지 원리이므로 설명은 생략한다.
상기와 같은 수식들에 의해 가중치를 계산한 후에 상기 손실 프레임을 구성하는 픽셀에 대한 은닉 픽셀값은 하기 <수학식 4>에 의해 결정된다.
Figure 112005049865540-PAT00009
여기서, 상기 p(x,y)는 상기 손실 프레임 내의 픽셀 (x,y)에 대한 은닉 픽셀값, 상기 dwf는 전방향에 대한 방향별 가중치, 상기 dwb는 후방향에 대한 방향별 가중치, 상기
Figure 112005049865540-PAT00010
는 k번째 전방향 참조점의 픽셀값에 전방향 가중치를 곱한 값, 상기
Figure 112005049865540-PAT00011
는 k번째 후방향 참조점의 픽셀값에 후방향 가중치를 곱한 값을 의미한다. 상기 <수학식 4>는 특히 양방향 참조일 경우에 유용하지만, 전방향이나 후방향 중 하나의 방향만 참조할 경우에는 해당 방향의 방향별 가중치만 1로 부여하고, 나머지 참조하지 않은 방향의 가중치는 0으로 부여하면 되므로 전방향이나 후방향 중 하나의 방향만 참조할 경우에도 적용할 수 있다.
프레임 복원부(240)는 상기의 수학식들에 의해 구해진 은닉 픽셀값을 이용하여 은닉을 수행함으로써 손실 프레임을 복원하는 기능을 수행한다. 프레임 복원부(240)에 의해 복원된 프레임은 다시 버퍼(110)로 보내어 일정량을 저장하거나 저장부(160)로 출력하여 저장하도록 한다.
이제 본 발명의 실시예에 따른 에러 은닉 장치를 이용하여 에러 은닉을 수행하는 방법을 도 4를 참조하여 설명한다. 도 4는 본 발명의 실시예에 따른 에러 은닉 방법의 흐름을 나타내는 도면이다.
먼저, 본 발명의 실시예에 따른 동영상 디코더로 비트 스트림이 수신되면(S402), 이러한 비트 스트림이 여러 과정을 거쳐 정상적인 영상 프레임을 수신한 것인지를 판단하여야 한다(S404). 에러의 발생없이 정상적인 영상프레임을 수신한 경우는 바로 영상 출력을 하게 되고(S406), 계속해서 비트스트림을 수신하게 된다. 그러나, 수신된 영상 프레임에 에러가 발생한 경우에는 본 발명의 실시예에 따른 에러 은닉 장치(200)에 의해 에러 은닉을 수행하게 된다.
먼저, 손실 프레임을 기준으로 프레임간 장면 전환 여부를 판단함으로써 상기 손실 프레임의 참조 방향을 결정한다(S408). 장면 전환 여부의 판단은 상기 손실 프레임보다 시간적으로 선행하는 이전 프레임과 시간적으로 후행하는 이후 프레임의 이미지 데이터를 분석함으로써 판단하게 된다. 이때, 상기 장면 전환이 발생하였다고 판단되는 경우는, 상기 손실 프레임이 상기 이전 프레임과 동일한 장면인 경우는 상기 참조 방향을 전방향으로 결정하고 상기 손실 프레임이 상기 이후 프레임과 동일한 장면인 경우는 상기 참조 방향을 후방향으로 결정하며, 상기 장면 전 환이 발생하지 않았다고 판단되는 경우에는 상기 참조 방향을 양방향으로 결정하게 된다.
한편, 상기 결정된 참조 방향에 따라 상기 손실 프레임을 제외한 하나 이상의 프레임을 이용하여 상기 손실 프레임을 구성하는 픽셀에 대한 은닉 참조점을 추출하는 단계를 거치게 된다.
즉, 상기 참조 방향이 전방향인 경우는 상기 복수의 이전 프레임을 이용하여 은닉 참조점을 추출하게 되고(S410), 상기 참조 방향이 후방향인 경우는 상기 하나 이상의 이후 프레임을 이용하여 은닉 참조점을 추출하며(S414), 상기 참조 방향이 양방향인 경우는 상기 복수의 이전 프레임과 상기 하나 이상의 이후 프레임을 이용하여 은닉 참조점을 추출하게 된다(S412).
그리고, 상기 추출된 은닉 참조점에 대한 가중치를 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 단계를 수행하게 된다.
구체적으로 설명하면, 상기 참조 방향이 전방향인 경우는 전방향 가중치를 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하고(S411), 참조 방향이 후방향인 경우는 후방향 가중치를 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하며(S415), 참조 방향이 양방향인 경우는 상기 전방 가중치와 상기 후방 가중치를 부여한 후에 방향에 따른 방향별 가중치를 더 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하게 된다(S413). 여기서, 상기 전방향 가중치 또는 상기 후방향 가중치는 상술한 바와 같이 움직임 벡터의 절대값이 적을수록 높게 부여하고 상기 움직임 벡터의 절대값이 클수록 낮게 부여되며 해당하는 수식은 이미 설명하였기에 생략한다.
마지막으로, 상기 은닉 픽셀값을 이용하여 은닉을 수행함으로써 상기 프레임을 복원하여(S416), 영상을 출력하게 된다(S418).
한편, 본 발명의 권리 범위는 본 발명의 실시예에서 수행되는 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에도 미칠 것이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명의 실시예에 따르면, 디지털 TV, 휴대 전화기, 멀티미디어 단말기와 같이 압축된 동영상을 수신하고 출력하는 장비에서 프레임 손실이 일어났을 경우, 프레임 단위의 에러 은닉을 효과적으로 수행하고 에러의 전파로 인한 화질의 저하를 최소화할 수 있다.
또한, 본 발명의 실시예에 따르면, 장면 변화가 많은 영상물에서 발생하는 에러 은닉 예측의 오차를 크게 줄일 수 있으며, 다중의 이전 프레임의 참조를 수행하여 보다 많은 예측 참조점을 이용하므로 예측의 정확도를 높일 수 있다.
또한, 본 발명의 실시예에 따르면, 프레임 간의 연관성에 의한 가중치 부여에 따라, 각 예측값에 대한 반영도를 효과적으로 조정할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

Claims (21)

  1. 손실 프레임을 기준으로 프레임간 장면 전환 여부를 판단하여 상기 손실 프레임의 참조 방향을 결정하는 제 1 단계;
    상기 결정된 참조 방향에 따라 상기 손실 프레임을 제외한 적어도 하나 이상의 프레임을 이용하여 상기 손실 프레임을 구성하는 픽셀에 대한 은닉 참조점을 추출하는 제 2 단계;
    상기 추출된 은닉 참조점에 가중치를 부여하여 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 제 3 단계; 및
    상기 은닉 픽셀값을 이용하여 상기 픽셀에 대한 은닉을 수행하여 상기 손실 프레임을 복원하는 제 4 단계를 포함하는 에러 은닉 방법.
  2. 제 1 항에 있어서, 상기 제 1 단계는,
    상기 손실 프레임보다 시간적으로 선행하는 이전 프레임과 시간적으로 후행하는 이후 프레임의 이미지 데이터를 분석함으로써 상기 손실 프레임을 기준으로 프레임간 장면 전환이 발생하였는지 여부를 판단하는 제 1-1 단계; 및
    상기 장면 전환이 발생하였다고 판단되는 경우, 상기 손실 프레임이 상기 이전 프레임과 동일한 장면인 경우는 상기 참조 방향을 전방향으로 결정하고 상기 손실 프레임이 상기 이후 프레임과 동일한 장면인 경우는 상기 참조 방향을 후방향으로 결정하며, 상기 장면 전환이 발생하지 않았다고 판단되는 경우에는 상기 참조 방향을 양방향으로 결정하는 제 1-2 단계를 포함하는 에러 은닉 방법.
  3. 제 2 항에 있어서, 상기 제 2 단계는,
    상기 참조 방향이 전방향인 경우는 상기 복수의 이전 프레임을 이용하여 은닉 참조점을 추출하는 제 2-1 단계, 상기 참조 방향이 후방향인 경우는 상기 하나 이상의 이후 프레임을 이용하여 은닉 참조점을 추출하는 제 2-2 단계, 또는 상기 참조 방향이 양방향인 경우는 상기 복수의 이전 프레임과 상기 하나 이상의 이후 프레임을 이용하여 은닉 참조점을 추출하는 제 2-3 단계 중 어느 한 단계를 포함하는 에러 은닉 방법.
  4. 제 3 항에 있어서, 상기 제 3 단계는,
    상기 참조 방향이 전방향인 경우는 전방향 가중치를 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 제 3-1 단계, 상기 참조 방향이 후방향인 경우는 후방향 가중치를 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 제 3-2 단계, 또는 상기 참조 방향이 양방향인 경우는 상기 전방 가중치와 상기 후방 가중치를 부여한 후에 방향에 따른 방향별 가중치를 더 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 제 3-3 단계 중 어느 한 단계를 포함하는 에러 은닉 방법.
  5. 제 4 항에 있어서, 상기 전방향 가중치 또는 상기 후방향 가중치는,
    움직임 벡터의 절대값이 적을수록 높게 부여하고 상기 움직임 벡터의 절대값이 클수록 낮게 부여하는 에러 은닉 방법.
  6. 제 5 항에 있어서, 상기 전방향 가중치는 하기 <수학식 1>에 의해 결정되는 에러 은닉 방법.
    <수학식 1>
    Figure 112005049865540-PAT00012
    여기서, 상기 wfi는 i 번째 전방향 참조점의 픽셀값에 곱해지는 전방향 가중치, 상기
    Figure 112005049865540-PAT00013
    는 i 번째 전방향 참조점의 움직임 벡터의 크기, 상기
    Figure 112005049865540-PAT00014
    는 k 번째 전방향 참조점의 움직임 벡터의 크기, 상기 N은 전방향 참조점의 개수를 의미함.
  7. 제 5 항에 있어서, 상기 후방향 가중치는 하기 <수학식 2>에 의해 결정되는 에러 은닉 방법.
    <수학식 2>
    Figure 112005049865540-PAT00015
    여기서, 상기 wbi는 i 번째 후방향 참조점의 픽셀값에 곱해지는 후방향 가중치, 상기
    Figure 112005049865540-PAT00016
    는 i 번째 후방향 참조점의 움직임 벡터의 크기, 상기
    Figure 112005049865540-PAT00017
    는 k 번째 후방향 참조점의 움직임 벡터의 크기, 상기 M은 후방향 참조점의 개수를 의미함.
  8. 제 4 항에 있어서, 상기 방향별 가중치는 하기 <수학식 3>에 의해 결정되는 에러 은닉 방법.
    <수학식 3>
    Figure 112005049865540-PAT00018
    여기서, 상기 dwf는 전방향에 대한 방향별 가중치, 상기 dwb는 후방향에 대한 방향별 가중치, 상기 ibnf는 상기 이전 프레임의 인트라 매크로블록의 개수, 상 기 ibnb는 상기 이후 프레임의 인트라 매크로블록의 개수를 의미함.
  9. 제 4 항에 있어서, 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값은 하기 <수학식 4>에 의해 결정되는 에러 은닉 방법.
    <수학식 4>
    Figure 112005049865540-PAT00019
    여기서, 상기 p(x,y)는 상기 손실 프레임 내의 픽셀 (x,y)에 대한 은닉 픽셀값, 상기 dwf는 전방향에 대한 방향별 가중치, 상기 dwb는 후방향에 대한 방향별 가중치, 상기
    Figure 112005049865540-PAT00020
    는 k번째 전방향 참조점의 픽셀값에 전방향 가중치를 곱한 값, 상기
    Figure 112005049865540-PAT00021
    는 k번째 후방향 참조점의 픽셀값에 후방향 가중치를 곱한 값을 의미함.
  10. 손실 프레임을 기준으로 프레임간 장면 전환 여부를 판단하여 상기 손실 프레임의 참조 방향을 결정하는 참조 방향 결정부;
    상기 참조 방향에 따라 상기 손실 프레임을 제외한 적어도 하나 이상의 프레임을 이용하여 상기 손실 프레임을 구성하는 픽셀에 대한 은닉 참조점을 추출하는 은닉 참조점 추출부;
    상기 추출된 은닉 참조점에 가중치를 부여하여 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 가중치 계산부; 및
    상기 은닉 픽셀값을 이용하여 상기 픽셀에 대한 은닉을 수행하여 상기 손실 프레임을 복원하는 프레임 복원부를 포함하는 에러 은닉 장치.
  11. 제 10 항에 있어서, 상기 참조 방향 결정부는,
    상기 손실 프레임보다 시간적으로 선행하는 이전 프레임과 시간적으로 후행하는 이후 프레임의 이미지 데이터를 분석함으로써 상기 손실 프레임을 기준으로 프레임간 장면 전환이 발생하였는지 여부를 판단하는 장면 전환 판단부를 포함하는 에러 은닉 장치.
  12. 제 11 항에 있어서, 상기 참조 방향 결정부는,
    상기 장면 전환 판단부에 의해 상기 장면 전환이 발생하였다고 판단되는 경우, 상기 손실 프레임이 상기 이전 프레임과 동일한 장면인 경우는 상기 참조 방향을 전방향으로 결정하고 상기 손실 프레임이 상기 이후 프레임과 동일한 장면인 경우는 상기 참조 방향을 후방향으로 결정하는 에러 은닉 장치.
  13. 제 11 항에 있어서, 상기 참조 방향 결정부는,
    상기 장면 전환 판단부에 의해 상기 장면 전환이 발생하지 않았다고 판단되 는 경우, 상기 참조 방향을 양방향으로 결정하는 에러 은닉 장치.
  14. 제 11 항에 있어서, 상기 은닉 참조점 추출부는,
    상기 장면 전환 판단부에 의해 상기 참조 방향이 전방향으로 판단된 경우는 상기 복수의 이전 프레임을 이용하여 은닉 참조점을 추출하고, 상기 참조 방향이 후방향으로 판단된 경우는 상기 하나 이상의 이후 프레임을 이용하여 은닉 참조점을 추출하며, 상기 참조 방향이 양방향으로 판단된 경우는 상기 복수의 이전 프레임과 상기 하나 이상의 이후 프레임을 이용하여 은닉 참조점을 추출하는 에러 은닉 장치.
  15. 제 11 항에 있어서, 상기 가중치 계산부는,
    상기 장면 전환 판단부에 의해 상기 참조 방향이 전방향으로 판단된 경우는 전방향 가중치를 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하고, 상기 참조 방향이 후방향으로 판단된 경우는 후방향 가중치를 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하며, 상기 참조 방향이 양방향으로 판단된 경우는 상기 전방 가중치와 상기 후방 가중치를 부여한 후에 방향에 따른 방향별 가중치를 더 부여함으로써 상기 손실 프레임을 구성하는 픽셀의 은닉 픽셀값을 구하는 에러 은닉 장치.
  16. 제 15 항에 있어서, 상기 전방향 가중치 또는 상기 후방향 가중치는,
    움직임 벡터의 절대값이 적을수록 높게 부여하고 상기 움직임 벡터의 절대값이 클수록 낮게 부여하는 에러 은닉 장치.
  17. 제 16 항에 있어서, 상기 전방향 가중치는 하기 <수학식 1>에 의해 결정되는 에러 은닉 장치.
    <수학식 1>
    Figure 112005049865540-PAT00022
    여기서, 상기 wfi는 i 번째 전방향 참조점의 픽셀값에 곱해지는 전방향 가중치, 상기
    Figure 112005049865540-PAT00023
    는 i 번째 전방향 참조점의 움직임 벡터의 크기, 상기
    Figure 112005049865540-PAT00024
    는 k 번째 전방향 참조점의 움직임 벡터의 크기, 상기 N은 전방향 참조점의 개수를 의미함.
  18. 제 16 항에 있어서, 상기 후방향 가중치는 하기 <수학식 2>에 의해 결정되는 에러 은닉 장치.
    <수학식 2>
    Figure 112005049865540-PAT00025
    여기서, 상기 wbi는 i 번째 후방향 참조점의 픽셀값에 곱해지는 후방향 가중치, 상기
    Figure 112005049865540-PAT00026
    는 i 번째 후방향 참조점의 움직임 벡터의 크기, 상기
    Figure 112005049865540-PAT00027
    는 k 번째 후방향 참조점의 움직임 벡터의 크기, 상기 M은 후방향 참조점의 개수를 의미함.
  19. 제 15 항에 있어서, 상기 방향별 가중치는 하기 <수학식 3>에 의해 결정되는 에러 은닉 장치.
    <수학식 3>
    Figure 112005049865540-PAT00028
    여기서, 상기 dwf는 전방향에 대한 방향별 가중치, 상기 dwb는 후방향에 대한 방향별 가중치, 상기 ibnf는 상기 이전 프레임의 인트라 매크로블록의 개수, 상 기 ibnb는 상기 이후 프레임의 인트라 매크로블록의 개수를 의미함.
  20. 제 15 항에 있어서, 상기 손실 프레임의 은닉 픽셀값은 하기 <수학식 4>에 의해 결정되는 에러 은닉 장치.
    <수학식 4>
    Figure 112005049865540-PAT00029
    여기서, 상기 p(x,y)는 상기 손실 프레임 내의 픽셀 (x,y)에 대한 은닉 픽셀값, 상기 dwf는 전방향에 대한 방향별 가중치, 상기 dwb는 후방향에 대한 방향별 가중치, 상기
    Figure 112005049865540-PAT00030
    는 k번째 전방향 참조점의 픽셀값에 전방향 가중치를 곱한 값, 상기
    Figure 112005049865540-PAT00031
    는 k번째 후방향 참조점의 픽셀값에 후방향 가중치를 곱한 값을 의미함.
  21. 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020050082858A 2005-06-30 2005-09-06 에러 은닉 방법 및 장치 KR100736041B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20060115980 EP1739974B1 (en) 2005-06-30 2006-06-23 Error concealment method and apparatus
DE602006016044T DE602006016044D1 (de) 2005-06-30 2006-06-23 Verfahren und Vorrichtung zur Fehlerverdeckung.
JP2006178275A JP4440233B2 (ja) 2005-06-30 2006-06-28 エラー隠匿方法及び装置
US11/476,673 US8369416B2 (en) 2005-06-30 2006-06-29 Error concealment method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US69499805P 2005-06-30 2005-06-30
US60/694,998 2005-06-30

Publications (2)

Publication Number Publication Date
KR20070003502A true KR20070003502A (ko) 2007-01-05
KR100736041B1 KR100736041B1 (ko) 2007-07-06

Family

ID=37598085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050082858A KR100736041B1 (ko) 2005-06-30 2005-09-06 에러 은닉 방법 및 장치

Country Status (4)

Country Link
US (1) US8369416B2 (ko)
KR (1) KR100736041B1 (ko)
CN (1) CN100525462C (ko)
DE (1) DE602006016044D1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013058635A3 (ko) * 2011-10-21 2013-06-20 삼성전자 주식회사 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
US8509314B2 (en) 2007-06-19 2013-08-13 Samsung Electronics Co., Ltd. Method and apparatus for spatial error concealment of image
KR101366244B1 (ko) * 2007-04-24 2014-02-21 삼성전자주식회사 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치
KR101477315B1 (ko) * 2007-06-20 2015-01-27 마이크로소프트 코포레이션 프레임 손실에 의해 야기된 실시간 비디오 아티팩트를 은폐하는 메커니즘
KR20200093212A (ko) * 2019-01-28 2020-08-05 건국대학교 산학협력단 양방향 영상 에러 은닉 장치 및 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7463755B2 (en) * 2004-10-10 2008-12-09 Qisda Corporation Method for correcting motion vector errors caused by camera panning
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
KR101733735B1 (ko) * 2009-12-07 2017-05-08 에스케이 텔레콤주식회사 쌍예측을 이용한 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
GB2491589B (en) 2011-06-06 2015-12-16 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of image
CN102307304B (zh) * 2011-09-16 2013-04-03 北京航空航天大学 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法
WO2013075318A1 (en) * 2011-11-24 2013-05-30 Thomson Licensing Video quality measurement
KR20140110881A (ko) * 2011-11-25 2014-09-17 톰슨 라이센싱 장면 컷 결함들을 고려한 비디오 품질 평가
CN102752602B (zh) * 2012-06-19 2014-11-26 清华大学 视频序列的丢失帧恢复方法及装置
KR20140006453A (ko) * 2012-07-05 2014-01-16 현대모비스 주식회사 영상 데이터의 디코딩 방법 및 장치
KR20140016735A (ko) * 2012-07-31 2014-02-10 삼성전자주식회사 3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치
CN103714821A (zh) 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
CN105430237B (zh) * 2015-11-26 2019-01-29 Tcl移动通信科技（宁波）有限公司 一种帧缺失图像的处理方法及系统
CN111556334B (zh) * 2020-03-27 2021-01-19 李惠芳 一种互联网视频平滑方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100215428B1 (ko) * 1995-01-23 1999-08-16 윤종용 B픽처의에러은폐방법
US6078616A (en) 1997-03-13 2000-06-20 Sony Corporation Methods and apparatus for error concealment utilizing temporal domain motion vector estimation
US6895048B2 (en) 1998-03-20 2005-05-17 International Business Machines Corporation Adaptive encoding of a sequence of still frames or partially still frames within motion video
GB2343321B (en) 1998-11-02 2003-03-26 Nokia Mobile Phones Ltd Error concealment in a video signal
KR100587274B1 (ko) 1999-07-22 2006-06-08 엘지전자 주식회사 엠펙­２ 압축복원시스템에서의 오류 은폐방법
WO2002056589A1 (en) * 2001-01-16 2002-07-18 Koninklijke Philips Electronics N.V. Reducing halo-like effects in motion-compensated interpolation
KR100774453B1 (ko) * 2001-03-15 2007-11-08 엘지전자 주식회사 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법
JP3861623B2 (ja) * 2001-06-05 2006-12-20 ソニー株式会社 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム
US20030012286A1 (en) 2001-07-10 2003-01-16 Motorola, Inc. Method and device for suspecting errors and recovering macroblock data in video coding
KR100761542B1 (ko) 2001-10-17 2007-09-27 매그나칩 반도체 유한회사 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉장치 및 방법
KR100429020B1 (ko) * 2002-02-05 2004-04-29 (주)씨앤에스 테크놀로지 Ｍｐｅｇ－４ 영상의 복호 방법
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
KR20050019876A (ko) 2002-07-15 2005-03-03 노키아 코포레이션 비디오 시퀀스에서 오류 은폐 방법
KR100640498B1 (ko) 2003-09-06 2006-10-30 삼성전자주식회사 프레임의 오류 은닉 장치 및 방법
US7515637B2 (en) * 2004-05-21 2009-04-07 Broadcom Advanced Compression Group, Llc Video decoding for motion compensation with weighted prediction
US7885339B2 (en) * 2004-11-17 2011-02-08 Microsoft Corporation Bi-directional temporal error concealment
JP4755490B2 (ja) * 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366244B1 (ko) * 2007-04-24 2014-02-21 삼성전자주식회사 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치
US8509314B2 (en) 2007-06-19 2013-08-13 Samsung Electronics Co., Ltd. Method and apparatus for spatial error concealment of image
KR101420098B1 (ko) * 2007-06-19 2014-07-17 삼성전자주식회사 영상의 공간적 에러 은닉 방법 및 장치
KR101477315B1 (ko) * 2007-06-20 2015-01-27 마이크로소프트 코포레이션 프레임 손실에 의해 야기된 실시간 비디오 아티팩트를 은폐하는 메커니즘
US9876986B2 (en) 2007-06-20 2018-01-23 Microsoft Technology Licensing, Llc Mechanisms to conceal real time video artifacts caused by frame loss
WO2013058635A3 (ko) * 2011-10-21 2013-06-20 삼성전자 주식회사 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
US10468034B2 (en) 2011-10-21 2019-11-05 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
US10984803B2 (en) 2011-10-21 2021-04-20 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
US11657825B2 (en) 2011-10-21 2023-05-23 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
KR20200093212A (ko) * 2019-01-28 2020-08-05 건국대학교 산학협력단 양방향 영상 에러 은닉 장치 및 방법

Also Published As

Publication number Publication date
CN100525462C (zh) 2009-08-05
US20070064812A1 (en) 2007-03-22
CN1893665A (zh) 2007-01-10
US8369416B2 (en) 2013-02-05
DE602006016044D1 (de) 2010-09-23
KR100736041B1 (ko) 2007-07-06

Similar Documents

Publication Publication Date Title
KR100736041B1 (ko) 에러 은닉 방법 및 장치
KR100587280B1 (ko) 오류 은폐방법
US8073048B2 (en) Method and apparatus for minimizing number of reference pictures used for inter-coding
JP4001400B2 (ja) 動きベクトル検出方法及び動きベクトル検出装置
US8654848B2 (en) Method and apparatus for shot detection in video streaming
RU2402885C2 (ru) Классификация контента для обработки мультимедийных данных
KR100301833B1 (ko) 오류은폐방법
KR20040062331A (ko) 동영상 압축 부호화를 위한 움직임 예측 방법과 그기록매체
WO2010109564A1 (ja) 画像符号化装置及び画像符号化方法
JP3519441B2 (ja) 動画像伝送装置
KR20050025568A (ko) 프레임의 오류 은닉 장치 및 방법
JP4440233B2 (ja) エラー隠匿方法及び装置
JP4266227B2 (ja) 動画像信号処理装置
KR100587274B1 (ko) 엠펙­２ 압축복원시스템에서의 오류 은폐방법
JP3800435B2 (ja) 動画像信号処理装置
US7738726B2 (en) Block distortion reduction apparatus
KR20030065694A (ko) 시공간적 정보를 이용한 인트라 프레임의 에러 은닉방법
JPH08242457A (ja) 動きベクトル検出方法
KR100897884B1 (ko) 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법
KR100388802B1 (ko) 오류은폐장치및방법
Horne Improving block-based motion estimation by the use of global motion
Yu et al. Video error concealment via total variation regularized matrix completion
JPH08172631A (ja) 画像予測符号化方法
KR100689216B1 (ko) 서브블록을 이용한 인트라 프레임의 시간적인 오류은닉방법
Ye et al. Feature-based adaptive error concealment for image transmission over wireless channel

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120517

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130522

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee