KR20150028951A - 공간적 모션 벡터 복원 장치 및 복원 방법 - Google Patents

공간적 모션 벡터 복원 장치 및 복원 방법 Download PDF

Info

Publication number
KR20150028951A
KR20150028951A KR20140117607A KR20140117607A KR20150028951A KR 20150028951 A KR20150028951 A KR 20150028951A KR 20140117607 A KR20140117607 A KR 20140117607A KR 20140117607 A KR20140117607 A KR 20140117607A KR 20150028951 A KR20150028951 A KR 20150028951A
Authority
KR
South Korea
Prior art keywords
motion vector
slice
orthogonal
motion
closest
Prior art date
Application number
KR20140117607A
Other languages
English (en)
Other versions
KR102251200B1 (ko
Inventor
이태욱
김창곤
신키 모하메드
리 벤
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Publication of KR20150028951A publication Critical patent/KR20150028951A/ko
Application granted granted Critical
Publication of KR102251200B1 publication Critical patent/KR102251200B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 수신 비디오 스트림의 에러 은폐를 수행하기 위한 공간적 모션벡터 복원 장치에 관한 것으로서, 유실 슬라이스의 상단에 위치한 제1 슬라이스에서 제1 모션벡터를 선택하고, 상기 유실 슬라이스의 하단에 위치한 제2 슬라이스에서 제2 모션벡터를 선택하는 제1 선택부; 상기 제1 모션벡터에 직교하는 제1 직교 모션벡터를 결정하고, 상기 제2 모션벡터에 직교하는 제2 직교 모션벡터를 결정하는 제2 선택부; 및 유효 모션벡터들의 가중치 평균을 이용하여 상기 유실 슬라이스에 포함된 유실 모션벡터를 연산하는 복원부를 포함하고, 상기 유효 모션벡터들은 상기 제1 모션벡터, 제2 모션벡터, 제1 직교 모션벡터, 및 제2 직교 모션벡터 중 적어도 하나를 포함하는 것을 특징으로 한다.

Description

공간적 모션 벡터 복원 장치 및 복원 방법{Apparatus and method for recovering spatial motion vector}
본 발명은 수신 비디오 스트림의 공간적 모션 벡터 복원 장치 및 복원 방법에 관한 것이다.
이동 기기(Mobile Device)가 일반화되고 있고 더욱 복잡해 지고 있다. 그 결과, 이러한 이동 기기에서의 무선 통신 부분의 중요성이 더욱 증대되고 있다. 동시에 유용성 및 퀄러티 측면에서의 비디오 요구사항들이 발생하고 있다. HD(High Definition) 비디오는 최근 비디오 요구사항들을 만족시키기 위한 선택의 표준이다.
하지만, HD 비디오는 높은 데이터율(Data Rates)로 특징 지어진다. H.264로 압축된 HD 비디오는 802.11 무선 네트워크를 통해 무선으로 스트리밍될 수 있다. 하지만, 이 같은 무선 네트워크들은 패킷 유실이 발생하기 쉽고, 그 결과 인지 할 수 있는 정도의 비디오 품질 저하가 발생된다. 따라서, 열화된 비디오의 시각적인 품질 향상을 위해 에러은폐(Error Concealment: EC)를 수행하는 것이 중요하다.
본 발명은 상술한 종래기술의 불리한점 및 한계로 인한 문제점들을 해결하고자 고안된 것으로, 본 발명은 수신 비디오 스트림의 공간적 모션 벡터 복원 장치 및 복원 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 수신 비디오 스트림 상에서 에러 은폐를 수행할 수 있는 수신 비디오 스트림의 공간적 모션 벡터 복원 장치 및 복원 방법을 제공하는 것을 다른 목적으로 한다.
위에서 기술된 본 발명의 목적에 이외에 본 발명의 다른 특징들 및 장점들은 아래에서 설명되며, 이는 아래의 설명을 기초로 당업자에 의해 명확하게 이해 될 수 있다.
위에서 기술된 본 발명의 특징 및 효과 이외에 본 발명의 다른 특징들 및 효과들이 본 발명의 실시예들로부터 새롭게 해석될 수 있다.
본 발명의 추가적인 장점 및 특징들은 발명의 상세한 설명 부분에서 설명될 것이고, 이는 당업자에게 명백한 것이고 본 발명의 실시를 통해 학습될 수 있을 것이다. 본 발명의 목적들 및 추가적인 장점들은 첨부된 도면뿐만 아니라 청구항 및 상세한 설명에서 특별하게 기재된 구조에 의해서도 인식되거나 획득될 수 있을 것이다.
본 발명은 상술한 바와 같은 목적을 달성하기 위해서, 수신 비디오 스트림에서 에러 은폐를 수행하기 위한 공간적 모션 벡터 복원 방법으로서, 유실 슬라이스의 상단에 위치한 제1 슬라이스에서 제1 모션벡터를 선택하고, 상기 유실 슬라이스의 하단에 위치한 제2 슬라이스에서 제2 모션벡터를 선택하는 제1 단계; 상기 제1 모션벡터에 직교하는 적어도 하나의 제1 직교 모션벡터를 결정하고, 상기 제2 모션벡터에 직교하는 적어도 하나의 제2 직교 모션벡터를 결정하는 제2 단계; 및 유효 모션벡터들의 가중치 평균을 이용하여 상기 유실 슬라이스에 포함된 유실 모션벡터를 연산하는 단계를 포함하고, 상기 유효 모션벡터들은 상기 제1 모션벡터, 제2 모션벡터, 제1 직교 모션벡터, 및 제2 직교 모션벡터 중 적어도 하나를 포함하는 것을 특징으로 하는 공간적 모션벡터 복원 방법을 제공한다.
또한, 본 발명은 상술한 바와 같은 목적을 달성하기 위해서, 수신 비디오 스트림에서 에러 은폐를 수행하기 위한 공간적 모션벡터 복원 장치에 있어서, 유실 슬라이스의 상단에 위치한 제1 슬라이스에서 제1 모션벡터를 선택하고, 상기 유실 슬라이스의 하단에 위치한 제2 슬라이스에서 제2 모션벡터를 선택하는 제1 선택부; 상기 제1 모션벡터에 직교하는 제1 직교 모션벡터를 결정하고, 상기 제2 모션벡터에 직교하는 제2 직교 모션벡터를 결정하는 제2 선택부; 및 유효 모션벡터들의 가중치 평균을 이용하여 상기 유실 슬라이스에 포함된 유실 모션벡터를 연산하는 복원부를 포함하고, 상기 유효 모션벡터들은 상기 제1 모션벡터, 제2 모션벡터, 제1 직교 모션벡터, 및 제2 직교 모션벡터 중 적어도 하나를 포함하는 것을 특징으로 하는 공간적 모션벡터 복원 장치를 제공한다.
상술한 본 발명의 일반적인 설명 및 후술할 본 발명의 구체적인 설명은 예시적인 것이고 청구된 발명의 추가적인 설명을 제공하기 위해 의도된 것으로 이해되어야 한다.
본 발명에 따르면, 유실 슬라이스에 포함된 모션 벡터를 효율적으로 복원함으로써 전송된 비디오의 품질을 향상시킬 수 있는 효과가 있다.
본 발명의 추가적인 이해를 돕기 제공된 것으로 본 출원의 일부를 구성하는 도면은 본 발명의 실시예들을 도시하고 상세한 설명과 함께 본 발명의 주요한 특징을 설명한다.
도 1은 본 발명에 따른 공간 모션 벡터 복원 방법의 실시예를 도시한 것이다.
도 2는 유실 매크로 블록과 관련된 제1 모션 벡터 및 제2 모션 벡터의 위치 및 거리를 도시한 것이다.
도 3은 제1 모션 벡터, 제2 모션 벡터, 및 거리 반비례 가중법(Inverse Distance Weighting)을 통해 유실 모션 벡터의 값을 추정하기 위해 이용되는 제1 및 제2 모션 벡터의 이웃들을 도시한 것이다.
도 4는 거리와 관련된 모션 벡터의 공간적 관계를 도시한 것이다.
도 5는 1080p HD 테스트 비디오의 사양을 도시한 것이다.
도 6은 -1부터1까지 변화하는 Moran's I 값의 히스토그램을 도시한 것이다.
도 7은 본 발명에 따른 모션 벡터 복원 장치의 실시예를 도시한 것이다.
도 8A 및 도 8B는 네트워크 패킷 유실로 인한 유실 슬라이스 정보를 갖는 오류 프레임과 원본 프레임 간의 비교를 도시한 것이다.
도 9A 내지 도 9E는 기존의 EC 테크닉들의 비교를 도시한 것이다.
도 10A 내지 도 10F는 CMVR을 이용하여 숨겨진 5개의 유실 시나리오들을 갖는 6개의 테스트 비디오에 대한 측정결과를 도시한 것이다.
도 11은 6개의 테스트 비디오들에 대해 CMVR 및 기본 방법(Default Method)을 위한 복원된 모션 벡터들을 이용하여 숨겨진 매크로 블록들의 퍼센트 분포를 도시한 것이다.
도 12A 내지 도 12C는 기본 방법 및 CMVR 모두를 이용하여 숨겨진 Med2의 3개의 케이스들에 대한 오류 프레임과 원본 프레임 간의 비교를 보여주는 것이다.
이하에서는 본 발명에 따른 공간적 모션벡터 복원 장치 및 복원 방법을 도면을 참조하여 상세하게 설명한다.
매크로 블록(MB) 후보(Candidate) 시스템에 기초한 본 발명은 "Weighted Nearest Valid MV Averaging (이하, 'WMVMA'라 함)"이라 불리는 새로운 모션 벡터(MV)복원 기술을 제공한다. WNVMA는 모션 벡터 후보들(예컨대, 평균(mean) 모션 벡터 테크닉, 메디안(Median) 모션 벡터 테크닉, 최후(Last) 모션 벡터 테크닉, 및 제로(Zero) 모션 벡터 테크닉)의 기본 셋(Set)을 보충하기 위해 제안된 것이다. 기본 테크닉들과 새로운 테크닉의 조합은 "Competitive Motion Vector Recovery (이하, 'CMVR'이라 함)"로써 언급될 것이다.
WNVMVA의 목표는 유효 모션 벡터들(즉, 적절하게 수신되어 복호화된 모션 벡터들, 이 모션 벡터들은 유실 모션 벡터들에 공간적으로 인접해 있음)을 이용함에 의해 모션 벡터들 간의 공간적인 관계들을 활용하는 것이다. 반대로, 모션 벡터들은 인트라 코딩(Intra-coding) 또는 패킷 유실로 인해 유효하지 않을 수 있다. 공간적으로 인접한 유효 모션 벡터들은 유실 모션 벡터들을 추정하기 위해 이용된다. 추정된 모션 벡터들은 모션 벡터들의 공간적인 특징을 정확하게 나타내지 못하기 때문에 WNVMVA로부터 배제된다. 따라서, 유효 모션 벡터들만을 분석함에 의해 모션 벡터들 간의 보다 정확한 공간적인 관계를 노출시키는 것이 가능해진다.
도 1은 본 발명에 따른 모션 벡터 복원 방법의 실시예를 도시한 것이다.
도 1에서 알 수 있듯이, 본 발명에 따른 모션 벡터 복원 방법은 단계 1100에서 제1 모션 벡터 및 제2 모션 벡터를 선택한다.
본 발명은, 유실 슬라이스(Slice) 내에서 각각의 매크로 블록에 대하여, 유실 슬라이스의 상단에 위치한 슬라이스로부터 하나의 유효 모션 벡터(제1 모션 벡터)를 선택하고, 유실 슬라이스의 하단에 위치한 슬라이스로부터 다른 유효 모션 벡터(제2 모션 벡터)를 선택한다. 이는 도 2에 도시된 바와 같다.
도 2는 유실 매크로 블록과 관련된 제1 모션 벡터 및 제2 모션 벡터의 위치 및 거리를 도시한 것이다. 도 2에서 알 수 있듯이, 이러한 선택은 적절하게 수신되어 복호된 슬라스들의 유용성에 기초하여 수행된다. 예컨대, 만약 유실 슬라이스의 상단에 위치한 슬라이스가 프레임 내에서 첫 번째 슬라이스이고, 상단에 위치한 슬라이스 또한 유실되었다고 가정하면, 그때에는 하단에 위치한 유효 모션 벡터만이 고려된다. 상단의 유효 모션 벡터는 제1 모션 벡터(MV1)로 언급되고 하단의 유효 모션 벡터는 제2 모션 벡터(MV2)로 언급하기로 한다. 제1 모션 벡터 및 제2 모션 벡터 모두는 유실 모션 벡터에 수직 방향에서 공간적으로 근접해 있다. 제1 모션 벡터와 유실 모션 벡터간의 거리는 d1이고, 제2 모션 벡터와 유실 모션 벡터간의 거리는 d2이다. 유실 매크로 블록과 제1 모션 벡터에 대한 매크로 볼록(및 제2 모션 벡터에 대한 매크로 블록) 사이의 매크로 블록들에 대한 모션 벡터들은 유실되었거나 인트라 코딩된 것이기 때문에 유효하지 않은 것으로 가정되고, 이에 따라 이러한 매크로 블록들에 대한 모션 벡터들은 존재하지 않는 다는 것을 주목해야 한다.
패킷 유실을 경험한 H.264 비디오의 컨텍스트에서 수평방향으로 유효 모션 벡터들은 일반적으로 사용할 수 없다. 이는 유실된 시각적인 정보는 전체 프레임을 가로질러 뻗어 나가기 때문이다. H.264 비디오에 오류가 발생하면, 슬라이스의 부분, 전체 슬라이스, 또는 복수개의 슬라이스들이 유실된다. 하지만, 일부 유실 슬라이스 영역들은 하나의 프레임의 중간에서 시작되거나 끝날 수 있다. 이러한 경우 수평방향으로 이용 가능한 유효 모션 벡터들이 일부 존재할 수 있다. 그러나 이러한 이용 가능성은 유실 매크로 블록들(유실 슬라이스의 상단 및 하단 열에 포함된 것들)의 전체 개수 중 단지 작은 부분으로만 한정된다. 예컨대, HD 비디오에서 전형적인 프레임은 8개의 슬라이스를 포함하고, 각 슬라이스는 8개 또는 9개의 매크로 블록 열로 구성된다. 만약 이러한 슬라이스들 중 하나가 중간 프레임에서 시작되거나 끝나는 경우 하나의 열에서 대략 절반의 매크로 블록들만이(하나의 슬라이스에서의 전체 매크로 블록들의 10%이하) 수평방향으로 이웃하는 유효 모션 벡터들을 가지게 된다. 따라서, 일반적으로 유실 매크로 블록의 관점에서 수평방향으로는 이용 가능한 유효한 매크로 블록들이 아주 작다.
도 1에서 알 수 있듯이, 본 발명에 따른 모션 벡터 복원 방법은 단계 1200에서, 제1 직교(Orthogonal) 모션 벡터 및 제2 직교 모션 벡터들을 선택한다.
일단 제1 모션 벡터 및 제2 모션 벡터가 설정되면, 그들 각각에 직교하는 인접한 유효 모션벡터들(즉, 제1 직교 모션 벡터 및 제2 직교 모션 벡터)이 결정된다. 이 과정은 도 3에 도시되어 있다.
도 3은 제1 모션 벡터, 제2 모션 벡터, 및 거리 반비례 가중법(Inverse Distance Weighting: IDW)을 통해 유실 모션 벡터의 값을 추정하기 위해 이용되는 제1 및 제2 모션 벡터의 이웃들을 도시한 것이다.
도 3에서 알 수 있듯이, 제1 모션 벡터에 가장 인접한 유효한 이웃은 좌측 이웃인 MV1L과 우측 이웃인 MV1R, 및 상측 이웃인 MV1T이다. 유사하게, 제2 모션 벡터에 가장 인접한 이웃은 좌측 이웃인 MV2L, 우측 이웃인 MV2R, 및 하측 이웃인 MV2B이다. 제1 모션 벡터(또는 제2 모션 벡터)와 그것의 가장 인접한 유효 이웃 사이에 존재할 수 있는 어떠한 모션 벡터들은 인트라 코딩 되었거나 유실되었기 때문에 유효하지 않은 것으로 고려된다. 유실 매크로 블록에 대한 모션 벡터는 오로지 제1 모션 벡터 및 제2 모션 벡터에 기초하여 추정될 수 있다. 하지만, 제1 모션 벡터 및 제2 모션 벡터에 직교하는 이웃한 유효 모션 벡터들은 유실 모션 벡터들을 보다 정확하게 추정하는데 유용한 공간적 상관성 정보를 제공한다. 제1 모션 벡터와 제2 모션 벡터뿐만 아니라 그들의 이웃들까지도 고려함에 의해, 유실 모션 벡터들의 추정 과정이 모션 벡터들의 공간적인 특성에 대해 더 대표성을 띄게 된다. 더욱이, 좌측 및 우측 이웃들이, 특히, 수평에서의 공간적인 상관성을 설명한다. 이러한 선택은 유실 모션 벡터에 수평방향으로 이웃하는 유효 모션 벡터들의 부재를 보상하게 된다.
도 1에서 알 수 있듯이, 본 발명에 따른 모션 벡터 복원 방법은 단계 1300에서, 유효 모션 벡터들을 이용하여 유실 모션 벡터를 복원한다.
제1 모션 벡터, 제2 모션 벡터, 및 그들의 유효한 직교 이웃들을 이용하여 유실 모션 벡터에 대한 추정이 계산된다. 이것은 거리 반비례 가중법(IDW)을 통해 수행된다. 거리 반비례 가중법은 알려진 포인트들의 가중치 평균(Weighted Average)을 이용하여 알려지지 않은 포인트들의 값을 추정하는 보간법(Interpolation)이다. 각 유효 모션 벡터들의 가중치는 알려지지 않은 모션 벡터와 해당 모션 벡터 사이의 거리에 반비례 한다. 이 반비례 관계는 서로 인접한 모션 벡터들은 서로 떨어져 있는 모션 벡터들 보다 공간적으로 더 의존적이라는 가정에 기초한 것이다. 이러한 아이디어의 단순한 그래픽적 도시를 도 4에서 알 수 있다. 도 4는 중첩된 모션 벡터들을 갖는 비디오 프레임의 부분을 확대한 것이다. 도 4에서 알 수 있듯이, 모션 벡터들은 그들이 서로 인접할수록 더 큰 유사성을 보여주고, 그들이 서로 멀어질수록 더 큰 차이성을 보여준다. 따라서, 적절하게 복호화된 모션 벡터와 유실 모션 벡터들 사이의 거리가 짧을수록 유실 모션 벡터의 추정에 가해지는 임팩트는 더 커진다.
본 발명에서 유효 모션 벡터들의 선택은 그들 간의 공간적 자기상관(Autocorrelation)을 측정함에 의해 수학적으로 분석될 수 있다. 공간적 자기상관은 공간적으로 관련된 유효 모션 벡터들이 그들의 값 및 프레임 내에서 그들의 상대적인 위치들에 얼마나 기초하고 있는지를 통계적으로 측정한다. 목표는 유효 모션 벡터들 간의 양(Positive)의 상관성을 달성하는 것인데, 이것은 모션 벡터들의 선택뿐만 아니라 거리 반비례 가중법(IDW) 공식을 정당화 시킨다. 공간적 자기상관 통계분석을 수행하기 위해, "Moran's I"가 적용된다. Moran's I는 그 값이 -1(완전 분산)에서부터 +1(완전 상관)까지 변화하는 인덱스이다. 0(Zero)은 확률 공간적 관계를 나타낸다. Moran's I는 아래의 수학식에 의해 정의된다.
<수학식>
Figure pat00001
상기 수학식에서 N은 프레임 내에서 매크로 블록(x:y)의 좌표에 따라 i 및 j로 인덱스되는 유효 모션 벡터값들의 개수이고, X는 모션 벡터 값을 나타내는 변수이며,
Figure pat00002
는 X의 평균이며, wij 는 N*N 크기의 공간 가중치 행렬(Spatial Weights Matrix: SWM)의 엘리먼트이다.
Moran's I 수학식의 이용을 도시하기 위해, 8개의 유효 모션 벡터들이 모두 유효한 경우를 고려하기로 한다. Moran's I 분석 때문에, 오류가 발생되지 않은 비디오 버전으로부터 유실 모션 벡터의 값을 획득함에 의해 추정상 유실 모션 벡터 또한 고려된다. 결과적으로 전체 9개의 적절히 복호화된 모션 벡터들에서 8개의 유효 모션 벡터들이 실제 값에 관련된 공간적인 상관성 및 유실 모션 벡터의 추정상 위치를 위해 테스트 된다. 이러한 공간적인 상관성을 정량화 함에 의해, 유실 모션 벡터의 값을 신뢰성있게 추정하는 거리 반비례 가중법(IDW)에 기초한 모델 구성이 가능해진다.
전체 9개의 모션 벡터들은 N이 9라는 것을 의미한다. 따라서, SWM은 9*9 행렬이 되고, 이는 각 i; j쌍의 위치에서의 모션 벡터 값들 간의 상호작용에 대한 가능성(즉, 공간적인 상관성의 가능성)을 나타낸다. 이러한 상호작용들 각각은 가중치 형태로 표현된다. 아래의 행렬은 일반적인 9*9 SWM을 보여준다. 정의에 따라, SWM의 대각 엘리먼트들(wij)은 0으로 설정되고, 나머지 엘리먼트들(wij)은 거리 기반 가중치로써 계산된다.
<수학식>
Figure pat00003
각 거리 기반 가중치는 2개의 모션 벡터들 사이의 매크로 블록 거리의 역수이다. 예를 들면, 제1 모션 벡터 및 제1 좌측 이웃 모션 벡터 사이의 공간적 가중치 관계는 SWM에서 엘리먼트 W12에 의해 표시된다. 이 모션 벡터들이 5개의 매크로 블록만큼 떨어져 있다고 가정하면, W12=1/5이 된다. 일단, SWM이 결정되면, 프레임에서 각 모션 벡터들에 대해 Moran's I가 계산된다. 이는 모션 벡터값들의 x 및 y컨포넌트 모두에 대해 별도로 행해진다. 도 6은 X-games (skate) 테스트 비디오(도 5 참조)의 모션 벡터 y 컴포넌트에 대한 Moran's I 의 전형적인 분포를 보여준다. 유사한 특성이 x 컴포넌트값 뿐만 아니라 X-games의 다른 프레임 및 다른 테스트 비디오에서도 보여질 수 있다. 도 6으로부터, Moran's I 값의 대부분은 양수이고 대략 0.8 주위에 집중된다는 것을 알 수 있다. 이는 Moran's I 값을 계산하기 위한 SWM 구성에 이용되어진 IDW에 따른 모션 벡터값들 사이의 양(Positive)의 공간적 자기상관의 강한 표시에 해당한다. 비록 0근처에 많은 Moran's I 값들이 있을 지라도, 이는 인트라 코딩된 매크로 블록들(모션 벡터 값을 갖지 않는 블록)과 유효 이웃 모션 벡터들을 갖지 않는 모션 벡터들에 대해 0의 Moran's I 값을 할당한 것에 기인한 것이다. 이러한 모든 것을 고려할 때, 도 6에 도시된 바와 같이, Moran's I를 통한 공간적 자기 상관 분석 또는 결과는 유실 모션 벡터의 추정 및 IDW기반의 공식을 뒷받침한다. 그 결과는 WNVMVA 공식이고, 그 공식은 아래의 수학식과 같다.
<수학식>
Figure pat00004
도 7은 본 발명에 따른 모션 벡터 복원 장치의 실시예를 도시한 것이다.
도 7에서 알 수 있듯이, 본 발명에 따른 모션 벡터 복원 장치는 제1 선택부(200), 제2 선택부(300), 및 복원부(400)를 포함한다.
제1 선택부(200)는 유실 슬라이스의 상단에 위치한 제1 슬라이스로부터 제1 모션 벡터를 선택한다. 제1 선택부(200)는 유실 슬라이스의 하단에 위치한 제2 슬라이스로부터 제2 모션 벡터를 선택한다.
제1 선택부(200)는 유실 모션 벡터에 공간적으로 가장 근접한 모션 벡터를 제1 모션 벡터로 선택한다. 제1 선택부(200)는 유실 모션 벡터에 공간적으로 가장 근접한 모션 벡터를 제2 모션 벡터로 선택한다.
제2 선택부(300)는 제1 모션 벡터에 직교하는 적어도 하나의 제1 직교 모션 벡터를 결정한다. 제2 선택부(300)는 제2 모션 벡터에 직교하는 적어도 하나의 제2 직교 모션 벡터를 결정한다.
제2 선택부(300)는 제1 좌측 모션 벡터, 제1 상측 모션 벡터, 및 제1 우측 모션 벡터 중 적어도 하나를 제1 직교 모션 벡터로 결정한다. 제2 선택부(300)는 제2 좌측 모션 벡터, 제2 하측 모션 벡터, 및 제2 우측 모션 벡터 중 적어도 하나를 제2 직교 모션 벡터로 결정한다. 제1 좌측 모션 벡터는 제1 모션 벡터의 좌측에 가장 인접한 것이고, 제1 상측 모션 벡터는 제1 모션 벡터의 상측에 가장 인접한 것이며, 제1 우측 모션 벡터는 제1 모션 벡터의 우측에 가장 인접한 것이다. 제2 좌측 모션 벡터는 제2 모션 벡터의 좌측에 가장 인접한 것이고, 제2 하측 모션 벡터는 제2 모션 벡터의 하측에 가장 인접한 것이며, 제2 우측 모션 벡터는 제2 모션 벡터의 우측에 가장 인접한 것이다.
복원부(400)는 유효 모션 벡터들의 가중치 평균(Weighted Average)을 이용하여 유실 슬라이스에 포함되어 있는 유실 모션 벡터를 계산한다. 유효 모션 벡터들은 제1 모션 벡터, 제2 모션 벡터, 제1 직교 모션 벡터, 및 제2 직교 모션 벡터들 중 적어도 하나를 포함한다.
복원부(400)는 거리 반비례 가중법(IDW)을 이용하여 유실 모션 벡터를 계산한다. 거리 반비례 가중법은 유효 모션 벡터들의 가중치 평균을 이용하여 유실 모션 벡터를 추정하는 보간법을 의미한다. 각 유효 모션 벡터들의 가중치는 각 유효 모셔 벡터들 및 유실 모션 벡터 사이의 거리에 반비례한다.
유실 모션 벡터는 아래의 수학식에서 표현된 바와 같이 계산된다.
<수학식>
Figure pat00005
수학식에서 Wi는 가중치를 나타내고, MVi는 각각의 유효 모션 벡터를 나타낸다.
<평가>
WNVMA를 평가하기 위해, 전체적인 움직임 특성에서 서로 다른 속도 레벨을 보여주는 비디오를 사용하였다. 속도 레벨은 저속, 중속, 및 고속으로 분류된다. 전체 6개의 비디오들에 대해 각 속도 별로 2개의 1080p HD H.264 비디오가 사용되었다. 도 5는 서로 다른 비디오들의 아웃라인 및 그들의 특성을 보여준다. 각 비디오는 2초동안 지속된다.
테스트 비디오들은 도 5에 도시된 비디오들에서 데이터 유실을 시뮬레이팅함에 의해 생성되었다. H.264 비트 스트림은 각각의 NAL 유닛에 대해 헤더 및 스타트 코드를 포함한다. 따라서, 픽쳐 슬라이스들이 직접 NAL 유닛에 대응되기 때문에 픽쳐 슬라이스들을 격리시키고 제거함에 의해 데이터 유실을 시뮬레이션할 수 있다. 도 8A 및 도 8B는 무선 HD 비디오 기술의 평가 상에서 이전 작업에서 실제 802.11 무선 스트리밍 실험에 기인한 유실 슬라이스 정보를 갖는 I 프레임을 보여준다. 슬라이스들과 NAL 유닛들간의 관계에 기인하여 유실은 슬라이스 단위로 발생된다는 것을 알 수 있고, 그들이 RTP 패킷들과 얼마나 관련되어 있는지 여부를 알 수 있다. 각각의 테스트 비디오는 10~15Mbps의 비트 레이트(Bit Rate)로 재부호화(Re-Encoded)되고 오픈 소스 H.265 엔코드 x264를 이용함에 의해 B 프레임들을 포함하지 않는다. 이는 가공되지 않은 H.264 비트 스트림을 생산하고, 가공되지 않은 H.264 비트 스트림은 데이터 유실을 시뮬레이션 하기 위한 목적으로 슬라이스 레벨에서 변경될 수 있다. 가공되지 않은 H.264 비트 스트림의 편집은 16진 모드(P프레임 슬라이스들에 대응되는 스타트 코드들을 포함함)로 수행된다. 각 P프레임의 첫 번째 슬라이스는 0x0000000141를 스타트 코드로써 갖는다. 반면, 해당 프레임의 나머지 7개의 슬라이스들은 코드 0x0000000141이 선행된다. 이 코드들은 가공되지 않은 H.264 비트 스트림 내에서 프레임들 및 슬라이스들을 통한 네비게이팅(Navigating)의 기본이 된다. 아래와 같이 각각의 비디오들에 대해, 5개의 서로 다른 유실 타입이 시뮬레이션된다.
1. 2개의 간헐적인 슬라이스들(2int)
2. 3개의 간헐적인 슬라이스들(3int)
3. 4개의 연속적인 슬라이스들(4cont)
4. 상단 슬라이스(Top)
5. 하단 슬라이스(bot)
이 비디오들은 복호화되고 WNVMVA를 포함하는 CMVR을 이용하여 숨겨진다. 복호화된 결과는 오류가 발생되지 않은 원본 버전들과 비교되고, PSNR 측정결과가 기록된다. WNVMVA의 시각적인 중요성을 증명하기 위해, CMVR을 구성하는 테크닉들이 도 9A 내지 도 9E에서 시각적으로 보여진 것과 같이 개별적으로 비교된다. 이는 각각의 EC 테크닉들을 격리시키고 오류가 발생된 하나의 프레임을 숨김에 의해 수행된다. WNVMVA는 최고의 시각적인 품질을 보여준다는 것을 알 수 있고, 따라서 일반적으로 WNVMVA는 CMVR의 매크로 블록 후보 시스템 내에서 유용하다는 것을 알 수 있다. 하지만, 0(Zero) 모션 벡터는 다른 프레임으로부터 복제된 슬라이스들을 보여준다. 또한, 다른 방법(평균모션 벡터, 메디안 모션 벡터, 및 라스트 모션 벡터)들은 열악한 모션 벡터 추정으로 인해 치타의 몸에 부적절한 매크로 블록이 포함도어 있는 화상 결함을 보여준다.
각각의 5개의 서로 다른 유실 시나리오들을 갖는 6개의 다른 비디오들에 대한 PSNR 비교가 도 10A 내지 도 10F에서 도시되어 있다. 각각의 비디오에서, 비디오 품질의 열화가 시작되는 10번째 프레임에 오류가 발생되었다. 이 결과들은 5개의 모든 유실 시나리오들(2int, 3int, 4cont, top, 및 bot)에 대한 CMVR을 기본 방법(즉, WNVMVA를 포함하지 않는 CMVR)과 비교한다. CMVR에 해당하는 표식에서는 WNVMVA의 포함을 나타내기 위해 W가 함께 표시된다.
비디오의 열화 정도가 유실 슬라이스의 개수에 비례한다는 것을 알 수 있다. 이는 각 비디오에 대한 평균 PSNR이 top/bot, 2int, 3int, 및 4cont 순서로 감소된다는 사실로부터 추론할 수 있다. CMVR은 대부분의 케이스에서 기본 방법에 비해 0.5db에서 2db 정도의 PSNR 향상을 제공한다. 예를 들면, 도 12A 내지 도 12C는 Med2 클립에서 3int 케이스에 대해 CMVR을 적용하는 것이 기본 방법에 비해 시각적으로 향상되었다는 것을 보여준다. 단지 오류가 발생된 프레임의 일부만이 차이를 강조하기 위해 고려되어졌다.
일부 4cont 케이스에 대해 WNVMVA에 의한 향상의 예외가 발생하였는데, CMVR이 비디오를 최대 2db정도 열화시켰다. 이 케이스들은 High 1, High 2, 및 Med 2에 대한 4cont를 포함한다. 이는 WNVMVA를 포함하는 CMVR이 기본 방법보다 항상 더 좋을 것이라는 논리에 반대되는 것이다. 하지만, 이는 다음의 2가지 이유로 인해 복호화기(Decoder)가 WNVMVA 기반의 후보들을 선택할 수 있기 때문에 발생된다. 첫 번째로, WNVMVA는 유실 슬라이스 영역의 상단 및 하단에 위치한 유효 모션 벡터들의 공간적인 상관성에 의존한다. 따라서, 유실 슬라이스 영역이 커질수록 유효 모션 벡터들 사이의 거리가 더 멀어지고 이로 인해 유효 모션 벡터들 간의 공간적인 상관성이 낮아지게 된다. 이에 따라 WNVMVA를 통한 모션 벡터 추정의 정확성이 낮아지게 된다. 두 번째로, WNVMVA는 BMA의 제한된 효율로 인해 특정 수준 까지만 신뢰할 수 있다. 즉, WNVMVA 기반의 모션 벡터들은 인접환경 내에서만 더 낳은 BMA 성능을 갖는 매크로 블록을 생성할 수 있을 뿐, 비디오 전체적인 품질은 저하시킬 수 있다. 이러한 경우에 있어서 기본 방법 대비 WNVMVA의 선택은 BMA 알고리즘을 향상시킴에 의해 향상될 수 있다.
초반에 기술했듯이, CMVR은 기존의 방법들(제로 모션 벡터, 평균 모션 벡터, 메디안 모션 벡터, 및 라스트 모션 벡터)과 본 발명을 조합한 것이다. 이것은 모든 유실 매크로 블록에 대해 5개의 매크로 블록 후보들이 존재할 수 있다는 것을 의미한다. 도 11은 5개의 모든 EC 테크닉들을 이용하여 숨겨진 매크로 블록들의 전체 개수의 퍼센트 분포를 보여준다. 또한, 도 11은 기본 방법에서 이용된 4개의 EC테크닉들의 퍼센트 분포를 비교로써 보여준다. 도시된 바와 같이, WNVMVA는 4개의 기존 모션 벡터 복원 테크닉들을 보완함에 의해 적절한 향상을 제공하게 된다. WNVMVA는 모든 비디오들(대략 50%정도의 CMVR) 을 통틀어 EC 쪽으로 중요한 기여를 한다. 이것은 유실 모션 벡터들과 인접한 유효 모션 벡터들 사이에 고려할만한 정도의 공간적인 상관성이 존재한다는 것을 보여준다.
802.11 무선 네트워크 상에서의 H.264 HD 비디오 제공은 미래에 필수적일 것이고, 특히 증가되는 비디오 요구사항들과 관련된 802.11의 향상이 요구될 것이다. 802.11 무선 네트워크의 유실 특성 및 이러한 유실에 대한 H.264 비디오의 높은 민감도를 고려할 때, 무선 HD 비디오 전송에서 적절한 EC는 중요한 과정이다. 유실 모션 벡터들은 모션 벡터들의 공간적인 관계를 활용함으로써 동일한 공간(프레임) 내의 유효 모션 벡터들에 기초하여 추정될 수 있다. 이 출원에에서, 유효 모션 벡터들만을 분석함으로써 모션 벡터들 간의 공간적인 상관성을 포착하기 위해 새로운 발명인 WNVMVA가 제시되었다. 추가적으로, WNVMVA는 기존의 모션 벡터 복원 EC 테크닉들(에러 발생 가능성이 있는 추정된 모션 벡터들을 이용하는 테크닉)을 신뢰성있게 보완하는 것으로 증명되었다.
시간적인 중복을 활용하거나 공간적인 영역 내에서 추가적인 팩터들(유효 모션 벡터들의 복잡한 묘사 또는 EC 스킴(Scheme) 내에 인트라 코딩된 매크로 블록들의 통합과 같은 것)을 이용함에 의해 모션 벡터 복원을 추가적으로 향상시킬 수도 있을 것이다.
본 발명이 속하는 기술분야의 당업자는 상술한 본발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 수신 비디오 스트림에서 에러 은폐를 수행하기 위한 공간적 모션 벡터 복원 방법으로서
    유실 슬라이스의 상단에 위치한 제1 슬라이스에서 제1 모션벡터를 선택하고, 상기 유실 슬라이스의 하단에 위치한 제2 슬라이스에서 제2 모션벡터를 선택하는 제1 단계;
    상기 제1 모션벡터에 직교하는 적어도 하나의 제1 직교 모션벡터를 결정하고, 상기 제2 모션벡터에 직교하는 적어도 하나의 제2 직교 모션벡터를 결정하는 제2 단계; 및
    유효 모션벡터들의 가중치 평균을 이용하여 상기 유실 슬라이스에 포함된 유실 모션벡터를 연산하는 단계를 포함하고,
    상기 유효 모션벡터들은 상기 제1 모션벡터, 제2 모션벡터, 제1 직교 모션벡터, 및 제2 직교 모션벡터 중 적어도 하나를 포함하는 것을 특징으로 하는 공간적 모션벡터 복원 방법.
  2. 제1항에 있어서,
    상기 제3 단계는,
    상기 유효 모션벡터들의 가중치 평균을 이용하여 상기 유실 모션벡터를 추정하는 보간법(Interpolation)인 거리 반비례 가중법(Inverse Distance Weight: IDW)을 이용하여 상기 유실 모션벡터를 연산하고, 각각의 유효 모션 벡터들의 가중치는 상기 유실 모션벡터 및 각각의 유효 모션벡터 사이의 거리에 반비례하는 것을 특징으로 하는 공간적 모션벡터 복원 방법.
  3. 제2항에 있어서,
    상기 유실 모션벡터는 수학식
    Figure pat00006
    을 이용하여 연산되고,
    상기 수학식에서 Wi는 상기 가중치, MVi는 상기 유효 모션벡터인 것을 특징으로 하는 공간적 모션벡터 복원 방법.
  4. 제1항에 있어서,
    상기 제1 단계는,
    상기 제1 슬라이스 내에서 상기 유실 모션벡터에 공간적으로 가장 가까운 모션벡터를 상기 제1 모션벡터로 선택하고, 상기 제2 슬라이스 내에서 상기 유실 모션벡터에 공간적으로 가장 가까운 모션벡터를 상기 제2 모션벡터로 선택하는 것을 특징으로 하는 공간적 모션벡터 복원 방법.
  5. 제1항에 있어서,
    상기 제2 단계는,
    상기 제1 모션벡터의 좌측으로 가장 인접한 제1 좌측 모션벡터, 상기 제1 모션벡터의 우측으로 가장 인접한 제1 우측 모션벡터, 및 상기 제1 모션벡터의 상측으로 가장 인접한 제1 상측 모션벡터를 상기 제1 직교 모션벡터로 선택하고, 상기 제2 모션벡터의 좌측으로 가장 인접한 제2 좌측 모션벡터, 상기 제2 모션벡터의 우측으로 가장 인접한 제2 우측 모션벡터, 및 상기 제2 모션벡터의 하측으로 가장 인접한 제2 하측 모션벡터를 상기 제2 직교 모션벡터로 선택하는 것을 특징으로 하는 공간적 모션벡터 복원 방법.
  6. 수신 비디오 스트림에서 에러 은폐를 수행하기 위한 공간적 모션벡터 복원 장치에 있어서,
    유실 슬라이스의 상단에 위치한 제1 슬라이스에서 제1 모션벡터를 선택하고, 상기 유실 슬라이스의 하단에 위치한 제2 슬라이스에서 제2 모션벡터를 선택하는 제1 선택부;
    상기 제1 모션벡터에 직교하는 제1 직교 모션벡터를 결정하고, 상기 제2 모션벡터에 직교하는 제2 직교 모션벡터를 결정하는 제2 선택부; 및
    유효 모션벡터들의 가중치 평균을 이용하여 상기 유실 슬라이스에 포함된 유실 모션벡터를 연산하는 복원부를 포함하고,
    상기 유효 모션벡터들은 상기 제1 모션벡터, 제2 모션벡터, 제1 직교 모션벡터, 및 제2 직교 모션벡터 중 적어도 하나를 포함하는 것을 특징으로 하는 공간적 모션벡터 복원 장치.
  7. 제6항에 있어서,
    상기 복원부는, 상기 유효 모션벡터들의 가중치 평균을 이용하여 상기 유실 모션벡터를 추정하는 보간법(Interpolation)인 거리 반비례 가중법(Inverse Distance Weight: IDW)을 이용하여 상기 유실 모션벡터를 연산하고, 각각의 유효 모션 벡터들의 가중치는 상기 유실 모션벡터 및 각각의 유효 모션벡터 사이의 거리에 반비례하는 것을 특징으로 하는 공간적 모션벡터 복원 장치.
  8. 제6항에 있어서,
    상기 유실 모션벡터는 수학식
    Figure pat00007
    을 이용하여 연산되고,
    상기 수학식에서 Wi는 상기 가중치, MVi는 상기 유효 모션벡터인 것을 특징으로 하는 공간적 모션벡터 복원 장치.
  9. 제6항에 있어서,
    상기 제1 선택부는, 상기 제1 슬라이스 내에서 상기 유실 모션벡터에 공간적으로 가장 가까운 모션벡터를 상기 제1 모션벡터로 선택하고, 상기 제2 슬라이스 내에서 상기 유실 모션벡터에 공간적으로 가장 가까운 모션벡터를 상기 제2 모션벡터로 선택하는 것을 특징으로 하는 공간적 모션벡터 복원 장치.
  10. 제6항에 있어서,
    상기 제2 선택부는, 상기 제1 모션벡터의 좌측으로 가장 인접한 제1 좌측 모션벡터, 상기 제1 모션벡터의 우측으로 가장 인접한 제1 우측 모션벡터, 및 상기 제1 모션벡터의 상측으로 가장 인접한 제1 상측 모션벡터를 상기 제1 직교 모션벡터로 선택하고, 상기 제2 모션벡터의 좌측으로 가장 인접한 제2 좌측 모션벡터, 상기 제2 모션벡터의 우측으로 가장 인접한 제2 우측 모션벡터, 및 상기 제2 모션벡터의 하측으로 가장 인접한 제2 하측 모션벡터를 상기 제2 직교 모션벡터로 선택하는 것을 특징으로 하는 공간적 모션벡터 복원 장치.
KR1020140117607A 2013-09-06 2014-09-04 공간적 모션 벡터 복원 장치 및 복원 방법 KR102251200B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/020,565 2013-09-06
US14/020,565 US9872046B2 (en) 2013-09-06 2013-09-06 Apparatus and method for recovering spatial motion vector

Publications (2)

Publication Number Publication Date
KR20150028951A true KR20150028951A (ko) 2015-03-17
KR102251200B1 KR102251200B1 (ko) 2021-05-12

Family

ID=52625602

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140117607A KR102251200B1 (ko) 2013-09-06 2014-09-04 공간적 모션 벡터 복원 장치 및 복원 방법

Country Status (3)

Country Link
US (1) US9872046B2 (ko)
KR (1) KR102251200B1 (ko)
CN (1) CN104427348B (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062304A1 (en) * 2004-09-17 2006-03-23 Shih-Chang Hsia Apparatus and method for error concealment
KR100587274B1 (ko) * 1999-07-22 2006-06-08 엘지전자 주식회사 엠펙­２ 압축복원시스템에서의 오류 은폐방법
KR100728587B1 (ko) * 2006-01-05 2007-06-14 건국대학교 산학협력단 하이브리드 에러 은닉 방법
US20080049845A1 (en) * 2006-08-25 2008-02-28 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
KR100948153B1 (ko) * 2003-01-10 2010-03-18 톰슨 라이센싱 코딩된 스트림으로 전송되는 인트라-예측 모드에 기반하는 공간 에러 은폐 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556450B1 (ko) * 1998-05-28 2006-05-25 엘지전자 주식회사 움직임 벡터 추정에 의한 오류 복원 방법
KR100531895B1 (ko) * 2004-02-26 2005-11-29 엘지전자 주식회사 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법
EP1779673A1 (en) 2004-07-15 2007-05-02 Qualcomm Incorporated H.264 spatial error concealment based on the intra-prediction direction
GB0500332D0 (en) 2005-01-08 2005-02-16 Univ Bristol Enhanced error concealment
US7660354B2 (en) * 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
US7916796B2 (en) * 2005-10-19 2011-03-29 Freescale Semiconductor, Inc. Region clustering based error concealment for video data
EP1809041A1 (en) * 2006-01-11 2007-07-18 Mitsubishi Electric Information Technology Centre Europe B.V. Error concealement for scalable video coding
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
US8265171B2 (en) * 2008-02-26 2012-09-11 Richwave Technology Corp. Error resilient video transmission using instantaneous receiver feedback and channel quality adaptive packet retransmission
TWI442777B (zh) 2009-06-23 2014-06-21 Acer Inc 空間性錯誤隱藏方法
CN102111622B (zh) 2009-12-23 2012-12-19 中兴通讯股份有限公司 一种视频图像的时域错误隐藏方法及装置
GB2493212B (en) * 2011-07-29 2015-03-11 Canon Kk Method and device for error concealment in motion estimation of video data
CN103024402B (zh) 2012-11-29 2015-10-28 宁波大学 一种自由视点视频整帧丢失错误隐藏方法
CN102984525B (zh) 2012-12-18 2015-10-28 北京大学 一种视频码流错误隐藏方法
CN103167291B (zh) 2013-03-08 2016-04-27 宁波大学 一种基于结构相似度的立体视频整帧丢失错误隐藏方法
CN103220533A (zh) 2013-03-29 2013-07-24 宁波大学 一种立体视频宏块丢失错误隐藏方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100587274B1 (ko) * 1999-07-22 2006-06-08 엘지전자 주식회사 엠펙­２ 압축복원시스템에서의 오류 은폐방법
KR100948153B1 (ko) * 2003-01-10 2010-03-18 톰슨 라이센싱 코딩된 스트림으로 전송되는 인트라-예측 모드에 기반하는 공간 에러 은폐 방법
US20060062304A1 (en) * 2004-09-17 2006-03-23 Shih-Chang Hsia Apparatus and method for error concealment
KR100728587B1 (ko) * 2006-01-05 2007-06-14 건국대학교 산학협력단 하이브리드 에러 은닉 방법
US20080049845A1 (en) * 2006-08-25 2008-02-28 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data

Also Published As

Publication number Publication date
CN104427348B (zh) 2018-01-16
KR102251200B1 (ko) 2021-05-12
US20150071355A1 (en) 2015-03-12
US9872046B2 (en) 2018-01-16
CN104427348A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
US11012685B2 (en) Scene change detection for perceptual quality evaluation in video sequences
JP5303470B2 (ja) 歪みの推定
JP5981561B2 (ja) シーンカットアーチファクトを考慮するビデオ品質評価
AU2011381970A1 (en) Video quality measurement
KR20140008508A (ko) 패킷 손실 가시도의 연속 추정에 기반한 객관적인 비디오 품질 평가 방법 및 장치
JP5911563B2 (ja) ビットストリームレベルで動画品質を推定する方法及び装置
CN101188772A (zh) 一种视频解码的时域错误隐蔽方法
KR102251200B1 (ko) 공간적 모션 벡터 복원 장치 및 복원 방법
Cerqueira et al. Video artifacts assessment for live mobile streaming applications
KR101557164B1 (ko) 영상화질 평가 장치 및 방법
Toni et al. MSE cross-layer optimization criteria: What else?
TWI412282B (zh) 可隱藏傳輸錯誤之視訊解碼裝置與相關方法
CN118573901A (zh) 一种基于h.264的视频解码实时错误掩盖方法和系统
WO2014198062A1 (en) Method and apparatus for video quality measurement
Yang et al. A no-reference video quality estimation model over wireless networks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant