KR20120070435A - 분산 비디오 트랜스 코딩 방법 및 이를 위한 장치 - Google Patents

분산 비디오 트랜스 코딩 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20120070435A
KR20120070435A KR1020100131993A KR20100131993A KR20120070435A KR 20120070435 A KR20120070435 A KR 20120070435A KR 1020100131993 A KR1020100131993 A KR 1020100131993A KR 20100131993 A KR20100131993 A KR 20100131993A KR 20120070435 A KR20120070435 A KR 20120070435A
Authority
KR
South Korea
Prior art keywords
motion vector
auxiliary information
frame
key frame
search region
Prior art date
Application number
KR1020100131993A
Other languages
English (en)
Other versions
KR101274508B1 (ko
Inventor
전병우
심동규
박시내
민경연
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020100131993A priority Critical patent/KR101274508B1/ko
Publication of KR20120070435A publication Critical patent/KR20120070435A/ko
Application granted granted Critical
Publication of KR101274508B1 publication Critical patent/KR101274508B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

분산 비디오 트랜스 코딩 방법 및 이를 위한 장치가 개시된다. 비디오 부호화기에 의해 부호화된 키 프레임을 수신하고, 수신된 키 프레임의 복호화를 수행하는 비디오 복호화기, 와이너지브 프레임과 키 프레임을 부호화 시 보조 정보를 생성하기 위하여 움직임 추정 시 사용한 움직임 벡터를 보상하여 보조 정보를 생성하는 보조 정보 생성기, 움직임 추정시 사용한 움직임 벡터를 이용하여 탐색영역과 예측 움직임 벡터를 설정하는 탐색 영역 및 움직임 벡터 설정기 및 상기 생성된 보조 정보에 포함된 오류를 수정하고, 수정된 보조 정보의 복호화를 수행하여 복호화된 와이너지브 프레임을 출력하는 처리기를 포함하여 구성될 수 있고, 비디오 복호화 장치는 비디오 부호화기가 키 프레임을 부호화할 때 사용한 부호화 방법에 따라 복호화된 키 프레임, 복호화된 와이너지브 프레임 및 상기 설정된 탐색 영역 및 예측 움직임 벡터 중 적어도 하나를 수신하여 영상간 예측을 수행한다. 따라서, 와이너지브 프레임 및 키 프레임을 부호화시 보조정보 생성을 위하여 측정된 움직임 벡터를 예측 움직임 벡터로 적용하여 영상 간 예측을 수행함으로써, 랜스코더의 복잡도 및 지연을 감소시킬 수 있고 부호화 효율을 높일 수 있다.

Description

분산 비디오 트랜스 코딩 방법 및 이를 위한 장치{METHOD OF TRANSCODING DISTRIBUTED VIDEO AND APPARATUS FOR THE SAME}
본 발명은 분산 비디오 트랜스 코딩 방법 및 이를 위한 장치에 관한 것으로, 더욱 상세하게는 분산 비디오 스트림을 기존비디오 스트림으로 변환하기 위한 분산 비디오 트랜스 코딩 방법 및 이를 위한 장치에 관한 것이다.
동영상 압축을 위한 표준화 기구인 ISO/IEC의 MPEG과 ITU-T의 VCEG의 연구에 의해서 H.261, H.263, MPEG-1, MPEG-2, MPEG-4, 그리고 H.264와 같은 많은 표준안이 개발되고 이용되고 있다. 이 표준안들은 소수의 생성자가 컨텐츠를 제작 및 유포하고, 유포된 컨텐츠를 다수의 소비자가 소비하는 것을 대상으로 개발되어, 부호기의 복잡도가 복호기의 복잡도 보다 15배 정도가 높게 구성되어 있다. 하지만, 이동식 비디오 장치의 기술이 발전함에 따라, 현재 개인의 컨텐츠 제작이 자유롭게 이루어지면서, 접근이 용의하고 편리한 이동전화 및 노트북 PC를 이용하여 컨텐츠가 제작되고 있는 추세이다.
따라서 제한된 연산 처리 능력 및 배터리 성능을 가지는 환경에서의 개인방송을 위해 낮은 복잡도 및 낮은 전원소비가 가능한 분산비디오 부호기/복호기 방법이 제안되고 개발되었다. 분산비디오 방법은 키 프레임과 와이너지브 프레임을 구분하여 부호화를 수행하는데, 키 프레임은 기존비디오 부호화/복호화 방법으로 부호화되고 복원된다. 와이너지브 프레임은 채널 부호기를 통하여 부호화 되며, 키 프레임을 이용하여 생성된 보조정보를 채널 복호화 함으로써 복원된다. 분산비디오 부호기는 영상 간 예측부호를 수행하지 않음으로써, 부호기의 복잡도가 기존 부호기의 1/15 정도이나, 복호기에서 복호화를 위한 보조정보를 생성하고 채널 복호기를 통하여 복호화를 수행함으로써, 기존 복호기의 복잡도보다 100~3000배 높아질 수 있다.
그러므로 생성자 및 소비자가 모두 낮은 복잡도로 비디오를 부호화와 복호화를 수행할 수 있도록, 분산비디오 스트림을 기존비디오 스트림으로 변환할 수 있는 분산비디오 트랜스코더가 필요하다. 서버의 트랜스코더는 생성자로부터 분산비디오 스트림을 전송 받으면, 분산비디오 복호기로 복호화를 수행하고, 복원된 영상을 다시 기존비디오 부호기로 부호화를 수행하여 기존비디오 스트림을 소비자들에게 전송하게 된다. 부호화 효율을 증가시키기 위하여 분산비디오 트랜스코더에서는 GOP 구조를 증가시키는데, 복잡도가 높은 분산비디오 복호화와 기존비디오 부호화를 수행함으로써 높은 지연이 발생된다. 반면, 시간 지연을 감소시키기 위하여, 영상 내 예측으로 부호화 된 키 프레임에 스트림을 재구성하지 않고 전송하게 되면 GOP 구조가 2로, 부호화 효율이 감소하게 된다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제 1 목적은, 분산 비디오 트랜스 코딩 장치를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제 2 목적은, 분산 비디오 트랜스 코딩 방법을 생성하는 방법을 제공하는데 있다.
상기한 본 발명의 제 1 목적을 달성하기 위한 본 발명의 일 실시예에 따른 트래스 디코딩 장치는 비디오 부호화기에 의해 부호화된 키 프레임을 수신하고, 수신된 키 프레임의 복호화를 수행하는 비디오 복호화기, 와이너지브 프레임과 키 프레임을 부호화 시 보조 정보를 생성하기 위하여 움직임 추정시 사용한 움직임 벡터를 보상하여 보조 정보를 생성하는 보조 정보 생성기, 상기 움직임 추정시 사용한 움직임 벡터를 이용하여 탐색영역과 예측 움직임 벡터를 설정하는 탐색 영역 및 움직임 벡터 설정기 및 상기 생성된 보조 정보에 포함된 오류를 수정하고, 상기 수정된 보조 정보의 복호화를 수행하여 복호화된 와이너지브 프레임을 출력하는 처리기를 포함하여 구성될 수 있고, 비디오 복호화 장치는 상기 비디오 부호화기가 키 프레임을 부호화할 때 사용한 부호화 방법에 따라 상기 복호화된 키 프레임, 상기 복호화된 와이너지브 프레임 및 상기 설정된 탐색 영역 및 예측 움직임 벡터 중 적어도 하나를 수신하여 영상간 예측을 수행한다.
본 발명의 제 2 목적을 달성하기 위한 본 발명의 일 실시예에 따른 트래스 디코딩 방법은 비디오 부호화기에 의해 부호화된 키 프레임을 수신하고, 수신된 키 프레임의 복호화를 수행하는 단계, 와이너지브 프레임과 키 프레임을 부호화 시 보조 정보를 생성하기 위하여 움직임 추정 시 사용한 움직임 벡터를 보상하여 보조 정보를 생성하는 단계, 상기 움직임 추정 시 사용한 움직임 벡터를 이용하여 탐색영역과 예측 움직임 벡터를 설정하는 단계, 상기 생성된 보조 정보에 포함된 오류를 수정하고, 상기 수정된 보조 정보의 복호화를 수행하여 복호화된 와이너지브 프레임을 출력하는 단계 및 키 프레임가 부호될 때 사용된 부호화 방법에 따라 상기 복호화된 키 프레임, 상기 복호화된 와이너지브 프레임 및 상기 설정된 탐색 영역 및 예측 움직임 벡터 중 적어도 하나를 출력하는 단계를 포함하여 구성될 수 있다.
상기와 같은 본 발명에 따른 분산 비디오 트랜스 코딩 방법 및 이를 위한 장치를 이용할 경우에는 와이너지브 프레임 및 키 프레임을 부호화시 보조정보 생성을 위하여 측정된 움직임 벡터를 예측 움직임 벡터로 적용하여 영상 간 예측을 수행함으로써, 트랜스코더의 복잡도 및 지연을 감소시킬 수 있고 부호화 효율을 높일 수 있다.
도 1 은 본 발명의 일 실시예에 따른 분산 비디오 트랜스 코딩 장치의 내부 구조를 도시한 도면이다.
도 2 는 본 발명의 일 실시예에 따른 분산 비디오 트랜스 코더의 보조 정보 생성기(202)에서 보조 정보 생성을 위하여 측정된 움직임 벡터를 적용한 분산 비디오 트랜스 코딩 장치의 내부 구조를 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 분산비디오 복호화 장치(200)의 보조정보 생성기(202)가 보조정보 생성을 과정을 설명하기 위한 흐름도이다.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 탐색 영역 및 움직임 벡터 설정기(203)가 보조정보 생성 시 측정된 움직임 벡터를 기반으로하여 예측 움직임 벡터와 탐색영역을 보정하는 과정을 설명하기 위한 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1 은 본 발명의 일 실시예에 따른 분산 비디오 트랜스 코딩 장치의 내부 구조를 도시한 도면이다.
도 1을 참조하면, 분산 비디오 트랜스 코더는 분산비디오 부호화 장치(100) 및 트랜스 코딩 장치(110) 을 포함하여 구성될 수 있고, 분산비디오 부호화 장치(100)는 제 1 전처리기(101), 채널 부호화기(102) 및 제 1 비디오 부호화기(103)을 포함하여 구성될 수 있고, 트랜스 코딩 장치(110)는 채널 복호화기(111), 후 처리기(112), 제 2 전처리기(113), 보조 정보 생성기(114), 제 1 비디오 복호화기(115) 및 제 2 비디오 부호화기(116)을 포함하여 구성될 수 있다.
제 1 전처리기(101)는 와이너지브 프레임을 수신하고, 수신된 와이너지브 프레임의 압축을 위한 변환 및 양자화와 같은 전처리 과정을 수행한다. 채널 부호화기(102)는 제 1 전처리기(101)에 의해 전처리 과정이 수행된 와이너지브 프레임을 수신하고, 수신된 전처리 과정이 수행된 와이너지브 프레임을 부호화하여 패리티 비트를 생성한다.
제 1 비디오 부호화기(103)는 키 프레임을 수신하고, 수신된 키 프레임의 부호화를 수행한다. 제 1 비디오 복호화기(115)는 제 1 비디오 부호화기(103)에 의해 부호화된 키 프레임을 수신하고, 수신된 부호화된 키 프레임의 복호화를 수행한다. 보조 정보 생성기(114)는 제 1 비디오 복호화기(115)에 의해 복호화된 키 프레임을 수신하고, 수신된 복호화된 키 프레임을 이용하여 보조 정보를 생성한다.
제 2 전처리기(113)는 보조 정보 생성기(114)에 의해 생성된 보조 정보를 수신하고, 수신된 보조 정보에 포함된 오류를 수정한다. 채널 복호화기(111)는 채널 부호화기(102)에 의해 부호화되어 생성된 패리티 비트를 수신하고, 수신된 패티리 비트의 복호화를 수행한다. 또한, 채널 복호화기(111)는 제 2 전처리기(113)에 의해 생성되고 제 2 전처리기(114)에 의해 오류가 수정된 보조 정보의 복호화를 수행한다.
후 처리기(112)는 채널 복화화기(111)에 의해 복화화된 보조 정보 및 패리티 비트를 이용하여 와이너지브 프레임을 복원하고, 역양자화 및 역변환과 같은 후처리 과정을 수행한 후 와이너지브 프레임을 출력한다.
제 2 비디오 부호화기(116)는 제 1 비디오 복화화기(103)에 의해 복호화된 키 프레임, 보조 정보 생성기(114)에 의해 생성된 보조 정보 및 후 처리기(112)에 의해 후 처리된 와이너지브 프레임을 수신하여 영상 간 예측 또는 영상 내 예측을 수행함에 따라 와이너지브 프레임에 대한 비트 스트림을 그대로 전송하거나 키 프레임에 대한 비트 스트림을 그대로 전송할 수 있다. 먼저, 제 2 비디오 부호화기(116)가 영상 간 예측 방법을 이용하여 부호화를 수행하는 경우, 보조 정보 생성기(114)가 보조 정보를 생성하기 위하여 측정한 움직임 벡터를 적용한 탐색 영역과 예측 움직임 벡터를 보정하여 와이너지브 프레임에 대한 비트 스트림을 출력한다. 반면, 제 2 비디오 부호화기(116)가 영상 내 예측 방법을 이용하여 부호화를 수행하는 경우, 제 1 비디오 부호화기(103)에 의해 부호화된 키 프레임에 대한 비트 스트림을 출력한다.
비디오 복호화 장치(120)는 분산 비디오 트랜스 코더의 제 2 비디오 부호화기(116)에 의해 전송된 프레임의 복호화를 수행하여 영상을 출력한다. 그러면 이하에서는, 도 2를 참조하여 본 발명의 일 실시예에 따른 분산 비디오 트랜스 코더의 보조 정보 생성기(114)에서 보조 정보 생성을 위하여 측정된 움직임 벡터를 적용한 분산 비디오 트랜스 코딩 장치의 내부 구조를 보다 구체적으로 설명하기로 한다.
도 2 는 본 발명의 일 실시예에 따른 분산 비디오 트랜스 코더의 보조 정보 생성기(202)에서 보조 정보 생성을 위하여 측정된 움직임 벡터를 적용한 분산 비디오 트랜스 코딩 장치의 내부 구조를 개략적으로 도시한 도면이다.
도 2를 참조하면, 분산 비디오 트랜스 코더는 분산비디오 복호화 장치(200) 및 비디오 복호화 장치(220)을 포함하여 구성될 수 있고, 분산비디오 복호화 장치(200)는 비디오 복호화기(201), 보조정보 생성기(202), 전처리기(205), 채널 복호화기(206), 후 처리기(207)을 포함하여 구성될 수 있고, 비디오 복호화 장치(220)는 예측기(208), 변환 및 양자화기(209), 앤트로피 코딩기(210) 및 송신 버퍼(211)를 포함하여 구성될 수 있다.
비디오 복호화기(201)는 키 프레임을 수신하고, 수신된 키 프레임의 복호화를 수행한다. 예를 들어, 비디오 복호화기(201)는 시점 t-1의 키 프레임 및 시점 t+1의 키 프레임을 수신하고, 수신된 시점 t-1의 키 프레임 및 시점 t+1의 키 프레임의 복호화를 실행한다. 수신된 시점 t-1의 키 프레임 및 시점 t+1의 키 프레임의 복호화를 실행한다.
움직임 추정기(202)는 비디오 복화호부(201)에 의해 복호화된 키 프레임을 수신하고, 수신된 키 프레임을 기초로 움직임 추정을 하여 움직임 벡터를 추정한다.
움직임 보상기(202b)는 움직임 추정기(202a)에 의해 보조 정보를 생성하기 위하여 움직임 추정 시 사용된 움직임 벡터를 수신하고, 수신된 움직임 벡터를 보상하여 보조 정보를 생성한다. 예를 들어, 비디오 복호화기(201)가 시점 t-1의 키 프레임 및 시점 t+1의 키 프레임을 수신한 경우, 움직임 보상기(202b)는 시점 t-1의 키 프레임 및 시점 t+1의 키 프레임을 이용하여 시점 t의 와이너지브 프레임을 복원하기 위해 사용되는 보조정보를 생성한다.
전처리기(205)는 움직임 보상기(202b)에 의해 생성된 보조 정보를 수신하고, 수신된 보조 정보에 포함된 오류를 수정한다. 채널 복호화부(206)는 전처리기(205)에 의해 오류가 수정된 보조 정보의 복호화를 수행한다.
후 처리기(207)는 채널 복화화기(206)에 의해 복화화된 보조 정보를 이용하여 와이너지브 프레임을 복원하고, 역양자화 및 역변환과 같은 후처리 과정을 수행한 후 와이너지브 프레임을 예측기(208)로 출력한다. 탐색 영역 및 움직임 벡터 설정기(203)는 움직임 추정기(202)가 보조정보 생성을 위하여 움직임 추정할 시 측정된 움직임 벡터를 이용하여 탐색영역과 예측 움직임 벡터를 결정하고 이를 예측기(208)로 출력한다.
예측기(208)는 탐색 영역 및 움직임 벡터 설정기(203)에 의해 설정된 탐색 영역 및 움직임 벡터, 후 처리기(207)에 의해 후처리 과정이 수행된 와이너지브 프레임 및 비디오 복호화기(201)에 의해 복호화된 키 프레임 중 적어도 하나를 수신하여 영상간 예측을 수행한다. 먼저, 제 2 비디오 부호화기(116)가 영상 내 예측 부호화 방법을 이용하여 부호화를 수행한 경우, 예측기(208)는 비디오 복호화기(201)에 의해 복호화된 키 프레임 수신하고 이를 이용하여 영상간 예측을 수행한다. 둘째, 제 2 비디오 부호화기(116)가 영상간 예측 부호화 방법을 이용하여 부호화를 수행한 경우, 예측기(208)는 제 2 비디오 복호화부(116)에 의해 복호화된 키 프레임, 후 처리기(207)에 의해 후 처리를 수행한 와이너지브 프레임 및 탐색 영역 및 움직임 벡터 설정부(203)에 의해 설정된 탐색 영역 및 움직임 벡터를 이용하여 영상간 예측을 수행한다. 이 경우, 예측기(208)는 부호화 효율이 좋지만 복잡도가 높은 영상 간 예측 부호화 방법을 이용하여 예측을 하지만, 탐색 영역 및 움직임 벡터 설정기(203)에 의해 설정된 탐색 영역 및 움직임 벡터를 이용하여 예측을 하기 때문에 복잡도를 감소시키면서도 높은 부호화 효율을 유지할 수 있다. 변환 및 양자화기(209)는 양자화 및 변환과 같은 과정을 수행하고, 엔트로피 코딩기(201)는 변환 및 양자화기(209)에 의해 양자화 및 변환된 프레임을 엔트로피 코딩하여 송신 버퍼(211)로 전송한다. 그러면 이하에서는 도 3을 참조하여 본 발명의 일 실시예에 따른 분산비디오 복호화 장치(200)의 보조정보 생성기(202)가 보조정보 생성을 과정을 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 분산비디오 복호화 장치(200)의 보조정보 생성기(202)가 보조정보 생성을 과정을 설명하기 위한 흐름도이다.
도 3을 참조하면, 보조정보 생성기(202)는 움직임 추정에 사용되는 키 프레임의 움직임 벡터의 포함 유무에 따라 보조정보를 생성하는 과정이 다를 수 있다. 먼저, 움직임 추정에 사용되는 키 프레임의 움직임 벡터가 포함된 경우(S302)를 설명하기로 한다. 이 경우, 먼저 보조정보 생성기(202)의 움직임 추정기(202a)가 시점 t+1의 키 프레임에서 시점 t-1의 키 프레임으로 움직임 추정을 수행하거나, 시점 t-1의 키 프레임에서 시점 t+1의 키 프레임으로 움직임 추정을 수행한 경우 기준 보조정보를 생성한다(S301).
그 후, 보조정보 생성기(202)의 움직임 보상기(202b)는 움직임 추정기(202a)에 의해 생성된 기준 보조정보를 추정된 움직임 벡터의 중간 위치에 보관하고, <수학식 1>을 이용하여 보조 정보를 생성한다(S304).
Figure pat00001
<수학식 1>을 참조하면, Block은 영상 내의 블록을 의미하며, (i, j)는 영상 내의 위치 정보, (t)는 시간 정보를 나타낸다. (MVi, MVj)는 움직임 추정을 통하여 측정된 움직임 벡터를 가리키며, k는(0≤k≤1) 가중치를 의미한다.
반면, 움직임 추정에 사용되는 키 프레임의 움직임 벡터가 포함되지 않은 경우(S302)를 설명하기로 한다. 이 경우, 먼저 보조정보 생성기(202)의 움직임 추정기(202a)가 시점 t+1의 키 프레임에서 시점 t-1의 키 프레임으로 움직임 추정을 수행하거나, 시점 t-1의 키 프레임에서 시점 t+1의 키 프레임으로 움직임 추정을 수행한 경우 기준 보조정보를 생성한다(S301). 그 후, 보조정보 생성기(202)의 움직임 보상기(202b)는 움직임 추정기(202a)에 의해 생성된 기준 보조정보를 기준으로 시점 t+1의 키 프레임에서 시점 t-1의 키 프레임으로 움직임 추정을 재 실행 또는 시점 t-1의 키 프레임에서 시점 t+1의 키 프레임으로 움직임 추정을 재 실행하고 보상하여 최종 보조정보를 생성한다(S303).
그런 다음, 보조정보 생성기(202)의 움직임 보상기(202b)는 최종 보조정보를 추정된 움직임 벡터의 중간 위치에 보관하고, <수학식 1>을 이용하여 보조 정보를 생성한다(S304). 이와 같이, 보조정보 생성기(202)가 키 프레임의 움직임 벡터의 포함 유무에 따라 보조정보를 생성하는 과정을 달리 구분함으로써 본 발명은 어떠한 방법으로도 보조정보가 생성이 되기 때문에 분산비디오 트랜스코더 시스템이 안정적으로 동작할 수 있다. 그러면 이하에서는, 도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 탐색 영역 및 움직임 벡터 설정기(203)가 보조정보 생성 시 측정된 움직임 벡터를 기반으로하여 예측 움직임 벡터와 탐색영역을 보정하는 과정을 보다 구체적으로 설명하기로 한다.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 탐색 영역 및 움직임 벡터 설정기(203)가 보조정보 생성 시 측정된 움직임 벡터를 기반으로하여 예측 움직임 벡터와 탐색영역을 보정하는 과정을 설명하기 위한 예시도이다.
도 4a 내지 도 4d를 참조하면, 탐색 영역 및 움직임 벡터 설정기(203)는 보조정보 생성 시 측정된 움직임 벡터를 기반으로하여 와이너지브 프레임의 영상간 예측 부호화 방법 또는 키 프레임을 영상간 예측 부호화 방법을 이용하여 영상간 예측을 수행한다. 첫째, 도 4a는 시점 t의 와이너지브 프레임(402)과 시점 t-1의 키 프레임(401)간 P 예측 부호화 방법을 이용하여 영상간 예측을 수행하는 경우이다. 이 경우, 탐색 영역 및 움직임 벡터 설정기(203)는 시점t의 와이너지브 프레임(402)은 시점 t-1의 키 프레임(401)을 참조 프레임으로 하여 부호화함으로써, 보조정보에서 사용한 움직임 벡터(MVi/2, MVj/2)를 예측 움직임 벡터로 이용하여 영상 간 예측을 수행할 수 있다. 시점 t+1의 키 프레임(403)은 시점 t-1의 키 프레임(401) 또는 시점 t의 와이너지브 프레임(402)을 참조 프레임으로 하여 영상 간 예측을 수행하며, 시점 t+1의 키 프레임(403)이 시점 t-1의 키 프레임(401)을 참조하여 영상 간 예측을 수행하는 경우는 예측 움직임 벡터를 (MVi, MVj) 으로 조정하여 영상 간 예측을 수행할 수 있고, 시점 t+1의 키 프레임(403)이 시점 t의 와이너지브 프레임(402)을 참조 프레임으로 할 경우는 예측 움직임 벡터를 (MVi/2, MVj/2)으로 예측 움직임 벡터를 조정하여 영상 간 예측을 수행할 수 있다.
둘째, 도 4b는 시점 t의 와이너지브 프레임(402)은 B 예측 부호화 방법을 이용하여 영상간 예측을 수행하고, 시점 t+1의 키 프레임(403)은 P 부호화 방법을 이용하여 영상 간 예측을 수행하는 경우이다. 이 경우, 탐색 영역 및 움직임 벡터 설정기(203)는 시점 t+1의 키 프레임(403)은 시점 t-1의 키 프레임(401)을 참조 프레임으로 하여 예측 움직임 벡터를 (MVi, MVj)으로 조정하고, 시점 t의 와이너지브 프레임(402)은 시점 t-1의 키 프레임(401) 및 시점 t+1의 키 프레임(403)들을 참조하여 예측 움직임 벡터를 (±MVi/2, ±MVj/2)으로 조정하여 영상 간 예측을 수행할 수 있다.
셋째, 도 4c는 시점 t-1의 키 프레임(401)과 시점 t의 와이너지브 프레임(402)이 P 부호화 방법을 이용하여 영상 간 예측을 수행하는 경우이다. 이 경우, 탐색 영역 및 움직임 벡터 설정기(203)는 시점 t의 와이너지브 프레임은 시점 t+1 의 키 프레임(403)을 참조 프레임으로 하여 부호화함으로써, 보조정보에서 사용한 움직임 벡터(-MVi/2, -MVj/2)를 예측 움직임 벡터로 이용하여 영상 간 예측을 수행할 수 있다. 시점 t-1의 키 프레임(401)은 시점 t+1의 키 프레임 또는 시점 t의 와이너지브 프레임을 참조 프레임으로 하여, 시점 t+1의 키 프레임을 참조할 경우는 (-MVi, -MVj)으로 예측 움직임 벡터를 조정하여 영상 간 예측을 수행하고, 시점 t 의 와이너지브 프레임(402)을 참조 프레임으로 할 경우는 (-MVi/2, -MVj/2)으로 예측 움직임 벡터를 조정하여 영상 간 예측을 수행할 수 있다.
넷째, 도 4d는 시점 t의 와이너지브 프레이 B 부호화 방법을 이용하여 영상 간 예측을 수행하고, 시점 t-1의 키 프레임(401)은 P 부호화 방법을 이용하여 영상 간 예측을 수행하는 경우이다. 이 경우 탐색 영역 및 움직임 벡터 설정기(203)는 시점 t-1의 키 프레임(401)은 시점 t+1의 키 프레임(403)을 참조 프레임으로 하여 예측 움직임 벡터를 (-MVi, -MVj)으로 조정하여 영상 간 예측을 수행하고, 시점 t의 와이너지브 프레임(402)은 시점 t-1의 키 프레임(401) 또는 시점 t+1 의 키 프레임(403)들을 참조하여 예측 움직임 벡터를 (±MVi/2, ±MVj/2)으로 조정하여 영상 간 예측을 수행할 수 있다. 그러면 이하에서는, 도 5를 참조하여 본 발명의 일 실시예에 따른 트랜스 코딩 방법을 보다 구체적으로 설명하기로 한다.
도 5를 참조하면, 트랜스 코딩 장치는 비디오 부호화기에 의해 부호화된 키 프레임을 수신하고, 수신된 키 프레임의 복호화를 수행한다(S501).
트랜스 코딩 장치는 와이너지브 프레임과 키 프레임을 부호화 시 보조 정보를 생성하기 위하여 움직임 추정 시 사용한 움직임 벡터를 보상하여 보조 정보를 생성한다(S502). 트랜스 코딩 장치는 움직임 추정 시 사용한 움직임 벡터를 이용하여 탐색영역과 예측 움직임 벡터를 설정한다(S503). 트랜스 코딩 장치는 생성된 보조 정보에 포함된 오류를 수정하고, 상기 수정된 보조 정보의 복호화를 수행하여 복호화된 와이너지브 프레임을 출력한다 (S504). 트랜스 코딩 장치는 키 프레임가 부호될 때 사용된 부호화 방법에 따라 상기 복호화된 키 프레임, 복호화된 와이너지브 프레임 및 설정된 탐색 영역 및 예측 움직임 벡터 중 적어도 하나를 출력한다(S505).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 분산비디오 부호화 장치 110: 트랜스 코딩 장치
101: 제 1 전처리기 102: 채널 부호화기
103: 제 1 비디오 부호화기 110: 트랜스 코딩 장치
111: 채널 복호화기 112: 후 처리기
113: 제 2 전처리기 114: 보조 정보 생성기
115: 제 1 비디오 복호화기 116: 제 2 비디오 부호화기
120: 비디오 복호화 장치 200: 분산비디오 복호화 장치
201: 비디오 복호화기 202: 보조정보 생성기
205: 전처리기 206: 채널 복호화기
207: 후 처리기 208: 예측기
209: 변환 및 양자화기 210: 앤트로피 코딩기
211: 송신 버퍼

Claims (18)

  1. 트랜스 코딩 장치에 있어서,
    비디오 부호화기에 의해 부호화된 키 프레임을 수신하고, 수신된 키 프레임의 복호화를 수행하는 비디오 복호화기;
    와이너지브 프레임과 키 프레임을 부호화 시 보조 정보를 생성하기 위하여 움직임 추정 시 사용한 움직임 벡터를 보상하여 보조 정보를 생성하는 보조 정보 생성기;
    상기 움직임 추정 시 사용한 움직임 벡터를 이용하여 탐색영역과 예측 움직임 벡터를 설정하는 탐색 영역 및 움직임 벡터 설정기; 및
    상기 생성된 보조 정보에 포함된 오류를 수정하고, 상기 수정된 보조 정보의 복호화를 수행하여 복호화된 와이너지브 프레임을 출력하는 처리기를 포함하여 구성될 수 있고,
    비디오 복호화 장치는 상기 비디오 부호화기가 키 프레임을 부호화할 때 사용한 부호화 방법에 따라 상기 복호화된 키 프레임, 상기 복호화된 와이너지브 프레임 및 상기 설정된 탐색 영역 및 예측 움직임 벡터 중 적어도 하나를 수신하여 영상간 예측을 수행하는 것을 특징으로 하는 코딩 장치.
  2. 제 1 항에 있어서, 상기 보조 정보 생성기는,
    상기 움직임 추정에 사용되는 키 프레임에 움직임 벡터가 포함된 경우, 적어도 하나 이상의 키 프레임을 이용하여 기준 보조정보를 생성하고, 상기 기준 보조정보를 추정된 움직임 벡터의 중간에 보관하여 보조 정보를 생성하는 것을 특징으로 하는 코딩 장치.
  3. 제 1 항에 있어서, 상기 보조 정보 생성기는,
    상기 움직임 추정에 사용되는 키 프레임에 움직임 벡터가 포함되어 있지 않은 경우, 적어도 하나 이상의 키 프레임을 이용하여 기준 보조정보를 생성하고, 상기 기준 보조정보를 기준으로 움직임 추정을 다시 실행하여 최종 보조정보를 생성하는 것을 특징으로 하는 코딩 장치.
  4. 제 3 항에 있어서, 상기 보조 정보 생성기는,
    상기 생성된 최종 보조정보를 추정된 움직임 벡터의 중간에 보관하여 보조 정보를 생성하는 것을 특징으로 하는 코딩 장치.
  5. 제 1 항에 있어서, 상기 탐색 영역 및 움직임 벡터 설정기는,
    키 프레임 및 와이너지브 프레임이 부호화될 시 와이너지브 프레임은 적어도 하나의 키 프레임을 참조 프레임으로 하여 부호화되며 이에 따라 보조정보에서 사용한 움직임 벡터를 예측 움직임 벡터를 설정하는 것을 특징으로 하는 코딩 장치.
  6. 제 1 항에 있어서, 상기 탐색 영역 및 움직임 벡터 설정기는,
    제 1 키 프레임을 기준으로 제 2 키 프레임을 참조 프레임으로 하여 예측 움직임 벡터를 조정하여 설정하는 것을 특징으로 하는 코딩 장치.
  7. 제 1 항에 있어서, 상기 탐색 영역 및 움직임 벡터 설정기는,
    와이너지브 프레임을 기준으로 적어도 하나의 키 프레임을 참조 프레임으로 하여 예측 움직임 벡터를 조정하여 설정하는 것을 특징으로 하는 코딩 장치.
  8. 제 1 항에 있어서, 상기 비디오 복호화 장치는,
    상기 비디오 부호화 장치가 영상 내 예측 부호화 방법을 이용하여 부호화를 수행한 경우, 상기 복호화된 키 프레임을 수신하여 영상간 예측을 수행하는 것을 특징으로 하는 코딩 장치.
  9. 제 1 항에 있어서, 상기 비디오 복호화 장치는,
    상기 비디오 부호화 장치가 영상 간 예측 부호화 방법을 이용하여 부호화를 수행한 경우, 상기 복호화된 키 프레임, 상기 복호화된 와이너지브 프레임 및 상기 설정된 탐색 영역 및 예측 움직임 벡터를 수신하여 영상간 예측을 수행하는 것을 특징으로 하는 코딩 장치.
  10. 트랜스 코딩 방법에 있어서,
    비디오 부호화기에 의해 부호화된 키 프레임을 수신하고, 수신된 키 프레임의 복호화를 수행하는 단계;
    와이너지브 프레임과 키 프레임을 부호화 시 보조 정보를 생성하기 위하여 움직임 추정 시 사용한 움직임 벡터를 보상하여 보조 정보를 생성하는 단계;
    상기 움직임 추정 시 사용한 움직임 벡터를 이용하여 탐색영역과 예측 움직임 벡터를 설정하는 단계;
    상기 생성된 보조 정보에 포함된 오류를 수정하고, 상기 수정된 보조 정보의 복호화를 수행하여 복호화된 와이너지브 프레임을 출력하는 단계;
    키 프레임이 부호될 때 사용된 부호화 방법에 따라 상기 복호화된 키 프레임, 상기 복호화된 와이너지브 프레임 및 상기 설정된 탐색 영역 및 예측 움직임 벡터 중 적어도 하나를 출력하는 단계를 포함하는 것을 특징으로 하는 코딩 방법.
  11. 제 10 항에 있어서, 상기 보조 정보를 생성하는 단계는,
    상기 움직임 추정에 사용되는 키 프레임에 움직임 벡터가 포함된 경우, 적어도 하나 이상의 키 프레임을 이용하여 기준 보조정보를 생성하고, 상기 기준 보조정보를 추정된 움직임 벡터의 중간에 보관하여 보조 정보를 생성하는 것을 특징으로 하는 코딩 방법.
  12. 제 10 항에 있어서, 상기 보조 정보를 생성하는 단계는,
    상기 움직임 추정에 사용되는 키 프레임에 움직임 벡터가 포함되어 있지 않은 경우, 적어도 하나 이상의 키 프레임을 이용하여 기준 보조정보를 생성하고, 상기 기준 보조정보를 기준으로 움직임 추정을 다시 실행하여 최종 보조정보를 생성하는 것을 특징으로 하는 코딩 방법.
  13. 제 10 항에 있어서, 상기 보조 정보를 생성하는 단계는,
    상기 생성된 최종 보조정보를 추정된 움직임 벡터의 중간에 보관하여 보조 정보를 생성하는 것을 특징으로 하는 코딩 방법.
  14. 제 10 항에 있어서, 상기 탐색영역과 예측 움직임 벡터를 설정하는 단계는,
    키 프레임 및 와이너지브 프레임이 부호화될 시 와이너지브 프레임은 적어도 하나의 키 프레임을 참조 프레임으로 하여 부호화되며 이에 따라 보조정보에서 사용한 움직임 벡터를 예측 움직임 벡터를 설정하는 것을 특징으로 하는 코딩 방법.
  15. 제 10 항에 있어서, 상기 탐색영역과 예측 움직임 벡터를 설정하는 단계는,
    제 1 키 프레임을 기준으로 제 2 키 프레임을 참조 프레임으로 하여 예측 움직임 벡터를 조정하여 설정하는 것을 특징으로 하는 코딩 방법.
  16. 제 10 항에 있어서, 상기 탐색영역과 예측 움직임 벡터를 설정하는 단계는,
    와이너지브 프레임을 기준으로 적어도 하나의 키 프레임을 참조 프레임으로 하여 예측 움직임 벡터를 조정하여 설정하는 것을 특징으로 하는 코딩 방법.
  17. 제 10 항에 있어서, 상기 출력하는 단계는,
    상기 비디오 복호화 장치가 영상 내 예측 부호화 방법을 이용하여 부호화를 수행한 경우, 상기 복호화된 키 프레임을 출력하는 것을 특징으로 하는 코딩 방법.
  18. 제 10 항에 있어서, 상기 출력하는 단계는,
    상기 비디오 복호화 장치가 영상 간 예측 부호화 방법을 이용하여 부호화를 수행한 경우, 상기 복호화된 키 프레임, 상기 복호화된 와이너지브 프레임 및 상기 설정된 탐색 영역 및 예측 움직임 벡터를 출력하는 것을 특징으로 하는 코딩 방법.
KR1020100131993A 2010-12-21 2010-12-21 분산 비디오 트랜스 코딩 방법 및 이를 위한 장치 KR101274508B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100131993A KR101274508B1 (ko) 2010-12-21 2010-12-21 분산 비디오 트랜스 코딩 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131993A KR101274508B1 (ko) 2010-12-21 2010-12-21 분산 비디오 트랜스 코딩 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20120070435A true KR20120070435A (ko) 2012-06-29
KR101274508B1 KR101274508B1 (ko) 2013-06-13

Family

ID=46688296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131993A KR101274508B1 (ko) 2010-12-21 2010-12-21 분산 비디오 트랜스 코딩 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR101274508B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101035746B1 (ko) * 2008-08-21 2011-05-20 경희대학교 산학협력단 동영상 인코더와 동영상 디코더에서의 분산적 움직임 예측 방법
KR101074919B1 (ko) * 2009-01-09 2011-10-18 성균관대학교산학협력단 분산 비디오 부호화 영상의 복호화 장치 및 그 방법
KR20100093703A (ko) * 2009-02-17 2010-08-26 한국전자통신연구원 대칭적 움직임 예측 및 채널 분할을 통한 분산 동영상 부호화기와 복호화기 및 그 방법

Also Published As

Publication number Publication date
KR101274508B1 (ko) 2013-06-13

Similar Documents

Publication Publication Date Title
US20240080472A1 (en) Methods and systems for motion vector derivation at a video decoder
US20120230405A1 (en) Video coding methods and video encoders and decoders with localized weighted prediction
US9667961B2 (en) Video encoding and decoding apparatus, method, and system
KR100955396B1 (ko) 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및장치 및 기록매체
EP2262270A1 (en) Method, device and system for interframe prediction encoding and decoding
EP2699001B1 (en) A method and a system for video signal encoding and decoding with motion estimation
KR20120028843A (ko) 계층적 영상 부호화/복호화 방법 및 장치
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
JP2009530960A (ja) 照明変化補償動き予測符号化および復号化方法とその装置
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
KR20100093703A (ko) 대칭적 움직임 예측 및 채널 분할을 통한 분산 동영상 부호화기와 복호화기 및 그 방법
KR101364532B1 (ko) 인접 파티션의 크기를 고려한 움직임 벡터 예측 방법,장치, 인코더, 디코더 및 복호화 방법
KR101048599B1 (ko) 비디오 데이터 스트림을 인코딩하는 장치
KR20130023444A (ko) 다단계 화면간 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR101274508B1 (ko) 분산 비디오 트랜스 코딩 방법 및 이를 위한 장치
US8532179B2 (en) Method and device for optimizing the compression of a video stream
US20100309981A1 (en) Reuse of a search region in motion estimation of multiple target frames
KR100978465B1 (ko) 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및 장치 및 기록매체
US8116375B2 (en) Method for obtaining motion vector and image reference block in a code mode of fixed reference frame a number
KR101311410B1 (ko) 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치
Xin et al. Efficient MPEG-2 to H. 264/AVC transcoding of intra-coded video
KR100701740B1 (ko) 영상 데이터의 ｐｉ프레임 인코딩과 디코딩을 위한 장치및 방법
KR100991586B1 (ko) 특징값 추출을 수행하는 적응적 분산 비디오 부호화 장치 및 복호화 장치
US9667988B2 (en) Method and apparatus for reducing redundancy in residue signel in video data compression

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 6

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20190305

Year of fee payment: 7