KR101075776B1 - 트랜스코딩 방법 및 그 장치 - Google Patents

트랜스코딩 방법 및 그 장치 Download PDF

Info

Publication number
KR101075776B1
KR101075776B1 KR1020100007606A KR20100007606A KR101075776B1 KR 101075776 B1 KR101075776 B1 KR 101075776B1 KR 1020100007606 A KR1020100007606 A KR 1020100007606A KR 20100007606 A KR20100007606 A KR 20100007606A KR 101075776 B1 KR101075776 B1 KR 101075776B1
Authority
KR
South Korea
Prior art keywords
motion vector
side information
macroblock
compression
frame
Prior art date
Application number
KR1020100007606A
Other languages
English (en)
Other versions
KR20110087934A (ko
Inventor
서정훈
이영렬
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020100007606A priority Critical patent/KR101075776B1/ko
Publication of KR20110087934A publication Critical patent/KR20110087934A/ko
Application granted granted Critical
Publication of KR101075776B1 publication Critical patent/KR101075776B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 트랜스코딩 방법 및 그 장치에 관한 것이다. 본 발명에 따르면, 제1 압축 방식을 통해 부호화된 영상을 제2 압축 방식으로 트랜스코딩하는 방법에 있어서, 제1 압축 방식을 통해 부호화된 비트스트림의 인트라 프레임을 복호화 하는 단계, 복호화된 비트스트림의 인트라 프레임을 이용하여, 인트라 프레임들 사이의 인터 프레임에 대한 측면 정보를 생성하는 단계, 측면 정보를 이용하여 매크로블록의 분할 모드를 결정하는 단계, 분할된 매크로블록에 대한 측면 정보를 이용하여 움직임 벡터를 결정하는 단계, 움직임 벡터를 이용하여 인터 프레임에 대한 잔차신호를 생성하는 단계, 그리고 제2 압축 방식을 통해 잔차신호, 움직임 벡터, 및 매크로블록의 분할 모드 중에서 적어도 하나를 부호화시키는 단계를 포함한다.
이와 같이 본 발명에 의하면, DVC 복호기의 측면 정보를 이용하여 H.264/AVC의 부호기에서 매크로블록 모드 및 움직임 벡터를 결정할 수 있으므로, DVC 방식으로 코딩된 압축 영상을 H.264/AVC 방식으로 트랜스코딩하는 속도를 향상시킬 수 있다.

Description

트랜스코딩 방법 및 그 장치{Method of Transcoding and apparatus thereof}
본 발명은 압축된 영상을 다른 영상 압축 포맷으로 변환하는 트랜스코딩 방법 및 장치에 관한 것으로, 보다 상세하게는, 비트스트림을 변환하는데 있어서 DVC 복호기의 측면 정보를 이용하여 H.264/AVC의 부호기에서 매크로블록 모드 및 움직임 벡터를 결정함으로써 속도를 향상시킬 수 있는 트랜스코딩 방법 및 그 장치에 관한 것이다.
컴퓨터와 통신기술이 발전함에 따라서 다양한 데이터를 네트워크를 통해 전송할 수 있게 되었다. 네트워크를 통해 대용량의 멀티미디어 데이터를 전송하기 위하여 여러 가지 멀티미디어 데이터 압축 포맷들이 소개되고 있으며, 송신 측과 수신 측의 환경이 다르기 때문에 양측의 QoS(Quality Of Service)를 고려하여 하나의 데이터 포맷을 다른 데이터 포맷으로 변환하는 것이 필요한데, 이를 트랜스코딩(transcoding)이라 한다.
비디오 트랜스코딩은 픽셀 영역(pixel-domain)에서의 트랜스코딩 방법과 주파수 변환영역, 예를 들어 DCT(Discrete Cosine Transform) 영역에서의 트랜스코딩 방법이 있다. 픽셀 영역에서 트랜스코딩을 하기 위해서는 복호화와 부호화를 다시 수행하므로 모든 프레임에 있는 모든 매크로블록에 대한 움직임 예측과정을 다시 수행하여야 한다. 따라서, 트랜스코딩의 시간이 많이 소요되어 실시간으로 전송하기가 어렵다는 문제점이 있다.
본 발명이 해결하고자 하는 과제는 DVC 복호기의 측면 정보 생성 단계에서 얻어지는 정보를 기반으로 H.264/AVC으로 트랜스코딩 속도를 향상시킬 수 있는 트랜스코딩 방법 및 그 장치에 관한 것이다.
이러한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따르면, 제1 압축 방식을 통해 부호화된 영상을 제2 압축 방식으로 트랜스코딩하는 방법에 있어서, 상기 제1 압축 방식을 통해 부호화된 비트스트림의 인트라 프레임을 복호화 하는 단계, 상기 복호화된 비트스트림의 인트라 프레임을 이용하여, 상기 인트라 프레임들 사이의 인터 프레임에 대한 측면 정보를 생성하는 단계, 상기 측면 정보를 이용하여 매크로블록의 분할 모드를 결정하는 단계, 분할된 상기 매크로블록에 대한 측면 정보를 이용하여 움직임 벡터를 결정하는 단계, 상기 움직임 벡터를 이용하여 상기 인터 프레임에 대한 잔차신호를 생성하는 단계, 그리고 상기 제2 압축 방식을 통해 상기 잔차신호, 상기 움직임 벡터, 및 상기 매크로블록의 분할 모드 중에서 적어도 하나를 부호화시키는 단계를 포함한다.
상기 매크로블록의 분할 모드를 결정하는 단계는, 상기 측면 정보에 포함된 움직임 방향이 유사한 매크로블록들을 조합하여 분할 모드를 결정할 수 있다.
상기 측면 정보는 8×8 단위이며, 상기 분할 모드는 16×16, 16×8, 8×16 및 8×8 단위 중 어느 하나로 결정될 수 있다.
상기 매크로블록의 분할 모드가 16×16이고, 상기 측면 정보의 움직임 벡터가 (0, 0)이면 상기 매크로블록 모드를 Skip 모드로 결정할 수 있다.
상기 움직임 벡터를 결정하는 단계는, 동일한 블록으로 분할된 매크로블록에 해당하는 측면 정보의 평균값을 이용하여 상기 움직임 벡터를 결정할 수 있다.
상기 움직임 벡터가 매핑된 화소에 인접하는 화소에 대하여 상기 움직임 벡터를 재조정하는 단계를 포함할 수 있다.
상기 비트스트림의 인터 프레임을 LDPC 방식을 통해 복호화하는 단계를 더 포함할 수 있다.
상기 인터 프레임에 대한 잔차신호를 생성하는 단계는, 상기 LDPC 방식을 통해 복호화된 인터 프레임과 상기 측면 정보의 움직임 벡터를 연산하여 생성할 수 있다.
상기 제1 압축 방식은 분산 비디오 압축 기술(DVC)이고, 상기 제2 압축 방식은 H.264/AVC 압축 방식일 수 있다.
본 발명의 다른 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체는, 상기한 방법 중 어느 하나를 실행시키기 위한 프로그램을 기록한다.
본 발명의 또 다른 실시예에 따르면, 제1 압축 방식을 통해 부호화된 비트스트림을 제2 압축 방식으로 트랜스코딩하는 장치에 있어서, 상기 제1 압축 방식을 통해 부호화된 비트스트림의 인트라 프레임을 복호화 하는 인트라 복호화부, 상기 복호화된 비트스트림의 인트라 프레임을 이용하여, 상기 인트라 프레임들 사이의 인터 프레임에 대한 측면 정보를 생성하는 측면 정보 생성부, 상기 측면 정보를 이용하여 매크로블록의 분할 모드를 결정하는 매크로블록 분할 모드 결정부, 분할된 상기 매크로블록에 대한 측면 정보를 이용하여 움직임 벡터를 결정하는 움직임 벡터 결정부, 상기 움직임 벡터를 이용하여 상기 인터 프레임에 대한 잔차신호를 생성하는 움직임 보상부, 그리고 상기 제2 압축 방식을 통해 상기 잔차신호, 상기 움직임 벡터, 및 상기 매크로블록의 분할 모드 중에서 적어도 하나를 부호화시키는 부호화부를 포함한다.
이와 같이 본 발명에 의하면, DVC 복호기의 측면 정보를 이용하여 H.264/AVC의 부호기에서 매크로블록 모드 및 움직임 벡터를 결정할 수 있으므로, DVC 방식으로 코딩된 압축 영상을 H.264/AVC 방식으로 트랜스코딩하는 속도를 향상시킬 수 있다.
도 1은 H.264/AVC에서 움직임 예측 시에 사용되는 블록들을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 직렬 화소 영역 트랜스코딩 장치의 구성을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 매크로블록 분할 모드 결정 방법을 설명하는 도면이다.
도 4는 본 발명의 실시예에 따른 트랜스코딩 방법의 순서도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
본 발명에 따른 트랜스코딩 장치는 저복잡도 부호화와 고복잡도 복호화의 구조를 갖는 분산 비디오 압축 기술(Distributed Video Coding, 이하 'DVC'라 함)에 의해 압축된 영상을 동영상 압축 표준인 H.264/AVC의 포맷으로 변환하는 장치이다.
DVC는 H.264/AVC를 기반으로 하는 부/복호화기이지만 종래의 동영상 압축 표준인 H.261, H.263, MPEG-2 그리고 MPEG-4 들과의 상호 연관성을 고려하지 않고 만들어진 부/복호기이며, 따라서 DVC와 H.264/AVC는 서로 다른 특징을 가지고 있다.
DVC의 Wyner-Ziv 부호화는 프레임을 두 종류로 구분하는데, Xt 에 해당하는 인터 프레임은 WZ(Wyner-Ziv) 프레임이라 하고, 기존 부호화 방식에 따라 인트라 부호화되는 Xt -1, Xt +1 에 해당하는 프레임은 인트라 프레임(Key 프레임)이라고 한다.
Wyner-Ziv 부호화는 I-WZ-I-WZ 구조로 부호화하기 때문에 WZ 프레임의 앞과 뒤에 항상 인트라 부호화된 인트라 프레임이 필요하다. 인트라 프레임 Xt -1과 Xt +1은 H.264/AVC 등의 기존 인트라 부호화 방식으로 부호화되어 복호화기로 전송되며, 복호화기는 이 두 장의 프레임을 움직임 추정 보간법(Motion Compensated Temporal Interpolation, 'MCTI' 또는 'MCI'라고 함)을 이용하여 현재의 인터 프레임 Xt 에 상응하는 측면정보(side information)인 Y 프레임을 만들어 낸다.
더욱 상세히 말하면, DVC의 Wyner-Ziv 프레임 복호화는 부호기에서 전송된 인트라 프레임을 기반으로 하여 측면정보를 생성하고 부호기와의 피드백을 통하여 이루어지는 반면에 H.264/AVC는 부호기에서 부호화된 인터프레임의 정보를 복호기로 전송하여 복호화가 이루어진다.
도 1은 H.264/AVC에서 움직임 예측 시에 사용되는 블록들을 도시한 도면이다.
도 1을 참조하면, H.264/AVC는 16×16 매크로블록을 7개의 가변블록으로 나눌 수 있고, 각각의 가변블록이 움직임 벡터를 가짐을 알 수 있다. 즉, 매크로블록은 16×16, 8×16, 16×8, 8×8 블록으로 나누어질 수 있으며, 8×8 블록으로 나누어진 매크로블록은 다시 4×8, 8×4, 4×4로 나누어질 수 있다. 반면에 DVC의 비트스트림은 인트라 프레임에 대한 정보만을 가지고 있기 때문에 DVC에서 Wyner-ziv 프레임 복원과정에서 얻어지는 정보를 바탕으로 H.264/AVC 블록 모드로의 변환이 필요하다.
이하에서는 DVC로 압축된 동영상을 H.264/AVC 포맷으로 변환할 때, DVC 복호기의 정보를 바탕으로 H.264/AVC에서 사용할 수 있는 블록 타입과 움직임 정보로 변환함으로써 트랜스코딩에 소요되는 시간을 줄이는 방법에 대하여 상세히 설명한다.
픽셀 영역에서 트랜스코딩을 수행하는 방법으로 직렬 화소 영역 트랜스코딩(Cascaded Pixel-domain Trancoding) 방법이 있다. 직렬 화소 영역 트랜스코딩 방법은, 입력된 DVC 비트스트림을 모두 복원하고 복원된 영상에 대해 H.264/AVC 표준에 따라 다시 압축을 수행하는 방법이다. 모든 프레임에 있는 모든 매크로블록에 대한 움직임 예측 과정이 H.264/AVC 부호화를 위해 다시 수행되어야 하기 때문에 변환 시간과 비용이 많이 들어 실시간 전송에 적합하지 않다.
도 2는 본 발명의 실시예에 따른 직렬 화소 영역 트랜스코딩 장치의 구성을 나타낸 도면이다.
본 발명의 실시예에 따른 트랜스코딩 장치(200)는 DVC 복호기(210)와 H.264/AVC 부호기(220)를 포함한다. 본 발명의 실시예에 따른 트랜스코딩 장치(200)는 트랜스코딩 소요시간을 줄여 실시간 전송이 가능하도록 하기 위하여 DVC 복호기(210)에서 사용하는 측면정보를 H.264/AVC 부호기(220)로 전달하여 재사용하도록 한다.
DVC 복호기(210)는 인트라 복호화부(211), 측면 정보 생성부(212) 및 LDPC 복호화부(213)를 포함한다.
인트라 복호화부(211)는 DVC 부호기(도시하지 않음)에서 생성된 비트스트림을 입력받아 CAVLC(Context Adaptive Variable Length Coding) 혹은 CABAC(Context Adaptive Binary Arithmetic Coding)을 이용하여 복호화를 수행한다.
즉, 인트라 복호화부(211)는 DVC 부호화된 비트스트림의 인트라 프레임을 복호화 한다.
이때, DVC에서 인트라 프레임과 H.264/AVC의 인트라 프레임은 동일한 구조를 가지므로, 비트스트림이 인트라 프레임인 경우 별도의 처리과정 없이 H.264/AVC 비트스트림으로 생성된다.
측면 정보 생성부(212)는 인트라 복호화부(211)에서 복원된 프레임을 이용하여 Wyner-Ziv 프레임 복호를 위하여 측면 정보를 생성한다. 이 과정은 두 장 이상의 복원된 인트라 프레임 사이의 인터 프레임인 Wyner-Ziv 프레임을 복원하기 위한 과정으로 이 과정에서 H.264/AVC의 움직임 예측과 유사한 과정이 수행되기 때문에 여기서 얻어진 정보를 H.264/AVC 부호기에서 이용할 수 있다.
더욱 상세히 말하면, 측면 정보 생성부(212)는 복원된 인트라 프레임들 간의 움직임 예측을 통해 측면 정보를 생성하게 되는데, 일반적으로 8×8 단위의 움직임 예측을 통하여 측면 정보를 생성하게 된다.
예를 들면 n 번째 Wyner-Ziv 프레임을 복원하기 위하여 n-1 번째의 복원된 인트라 프레임과 n+1 번째의 복원된 인트라 프레임 사이에서 8×8 블록 단위의 움직임 방향 예측을 수행하여 가장 유사한 블록의 움직임 벡터를 구하고 이 움직임 벡터는 인트라 프레임의 시간적 위치에 가중치를 두게 된다.
즉, n-1 번째 인트라 프레임을 기준으로 n+1 번째 인트라 프레임에서 움직임 예측이 수행되었을 경우, (10, 10)의 움직임 벡터가 얻어지면 n 번째 Wyner-Ziv 프레임의 측면 정보는 (5, 5)이고 동일한 인트라 프레임을 기준으로 n+2 번째 인트라 프레임에서 움직임 예측이 수행된다. n+2 번째 인트라 프레임에서 (10, 10)의 움직임 벡터가 얻어지면, 측면 정보는 n-1 번째 프레임 방향으로 (-3, -3), n+1 번째 프레임 방향으로 (6, 6)이 되게 된다.
이러한 과정을 통하여 얻어지는 측면 정보는 DVC 복호기의 LDPC 복호화부(213)와 H.264/AVC 부호기의 매크로블록 분할 모드 결정부(225), 움직임 벡터 결정부(224)로 전송되게 된다.
LDPC 복호화부(213)는 전송된 측면 정보와 채널 복호화를 통해 얻어진 에러율이 충분히 작아질 때까지 DVC 부호기(도시하지 않음)에 추가 정보를 계속 요청하고, 버퍼를 통하여 추가 정보를 수신한다. LDPC 복호화부(213)는 측면 정보 생성부(212)로부터 생성된 비트스트림의 인터 프레임을 LDPC(Low Density Parity Check) 방식으로 복호화하고, LDPC 복호화부(213)를 거친 영상은 최종적으로 복원된 Wyner-Ziv 프레임이 된다.
H.264/AVC 부호기(220)는 움직임 보상부(221), 양자화부(222), 부호화부(223), 움직임 벡터 결정부(224), 및 매크로블록 분할 모드 결정부(225)를 포함한다.
H.264/AVC 부호기(220)에서는 DVC 비트스트림이 인트라 프레임인 경우, H.264/AVC의 비트스트림으로 바로 전송되며, DVC 비트스트림이 Wyner-Ziv 프레임인 경우 인터 프레임으로 부호화하게 된다. H.264/AVC 부호기(220)는 많은 시간이 소모되는 움직임 예측 과정을 생략하기 위하여 매크로블록 내의 블록 타입과 움직임 벡터를 결정하는 과정이 필요하다. 따라서, 매크로블록 분할 모드 결정부(225)와 움직임 벡터 결정부(224)는 측면 정보 생성부(214)에서 전송된 측면 정보를 재사용하는데, 이를 위해, 측면 정보를 매크로블록이 갖는 분할 모드로 변환하고, 이와 같이 분할된 모드에 따라 움직임 벡터도 변환시키도록 한다.
도 3은 본 발명의 실시예에 따른 매크로블록 분할 모드 결정 방법을 설명하는 도면이다.
도 3의 (a), (b). (c), (d)는 각각 매크로블록 분할 모드 결정부(225)가 DVC 복호기(210)로부터 수신된 측면 정보를 이용하여 분할 모드와 움직임 벡터를 생성하는 동작을 나타내는 것으로서, 각 도면의 왼쪽은 DVC 복호기(210)로부터 수신된 인터 프레임의 측면 정보를 나타내고, 오른쪽은 왼쪽의 측면 정보로부터 변환된 매크로블록을 나타낸다.
도 3의 (a)를 참조하면 부호화 할 매크로블록의 위치에 해당하는 8×8 단위의 4개의 측면 정보가 동일한 방향(→) 특성을 나타내면, 매크로블록 분할 모드 결정부(225)는 매크로블록을 16×16 분할 모드로 설정한다.
즉, 4개의 측면 정보가 동일한 방향 특성을 가지므로, 매크로블록 분할 모드 결정부(225)는 하나의 움직임 벡터를 갖는 16×16 분할 모드로 설정한다. 여기서, 부호화 할 측면 정보의 움직임 벡터가 (0, 0)이라면 Skip 모드로 결정하게 된다.
도 3의 (b)를 참조하면 부호화 할 매크로블록의 위치에 해당하는 8×8 단위의 4개의 측면 정보가 2종류의 방향(→, ↑) 특성을 나타내는 경우로서, 특히, 동일한 행에 속하는 측면 정보끼리 동일한 방향 특성을 가지고 있다. 매크로블록 분할 모드 결정부(225)는 매크로블록을 2개의 16×8 분할 모드로 나누어 설정한다. 즉 동일한 움직임 벡터를 가지는 블록을 통합하여 16×8 분할 모드를 설정한다.
도 3의 (c)를 참조하면 부호화 할 매크로블록의 위치에 해당하는 8×8 단위의 4개의 측면 정보가 2종류의 방향(↗, ↘) 특성을 나타내는 경우로서, 특히, 동일한 열에 속하는 블록끼리 동일한 방향 특성을 가지고 있다. 매크로블록 분할 모드 결정부(225)는 매크로블록을 2개의 8×16 분할 모드로 나누어 설정한다. 즉 동일한 움직임 벡터를 가지는 블록을 통합하여 8×16 분할 모드를 설정한다.
도 3의 (d)를 참조하면 부호화 할 매크로블록의 위치에 해당하는 8×8 단위의 4개의 측면 정보가 유사성을 가지지 않는 경우로서, 매크로블록 분할 모드 결정부(225)는 현재의 매크로블록을 4개의 8×8 분할 모드로 나누어 설정한다.
도 3과 같은 방식을 이용하면 4×4 측면 정보를 사용할 경우에, 8×8 분할 모드 보다 작은 모드(8×4, 4×8, 4×4)도 생성할 수 있다.
도 3과 같은 방법으로 매크로블록 분할 모드 결정부(225)가 현재 부호화 할 매크로블록의 모드를 결정하면 움직임 벡터 결정부(224)는 결정된 모드를 기반으로 하여 움직임 벡터를 결정하게 된다.
도 3의 (a)와 같이 결정된 모드가 16×16 블록 모드일 경우, 움직임 벡터 결정부(224)는 4개의 8×8 단위의 측면 정보를 평균하여 해당 매크로블록의 움직임 벡터로 결정한다.
그리고, 도 3의 (b)와 같이 결정된 모드가 16×8 모드일 경우, 움직임 벡터 결정부(224)는 위쪽 측면 정보(→)와 아래쪽 측면 정보(↑)를 각각 평균하여 각 16×8 블록의 움직임 벡터로 결정한다. 또한 도 3의 (c)와 같이 결정된 모드가 8×16 모드의 경우, 움직임 벡터 결정부(224)는 왼쪽 측면 정보(↗)와 오른쪽 측면 정보(↘)를 각각 평균하여 각 8×16 블록의 움직임 벡터로 결정한다.
또한 도 3의 (d)와 같이 결정된 모드가 8×8 블록의 경우, 움직임 벡터 결정부(224)는 각 블록의 측면 정보를 그대로 8×8 블록의 움직임 벡터로 결정한다.
이때 결정된 움직임 벡터의 인접 범위(±α)에 대하여 추가로 율-왜곡 최적화와 같은 척도를 이용하여 움직임 벡터 재조정을 수행할 수 있다. 여기서 추가로 움직임 예측이 수행되는 ±α의 단위는 1/2 화소 혹은 1/4 화소가 될 수 있으며 각 화소는 H.264/AVC에서 사용되는 필터를 사용하여 생성할 수 있다.
위의 과정을 거쳐서 현재 부호화 할 매크로블록의 분할 모드와 움직임 벡터가 결정되면 움직임 보상부(221)는 해당 정보를 사용하여 예측 블록을 생성하고 움직임 보상을 수행하여 잔차신호(residual signal)를 생성한다.
즉, 움직임 보상부(221)는 LDPC 복호화부(213)을 통해 복호화된 인터 프레임과 움직임 벡터 결정부(224)에 의해 생성된 인터 프레임의 측면 정보의 움직임 벡터를 연산하여 잔차신호를 생성한다.
양자화부(222)는 생성된 잔차신호를 변환 및 양자화시키며, 부호화부(223)는
양자화된 잔차신호, 움직임 벡터, 및 매크로블록의 분할 모드 중에서 적어도 하나를 부호화시킨 후, H.264/AVC 비트스트림을 생성한다.
도 4는 본 발명의 실시예에 따른 트랜스코딩 방법의 순서도이다.
먼저, 인트라 복호화부(211)는 DVC 부호기(도시하지 않음)에서 생성된 비트스트림을 입력받아 복호화를 수행한다(S410). 여기서, DVC 비트스트림이 Wyner-Ziv 프레임의 앞과 뒤에 생성되는 인트라 부호화된 인트라 프레임인 경우에는 H.264/AVC의 비트스트림으로 바로 전송되며, Wyner-Ziv 프레임에 해당하는 비트스트림에 대하여 복호화를 수행한다.
다음으로, 측면 정보 생성부(212)는 인트라 복호화부(211)에서 복원된 프레임을 이용하여 Wyner-Ziv 프레임 복호를 위하여 Wyner-Ziv 프레임에 대한 측면 정보를 생성한다(S420).
H.264/AVC 부호기(220)는 DVC 복호과정에서 생성되는 측면 정보를 입력받고, DVC의 측면 정보에 대하여 인터 16×16 모드, 인터 16×8 모드, 인터 8×16 모드, 인터 8×8 모드 중 어느 하나의 매크로블록으로 분할 모드를 결정한다(S430). 이에 대한 상세한 설명은 도 3을 참조하여 상술한 것과 같다.
그리고, 움직임 벡터 결정부(224)는 측면 정보와 선택된 분할 모드를 이용하여 움직임 벡터를 결정한다(S440). 즉, 도 3에서 상술한 바와 같이 결정된 매크로블록 분할 모드에 따라 예측 정보를 평균하여 해당 블록의 움직임 벡터로 매핑시킨다. 이렇게 계산된 움직임 벡터가 매핑된 좌표의 화소에 인접하는 화소에 대하여 ±α 범위 내에서 움직임 벡터를 추가로 재조정하여 최종 움직임 벡터를 결정한다(S450).
그리고, 움직임 보상부(221)는 움직임 벡터를 이용하여 예측 블록을 생성하고 LDPC 복호화부(213)를 통해 복호화된 인터 프레임의 차이 값을 연산하여 움직임 보상을 수행함으로써, 인터 프레임에 대한 잔차신호(residual signal)를 생성한다(S460).
그리고, 양자화부(222)는 생성된 잔차신호를 변환 및 양자화 시키며(S470), 부호화부(223)는 양자화된 잔차신호, 움직임 벡터, 및 매크로블록의 분할 모드 중에서 적어도 하나를 부호화하여 H.264/AVC 비트스트림을 생성된다(S480).
이와 같이 본 발명에 의하면, DVC 복호기의 측면 정보를 이용하여 H.264/AVC의 부호기에서 매크로블록 모드 및 움직임 벡터를 결정할 수 있으므로, DVC 방식으로 코딩된 압축 영상을 H.264/AVC 방식으로 트랜스코딩하는 속도를 향상시킬 수 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 기록매체를 포함한다. 이 기록매체는 지금까지 설명한 네트워크 서비스 분류 차단 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
200: 트랜스코딩 장치, 210: DVC 복호기,
211: 인트라 복호화부, 212: 측면 정보 생성부,
213: LDPC 복호화부, 220: H.264/AVC 부호기,
221: 움직임 보상부, 222: 양자화부,
223: 부호화부, 224: 움직임 벡터 결정부,
225: 매크로블록 분할 모드 결정부

Claims (16)

  1. 제1 압축 방식을 통해 부호화된 영상을 제2 압축 방식으로 트랜스코딩하는 방법에 있어서,
    상기 제1 압축 방식을 통해 부호화된 비트스트림의 인트라 프레임을 복호화 하는 단계,
    상기 복호화된 비트스트림의 인트라 프레임을 이용하여, 상기 인트라 프레임들 사이의 인터 프레임에 대한 측면 정보를 생성하는 단계,
    상기 측면 정보에 포함된 움직임 방향 특성이 유사한 매크로블록들을 조합하여 매크로블록의 분할 모드를 결정하는 단계,
    분할된 상기 매크로블록에 대한 측면 정보를 이용하여 움직임 벡터를 결정하는 단계,
    상기 움직임 벡터를 이용하여 상기 인터 프레임에 대한 잔차신호를 생성하는 단계, 그리고
    상기 제2 압축 방식을 통해 상기 잔차신호, 상기 움직임 벡터, 및 상기 매크로블록의 분할 모드 중에서 적어도 하나를 부호화시키는 단계를 포함하며,
    상기 매크로블록의 분할 모드를 결정하는 단계는,
    인접하고 있는 매크로블록의 측면 정보에 포함된 움직임 방향 특성이 유사한 경우에 하나의 측면 정보로 합치는 트랜스코딩 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 측면 정보는 8×8 단위이며,
    상기 분할 모드는 16×16, 16×8, 8×16 및 8×8 단위 중 어느 하나로 결정되는 트랜스코딩 방법.
  4. 제3항에 있어서,
    상기 매크로블록의 분할 모드가 16×16이고, 상기 측면 정보의 움직임 벡터가 (0, 0)이면 상기 매크로블록 모드를 Skip 모드로 결정하는 트랜스코딩 방법.
  5. 제1항에 있어서,
    상기 움직임 벡터를 결정하는 단계는,
    동일한 블록으로 분할된 매크로블록에 해당하는 측면 정보의 평균값을 이용하여 상기 움직임 벡터를 결정하는 트랜스코딩 방법.
  6. 제5항에 있어서,
    상기 움직임 벡터가 매핑된 화소에 인접하는 화소에 대하여 상기 움직임 벡터를 재조정하는 단계를 포함하는 트랜스코딩 방법.
  7. 제1항에 있어서,
    상기 비트스트림의 인터 프레임을 LDPC 방식을 통해 복호화하는 단계를 더 포함하는 트랜스코딩 방법.
  8. 제7항에 있어서,
    상기 인터 프레임에 대한 잔차신호를 생성하는 단계는,
    상기 LDPC 방식을 통해 복호화된 인터 프레임과 상기 측면 정보의 움직임 벡터를 연산하여 생성하는 트랜스코딩 방법.
  9. 제1항에 있어서,
    상기 제1 압축 방식은 분산 비디오 압축 기술(DVC)이고, 상기 제2 압축 방식은 H.264/AVC 압축 방식인 트랜스코딩 방법.
  10. 제1항, 제3항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 제1 압축 방식을 통해 압축된 영상을 제2 압축 방식으로 트랜스코딩하는 장치에 있어서,
    상기 제1 압축 방식을 통해 부호화된 비트스트림의 인트라 프레임을 복호화 하는 인트라 복호화부,
    상기 복호화된 비트스트림의 인트라 프레임을 이용하여, 상기 인트라 프레임들 사이의 인터 프레임에 대한 측면 정보를 생성하는 측면 정보 생성부,
    상기 측면 정보에 포함된 움직임 방향 특성이 유사한 매크로블록들을 조합하여 매크로블록의 분할 모드를 결정하는 매크로블록 분할 모드 결정부,
    분할된 상기 매크로블록에 대한 측면 정보를 이용하여 움직임 벡터를 결정하는 움직임 벡터 결정부,
    상기 움직임 벡터를 이용하여 상기 인터 프레임에 대한 잔차신호를 생성하는 움직임 보상부, 그리고
    상기 제2 압축 방식을 통해 상기 잔차신호, 상기 움직임 벡터, 및 상기 매크로블록의 분할 모드 중에서 적어도 하나를 부호화시키는 부호화부를 포함하며,
    상기 매크로블록 분할 모드 결정부는,
    인접하고 있는 매크로블록의 측면 정보에 포함된 움직임 방향 특성이 유사한 경우에 하나의 측면 정보로 합치는 트랜스코딩 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 움직임 벡터 결정부는,
    동일한 블록으로 분할된 매크로블록에 해당하는 측면 정보의 평균값을 이용하여 상기 움직임 벡터를 결정하는 트랜스코딩 장치.
  14. 제11항에 있어서,
    상기 측면 정보 생성부로부터 생성된 상기 인터 프레임을 LDPC 방식으로 복호화하는 LDPC 복호화부를 더 포함하는 트랜스코딩 장치.
  15. 제14항에 있어서,
    상기 움직임 보상부는,
    상기 LDPC 복호화부를 통해 복호화된 인터 프레임과 상기 측면 정보의 움직임 벡터를 연산하여 생성하는 트랜스코딩 장치.
  16. 제11항에 있어서,
    상기 제1 압축 방식은 분산 비디오 압축 기술(DVC)이고, 상기 제2 압축 방식은 H.264/AVC 압축 방식인 트랜스코딩 장치.
KR1020100007606A 2010-01-27 2010-01-27 트랜스코딩 방법 및 그 장치 KR101075776B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100007606A KR101075776B1 (ko) 2010-01-27 2010-01-27 트랜스코딩 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100007606A KR101075776B1 (ko) 2010-01-27 2010-01-27 트랜스코딩 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20110087934A KR20110087934A (ko) 2011-08-03
KR101075776B1 true KR101075776B1 (ko) 2011-10-24

Family

ID=44926618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100007606A KR101075776B1 (ko) 2010-01-27 2010-01-27 트랜스코딩 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101075776B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769747A (zh) * 2012-06-29 2012-11-07 中山大学 一种基于并行迭代的分级分布式视频编解码方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문 : ICIP2009*
논문 : SPIE2008

Also Published As

Publication number Publication date
KR20110087934A (ko) 2011-08-03

Similar Documents

Publication Publication Date Title
US9185408B2 (en) Efficient storage of motion information for high efficiency video coding
US9350996B2 (en) Method and apparatus for last coefficient indexing for high efficiency video coding
US9838685B2 (en) Method and apparatus for efficient slice header processing
US8718135B2 (en) Method and system for transcoding based robust streaming of compressed video
JP4927207B2 (ja) 符号化方法、復号化方法及び装置
KR101608426B1 (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
US8582904B2 (en) Method of second order prediction and video encoder and decoder using the same
US10291934B2 (en) Modified HEVC transform tree syntax
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
CN100555332C (zh) 使用包括多个宏块的预测和非预测画面对画面序列编码的方法和装置
US20090016443A1 (en) Inter mode determination method for video encoding
US11317105B2 (en) Modification of picture parameter set (PPS) for HEVC extensions
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
TWI737217B (zh) 動態影像預測解碼方法
KR101075776B1 (ko) 트랜스코딩 방법 및 그 장치
CN112887737B (zh) 用于hevc扩展处理的条件解析扩展语法
KR20160053848A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
EP2781093B1 (en) Efficient storage of motion information for high efficiency video coding
JP2013243453A (ja) 符号化データ変換装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141002

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee