KR20100038694A

KR20100038694A - 초 해상도를 사용한 부호화기, 복호화기 및 그 방법

Info

Publication number: KR20100038694A
Application number: KR1020080097755A
Authority: KR
Inventors: 송병철
Original assignee: 인하대학교 산학협력단
Priority date: 2008-10-06
Filing date: 2008-10-06
Publication date: 2010-04-15

Abstract

초 해상도를 사용한 부호화기, 복호화기 및 그 방법이 개시된다. 초 해상도를 사용한 부호화기는 복원 프레임을 저장하는 저장부; 복수의 상기 복원 프레임에 초 해상도를 적용하여 고해상도 영상을 생성하는 초 해상도부; 및, 상기 고해상도 영상을 참조 프레임으로 사용하여 입력되는 영상을 부호화하는 부호화부를 포함한다.

해상도, 초 해상도, 복원 프레임, 부호화 정보, 참조 프레임, 영상.

Description

초 해상도를 사용한 부호화기, 복호화기 및 그 방법{ENCODER, DECODER USING SUPER-RESOLITION AND METHOD THEREOF}

본 발명의 일실시예들은 초 해상도를 사용한 부호화기, 복호화기 및 그 방법에 관한 것으로, 특히 복수의 복원 프레임에 초 해상도를 적용하여 생성한 고해상도 프레임을 참조 프레임으로 사용하여 부호화함으로써 부호화 효율을 증가 시키는 장치 및 방법에 관한 것이다.

동영상의 성능 개선에 중요한 기술 분야로는 압축 효율 개선, 복잡도 개선, 및 피드백 기반 에러 강인성이 포함된다. 그러나, 종래의 기술 연구는 압축 효율 개선과 복잡도 개선에만 치중되어 피드백 기반 에러 강인성에 대한 개발은 거의 없는 실정이다.

또한, 부화소(sub-pel) 움직임 벡터 추정 및 보상 기술은 부호화 방식의 핵심이다. 종래의 부호화 방식에서는 움직임 보상을 할 화소를 반 화소(half-pel), 1/4 화소 및 1/8 화소로 설정하고 그에 대응하여 참조 프레임을 보간한 다음에 움직임 보상을 하므로 참조 프레임 보간에 의한 피드백 기반 에러인 프레딕션 오류(prediction error)가 발생할 가능성이 있는 실정이다.

또한, 기존의 단순한 라이너 보간법(Linear interpolation)을 사용해서는 부화소 움직임 보상의 성능에 한계가 있는 문제도 있었다.

따라서, 참조 프레임의 보간이 없이 움직임을 추정하여 프레딕션 오류를 감소할 수 있으며 상기 라이너 보간법에 의한 부화소 움직임 보상 성능의 한계를 능가할 수 있는 부호화 방법이 필요한 실정이다.

본 발명의 일실시예들은 복수의 저해상도 복호화 프레임에 초 해상도를 적용하여 고해상도 프레임을 생성하고, 고해상도 프레임을 참조 프레임으로 사용하여 부호화함으로써 부호화 효율을 증가 시킬 수 있는 초 해상도를 사용한 부호화기를 제공한다.

본 발명의 일실시예들은 탐색하고자 하는 화소의 크기에 반비례하도록 참조 프레임의 해상도를 변화시킴으로써 참조 프레임의 보간 없이 움직임을 추정할 수 있어 프레딕션 오류(prediction error)를 감소시킬 수 있는 초 해상도를 사용한 부호화기를 제공한다.

본 발명의 일실시예에 따른 초 해상도를 사용한 부호화기는 복원 프레임을 저장하는 저장부; 복수의 상기 복원 프레임에 초 해상도를 적용하여 고해상도 영상을 생성하는 초 해상도부; 및, 상기 고해상도 영상을 참조 프레임으로 사용하여 입력되는 영상을 부호화하는 부호화부를 포함한다.

본 발명의 일측면에 따르면, 상기 부호화부는 상기 고해상도 영상과 상기 입력되는 영상의 해상도 비율을 확인하고, 상기 해상도 비율에 대응하여 탐색 영역을 서브 샘플링하여 탐색하며, 보간 하지 않은 상기 고해상도 프레임을 사용하여 반 화소 움직임을 추정하고, 추정된 반 화수 움직임에 대응하여 상기 입력되는 영상을 보상할 수 있다.

또한, 본 발명의 일실시예에 따른 초 해상도를 사용한 부호화 방법은 상기 고해상도 영상을 참조 프레임으로 사용하여 부호화하는 방법은 상기 고해상도 영상과 상기 입력되는 영상의 해상도 비율을 확인하는 단계; 상기 해상도 비율에 대응하여 탐색 영역을 서브 샘플링하여 탐색하는 단계; 보간 하지 않은 상기 고해상도 프레임을 사용하여 반 화소 움직임을 추정하는 단계; 및, 추정된 상기 반 화소 움직임을 기초로 부호화하는 단계를 포함한다.

본 발명의 일측면에 따르면, 상기 초 해상도를 사용한 부호화 방법은 반 화소보다 적은 화소 탐색이 필요한가 확인하는 단계; 복수의 복원 프레임에 해상도를 반 화소보다 적은 화소에 반비례하는 비율로 증가시키는 초 해상도를 적용하여 상기 고해상도 영상보다 높은 해상도를 가지는 초고해상도 영상을 생성하는 단계; 및, 상기 초 고해상도 영상을 참조 프레임으로 사용하여 부호화하는 단계를 더 포함할 수 있다.

또한, 본 발명의 일실시예에 따른 초 해상도를 사용한 복호화기는 부호화 정보가 복호화된 영상 프레임을 저장하는 버퍼부; 복수의 상기 영상 프레임에 초 해상도를 적용하여 고해상도 영상을 생성하는 초 해상도부; 및, 상기 고해상도 영상을 참조 프레임으로 사용하여 부호화 정보를 복호화하는 복호화부를 포함한다.

본 발명의 일실시예들은 복수의 저해상도 복호화 프레임에 초 해상도를 적용하여 고해상도 프레임을 생성하고, 고해상도 프레임을 참조 프레임으로 사용하여 부호화함으로써 부호화 효율을 증가 시킬 수 있다.

본 발명의 일실시예들은 탐색하고자 하는 화소의 크기에 반비례하도록 참조 프레임의 해상도를 변화시킴으로써 참조 프레임의 보간 없이 움직임을 추정할 수 있어 프레딕션 오류(prediction error)를 감소시킬 수 있다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

도 1은 본 발명의 일실시예에 따른 초 해상도를 사용한 부호화기(100)의 개괄적인 모습을 도시한 도면이다.

도 1에 도시된 바와 같이, 초 해상도를 사용한 부호화기(100)에 저해상도(Low resolution: LR) 동영상이 입력되면 부호화 코딩부(101)가 입력된 동영상을 부호화하여 부호화 정보를 생성하고, 버퍼부(102)에 상기 부호화 정보가 복원된 복원 프레임들을 저장되며, 초 해상도부(103)가 버퍼부(102)에 저장된 복수의 상기 복원 프레임에 초 해상도를 적용하여 고해상도 영상을 생성하고, 움직임 추정 및 보상부(104)가 상기 고해상도 영상을 참조 프레임으로 사용하여 입력되는 영상의 움직임 추정 및 보상을 한다.

또한, 복호화부(105)를 더 포함하여 복호화부(105)가 부호화부(101)에서 부호화된 프레임을 복원하여 복원 프레임을 생성하고, 생성된 상기 복원 프레임을 버퍼부(102)에 저장하도록 할 수 있다.

이때, 부호화 코딩부(101)는 움직임 추정 및 보상부(104)에서 보상된 상기 영상을 부호화하여 부호화 정보를 생성할 수 있다.

부호화 코딩부(101)가 상기 영상을 부호화하는 과정에 대해서는 도 2를 통해 더욱 자세히 설명한다.

이때, 초 해상도부(103)가 적용하는 초 해상도(super-resolution: SR)는 특정 초 해상도 방법에 제한되지 않고 등록(registration) 기반 방법을 포함하여 1개 이상의 영상을 이용해 초 해상도를 적용하는 방법이면 모두 사용할 수 있다.

또한, 움직임 추정 및 보상부(104)는 상기 고해상도 영상과 상기 입력되는 영상의 해상도 비율을 확인하고, 상기 해상도 비율에 대응하여 탐색 영역을 서브 샘플링 하여 탐색하며, 보간 하지 않은 상기 고해상도 프레임을 사용하여 반 화소 움직임을 추정하고, 추정된 반 화수 움직임에 대응하여 상기 입력되는 영상을 보상할 수 있다.

이때, 초 해상도부(103)가 확장하는 해상도의 비율을 변경함으로써 움직임 추정 및 보상부(104)는 1/4화소의 움직임을 추정하거나 그보다 적은 화소의 움직임도 추정할 수 있다.

움직임 추정 및 보상부(104)가 보상하는 방법에 대해서는 도 3 및 도 4를 통해 더욱 자세히 설명한다.

도 2는 부호화 코딩부(101)가 상기 영상을 부호화하는 과정에서 사용되는 프레임들의 일례이다.

초 해상도를 사용한 부호화기(100)에 입력되는 저해상도 동영상은 도 2에 도시된 바와 같이 복수의 프레임(211, 212, 213, 214, 215)으로 구분될 수 있다.

이때, n 번째 프레임인 프레임 n(214)을 부호화하고자 하면, 초 해상도부(103)가 프레임 n(214)보다 먼저 부호화 되었던 k 개의 프레임(211, 212, 213)들을 복원한 복원 프레임들에 초 해상도를 사용하여 고해상도 영상(220)을 생성하고. 부호화 코딩부(101)가 고해상도 영상(220)을 참조 프레임으로 하여 프레임 n(214)을 부호화할 수 있다.

이때, 움직임 추정 및 보상부(104)는 고해상도 영상(220)을 참조 프레임으로 하여 프레임 n(214)에서의 움직임을 추정하고 보상할 수 있다.

도 3은 상기 고해상도 영상을 참조 프레임으로 사용하여 입력되는 영상의 움직임 추정 및 보상을 하는 과정에서 화소들의 배치 일례이다.

이때, 고해상도 영상과 입력되는 영상의 해상도가 가로 세로 각각 2:1의 비율이라 하면, 탐색 영역 내 화소들은 가로 세로 각각 2:1 서브 샘플링(sub-sampling)하여 입력되는 영상 매크로 블록의 정수 단위 움직임 추정을 위하여 사용되는 고해상도 화소(301)와 고해상도 영상의 탐색 영역 안에 있는 입력되는 영상 화소(302)를 포함하는 영역을 생성하고, 상기 영역 안에서 정수 단위 움직임 추정을 탐색하여 움직임이 발생하는 화소(303)를 찾을 수 있다.

이때, 고해상도 화소(301)는 입력되는 영상 화소(302)의 일부와 동일한 위치에 있을 수 있다.

이때, 반 화소 단위 움직임 추정은 보간 없이 상기 고해상도 참조 프레임을 그대로 이용하여 움직임 벡터에 대응하는 고해상도 블록(304)이 움직임이 발생하는 화소(303)에 대응하여 움직일 수 있도록 할 수 있다.

이때, 고해상도 블록(304)의 크기는 고해상도 화소(301)를 기준으로 8 * 8 화소 크기일 수 있다.

또한, 1/4화소(quarter-pel)와 같이 반 화소보다 적은 화소의 움직임 보상이 필요한 경우에는 고해상도 화소들을 이용하여 상기 고해상도 참조 프레임을 보간할 수 있다. 이때, 사용되는 보간 방법에는 비 라이너 보간(bi-linear interpolation)이 포함될 수 있다.

본 발명에 따른 움직임 추정 및 보상부(104)는 보간 되지 않은 고해상도 화소를 그대로 이용하여 반 화소 탐색을 하므로 프레딕션 오류(prediction error)를 크게 줄여 압축 효율을 향상시킬 수 있다.

도 4는 상기 도 3에서 반 화소보다 적은 화소의 움직임 보상이 필요한 경우의 일례이다.

본 발명에 따른 움직임 추정 및 보상부(104)는 1/4 화소(quarter-pel)와 같이 반 화소보다 적은 화소의 움직임 보상이 필요한 경우에 초 해상도부(103)가 확장하는 해상도의 비율을 변경하도록 하여 상기 반 화소보다 적은 화소의 움직임을 추정하고 보상할 수 있다.

구체적으로 초 해상도부(103)가 복수의 복원 프레임에 해상도를 상기 반 화소보다 적은 화소에 반비례하는 비율로 증가시키는 초 해상도를 적용하여 반 화소에 대응하던 상기 고해상도 영상보다 높은 해상도를 가지는 초고해상도 영상을 생성하고, 움직임 추정 및 보상부(104)가 상기 초 고해상도 영상을 참조 프레임으로 사용하여 상기 반 화소보다 적은 화소의 움직임을 추정하고 보상할 수 있다.

일례로, 1/4 화소의 움직임 보상이 필요한 경우에는 반 화소에 비하여 화소가 1/2로 감소하였으므로 초 해상도로 증가시킬 배율은 1/2의 반비례이므로 2배가 된다. 따라서 초 해상도로 증가시킨 고해상도 영상과 입력되는 영상의 해상도는 반 화소인 경우의 가로 세로 각각 2:1의 비율에서 가로 세로 각각 4:1의 비율로 변화할 수 있다.

이때, 도 4에 도시된 바와 같이 영상 매크로 블록의 정수 단위 움직임 추정을 위하여 사용되는 고해상도 화소(401)는 같은 영역에서 고해상도 영상의 탐색 영역 안에 있는 입력되는 영상 화소(402)의 1/4의 숫자만 존재할 수 있다.

또한, 움직임이 발생하는 화소(403)의 움직임 벡터에 대응하는 고해상도 블록(404)은 움직임 보상을 하는 화소의 크기에 따라 1/2로 감소하여 고해상도 화소(401)를 기준으로 4 * 4 화소 크기일 수 있다.

그리고, 움직임이 발생하는 화소(403)의 움직임 벡터를 탐색하는 범위는 움직임이 발생하는 화소(403)를 기준으로 사방 3화소씩을 포함하는 영역(405)일 수 있다.

또한, 1/4 화소 단위 움직임 추정은 보간 없이 상기 고해상도 참조 프레임을 그대로 이용하여 움직임 벡터에 대응하는 고해상도 블록(404)이 움직임이 발생하는 화소(403)에 대응하여 움직일 수 있도록 할 수 있다.

본 발명에 따른 움직임 추정 및 보상부(104)는 반 화소보다 적은 화소의 움직임 보상이 필요한 경우에 고해상도 영상의 해상도를 증가시킴으로써 보간 되지 않은 고해상도 화소를 그대로 이용하여 반 화소 탐색을 할 수 있으므로 프레딕션 오류(prediction error)를 크게 줄여 압축 효율을 향상시킬 수 있다.

도 5는 본 발명의 일실시예에 따른 초 해상도를 사용한 복호화기(500)의 개괄적인 모습을 도시한 도면이다.

도 5에 도시된 바와 같이, 초 해상도를 사용한 복호화기(500)에 상기 부호화 정보가 수신되면, 복호화 코딩부(501)가 입력된 동영상을 복호화 하여 복원 프레임을 생성하고, 움직임 추정 및 보상부(502)가 상기 복원 프레임의 움직임 추정 및 보상을 하여 영상 프레임을 생성한다.

또한, 버퍼부(503)는 상기 영상 프레임들을 저장하고, 초 해상도부(504)가 복수의 상기 영상 프레임에 초 해상도를 적용하여 고해상도 영상을 생성할 수 있다.

이때, 복호화 코딩부(501)는 상기 고해상도 영상을 참조 프레임으로 사용하여 상기 부호화 정보를 복호화하고, 상기 고해상도 영상과 상기 부호화 정보가 복호화 된 복원 프레임을 전송할 수 있다. 또한, 움직임 추정 및 보상부(502)는 상기 고해상도 영상과 상기 복원 프레임을 수신하고, 상기 고해상도 영상을 참조로 상기 복원 프레임의 움직임 추정 및 보상을 하여 영상 프레임을 생성할 수 있다.

이때, 움직임 추정 및 보상부(502)는 상기 고해상도 영상과 상기 복원 프레임의 해상도 비율을 확인하고, 상기 해상도 비율에 대응하여 탐색 영역을 서브 샘플링 하여 탐색하며, 보간 하지 않은 상기 고해상도 프레임을 사용하여 반 화소 움직임을 추정하고, 추정된 반 화수 움직임에 대응하여 상기 복원 프레임을 보상할 수 있다.

이와 같이, 본 발명의 일실시예에 따른 초 해상도를 사용한 부호화, 복호화 방법은 복수의 저해상도 복호화 프레임에 초 해상도를 적용하여 고해상도 프레임을 생성하고, 고해상도 프레임을 참조 프레임으로 사용하여 부호화 함으로써 부호화 효율을 증가 시킬 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 일실시예에 따른 초 해상도를 사용한 부호화기의 개괄적인 모습을 도시한 도면이다.

도 2는 부호화 코딩부가 상기 영상을 부호화하는 과정에서 사용되는 프레임들의 일례이다.

도 5는 본 발명의 일실시예에 따른 초 해상도를 사용한 복호화기의 개괄적인 모습을 도시한 도면이다.

Claims

복원 프레임을 저장하는 저장부;

복수의 상기 복원 프레임에 초 해상도를 적용하여 고해상도 영상을 생성하는 초 해상도부; 및,

상기 고해상도 영상을 참조 프레임으로 사용하여 입력되는 영상을 부호화하는 부호화부

를 포함하는 초 해상도를 사용한 부호화기.
제1항에 있어서,

상기 저장부는,

상기 부호화부에서 부호화된 프레임을 복원하여 복원 프레임을 생성하는 복호화부; 및

상기 복원 프레임들을 저장하는 버퍼부

를 포함하는 초 해상도를 사용한 부호화기.
제1항에 있어서,

상기 부호화부는,

상기 고해상도 영상을 참조 프레임으로 사용하여 입력되는 영상의 움직임 추정 및 보상을 하는 움직임 추정 및 보상부; 및

상기 움직임 추정 및 보상부에서 보상된 상기 영상을 부호화하여 부호화 정보를 생성하고, 상기 부호화 정보를 전송하는 부호화 코딩부

를 포함하는 초 해상도를 사용한 부호화기.
제3항에 있어서,

상기 움직임 추정 및 보상부는 상기 고해상도 영상과 상기 입력되는 영상의 해상도 비율을 확인하고, 상기 해상도 비율에 대응하여 탐색 영역을 서브 샘플링 하여 탐색하며, 보간 하지 않은 상기 고해상도 프레임을 사용하여 반 화소 움직임을 추정하고, 추정된 반 화수 움직임에 대응하여 상기 입력되는 영상을 보상하는 것

을 특징으로 하는 초 해상도를 사용한 부호화기.
제4항에 있어서,

상기 움직임 추정 및 보상부는 상기 초 해상도부가 확장하는 해상도의 비율을 변경하도록 하여 상기 반 화소보다 적은 화소의 움직임을 추정하고 보상하는 것

을 특징으로 하는 초 해상도를 사용한 부호화기.
복수의 복원 프레임에 초 해상도를 적용하여 고해상도 영상을 생성하고, 상기 고해상도 영상을 참조 프레임으로 사용하여 입력되는 영상을 부호화하는 초 해상도를 사용한 부호화 방법에 있어서,

상기 고해상도 영상을 참조 프레임으로 사용하여 부호화하는 방법은

상기 고해상도 영상과 상기 입력되는 영상의 해상도 비율을 확인하는 단계;

상기 해상도 비율에 대응하여 탐색 영역을 서브 샘플링 하여 탐색하는 단계;

보간 하지 않은 상기 고해상도 프레임을 사용하여 반 화소 움직임을 추정하는 단계; 및,

추정된 상기 반 화소 움직임을 기초로 부호화하는 단계

를 포함하는 것을 특징으로 하는 초 해상도를 사용한 부호화 방법.
제6항에 있어서,

반 화소보다 적은 화소 탐색이 필요한가 확인하는 단계; 및,

상기 고해상도 참조 프레임을 보간 하여 반 화소보다 적은 화소 탐색을 수행하는 단계

를 더 포함하는 초 해상도를 사용한 부호화 방법.
제6항에 있어서,

반 화소보다 적은 화소 탐색이 필요한가 확인하는 단계;

복수의 복원 프레임에 해상도를 반 화소보다 적은 화소에 반비례하는 비율로 증가시키는 초 해상도를 적용하여 상기 고해상도 영상보다 높은 해상도를 가지는 초고해상도 영상을 생성하는 단계; 및,

상기 초 고해상도 영상을 참조 프레임으로 사용하여 부호화하는 단계

를 더 포함하는 초 해상도를 사용한 부호화 방법.
해상도를 4배로 증가시키는 초 해상도를 적용하여 고해상도 영상을 생성하는 단계;

상기 고해상도 영상과 상기 입력되는 영상의 해상도 비율을 확인하는 단계;

상기 해상도 비율에 대응하여 탐색 영역을 서브 샘플링 하여 탐색하는 단계;

보간 하지 않은 상기 고해상도 프레임을 사용하여 1/4 화소 움직임을 추정하는 단계; 및,

추정된 상기 1/4 화소 움직임을 기초로 부호화하는 단계

를 포함하는 것을 특징으로 하는 초 해상도를 사용한 부호화 방법.
부호화 정보가 복호화 된 영상 프레임을 저장하는 버퍼부;

복수의 상기 영상 프레임에 초 해상도를 적용하여 고해상도 영상을 생성하는 초 해상도부; 및,

상기 고해상도 영상을 참조 프레임으로 사용하여 부호화 정보를 복호화 하는 복호화부

를 포함하는 초 해상도를 사용한 복호화기.
제10항에 있어서,

상기 복호화부는,

상기 고해상도 영상을 참조 프레임으로 사용하여 상기 부호화 정보를 복호화하고, 상기 고해상도 영상과 상기 부호화 정보가 복호화 된 복원 프레임을 전송하는 복호화 코딩부; 및

상기 고해상도 영상과 상기 복원 프레임을 수신하고, 상기 고해상도 영상을 참조로 상기 복원 프레임의 움직임 추정 및 보상을 하여 영상 프레임을 생성하는 움직임 추정 및 보상부

를 포함하는 초 해상도를 사용한 복호화기.
제11항에 있어서,

상기 움직임 추정 및 보상부는 상기 고해상도 영상과 상기 복원 프레임의 해상도 비율을 확인하고, 상기 해상도 비율에 대응하여 탐색 영역을 서브 샘플링 하여 탐색하며, 보간 하지 않은 상기 고해상도 프레임을 사용하여 반 화소 움직임을 추정하고, 추정된 반 화수 움직임에 대응하여 상기 복원 프레임을 보상하는 것

을 특징으로 하는 초 해상도를 사용한 복호화기.