KR101615507B1 - 움직임 정보를 이용한 해상도 변환 방법 및 그 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 영상 신호 처리 장치는, 영상 신호의 해상도 변환 장치에 있어서, 부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 입력부; 상기 복호화된 영상 신호의 특정 프레임에 대한 단위 블록에 대응하여, 상기 부호화된 비트스트림으로부터 상기 복호화가 수행됨에 따라 추출되는 움직임 정보를 획득하는 움직임 정보 획득부; 및 상기 움직임 정보에 기초하여 상기 단위 블록에 대한 해상도 스케일링을 수행하는 해상도 변환부를 포함한다.

Description

움직임 정보를 이용한 해상도 변환 방법 및 그 장치{Method for scaling a resolution using motion information and an apparatus thereof}

본 발명은 비디오 영상의 해상도 변환 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 복호화된 인터 예측 모드를 이용하여 화면 해상도를 변화시킴으로써 해상도 변환 성능을 개선시키는 해상도 변환 방법 및 그 장치에 관한 것이다.

최근 고해상도, 고화질 영상에 대한 요구가 증가함에 따라 차세대 영상 서비스를 위한 고효율의 비디오 압축 기술에 대한 필요성이 대두되었다. 이러한 시장의 요구에 따라 MPEG과 VCEG이 공동으로 구성한 JVT는 1990년대 후반부터 표준화를 시작하여 2004년에 H.264/AVC를 완성하였다. H.264/AVC 인코더 및 디코더는 이전 표준 코덱들의 구조와 유사하지만, 코덱 내부에 성능이 개선된 세부 모듈들이 추가 되었다. 또한, 현재 MPEG과 VCEG은 2010년 1월 JCT-VC(Joint Collaborative Team on Video Coding)를 구성하였으며, JCT-VC를 통하여 2013년 1월에 HEVC(High Efficiency Video Coding)라는 차세대 비디오 표준 기술을 제정하였다. 이러한 HEVC는 종래에 가장 높은 압축 효율을 갖는 것으로 알려진 비디오 표준인 H.264/AVC High 프로파일에 비하여 주관적 화질 관점에서 비교한 경우 약 50% 이상의 압축 효율을 갖는다.

한편, H.264/AVC에서 사용되는 Inter 예측 부호화 방법에서는 현재 블록과 가장 닮은 블록을 과거나 미래의 참조 픽처(Picture)에서 탐색한 후, 가장 부호화 효율이 높은 블록을 선택하여 예측 블록으로 사용한다. 이때 부호화되는 블록의 크기는 16ㅧ16, 16ㅧ8, 8ㅧ16, 8ㅧ8 등 4 개 종류의 크기로 구분된다. 만약 8ㅧ8 크기 블록 모드가 최적의 블록 크기 모드로 선택되었다면, 8ㅧ8 크기 블록들은 더 세분화 된 4개 종류의 블록(8ㅧ8, 8ㅧ4, 4ㅧ8, 4ㅧ4)들로 분리하여, 이들의 부호화 효율을 점검하고, 부호화 효율에 따라서 최적의 인터 예측 모드가 선택될 수 있다. 또한, HEVC에서는 예측 유닛 단위로 최적의 인터 예측 모드가 선택될 수 있다.

도 1은 인터 예측(Inter Prediction)에서 움직임 벡터 추정 및 보상 과정을 나타낸다.

도 1은 H.264/AVC에서 움직임을 추정하고 보상하는 과정을 표현하고 있다. 이는 HEVC에도 또는 예측 유닛 단위에서 동일하게 적용될 수 있다. 도 1과 같이, 부호화기는 현재 픽쳐를 기준으로 과거 또는 미래 시간의 참조 픽처(Picture)들에서 현재 부호화 블록과 가장 닮은 블록을 추정할 수 있다. 이 때, 움직임 벡터 및 예측 블록은 정수 화소 단위뿐만 아니라 1/2, 1/4 화소 단위까지 추정될 수 있다. 이에 따라 움직임 벡터 예측을 통한 부호화 효율이 향상될 수 있다.

앞에서 설명한 움직임 벡터 추정 및 보상은 부호화 과정에서 진행되는 것이고, 복호화기에서는 움직임 보상만이 실행될 수 있다. 복호화기에서는 압축된 비트스트림으로부터 움직임 벡터 및 블록 모드 정보를 복호화한다.

이와 같은 인터 예측 모드를 이용한 부호화 방식은 현재 부호화 하려는 블록을 기준으로 참조 픽처와의 블록간 움직임 벡터를 이용하여 예측 블록을 만들 때 현재 블록과 가장 유사한 인터 예측 모드를 선택하는 기술이다.

따라서, 이와 같은 영상에 대한 인터 예측 복호화를 수행하면 디지털 영상을 획득할 수 있으며, 이후 그 해상도를 임의의 배율로 확대 또는 축소를 하기 위해서는 보간(interpolation)이 수행된다.

그러나, 기존의 기술들에서는 비디오 코덱의 복호화기와 화면 해상도 변환 모듈이 독립적으로 구성되고, 서로 간에 정보를 이용하지 않아, 시스템의 성능 개선에 한계가 존재하였다.

본 발명의 실시 예는 비디오 코덱의 복호화기에서 인터 예측 복호화시 획득할 수 있는 움직임 정보(움직임 벡터, 화면간 예측 모드 정보, 참조 프레임 정보 또는 움직임 보상 정보 등)를 이용하여 화면 해상도 변환 모듈의 성능을 개선하는데 그 목적이 있다.

또한, 본 발명의 실시 예는 영상의 움직임 정보를 비디오 디코더에서 복잡도 증가 없이 간단하게 얻을 수 있고, 이로 인해 화면 해상도 변환 모듈의 성능을 향상 시킬 수 있는 해상도 변환 방법 및 그 장치를 제공하는데 그 목적이 있다.

다만, 본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 방법은, 영상 신호의 해상도 스케일링 방법에 있어서, 부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 단계; 상기 복호화된 영상 신호의 특정 프레임에 대한 단위 블록에 대응하여, 상기 부호화된 비트스트림으로부터 상기 복호화가 수행됨에 따라 추출되는 움직임 정보를 획득하는 단계; 및 상기 움직임 정보에 기초하여 상기 단위 블록에 대한 해상도 스케일링을 수행하는 단계를 포함한다.

또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 방법은, 영상 신호의 해상도 스케일링 방법에 있어서, 부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 단계; 상기 복호화된 영상 신호의 현재 보간 위치에 대응하여, 상기 부호화된 비트스트림으로부터 상기 복호화가 수행됨에 따라 추출되는 움직임 정보를 획득하는 단계; 및 상기 움직임 정보에 기초하여 상기 보간 위치에 대해 보간을 수행하는 단계를 포함한다.

또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 장치는, 영상 신호의 해상도 변환 장치에 있어서, 부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 입력부; 상기 복호화된 영상 신호의 특정 프레임에 대한 단위 블록에 대응하여, 상기 부호화된 비트스트림으로부터 상기 복호화가 수행됨에 따라 추출되는 움직임 정보를 획득하는 움직임 정보 획득부; 및 상기 움직임 정보에 기초하여 상기 단위 블록에 대한 해상도 스케일링을 수행하는 해상도 변환부를 포함한다.

본 발명의 실시예에 따르면, 비디오 코덱의 복호화기에서 인트라 예측 복호화시 획득할 수 있는 움직임 정보를 이용하여 해상도 스케일링을 수행할 수 있다.

이에 따라, 복호화기에서 얻어지는 움직임 보상 블록들을 해상도 스케일링에 이용할 수 있게 된다.

또한, 복호화기에서 얻어지는 정보를 이용하므로 복잡도 증가 없이도 화면 해상도 변환 모듈의 성능을 향상 시킬 수 있다.

그리고, 미래에는 현재 영상보다 훨씬 큰 해상도의 영상 신호의 해상도를 스케일링할 것이고, 이런 환경에서 본 특허 기술의 효과는 매우 효율적으로 나타날 것이다.

도 1은 일반적인 픽처 간의 인터 예측 부호화를 설명하기 위한 도면들이다.
도 2은 본 발명의 실시 예에 따른 해상도 변환 장치를 포함하는 복호화기를 나타내는 블록도이다.
도 3 및 도 4는 본 발명의 실시 예에 따라 해상도 변환 장치의 해상도 변환방법을 설명하기 위한 도면들이다.
도 5 및 도 6은 본 발명의 실시 예에 따른 해상도 변환 장치의 보간 방법을 설명하기 위한 도면들이다.
도 7 및 도 8은 보간 방식으로서 큐빅 컨볼루션 방법을 설명하기 위한 도면들이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재상에 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

이하에서는, 본 발명의 일 실시 예에 따른 해상도 변환 방법 및 그 장치를 설명한다.

도 2는 본 발명의 실시 예에 따른 해상도 변환 장치를 포함하는 영상 복호화 장치의 구성에 대한 일 예를 블록도로 도시한 것으로, H.264의 복호화가 선행되는 영상 복호화 장치를 나타낸 것이나, HEVC 또는 이외 다른 코덱에 대한 복호화에도 동일 구조가 적용될 수 있다.

도 2를 참조하면, 복호화 장치에서 데이터를 처리하는 단위는 가로 세로 16x16화소 크기의 매크로블록(Macroblock)일 수 있으며, 소정 단위의 코딩 유닛(Coding Unit)일 수 있다. 복호화 장치는 비트스트림을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 복호화를 수행하여 재구성된 영상을 출력(output)한다.

인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다. 복호화 과정의 주요한 흐름은 먼저 예측 블록을 생성한 후, 입력 받은 비트스트림을 복호화한 결과 블록과 예측 블록을 더하여 재구성된 블록을 생성하는 것이다.

먼저 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다. 먼저 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성하며, 인터 모드일 경우에는 움직임 벡터를 이용하여 참조 영상 버퍼에 저장되어 있는 참조 영상에서 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성한다.

엔트로피 복호화부(Entropy Decoder)에서는 입력된 비트스트림을 확률 분포에 따른 엔트로피 복호화를 수행하여 양자화된 계수(Quantized Coefficient)를 출력한다. 복호화 장치는 양자화된 계수를 역양자화 과정과 역 변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 다음 디블록킹 필터 또는 샘플 적응적 오프셋 필터 중 적어도 하나를 통해 필터링한 후, 복호화된 영상으로 출력함과 동시에 참조 영상 버퍼에 저장한다.

이후, 이와 같이 재구성되어 복호화된 영상은 해상도 변환 장치(100)로 입력된다.

해상도 변환 장치(100)와 연결되는 복호화부에서는 인터 예측 부호화된 블록을 복호화할 때 움직임 관련 정보들도 함께 복호화할 수 있다. 이 때 복호화되는 움직임 정보는 인터 예측 모드 정보(움직임 예측 모드 정), 현재 블록과 가장 유사한 참조 예측 블록들에 대한 픽처 위치와 픽처 내 블록 위치 정보 및 상기 참조 예측 블록들에 대한 움직임 벡터 정보를 포함할 수 있다.

그리고, 이와 같은 움직임 정보는 해상도 변환 장치(100)로 입력될 수 있다. 본 발명의 실시 예에서, 복호화 과정에서 만들어지는 참조 예측 블록은 움직임이 보상된 블록이라는 의미로 움직임 보상 블록(MC블록: Motion Compensation 블록)이라고도 할 수 있다. 해상도 변환 장치(100)는 움직임 정보로부터 움직임 보상 블록에 대한 정보를 획득할 수 있으며, 이에 기초하여 후술할 화면 해상도 변환 및 보간을 수행함으로써, 해상도 변환 효율 및 변환 화질을 향상시킬 수 있다.

예를 들어, 해상도 변환 장치(100)는 복호화 과정에서 생성되는 인터 모드 정보로부터 움직임 정보를 추출하고, 참조 픽처로부터 움직임 정보에 기초한 움직임 보상 블록들을 탐색하며, 탐색된 움직임 보상 블록들에 대한 재배치를 통해 화면 해상도 변환을 수행하고, 해상도 변환된 픽처들에 대한 가중치 연산을 통해 최종 해상도 변환 영상을 출력할 수 있다.

이하에서는 도 3과 도 4를 참조하여 이과 같은 해상도 변환 장치(100)의 해상도 변환 과정을 설명하도록 한다.

도 3과 도 4를 참조하면, 해상도 변환 장치(100)는 다음과 같은 단계로 해상도 변환을 수행할 수 있다.

먼저, 해상도 변환 장치(100)는 해상도를 스케일링할 현재 블록에 대응하여, 현재 블록을 복호화하는데 사용된 움직임 정보를 획득한다(도 4의 1 단계). 움직임 정보는 현재 블록에 대응되는 참조 픽처(과거 픽처 또는 미래 픽처)의 블록에 대한 움직임 벡터를 포함할 수 있다. 해상도 변환 장치(100)는 인터 예측 모드로 복호화된 영상 신호의 해상도를 변환하기 위해, 앞서 설명한 바와 같은 움직임 정보를 복호화부로부터 수신할 수 있다. 예를 들어, 복호화부는 인터 예측 부호화된 영상을 복호화하기 위해 움직임 정보를 추출할 수 있으며 그 정보를 해상도 변환 장치(100)로 전달할 수 있다. 복호화부는 참조 픽처와 현재 픽처간 인터 예측 복호화를 이용하는 다양한 복호화 방식을 통해 움직임 정보를 추출할 수 있으며, 본 발명의 실시 예로는 H.264/AVC 방식을 예시할 수 있다.

이후, 해상도 변환 장치(100)는 움직임 정보에 기초하여 움직임 보상 블록(MC, Motion Compensation 블록)을 탐색한다. (도 4의 2 단계)

해상도 변환 장치(100)는 움직임 정보로부터 참조 픽처 및 모션 벡터를 식별할 수 있다. 그리고, 해상도 변환 장치(100)는 참조 픽처 및 모션 벡터에 기초하여 참조 픽처로부터 움직임 보상 블록을 선택할 수 있다.

일 실시 예에서, 부호화부에서 결정되는 움직임 보상(MC) 블록은 현재 블록과 유사한 특성을 갖는 블록일 수 있다. 그러나, 예를 들어 H.264/AVC 부호화에서 결정되는 움직임 보상 블록은 유사도보다 부호화 효율을 고려하여 선택될 수 있기 때문에 가장 유사한 블록은 아닐 수 있다.

따라서, 본 발명의 실시 예에 따르면, 해상도 변환 장치(100)는 모션 벡터가 가리키는 움직임 보상 블록을 기준으로 제한적 탐색 범위를 설정할 수 있다. 또한, 해상도 변환 장치(100)는 설정된 탐색 범위 내에서 현재 블록과 가장 유사한 블록을 탐색할 수 있다. 이에 따라, 본 발명의 실시 예에서는 일반적인 부호화 방식에서의 움직임 보상 블록 선택방식과 달리, 유사한 움직임 보상 블록을 결정할 수 있으므로 해상도 변환 효율 및 출력 화질을 향상시킬 수 있다.

한편, 해상도 변환 장치(100)는 참조 픽처에서 제한 범위 내에서 재탐색을 하여 가장 유사한 블록을 선택하고, 선택된 블록을 현재 블록의 픽처 내 위치와 동일한 위치로 참조 픽처 내 위치를 이동시킨다(도 4의 3 단계). 이 과정을 재배치 과정이라고 부를 수 있다. 해상도 변환 장치(100)는 재배치 과정을 참조 픽처에 대한 모든 블록에 대해 적용할 수 있다. 이에 따라 기존의 참조 픽처는 현재 픽처와 가장 유사한 블록들로 재구성된 참조 픽처로 변환될 수 있다.

이후, 해상도 변환 장치(100)는 각각 1차 해상도 변환될 픽처들에 대한 가중치를 계산하고, 현재 픽처와 재구성된 참조 픽처(현재 픽처와 가장 유사한 블록들로 새롭게 재구성된)에 대해 각각 1차 해상도 변환을 수행한다(도 4의 4 단계 및 도 4의 5 단계).

일 실시 예에서, 각 참조 영상들에 대한 가중치는 상이할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 과거 픽처에 대한 가중치는 w1으로 계산될 수 있으며, 현재 픽처에 대한 가중치는 w2로 계산될 수 있고, 미래 픽처에 대한 가중치는 w3으로 계산될 수 있다.

가중치 W1, W2, W3를 구하는 방법은 움직임 정보의 크기 또는 양자화된 잔차신호의 크기를 이용해 구하는 방법을 비롯해 여러 가지 해결 방법이 존재 한다. 그러므로 본 특허에서는 각 픽쳐의 화소값에 곱해지는 가중치 W1, W2, W3를 구하는 방법에 대해 제한하지 않는다.

이후, 해상도 변환 장치(100)는 각각의 1차 해상도 변환된 픽처들(현재 픽처또는 참조 픽처들)에 대해 앞서 계산된 가중치를 적용하고, 가중치 적용된 픽처들을 합하여 최종 해상도 변경된 출력 픽처로 결정한다(도 4의 6단계).

이와 같은 과정을 통해 움직임 정보를 이용한 해상도 변환이 가능하게 되며, 추가적인 복잡도 없이도 해상도 변환 효율 향상 및 화질 향상을 얻을 수 있다.

한편, 도 5 및 도 6은 본 발명의 다른 일 실시 예에 따른 해상도 변환 장치(100)의 보간 방법을 설명하기 위한 도면들이다.

도 5 및 도 6을 참조하여, 본 발명의 다른 일 실시 예에 따른 해상도 변환 장치(100)의 동작을 설명하면 다음과 같다.

먼저, 해상도 변환 장치(100)는 해상도를 스케일링 후 보간할 현재 블록에 대응하여, 현재 블록을 복호화하는데 사용된 움직임 정보를 획득한다(도 6의 1 단계). 움직임 정보는 현재 블록에 대응되는 참조 픽처(과거 픽처 또는 미래 픽처)의 블록에 대한 움직임 벡터(MV0, MV1)를 포함할 수 있다. 해상도 변환 장치(100)는 인터 예측 모드로 복호화된 영상 신호의 해상도를 변환하기 위해, 앞서 설명한 바와 같은 움직임 정보를 복호화부로부터 수신할 수 있다. 예를 들어, 복호화부는 인터 예측 부호화된 영상을 복호화하기 위해 움직임 정보를 추출할 수 있으며 그 정보를 해상도 변환 장치(100)로 전달할 수 있다. 복호화부는 참조 픽처와 현재 픽처간 인터 예측 복호화를 이용하는 다양한 복호화 방식을 통해 움직임 정보를 추출할 수 있으며, 본 발명의 실시 예로는 H.264/AVC 방식을 예시할 수 있다.

그리고, 해상도 변환 장치(100)는 현재 픽처 내 보간 위치에 대응하여, 참조 픽처와 관계 없이 현재 픽처 내에서 각 위치에 따른 신호값을 보간한다(도 6의 2 단계). 이때 구체적인 보간 방법은 일반적은 cubic convolution scaler 방법이 사용될 수 있고, bilinear interpolation이 사용될 수 있고, sample and hold 방법이 사용될 수도 있으며, 본 발명에서는 이 과정에 대해서 제약을 두지 않는다.

이후, 해상도 변환 장치(100)는 움직임 정보에 기초하여 가장 유사한 움직임 보상 블록(MC, Motion Compensation 블록)을 탐색한다. (도 6의 3 단계)

해상도 변환 장치(100)는 움직임 정보로부터 영상 신호의 참조 픽처 및 모션 벡터를 식별할 수 있다. 그리고, 해상도 변환 장치(100)는 참조 픽처 및 모션 벡터에 기초하여 참조 픽처로부터 움직임 보상 블록을 선택할 수 있다.

일 실시 예에서, 부호화부에서 결정되는 움직임 보상(MC) 블록은 현재 블록과 유사한 특성을 갖는 블록일 수 있다. 그러나, 예를 들어 H.264/AVC 부호화에서 결정되는 움직임 보상 블록은 유사도보다 부호화 효율을 고려하여 선택될 수 있기 때문에 가장 유사한 블록은 아닐 수 있다.

따라서, 본 발명의 실시 예에 따르면, 해상도 변환 장치(100)는 모션 벡터가 가리키는 움직임 보상 블록을 기준으로 제한적 탐색 범위를 설정할 수 있다. 또한, 해상도 변환 장치(100)는 설정된 탐색 범위 내에서 현재 블록과 가장 유사한 움직임 보상 블록을 탐색할 수 있다. 이에 따라, 본 발명의 실시 예에서는 일반적인 부호화 방식에서의 움직임 보상 블록 선택방식과 달리, 유사한 움직임 보상 블록을 결정할 수 있으므로 해상도 변환 효율 및 출력 화질을 향상시킬 수 있다.

한편, 해상도 변환 장치(100)는 참조 픽처에서 재탐색을 하여 가장 유사한 블록을 선택하면, 현재 픽처의 보간 위치에 대응되는 참조 픽처의 화소 위치를 그 움직임 보상 블록의 화소 위치로 사상(매핑)시킨다(도 6의 4 단계). 이를 위해, 재탐색 범위는 현재 픽처에서의 보간 위치와 가장 가까운 정화소 위치에 한정될 수 있다.

이후, 해상도 변환 장치(100)는 사상된 위치의 화소 및 앞서 현재 픽처에서 보간된 화소에 대한 가중치 계산을 수행한다(도 6의 5 단계).

가중치 W1, W2, W3를 구하는 방법은 움직임 정보의 크기 또는 양자화된 잔차신호의 크기를 이용해 구하는 방법을 비롯해 여러 가지 해결 방법이 존재 한다. 그러므로 본 특허에서는 각 픽쳐의 화소값에 곱해지는 가중치 W1, W2, W3를 구하는 방법에 대해 제한하지 않는다.

이후, 해상도 변환 장치(100)는 가중치를 각 화소에 대해 적용하고, 최종 보간화소를 결정하여 해상도 변환을 수행한다(도 6의 6단계).

일 실시 예에서, 각 참조 영상들에 대한 가중치는 상이할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 과거 픽처의 보간 화소에 대한 가중치는 w1으로 계산될 수 있으며, 현재 픽처의 보간 화소에 대한 가중치는 w2로 계산될 수 있고, 미래 픽처에 대한 보간 화소의 가중치는 w3으로 계산될 수 있다.

이와 같이, 본 발명의 실시 예에 따르면, 참조 픽처에서 사상된 위치의 화소값과 현재 블록에서 보간된 위치의 화소값들에 대해 가중치가 적용될 수 있으며, 그 가중치 적용된 화소값들의 합에 기초하여 최종 보간 화소가 출력될 수 있다. 이에 따라 해상도 변환된 최종 영상이 출력될 수 있다.

한편, 구체적인 보간 방법은 큐빅 컨볼루션 방식이 사용될 수 있고, Bilinear Interpolation일 수 있고, Sample & Hold 방법일 수 있으며, 본 발명에서는 이 과정에 대해서 제약을 두지 아니한다. 다만, 일 예로 Cubic Convolution 보간 방식이 사용될 수 있다. 이를 설명하면 다음과 같다.

도 7 및 도 8은 큐빅 컨볼루션 방법의 보간을 설명하기 위한 도면이다.

한편, 보간 방법 중 큐빅 컨볼루션(Cubic Convolution)은 보간 하려는 위치 주위에 있는 4개의 픽셀정보를 사용하여 보간을 수행하는 방법으로써, 하기와 같은 수식으로 Filter Kernel을 표현할 수 있다.

그리고, 도 7에서는 α에 따른 Kernel 모양을 그래프로 나타내고 있다. 여기서 α는 튜닝 파라미터로써 -1.5에서 1의 범위에서 사용하는데 -1에 가깝게 선택을 하면 엣지 부분이 강하게 표현되고 1에 가깝게 선택을 하면 엣지 부분이 뭉그러지는 현상이 나타난다. 보통은 -0.5의 값으로 선택하여 사용한다.

큐빅 컨볼루션(Cubic Convolution)을 사용하여 보간 하는 방법을 구체적으로 알아보면 이용하려는 화소간의 거리를 1이라고 가정하고, 보간 하려는 위치에서 가장 인접한 화소 4개를 이용한다. 이 화소들을 각각의 위치를 기호로 다시 나타내면 그림4와 같이 f(x_(k-1) ),f(x_k ),f(x_(k+1) ),f(x_(k+2))로 표현할 수 있다. 보간 하려는 위치는 f(x_k )와 f(x_(k+1) ) 사이에 있고, 보간 하려는 위치에서 f(x_k )까지의 거리를 t 라고 하면, 0 ≤t≤ 1 인 특성이 있다. 보간 하려는 위치에서 생성된 화소의 밝기값은 아래 식과 같이 정리될 수 있다.

이 과정을 그림으로 표현하면 도 8과 같다. 도 8은 Cubic Convolution을 이용하여 보간 된 화소들을 나타낸다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (12)

1. 영상 신호의 해상도 스케일링 방법에 있어서,
   부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 단계;
   상기 복호화된 영상 신호의 특정 프레임에 대한 단위 블록에 대응하여, 상기 부호화된 비트스트림으로부터 상기 복호화가 수행됨에 따라 추출되는 움직임 정보를 획득하는 단계; 및
   상기 움직임 정보에 기초하여 상기 단위 블록에 대한 해상도 스케일링을 수행하는 단계를 포함하고,
   상기 스케일링을 수행하는 단계는,
   상기 움직임 정보에 기초하여 적어도 하나의 참조 픽처로부터 움직임 보상 블록을 선택하는 단계;
   상기 선택된 움직임 보상 블록을 상기 참조 픽처 내에서 재배치하는 단계;
   상기 단위 블록이 포함된 현재 픽처의 해상도를 변환하는 단계;
   상기 참조 픽처의 해상도를 변환하는 단계; 및
   상기 해상도 변환된 적어도 하나의 참조 픽처와 해상도 변환된 현재 픽처를 이용하여 최종 출력 영상을 결정하는 단계를 포함하는 해상도 스케일링 방법.
2. 제1항에 있어서,
   상기 스케일링을 수행하는 단계는,
   상기 움직임 정보로부터 참조 픽처 정보 및 모션 벡터를 획득하는 단계; 및
   상기 참조 픽처 정보 및 모션 벡터에 기초하여 소정 범위 내에서 상기 단위 블록에 대한 상기 움직임 보상 블록을 선택하는 단계를 포함하는 움직임 정보를 이용한 해상도 스케일링 방법.
3. 삭제
4. 제2항에 있어서,
   상기 최종 출력 영상을 결정하는 단계는
   상기 해상도 변환된 현재 픽처 및 참조 픽처별로 가중치를 적용하는 단계; 및
   상기 가중치 적용된 현재 픽처 및 참조 픽처들을 합하여 상기 최종 출력 영상을 결정하는 단계를 포함하는 움직임 정보를 이용한 해상도 스케일링 방법.
5. 영상 신호의 해상도 스케일링 방법에 있어서,
   부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 단계;
   상기 복호화된 영상 신호의 현재 보간 위치에 대응하여, 상기 부호화된 비트스트림으로부터 상기 복호화가 수행됨에 따라 추출되는 움직임 정보를 획득하는 단계; 및
   상기 움직임 정보에 기초하여 상기 보간 위치에 대해 보간을 수행하는 단계를 포함하고,
   상기 보간을 수행하는 단계는,
   상기 움직임 정보에 기초하여 움직임 보상 블록을 선택하는 단계;
   상기 보간 위치에 대응되는 참조 픽처 내 위치를 상기 선택된 움직임 보상 블록의 위치로 사상하는 단계;
   상기 현재 보간 위치에 대한 보간을 수행하는 단계;
   상기 사상된 위치의 화소값과 상기 현재 보간 위치에 대해 보간된 화소값에 각각 가중치를 적용하는 단계; 및
   상기 가중치 적용된 현재 보간 위치의 화소값과 상기 가중치 적용된 참조 픽처의 사상 위치 화소값에 기초하여 최종 보간화소를 결정하는 단계를 포함하는 움직임 정보를 이용한 해상도 스케일링 방법.
6. 제5항에 있어서,
   상기 보간을 수행하는 단계는,
   상기 움직임 정보로부터 참조 픽처 정보 및 모션 벡터를 획득하는 단계;
   상기 참조 픽처 정보 및 모션 벡터에 기초하여 상기 보간 위치에 대응되는 소정 범위 내에서 상기 보간 위치의 단위 블록과 가장 유사한 블록을 상기 움직임 보상 블록으로 선택하는 단계를 포함하는 움직임 정보를 이용한 해상도 스케일링 방법.
7. 삭제
8. 영상 신호의 해상도 변환 장치에 있어서,
   부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 입력부;
   상기 복호화된 영상 신호의 특정 프레임에 대한 단위 블록에 대응하여, 상기 부호화된 비트스트림으로부터 상기 복호화가 수행됨에 따라 추출되는 움직임 정보를 획득하는 움직임 정보 획득부; 및
   상기 움직임 정보에 기초하여 상기 단위 블록에 대한 해상도 스케일링을 수행하는 해상도 변환부를 포함하고,
   상기 해상도 변환부는 상기 움직임 정보에 기초하여 적어도 하나의 참조 픽처로부터 움직임 보상 블록을 선택하고, 상기 선택된 움직임 보상 블록을 상기 참조 픽처 내에서 재배치하며, 상기 단위 블록이 포함된 현재 픽처 및 상기 참조 픽처의 해상도를 변환하고, 상기 해상도 변환된 적어도 하나의 참조 픽처와 해상도 변환된 현재 픽처를 이용하여 최종 출력 영상을 결정하는 해상도 변환 장치.
9. 제8항에 있어서,
   상기 해상도 변환부는 상기 움직임 정보로부터 참조 픽처 정보 및 모션 벡터를 획득하고, 상기 참조 픽처 정보 및 모션 벡터에 기초하여 소정 범위 내에서 상기 단위 블록에 대한 상기 움직임 보상 블록을 선택하는 해상도 변환 장치.
10. 삭제
11. 제9항에 있어서,
    상기 해상도 변환부는 상기 해상도 변환된 현재 픽처 및 참조 픽처별로 가중치를 적용하고, 상기 가중치 적용된 현재 픽처 및 참조 픽처들을 합하여 상기 최종 출력 영상을 결정하는 해상도 변환 장치.
12. 영상 신호의 해상도 변환 장치에 있어서,
    부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 입력부;
    상기 복호화된 영상 신호의 현재 보간 위치에 대응하여, 상기 부호화된 비트스트림으로부터 상기 복호화가 수행됨에 따라 추출되는 움직임 정보를 획득하는 움직임 정보 처리부; 및
    상기 움직임 정보에 기초하여 상기 보간 위치에 대해 보간을 수행하는 해상도 변환부를 포함하고,
    상기 해상도 변환부는 상기 움직임 정보에 기초하여 움직임 보상 블록을 선택하고, 상기 보간 위치에 대응되는 참조 픽처 내 위치를 상기 선택된 움직임 보상 블록의 위치로 사상하며, 상기 현재 보간 위치에 대한 보간을 수행하고, 상기 사상된 위치의 화소값과 상기 현재 보간 위치에 대해 보간된 화소값에 각각 가중치를 적용하며, 상기 가중치 적용된 현재 보간 위치의 화소값과 상기 가중치 적용된 참조 픽처의 사상 위치 화소값에 기초하여 최종 보간화소를 결정하는
    움직임 정보를 이용한 해상도 변환 장치.

Images