WO2016064185A1

WO2016064185A1 - 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치

Info

Publication number: WO2016064185A1
Application number: PCT/KR2015/011137
Authority: WO
Inventors: 새드아미르; 흐슈안 챠오융; 에네스 에길메즈힐라미
Original assignee: 엘지전자(주)
Priority date: 2014-10-21
Filing date: 2015-10-21
Publication date: 2016-04-28
Also published as: CN107005712B; KR20170016381A; EP3211894A1; KR101901355B1; JP2017536033A; US10425649B2; EP3211894A4; EP3211894B1; CN107005712A; US20170359584A1; US20160106202A1; JP6356912B2

Abstract

본 발명은, 그래프 신호를 이용하여 그래프 기반 예측(graph-based prediction)을 수행하는 방법에 있어서, 컨텍스트 신호(context signal)를 획득하는 단계; 그래프 파라미터 셋(graph parameter set)에 기초하여 그래프 신호를 생성하는 단계; 상기 그래프 신호에 기초하여 그래프 기반 변환 행렬(graph-based transform matrix)을 획득하는 단계, 상기 그래프 기반 변환 행렬은 고유 벡터(eigenvector)를 포함함; 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하는 단계; 및 상기 예측 벡터를 이용하여 예측 신호를 생성하는 단계를 포함하되, 상기 최적화 함수는 상기 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 방법을 제공한다.

Description

최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치

본 발명은 그래프 기반의 신호 처리 방법 및 장치에 관한 것이며, 보다 상세하게는, 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 기술에 관한 것이다.

종래의 이산 시간 신호 처리 기술은 대부분 아날로그 신호의 처리 및 필터링으로부터 진화해오고 있지만, 정규적으로 조직된 데이터의 샘플링과 같이 몇 가지 공통적인 가정으로 인해 제한되어 왔다. 비디오 압축 분야는 기본적으로 동일한 가정에 기반하고 있으며, 단지 다차원적 신호의 처리로 일반화되었을 뿐이다.

그래프는 많은 응용 분야에 있어서 데이터의 기하학적 구조를 기술하는데 유용한 데이터 표현 형태이다. 이러한 그래프에 기반한 신호 처리는 각 신호 샘플이 꼭지점(vertex)을 나타내며 신호의 관계들이 양의 가중치를 가지는 그래프 에지로 나타내어지는 그래프를 사용하여 샘플링, 필터링, 푸리에(Fourier) 변환 등과 같은 개념들을 일반화할 수 있다. 이 방식은 신호를 획득하는 과정과 분리함으로써 샘플링 및 시퀀스 처리에 있어서 그래프의 특성으로 대체할 수 있다. 따라서, 보다 효율적인 그래프 기반의 신호 처리 방법이 비디오 압축 분야뿐만 아니라 많은 응용 분야에서 요구된다.

모든 비디오 코딩 표준은 그 기본 요소들 중의 하나로 신호 예측을 포함하고 있고, 그 압축 효율은 예측 방법의 정확성과 신뢰성에 의해 강한 영향을 받는다. 신호의 통계적 모델에 기초하는 신호 예측을 위한 많은 이론적인 툴들이 있다. 그러나, 오디오, 이미지, 비디오와 같은 복잡한 신호들에 툴들을 적용할 때 많은 실질적인 문제점들이 발생한다. 예를 들어, 모델 파라미터를 신뢰성있게 측정하는 것은 매우 어렵다. 왜냐하면 모델 파라미터들은 다른 소스들 또는 심지어 동일한 소스일 경우에도 상당히 바뀔 수 있기 때문이다. 중요한 것은, 압축에 있어서 예측의 이용은 기본이며 다른 어플리케이션들과 중요한 차이점을 갖는다는 것이다. 그러나, 신호의 압축을 위해 실제로 이용되는 많은 예측 방법들은 실험적인 통계에 바탕을 두고 있다는 문제점이 있다.

또한, 신호 처리 및 압축을 위해 새로운 그래프 모델들이 제안되어 왔다. 이는, 그래프 모델들이 에지 및 불연속성과 같은 일부 국소적인 신호 특성들을, 일반적인 통계적 수치에 의해 제공되는 것보다 훨씬 더 간결하고 압축에 더 적합한 방식으로 모델링할 수 있기 때문이다. 예를 들어, 그래프의 라플라시안 매트릭스의 스펙트럼 분해는 그래프 모델에 맞는 신호에 적합한 푸리에 분석의 형태를 제공한다.

따라서, 본 발명은 변수들 간의 통계적 상관관계를 모델링하는 그래프가 주어져 있을 때, 저복잡도로 보다 나은 예측자를 찾기 위한 방법을 제공하고자 한다.

본 발명은, 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법을 제공한다.

또한, 본 발명은, 그래프 라플라시안의 고유값들(eigenvalues)의 분포(distribution)에 기초한 비용 함수와 고유벡터들(eigenvectors)의 선형 결합에 기초하여 최적화 예측 알고리즘을 정의하는 방법을 제공한다.

또한, 본 발명은 컨벡스 최적화 공식(convex optimization formulation)을 이용하여 예측값을 찾는 방법 및 그래프 특성을 이용하는 방법을 제공한다.

본 발명이 적용되는 그래프 기반의 신호 모델링은 강력한 도구가 될 수 있다. 구체적으로, 본 발명은 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 최적화 예측 알고리즘을 제공함으로써 저복잡도로 예측값을 획득할 수 있고, 나아가 예측 성능을 향상시킬 수 있다.

또한, 본 발명은 규칙적인 구조의 그래프 신호 뿐만 아니라 임의의 그래프 신호에 대해서도 적용가능함으로써, 그래프 신호를 인코딩하기 위해 필요한 비트 레이트의 과도한 오버헤드를 피할 수 있다.

또한, 본 발명은 비디오 시퀀스의 다른 부분들에서 신호의 통계적 특성을 적응적으로 이용함으로써 압축 효율을 향상시킬 수 있다.

도 1은 본 발명이 적용되는 실시예로서, 비디오 신호의 인코딩이 수행되는 인코더의 개략적인 블록도를 나타낸다.

도 2는 본 발명이 적용되는 실시예로서, 비디오 신호의 디코딩이 수행되는 디코더의 개략적인 블록도를 나타낸다.

도 3은 본 발명이 적용되는 일 실시예에 따라 비디오 프레임 내 8×8 블록 내에서의 통계적 관계를 모델링하기 위해 사용된 그래프의 예들을 나타낸다.

도 4는 본 발명이 적용되는 일 실시예로써, 꼭지점에 대한 신호 벡터와 에지 가중치로 정의된 임의의 그래프를 나타낸다.

도 5는 본 발명이 적용되는 실시예로서, 그래프 기반의 신호를 처리하는 인코더의 개략적 블록도를 예시한다.

도 6은 본 발명이 적용되는 실시예로서, 그래프 기반의 신호를 처리하는 디코더의 개략적 블록도를 예시한다.

도 7은 본 발명이 적용되는 일실시예로서, 그래프 기반 변환부의 내부 블록도를 나타낸다.

도 8은 본 발명이 적용되는 일실시예로, 그래프 신호에 기초하여 최적화된 예측 벡터를 획득하는 과정을 설명하기 위한 흐름도이다.

도 9는 본 발명이 적용되는 일실시예로, 그래프 기반 예측을 이용하여 비디오 신호를 디코딩하는 과정을 설명하기 위한 흐름도이다.

또한, 본 발명에서, 상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득되고, 상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정되는 것을 특징으로 한다.

또한, 본 발명은, 상기 그래프 신호에 기초하여 그래프 라플라시안 행렬(graph Laplacian matrix)을 산출하는 단계를 더 포함하고, 상기 그래프 기반 변환 행렬(graph-based transform matrix)은 상기 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득되는 것을 특징으로 한다.

또한, 본 발명에서, 상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현되는 것을 특징으로 한다.

또한, 본 발명은, 예측 에러를 인코딩하는 단계; 및 상기 인코딩된 예측 에러를 전송하는 단계를 더 포함하는 것을 특징으로 한다.

또한, 본 발명은, 그래프 기반 예측(graph-based prediction)에 기초하여 비디오 신호를 디코딩하는 방법에 있어서, 그래프 파라미터 셋(graph parameter set)과 레지듀얼 신호를 포함하는 상기 비디오 신호를 수신하는 단계; 상기 그래프 파라미터 셋에 기초하여 고유 벡터를 포함하는 그래프 기반 변환 행렬을 획득하는 단계; 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하는 단계; 상기 예측 벡터를 이용하여 예측 신호를 생성하는 단계; 및 상기 예측 신호와 상기 레지듀얼 신호를 합하여 상기 비디오 신호를 복원하는 단계를 포함하되, 상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 방법을 제공한다.

또한, 본 발명은, 그래프 신호를 이용하여 그래프 기반 예측(graph-based prediction)을 수행하는 장치에 있어서, 그래프 파라미터 셋(graph parameter set)에 기초하여 그래프 신호를 생성하고, 상기 그래프 신호에 기초하여 고유 벡터(eigenvector)를 포함하는 그래프 기반 변환 행렬(graph-based transform matrix)을 획득하는 그래프 기반 변환부; 및 컨텍스트 신호(context signal)를 획득하고, 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하고, 상기 예측 벡터를 이용하여 예측 신호를 생성하는 예측부를 포함하되, 상기 최적화 함수는 상기 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 장치를 제공한다.

또한, 본 발명에서, 상기 그래프 기반 변환부는 상기 그래프 신호에 기초하여 그래프 라플라시안 행렬(graph Laplacian matrix)을 산출하고, 상기 그래프 기반 변환 행렬(graph-based transform matrix)은 상기 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득되는 것을 특징으로 한다.

또한, 본 발명은, 예측 에러를 인코딩하고, 상기 인코딩된 예측 에러를 전송하는 엔트로피 인코딩부를 더 포함하는 것을 특징으로 한다.

또한, 본 발명은, 그래프 기반 예측(graph-based prediction)에 기초하여 비디오 신호를 디코딩하는 장치에 있어서, 그래프 파라미터 셋(graph parameter set)과 레지듀얼 신호를 포함하는 상기 비디오 신호를 수신하는 엔트로피 디코딩부; 상기 그래프 파라미터 셋에 기초하여 고유 벡터를 포함하는 그래프 기반 변환 행렬을 획득하는 역변환부; 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하고, 상기 예측 벡터를 이용하여 예측 신호를 생성하는 예측부; 및 상기 예측 신호와 상기 레지듀얼 신호를 합하여 상기 비디오 신호를 복원하는 복원부를 포함하되, 상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 장치를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 의해서 설명되는 본 발명의 구성과 작용은 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다.

또한, 본 명세서에서 제시된 실시예들이 비디오 신호 처리에 관한 것이지만, 본 발명은 비디오 신호 처리에만 기반한 것으로 추론되어서는 안 되며, 일반적인 그래프 기반의 신호 처리 방법에도 적용될 수 있을 것이다.

또한, 본 발명에서 사용되는 용어들은 발명을 설명하기 위해 선택된 일반적인 용어들이나, 유사한 의미를 갖는 다른 용어가 있는 경우 보다 적절한 해석을 위해 대체 가능할 것이다. 예를 들어, 신호, 데이터, 샘플, 픽쳐, 프레임, 블록 등의 경우 각 코딩 과정에서 적절하게 대체되어 해석될 수 있을 것이다.

실제로, 비디오와 같이 아주 복잡하고 다양한 신호의 정확한 통계적 모델은 없다. 따라서, 본 명세서에서는 통계 모델을 형성하는 확률 분포 f(x|y) 또는 f(x, y)는 이미 알고 있다는 가정에 기초한다.

비디오 신호의 통계적 특성은 비디오 타입에 따라, 또는 각 프레임 내에서 크게 변한다. 그래서, 보다 단순한 통계적 모델이나 자동 학습(automatic learning)을 이용할 때 조차도, 본 발명은 계속적으로 변하는 모델 파라미터들을 신뢰성 있게 측정하는 어려움이 있다. 또한, 모델이 너무 간단하거나, 그 파라미터들이 신호의 실제 특성을 반영하지 못한다면, 예측이 정확하지 않을 수 있다. 사실, 예측 정확도는 모델 복잡도가 증가할수록 더 낮아진다.

따라서, 본 발명은 예측 성능을 향상시키기 위한 더 강력한 접근을 필요로 한다.

압축에 적용되는 예측과 관련된 또 다른 중요한 이슈는, 전통적인 통계적 접근과 다르게, 인코더가 인코딩을 필요로 하는 모든 데이터에 접근할 수 있다는 것이다. 인코더는 디코더의 예측을 향상시킬 수 있는 부가 정보를 전송할 수 있기 때문에 이는 매우 중요한 차이를 만들 수 있다. 예를 들어, 인코더는 이용되는 모델 타입과 그 파라미터에 대한 부가 정보를 인코딩 할 수 있다.

현재 비디오 코딩 방법에 이용되는 예측 방법들은 부가 정보(side information)의 인코딩에 대부분 의존하고 있고, 통계적 모델, 예를 들어, 픽셀 복사(pixel copying), 단순 보간(simple interpolation) 등에 대한 아주 사소한 가정만을 이용하고 있다는 것이다. 게다가, 에지와 같은 비디오 특징들을 표현하기 위해, 전통적인 통계적 분포를 이용하는 대신, 기하학적 모델들이 이용되고 있다.

예를 들어, 비디오 코딩 표준은, 고른 픽셀 분포 모델 또는 33개 방향 셋에 따른 일정 픽셀 값들 사이에서 선택하는, 인트라 프레임 예측에 대해 오로지 단순 보간을 이용한다. 그리고, 인터 프레임 예측은 프레임 간 움직임 모델을 가정하고, 소수 픽셀 움직임에 대해 보간을 이용한다.

이러한 접근의 주된 문제는, 기하학적 모델이 매우 제한적이고, 현재 비디오 코딩 표준이 직선 에지 또는 움직임 변화와 같은 특징을 충분히 활용하고 있다는 점이다.

한편, 그래프 신호 처리는, 신호 처리에 이용되어 온 가장 기본적인 기술들을 일반화하는 새로운 접근 방식이다. 그래프 신호 처리는, 이미지 특징들의 강력한 통합을 예측 과정에서 가능하게 하는, 기하학적 특징들에 기초한 경험적 기술을 일반화한다. 통계적 분석과 결합될 수 있지만, 완전한 통계적 모델을 유도하여야 할 필요는 없다.

적절한 그래프 에지 가중치를 선택하는 방법은 모든 형태의 그래프 신호 처리의 핵심적인 부분임이 명확하다. 그러나, 본 명세서에서는 본 발명과 직접적으로 연관되어 있지 않기 때문에 상세히 논의하지 않을 것이다. 이하에서는, 상기에서 설명한 통계적 모델, 기하학적 모델 및 그래프 모델들이 갖는 문제점을 해결하는, 최적화 예측 방법을 설명하도록 한다.

도 1을 참조하면, 인코더(100)는 영상 분할부(110), 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150), 필터링부(160), 복호 픽쳐 버퍼(DPB: Decoded Picture Buffer)(170), 인터 예측부(180), 인트라 예측부(185) 및 엔트로피 인코딩부(190)를 포함하여 구성될 수 있다.

영상 분할부(110)는 인코더(100)에 입력된 입력 영상(Input image)(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛으로 분할할 수 있다. 예를 들어, 상기 처리 유닛은 코딩 트리 유닛(CTU: Coding Tree Unit), 코딩 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit) 또는 변환 유닛(TU: Transform Unit)일 수 있다.

다만, 상기 용어들은 본 발명에 대한 설명의 편의를 위해 사용할 뿐이며, 본 발명은 해당 용어의 정의에 한정되지 않는다. 또한, 본 명세서에서는 설명의 편의를 위해, 비디오 신호를 인코딩 또는 디코딩하는 과정에서 이용되는 단위로써 코딩 유닛이라는 용어를 사용하지만, 본 발명은 그에 한정되지 않으며 발명 내용에 따라 적절하게 해석 가능할 것이다.

인코더(100)는 입력 영상 신호에서 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호(prediction signal)를 감산하여 잔여 신호(residual signal)를 생성할 수 있고, 생성된 잔여 신호는 변환부(120)로 전송된다.

변환부(120)는 잔여 신호에 변환 기법을 적용하여 변환 계수(transform coefficient)를 생성할 수 있다. 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다.

본 발명의 일실시예로, 상기 변환부(120)는 그래프 파라미터를 이용하여 그래프 신호를 획득할 수 있다.

본 발명의 다른 일실시예로, 상기 변환부(120)는 꼭지점 파라미터 셋과 에지 파라미터 셋 중 적어도 하나를 이용하여 그래프 신호를 획득할 수 있다.

본 발명의 다른 일실시예로, 상기 변환부(120)는 최적화 함수에 기초하여 최적화된 그래프 기반 변환 커널을 획득할 수 있다. 이때, 상기 최적화 함수는 라그랑지 승수를 이용하여 비제한 최적화 함수(unconstrained optimization function)로 표현될 수 있고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.

본 발명의 다른 일실시예로, 상기 변환부(120)는 상기 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득할 수 있고, 상기 예측 벡터는 예측 신호를 생성하기 위해 이용될 수 있다. 이때, 상기 예측 벡터는 상기 그래프 라플라시안 행렬의 고유 벡터(eigenvector)와 상기 고유값(eigenvalue)의 분포에 기초하는 비용 함수 간의 선형 결합에 기초하여 획득될 수 있다.

양자화부(130)는 변환 계수를 양자화하여 엔트로피 인코딩부(190)로 전송하고, 엔트로피 인코딩부(190)는 양자화된 신호(quantized signal)를 엔트로피 코딩하여 비트스트림으로 출력할 수 있다.

양자화부(130)로부터 출력된 양자화된 신호(quantized signal)는 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 신호(quantized signal)는 루프 내의 역양자화부(140) 및 역변환부(150)를 통해 역양자화 및 역변환을 적용함으로써 잔여 신호를 복원할 수 있다. 복원된 잔여 신호를 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호(prediction signal)에 더함으로써 복원 신호(reconstructed signal)가 생성될 수 있다.

한편, 위와 같은 압축 과정에서 인접한 블록들이 서로 다른 양자화 파라미터에 의해 양자화됨으로써 블록 경계가 보이는 열화가 발생될 수 있다. 이러한 현상을 블록킹 열화(blocking artifacts)라고 하며, 이는 화질을 평가하는 중요한 요소 중의 하나이다. 이러한 열화를 줄이기 위해 필터링 과정을 수행할 수 있다. 이러한 필터링 과정을 통해 블록킹 열화를 제거함과 동시에 현재 픽쳐에 대한 오차를 줄임으로써 화질을 향상시킬 수 있게 된다.

필터링부(160)는 복원 신호에 필터링을 적용하여 이를 재생 장치로 출력하거나 복호 픽쳐 버퍼(170)에 전송한다. 복호 픽쳐 버퍼(170)에 전송된 필터링된 신호는 인터 예측부(180)에서 참조 픽쳐로 사용될 수 있다. 이처럼, 필터링된 픽쳐를 화면간 예측 모드에서 참조 픽쳐로 이용함으로써 화질 뿐만 아니라 부호화 효율도 향상시킬 수 있다.

복호 픽쳐 버퍼(170)는 필터링된 픽쳐를 인터 예측부(180)에서의 참조 픽쳐로 사용하기 위해 저장할 수 있다.

인터 예측부(180)는 복원 픽쳐(reconstructed picture)를 참조하여 시간적 중복성 및/또는 공간적 중복성을 제거하기 위해 시간적 예측 및/또는 공간적 예측을 수행한다. 여기서, 예측을 수행하기 위해 이용되는 참조 픽쳐는 이전 시간에 부호화/복호화 시 블록 단위로 양자화와 역양자화를 거친 변환된 신호이기 때문에, 블로킹 아티팩트(blocking artifact)나 링잉 아티팩트(ringing artifact)가 존재할 수 있다.

따라서, 인터 예측부(180)는 이러한 신호의 불연속이나 양자화로 인한 성능 저하를 해결하기 위해, 로우패스 필터(lowpass filter)를 적용함으로써 픽셀들 사이의 신호를 서브 픽셀 단위로 보간할 수 있다. 여기서, 서브 픽셀은 보간 필터를 적용하여 생성된 가상의 화소를 의미하고, 정수 픽셀은 복원된 픽쳐에 존재하는 실제 화소를 의미한다. 보간 방법으로는 선형 보간, 양선형 보간(bi-linear interpolation), 위너 필터(wiener filter) 등이 적용될 수 있다.

보간 필터는 복원 픽쳐(reconstructed picture)에 적용되어 예측의 정밀도를 향상시킬 수 있다. 예를 들어, 인터 예측부(180)는 정수 픽셀에 보간 필터를 적용하여 보간 픽셀을 생성하고, 보간 픽셀들(interpolated pixels)로 구성된 보간 블록(interpolated block)을 예측 블록(prediction block)으로 사용하여 예측을 수행할 수 있다.

인트라 예측부(185)는 현재 부호화를 진행하려고 하는 블록의 주변에 있는 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 인트라 예측부(185)는 인트라 예측을 수행하기 위해 다음과 같은 과정을 수행할 수 있다. 먼저, 예측 신호를 생성하기 위해 필요한 참조 샘플을 준비할 수 있다. 그리고, 준비된 참조 샘플을 이용하여 예측 신호를 생성할 수 있다. 이후, 예측 모드를 부호화하게 된다. 이때, 참조 샘플은 참조 샘플 패딩 및/또는 참조 샘플 필터링을 통해 준비될 수 있다. 참조 샘플은 예측 및 복원 과정을 거쳤기 때문에 양자화 에러가 존재할 수 있다. 따라서, 이러한 에러를 줄이기 위해 인트라 예측에 이용되는 각 예측 모드에 대해 참조 샘플 필터링 과정이 수행될 수 있다.

상기 인터 예측부(180) 또는 상기 인트라 예측부(185)를 통해 생성된 예측 신호(prediction signal)는 복원 신호를 생성하기 위해 이용되거나 잔여 신호를 생성하기 위해 이용될 수 있다.

도 2를 참조하면, 디코더(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 필터링부(240), 복호 픽쳐 버퍼(DPB: Decoded Picture Buffer Unit)(250), 인터 예측부(260) 및 인트라 예측부(265)를 포함하여 구성될 수 있다.

그리고, 디코더(200)를 통해 출력된 복원 영상 신호(reconstructed video signal)는 재생 장치를 통해 재생될 수 있다.

디코더(200)는 도 1의 인코더(100)로부터 출력된 신호을 수신할 수 있고, 수신된 신호는 엔트로피 디코딩부(210)를 통해 엔트로피 디코딩될 수 있다. 이때, 상기 출력된 신호는 그래프 파라미터 셋(graph parameter set)과 예측 벡터 정보를 포함할 수 있다. 상기 예측 벡터 정보는 상기 그래프 라플라시안 행렬의 고유 벡터(eigenvector)와 상기 고유값(eigenvalue)의 분포에 기초하는 비용 함수 간의 선형 결합에 기초하여 결정된 것일 수 있다.

다른 예로, 상기 예측 벡터 정보는, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 고유 벡터(eigenvector)를 변수로 갖는 최적화 함수에 기초하여 결정된 것일 수 있다. 이 경우, 상기 최적화 함수는 라그랑지 승수를 이용하여 비제한 최적화 함수(unconstrained optimization function)로 표현될 수 있고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.

상기 디코더(200)는 상기 예측 벡터 정보에 기초하여 예측 신호를 생성할 수 있다. 이는 인터 예측부(260)에서 수행될 수 있으나, 본 발명은 이에 한정되지 않는다.

역양자화부(220)에서는 양자화 스텝 사이즈 정보를 이용하여 엔트로피 디코딩된 신호로부터 변환 계수(transform coefficient)를 획득한다. 여기서, 획득된 변환 계수는 상기 도 1의 변환부(120)에서 설명한 다양한 실시예들이 적용된 것일 수 있다.

역변환부(230)에서는 변환 계수를 역변환하여 잔여 신호(residual signal)를 획득하게 된다.

획득된 잔여 신호를 인터 예측부(260) 또는 인트라 예측부(265)로부터 출력된 예측 신호(prediction signal)에 더함으로써 복원 신호(reconstructed signal)가 생성된다.

필터링부(240)는 복원 신호(reconstructed signal)에 필터링을 적용하여 이를 재생 장치로 출력하거나 복호 픽쳐 버퍼부(250)에 전송한다. 복호 픽쳐 버퍼부(250)에 전송된 필터링된 신호는 인터 예측부(260)에서 참조 픽쳐로 사용될 수 있다.

본 명세서에서, 인코더(100)의 필터링부(160), 인터 예측부(180) 및 인트라 예측부(185)에서 설명된 실시예들은 각각 디코더의 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)에도 동일하게 적용될 수 있다.

상기 도 3은 이미지 픽셀의 정사각형 블록으로 정의된 그래프의 예를 나타낸다. 상기 도3을 참조하면, 본 발명은 이미지 또는 비디오 내의 8×8 픽셀 블록의 처리를 위해 사용될 수 있는 그래프 타입의 두 가지 실시예를 제공한다. 각 픽셀은 그래프 꼭지점에 연관되며, 상기 픽셀의 값은 그래프 꼭지점의 값이 된다.

그래프 에지는 그래프 꼭지점을 연결하는 선을 의미할 수 있다. 상기 그래프 에지는 신호 내의 어떠한 형태의 통계적 의존성을 나타내기 위해 사용되며, 이 때 양의 가중치는 그 강도를 나타낼 수 있다. 예를 들어, 각 꼭지점은 모든 다른 꼭지점에 연결될 수 있으며, 0의 가중치는 서로 연관되지 않거나 약하게 연관된 꼭지점들을 연결하는 에지에 할당될 수 있다. 다만, 표현의 간단화를 위해, 0의 가중치를 갖는 에지는 완전히 제거될 수 있다.

본 발명의 다른 실시예로, 그래프 꼭지점을 연결하는 에지들은 신호 특성에 따라 사전에 설정될 수 있다. 예를 들어, 꼭지점들은 오디오 신호에 대해서는 1차원 배열 상에, 이미지에 대해서는 2차원 배열 상에, 또한 비디오 프레임에 대해서는 3차원 배열 상에 배치될 수 있다. 이때, 상기 3차원 배열의 경우에는 시간 축이 3번째 차원이 될 수 있다. 예를 들어, 도 3(a)의 그래프에서, 그래프 에지는 각각의 꼭지점이 그로부터 가장 가까운 4개의 인접 꼭지점들에 연결되도록 정의될 수 있다. 다만, 블록 경계의 경우는 다르게 취급될 수 있다. 또한, 도 3(b)의 그래프에서는 각각의 꼭지점이 그로부터 가장 가까운 8개의 인접 꼭지점들에 연결되도록 정의될 수 있다.

한편, 본 발명은 어떠한 그래프 설정에도 적용 가능할 수 있다.

그래프 신호 G의 라플라시안 행렬은 다음 수학식 1과 같다.

수학식 1

여기서, D는 차수 행렬(Degree matrix)을 나타내고, 예를 들어 상기 차수 행렬은 각 꼭지점의 차수에 대한 정보를 포함하는 대각 행렬(diagonal matrix)을 의미할 수 있다. A는 인접 픽셀과의 연결 관계(edge)를 가중치로 나타내는 인접 행렬(adjacency matrix)을 나타낸다.

그래프 G 및 그 행렬이 정의되는 방법은 본 명세서에서는 상세히 설명하지 않는다. 본 명세서에서는 단지 그래프가 그래프 타입에 대해 정의된 신호들의 특성들을 이용하는 몇몇 기술로 정의될 수 있다고 가정할 뿐이다. 따라서, 본 발명은 행렬 D, A를 이용하여 신호 모델링을 수행하여 그래프를 생성하면 고유 분해(eigen-decomposition) 과정을 통해 다음 수학식 2와 같이 변환 커널 U를 생성할 수 있다.

수학식 2

여기서, Λ는 그래프 라플라시안 행렬의 고유값(eigenvalue)을 나타내고, U는 고유 벡터(eigenvector)을 나타내고, 이는 그래프 기반 변환 행렬일 수 있다. L은 그래프 라플라시안 행렬(graph Laplacian matrix)을 나타낸다.

그래프 기반 변환 행렬 U의 행들(columns)은 그래프 라플라시안 행렬(graph Laplacian matrix) L의 고유 벡터(eigenvectors)를 포함하고, 대각 행렬(diagonal matrix)은 대응되는 그래프 라플라시안 행렬(graph Laplacian matrix) L의 고유값(eigenvalues)에 대해 다음 수학식 3과 같이 표현될 수 있다.

수학식 3

일반적으로 고유 벡터(eigenvectors)는 특유의 형태로 정의되지 않지만, 본 발명의 목적에 따라, 그래프 라플라시안 행렬(graph Laplacian matrix) L이 대칭적이기 때문에 모든 고유 벡터(eigenvectors)는 실수값이고, 적어도 하나의 분해(decomposition)는 존재할 수 있다. 그래프 신호G 에서 신호 벡터g의 그래프 기반 푸리에 변환은 다음 수학식 4와 같이 정의될 수 있다.

수학식 4

여기서, h는 변환 벡터를 나타내고, U^T는 그래프 기반 변환 행렬 U의 전치 행렬을 나타내며, g는 그래프 신호 G의 벡터를 나타낸다.

상기에서 설명한 그래프 신호에 대한 기본적인 정의에 기초하여, 이하에서 본 발명의 실시예들을 구체적으로 설명하도록 한다.

본 발명의 일실시예에서는, 신호가 임의의 그래프 G로 정의되는 방법을 제공한다. 예를 들어, 그래프 신호는 각 그래프 꼭지점으로 정의되고, G차원 벡터 g에 의해 표현될 수 있다. 그래프 특성들은 각 그래프 에지 상의 음이 아닌 가중치들에 의해 정의될 수 있다.

상기 도 4의 경우, 그 꼭지점들에 정의된 신호 벡터와 음이 아닌 에지 가중치에 의해 정의된 그래프 특성을 가진 임의의 그래프를 나타낸다. 여기서, 꼭지점 값들은 2개의 셋으로 분할될 수 있고, 여기서 상기 2개의 셋은 예측될 신호 x와 컨텍스트 신호(context signal) y를 의미할 수 있다. 상기 도 4에서 x1, x2, …, x6는 예측될 신호를 나타내고, y1, y2, …, y5는 컨텍스트 신호(context signal)를 나타낸다. 예를 들어, 하기 도 5에서와 같이, 상기 예측될 신호 x는 원 신호를 의미할 수 있고, 컨텍스트 신호(context signal) y는 루프에 따라 복원된 신호를 의미할 수 있다.

상기 도 4에서 살펴본 바와 같이, 본 발명이 컨텍스트 신호 y로부터 신호 x를 예측하고자 한다고 가정하면, 그래프 모델에서 x와 y는 신호 g를 형성할 수 있다.

벡터 표기법에 따라, 본 발명은 그래프 신호 g를 수학식 5와 같이 분해할 수 있다.

수학식 5

여기서, g는 그래프 신호를 나타내고, x는 예측될 신호를 나타내며, y는 컨텍스트 신호를 나타낸다.

한편, 그래프 기반 변환 행렬 T는 다음 수학식 6과 같이 나타낼 수 있다.

수학식 6

여기서, T는 그래프 기반 변환 행렬을 나타내고, A 및 M은 각각 행렬을 나타낸다.

그리고, 상기 수학식 4는 상기 수학식 5 및 수학식 6에 기초하여 다음 수학식 7과 같이 다시 쓰여질 수 있다.

수학식 7

여기서, h는 G(=M+N) 차원을 갖는다.

한편, T^T= T^-1이므로, 상기 수학식 7은 다음 수학식 8과 같이 쓰여질 수 있다.

수학식 8

이때, 다음 수학식 9의 조건을 만족한다.

수학식 9

여기서, I 와 0은 각 행렬 산출물(matrix products)에 대응되는 차원의 자기 행렬(identity matrix) 및 제로 행렬(0 matrix)을 나타낸다.

이와 같은 정의에 기초하여, 이하에서는 본 발명의 실시예를 보다 상세히 설명하도록 한다.

상기 도 5을 살펴보면, 본 발명이 적용되는 인코더(500)는 그래프 기반 변환부(510), 양자화부(520), 역양자화부(530), 역변환부(540), 버퍼(550), 예측부(560), 및 엔트로피 인코딩부(570)을 포함한다.

인코더(500)는 비디오 신호를 수신하고 상기 비디오 신호로부터 상기 예측부(560)에서 출력된 예측된 신호를 차감하여 예측 에러를 생성한다. 상기 생성된 예측 에러는 상기 그래프 기반 변환부(510)으로 전송되고, 상기 그래프 기반 변환부(510)은 변환 방식을 상기 예측 에러에 적용함으로써 변환 계수를 생성한다. 이때, 상기 그래프 기반 변환부(510)는 그래프 기반 변환 행렬을 산출할 수 있고, 이를 이용하여 변환을 수행할 수 있다. 또한, 상기 그래프 기반 변환부(510)는 본 명세서에 기재된 실시예들을 수행할 수 있다.

본 발명이 적용되는 다른 실시예로, 상기 그래프 기반 변환부(510)는 최적화 함수에 기초하여 최적화된 그래프 기반 변환 커널을 획득할 수 있다. 이때, 상기 최적화 함수는 라그랑지 승수를 이용하여 비제한 최적화 함수(unconstrained optimization function)로 표현될 수 있고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.

또한, 상기 그래프 기반 변환부(510)는 상기 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득할 수 있고, 상기 예측 벡터는 예측 신호를 생성하기 위해 이용될 수 있다. 이때, 상기 예측 벡터는 상기 그래프 라플라시안 행렬의 고유 벡터(eigenvector)와 상기 고유값(eigenvalue)의 분포에 기초하는 비용 함수 간의 선형 결합에 기초하여 획득될 수 있다.

상기 획득된 예측 벡터는 역변환부(540)로 전송되어 역변환될 수 있고, 역변환된 예측 벡터는 예측부(56)로 전송되어 예측 신호를 생성하기 위해 이용될 수 있다. 또는 상기 예측 벡터는 엔트로피 인코딩부(570)로 전송되어 인코딩될 수도 있다.

상기 그래프 기반 변환부(510)의 실시예들은 도 1의 변환부(120)에 포함되어 수행될 수 있고, 또는 별개의 기능 블록으로 수행될 수도 있다. 그리고, 본 발명이 적용되는 예측 방법도 상기 그래프 기반 변환부(510)에서 수행되는 것으로 설명하고 있으나, 본 발명은 이에 한정되지 않는다. 예를 들어, 본 발명이 적용되는 예측 방법은 별개의 기능 블록으로 수행되거나 또는 인터 예측부(180)/예측부(560)에서 수행될 수 있다.

본 발명이 적용되는 예측 방법의 실시예들은 이하에서 보다 상세히 설명하도록 한다.

그래프 기반 예측(Graph-based prediction)

그래프의 푸리에 변환을 정의하기 위해, 본 발명은 G(W)에 대응되는 차수 행렬(degree matrix)로 표현될 수 있다. 여기서, 차수 행렬(degree matrix)은 각 꼭지점의 차수에 대한 정보를 포함하는 대각 행렬(diagonal matrix)로, 아래 수학식 10과 같이 정의될 수 있다. 예를 들어, 상기 차수는 한 꼭지점에 이어져 있는 변의 수를 의미할 수 있다.

수학식 10

그래프 라플라시안 행렬 L= D-W 이고, 따라서 그래프 라플라시안 행렬 L_i,j는 다음 수학식 11과 같다.

수학식 11

이때, 행렬 T를 그래프 푸리에 변환이라 정의하면, 행렬 T는 다음 수학식 12와 같다.

수학식 12

여기서, U는 L을 대각화하는 고유 행렬을 나타내고, L은 다음 수학식 13과 같다.

수학식 13

그리고, 직교 행렬은 다음 수학식 14를 만족한다.

수학식 14

이러한 정의에 기초하여, 고유 행렬(eigen matrix) U의 행들(columns)은 L의 고유 벡터(eigenvectors)를 포함하고, L의 고유값(eigenvalues)은 다음 수학식 15와 같이 표현될 수 있다.

수학식 15

일반적으로 고유 벡터(eigenvectors)는 특유의 형태로 정의되지 않지만, 본 발명의 목적에 따라, L이 대칭적이기 때문에 모든 고유 벡터(eigenvectors)는 실수값이고, 적어도 하나의 분해(decomposition)는 존재함을 고려해야 한다. 이는 수학식 14를 만족하는 어떠한 행렬에도 적용 가능하다.

랜덤 신호의 예측은 고전적인 통계적 문제이다. 일반적인 방식으로, 본 발명은 벡터 함수를 수학식 16과 같이 정의할 수 있다.

수학식 16

여기서, p(y)는 N차원 벡터y가 주어졌을 때 M차원 랜덤 벡터(random vector)의 예측 값(predicted value)을 나타낸다.

조건적 확률 분포 f(x|y)를 알고 있다고 가정하면, 본 발명은 수학식 17과 같은 최적화 함수를 통해 최적의 예측 함수 p*(y)를 찾을 수 있다.

수학식 17

여기서, p*(y)는 최적의 예측 함수를 나타내고, x는 원 신호를 나타내며, p(y)는 N차원 벡터y가 주어졌을 때 M차원 랜덤 벡터(random vector)의 예측 값(predicted value)을 나타낸다. 그리고, Ex|y{·}는 조건부 기대 연산자(conditional expectation operator)를 나타낸다.

그리고, 수학식 18은 예측 에러를 측정하는 함수(function measuring prediction error)를 나타낸다.

수학식 18

예를 들어, D가 유클리디안 거리(Euclidean distance)를 측정할 때, 본 발명은 수학식 19와 같은 최소 제곱 에러 문제(minimum squared error problem)를 갖는다.

수학식 19

여기서, p*(y)는 최적의 예측 함수를 나타내고, x는 원 신호를 나타내며, p(y)는 N차원 벡터y가 주어졌을 때 M차원 랜덤 벡터(random vector)의 예측 값(predicted value)을 나타낸다.

이 경우, 최적 예측값(optimal predictor )은 다음 수학식 20과 같을 수 있다.

수학식 20

선형 예측과 같은 특별한 경우가 적용되는 경우, 본 발명은 수학식 21과 같이 표현할 수 있다.

수학식 21

여기서, P는 MxN 행렬을 나타내고, y는 N차원 벡터를 나타낸다.

제곱 에러 측정 (squared-error measure)에 대한 최적의 선형 예측 행렬(optimal linear predictor matrix)은 다음 수학식 22와 같이 계산될 수 있다.

수학식 22

또한, 본 발명이 적용되는 예측 알고리즘(prediction algorithm)을 설명하기 위해, 목적 함수(objective function)의 정의를 더 가정할 필요가 있다.

수학식 23

상기 수학식 23에서, Ω(h,λ)는 변환 h 가 얼마나 일어날 것 같지 않은지(how "improbable" is transform h)를 측정하기 위해, 그래프 라플라시안 고유값 λ의 벡터를 이용한다. 이 함수를 최소화하는 변환 벡터 h는 더 개연성 있는 신호(more probable signals)에 대응된다.

본 발명은 확률 모델의 실제 이론을 가정하는 것이 아니라, 더 큰 고유값에 대응되는 고주파수 성분이 전형적으로 더 작은 크기(lower magnitude)를 갖는다는 경험적 관찰에 기초한다.

이러한 정의에 따라, 본 발명은 그래프 기반 예측을 분해하는 방법(how to decompose the graph-based prediction )을 제공한다. 즉, x로부터 y를 예측하기 위해 그래프 신호 G의 정보를 이용할 수 있다. 이는 다음과 같은 과정을 따른다.

첫째, 그래프 신호 G 의 에지 가중치들을 결정하고, 그래프 라플라시안 행렬 L을 계산할 수 있다.

둘째, 변환 행렬 T 및 고유값(eigenvalue) λ를 갖는 벡터를 결정하기 위해 그래프 라플라시안 행렬 L의 스펙트럼 분해(spectral decomposition)을 수행할 수 있다.

셋째, 상기 스펙트럼 분해 결과에 기초하여, 다음 수학식 24와 같이 최적의 변환 벡터 h*(y)를 산출할 수 있다.

수학식 24

넷째, 상기 수학식 24를 이용하는 다음 수학식 25에 기초하여 예측 벡터 p(y)를 산출할 수 있다.

수학식 25

본 발명의 다른 실시예로, 그래프 가중치 셋을 미리 정의하는 것도 가능하다. 그럼으로써 모든 예측 벡터들에 대해, 라플라시안 계산 및 변환 행렬 계산과 관련된 위 첫번째 단계 및 두번째 단계를 반복하지 않을 수 있다.

그래프 기반 변환 최적화(Graph-based transform optimization)

본 발명의 그래프 기반 예측 알고리즘에서, 다음 수학식 26의 최적화 문제에 대한 더 효율적인 해법을 찾기 위해 몇 가지 특별한 특징을 활용할 수 있다.

수학식 26

여기서, Ω(h,λ)는 변환 h 가 얼마나 일어날 것 같지 않은지(how "improbable" is transform h)를 측정하기 위한 목적 함수(objective function)를 나타내고, λ 벡터는 그래프 라플라시안 고유값을 나타낸다. 그리고, “s.t.”는 “subject to”의 약어로, 최적화 함수에 대한 제한식을 따른다는 것을 나타낸다. 만약, Ω(h,λ)가 연속적이고 미분가능하다면(continuous and differentiable), 본 발명은 벡터 s에 의해 표현된 라그랑지 승수 셋(a set of Lagrange multipliers)을 이용할 수 있고, 다음 수학식 27에 의해 정의된 수식 시스템을 해결할 수 있다.

수학식 27

그러나, 행렬 A 및 M이 직교 부분 공간(orthogonal subspaces)을 발생시키기 때문에, 본 발명은 M차원 벡터 z를 정의하고 다음 수학식 28을 이용하여, 수학식 29를 획득할 수 있다.

수학식 28

수학식 29

그리고, 다음 수학식 30의 비제한 최적화 문제(unconstrained optimization problem)를 해결하여 수학식 31을 획득할 수 있다.

수학식 30

수학식 31

상기와 같은 그래프 기반 변환 최적화 과정을 통해 최적화된 변환 벡터를 획득할 수 있게 된다.

2차 목적 함수의 정의(Definition of Quadratic objective function)

본 발명은 다음 수학식 32와 같은 목적 함수를 2차 함수로써 정의할 수 있다.

수학식 32

여기서, W는 λ에 기초하는 세미-포지티브(semi-positive)의 행렬이다. 예를 들어, W는 다음 수학식 33과 같이 간단하게 정의할 수 있다.

수학식 33

표시의 단순화를 위해, 본 발명은 암시적으로 λ에 기초하는 행렬 W의 의존성을 고려하고, 다음 수학식 34의 해를 분석할 수 있다.

수학식 34

최적의 해를 찾기 위해 라그랑지 승수를 이용할 수 있다. 2차 목적 함수의 경우에, 상기 수학식 27에 정의된 수식들은 모두 선형이고, 본 발명은 다음 수학식 35와 같은 행렬 형태를 가질 수 있다.

수학식 35

만약 W가 단수(singular)가 아니면, 다음 수학식 36 및 수학식 37과 같이 표현될 수 있다.

수학식 36

수학식 37

이를 h에 대해 풀면, 본 발명은 다음 수학식 38을 획득할 수 있고, 예측 값은 수학식 39와 같다.

수학식 38

수학식 39

본 발명의 다른 실시예로, W가 단수(singular)일 때의 경우를 다음과 같이 설명할 수 있다. 2차 목적함수에 대한 수학식 30의 대응되는 버전은 다음 수학식 40과 같다.

수학식 40

최적의 해는 다음 수학식 41 및 수학식 42에 의해 정의될 수 있고, 결과적으로 수학식 43을 획득할 수 있다.

수학식 41

수학식 42

수학식 43

본 발명이 적용되는 다른 실시예로, 최적의 변환 벡터를 선택하기 위한 목적 함수를 선택하는 다른 방법을 제공한다. 예를 들어, 2차 함수는 다음 수학식 44와 같은 컨벡스 함수(convex function)의 특별한 경우일 수 있다.

수학식 44

여기서, w_k(λ_k) 는 음이 아닌 가중치이고, α_k≥1 는 큰 변환 값에 대한 페널티의 상대적 증가를 정의한다. 그러한 파라미터들은 개연성 없는 계수들이 작은 값을 갖도록 선택될 수 있다.

한편, 상기 양자화부(520)는 상기와 같은 과정을 통해 생성된 변환 계수를 양자화하여 상기 양자화된 계수를 엔트로피 인코딩부(570)으로 전송한다.

상기 엔트로피 인코딩부(570)은 상기 양자화된 신호에 대한 엔트로피 코딩을 수행하고 엔트로피 코딩된 신호를 출력한다.

상기 양자화부(520)에 의해 출력된 상기 양자화된 신호는 예측 신호를 생성하기 위해 사용될 수 있다. 예를 들어, 상기 인코더(500)의 루프 내의 상기 역양자화부(530) 및 상기 역변환부(540)은 상기 양자화된 신호가 예측 에러로 복원되도록 상기 양자화된 신호에 대한 역양자화 및 역변환을 수행할 수 있다. 복원된 신호는 상기 복원된 예측 에러를 상기 예측부(560)에 의해 출력된 예측 신호에 더함으로써 생성될 수 있다.

상기 버퍼(550)는 예측부(560)의 향후 참조를 위해 복원된 신호를 저장한다.

상기 예측부(560)은 이전에 복원되어 상기 버퍼(550)에 저장된 신호를 사용하여 예측 신호를 생성할 수 있다. 이러한 경우, 본 발명은 앵커(anchor) 이미지 내 영역을 사용하여 목표 이미지 내 영역을 효율적으로 예측하는 것에 관련된 것이다. 여기서, 상기 앵커 이미지는 참조 이미지, 참조 픽쳐 또는 참조 프레임을 의미할 수 있다. 효율은 율-왜곡(Rate-Distortion) 비용 또는 예측 에러 내 왜곡을 정량화하는 평균 제곱 에러를 산출함으로써 결정될 수 있다.

본 발명은 그래프 내의 꼭지점과 에지를 식별하며, 잔여값 신호를 인코딩 또는 디코딩하는 방법을 제안한다. 예를 들어, 본 발명의 실시예들은 그래프 기반 변환부(510)를 통해 다양한 실시예들을 수행할 수 있다. 상기 그래프 기반 변환부(510)는 상기 인코더(500) 또는 상기 디코더(700)에 포함될 수 있다.

도 6의 디코더(600)는 도 5의 인코더(500)에 의해 출력된 신호를 수신한다. 이때, 상기 출력된 신호는 그래프 파라미터 셋(graph parameter set)과 레지듀얼 신호를 포함할 수 있다. 상기 그래프 파라미터 셋에 기초하여 그래프 기반 변환 행렬을 획득할 수 있고, 상기 그래프 기반 변환 행렬은 고유 벡터를 포함할 수 있다. 그리고, 예측 벡터는 최적의 변환 벡터를 이용하여 획득될 수 있으며, 상기 최적의 변환 벡터는 최적화 함수를 통해 산출될 수 있다. 이때, 상기 예측 벡터는 변환 벡터와 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득될 수 있고, 상기 변환 벡터는 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정될 수 있다.

한편, 상기 최적화 함수는 라그랑지 승수를 이용하여 비제한 최적화 함수(unconstrained optimization function)로 표현될 수 있고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.

상기 디코더(600)는 상기 예측 벡터 정보에 기초하여 예측 신호를 생성할 수 있다. 이는 예측부(650)에서 수행될 수 있으나, 본 발명은 이에 한정되지 않는다.

상기 엔트로피 디코딩부(610)은 수신된 신호에 대한 엔트로피 디코딩을 수행한다. 상기 역양자화부(620)은 양자화 단계 크기에 대한 정보를 기초로 하여 상기 엔트로피 디코딩된 신호로부터 변환 계수를 획득한다.

상기 역변환부(630)은 변환 계수에 대한 역변환을 수행함으로써 예측 에러를 취득한다. 이때, 상기 역변환은 상기 인코더(500)에서 획득된 그래프 기반 변환에 대한 역변환을 의미할 수 있다.

복원된 신호는 상기 획득된 예측 에러를 상기 예측부(650)에 의해 출력된 예측 신호에 더함으로써 생성되며, 이는 복원부(미도시)에서 수행된다.

상기 버퍼(640)는 상기 예측부(650)의 향후 참조를 위해 상기 복원된 신호를 저장한다.

상기 예측부(650)은 이전에 복원되어 상기 버퍼(640)에 저장된 신호와 본 발명이 적용되는 예측 벡터를 기반으로 예측 신호를 생성한다.

본 발명에서, 그래프 파라미터에 기초하여 획득된 그래프 기반 변환은 상기 인코더(600) 또는 상기 디코더(600)에서 사용될 수 있다.

도 7을 참조하면, 그래프 기반 변환부(510)는 그래프 파라미터 추출부(511), 그래프 신호 생성부(512), 그래프 기반 변환 산출부(513), 변환 수행부(514), 변환 최적화부(515) 및 그래프 기반 예측부(516)를 포함할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 상기 그래프 기반 변환부(510) 내 각 기능 유닛들은 별개의 기능 유닛으로 동작할 수 있고, 또는 다른 기능 유닛에 포함되어 동작할 수도 있을 것이다.

그래프 파라미터 추출부(511)는 잔여 신호의 타겟 유닛에 대응되는 그래프 내 그래프 파라미터를 추출할 수 있다. 예를 들어, 상기 그래프 파라미터는 꼭지점 파라미터, 및 에지 파라미터 중 적어도 하나를 포함할 수 있다. 상기 꼭지점 파라미터는 꼭지점 위치 및 꼭지점 개수 중 적어도 하나를 포함하고, 상기 에지 파라미터는 에지 가중치 값 및 에지 가중치 개수 중 적어도 하나를 포함할 수 있다. 또한, 상기 그래프 파라미터는 일정 개수의 셋(set)으로 정의될 수 있다.

그래프 신호 생성부(512)는 상기 그래프 파라미터 추출부(511)로부터 추출된 그래프 파라미터에 기초하여 그래프 신호를 생성할 수 있다. 이때, 상기 그래프 신호로부터 그래프 라플라시안 행렬을 산출할 수 있다.

그래프 기반 변환 산출부(513)는 상기 그래프 파라미터 또는 그래프 파라미터 셋에 기초하여 그래프 기반 변환 행렬(graph-based transform matrix)을 획득할 수 있다. 이때, 상기 그래프 기반 변환 행렬은 고유 벡터(eigenvector)를 포함할 수 있다.

또한, 그래프 기반 변환 산출부(513)는 상기 그래프 파라미터 또는 그래프 파라미터 셋에 기초하여 그래프 라플라시안 행렬을 산출할 수 있다. 이 경우, 상기 그래프 기반 변환 행렬은 상기 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득될 수 있다.

변환 수행부(514)는 그래프 기반 변환 행렬을 이용하여 변환을 수행할 수 있다.

변환 최적화부(515)는 최적화 함수를 통해 최적의 변환 벡터를 산출할 수 있다. 여기서, 상기 최적화 함수는 라그랑지 승수를 이용하여 비제한 최적화 함수(unconstrained optimization function)로 표현될 수 있다. 그리고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다. 예를 들어, 상기 최적화 함수로 상기 수학식 24또는 상기 수학식 34가 이용될 수 있고, 상기 최적의 변환 벡터는 상기 수학식 18, 상기 수학식 25 또는 상기 수학식 36을 이용하여 획득될 수 있다.

그래프 기반 예측부(516)는 상기 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득할 수 있다. 상기 예측 벡터는 변환 벡터와 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득될 수 있고, 상기 변환 벡터는 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정될 수 있다. 예를 들어, 상기 예측 벡터는 상기 수학식 19 또는 상기 수학식 37을 이용하여 획득될 수 있다.

또한, 상기 예측 벡터는 인코딩되어 디코더에 전송되거나, 디코더에서 유도될 수도 있다. 전송 방법으로는 예를 들어, 벡터 값을 전송하거나 벡터 값 차이를 전송할 수도 있으나, 본 발명은 이에 한정되지 않는다.

인코더는 수신된 비디오 신호로부터 예측 신호를 생성하고, 비디오 신호에서 예측 신호를 감산하여 잔여 신호를 생성할 수 있다. 상기 잔여 신호에 대해 변환이 수행되는데, 이때 그래프 기반 신호 처리 기술을 적용하여 그래프 기반 변환 또는 그래프 기반 예측을 수행할 수 있다. 이하에서는, 그래프 신호에 기초하여 그래프 기반 예측을 수행하는 방법을 설명한다.

먼저, 인코더는 비디오 신호의 타겟 유닛에 대응되는 그래프 파라미터 셋을 결정할 수 있다(S810). 예를 들어, 그래프 신호 G 의 꼭지점 파라미터 및 에지 가중치 중 적어도 하나를 결정할 수 있다.

그리고, 인코더는 그래프 파라미터 셋(graph parameter set)에 기초하여 그래프 신호를 생성할 수 있고, 그래프 신호에 기초하여 그래프 라플라시안 행렬 L을 산출할 수 있다(S820).

인코더는 변환 행렬 T 및 고유값(eigenvalue) λ을 갖는 벡터를 결정하기 위해 그래프 라플라시안 행렬 L의 스펙트럼 분해(spectral decomposition)을 수행할 수 있고, 상기 스펙트럼 분해 결과에 기초하여 그래프 기반 변환 행렬을 획득할 수 있다(S830). 이때, 상기 그래프 기반 변환 행렬은 고유 벡터(eigenvector)를 포함할 수 있다.

인코더는 최적화 함수를 통해 최적의 변환 벡터를 획득할 수 있다(S840). 이때, 상기 최적화 함수로 상기 수학식 24 또는 상기 수학식 34가 이용될 수 있고, 상기 최적의 변환 벡터는 상기 수학식 18, 상기 수학식 25 또는 상기 수학식 36을 이용하여 획득될 수 있다. 여기서, 상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 고유 벡터(eigenvector)를 변수로 가질 수 있다. 그리고, 상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.

그리고, 인코더는 상기 최적의 변환 벡터를 이용하여 예측 벡터를 산출할 수 있다(S850). 여기서, 상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득되고, 상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정될 수 있다. 예를 들어, 예측 함수로 상기 수학식 19 또는 상기 수학식 37가 이용될 수 있다.

한편, 상기 산출된 예측 벡터는 예측 신호를 생성하기 위해 이용될 수 있다. 또는 다른 예로, 상기 예측 벡터는 인코딩되어 디코더로 전송되거나, 디코더에서 유도될 수도 있다.

본 발명이 적용되는 디코더는 그래프 파라미터 셋과 레지듀얼 신호를 포함하는 비디오 신호를 수신할 수 있다(S910).

그리고, 그래프 파라미터 셋에 기초하여 그래프 기반 변환 행렬을 획득할 수 있다(S920). 상기 획득된 그래프 기반 변환 행렬을 이용하여 레지듀얼 신호를 복원할 수 있다(S930).

한편, 디코더는 최적화 함수를 통해 최적의 변환 벡터를 산출할 수 있다(S940). 이때, 상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 고유 벡터(eigenvector)를 변수로 가질 수 있다. 그리고, 상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.

디코더는 상기 최적의 변환 벡터를 이용하여 예측 벡터를 획득할 수 있다(S950). 이는 디코더의 예측부 또는 역변환부에서 수행될 수 있다. 상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득되고, 상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정될 수 있다.

그리고, 디코더는 상기 예측 벡터에 기초하여 예측 신호를 생성할 수 있다(S960).

디코더는, 상기 생성된 예측 신호와 레지듀얼 신호를 합하여 비디오 신호를 복원할 수 있다(S970).

이와 같이, 본 발명은 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 최적화 예측 알고리즘을 제공함으로써 저복잡도로 예측값을 획득할 수 있고, 나아가 예측 성능을 향상시킬 수 있다.

상기 기술된 것과 같이, 본 발명에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 상기 도 1, 도 2, 도 5, 도 6 및 도 7에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다.

또한, 본 발명이 적용되는 디코더 및 인코더는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, 인터넷 스트리밍 서비스 제공 장치, 3차원(3D) 비디오 장치, 화상 전화 비디오 장치, 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 및 데이터 신호를 처리하기 위해 사용될 수 있다.

또한, 본 발명이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트 스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.

이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims

그래프 신호를 이용하여 그래프 기반 예측(graph-based prediction)을 수행하는 방법에 있어서,

컨텍스트 신호(context signal)를 획득하는 단계;

그래프 파라미터 셋(graph parameter set)에 기초하여 그래프 신호를 생성하는 단계;

상기 그래프 신호에 기초하여 그래프 기반 변환 행렬(graph-based transform matrix)을 획득하는 단계, 상기 그래프 기반 변환 행렬은 고유 벡터(eigenvector)를 포함함;

최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하는 단계; 및

상기 예측 벡터를 이용하여 예측 신호를 생성하는 단계

를 포함하되,

상기 최적화 함수는 상기 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득되고,

상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정되는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 그래프 신호에 기초하여 그래프 라플라시안 행렬(graph Laplacian matrix)을 산출하는 단계를 더 포함하고,

상기 그래프 기반 변환 행렬(graph-based transform matrix)은 상기 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득되는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현되는 것을 특징으로 하는 방법.
제1항에 있어서,

예측 에러를 인코딩하는 단계; 및

상기 인코딩된 예측 에러를 전송하는 단계

를 더 포함하는 것을 특징으로 하는 방법.
그래프 기반 예측(graph-based prediction)에 기초하여 비디오 신호를 디코딩하는 방법에 있어서,

그래프 파라미터 셋(graph parameter set)과 레지듀얼 신호를 포함하는 상기 비디오 신호를 수신하는 단계;

상기 그래프 파라미터 셋에 기초하여 고유 벡터를 포함하는 그래프 기반 변환 행렬을 획득하는 단계;

최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하는 단계;

상기 예측 벡터를 이용하여 예측 신호를 생성하는 단계; 및

상기 예측 신호와 상기 레지듀얼 신호를 합하여 상기 비디오 신호를 복원하는 단계

를 포함하되,

상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 방법.
제6항에 있어서,

상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득되고,

상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정되는 것을 특징으로 하는 방법.
제7항에 있어서,

상기 비용 함수는 상기 변환 벡터의 컨벡스 함수(convex function)이고, 상기 컨벡스 함수(convex function)는 변환 벡터 성분의 가중치된 P-norm(weighted P-norm of the transform vector components)을 포함하는 것을 특징으로 하는 방법.
제8항에 있어서,

상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현된 것을 특징으로 하는 방법.
제6항에 있어서,

상기 그래프 기반 변환 행렬은 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득된 것을 특징으로 하는 방법.
그래프 신호를 이용하여 그래프 기반 예측(graph-based prediction)을 수행하는 장치에 있어서,

그래프 파라미터 셋(graph parameter set)에 기초하여 그래프 신호를 생성하고, 상기 그래프 신호에 기초하여 고유 벡터(eigenvector)를 포함하는 그래프 기반 변환 행렬(graph-based transform matrix)을 획득하는 그래프 기반 변환부; 및

컨텍스트 신호(context signal)를 획득하고, 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하고, 상기 예측 벡터를 이용하여 예측 신호를 생성하는 예측부

를 포함하되,

상기 최적화 함수는 상기 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 장치.
제11항에 있어서,

상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득되고,

상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정되는 것을 특징으로 하는 장치.
제11항에 있어서,

상기 그래프 기반 변환부는 상기 그래프 신호에 기초하여 그래프 라플라시안 행렬(graph Laplacian matrix)을 산출하고,

상기 그래프 기반 변환 행렬(graph-based transform matrix)은 상기 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득되는 것을 특징으로 하는 장치.
제11항에 있어서,

상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현되는 것을 특징으로 하는 장치.
제11항에 있어서,

예측 에러를 인코딩하고, 상기 인코딩된 예측 에러를 전송하는 엔트로피 인코딩부

를 더 포함하는 것을 특징으로 하는 장치.
그래프 기반 예측(graph-based prediction)에 기초하여 비디오 신호를 디코딩하는 장치에 있어서,

그래프 파라미터 셋(graph parameter set)과 레지듀얼 신호를 포함하는 상기 비디오 신호를 수신하는 엔트로피 디코딩부;

상기 그래프 파라미터 셋에 기초하여 고유 벡터를 포함하는 그래프 기반 변환 행렬을 획득하는 역변환부;

최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하고, 상기 예측 벡터를 이용하여 예측 신호를 생성하는 예측부; 및

상기 예측 신호와 상기 레지듀얼 신호를 합하여 상기 비디오 신호를 복원하는 복원부

를 포함하되,

상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 장치.
제16항에 있어서,

상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득되고,

상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정되는 것을 특징으로 하는 장치.
제17항에 있어서,

상기 비용 함수는 상기 변환 벡터의 컨벡스 함수(convex function)이고, 상기 컨벡스 함수(convex function)는 변환 벡터 성분의 가중치된 P-norm(weighted P-norm of the transform vector components)을 포함하는 것을 특징으로 하는 장치.
제18항에 있어서,

상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현된 것을 특징으로 하는 장치.
제16항에 있어서,

상기 그래프 기반 변환 행렬은 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득된 것을 특징으로 하는 장치.