KR102059842B1 - 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치 - Google Patents

일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치 Download PDF

Info

Publication number
KR102059842B1
KR102059842B1 KR1020177013831A KR20177013831A KR102059842B1 KR 102059842 B1 KR102059842 B1 KR 102059842B1 KR 1020177013831 A KR1020177013831 A KR 1020177013831A KR 20177013831 A KR20177013831 A KR 20177013831A KR 102059842 B1 KR102059842 B1 KR 102059842B1
Authority
KR
South Korea
Prior art keywords
graph
parameter set
signal
transform
penalty function
Prior art date
Application number
KR1020177013831A
Other languages
English (en)
Other versions
KR20170074948A (ko
Inventor
새드아미르
흐슈안 챠오융
에네스 에길메즈힐라미
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20170074948A publication Critical patent/KR20170074948A/ko
Application granted granted Critical
Publication of KR102059842B1 publication Critical patent/KR102059842B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Abstract

본 발명은, 그래프 기반 변환을 이용하여 비디오 신호를 디코딩하는 방법에 있어서, 그래프 파라미터 셋을 포함하는 일반화된 그래프 신호를 수신하는 단계; 상기 그래프 파라미터 셋과 기정의된 페널티 함수에 기초하여, 변환 유닛의 그래프 기반 변환 커널을 획득하는 단계; 및 상기 그래프 기반 변환 커널을 이용하여 상기 변환 유닛을 디코딩하는 단계를 포함하는 것을 특징으로 하는 방법을 제공한다.

Description

일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치
본 발명은 그래프 기반의 신호 처리 방법 및 장치에 관한 것이며, 보다 상세하게는, 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 기술에 관한 것이다.
종래의 이산 시간 신호 처리 기술은 대부분 아날로그 신호의 처리 및 필터링으로부터 진화해오고 있지만, 정규적으로 조직된 데이터의 샘플링과 같이 몇 가지 공통적인 가정으로 인해 제한되어 왔다. 비디오 압축 분야는 기본적으로 동일한 가정에 기반하고 있으며, 단지 다차원적 신호의 처리로 일반화되었을 뿐이다.
그래프는 많은 응용 분야에 있어서 데이터의 기하학적 구조를 기술하는데 유용한 데이터 표현 형태이다. 이러한 그래프에 기반한 신호 처리는 각 신호 샘플이 꼭지점(vertex)을 나타내며 신호의 관계들이 양의 가중치를 가지는 그래프 에지로 나타내어지는 그래프를 사용하여 샘플링, 필터링, 푸리에(Fourier) 변환 등과 같은 개념들을 일반화할 수 있다. 이 방식은 신호를 획득하는 과정과 분리함으로써 샘플링 및 시퀀스 처리에 있어서 그래프의 특성으로 대체할 수 있다. 따라서, 보다 효율적인 그래프 기반의 신호 처리 방법이 비디오 압축 분야뿐만 아니라 많은 응용 분야에서 요구된다.
그래프 기반의 신호 처리는 신호 처리의 여러 기술과 모델들을 일반화하는 새로운 기술 분야이며, 많은 응용 분야에서 유망한 결과를 보여 준 바 있다. 다만, 신호 압축시 그래프 기반의 신호 처리 방식을 적용하게 될 경우, 보다 나은 신호 변환 또는 예측을 도출하기 위해서는 인코더와 디코더 모두 동일한 그래프(예를 들어, 꼭지점, 에지 및 에지 가중치)를 사용할 필요가 있다. 보다 향상된 신호 압축이 복잡하고 적응적인 그래프 구조로써 성취될 수 있지만, 이러한 그래프에 대한 정보를 코딩하는 오버헤드가 상대적으로 커짐으로써, 이들이 제공하는 이득보다도 커질 수 있다는 문제가 있다. 따라서, 본 발명에서는 이러한 문제를 해결하고자 한다.
또한, 본 발명은 전통적인 스펙트럼 분해의 일반화를 이용하여 그래프 기반 변환을 산출하는 새로운 방법을 제공하고자 한다. 또한, 이러한 일반화를 통해 변환 특성을 보다 잘 제어하고자 하며, 다양한 어플리케이션에 적용가능하도록 하고자 한다.
또한, 본 발명은 그래프 내의 꼭지점과 에지를 식별하며, 잔여값 신호를 인코딩 또는 디코딩하는 방법을 제안한다.
또한, 본 발명은 예측 잔여값들의 보다 나은 코딩 집합을 위한 그래프 기반의 도구를 개발하고자 한다.
본 발명은, 그래프 파라미터의 정의를 일반화하는 방법을 제공한다.
또한, 본 발명은, 꼭지점 파라미터 셋과 에지 파라미터 셋 중 적어도 하나를 이용하여 그래프 신호를 획득하는 방법을 제공한다.
또한, 본 발명은, 페널티 함수(penalty function) 및 제한 함수(constraint function) 중 적어도 하나에 기초하여 최적화된 변환 커널을 획득하는 방법을 제공한다.
또한, 본 발명은, 그래프 신호에 대해 기정의된 페널티 함수(penalty function)를 적용하여 고유값(eigenvalue) 함수를 도출하는 방법을 제공한다.
또한, 본 발명은, 고유값 함수를 최적화하는 그래프 기반 변환 커널을 획득하는 방법을 제공한다.
또한, 본 발명은, 그래프 내의 꼭지점과 에지를 식별하며, 잔여값 신호를 인코딩 또는 디코딩하는 방법을 제안한다.
본 발명이 적용되는 그래프 기반의 신호 모델링은 강력한 도구가 될 수 있다. 구체적으로, 본 발명은 전통적인 스펙트럼 분해의 일반화를 이용하여 그래프 기반 변환을 산출하는 새로운 방법을 제공함으로써 그래프 기반 변환을 정의하는 벡터들의 강한 불연속성 문제를 회피할 수 있다.
또한, 전통적인 스펙트럼 분해의 일반화를 통해 변환 특성을 보다 잘 제어할 수 있으며, 다양한 어플리케이션에 적용할 수 있다.
또한, 본 발명은 비디오 시퀀스의 다른 부분들에서 신호의 통계적 특성을 적응적으로 이용함으로써 압축 효율을 향상시킬 수 있다.
또한, 본 발명은 전통적인 스펙트럼 분해의 일반화를 통해 그래프 신호를 인코딩하기 위해 필요한 비트 레이트의 과도한 오버헤드를 피할 수 있다.
도 1은 본 발명이 적용되는 실시예로서, 비디오 신호의 인코딩이 수행되는 인코더의 개략적인 블록도를 나타낸다.
도 2 는 본 발명이 적용되는 실시예로서, 비디오 신호의 디코딩이 수행되는 디코더의 개략적인 블록도를 나타낸다.
도 3 은 본 발명이 적용되는 일 실시예에 따라 비디오 프레임 내 8×8 블록 내에서의 통계적 관계를 모델링하기 위해 사용된 그래프의 예들을 나타낸다.
도 4 는 본 발명이 적용되는 일 실시예로써, 가중치 분포를 나타내는 2 가지 형태의 그래프를 나타낸다.
도 5 는 본 발명이 적용되는 일실시예로서, 1 차원 그래프와 2 차원 그래프에 기초하여 그래프 기반 변환 매트릭스를 획득하는 과정을 설명하기 위한 도면이다.
도 6 은 본 발명이 적용되는 실시예로서, 그래프 기반의 신호를 처리하는 인코더의 개략적 블록도를 예시한다.
도 7 은 본 발명이 적용되는 실시예로서, 그래프 기반의 신호를 처리하는 디코더의 개략적 블록도를 예시한다.
도 8 은 본 발명이 적용되는 일실시예로서, 그래프 기반 변환부의 내부 블록도를 나타낸다.
도 9 는 본 발명이 적용되는 일실시예로, 일반화된 그래프 파라미터 및 페널티 함수에 기초하여 최적화된 변환 행렬을 산출하는 과정을 설명하기 위한 흐름도이다.
도 10 은 본 발명이 적용되는 일실시예로, 일반화된 그래프 파라미터 셋을 이용하여 그래프 기반 변환 커널을 획득하는 과정을 설명하기 위한 흐름도이다.
발명의 실시를 위한 최선의 형태
본 발명은, 그래프 기반 변환을 이용하여 비디오 신호를 디코딩하는 방법에 있어서, 그래프 파라미터 셋을 포함하는 일반화된 그래프 신호를 수신하는 단계; 상기 그래프 파라미터 셋과 기정의된 페널티 함수에 기초하여, 변환 유닛의 그래프 기반 변환 커널을 획득하는 단계; 및 상기 그래프 기반 변환 커널을 이용하여 상기 변환 유닛을 디코딩하는 단계를 포함하는 것을 특징으로 하는 방법을 제공한다.
또한, 본 발명에서, 상기 그래프 파라미터 셋은 V 차원 벡터로 표현되는 꼭지점 파라미터 셋 및 VxV 행렬도 표현되는 에지 파라미터 셋 중 적어도 하나를 포함하는 것을 특징으로 한다.
또한, 본 발명에서, 상기 기정의된 페널티 함수는 상기 일반화된 그래프 신호에 기초하여 생성된 것임을 특징으로 한다.
또한, 본 발명에서, 상기 그래프 기반 변환 커널는 상기 그래프 파라미터 셋과 기정의된 페널티 함수에 기초하는 최적화 함수에 의해 산출되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 최적화 함수는 꼭지점 파라미터 셋에 대한 제 1 페널티 함수 성분과 에지 파라미터 셋에 대한 제 2 페널티 함수 성분의 합으로 구성되고, 상기 그래프 기반 변환 커널는 상기 최적화 함수가 최소가 되는 값을 나타내는 것을 특징으로 한다.
또한, 본 발명은, 일반화된 그래프 신호를 이용하여 그래프 기반 변환을 수행하는 방법에 있어서, 꼭지점 파라미터 셋 및 에지 파라미터 셋 중 적어도 하나를 포함하는 그래프 파라미터를 결정하는 단계; 상기 그래프 파라미터에 기초하여 일반화된 그래프 신호를 생성하는 단계; 상기 그래프 파라미터에 기초하여, 페널티 함수 및 제한 함수 중 적어도 하나를 생성하는 단계; 상기 페널티 함수 및 제한 함수 중 적어도 하나와 상기 일반화된 그래프 신호에 기초하여, 최적화 함수를 생성하는 단계; 상기 최적화 함수를 최소로 하는 최적의 그래프 기반 변환 커널을 획득하는 단계; 및 상기 최적의 그래프 기반 변환 커널을 이용하여 변환 유닛에 대한 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 방법을 제공한다.
또한, 본 발명은, 그래프 기반 변환을 이용하여 비디오 신호를 디코딩하는 장치에 있어서, 그래프 파라미터 셋을 포함하는 일반화된 그래프 신호를 수신하는 엔트로피 디코딩부; 및 상기 그래프 파라미터 셋과 기정의된 페널티 함수에 기초하여, 변환 유닛의 그래프 기반 변환 커널을 획득하고, 상기 그래프 기반 변환 커널을 이용하여 상기 변환 유닛을 디코딩하는 역변환부를 포함하는 것을 특징으로 하는 장치를 제공한다.
또한, 본 발명은, 일반화된 그래프 신호를 이용하여 그래프 기반 변환을 수행하는 장치에 있어서, 꼭지점 파라미터 셋 및 에지 파라미터 셋 중 적어도 하나를 포함하는 그래프 파라미터를 결정하고, 상기 그래프 파라미터에 기초하여 일반화된 그래프 신호를 생성하는 그래프 신호 생성부; 상기 그래프 파라미터에 기초하여, 페널티 함수(penalty function) 및 제한 함수(constraint function) 중 적어도 하나를 생성하고, 상기 페널티 함수 및 제한 함수 중 적어도 하나와 상기 일반화된 그래프 신호에 기초하여 최적화 함수를 생성하고, 상기 최적화 함수를 최소로 하는 최적의 그래프 기반 변환 커널을 획득하는 변환 행렬 산출부; 및 상기 최적의 그래프 기반 변환 커널을 이용하여 변환 유닛에 대한 변환을 수행하는 변환 수행부를 포함하는 것을 특징으로 하는 장치를 제공한다.
발명의 실시를 위한 형태
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 의해서 설명되는 본 발명의 구성과 작용은 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다.
또한, 본 명세서에서 제시된 실시예들이 비디오 신호 처리에 관한 것이지만, 본 발명은 비디오 신호 처리에만 기반한 것으로 추론되어서는 안 되며, 일반적인 그래프 기반의 신호 처리 방법에도 적용될 수 있을 것이다.
또한, 본 발명에서 사용되는 용어들은 발명을 설명하기 위해 선택된 일반적인 용어들이나, 유사한 의미를 갖는 다른 용어가 있는 경우 보다 적절한 해석을 위해 대체 가능할 것이다. 예를 들어, 신호, 데이터, 샘플, 픽쳐, 프레임, 블록 등의 경우 각 코딩 과정에서 적절하게 대체되어 해석될 수 있을 것이다.
비디오 시퀀스의 다른 부분들에서 신호의 통계적 특성을 적응적으로 변화시키는 선형 변환을 적용함으로써 압축 효율을 향상시킬 수 있다. 일반적인 통계적 방법들이 이러한 목적으로 시도되어 왔지만, 그것들은 제한적인 결과를 가져왔다. 본 발명에서는, 비디오 압축을 위한 비디오 통계적 특성을 모델링하는 더 효율적인 방법으로, 그래프 기반 신호 처리 기술을 소개한다.
수학적인 분석을 단순화하고 그래프 이론으로부터 알려진 결과를 이용하기 위해, 그래프 기반 신호 처리를 위해 개발된 대부분의 어플리케이션들은 자기 루프(self-loop)(즉, 그 자체로 노드를 연결하는 에지가 없음)없는 무방향 그래프(undirected graph)를 이용하고, 각 그래프 에지에서 음수가 아닌 에지(non-negative edge)만으로 모델링된다.
이러한 접근은 잘 정의된 불연속성, 강한 에지를 가진 이미지 또는 깊이 이미지를 시그널링하는데 성공적으로 적용될 수 있다. 이미지 및 비디오 어플리케이션에서 N2 픽셀 블록에 대응되는 그래프들은 일반적으로 2N2 또는 4N2 개의 음수가 아닌(non-negative) 에지 가중치에 대한 전송 오버헤드를 필요로 한다. 그래프가 정의된 이후, 코딩 또는 예측을 위한 직교 변환은 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 계산함으로써 유도될 수 있다. 예를 들어, 상기 스펙트럼 분해를 통해 고유 벡터(eigen vector) 및 고유값(eigen value)을 획득할 수 있다.
본 발명은 전통적인 스펙트럼 분해의 새로운 일반화를 이용하여 그래프 기반 변환을 계산하는 과정을 변형하는 새로운 방법을 제공한다. 여기서, 그래프 신호로부터 획득되는 변환을 그래프 기반 변환(Graph-Based Transform, 이하 'GBT'라 함)이라 정의할 수 있다. 예를 들어, TU 를 구성하는 픽셀 간의 관계 정보를 그래프로 표현한다고 할 때, 이 그래프로부터 얻어진 변환을 GBT 라고 할 수 있다.
본 발명이 적용되는 스펙트럼 분해의 일반화 형태는 원하는 특성을 가진 그래프 에지 파라미터들의 부가적인 세트(additional set), 및 그래프 꼭지점 파라미터(graph vertex parameters)에 기초하여 획득될 수 있다. 이와 같은 본 발명의 실시예를 통해, 변환 특성을 더 잘 제어할 수 있고, 변환을 정의하는 벡터들의 강한 불연속성(sharp discontinuities)과 같은 문제를 회피할 수 있다. 이하에서는, 본 발명이 적용되는 실시예들을 구체적으로 살펴보도록 한다.
도 1은 본 발명이 적용되는 실시예로서, 비디오 신호의 인코딩이 수행되는 인코더의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 인코더(100)는 영상 분할부(110), 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150), 필터링부(160), 복호 픽쳐 버퍼(DPB: Decoded Picture Buffer)(170), 인터 예측부(180), 인트라 예측부(185) 및 엔트로피 인코딩부(190)를 포함하여 구성될 수 있다.
영상 분할부(110)는 인코더(100)에 입력된 입력 영상(Input image)(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛으로 분할할 수 있다. 예를 들어, 상기 처리 유닛은 코딩 트리 유닛(CTU: Coding Tree Unit), 코딩 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit) 또는 변환 유닛(TU: Transform Unit)일 수 있다.
다만, 상기 용어들은 본 발명에 대한 설명의 편의를 위해 사용할 뿐이며, 본 발명은 해당 용어의 정의에 한정되지 않는다. 또한, 본 명세서에서는 설명의 편의를 위해, 비디오 신호를 인코딩 또는 디코딩하는 과정에서 이용되는 단위로써 코딩 유닛이라는 용어를 사용하지만, 본 발명은 그에 한정되지 않으며 발명 내용에 따라 적절하게 해석 가능할 것이다.
인코더(100)는 입력 영상 신호에서 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호(prediction signal)를 감산하여 잔여 신호(residual signal)를 생성할 수 있고, 생성된 잔여 신호는 변환부(120)로 전송된다.
변환부(120)는 잔여 신호에 변환 기법을 적용하여 변환 계수(transform coefficient)를 생성할 수 있다. 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다.
본 발명의 일실시예로, 상기 변환부(120)는 일반화된 그래프 파라미터를 이용하여 그래프 신호를 획득할 수 있다.
본 발명의 다른 일실시예로, 상기 변환부(120)는 꼭지점 파라미터 셋과 에지 파라미터 셋 중 적어도 하나를 이용하여 그래프 신호를 획득할 수 있고, 상기 그래프 신호에 대해 기정의된 페널티 함수(penalty function)를 적용하여 고유값(eigenvalue) 함수를 도출할 수 있다.
본 발명의 다른 일실시예로, 상기 변환부(120)는 페널티 함수(penalty function) 및 제한 함수(constraint function) 중 적어도 하나에 기초하여 최적화된 변환 커널을 획득할 수 있다. 이때, 상기 최적화된 변환 커널은 고유값 함수를 최적화하는 값일 수 있다.
양자화부(130)는 변환 계수를 양자화하여 엔트로피 인코딩부(190)로 전송하고, 엔트로피 인코딩부(190)는 양자화된 신호(quantized signal)를 엔트로피 코딩하여 비트스트림으로 출력할 수 있다.
양자화부(130)로부터 출력된 양자화된 신호(quantized signal)는 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 신호(quantized signal)는 루프 내의 역양자화부(140) 및 역변환부(150)를 통해 역양자화 및 역변환을 적용함으로써 잔여 신호를 복원할 수 있다. 복원된 잔여 신호를 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호(prediction signal)에 더함으로써 복원 신호(reconstructed signal)가 생성될 수 있다.
한편, 위와 같은 압축 과정에서 인접한 블록들이 서로 다른 양자화 파라미터에 의해 양자화됨으로써 블록 경계가 보이는 열화가 발생될 수 있다. 이러한 현상을 블록킹 열화(blocking artifacts)라고 하며, 이는 화질을 평가하는 중요한 요소 중의 하나이다. 이러한 열화를 줄이기 위해 필터링 과정을 수행할 수 있다. 이러한 필터링 과정을 통해 블록킹 열화를 제거함과 동시에 현재 픽쳐에 대한 오차를 줄임으로써 화질을 향상시킬 수 있게 된다.
필터링부(160)는 복원 신호에 필터링을 적용하여 이를 재생 장치로 출력하거나 복호 픽쳐 버퍼(170)에 전송한다. 복호 픽쳐 버퍼(170)에 전송된 필터링된 신호는 인터 예측부(180)에서 참조 픽쳐로 사용될 수 있다. 이처럼, 필터링된 픽쳐를 화면간 예측 모드에서 참조 픽쳐로 이용함으로써 화질 뿐만 아니라 부호화 효율도 향상시킬 수 있다.
복호 픽쳐 버퍼(170)는 필터링된 픽쳐를 인터 예측부(180)에서의 참조 픽쳐로 사용하기 위해 저장할 수 있다.
인터 예측부(180)는 복원 픽쳐(reconstructed picture)를 참조하여 시간적 중복성 및/또는 공간적 중복성을 제거하기 위해 시간적 예측 및/또는 공간적 예측을 수행한다. 여기서, 예측을 수행하기 위해 이용되는 참조 픽쳐는 이전 시간에 부호화/복호화 시 블록 단위로 양자화와 역양자화를 거친 변환된 신호이기 때문에, 블로킹 아티팩트(blocking artifact)나 링잉 아티팩트(ringing artifact)가 존재할 수 있다.
따라서, 인터 예측부(180)는 이러한 신호의 불연속이나 양자화로 인한 성능 저하를 해결하기 위해, 로우패스 필터(lowpass filter)를 적용함으로써 픽셀들 사이의 신호를 서브 픽셀 단위로 보간할 수 있다. 여기서, 서브 픽셀은 보간 필터를 적용하여 생성된 가상의 화소를 의미하고, 정수 픽셀은 복원된 픽쳐에 존재하는 실제 화소를 의미한다. 보간 방법으로는 선형 보간, 양선형 보간(bi-linear interpolation), 위너 필터(wiener filter) 등이 적용될 수 있다.
보간 필터는 복원 픽쳐(reconstructed picture)에 적용되어 예측의 정밀도를 향상시킬 수 있다. 예를 들어, 인터 예측부(180)는 정수 픽셀에 보간 필터를 적용하여 보간 픽셀을 생성하고, 보간 픽셀들(interpolated pixels)로 구성된 보간 블록(interpolated block)을 예측 블록(prediction block)으로 사용하여 예측을 수행할 수 있다.
인트라 예측부(185)는 현재 부호화를 진행하려고 하는 블록의 주변에 있는 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 인트라 예측부(185)는 인트라 예측을 수행하기 위해 다음과 같은 과정을 수행할 수 있다. 먼저, 예측 신호를 생성하기 위해 필요한 참조 샘플을 준비할 수 있다. 그리고, 준비된 참조 샘플을 이용하여 예측 신호를 생성할 수 있다. 이후, 예측 모드를 부호화하게 된다. 이때, 참조 샘플은 참조 샘플 패딩 및/또는 참조 샘플 필터링을 통해 준비될 수 있다. 참조 샘플은 예측 및 복원 과정을 거쳤기 때문에 양자화 에러가 존재할 수 있다. 따라서, 이러한 에러를 줄이기 위해 인트라 예측에 이용되는 각 예측 모드에 대해 참조 샘플 필터링 과정이 수행될 수 있다.
상기 인터 예측부(180) 또는 상기 인트라 예측부(185)를 통해 생성된 예측 신호(prediction signal)는 복원 신호를 생성하기 위해 이용되거나 잔여 신호를 생성하기 위해 이용될 수 있다.
도 2 는 본 발명이 적용되는 실시예로서, 비디오 신호의 디코딩이 수행되는 디코더의 개략적인 블록도를 나타낸다.
도 2 를 참조하면, 디코더(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 필터링부(240), 복호 픽쳐 버퍼(DPB: Decoded Picture Buffer Unit)(250), 인터 예측부(260) 및 인트라 예측부(265)를 포함하여 구성될 수 있다.
그리고, 디코더(200)를 통해 출력된 복원 영상 신호(reconstructed video signal)는 재생 장치를 통해 재생될 수 있다.
디코더(200)는 도 1 의 인코더(100)로부터 출력된 신호을 수신할 수 있고, 수신된 신호는 엔트로피 디코딩부(210)를 통해 엔트로피 디코딩될 수 있다.
역양자화부(220)에서는 양자화 스텝 사이즈 정보를 이용하여 엔트로피 디코딩된 신호로부터 변환 계수(transform coefficient)를 획득한다. 여기서, 획득된 변환 계수는 상기 도 1 의 변환부(120)에서 설명한 다양한 실시예들이 적용된 것일 수 있다.
역변환부(230)에서는 변환 계수를 역변환하여 잔여 신호(residual signal)를 획득하게 된다.
획득된 잔여 신호를 인터 예측부(260) 또는 인트라 예측부(265)로부터 출력된 예측 신호(prediction signal)에 더함으로써 복원 신호(reconstructed signal)가 생성된다.
필터링부(240)는 복원 신호(reconstructed signal)에 필터링을 적용하여 이를 재생 장치로 출력하거나 복호 픽쳐 버퍼부(250)에 전송한다. 복호 픽쳐 버퍼부(250)에 전송된 필터링된 신호는 인터 예측부(260)에서 참조 픽쳐로 사용될 수 있다.
본 명세서에서, 인코더(100)의 필터링부(160), 인터 예측부(180) 및 인트라 예측부(185)에서 설명된 실시예들은 각각 디코더의 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)에도 동일하게 적용될 수 있다.
도 3 은 본 발명이 적용되는 일 실시예에 따라 비디오 프레임 내 8×8 블록 내에서의 통계적 관계를 모델링하기 위해 사용된 그래프의 예들을 나타낸다.
이산시간(discrete-time) 신호 처리 기술은 아날로그 신호를 직접 처리하고 필터링하는 것으로부터 발전되어 왔고, 그에 따라 규칙적이고 조직화된 데이터(regularly organized data)만을 샘플링하고 처리하는 것과 같은 몇 가지 공통의 가정에 의해 제한되어 왔다.
비디오 압축 분야는 기본적으로 동일한 가정에 기초하지만, 다차원 신호에 일반화되어 있다. 그래프 표현에 기초한 신호 처리는, 샘플링, 필터링, 푸리에 변환과 같은 컨셉을 일반화하고, 각 신호 샘플이 꼭지점을 나타내는 그래프를 이용하며, 신호 관계들이 양의 가중치를 가진 그래프 에지들로 표현되는 전통적인 접근으로부터 시작된다. 이는 그 획득 과정(acquisition process)으로부터 신호를 완전히 단절하고, 그에 따라 샘플링 레이트 및 시퀀스와 같은 특성이 완전히 그래프의 특성으로 대체된다. 따라서, 그래프 표현은 몇 가지 특정 그래프 모델들에 의해 정의될 수 있다.
데이터 값들 간의 경험적 연결을 나타내기 위해, 본 발명은 보통 무방향 단순 그래프(undirected simple graph) 및 무방향 에지(undirected edge)만을 갖는다. 여기서, 무방향 단순 그래프(undirected simple graph)는 자기 루프(self-loop) 또는 멀티 에지가 없는 그래프를 의미할 수 있다.
각 에지마다 할당된 가중치를 가진, 무방향 단순 그래프(undirected simple graph) 를 G 라 하면, 무방향 단순 그래프(undirected simple graph) G 는 다음 수학식 1 과 같이 3 개의 인자(triplet)로 설명될 수 있다.
Figure 112017048597803-pct00001
여기서, V 는 V 개의 그래프 꼭지점 셋을 나타내고, ε 는 그래프 에지 셋을 나타내며, W 는 VxV 행렬로 표현되는 가중치를 나타낸다. 여기서, 가중치 W 는 다음 수학식 2 와 같이 표현될 수 있다.
Figure 112017048597803-pct00002
Wi,j 는 에지 (i, j)의 가중치를 나타내고, Wj,i 는 에지 (j, i)의 가중치를 나타내며, 꼭지점 (i,j)를 연결하는 에지가 없는 경우 Wi,j = 0 이다. 예를 들어, 자기 루프가 없음을 가정하는 경우, 항상 Wi,i = 0 이다.
이러한 표현은 에지 가중치를 가진 무방향 단순 그래프들의 특별한 경우에 대해 부분적으로 중복된다. 이는 W 행렬이 그래프에 대한 모든 정보를 포함하고 있기 때문이다. 따라서, 본 발명에서는 그래프를 G(W)로 표현하기로 한다.
한편, 도 3 을 참조하면, 본 발명은 이미지 또는 비디오 내의 8×8 픽셀 블록의 처리를 위해 사용될 수 있는 그래프 타입의 두 가지 실시예를 제공한다. 각 픽셀은 그래프 꼭지점에 연관되며, 상기 픽셀의 값은 그래프 꼭지점의 값이 된다.
그래프 에지는 그래프 꼭지점을 연결하는 선을 의미할 수 있다. 상기 그래프 에지는 신호 내의 어떠한 형태의 통계적 의존성을 나타내기 위해 사용되며, 이때 양의 가중치는 그 강도를 나타낼 수 있다. 예를 들어, 각 꼭지점은 모든 다른 꼭지점에 연결될 수 있으며, 0 의 가중치는 서로 연관되지 않거나 약하게 연관된 꼭지점들을 연결하는 에지에 할당될 수 있다. 다만, 표현의 간단화를 위해, 0 의 가중치를 갖는 에지는 완전히 제거될 수 있다.
본 발명의 다른 실시예로, 그래프 꼭지점을 연결하는 에지들은 신호 특성에 따라 사전에 설정될 수 있다. 예를 들어, 꼭지점들은 오디오 신호에 대해서는 1 차원 배열 상에, 이미지에 대해서는 2 차원 배열 상에, 또한 비디오 프레임에 대해서는 3 차원 배열 상에 배치될 수 있다. 이때, 상기 3 차원 배열의 경우에는 시간 축이 3 번째 차원이 될 수 있다. 예를 들어, 도 3(a)의 그래프에서, 그래프 에지는 각각의 꼭지점이 그로부터 가장 가까운 4 개의 인접 꼭지점들에 연결되도록 정의될 수 있다. 다만, 블록 경계의 경우는 다르게 취급될 수 있다. 또한, 도 3(b)의 그래프에서는 각각의 꼭지점이 그로부터 가장 가까운 8 개의 인접 꼭지점들에 연결되도록 정의될 수 있다.
도 4 는 본 발명이 적용되는 일 실시예로써, 가중치 분포를 나타내는 2 가지 형태의 그래프를 나타낸다.
그래프의 꼭지점 값은 신호 측정(통상적으로 임의 변수로 모델링됨)에 기초하는 독립 변수이지만, 일부 신호의 특성과 합치되는 그래프의 에지 가중치를 선택하는 것이 필요하다. 도 4 에서, 그래프 에지에 대한 선의 색상이 서로 다른 에지 가중치를 나타내는 그래프의 두 개의 예가 제공된다. 예를 들어, 진한 색의 선은 w = 1 의 가중치를 나타내며 연한 색의 선은 w = 0.2 의 가중치를 나타낼 수 있다.
도 4(a)의 그래프는 직선을 따라 "약한 링크"를 가지고 있는 경우를 나타내며, 2 개의 에지 가중치만을 갖고 있는 경우를 나타낸다. 여기서, 상기 "약한 링크"는 상대적으로 작은 에지 가중치를 가지고 있음을 의미한다.
이는 사실 상 그래프 기반의 이미지 처리에서 통상적으로 사용되는 것이며, 이러한 구성은 이미지 내 에지와 다른 변들 간의 픽셀 통계의 차이를 나타낼 수 있다.
도 4(b)의 그래프는 불규칙한 영역을 커버하는 에지 가중치의 분포를 나타내며, 본 발명에서는 이러한 에지 가중치의 분포 그래프를 이용하여 신호를 처리하는 방법을 제공하고자 한다.
도 5 는 본 발명이 적용되는 일실시예로서, 1 차원 그래프와 2 차원 그래프에 기초하여 그래프 기반 변환 매트릭스를 획득하는 과정을 설명하기 위한 도면이다.
본 발명의 일실시예로, 이미지 내 픽셀 블록의 처리를 위해 사용될 수 있는 그래프 타입은 도 5 를 통해 설명될 수 있다. 예를 들어, 도 5(a)는 픽셀 블록의 각 라인에 대응되는 1 차원 그래프를 나타내고, 도 5(b)는 픽셀 블록에 대응되는 2 차원 그래프를 나타낼 수 있다.
그래프 꼭지점(vertex)은 픽셀 블록의 각 픽셀에 연관되며, 그래프 꼭지점의 값은 픽셀 값으로 표현될 수 있다. 그리고, 그래프 에지(graph edge)는 그래프 꼭지점을 연결하는 선을 의미할 수 있다. 상기 그래프 에지는 신호 내의 어떠한 형태의 통계적 의존성을 나타내기 위해 사용되며, 그 강도를 나타내는 값을 에지 가중치(edge weight)라 할 수 있다.
예를 들어, 도 5(a)를 살펴보면, 1 차원 그래프를 나타내며, 0,1,2,3 은 각 꼭지점의 위치를 나타내고, w0,w1,w2 는 각 꼭지점 간의 에지 가중치를 나타낸다. 도 5(b)를 살펴보면, 2 차원 그래프를 나타내며, aij (i=0,1,2,3,j=0,1,2), bkl (k=0,1,2,l=0,1,2,3)는 각 꼭지점 간의 에지 가중치를 나타낸다.
각 꼭지점은 모든 다른 꼭지점에 연결될 수 있으며, 0 의 에지 가중치는 서로 연관되지 않거나 약하게 연관된 꼭지점들을 연결하는 에지에 할당될 수 있다. 다만, 표현의 간단화를 위해, 0 의 에지 가중치를 갖는 에지는 완전히 제거될 수 있다.
픽셀 간 관계 정보는 각 픽셀을 그래프의 꼭지점에 대응시켰을 때 픽셀들 간의 에지 유무 및 에지 가중치(edge weight) 값으로 표현될 수 있다.
이 경우, 상기 GBT 는 다음과 같은 과정을 통해 획득될 수 있다. 예를 들어, 인코더 또는 디코더는 비디오 신호의 타겟 블록으로부터 그래프 정보를 획득할 수 있다. 상기 획득된 그래프 정보로부터 다음 수학식 3 과 같이 라플라시안 행렬(Laplacian matrix) L 을 획득할 수 있다.
Figure 112017048597803-pct00003
상기 수학식 3 에서, D 는 차수 행렬(Degree matrix)을 나타내고, 예를 들어 상기 차수 행렬은 각 꼭지점의 차수에 대한 정보를 포함하는 대각 행렬(diagonal matrix)을 의미할 수 있다. A 는 인접 픽셀과의 연결 관계(edge)를 가중치로 나타내는 인접 행렬(adjacency matrix)을 나타낸다.
그리고, 상기 라플라시안 행렬(Laplacian matrix) L 에 대해 아래 수학식 4 와 같이 고유 분해(eigen decomposition)를 수행함으로써 GBT 커널을 획득할 수 있다.
Figure 112017048597803-pct00004
상기 수학식 4 에서, L 은 라플라시안 행렬(Laplacian matrix), U 는 고유 행렬(eigen matrix), UT 는 U 의 전치 행렬(transpose matrix)을 의미한다. 상기 수학식 4 에서, 상기 고유 행렬(eigen matrix) U 는 해당 그래프 모델에 맞는 신호에 대해 특화된 그래프 기반 푸리에(Fourier) 변환을 제공할 수 있다. 예를 들어, 상기 수학식 4 를 만족하는 고유 행렬(eigen matrix) U 는 GBT 커널을 의미할 수 있다.
도 6 은 본 발명이 적용되는 실시예로서, 그래프 기반의 신호를 처리하는 인코더의 개략적 블록도를 예시한다.
푸리에 변환 또는 이산 푸리에 변환은 신호 처리의 기본 툴이다. 그래프 푸리에 변환도 있다. 그러한 변환들은 몇몇 특별한 그래프들에 대해 일반적으로 동일하게 적용되지만, 본 발명에서는 다양한 어플리케이션에 적용될 수 있는 훨씬 더 넓은 일반화된 형태를 제공할 수 있다. 본 발명이 적용되는 실시예에서, 그래프는 신호 특성에 대한 인사이트(insight)를 제공할 수 있다. 그래프의 푸리에 변환을 정의하기 위해, 본 발명은 G(W)에 대응되는 차수 행렬(degree matrix)로 표현될 수 있다. 여기서, 차수 행렬(degree matrix)은 각 꼭지점의 차수에 대한 정보를 포함하는 대각 행렬(diagonal matrix)로, 아래 수학식 5 와 같이 정의될 수 있다. 예를 들어, 상기 차수는 한 꼭지점에 이어져 있는 변의 수를 의미할 수 있다.
Figure 112017048597803-pct00005
그래프 라플라시안 행렬 L= D-W 이고, 따라서 그래프 라플라시안 행렬 Li,j 는 다음 수학식 6 과 같다.
Figure 112017048597803-pct00006
이때, 행렬 T 를 그래프 푸리에 변환이라 정의하면, 행렬 T 는 다음 수학식 7 과 같다.
Figure 112017048597803-pct00007
여기서, U 는 L 을 대각화하는 고유 행렬을 나타내고, L 은 다음 수학식 8 과 같다.
Figure 112017048597803-pct00008
그리고, 직교 행렬은 다음 수학식 9 와 같다.
Figure 112017048597803-pct00009
이러한 정의에 기초하여, 고유 행렬(eigen matrix) U 의 열들(columns)은 L 의 고유 벡터(eigenvectors)를 포함하고, L 의 고유값(eigenvalues)은 다음 수학식 10 과 같이 표현될 수 있다.
Figure 112017048597803-pct00010
일반적으로 고유 벡터(eigenvectors)는 특유의 형태로 정의되지 않지만, 본 발명의 목적에 따라, L 이 대칭적이기 때문에 모든 고유 벡터(eigenvectors)는 실수값이고, 적어도 하나의 분해(decomposition)는 존재함을 고려해야 한다. 이는 수학식 8 을 만족하는 어떠한 행렬에도 적용가능하다.
본 발명이 적용되는 몇몇 어플리케이션에 있어서, 변환 행렬은 다음 수학식 11 과 같이 정규화된 라플라시안 행렬(normalized Laplacian matrix)의 스펙트럼 분해(spectral decomposition)로부터 획득될 수 있다.
Figure 112017048597803-pct00011
푸리에 변환을 정의하기 위해 그래프 라플라시안 행렬 L 은 아래 수학식 12 와 같이 표현될 수 있고, 그래프 라플라시안 행렬 L 의 고유 벡터(eigenvectors)에 대해 본 발명은 아래 수학식 13 을 획득할 수 있다.
Figure 112017048597803-pct00012
Figure 112017048597803-pct00013
여기서, λk 는 그래프 라플라시안 행렬 L 의 고유값(eigenvalue)을 나타낸다.
본 발명에서, 오름 차순으로 고유값(eigenvalues)을 분류할 수 있다면, 위 수학식들은 대응되는 고유 벡터들(eigenvectors)이 제곱차에 대해 가중치를 적용한 합을 증가시키는 그래프 꼭지점 값들을 정의하는 것을 의미할 수 있다. 일반적인 신호 처리에서, 이러한 특성은 증가하는 주파수의 정현파에 의해 만족될 수 있다. 또한, 이러한 특성은 라플라시안 고유값(eigenvalues)에 대응되는 그래프 기반 변환에서 주파수 컨셉을 일반화하기 위해 이용될 수 있다.
스펙트럼 분해(spectral decomposition)는 몇몇 다른 알고리즘, 예를들어, Jacobi, Givens, 또는 Householder 방법 등에 의해 효율적으로 산출될 수 있다. 그러나, 그래프 기반 신호 처리에 있어서, 본 발명은 최적화 함수를 나타내는 하기의 수학식 15 에서, Rayleigh quotient 를 이용하여 고유 벡터(eigenvectors)가 결과적으로 {U1, U2, . . . , UV }로 산출될 있음을 고려하고자 한다. 여기서, Rayleigh quotient 를 R(M, x)라 하면, Rayleigh quotient 는 주어진 complex Hermitian matrix M 과 0 이 아닌 벡터 x 에 다음 수학식 14 와 같이 정의될 수 있다.
Figure 112017048597803-pct00014
Figure 112017048597803-pct00015
여기서, s.t. (subject to) 이하는 최적화 문제에 대한 제한 셋(set of constraints)을 조건으로 하고 있음을 나타낸다.
또한, 본 발명은, 아래 수학식 16 에 기초하여 정규화된 고유값(normalized eigenvalues)을 획득할 수 있다.
Figure 112017048597803-pct00016
본 발명은, 상기 수학식 12 를 이용하여 아래 수학식 17 과 같은 대안 형태(alternative form)를 획득할 수 있다.
Figure 112017048597803-pct00017
상기 수학식 17 과 같은 최적화 함수에 대한 공식화(formulation)의 주된 어려움은 그것이 잘 알려진 이론과 해결 방법과 관련이 있는 반면, 매우 제한적이라는 것이다. 신호에 대해 최적의 변환을 찾는 문제를 고려할 때, 그래프의 음수가 아닌(non-negative) 가중치를 변경함으로써 획득될 수 있다. 예를 들어, 그래프 모델링이 신호 처리의 에지 탐지와 결합되어 있을 때, 본 발명은 잘 정의된 에지들에 따른 큰 편차를 가질 수 있다. 그러나, 에지가 블러링 되거나, 그 위치가 정확하게 결정될 수 없다면 더 세밀한 제어가 필요하다.
본 발명이 적용되는 그래프 변환을 디자인함에 있어서, 수학식 12 의 제곱차에 가중치 적용된 합을 이용하여야만 할 필요는 없다. 본 발명에 따르는 그래프 파라미터들의 일반적인 정의를 바꾼다면, 한편으로 잘 알려진 특성을 잃게 되지만, 다른 한편으로는 특정 응용에 더 잘 맞는 변환을 디자인할 수 있는 여력이 생길 것이다.
따라서, 본 발명의 다른 실시예에서는, 최적화 함수를 나타내는 수학식 17 의 시퀀스에 의해 정의된 그래프 관련 변환 계산을 일반화하기 위한 방법을 제공한다. 이하의 실시예에서는, 특정 예제에 의한 변환 계산식을 일반화하기 위한 방법을 설명할 것이다.
먼저, 본 발명은 그래프 파라미터의 정의를 일반화할 필요가 있다. A 개의 꼭지점 파라미터 셋(vertex parameter set)이 다음 수학식 18 과 같이 정의될 수 있다. 이때, A 개의 꼭지점 파라미터 셋(vertex parameter set)은 V 차원 벡터(V- dimensional vectors)로 표현될 수 있다.
Figure 112017048597803-pct00018
그리고, B 개의 에지 파라미터 셋(edge parameter set)은 다음 수학식 19 와 같이 정의될 수 있고, 이는 VxV 행렬로 표현될 수 있다.
Figure 112017048597803-pct00019
상기 수학식 18 및 수학식 19 에 기초하여, 본 발명은 그래프 신호를 다음 수학식 20 과 정의할 수 있다.
Figure 112017048597803-pct00020
압축 어플리케이션에서, 그래프 파라미터를 효율적으로 나타내기 위해 인코딩 비트 수는 매우 중요한 요소이지만, 본 발명은 이를 고려하지 않을 수 있다.
다음으로, 수학식 21 과 같이 페널티 함수 셋(penalty function set)을 정의할 수 있다. 여기서, 페널티 함수(penalty function)란 제한 최적화 문제(constraint optimization problem)를 해결하기 위한 일종의 알고리즘을 나타낸다.
Figure 112017048597803-pct00021
여기서, 변수 벡터 x 가 만족되어야만 하는 어떤 제한 함수(constraint function)가 있을 때, 제한 함수가 모두 만족되는 x 를 실현 가능(feasible)하다고 하고, 이때 실현가능한 점들의 집합을 가능해 영역(feasible region)이라 하며, 제한 함수가 없는 최적화 문제의 경우 가능해 영역(feasible region)은 모든
Figure 112017048597803-pct00022
전체가 된다.
본 발명이 적용되는 페널티 함수 P k 는 다음 수학식 22 와 같이 표현될 수 있다.
Figure 112017048597803-pct00023
또한, 수학식 23 과 같이 C1, C2, . . . , CV 차원의 제한 함수(constraint function)를 갖는 V 개의 벡터 함수 셋을 정의할 수 있다.
Figure 112017048597803-pct00024
상기 수학식 18 내지 23 의 새로운 정의를 이용하여, 최적화된 변환 행렬을 획득하기 위한 최적화 함수를 다음 수학식 24 와 같이 정의할 수 있다. 수학식 24 의 최적화 함수에 기초하여, 최적화된 변환 커널을 획득할 수 있다.
Figure 112017048597803-pct00025
여기서, Uk 는 목적 함수 Pk()를 최적화하는 최적값을 나타내고, 예를 들어, 본 발명에 적용되는 최적화된 그래프 변환 커널을 의미할 수 있다. 그리고, "s.t."는 "subject to"의 약어로, 최적화 함수에 대한 제한식을 따른다는 것을 나타낸다. 상기 최적화된 그래프 변환 커널 Uk 의 열(column)은 k=1, 2, ..., V 에 대해 순차적으로 산출될 수 있다.
본 발명이 적용되는 상기 수학식 24 는 대부분의 일반적인 경우들을 커버하도록 표현된 것이지만, 이하의 실시예에서 보여지는 것처럼, 실질적인 응용에서는 반드시 제한 함수(constraint function)을 이용할 필요는 없다. 그리고, 동일한 페널티 함수가 반복적으로 이용될 수 있다.
페널티 함수들은 꼭지점 값에 대해서만 산출되도록 정의될 수 있다. 그리고 동일한 차원에 있는 파라미터들은 수학식 25 와 같은 페널티 함수를 이용하여 산출될 수 있고, 에지 값 차이에 대해서는 수학식 26 과 같은 페널티 함수를 이용할 수 있다.
Figure 112017048597803-pct00026
Figure 112017048597803-pct00027
상기 수학식 25 및 수학식 26 에 기초하여, 다음 수학식, 27 과 같은 형태의 최적화 함수를 도출할 수 있다.
Figure 112017048597803-pct00028
꼭지점 페널티 함수(vertex penalty function)와 지수부(exponents) α, β 를 포함하는, 상기 수학식 27 의 단순 일반화(simple generalization)는 A=B=1 에 대응되는 다음 수학식 28 과 같은 특별한 경우일 수 있다.
Figure 112017048597803-pct00029
한편, 상기 도 6 을 살펴보면, 본 발명이 적용되는 인코더(600)는 그래프 기반 변환부(610), 양자화부(620), 역양자화부(630), 역변환부(640), 버퍼(650), 예측부(660), 및 엔트로피 인코딩부(670)을 포함한다.
인코더(600)는 비디오 신호를 수신하고 상기 비디오 신호로부터 상기 예측부(660)에서 출력된 예측된 신호를 차감하여 예측 에러를 생성한다. 상기 생성된 예측 에러는 상기 그래프 기반 변환부(610)으로 전송되고, 상기 그래프 기반 변환부(610)은 변환 방식을 상기 예측 에러에 적용함으로써 변환 계수를 생성한다. 이때, 상기 그래프 기반 변환부(610)는 상기 수학식 24, 수학식 27 또는 수학식 28 에 의해 획득된 그래프 기반 변환 행렬을 산출할 수 있고, 이를 이용하여 변환을 수행할 수 있다. 또한, 상기 그래프 기반 변환부(610)는 본 명세서에 기재된 실시예들을 수행할 수 있다.
본 발명이 적용되는 다른 실시예로, 상기 그래프 기반 변환부(610)는 상기 수학식 24, 수학식 27 또는 수학식 28 에 의해 획득된 그래프 기반 변환 행렬과 상기 도 1 의 변환부(120)로부터 획득된 변환 행렬을 비교하여 보다 적합한 변환 행렬을 선택할 수 있다.
상기 양자화부(620)은 상기 생성된 변환 계수를 양자화하여 상기 양자화된 계수를 엔트로피 인코딩부(670)으로 전송한다.
상기 엔트로피 인코딩부(670)은 상기 양자화된 신호에 대한 엔트로피 코딩을 수행하고 엔트로피 코딩된 신호를 출력한다.
상기 양자화부(620)에 의해 출력된 상기 양자화된 신호는 예측 신호를 생성하기 위해 사용될 수 있다. 예를 들어, 상기 인코더(600)의 루프 내의 상기 역양자화부(630) 및 상기 역변환부(640)은 상기 양자화된 신호가 예측 에러로 복원되도록 상기 양자화된 신호에 대한 역양자화 및 역변환을 수행할 수 있다. 복원된 신호는 상기 복원된 예측 에러를 상기 예측부(660)에 의해 출력된 예측 신호에 더함으로써 생성될 수 있다.
상기 버퍼(650)는 예측부(660)의 향후 참조를 위해 복원된 신호를 저장한다.
상기 예측부(660)은 이전에 복원되어 상기 버퍼(650)에 저장된 신호를 사용하여 예측 신호를 생성할 수 있다. 이러한 경우, 본 발명은 앵커(anchor) 이미지 내 영역을 사용하여 목표 이미지 내 영역을 효율적으로 예측하는 것에 관련된 것이다. 여기서, 상기 앵커 이미지는 참조 이미지, 참조 픽쳐 또는 참조 프레임을 의미할 수 있다. 효율은 율-왜곡(Rate-Distortion) 비용 또는 예측 에러 내 왜곡을 정량화하는 평균 제곱 에러를 산출함으로써 결정될 수 있다.
본 발명은 그래프 내의 꼭지점과 에지를 식별하며, 잔여값 신호를 인코딩 또는 디코딩하는 방법을 제안한다. 예를 들어, 본 발명의 실시예들은 그래프 기반 변환부(610)를 통해 다양한 실시예들을 수행할 수 있다. 상기 그래프 기반 변환부(610)는 상기 인코더(600) 또는 상기 디코더(700)에 포함될 수 있다.
도 7 은 본 발명이 적용되는 실시예로서, 그래프 기반의 신호를 처리하는 디코더의 개략적 블록도를 예시한다.
도 7 의 디코더(700)는 도 6 의 인코더(600)에 의해 출력된 신호를 수신한다.
상기 엔트로피 디코딩부(710)은 수신된 신호에 대한 엔트로피 디코딩을 수행한다. 상기 역양자화부(720)은 양자화 단계 크기에 대한 정보를 기초로 하여 상기 엔트로피 디코딩된 신호로부터 변환 계수를 획득한다.
상기 역변환부(730)은 변환 계수에 대한 역변환을 수행함으로써 예측 에러를 취득한다. 이때, 상기 역변환은 상기 인코더(600)에서 획득된 그래프 기반 변환에 대한 역변환을 의미할 수 있다.
복원된 신호는 상기 획득된 예측 에러를 상기 예측부(750)에 의해 출력된 예측 신호에 더함으로써 생성된다.
상기 버퍼(740)는 상기 예측부(750)의 향후 참조를 위해 상기 복원된 신호를 저장한다.
상기 예측부(750)은 이전에 복원되어 상기 버퍼(740)에 저장된 신호를 기반으로 예측 신호를 생성한다.
본 발명에서, 일반화된 그래프 파라미터에 기초하여 획득된 그래프 기반 변환은 상기 인코더(600) 또는 상기 디코더(700)에서 사용될 수 있다.
도 8 은 본 발명이 적용되는 일실시예로서, 그래프 기반 변환부의 내부 블록도를 나타낸다.
도 8 을 참조하면, 그래프 기반 변환부(610)는 그래프 파라미터 결정부(611), 그래프 신호 생성부(613), 페널티 함수 생성부(615), 변환 행렬 산출부(617) 및 변환 수행부(619)를 포함할 수 있다.
그래프 파라미터 결정부(611)는 비디오 신호 또는 잔여 신호의 타겟 유닛에 대응되는 그래프 내 그래프 파라미터를 추출할 수 있다. 예를 들어, 상기 그래프 파라미터는 꼭지점 파라미터, 및 에지 파라미터 중 적어도 하나를 포함할 수 있다. 상기 꼭지점 파라미터는 꼭지점 위치 및 꼭지점 개수 중 적어도 하나를 포함하고, 상기 에지 파라미터는 에지 가중치 값 및 에지 가중치 개수 중 적어도 하나를 포함할 수 있다. 또한, 상기 그래프 파라미터는 일정 개수의 셋(set)으로 정의될 수 있다.
본 발명의 일실시예에 따르면, 상기 그래프 파라미터 결정부(611)로부터 추출된 그래프 파라미터는 일반화된 형태로 표현될 수 있다. 예를 들어, A 개의 꼭지점 파라미터 셋(vertex parameter set)이 상기 수학식 18 과 같이 정의될 수 있고, 이때, A 개의 꼭지점 파라미터 셋(vertex parameter set)은 V 차원 벡터(V- dimensional vectors)로 표현될 수 있다. 그리고, B 개의 에지 파라미터 셋(edge parameter set)은 상기 수학식 19 와 같이 정의될 수 있고, 이때 B 개의 에지 파라미터 셋(edge parameter set)은 VxV 행렬로 표현될 수 있다.
그래프 신호 생성부(613)는 상기 그래프 파라미터 결정부(611)로부터 추출된 그래프 파라미터에 기초하여 그래프 신호를 생성할 수 있다. 이때, 상기 그래프 신호는 상기 수학식 20 과 같이 정의될 수 있다.
상기 그래프 기반 변환부(610)는 제한 최적화 문제(constraint optimization problem)를 해결하기 위해 페널티 함수 셋(penalty function set)을 정의할 수 있으며, 그에 따라 페널티 함수 생성부(615)는 최적의 변환 행렬을 산출하기 위한 페널티 함수를 생성할 수 있다. 예를 들어, 상기 페널티 함수 생성부(615)는 상기 수학식 21 과 같은 페널티 함수 셋(penalty function set)을 정의할 수 있다.
본 발명의 일실시예로, 페널티 함수들은 꼭지점 값에 대해서만 산출되도록 정의될 수 있다. 그리고 동일한 차원에 있는 그래프 파라미터들은 상기 수학식 25 와 같은 페널티 함수를 이용하여 산출될 수 있고, 에지 값 차이에 대해서는 상기 수학식 26 과 같은 페널티 함수를 이용할 수 있다.
변환 행렬 산출부(617)는 상기 일반화된 그래프 파라미터 및 상기 페널티 함수 중 적어도 하나에 기초하여 최적화 함수를 생성할 수 있고, 상기 최적화 함수를 만족하는 최적의 변환 행렬을 산출할 수 있다. 예를 들어, 상기 수학식 25 및 수학식 26 에 기초하여, 상기 수학식 27 과 같은 형태의 최적화 함수를 도출할 수 있다.
본 발명의 일실시예로, 상기 일반화된 그래프 파라미터에 기초하는 그래프 신호와 페널티 함수를 이용하여, 최적화된 변환 행렬을 획득하기 위한 최적화 함수를 생성할 수 있고, 예를 들어, 상기 최적화 함수는 상기 수학식 24 와 같이 정의될 수 있다.
본 발명의 일실시예로, 꼭지점에 대한 페널티 함수(penalty function) 및 에지 차이값(edge value difference) 중 적어도 하나에 대한 페널티 함수(penalty function)에 기초하여 최적화 함수를 정의할 수 있다.
변환 수행부(619)는 상기 변환 행렬 산출부(617)로부터 획득된 최적의 변환 행렬을 이용하여 변환을 수행할 수 있다.
상기 도 8 과 관련하여, 본 명세서에서는 그래프 기반 변환을 수행하는 과정을 설명하기 위해 각 기능별로 세분화하여 설명하지만, 본 발명은 이에 한정되지 않는다. 예를 들어, 상기 그래프 기반 변환부(610)는 크게 그래프 신호 생성부와 변환부로 구성될 수 있으며, 이 경우 상기 그래프 파라미터 결정부(611)의 기능은 상기 그래프 신호 생성부에서 수행될 수 있고, 상기 페널티 함수 생성부(615), 상기 변환 행렬 산출부(617) 및 상기 변환 수행부(619)의 기능은 상기 변환부에서 수행될 수 있다. 또한, 상기 변환부의 기능은 변환 행렬 산출부와 변환 수행부로 구분될 수도 있다.
도 9 는 본 발명이 적용되는 일실시예로, 일반화된 그래프 파라미터 및 페널티 함수에 기초하여 최적화된 변환 행렬을 산출하는 과정을 설명하기 위한 흐름도이다.
인코더는 수신된 비디오 신호로부터 예측 신호를 생성하고, 비디오 신호에서 예측 신호를 감산하여 잔여 신호를 생성할 수 있다. 상기 잔여 신호에 대해 변환이 수행되는데, 이때 그래프 기반 신호 처리 기술을 적용하여 그래프 기반 변환을 수행할 수 있다.
인코더는 비디오 신호 또는 잔여 신호의 타겟 유닛(예를 들어, 변환 유닛)에 대응되는 그래프 내 그래프 파라미터를 추출할 수 있다(S910). 예를 들어, 상기 그래프 파라미터는 꼭지점 파라미터 셋 및 에지 파라미터 셋 중 적어도 하나를 포함할 수 있다. 여기서, 상기 그래프 파라미터는 일반화된 형태로 표현될 수 있으며, 예를 들어, A 개의 꼭지점 파라미터 셋(vertex parameter set)은 상기 수학식 18 과 같이 V 차원 벡터(V-dimensional vectors)로 표현될 수 있다. 그리고, B 개의 에지 파라미터 셋(edge parameter set)은 상기 수학식 19 와 같이 VxV 행렬로 표현될 수 있다. 이는 상기 그래프 기반 변환부(610)에서 수행될 수 있으며, 구체적으로 그래프 파라미터 결정부(611)에 의해 수행될 수 있다.
상기 인코더는 상기 일반화된 그래프 파라미터에 기초하여 일반화된 그래프 신호를 생성할 수 있다(S920). 이는 상기 그래프 기반 변환부(610)에서 수행될 수 있으며, 구체적으로 그래프 신호 생성부(613)에 의해 수행될 수 있다.
한편, 상기 인코더는 제한 최적화 문제(constraint optimization problem)를 해결하기 위해 페널티 함수 및 제한 함수 중 적어도 하나를 생성할 수 있다(S930). 예를 들어, 상기 일반화된 그래프 파라미터에 기초하여 페널티 함수 셋(penalty function set) 및 제한 함수 셋 중 적어도 하나를 정의할 수 있다. 이는 상기 그래프 기반 변환부(610)에서 수행될 수 있으며, 구체적으로 페널티 함수 생성부(615)에 의해 수행될 수 있다. 여기서, 상기 페널티 함수는 일반화된 그래프 신호에 기초하여 생성될 수 있다.
그리고, 상기 페널티 함수는 꼭지점 파라미터 셋에 대한 제 1 페널티 함수 성분과 에지 파라미터 셋에 대한 제 2 페널티 함수 성분을 포함할 수 있다. 이 경우, 최적화 함수는 상기 꼭지점 파라미터 셋에 대한 제 1 페널티 함수 성분과 상기 에지 파라미터 셋에 대한 제 2 페널티 함수 성분의 합으로 구성될 수 있다. 여기서, 상기 꼭지점 파라미터 셋은 V 차원 벡터로 표현될 수 있고, 상기 에지 파라미터 셋은 VxV 행렬로 표현될 수 있다.
상기 인코더는, 상기 페널티 함수 및 제한 함수 중 적어도 하나와 상기 일반화된 그래프 신호에 기초하여, 최적화 함수를 생성할 수 있고(S940), 상기 최적화 함수를 만족하는 최적의 변환 행렬(또는 최적의 변환 커널)을 획득할 수 있다(S950). 이는 상기 그래프 기반 변환부(610)에서 수행될 수 있으며, 구체적으로 변환 행렬 산출부(617)에 의해 수행될 수 있다.
상기 산출된 최적화된 변환 행렬에 기초하여 상기 타겟 유닛에 대해 변환을 수행할 수 있다(S960).
도 10 은 본 발명이 적용되는 일실시예로, 일반화된 그래프 파라미터 셋을 이용하여 그래프 기반 변환 커널을 획득하는 과정을 설명하기 위한 흐름도이다.
본 발명이 적용되는 디코더는, 그래프 파라미터 셋을 포함하는 일반화된 그래프 신호를 수신할 수 있다(S1010). 여기서, 상기 그래프 파라미터 셋은 V 차원 벡터로 표현되는 꼭지점 파라미터 셋 및 VxV 행렬도 표현되는 에지 파라미터 셋 중 적어도 하나를 포함할 수 있다. 상기 그래프 파라미터 셋은 신택스 엘리먼트로 전송되거나, 또는 디코더 내 다른 정보들로부터 유도될 수 있다.
상기 디코더는, 상기 그래프 파라미터 셋과 기정의된 페널티 함수에 기초하여, 변환 유닛의 그래프 기반 변환 커널을 획득할 수 있다(S1020). 여기서, 상기 기정의된 페널티 함수는 상기 일반화된 그래프 신호에 기초하여 생성된 것일 수 있다. 그리고, 상기 그래프 기반 변환 커널은 최적화 함수를 이용함으로써 산출될 수 있으며, 상기 최적화 함수는 그래프 파라미터 셋과 기정의된 페널티 함수에 기초한다.
그리고, 상기 디코더는 상기 획득된 그래프 기반 변환 커널을 이용하여 상기 변환 유닛을 디코딩할 수 있다(S1030). 이때, 상기 그래프 기반 변환 커널는 상기 그래프 파라미터 셋과 기정의된 페널티 함수에 기초하는 최적화 함수에 의해 산출될 수 있다. 또한, 상기 최적화 함수는 꼭지점 파라미터 셋에 대한 제 1 페널티 함수와 에지 파라미터 셋에 대한 제 2 페널티 함수의 합으로 구성될 수 있고, 상기 그래프 기반 변환 커널는 상기 최적화 함수가 최소가 되는 값을 나타낼 수 있다.
이와 같이, 그래프 파라미터의 일반화를 이용하여 그래프 기반 변환을 산출하는 새로운 방법을 제공함으로써 그래프 기반 변환을 정의하는 벡터들의 강한 불연속성 문제를 회피할 수 있고, 변환 특성을 보다 잘 제어할 수 있으며, 다양한 어플리케이션에 적용할 수 있게 된다. 나아가, 그래프 신호를 인코딩하기 위해 필요한 비트 레이트의 과도한 오버헤드도 피할 수 있다.
상기 기술된 것과 같이, 본 발명에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 상기 도 1, 도 2, 도 6, 도 7 및 도 8 에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다.
또한, 본 발명이 적용되는 디코더 및 인코더는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, 인터넷 스트리밍 서비스 제공 장치, 3 차원(3D) 비디오 장치, 화상 전화 비디오 장치, 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 및 데이터 신호를 처리하기 위해 사용될 수 있다.
또한, 본 발명이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트 스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (20)

  1. 그래프 기반 변환을 이용하여 비디오 신호를 디코딩하는 방법에 있어서,
    그래프 파라미터 셋을 포함하는 일반화된 그래프 신호를 수신하는 단계, 여기서, 상기 그래프 파라미터 셋은 V 차원 벡터로 표현되는 꼭지점 파라미터 셋 및 VxV 행렬로 표현되는 에지 파라미터를 포함함;
    상기 그래프 파라미터 셋과 기정의된 페널티 함수에 기초하여, 변환 유닛의 그래프 기반 변환 커널을 획득하는 단계; 및
    상기 그래프 기반 변환 커널을 이용하여 상기 변환 유닛을 디코딩하는 단계를 포함하되,
    상기 그래프 기반 변환 커널는 상기 그래프 파라미터 셋과 기정의된 페널티 함수에 기초하는 최적화 함수에 의해 산출되고,
    상기 최적화 함수는 꼭지점 파라미터 셋에 대한 제 1 페널티 함수 성분과 에지 파라미터 셋에 대한 제 2 페널티 함수 성분의 합으로 구성되고,
    상기 그래프 기반 변환 커널는 상기 최적화 함수가 최소가 되는 값을 나타내는 것을 특징으로 하는 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 기정의된 페널티 함수는 상기 일반화된 그래프 신호에 기초하여 생성된 것임을 특징으로 하는 방법.
  4. 삭제
  5. 삭제
  6. 일반화된 그래프 신호를 이용하여 그래프 기반 변환을 수행하는 방법에 있어서,
    꼭지점 파라미터 셋 및 에지 파라미터 셋을 포함하는 그래프 파라미터를 결정하는 단계;
    상기 그래프 파라미터에 기초하여 일반화된 그래프 신호를 생성하는 단계;
    상기 그래프 파라미터에 기초하여, 페널티 함수(penalty function) 및 제한 함수(constraint function)를 생성하는 단계, 여기서, 상기 꼭지점 파라미터 셋은 V 차원 벡터로 표현되고, 상기 에지 파라미터 셋은 VxV 행렬로 표현됨;
    최적화 함수를 최소로 하는 최적의 그래프 기반 변환 커널을 획득하는 단계, 여기서, 상기 최적화 함수는 상기 꼭지점 파라미터 셋에 대한 제 1 페널티 함수와 상기 에지 파라미터 셋에 대한 제 2 페널티 함수의 합으로 구성됨; 및
    상기 최적의 그래프 기반 변환 커널을 이용하여 변환 유닛에 대한 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 삭제
  8. 제 6 항에 있어서,
    상기 페널티 함수는 상기 일반화된 그래프 신호에 기초하여 생성되는 것을 특징으로 하는 방법.
  9. 삭제
  10. 삭제
  11. 그래프 기반 변환을 이용하여 비디오 신호를 디코딩하는 장치에 있어서,
    그래프 파라미터 셋을 포함하는 일반화된 그래프 신호를 수신하는 엔트로피 디코딩부, 여기서, 상기 그래프 파라미터 셋은 V 차원 벡터로 표현되는 꼭지점 파라미터 셋 및 VxV 행렬로 표현되는 에지 파라미터를 포함함; 및
    상기 그래프 파라미터 셋과 기정의된 페널티 함수에 기초하여, 변환 유닛의 그래프 기반 변환 커널을 획득하고, 상기 그래프 기반 변환 커널을 이용하여 상기 변환 유닛을 디코딩하는 역변환부를 포함하되,
    상기 그래프 기반 변환 커널는 상기 그래프 파라미터 셋과 기정의된 페널티 함수에 기초하는 최적화 함수에 의해 산출되고,
    상기 최적화 함수는 꼭지점 파라미터 셋에 대한 제 1 페널티 함수 성분과 에지 파라미터 셋에 대한 제 2 페널티 함수 성분의 합으로 구성되고,
    상기 그래프 기반 변환 커널는 상기 최적화 함수가 최소가 되는 값을 나타내는 것을 특징으로 하는 장치.
  12. 삭제
  13. 제 11 항에 있어서,
    상기 기정의된 페널티 함수는 상기 일반화된 그래프 신호에 기초하여 생성된 것임을 특징으로 하는 장치.
  14. 삭제
  15. 삭제
  16. 일반화된 그래프 신호를 이용하여 그래프 기반 변환을 수행하는 장치에 있어서,
    꼭지점 파라미터 셋 및 에지 파라미터 셋을 포함하는 그래프 파라미터를 결정하고, 상기 그래프 파라미터에 기초하여 일반화된 그래프 신호를 생성하는 그래프 신호 생성부, 여기서, 상기 꼭지점 파라미터 셋은 V 차원 벡터로 표현되고, 상기 에지 파라미터 셋은 VxV 행렬로 표현됨;
    상기 그래프 파라미터에 기초하여, 페널티 함수(penalty function)를 생성하고, 상기 페널티 함수 및 상기 일반화된 그래프 신호에 기초하여 최적화 함수를 생성하고, 상기 최적화 함수를 최소로 하는 최적의 그래프 기반 변환 커널을 획득하는 변환 행렬 산출부, 여기서, 상기 최적화 함수는 상기 꼭지점 파라미터 셋에 대한 제 1 페널티 함수와 상기 에지 파라미터 셋에 대한 제 2 페널티 함수의 합으로 구성됨; 및
    상기 최적의 그래프 기반 변환 커널을 이용하여 변환 유닛에 대한 변환을 수행하는 변환 수행부를 포함하는 것을 특징으로 하는 장치.
  17. 삭제
  18. 제 16 항에 있어서,
    상기 페널티 함수는 상기 일반화된 그래프 신호에 기초하여 생성되는 것을 특징으로 하는 장치.
  19. 삭제
  20. 삭제
KR1020177013831A 2014-11-14 2015-11-13 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치 KR102059842B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462079566P 2014-11-14 2014-11-14
US62/079,566 2014-11-14
PCT/KR2015/012218 WO2016076659A1 (ko) 2014-11-14 2015-11-13 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170074948A KR20170074948A (ko) 2017-06-30
KR102059842B1 true KR102059842B1 (ko) 2020-02-11

Family

ID=55954662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177013831A KR102059842B1 (ko) 2014-11-14 2015-11-13 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치

Country Status (6)

Country Link
US (1) US10666960B2 (ko)
EP (1) EP3220640A4 (ko)
JP (1) JP6592086B2 (ko)
KR (1) KR102059842B1 (ko)
CN (1) CN107113426B (ko)
WO (1) WO2016076659A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899090B1 (ko) * 2014-09-26 2018-09-14 엘지전자 주식회사 기하 요소를 이용하여 그래프 기반의 신호를 처리하는 방법 및 장치
ITUB20153724A1 (it) * 2015-09-18 2017-03-18 Sisvel Tech S R L Metodi e apparati per codificare e decodificare immagini o flussi video digitali
IT201600122898A1 (it) * 2016-12-02 2018-06-02 Ecole Polytechnique Fed Lausanne Epfl Metodi e apparati per codificare e decodificare immagini o flussi video digitali
US11693924B2 (en) * 2019-06-06 2023-07-04 Hitachi, Ltd. System and method for maintenance recommendation in industrial networks

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014007477A (ja) * 2012-06-21 2014-01-16 Research Organization Of Information & Systems 濃淡画像符号化装置及び復号装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3959039B2 (ja) * 2003-02-28 2007-08-15 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム
ES2347701T3 (es) * 2003-06-30 2010-11-03 Panasonic Corporation Medio de grabacion, aparato de reproduccion, metodo de grabacion, programa y metodo de reproduccion.
CN101123723B (zh) 2006-08-11 2011-01-12 北京大学 基于图形处理器的数字视频解码方法
US8296722B2 (en) 2008-10-06 2012-10-23 International Business Machines Corporation Crawling of object model using transformation graph
KR20110135787A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
US9009007B2 (en) * 2012-03-13 2015-04-14 International Business Machines Corporation Simulating stream computing systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014007477A (ja) * 2012-06-21 2014-01-16 Research Organization Of Information & Systems 濃淡画像符号化装置及び復号装置

Also Published As

Publication number Publication date
KR20170074948A (ko) 2017-06-30
EP3220640A1 (en) 2017-09-20
EP3220640A4 (en) 2018-05-09
WO2016076659A1 (ko) 2016-05-19
JP2018500806A (ja) 2018-01-11
CN107113426B (zh) 2020-03-03
CN107113426A (zh) 2017-08-29
US20170339422A1 (en) 2017-11-23
US10666960B2 (en) 2020-05-26
JP6592086B2 (ja) 2019-10-23

Similar Documents

Publication Publication Date Title
KR101901355B1 (ko) 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치
CN107431813B (zh) 使用基于图的变换处理视频信号的方法和装置
US20180220158A1 (en) Method and device for processing video signal using graph-based transform
US10567763B2 (en) Method and device for processing a video signal by using an adaptive separable graph-based transform
US20180213233A1 (en) Method and device for processing video signal by using separable graph-based transform
US20180167618A1 (en) Method and device for processing video signal by using graph-based transform
JP6356913B2 (ja) グラフテンプレートから誘導された変換を用いてビデオ信号をデコーディング／エンコーディングする方法及び装置
KR102059842B1 (ko) 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치
US10771815B2 (en) Method and apparatus for processing video signals using coefficient induced prediction
US10469838B2 (en) Method and apparatus for processing video signal using graph-based transformation based on prediction angle
KR102605285B1 (ko) 다중 그래프 기반 모델에 따라 최적화된 변환을 이용하여 비디오 신호를 인코딩/디코딩하는 방법 및 장치
KR102123628B1 (ko) 그래프 기반 변환(graph based transform)을 이용한 비디오 신호 처리 방법 및 이를 위한 장치
US11503292B2 (en) Method and apparatus for encoding/decoding video signal by using graph-based separable transform
US20210289230A1 (en) Method and apparatus for encoding and decoding video signal using transform domain prediction for prediction unit partition
US20200329232A1 (en) Method and device for encoding or decoding video signal by using correlation of respective frequency components in original block and prediction block

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right