KR101901355B1 - 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치 - Google Patents

최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치 Download PDF

Info

Publication number
KR101901355B1
KR101901355B1 KR1020167036419A KR20167036419A KR101901355B1 KR 101901355 B1 KR101901355 B1 KR 101901355B1 KR 1020167036419 A KR1020167036419 A KR 1020167036419A KR 20167036419 A KR20167036419 A KR 20167036419A KR 101901355 B1 KR101901355 B1 KR 101901355B1
Authority
KR
South Korea
Prior art keywords
graph
signal
prediction
vector
transform
Prior art date
Application number
KR1020167036419A
Other languages
English (en)
Other versions
KR20170016381A (ko
Inventor
새드아미르
흐슈안 챠오융
에네스 에길메즈힐라미
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20170016381A publication Critical patent/KR20170016381A/ko
Application granted granted Critical
Publication of KR101901355B1 publication Critical patent/KR101901355B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45C—PURSES; LUGGAGE; HAND CARRIED BAGS
    • A45C11/00—Receptacles for purposes not provided for in groups A45C1/00-A45C9/00
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45C—PURSES; LUGGAGE; HAND CARRIED BAGS
    • A45C13/00—Details; Accessories
    • A45C13/10—Arrangement of fasteners
    • A45C13/1069—Arrangement of fasteners magnetic
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45F—TRAVELLING OR CAMP EQUIPMENT: SACKS OR PACKS CARRIED ON THE BODY
    • A45F5/00—Holders or carriers for hand articles; Holders or carriers for use while travelling or camping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45C—PURSES; LUGGAGE; HAND CARRIED BAGS
    • A45C11/00—Receptacles for purposes not provided for in groups A45C1/00-A45C9/00
    • A45C2011/002—Receptacles for purposes not provided for in groups A45C1/00-A45C9/00 for portable handheld communication devices, e.g. mobile phone, pager, beeper, PDA, smart phone
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45F—TRAVELLING OR CAMP EQUIPMENT: SACKS OR PACKS CARRIED ON THE BODY
    • A45F5/00—Holders or carriers for hand articles; Holders or carriers for use while travelling or camping
    • A45F2005/008—Hand articles fastened to the wrist or to the arm or to the leg
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45F—TRAVELLING OR CAMP EQUIPMENT: SACKS OR PACKS CARRIED ON THE BODY
    • A45F2200/00—Details not otherwise provided for in A45F
    • A45F2200/05—Holder or carrier for specific articles
    • A45F2200/0516—Portable handheld communication devices, e.g. mobile phone, pager, beeper, PDA, smart phone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Telephone Set Structure (AREA)

Abstract

본 발명은, 그래프 신호를 이용하여 그래프 기반 예측(graph-based prediction)을 수행하는 방법에 있어서, 컨텍스트 신호(context signal)를 획득하는 단계; 그래프 파라미터 셋(graph parameter set)에 기초하여 그래프 신호를 생성하는 단계; 상기 그래프 신호에 기초하여 그래프 기반 변환 행렬(graph-based transform matrix)을 획득하는 단계, 상기 그래프 기반 변환 행렬은 고유 벡터(eigenvector)를 포함함; 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하는 단계; 및 상기 예측 벡터를 이용하여 예측 신호를 생성하는 단계를 포함하되, 상기 최적화 함수는 상기 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 방법을 제공한다.

Description

최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치{METHOD AND APPARATUS FOR PERFORMING GRAPH-BASED PREDICTION USING OPTIMAZATION FUNCTION}
본 발명은 그래프 기반의 신호 처리 방법 및 장치에 관한 것이며, 보다 상세하게는, 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 기술에 관한 것이다.
종래의 이산 시간 신호 처리 기술은 대부분 아날로그 신호의 처리 및 필터링으로부터 진화해오고 있지만, 정규적으로 조직된 데이터의 샘플링과 같이 몇 가지 공통적인 가정으로 인해 제한되어 왔다. 비디오 압축 분야는 기본적으로 동일한 가정에 기반하고 있으며, 단지 다차원적 신호의 처리로 일반화되었을 뿐이다.
그래프는 많은 응용 분야에 있어서 데이터의 기하학적 구조를 기술하는데 유용한 데이터 표현 형태이다. 이러한 그래프에 기반한 신호 처리는 각 신호 샘플이 꼭지점(vertex)을 나타내며 신호의 관계들이 양의 가중치를 가지는 그래프 에지로 나타내어지는 그래프를 사용하여 샘플링, 필터링, 푸리에(Fourier) 변환 등과 같은 개념들을 일반화할 수 있다. 이 방식은 신호를 획득하는 과정과 분리함으로써 샘플링 및 시퀀스 처리에 있어서 그래프의 특성으로 대체할 수 있다. 따라서, 보다 효율적인 그래프 기반의 신호 처리 방법이 비디오 압축 분야뿐만 아니라 많은 응용 분야에서 요구된다.
모든 비디오 코딩 표준은 그 기본 요소들 중의 하나로 신호 예측을 포함하고 있고, 그 압축 효율은 예측 방법의 정확성과 신뢰성에 의해 강한 영향을 받는다. 신호의 통계적 모델에 기초하는 신호 예측을 위한 많은 이론적인 툴들이 있다. 그러나, 오디오, 이미지, 비디오와 같은 복잡한 신호들에 툴들을 적용할 때 많은 실질적인 문제점들이 발생한다. 예를 들어, 모델 파라미터를 신뢰성있게 측정하는 것은 매우 어렵다. 왜냐하면 모델 파라미터들은 다른 소스들 또는 심지어 동일한 소스일 경우에도 상당히 바뀔 수 있기 때문이다. 중요한 것은, 압축에 있어서 예측의 이용은 기본이며 다른 어플리케이션들과 중요한 차이점을 갖는다는 것이다. 그러나, 신호의 압축을 위해 실제로 이용되는 많은 예측 방법들은 실험적인 통계에 바탕을 두고 있다는 문제점이 있다.
또한, 신호 처리 및 압축을 위해 새로운 그래프 모델들이 제안되어 왔다. 이는, 그래프 모델들이 에지 및 불연속성과 같은 일부 국소적인 신호 특성들을, 일반적인 통계적 수치에 의해 제공되는 것보다 훨씬 더 간결하고 압축에 더 적합한 방식으로 모델링할 수 있기 때문이다. 예를 들어, 그래프의 라플라시안 매트릭스의 스펙트럼 분해는 그래프 모델에 맞는 신호에 적합한 푸리에 분석의 형태를 제공한다.
따라서, 본 발명은 변수들 간의 통계적 상관관계를 모델링하는 그래프가 주어져 있을 때, 저복잡도로 보다 나은 예측자를 찾기 위한 방법을 제공하고자 한다.
본 발명은, 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법을 제공한다.
또한, 본 발명은, 그래프 라플라시안의 고유값들(eigenvalues)의 분포(distribution)에 기초한 비용 함수와 고유벡터들(eigenvectors)의 선형 결합에 기초하여 최적화 예측 알고리즘을 정의하는 방법을 제공한다.
또한, 본 발명은 컨벡스 최적화 공식(convex optimization formulation)을 이용하여 예측값을 찾는 방법 및 그래프 특성을 이용하는 방법을 제공한다.
본 발명이 적용되는 그래프 기반의 신호 모델링은 강력한 도구가 될 수 있다. 구체적으로, 본 발명은 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 최적화 예측 알고리즘을 제공함으로써 저복잡도로 예측값을 획득할 수 있고, 나아가 예측 성능을 향상시킬 수 있다.
또한, 본 발명은 규칙적인 구조의 그래프 신호 뿐만 아니라 임의의 그래프 신호에 대해서도 적용가능함으로써, 그래프 신호를 인코딩하기 위해 필요한 비트 레이트의 과도한 오버헤드를 피할 수 있다.
또한, 본 발명은 비디오 시퀀스의 다른 부분들에서 신호의 통계적 특성을 적응적으로 이용함으로써 압축 효율을 향상시킬 수 있다.
도 1은 본 발명이 적용되는 실시예로서, 비디오 신호의 인코딩이 수행되는 인코더의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 실시예로서, 비디오 신호의 디코딩이 수행되는 디코더의 개략적인 블록도를 나타낸다.
도 3은 본 발명이 적용되는 일 실시예에 따라 비디오 프레임 내 8×8 블록 내에서의 통계적 관계를 모델링하기 위해 사용된 그래프의 예들을 나타낸다.
도 4는 본 발명이 적용되는 일 실시예로써, 꼭지점에 대한 신호 벡터와 에지 가중치로 정의된 임의의 그래프를 나타낸다.
도 5는 본 발명이 적용되는 실시예로서, 그래프 기반의 신호를 처리하는 인코더의 개략적 블록도를 예시한다.
도 6은 본 발명이 적용되는 실시예로서, 그래프 기반의 신호를 처리하는 디코더의 개략적 블록도를 예시한다.
도 7은 본 발명이 적용되는 일실시예로서, 그래프 기반 변환부의 내부 블록도를 나타낸다.
도 8은 본 발명이 적용되는 일실시예로, 그래프 신호에 기초하여 최적화된 예측 벡터를 획득하는 과정을 설명하기 위한 흐름도이다.
도 9는 본 발명이 적용되는 일실시예로, 그래프 기반 예측을 이용하여 비디오 신호를 디코딩하는 과정을 설명하기 위한 흐름도이다.
발명의 실시를 위한 최선의 형태
본 발명은, 그래프 신호를 이용하여 그래프 기반 예측(graph-based prediction)을 수행하는 방법에 있어서, 컨텍스트 신호(context signal)를 획득하는 단계; 그래프 파라미터 셋(graph parameter set)에 기초하여 그래프 신호를 생성하는 단계; 상기 그래프 신호에 기초하여 그래프 기반 변환 행렬(graph-based transform matrix)을 획득하는 단계, 상기 그래프 기반 변환 행렬은 고유 벡터(eigenvector)를 포함함; 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하는 단계; 및 상기 예측 벡터를 이용하여 예측 신호를 생성하는 단계를 포함하되, 상기 최적화 함수는 상기 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 방법을 제공한다.
또한, 본 발명에서, 상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득되고, 상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정되는 것을 특징으로 한다.
또한, 본 발명은, 상기 그래프 신호에 기초하여 그래프 라플라시안 행렬(graph Laplacian matrix)을 산출하는 단계를 더 포함하고, 상기 그래프 기반 변환 행렬(graph-based transform matrix)은 상기 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현되는 것을 특징으로 한다.
또한, 본 발명은, 예측 에러를 인코딩하는 단계; 및 상기 인코딩된 예측 에러를 전송하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명은, 그래프 기반 예측(graph-based prediction)에 기초하여 비디오 신호를 디코딩하는 방법에 있어서, 그래프 파라미터 셋(graph parameter set)과 레지듀얼 신호를 포함하는 상기 비디오 신호를 수신하는 단계; 상기 그래프 파라미터 셋에 기초하여 고유 벡터를 포함하는 그래프 기반 변환 행렬을 획득하는 단계; 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하는 단계; 상기 예측 벡터를 이용하여 예측 신호를 생성하는 단계; 및 상기 예측 신호와 상기 레지듀얼 신호를 합하여 상기 비디오 신호를 복원하는 단계를 포함하되, 상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 방법을 제공한다.
또한, 본 발명은, 그래프 신호를 이용하여 그래프 기반 예측(graph-based prediction)을 수행하는 장치에 있어서, 그래프 파라미터 셋(graph parameter set)에 기초하여 그래프 신호를 생성하고, 상기 그래프 신호에 기초하여 고유 벡터(eigenvector)를 포함하는 그래프 기반 변환 행렬(graph-based transform matrix)을 획득하는 그래프 기반 변환부; 및 컨텍스트 신호(context signal)를 획득하고, 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하고, 상기 예측 벡터를 이용하여 예측 신호를 생성하는 예측부를 포함하되, 상기 최적화 함수는 상기 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 장치를 제공한다.
또한, 본 발명에서, 상기 그래프 기반 변환부는 상기 그래프 신호에 기초하여 그래프 라플라시안 행렬(graph Laplacian matrix)을 산출하고, 상기 그래프 기반 변환 행렬(graph-based transform matrix)은 상기 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득되는 것을 특징으로 한다.
또한, 본 발명은, 예측 에러를 인코딩하고, 상기 인코딩된 예측 에러를 전송하는 엔트로피 인코딩부를 더 포함하는 것을 특징으로 한다.
또한, 본 발명은, 그래프 기반 예측(graph-based prediction)에 기초하여 비디오 신호를 디코딩하는 장치에 있어서, 그래프 파라미터 셋(graph parameter set)과 레지듀얼 신호를 포함하는 상기 비디오 신호를 수신하는 엔트로피 디코딩부; 상기 그래프 파라미터 셋에 기초하여 고유 벡터를 포함하는 그래프 기반 변환 행렬을 획득하는 역변환부; 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하고, 상기 예측 벡터를 이용하여 예측 신호를 생성하는 예측부; 및 상기 예측 신호와 상기 레지듀얼 신호를 합하여 상기 비디오 신호를 복원하는 복원부를 포함하되, 상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 장치를 제공한다.
발명의 실시를 위한 형태
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 의해서 설명되는 본 발명의 구성과 작용은 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다.
또한, 본 명세서에서 제시된 실시예들이 비디오 신호 처리에 관한 것이지만, 본 발명은 비디오 신호 처리에만 기반한 것으로 추론되어서는 안 되며, 일반적인 그래프 기반의 신호 처리 방법에도 적용될 수 있을 것이다.
또한, 본 발명에서 사용되는 용어들은 발명을 설명하기 위해 선택된 일반적인 용어들이나, 유사한 의미를 갖는 다른 용어가 있는 경우 보다 적절한 해석을 위해 대체 가능할 것이다. 예를 들어, 신호, 데이터, 샘플, 픽쳐, 프레임, 블록 등의 경우 각 코딩 과정에서 적절하게 대체되어 해석될 수 있을 것이다.
실제로, 비디오와 같이 아주 복잡하고 다양한 신호의 정확한 통계적 모델은 없다. 따라서, 본 명세서에서는 통계 모델을 형성하는 확률 분포 f(x|y) 또는 f(x, y)는 이미 알고 있다는 가정에 기초한다.
비디오 신호의 통계적 특성은 비디오 타입에 따라, 또는 각 프레임 내에서 크게 변한다. 그래서, 보다 단순한 통계적 모델이나 자동 학습(automatic learning)을 이용할 때 조차도, 본 발명은 계속적으로 변하는 모델 파라미터들을 신뢰성 있게 측정하는 어려움이 있다. 또한, 모델이 너무 간단하거나, 그 파라미터들이 신호의 실제 특성을 반영하지 못한다면, 예측이 정확하지 않을 수 있다. 사실, 예측 정확도는 모델 복잡도가 증가할수록 더 낮아진다.
따라서, 본 발명은 예측 성능을 향상시키기 위한 더 강력한 접근을 필요로 한다.
압축에 적용되는 예측과 관련된 또 다른 중요한 이슈는, 전통적인 통계적 접근과 다르게, 인코더가 인코딩을 필요로 하는 모든 데이터에 접근할 수 있다는 것이다. 인코더는 디코더의 예측을 향상시킬 수 있는 부가 정보를 전송할 수 있기 때문에 이는 매우 중요한 차이를 만들 수 있다. 예를 들어, 인코더는 이용되는 모델 타입과 그 파라미터에 대한 부가 정보를 인코딩 할 수 있다.
현재 비디오 코딩 방법에 이용되는 예측 방법들은 부가 정보(side information)의 인코딩에 대부분 의존하고 있고, 통계적 모델, 예를 들어, 픽셀 복사(pixel copying), 단순 보간(simple interpolation) 등에 대한 아주 사소한 가정만을 이용하고 있다는 것이다. 게다가, 에지와 같은 비디오 특징들을 표현하기 위해, 전통적인 통계적 분포를 이용하는 대신, 기하학적 모델들이 이용되고 있다.
예를 들어, 비디오 코딩 표준은, 고른 픽셀 분포 모델 또는 33개 방향 셋에 따른 일정 픽셀 값들 사이에서 선택하는, 인트라 프레임 예측에 대해 오로지 단순 보간을 이용한다. 그리고, 인터 프레임 예측은 프레임 간 움직임 모델을 가정하고, 소수 픽셀 움직임에 대해 보간을 이용한다.
이러한 접근의 주된 문제는, 기하학적 모델이 매우 제한적이고, 현재 비디오 코딩 표준이 직선 에지 또는 움직임 변화와 같은 특징을 충분히 활용하고 있다는 점이다.
한편, 그래프 신호 처리는, 신호 처리에 이용되어 온 가장 기본적인 기술들을 일반화하는 새로운 접근 방식이다. 그래프 신호 처리는, 이미지 특징들의 강력한 통합을 예측 과정에서 가능하게 하는, 기하학적 특징들에 기초한 경험적 기술을 일반화한다. 통계적 분석과 결합될 수 있지만, 완전한 통계적 모델을 유도하여야 할 필요는 없다.
적절한 그래프 에지 가중치를 선택하는 방법은 모든 형태의 그래프 신호 처리의 핵심적인 부분임이 명확하다. 그러나, 본 명세서에서는 본 발명과 직접적으로 연관되어 있지 않기 때문에 상세히 논의하지 않을 것이다. 이하에서는, 상기에서 설명한 통계적 모델, 기하학적 모델 및 그래프 모델들이 갖는 문제점을 해결하는, 최적화 예측 방법을 설명하도록 한다.
도 1은 본 발명이 적용되는 실시예로서, 비디오 신호의 인코딩이 수행되는 인코더의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 인코더(100)는 영상 분할부(110), 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150), 필터링부(160), 복호 픽쳐 버퍼(DPB: Decoded Picture Buffer)(170), 인터 예측부(180), 인트라 예측부(185) 및 엔트로피 인코딩부(190)를 포함하여 구성될 수 있다.
영상 분할부(110)는 인코더(100)에 입력된 입력 영상(Input image)(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛으로 분할할 수 있다. 예를 들어, 상기 처리 유닛은 코딩 트리 유닛(CTU: Coding Tree Unit), 코딩 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit) 또는 변환 유닛(TU: Transform Unit)일 수 있다.
다만, 상기 용어들은 본 발명에 대한 설명의 편의를 위해 사용할 뿐이며, 본 발명은 해당 용어의 정의에 한정되지 않는다. 또한, 본 명세서에서는 설명의 편의를 위해, 비디오 신호를 인코딩 또는 디코딩하는 과정에서 이용되는 단위로써 코딩 유닛이라는 용어를 사용하지만, 본 발명은 그에 한정되지 않으며 발명 내용에 따라 적절하게 해석 가능할 것이다.
인코더(100)는 입력 영상 신호에서 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호(prediction signal)를 감산하여 잔여 신호(residual signal)를 생성할 수 있고, 생성된 잔여 신호는 변환부(120)로 전송된다.
변환부(120)는 잔여 신호에 변환 기법을 적용하여 변환 계수(transform coefficient)를 생성할 수 있다. 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다.
본 발명의 일실시예로, 상기 변환부(120)는 그래프 파라미터를 이용하여 그래프 신호를 획득할 수 있다.
본 발명의 다른 일실시예로, 상기 변환부(120)는 꼭지점 파라미터 셋과 에지 파라미터 셋 중 적어도 하나를 이용하여 그래프 신호를 획득할 수 있다.
본 발명의 다른 일실시예로, 상기 변환부(120)는 최적화 함수에 기초하여 최적화된 그래프 기반 변환 커널을 획득할 수 있다. 이때, 상기 최적화 함수는 라그랑지 승수를 이용하여 비제한 최적화 함수(unconstrained optimization function)로 표현될 수 있고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.
본 발명의 다른 일실시예로, 상기 변환부(120)는 상기 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득할 수 있고, 상기 예측 벡터는 예측 신호를 생성하기 위해 이용될 수 있다. 이때, 상기 예측 벡터는 상기 그래프 라플라시안 행렬의 고유 벡터(eigenvector)와 상기 고유값(eigenvalue)의 분포에 기초하는 비용 함수 간의 선형 결합에 기초하여 획득될 수 있다.
양자화부(130)는 변환 계수를 양자화하여 엔트로피 인코딩부(190)로 전송하고, 엔트로피 인코딩부(190)는 양자화된 신호(quantized signal)를 엔트로피 코딩하여 비트스트림으로 출력할 수 있다.
양자화부(130)로부터 출력된 양자화된 신호(quantized signal)는 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 신호(quantized signal)는 루프 내의 역양자화부(140) 및 역변환부(150)를 통해 역양자화 및 역변환을 적용함으로써 잔여 신호를 복원할 수 있다. 복원된 잔여 신호를 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호(prediction signal)에 더함으로써 복원 신호(reconstructed signal)가 생성될 수 있다.
한편, 위와 같은 압축 과정에서 인접한 블록들이 서로 다른 양자화 파라미터에 의해 양자화됨으로써 블록 경계가 보이는 열화가 발생될 수 있다. 이러한 현상을 블록킹 열화(blocking artifacts)라고 하며, 이는 화질을 평가하는 중요한 요소 중의 하나이다. 이러한 열화를 줄이기 위해 필터링 과정을 수행할 수 있다. 이러한 필터링 과정을 통해 블록킹 열화를 제거함과 동시에 현재 픽쳐에 대한 오차를 줄임으로써 화질을 향상시킬 수 있게 된다.
필터링부(160)는 복원 신호에 필터링을 적용하여 이를 재생 장치로 출력하거나 복호 픽쳐 버퍼(170)에 전송한다. 복호 픽쳐 버퍼(170)에 전송된 필터링된 신호는 인터 예측부(180)에서 참조 픽쳐로 사용될 수 있다. 이처럼, 필터링된 픽쳐를 화면간 예측 모드에서 참조 픽쳐로 이용함으로써 화질 뿐만 아니라 부호화 효율도 향상시킬 수 있다.
복호 픽쳐 버퍼(170)는 필터링된 픽쳐를 인터 예측부(180)에서의 참조 픽쳐로 사용하기 위해 저장할 수 있다.
인터 예측부(180)는 복원 픽쳐(reconstructed picture)를 참조하여 시간적 중복성 및/또는 공간적 중복성을 제거하기 위해 시간적 예측 및/또는 공간적 예측을 수행한다. 여기서, 예측을 수행하기 위해 이용되는 참조 픽쳐는 이전 시간에 부호화/복호화 시 블록 단위로 양자화와 역양자화를 거친 변환된 신호이기 때문에, 블로킹 아티팩트(blocking artifact)나 링잉 아티팩트(ringing artifact)가 존재할 수 있다.
따라서, 인터 예측부(180)는 이러한 신호의 불연속이나 양자화로 인한 성능 저하를 해결하기 위해, 로우패스 필터(lowpass filter)를 적용함으로써 픽셀들 사이의 신호를 서브 픽셀 단위로 보간할 수 있다. 여기서, 서브 픽셀은 보간 필터를 적용하여 생성된 가상의 화소를 의미하고, 정수 픽셀은 복원된 픽쳐에 존재하는 실제 화소를 의미한다. 보간 방법으로는 선형 보간, 양선형 보간(bi-linear interpolation), 위너 필터(wiener filter) 등이 적용될 수 있다.
보간 필터는 복원 픽쳐(reconstructed picture)에 적용되어 예측의 정밀도를 향상시킬 수 있다. 예를 들어, 인터 예측부(180)는 정수 픽셀에 보간 필터를 적용하여 보간 픽셀을 생성하고, 보간 픽셀들(interpolated pixels)로 구성된 보간 블록(interpolated block)을 예측 블록(prediction block)으로 사용하여 예측을 수행할 수 있다.
인트라 예측부(185)는 현재 부호화를 진행하려고 하는 블록의 주변에 있는 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 인트라 예측부(185)는 인트라 예측을 수행하기 위해 다음과 같은 과정을 수행할 수 있다. 먼저, 예측 신호를 생성하기 위해 필요한 참조 샘플을 준비할 수 있다. 그리고, 준비된 참조 샘플을 이용하여 예측 신호를 생성할 수 있다. 이후, 예측 모드를 부호화하게 된다. 이때, 참조 샘플은 참조 샘플 패딩 및/또는 참조 샘플 필터링을 통해 준비될 수 있다. 참조 샘플은 예측 및 복원 과정을 거쳤기 때문에 양자화 에러가 존재할 수 있다. 따라서, 이러한 에러를 줄이기 위해 인트라 예측에 이용되는 각 예측 모드에 대해 참조 샘플 필터링 과정이 수행될 수 있다.
상기 인터 예측부(180) 또는 상기 인트라 예측부(185)를 통해 생성된 예측 신호(prediction signal)는 복원 신호를 생성하기 위해 이용되거나 잔여 신호를 생성하기 위해 이용될 수 있다.
도 2는 본 발명이 적용되는 실시예로서, 비디오 신호의 디코딩이 수행되는 디코더의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 디코더(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 필터링부(240), 복호 픽쳐 버퍼(DPB: Decoded Picture Buffer Unit)(250), 인터 예측부(260) 및 인트라 예측부(265)를 포함하여 구성될 수 있다.
그리고, 디코더(200)를 통해 출력된 복원 영상 신호(reconstructed video signal)는 재생 장치를 통해 재생될 수 있다.
디코더(200)는 도 1의 인코더(100)로부터 출력된 신호을 수신할 수 있고, 수신된 신호는 엔트로피 디코딩부(210)를 통해 엔트로피 디코딩될 수 있다. 이때, 상기 출력된 신호는 그래프 파라미터 셋(graph parameter set)과 예측 벡터 정보를 포함할 수 있다. 상기 예측 벡터 정보는 상기 그래프 라플라시안 행렬의 고유 벡터(eigenvector)와 상기 고유값(eigenvalue)의 분포에 기초하는 비용 함수 간의 선형 결합에 기초하여 결정된 것일 수 있다.
다른 예로, 상기 예측 벡터 정보는, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 고유 벡터(eigenvector)를 변수로 갖는 최적화 함수에 기초하여 결정된 것일 수 있다. 이 경우, 상기 최적화 함수는 라그랑지 승수를 이용하여 비제한 최적화 함수(unconstrained optimization function)로 표현될 수 있고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.
상기 디코더(200)는 상기 예측 벡터 정보에 기초하여 예측 신호를 생성할 수 있다. 이는 인터 예측부(260)에서 수행될 수 있으나, 본 발명은 이에 한정되지 않는다.
역양자화부(220)에서는 양자화 스텝 사이즈 정보를 이용하여 엔트로피 디코딩된 신호로부터 변환 계수(transform coefficient)를 획득한다. 여기서, 획득된 변환 계수는 상기 도 1의 변환부(120)에서 설명한 다양한 실시예들이 적용된 것일 수 있다.
역변환부(230)에서는 변환 계수를 역변환하여 잔여 신호(residual signal)를 획득하게 된다.
획득된 잔여 신호를 인터 예측부(260) 또는 인트라 예측부(265)로부터 출력된 예측 신호(prediction signal)에 더함으로써 복원 신호(reconstructed signal)가 생성된다.
필터링부(240)는 복원 신호(reconstructed signal)에 필터링을 적용하여 이를 재생 장치로 출력하거나 복호 픽쳐 버퍼부(250)에 전송한다. 복호 픽쳐 버퍼부(250)에 전송된 필터링된 신호는 인터 예측부(260)에서 참조 픽쳐로 사용될 수 있다.
본 명세서에서, 인코더(100)의 필터링부(160), 인터 예측부(180) 및 인트라 예측부(185)에서 설명된 실시예들은 각각 디코더의 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)에도 동일하게 적용될 수 있다.
도 3은 본 발명이 적용되는 일 실시예에 따라 비디오 프레임 내 8×8 블록 내에서의 통계적 관계를 모델링하기 위해 사용된 그래프의 예들을 나타낸다.
상기 도 3은 이미지 픽셀의 정사각형 블록으로 정의된 그래프의 예를 나타낸다. 상기 도3을 참조하면, 본 발명은 이미지 또는 비디오 내의 8×8 픽셀 블록의 처리를 위해 사용될 수 있는 그래프 타입의 두 가지 실시예를 제공한다. 각 픽셀은 그래프 꼭지점에 연관되며, 상기 픽셀의 값은 그래프 꼭지점의 값이 된다.
그래프 에지는 그래프 꼭지점을 연결하는 선을 의미할 수 있다. 상기 그래프 에지는 신호 내의 어떠한 형태의 통계적 의존성을 나타내기 위해 사용되며, 이 때 양의 가중치는 그 강도를 나타낼 수 있다. 예를 들어, 각 꼭지점은 모든 다른 꼭지점에 연결될 수 있으며, 0의 가중치는 서로 연관되지 않거나 약하게 연관된 꼭지점들을 연결하는 에지에 할당될 수 있다. 다만, 표현의 간단화를 위해, 0의 가중치를 갖는 에지는 완전히 제거될 수 있다.
본 발명의 다른 실시예로, 그래프 꼭지점을 연결하는 에지들은 신호 특성에 따라 사전에 설정될 수 있다. 예를 들어, 꼭지점들은 오디오 신호에 대해서는 1차원 배열 상에, 이미지에 대해서는 2차원 배열 상에, 또한 비디오 프레임에 대해서는 3차원 배열 상에 배치될 수 있다. 이때, 상기 3차원 배열의 경우에는 시간 축이 3번째 차원이 될 수 있다. 예를 들어, 도 3(a)의 그래프에서, 그래프 에지는 각각의 꼭지점이 그로부터 가장 가까운 4개의 인접 꼭지점들에 연결되도록 정의될 수 있다. 다만, 블록 경계의 경우는 다르게 취급될 수 있다. 또한, 도 3(b)의 그래프에서는 각각의 꼭지점이 그로부터 가장 가까운 8개의 인접 꼭지점들에 연결되도록 정의될 수 있다.
한편, 본 발명은 어떠한 그래프 설정에도 적용 가능할 수 있다.
그래프 신호 G의 라플라시안 행렬은 다음 수학식 1과 같다.
Figure 112016127630011-pct00001
여기서, D는 차수 행렬(Degree matrix)을 나타내고, 예를 들어 상기 차수 행렬은 각 꼭지점의 차수에 대한 정보를 포함하는 대각 행렬(diagonal matrix)을 의미할 수 있다. A는 인접 픽셀과의 연결 관계(edge)를 가중치로 나타내는 인접 행렬(adjacency matrix)을 나타낸다.
그래프 G 및 그 행렬이 정의되는 방법은 본 명세서에서는 상세히 설명하지 않는다. 본 명세서에서는 단지 그래프가 그래프 타입에 대해 정의된 신호들의 특성들을 이용하는 몇몇 기술로 정의될 수 있다고 가정할 뿐이다. 따라서, 본 발명은 행렬 D, A를 이용하여 신호 모델링을 수행하여 그래프를 생성하면 고유 분해(eigen-decomposition) 과정을 통해 다음 수학식 2와 같이 변환 커널 U를 생성할 수 있다.
Figure 112016127630011-pct00002
여기서, Λ는 그래프 라플라시안 행렬의 고유값(eigenvalue)을 나타내고, U는 고유 벡터(eigenvector)을 나타내고, 이는 그래프 기반 변환 행렬일 수 있다. L은 그래프 라플라시안 행렬(graph Laplacian matrix)을 나타낸다.
그래프 기반 변환 행렬 U의 행들(columns)은 그래프 라플라시안 행렬(graph Laplacian matrix) L의 고유 벡터(eigenvectors)를 포함하고, 대각 행렬(diagonal matrix)은 대응되는 그래프 라플라시안 행렬(graph Laplacian matrix) L의 고유값(eigenvalues)에 대해 다음 수학식 3과 같이 표현될 수 있다.
Figure 112016127630011-pct00003
일반적으로 고유 벡터(eigenvectors)는 특유의 형태로 정의되지 않지만, 본 발명의 목적에 따라, 그래프 라플라시안 행렬(graph Laplacian matrix) L이 대칭적이기 때문에 모든 고유 벡터(eigenvectors)는 실수값이고, 적어도 하나의 분해(decomposition)는 존재할 수 있다. 그래프 신호G 에서 신호 벡터g의 그래프 기반 푸리에 변환은 다음 수학식 4와 같이 정의될 수 있다.
Figure 112016127630011-pct00004
여기서, h는 변환 벡터를 나타내고, UT는 그래프 기반 변환 행렬 U의 전치 행렬을 나타내며, g는 그래프 신호 G의 벡터를 나타낸다.
상기에서 설명한 그래프 신호에 대한 기본적인 정의에 기초하여, 이하에서 본 발명의 실시예들을 구체적으로 설명하도록 한다.
도 4는 본 발명이 적용되는 일 실시예로써, 꼭지점에 대한 신호 벡터와 에지 가중치로 정의된 임의의 그래프를 나타낸다.
본 발명의 일실시예에서는, 신호가 임의의 그래프 G로 정의되는 방법을 제공한다. 예를 들어, 그래프 신호는 각 그래프 꼭지점으로 정의되고, G차원 벡터 g에 의해 표현될 수 있다. 그래프 특성들은 각 그래프 에지 상의 음이 아닌 가중치들에 의해 정의될 수 있다.
상기 도 4의 경우, 그 꼭지점들에 정의된 신호 벡터와 음이 아닌 에지 가중치에 의해 정의된 그래프 특성을 가진 임의의 그래프를 나타낸다. 여기서, 꼭지점 값들은 2개의 셋으로 분할될 수 있고, 여기서 상기 2개의 셋은 예측될 신호 x와 컨텍스트 신호(context signal) y를 의미할 수 있다. 상기 도 4에서 x1, x2, …, x6는 예측될 신호를 나타내고, y1, y2, …, y5는 컨텍스트 신호(context signal)를 나타낸다. 예를 들어, 하기 도 5에서와 같이, 상기 예측될 신호 x는 원 신호를 의미할 수 있고, 컨텍스트 신호(context signal) y는 루프에 따라 복원된 신호를 의미할 수 있다.
상기 도 4에서 살펴본 바와 같이, 본 발명이 컨텍스트 신호 y로부터 신호 x를 예측하고자 한다고 가정하면, 그래프 모델에서 x와 y는 신호 g를 형성할 수 있다.
벡터 표기법에 따라, 본 발명은 그래프 신호 g를 수학식 5와 같이 분해할 수 있다.
Figure 112016127630011-pct00005
여기서, g는 그래프 신호를 나타내고, x는 예측될 신호를 나타내며, y는 컨텍스트 신호를 나타낸다.
한편, 그래프 기반 변환 행렬 T는 다음 수학식 6과 같이 나타낼 수 있다.
Figure 112016127630011-pct00006
여기서, T는 그래프 기반 변환 행렬을 나타내고, A 및 M은 각각 행렬을 나타낸다.
그리고, 상기 수학식 4는 상기 수학식 5 및 수학식 6에 기초하여 다음 수학식 7과 같이 다시 쓰여질 수 있다.
Figure 112016127630011-pct00007
여기서, h는 G(=M+N) 차원을 갖는다.
한편, TT = T-1이므로, 상기 수학식 7은 다음 수학식 8과 같이 쓰여질 수 있다.
Figure 112016127630011-pct00008
이때, 다음 수학식 9의 조건을 만족한다.
Figure 112016127630011-pct00009
여기서, I 와 0은 각 행렬 산출물(matrix products)에 대응되는 차원의 자기 행렬(identity matrix) 및 제로 행렬(0 matrix)을 나타낸다.
이와 같은 정의에 기초하여, 이하에서는 본 발명의 실시예를 보다 상세히 설명하도록 한다.
도 5는 본 발명이 적용되는 실시예로서, 그래프 기반의 신호를 처리하는 인코더의 개략적 블록도를 예시한다.
상기 도 5을 살펴보면, 본 발명이 적용되는 인코더(500)는 그래프 기반 변환부(510), 양자화부(520), 역양자화부(530), 역변환부(540), 버퍼(550), 예측부(560), 및 엔트로피 인코딩부(570)을 포함한다.
인코더(500)는 비디오 신호를 수신하고 상기 비디오 신호로부터 상기 예측부(560)에서 출력된 예측된 신호를 차감하여 예측 에러를 생성한다. 상기 생성된 예측 에러는 상기 그래프 기반 변환부(510)으로 전송되고, 상기 그래프 기반 변환부(510)은 변환 방식을 상기 예측 에러에 적용함으로써 변환 계수를 생성한다. 이때, 상기 그래프 기반 변환부(510)는 그래프 기반 변환 행렬을 산출할 수 있고, 이를 이용하여 변환을 수행할 수 있다. 또한, 상기 그래프 기반 변환부(510)는 본 명세서에 기재된 실시예들을 수행할 수 있다.
본 발명이 적용되는 다른 실시예로, 상기 그래프 기반 변환부(510)는 최적화 함수에 기초하여 최적화된 그래프 기반 변환 커널을 획득할 수 있다. 이때, 상기 최적화 함수는 라그랑지 승수를 이용하여 비제한 최적화 함수(unconstrained optimization function)로 표현될 수 있고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.
또한, 상기 그래프 기반 변환부(510)는 상기 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득할 수 있고, 상기 예측 벡터는 예측 신호를 생성하기 위해 이용될 수 있다. 이때, 상기 예측 벡터는 상기 그래프 라플라시안 행렬의 고유 벡터(eigenvector)와 상기 고유값(eigenvalue)의 분포에 기초하는 비용 함수 간의 선형 결합에 기초하여 획득될 수 있다.
상기 획득된 예측 벡터는 역변환부(540)로 전송되어 역변환될 수 있고, 역변환된 예측 벡터는 예측부(56)로 전송되어 예측 신호를 생성하기 위해 이용될 수 있다. 또는 상기 예측 벡터는 엔트로피 인코딩부(570)로 전송되어 인코딩될 수도 있다.
상기 그래프 기반 변환부(510)의 실시예들은 도 1의 변환부(120)에 포함되어 수행될 수 있고, 또는 별개의 기능 블록으로 수행될 수도 있다. 그리고, 본 발명이 적용되는 예측 방법도 상기 그래프 기반 변환부(510)에서 수행되는 것으로 설명하고 있으나, 본 발명은 이에 한정되지 않는다. 예를 들어, 본 발명이 적용되는 예측 방법은 별개의 기능 블록으로 수행되거나 또는 인터 예측부(180)/예측부(560)에서 수행될 수 있다.
본 발명이 적용되는 예측 방법의 실시예들은 이하에서 보다 상세히 설명하도록 한다.
그래프 기반 예측(Graph-based prediction)
그래프의 푸리에 변환을 정의하기 위해, 본 발명은 G(W)에 대응되는 차수 행렬(degree matrix)로 표현될 수 있다. 여기서, 차수 행렬(degree matrix)은 각 꼭지점의 차수에 대한 정보를 포함하는 대각 행렬(diagonal matrix)로, 아래 수학식 10과 같이 정의될 수 있다. 예를 들어, 상기 차수는 한 꼭지점에 이어져 있는 변의 수를 의미할 수 있다.
Figure 112016127630011-pct00010
그래프 라플라시안 행렬 L= D-W 이고, 따라서 그래프 라플라시안 행렬 Li,j는 다음 수학식 11과 같다.
Figure 112016127630011-pct00011
이때, 행렬 T를 그래프 푸리에 변환이라 정의하면, 행렬 T는 다음 수학식 12와 같다.
Figure 112016127630011-pct00012
여기서, U는 L을 대각화하는 고유 행렬을 나타내고, L은 다음 수학식 13과 같다.
Figure 112016127630011-pct00013
그리고, 직교 행렬은 다음 수학식 14를 만족한다.
Figure 112016127630011-pct00014
이러한 정의에 기초하여, 고유 행렬(eigen matrix) U의 행들(columns)은 L의 고유 벡터(eigenvectors)를 포함하고, L의 고유값(eigenvalues)은 다음 수학식 15와 같이 표현될 수 있다.
Figure 112016127630011-pct00015
일반적으로 고유 벡터(eigenvectors)는 특유의 형태로 정의되지 않지만, 본 발명의 목적에 따라, L이 대칭적이기 때문에 모든 고유 벡터(eigenvectors)는 실수값이고, 적어도 하나의 분해(decomposition)는 존재함을 고려해야 한다. 이는 수학식 14를 만족하는 어떠한 행렬에도 적용 가능하다.
랜덤 신호의 예측은 고전적인 통계적 문제이다. 일반적인 방식으로, 본 발명은 벡터 함수를 수학식 16과 같이 정의할 수 있다.
Figure 112016127630011-pct00016
여기서, p(y)는 N차원 벡터y가 주어졌을 때 M차원 랜덤 벡터(random vector)의 예측 값(predicted value)을 나타낸다.
조건적 확률 분포 f(x|y)를 알고 있다고 가정하면, 본 발명은 수학식 17과 같은 최적화 함수를 통해 최적의 예측 함수 p*(y)를 찾을 수 있다.
Figure 112016127630011-pct00017
여기서, p*(y)는 최적의 예측 함수를 나타내고, x는 원 신호를 나타내며, p(y)는 N차원 벡터y가 주어졌을 때 M차원 랜덤 벡터(random vector)의 예측 값(predicted value)을 나타낸다. 그리고, Ex|y{·}는 조건부 기대 연산자(conditional expectation operator)를 나타낸다.
그리고, 수학식 18은 예측 에러를 측정하는 함수(function measuring prediction error)를 나타낸다.
Figure 112016127630011-pct00018
예를 들어, D가 유클리디안 거리(Euclidean distance)를 측정할 때, 본 발명은 수학식 19와 같은 최소 제곱 에러 문제(minimum squared error problem)를 갖는다.
Figure 112016127630011-pct00019
여기서, p*(y)는 최적의 예측 함수를 나타내고, x는 원 신호를 나타내며, p(y)는 N차원 벡터y가 주어졌을 때 M차원 랜덤 벡터(random vector)의 예측 값(predicted value)을 나타낸다.
이 경우, 최적 예측값(optimal predictor )은 다음 수학식 20과 같을 수 있다.
Figure 112016127630011-pct00020
선형 예측과 같은 특별한 경우가 적용되는 경우, 본 발명은 수학식 21과 같이 표현할 수 있다.
Figure 112016127630011-pct00021
여기서, P는 MxN 행렬을 나타내고, y는 N차원 벡터를 나타낸다.
제곱 에러 측정 (squared-error measure)에 대한 최적의 선형 예측 행렬(optimal linear predictor matrix)은 다음 수학식 22와 같이 계산될 수 있다.
Figure 112016127630011-pct00022
또한, 본 발명이 적용되는 예측 알고리즘(prediction algorithm)을 설명하기 위해, 목적 함수(objective function)의 정의를 더 가정할 필요가 있다.
Figure 112016127630011-pct00023
상기 수학식 23에서, Ω(h,λ)는 변환 h 가 얼마나 일어날 것 같지 않은지(how "improbable" is transform h)를 측정하기 위해, 그래프 라플라시안 고유값 λ의 벡터를 이용한다. 이 함수를 최소화하는 변환 벡터 h는 더 개연성 있는 신호(more probable signals)에 대응된다.
본 발명은 확률 모델의 실제 이론을 가정하는 것이 아니라, 더 큰 고유값에 대응되는 고주파수 성분이 전형적으로 더 작은 크기(lower magnitude)를 갖는다는 경험적 관찰에 기초한다.
이러한 정의에 따라, 본 발명은 그래프 기반 예측을 분해하는 방법(how to decompose the graph-based prediction )을 제공한다. 즉, x로부터 y를 예측하기 위해 그래프 신호 G의 정보를 이용할 수 있다. 이는 다음과 같은 과정을 따른다.
첫째, 그래프 신호 G 의 에지 가중치들을 결정하고, 그래프 라플라시안 행렬 L을 계산할 수 있다.
둘째, 변환 행렬 T 및 고유값(eigenvalue) λ를 갖는 벡터를 결정하기 위해 그래프 라플라시안 행렬 L의 스펙트럼 분해(spectral decomposition)을 수행할 수 있다.
셋째, 상기 스펙트럼 분해 결과에 기초하여, 다음 수학식 24와 같이 최적의 변환 벡터 h*(y)를 산출할 수 있다.
Figure 112016127630011-pct00024
넷째, 상기 수학식 24를 이용하는 다음 수학식 25에 기초하여 예측 벡터 p(y)를 산출할 수 있다.
Figure 112016127630011-pct00025
본 발명의 다른 실시예로, 그래프 가중치 셋을 미리 정의하는 것도 가능하다. 그럼으로써 모든 예측 벡터들에 대해, 라플라시안 계산 및 변환 행렬 계산과 관련된 위 첫번째 단계 및 두번째 단계를 반복하지 않을 수 있다.
그래프 기반 변환 최적화(Graph-based transform optimization)
본 발명의 그래프 기반 예측 알고리즘에서, 다음 수학식 26의 최적화 문제에 대한 더 효율적인 해법을 찾기 위해 몇 가지 특별한 특징을 활용할 수 있다.
Figure 112016127630011-pct00026
여기서, Ω(h,λ)는 변환 h 가 얼마나 일어날 것 같지 않은지(how "improbable" is transform h)를 측정하기 위한 목적 함수(objective function)를 나타내고, λ 벡터는 그래프 라플라시안 고유값을 나타낸다. 그리고, “s.t.”는 “subject to”의 약어로, 최적화 함수에 대한 제한식을 따른다는 것을 나타낸다. 만약, Ω(h,λ)가 연속적이고 미분가능하다면(continuous and differentiable), 본 발명은 벡터 s에 의해 표현된 라그랑지 승수 셋(a set of Lagrange multipliers)을 이용할 수 있고, 다음 수학식 27에 의해 정의된 수식 시스템을 해결할 수 있다.
Figure 112016127630011-pct00027
그러나, 행렬 A 및 M이 직교 부분 공간(orthogonal subspaces)을 발생시키기 때문에, 본 발명은 M차원 벡터 z를 정의하고 다음 수학식 28을 이용하여, 수학식 29를 획득할 수 있다.
Figure 112016127630011-pct00028
Figure 112016127630011-pct00029
그리고, 다음 수학식 30의 비제한 최적화 문제(unconstrained optimization problem)를 해결하여 수학식 31을 획득할 수 있다.
Figure 112016127630011-pct00030
Figure 112016127630011-pct00031
상기와 같은 그래프 기반 변환 최적화 과정을 통해 최적화된 변환 벡터를 획득할 수 있게 된다.
2차 목적 함수의 정의(Definition of Quadratic objective function)
본 발명은 다음 수학식 32와 같은 목적 함수를 2차 함수로써 정의할 수 있다.
Figure 112016127630011-pct00032
여기서, W는 λ에 기초하는 세미-포지티브(semi-positive)의 행렬이다. 예를 들어, W는 다음 수학식 33과 같이 간단하게 정의할 수 있다.
Figure 112016127630011-pct00033
표시의 단순화를 위해, 본 발명은 암시적으로 λ에 기초하는 행렬 W의 의존성을 고려하고, 다음 수학식 34의 해를 분석할 수 있다.
Figure 112016127630011-pct00034
최적의 해를 찾기 위해 라그랑지 승수를 이용할 수 있다. 2차 목적 함수의 경우에, 상기 수학식 27에 정의된 수식들은 모두 선형이고, 본 발명은 다음 수학식 35와 같은 행렬 형태를 가질 수 있다.
Figure 112016127630011-pct00035
만약 W가 단수(singular)가 아니면, 다음 수학식 36 및 수학식 37과 같이 표현될 수 있다.
Figure 112016127630011-pct00036
Figure 112016127630011-pct00037
이를 h에 대해 풀면, 본 발명은 다음 수학식 38을 획득할 수 있고, 예측 값은 수학식 39와 같다.
Figure 112016127630011-pct00038
Figure 112016127630011-pct00039
본 발명의 다른 실시예로, W가 단수(singular)일 때의 경우를 다음과 같이 설명할 수 있다. 2차 목적함수에 대한 수학식 30의 대응되는 버전은 다음 수학식 40과 같다.
Figure 112016127630011-pct00040
최적의 해는 다음 수학식 41 및 수학식 42에 의해 정의될 수 있고, 결과적으로 수학식 43을 획득할 수 있다.
Figure 112016127630011-pct00041
Figure 112016127630011-pct00042
Figure 112016127630011-pct00043
본 발명이 적용되는 다른 실시예로, 최적의 변환 벡터를 선택하기 위한 목적 함수를 선택하는 다른 방법을 제공한다. 예를 들어, 2차 함수는 다음 수학식 44와 같은 컨벡스 함수(convex function)의 특별한 경우일 수 있다.
Figure 112016127630011-pct00044
여기서, wk(λk) 는 음이 아닌 가중치이고, αk≥1 는 큰 변환 값에 대한 페널티의 상대적 증가를 정의한다. 그러한 파라미터들은 개연성 없는 계수들이 작은 값을 갖도록 선택될 수 있다.
한편, 상기 양자화부(520)는 상기와 같은 과정을 통해 생성된 변환 계수를 양자화하여 상기 양자화된 계수를 엔트로피 인코딩부(570)으로 전송한다.
상기 엔트로피 인코딩부(570)은 상기 양자화된 신호에 대한 엔트로피 코딩을 수행하고 엔트로피 코딩된 신호를 출력한다.
상기 양자화부(520)에 의해 출력된 상기 양자화된 신호는 예측 신호를 생성하기 위해 사용될 수 있다. 예를 들어, 상기 인코더(500)의 루프 내의 상기 역양자화부(530) 및 상기 역변환부(540)은 상기 양자화된 신호가 예측 에러로 복원되도록 상기 양자화된 신호에 대한 역양자화 및 역변환을 수행할 수 있다. 복원된 신호는 상기 복원된 예측 에러를 상기 예측부(560)에 의해 출력된 예측 신호에 더함으로써 생성될 수 있다.
상기 버퍼(550)는 예측부(560)의 향후 참조를 위해 복원된 신호를 저장한다.
상기 예측부(560)은 이전에 복원되어 상기 버퍼(550)에 저장된 신호를 사용하여 예측 신호를 생성할 수 있다. 이러한 경우, 본 발명은 앵커(anchor) 이미지 내 영역을 사용하여 목표 이미지 내 영역을 효율적으로 예측하는 것에 관련된 것이다. 여기서, 상기 앵커 이미지는 참조 이미지, 참조 픽쳐 또는 참조 프레임을 의미할 수 있다. 효율은 율-왜곡(Rate-Distortion) 비용 또는 예측 에러 내 왜곡을 정량화하는 평균 제곱 에러를 산출함으로써 결정될 수 있다.
본 발명은 그래프 내의 꼭지점과 에지를 식별하며, 잔여값 신호를 인코딩 또는 디코딩하는 방법을 제안한다. 예를 들어, 본 발명의 실시예들은 그래프 기반 변환부(510)를 통해 다양한 실시예들을 수행할 수 있다. 상기 그래프 기반 변환부(510)는 상기 인코더(500) 또는 상기 디코더(700)에 포함될 수 있다.
도 6은 본 발명이 적용되는 실시예로서, 그래프 기반의 신호를 처리하는 디코더의 개략적 블록도를 예시한다.
도 6의 디코더(600)는 도 5의 인코더(500)에 의해 출력된 신호를 수신한다. 이때, 상기 출력된 신호는 그래프 파라미터 셋(graph parameter set)과 레지듀얼 신호를 포함할 수 있다. 상기 그래프 파라미터 셋에 기초하여 그래프 기반 변환 행렬을 획득할 수 있고, 상기 그래프 기반 변환 행렬은 고유 벡터를 포함할 수 있다. 그리고, 예측 벡터는 최적의 변환 벡터를 이용하여 획득될 수 있으며, 상기 최적의 변환 벡터는 최적화 함수를 통해 산출될 수 있다. 이때, 상기 예측 벡터는 변환 벡터와 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득될 수 있고, 상기 변환 벡터는 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정될 수 있다.
한편, 상기 최적화 함수는 라그랑지 승수를 이용하여 비제한 최적화 함수(unconstrained optimization function)로 표현될 수 있고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.
상기 디코더(600)는 상기 예측 벡터 정보에 기초하여 예측 신호를 생성할 수 있다. 이는 예측부(650)에서 수행될 수 있으나, 본 발명은 이에 한정되지 않는다.
상기 엔트로피 디코딩부(610)은 수신된 신호에 대한 엔트로피 디코딩을 수행한다. 상기 역양자화부(620)은 양자화 단계 크기에 대한 정보를 기초로 하여 상기 엔트로피 디코딩된 신호로부터 변환 계수를 획득한다.
상기 역변환부(630)은 변환 계수에 대한 역변환을 수행함으로써 예측 에러를 취득한다. 이때, 상기 역변환은 상기 인코더(500)에서 획득된 그래프 기반 변환에 대한 역변환을 의미할 수 있다.
복원된 신호는 상기 획득된 예측 에러를 상기 예측부(650)에 의해 출력된 예측 신호에 더함으로써 생성되며, 이는 복원부(미도시)에서 수행된다.
상기 버퍼(640)는 상기 예측부(650)의 향후 참조를 위해 상기 복원된 신호를 저장한다.
상기 예측부(650)은 이전에 복원되어 상기 버퍼(640)에 저장된 신호와 본 발명이 적용되는 예측 벡터를 기반으로 예측 신호를 생성한다.
본 발명에서, 그래프 파라미터에 기초하여 획득된 그래프 기반 변환은 상기 인코더(600) 또는 상기 디코더(600)에서 사용될 수 있다.
도 7은 본 발명이 적용되는 일실시예로서, 그래프 기반 변환부의 내부 블록도를 나타낸다.
도 7을 참조하면, 그래프 기반 변환부(510)는 그래프 파라미터 추출부(511), 그래프 신호 생성부(512), 그래프 기반 변환 산출부(513), 변환 수행부(514), 변환 최적화부(515) 및 그래프 기반 예측부(516)를 포함할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 상기 그래프 기반 변환부(510) 내 각 기능 유닛들은 별개의 기능 유닛으로 동작할 수 있고, 또는 다른 기능 유닛에 포함되어 동작할 수도 있을 것이다.
그래프 파라미터 추출부(511)는 잔여 신호의 타겟 유닛에 대응되는 그래프 내 그래프 파라미터를 추출할 수 있다. 예를 들어, 상기 그래프 파라미터는 꼭지점 파라미터, 및 에지 파라미터 중 적어도 하나를 포함할 수 있다. 상기 꼭지점 파라미터는 꼭지점 위치 및 꼭지점 개수 중 적어도 하나를 포함하고, 상기 에지 파라미터는 에지 가중치 값 및 에지 가중치 개수 중 적어도 하나를 포함할 수 있다. 또한, 상기 그래프 파라미터는 일정 개수의 셋(set)으로 정의될 수 있다.
그래프 신호 생성부(512)는 상기 그래프 파라미터 추출부(511)로부터 추출된 그래프 파라미터에 기초하여 그래프 신호를 생성할 수 있다. 이때, 상기 그래프 신호로부터 그래프 라플라시안 행렬을 산출할 수 있다.
그래프 기반 변환 산출부(513)는 상기 그래프 파라미터 또는 그래프 파라미터 셋에 기초하여 그래프 기반 변환 행렬(graph-based transform matrix)을 획득할 수 있다. 이때, 상기 그래프 기반 변환 행렬은 고유 벡터(eigenvector)를 포함할 수 있다.
또한, 그래프 기반 변환 산출부(513)는 상기 그래프 파라미터 또는 그래프 파라미터 셋에 기초하여 그래프 라플라시안 행렬을 산출할 수 있다. 이 경우, 상기 그래프 기반 변환 행렬은 상기 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득될 수 있다.
변환 수행부(514)는 그래프 기반 변환 행렬을 이용하여 변환을 수행할 수 있다.
변환 최적화부(515)는 최적화 함수를 통해 최적의 변환 벡터를 산출할 수 있다. 여기서, 상기 최적화 함수는 라그랑지 승수를 이용하여 비제한 최적화 함수(unconstrained optimization function)로 표현될 수 있다. 그리고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다. 예를 들어, 상기 최적화 함수로 상기 수학식 24또는 상기 수학식 34가 이용될 수 있고, 상기 최적의 변환 벡터는 상기 수학식 18, 상기 수학식 25 또는 상기 수학식 36을 이용하여 획득될 수 있다.
그래프 기반 예측부(516)는 상기 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득할 수 있다. 상기 예측 벡터는 변환 벡터와 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득될 수 있고, 상기 변환 벡터는 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정될 수 있다. 예를 들어, 상기 예측 벡터는 상기 수학식 19 또는 상기 수학식 37을 이용하여 획득될 수 있다.
또한, 상기 예측 벡터는 인코딩되어 디코더에 전송되거나, 디코더에서 유도될 수도 있다. 전송 방법으로는 예를 들어, 벡터 값을 전송하거나 벡터 값 차이를 전송할 수도 있으나, 본 발명은 이에 한정되지 않는다.
도 8은 본 발명이 적용되는 일실시예로, 그래프 신호에 기초하여 최적화된 예측 벡터를 획득하는 과정을 설명하기 위한 흐름도이다.
인코더는 수신된 비디오 신호로부터 예측 신호를 생성하고, 비디오 신호에서 예측 신호를 감산하여 잔여 신호를 생성할 수 있다. 상기 잔여 신호에 대해 변환이 수행되는데, 이때 그래프 기반 신호 처리 기술을 적용하여 그래프 기반 변환 또는 그래프 기반 예측을 수행할 수 있다. 이하에서는, 그래프 신호에 기초하여 그래프 기반 예측을 수행하는 방법을 설명한다.
먼저, 인코더는 비디오 신호의 타겟 유닛에 대응되는 그래프 파라미터 셋을 결정할 수 있다(S810). 예를 들어, 그래프 신호 G 의 꼭지점 파라미터 및 에지 가중치 중 적어도 하나를 결정할 수 있다.
그리고, 인코더는 그래프 파라미터 셋(graph parameter set)에 기초하여 그래프 신호를 생성할 수 있고, 그래프 신호에 기초하여 그래프 라플라시안 행렬 L을 산출할 수 있다(S820).
인코더는 변환 행렬 T 및 고유값(eigenvalue) λ을 갖는 벡터를 결정하기 위해 그래프 라플라시안 행렬 L의 스펙트럼 분해(spectral decomposition)을 수행할 수 있고, 상기 스펙트럼 분해 결과에 기초하여 그래프 기반 변환 행렬을 획득할 수 있다(S830). 이때, 상기 그래프 기반 변환 행렬은 고유 벡터(eigenvector)를 포함할 수 있다.
인코더는 최적화 함수를 통해 최적의 변환 벡터를 획득할 수 있다(S840). 이때, 상기 최적화 함수로 상기 수학식 24 또는 상기 수학식 34가 이용될 수 있고, 상기 최적의 변환 벡터는 상기 수학식 18, 상기 수학식 25 또는 상기 수학식 36을 이용하여 획득될 수 있다. 여기서, 상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 고유 벡터(eigenvector)를 변수로 가질 수 있다. 그리고, 상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.
그리고, 인코더는 상기 최적의 변환 벡터를 이용하여 예측 벡터를 산출할 수 있다(S850). 여기서, 상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득되고, 상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정될 수 있다. 예를 들어, 예측 함수로 상기 수학식 19 또는 상기 수학식 37가 이용될 수 있다.
한편, 상기 산출된 예측 벡터는 예측 신호를 생성하기 위해 이용될 수 있다. 또는 다른 예로, 상기 예측 벡터는 인코딩되어 디코더로 전송되거나, 디코더에서 유도될 수도 있다.
도 9는 본 발명이 적용되는 일실시예로, 그래프 기반 예측을 이용하여 비디오 신호를 디코딩하는 과정을 설명하기 위한 흐름도이다.
본 발명이 적용되는 디코더는 그래프 파라미터 셋과 레지듀얼 신호를 포함하는 비디오 신호를 수신할 수 있다(S910).
그리고, 그래프 파라미터 셋에 기초하여 그래프 기반 변환 행렬을 획득할 수 있다(S920). 상기 획득된 그래프 기반 변환 행렬을 이용하여 레지듀얼 신호를 복원할 수 있다(S930).
한편, 디코더는 최적화 함수를 통해 최적의 변환 벡터를 산출할 수 있다(S940). 이때, 상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 고유 벡터(eigenvector)를 변수로 가질 수 있다. 그리고, 상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현될 수 있다.
디코더는 상기 최적의 변환 벡터를 이용하여 예측 벡터를 획득할 수 있다(S950). 이는 디코더의 예측부 또는 역변환부에서 수행될 수 있다. 상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvectors)의 선형 결합에 기초하여 획득되고, 상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정될 수 있다.
그리고, 디코더는 상기 예측 벡터에 기초하여 예측 신호를 생성할 수 있다(S960).
디코더는, 상기 생성된 예측 신호와 레지듀얼 신호를 합하여 비디오 신호를 복원할 수 있다(S970).
이와 같이, 본 발명은 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 최적화 예측 알고리즘을 제공함으로써 저복잡도로 예측값을 획득할 수 있고, 나아가 예측 성능을 향상시킬 수 있다.
상기 기술된 것과 같이, 본 발명에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 상기 도 1, 도 2, 도 5, 도 6 및 도 7에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다.
또한, 본 발명이 적용되는 디코더 및 인코더는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, 인터넷 스트리밍 서비스 제공 장치, 3차원(3D) 비디오 장치, 화상 전화 비디오 장치, 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 및 데이터 신호를 처리하기 위해 사용될 수 있다.
또한, 본 발명이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트 스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (20)

  1. 그래프 신호를 이용하여 그래프 기반 예측(graph-based prediction)을 수행하는 방법에 있어서,
    컨텍스트 신호(context signal)를 획득하는 단계, 여기서 상기 컨텍스트 신호는 루프에 따라 복원된 신호를 나타냄;
    그래프 파라미터 셋(graph parameter set)에 기초하여 그래프 신호를 생성하는 단계;
    상기 그래프 신호에 기초하여 그래프 기반 변환 행렬(graph-based transform matrix)을 획득하는 단계, 상기 그래프 기반 변환 행렬은 고유 벡터(eigenvector)를 포함함;
    최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하는 단계; 및
    상기 예측 벡터를 이용하여 예측 신호를 생성하는 단계
    를 포함하되,
    상기 최적화 함수는 상기 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvector)의 선형 결합에 기초하여 획득되고,
    상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 그래프 신호에 기초하여 그래프 라플라시안 행렬(graph Laplacian matrix)을 산출하는 단계를 더 포함하고,
    상기 그래프 기반 변환 행렬(graph-based transform matrix)은 상기 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현되는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    예측 에러를 인코딩하는 단계; 및
    상기 인코딩된 예측 에러를 전송하는 단계
    를 더 포함하는 것을 특징으로 하는 방법.
  6. 그래프 기반 예측(graph-based prediction)에 기초하여 비디오 신호를 디코딩하는 방법에 있어서,
    그래프 파라미터 셋(graph parameter set)과 레지듀얼 신호를 포함하는 상기 비디오 신호를 수신하는 단계;
    상기 그래프 파라미터 셋에 기초하여 고유 벡터(eigenvector)를 포함하는 그래프 기반 변환 행렬을 획득하는 단계;
    최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하는 단계;
    상기 예측 벡터를 이용하여 예측 신호를 생성하는 단계; 및
    상기 예측 신호와 상기 레지듀얼 신호를 합하여 상기 비디오 신호를 복원하는 단계
    를 포함하되,
    상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖고, 상기 컨텍스트 신호는 루프에 따라 복원된 신호를 나타내는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvector)의 선형 결합에 기초하여 획득되고,
    상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정되는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 비용 함수는 상기 변환 벡터의 컨벡스 함수(convex function)이고, 상기 컨벡스 함수(convex function)는 가중치 적용된 변환 벡터 성분을 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현된 것을 특징으로 하는 방법.
  10. 제6항에 있어서,
    상기 그래프 기반 변환 행렬은 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득된 것을 특징으로 하는 방법.
  11. 그래프 신호를 이용하여 그래프 기반 예측(graph-based prediction)을 수행하는 장치에 있어서,
    그래프 파라미터 셋(graph parameter set)에 기초하여 그래프 신호를 생성하고, 상기 그래프 신호에 기초하여 고유 벡터(eigenvector)를 포함하는 그래프 기반 변환 행렬(graph-based transform matrix)을 획득하는 그래프 기반 변환부; 및
    컨텍스트 신호(context signal)를 획득하고, 최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하고, 상기 예측 벡터를 이용하여 예측 신호를 생성하는 예측부
    를 포함하되,
    상기 최적화 함수는 상기 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖고, 상기 컨텍스트 신호는 루프에 따라 복원된 신호를 나타내는 것을 특징으로 하는 장치.
  12. 제11항에 있어서,
    상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvector)의 선형 결합에 기초하여 획득되고,
    상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정되는 것을 특징으로 하는 장치.
  13. 제11항에 있어서,
    상기 그래프 기반 변환부는 상기 그래프 신호에 기초하여 그래프 라플라시안 행렬(graph Laplacian matrix)을 산출하고,
    상기 그래프 기반 변환 행렬(graph-based transform matrix)은 상기 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득되는 것을 특징으로 하는 장치.
  14. 제11항에 있어서,
    상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현되는 것을 특징으로 하는 장치.
  15. 제11항에 있어서,
    예측 에러를 인코딩하고, 상기 인코딩된 예측 에러를 전송하는 엔트로피 인코딩부
    를 더 포함하는 것을 특징으로 하는 장치.
  16. 그래프 기반 예측(graph-based prediction)에 기초하여 비디오 신호를 디코딩하는 장치에 있어서,
    그래프 파라미터 셋(graph parameter set)과 레지듀얼 신호를 포함하는 상기 비디오 신호를 수신하는 엔트로피 디코딩부;
    상기 그래프 파라미터 셋에 기초하여 고유 벡터(eigenvector)를 포함하는 그래프 기반 변환 행렬을 획득하는 역변환부;
    최적화 함수를 통해 산출된 최적의 변환 벡터를 이용하여 예측 벡터를 획득하고, 상기 예측 벡터를 이용하여 예측 신호를 생성하는 예측부; 및
    상기 예측 신호와 상기 레지듀얼 신호를 합하여 상기 비디오 신호를 복원하는 복원부
    를 포함하되,
    상기 최적화 함수는 컨텍스트 신호, 그래프 라플라시안 행렬의 고유값(eigenvalue)과 상기 고유 벡터(eigenvector)를 변수로 갖는 것을 특징으로 하는 장치.
  17. 제16항에 있어서,
    상기 예측 벡터는 변환 벡터와 상기 고유 벡터(eigenvector)의 선형 결합에 기초하여 획득되고,
    상기 변환 벡터는 상기 그래프 라플라시안 행렬의 고유값(eigenvalue)의 분포에 기초하는 비용 함수를 이용하여 결정되는 것을 특징으로 하는 장치.
  18. 제17항에 있어서,
    상기 비용 함수는 상기 변환 벡터의 컨벡스 함수(convex function)이고, 상기 컨벡스 함수(convex function)는 가중치 적용된 변환 벡터 성분을 포함하는 것을 특징으로 하는 장치.
  19. 제18항에 있어서,
    상기 최적화 함수는 라그랑지 승수에 기초하는 비제한 최적화 함수(unconstrained optimization function)로 표현되고, 상기 비제한 최적화 함수(unconstrained optimization function)는 새로운 M차원 벡터에 의해 표현된 것을 특징으로 하는 장치.
  20. 제16항에 있어서,
    상기 그래프 기반 변환 행렬은 그래프 라플라시안 행렬의 스펙트럼 분해(spectral decomposition)를 통해 획득된 것을 특징으로 하는 장치.
KR1020167036419A 2014-10-21 2015-10-21 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치 KR101901355B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462066365P 2014-10-21 2014-10-21
US62/066,365 2014-10-21
PCT/KR2015/011137 WO2016064185A1 (ko) 2014-10-21 2015-10-21 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170016381A KR20170016381A (ko) 2017-02-13
KR101901355B1 true KR101901355B1 (ko) 2018-09-21

Family

ID=55748008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167036419A KR101901355B1 (ko) 2014-10-21 2015-10-21 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치

Country Status (6)

Country Link
US (2) US10425649B2 (ko)
EP (1) EP3211894B1 (ko)
JP (1) JP6356912B2 (ko)
KR (1) KR101901355B1 (ko)
CN (1) CN107005712B (ko)
WO (1) WO2016064185A1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9723116B2 (en) * 2012-09-25 2017-08-01 Jean Edrice Georges Restraining system for handheld electronic devices
US9706829B2 (en) * 2014-07-21 2017-07-18 Rocky Gabriel Tilney Portable docking device
US10255358B2 (en) 2014-12-30 2019-04-09 Facebook, Inc. Systems and methods for clustering items associated with interactions
CN112998808A (zh) 2015-02-13 2021-06-22 瑟西纳斯医疗技术有限责任公司 用于在骨骼中放置医疗设备的系统和方法
USD771613S1 (en) * 2015-08-11 2016-11-15 Griffin Technology, Inc. Case for portable electronic communications device
USD772211S1 (en) * 2015-08-13 2016-11-22 Griffin Technology, Inc. Case for portable electronic communications device
USD772857S1 (en) * 2015-09-23 2016-11-29 Griffin Technology, Inc. Case for portable electronic communications device
USD781836S1 (en) * 2015-10-19 2017-03-21 Modne, Inc. Phone case
USD781839S1 (en) * 2015-10-19 2017-03-21 Modne, Inc. Phone case
USD781837S1 (en) * 2015-10-19 2017-03-21 Modne, Inc. Phone case
US11503292B2 (en) * 2016-02-01 2022-11-15 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal by using graph-based separable transform
CN105807861A (zh) * 2016-03-28 2016-07-27 永德利硅橡胶科技(深圳)有限公司 平板电脑保护壳
US20180063306A1 (en) * 2016-08-23 2018-03-01 Bruce Allen Scannell, JR. Cell Phone Case with Reconfigurable Plates
US10703297B1 (en) 2016-08-26 2020-07-07 Apple Inc. System for holding devices in a passenger vehicle
USD787498S1 (en) * 2016-09-15 2017-05-23 Jinliang Chen Case for electronic communications device
USD861655S1 (en) * 2016-10-28 2019-10-01 Spigen, Inc. Case for a cellular phone
USD860980S1 (en) * 2016-10-28 2019-09-24 Spigen, Inc. Case for a cellular phone
IT201600122898A1 (it) * 2016-12-02 2018-06-02 Ecole Polytechnique Fed Lausanne Epfl Metodi e apparati per codificare e decodificare immagini o flussi video digitali
US20180192031A1 (en) * 2017-01-03 2018-07-05 Leslie C. Hardison Virtual Reality Viewing System
FR3061423B1 (fr) * 2017-01-03 2020-10-23 Ilyu Ensemble comportant un brassard et une pochette pour smartphone
IT201700052116A1 (it) * 2017-05-15 2018-11-15 Romano Lepore Dispositivo porta smartphone o telefono cellulare
USD848996S1 (en) * 2017-07-07 2019-05-21 Spigen Korea Co., Ltd. Case for electronic communications device
USD848997S1 (en) * 2017-07-27 2019-05-21 Spigen Korea Co., Ltd. Case for electronic communications device
USD857683S1 (en) * 2017-07-27 2019-08-27 Spigen Korea Co., Ltd. Case for electronic communications device
US11832886B2 (en) 2017-08-14 2023-12-05 Circinus Medical Technology Llc System and method using augmented reality with shape alignment for medical device placement
USD878346S1 (en) * 2017-08-16 2020-03-17 Spigen, Inc. Phone case
USD839860S1 (en) * 2017-08-18 2019-02-05 Spigen Korea Co., Ltd. Case for electronic communications device
USD839258S1 (en) * 2017-09-01 2019-01-29 Spigen Korea Co., Ltd. Case for electronic communications device
USD839259S1 (en) * 2017-09-01 2019-01-29 Spigen Korea Co., Ltd. Case for electronic communications device
USD839863S1 (en) * 2017-11-10 2019-02-05 Spigen Korea Co., Ltd. Case for electronic communications device
US10927868B2 (en) * 2018-02-01 2021-02-23 Image Builders Marketing, Inc. Decorative cover assembly for vehicle
USD881866S1 (en) 2018-09-14 2020-04-21 Spigen Korea Co., Ltd. Case for smart phone
US20200093231A1 (en) * 2018-09-25 2020-03-26 1LSS Inc. Magnetically coupled wallet accessory for mobile device
WO2020180424A1 (en) 2019-03-04 2020-09-10 Iocurrents, Inc. Data compression and communication using machine learning
EP3955841A4 (en) * 2019-04-15 2023-04-12 Circinus Medical Technologies LLC ATTACHMENT APPARATUS FOR ATTACHING A MEDICAL ALIGNMENT DEVICE FOR ALIGNING A TOOL
AU2020257211A1 (en) 2019-04-15 2021-11-11 Circinus Medical Technology Llc Orientation calibration system for image capture
JP7194292B2 (ja) * 2019-04-17 2022-12-21 アップル インコーポレイテッド 無線位置特定可能タグ
US10831452B1 (en) 2019-09-06 2020-11-10 Digital Asset Capital, Inc. Modification of in-execution smart contract programs
US11432014B2 (en) * 2019-10-25 2022-08-30 Qualcomm Incorporated Parametric graph-based separable transforms for video coding
CN110807392B (zh) * 2019-10-25 2022-09-06 浙江大华技术股份有限公司 编码控制方法以及相关装置
US11242012B1 (en) * 2020-04-07 2022-02-08 Jason Bell Attachable holder for a mobile device
US11219299B1 (en) * 2020-08-11 2022-01-11 Melissa Pimentel Electronic tablet holder assembly
US11839279B2 (en) * 2020-09-22 2023-12-12 Apple Inc. Magnetically attachable wallet
US11724651B2 (en) * 2020-12-30 2023-08-15 Shahroukh M. Kazempour Smart phone mount for vehicles
KR102358678B1 (ko) * 2021-01-14 2022-02-08 영남대학교 산학협력단 대규모 소셜 네트워크 분석 방법 및 이를 수행하기 위한 장치
WO2022169906A1 (en) 2021-02-02 2022-08-11 Circinus Medical Technology Llc Systems and methods for simulating three- dimensional orientations of surgical hardware devices about an insertion point of an anatomy
US11388967B1 (en) 2021-07-07 2022-07-19 Logan R. Riley Device protector
EP4383498A1 (en) 2022-12-06 2024-06-12 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Method of forecasting power production/consumption in a distributed network

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7374142B2 (en) * 2003-03-27 2008-05-20 Carnevali Jeffrey D Magnetic mounting apparatus
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
KR20130001220A (ko) * 2010-02-11 2013-01-03 톰슨 라이센싱 이미지 시퀀스 블록을 코딩 및 재구성하는 방법
KR101598857B1 (ko) 2010-02-12 2016-03-02 삼성전자주식회사 그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법
EP2360927A3 (en) 2010-02-12 2011-09-28 Samsung Electronics Co., Ltd. Image encoding/decoding system using graph based pixel prediction and encoding system and method
KR20110135787A (ko) 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
US9087375B2 (en) * 2011-03-28 2015-07-21 Sony Corporation Image processing device, image processing method, and program
CA2839345A1 (en) * 2011-06-14 2012-12-20 Zhou Wang Method and system for structural similarity based rate-distortion optimization for perceptual video coding
US9116665B2 (en) * 2011-10-10 2015-08-25 AFC Trident, Inc. Modular protective cover with accessory slot for portable electronic device
US8708151B2 (en) * 2012-01-12 2014-04-29 Rokform Llc Case and mount system for handheld electronic device
US9253481B2 (en) 2012-01-13 2016-02-02 Qualcomm Incorporated Determining contexts for coding transform coefficient data in video coding
US8870143B2 (en) * 2012-02-21 2014-10-28 Dmitry Kubin Low profile secure asymmetrical turn-lock coupling mechanism with magnetic rotational orientation locks
JP6188005B2 (ja) * 2012-06-21 2017-08-30 大学共同利用機関法人情報・システム研究機構 濃淡画像符号化装置及び復号装置
US8936222B1 (en) * 2013-11-27 2015-01-20 James W. Bastian System and method for magnetically supporting a device upon a structure
US9616821B2 (en) * 2013-11-28 2017-04-11 David ELHARAR Apparatus for securing a mobile device to a steering wheel
CN103929642B (zh) * 2014-04-24 2017-04-12 北京航空航天大学 一种hevc变换系数的熵编码上下文模型偏移值快速计算方法
US9706829B2 (en) * 2014-07-21 2017-07-18 Rocky Gabriel Tilney Portable docking device
US20160150861A1 (en) * 2014-12-02 2016-06-02 Aevoe International Ltd. Mountable case assembly
US9800283B2 (en) * 2015-06-17 2017-10-24 Airo Collective, Inc. Mobile device holder
US9397719B1 (en) * 2015-06-17 2016-07-19 Airo Collective, Inc. Mobile device holder

Also Published As

Publication number Publication date
JP6356912B2 (ja) 2018-07-11
US10425649B2 (en) 2019-09-24
CN107005712B (zh) 2020-01-03
CN107005712A (zh) 2017-08-01
WO2016064185A1 (ko) 2016-04-28
EP3211894A4 (en) 2018-05-02
EP3211894A1 (en) 2017-08-30
KR20170016381A (ko) 2017-02-13
US20170359584A1 (en) 2017-12-14
US20160106202A1 (en) 2016-04-21
JP2017536033A (ja) 2017-11-30
EP3211894B1 (en) 2020-03-04

Similar Documents

Publication Publication Date Title
KR101901355B1 (ko) 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치
US20180220158A1 (en) Method and device for processing video signal using graph-based transform
US10567763B2 (en) Method and device for processing a video signal by using an adaptive separable graph-based transform
US10499061B2 (en) Method and device for processing video signal by using separable graph-based transform
US20180167618A1 (en) Method and device for processing video signal by using graph-based transform
KR101912769B1 (ko) 그래프 템플릿으로부터 유도된 변환을 이용하여 비디오 신호를 디코딩/인코딩하는 방법 및 장치
JP6592086B2 (ja) 一般化されたグラフパラメータを用いてグラフ基盤変換を行う方法及び装置
US10771815B2 (en) Method and apparatus for processing video signals using coefficient induced prediction
US11394972B2 (en) Method and device for encoding/decoding video signal by using optimized conversion based on multiple graph-based model
WO2017043941A1 (ko) 예측 각도에 따른 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
KR101899090B1 (ko) 기하 요소를 이용하여 그래프 기반의 신호를 처리하는 방법 및 장치
US11503292B2 (en) Method and apparatus for encoding/decoding video signal by using graph-based separable transform
KR20170072243A (ko) 그래프 기반 변환(graph based transform)을 이용한 비디오 신호 처리 방법 및 이를 위한 장치
US20180288411A1 (en) Method for encoding/decoding video signal by using single optimized graph
US20210289230A1 (en) Method and apparatus for encoding and decoding video signal using transform domain prediction for prediction unit partition
US10051268B2 (en) Method for encoding, decoding video signal and device therefor
US20200329232A1 (en) Method and device for encoding or decoding video signal by using correlation of respective frequency components in original block and prediction block

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant