KR20110093532A - 그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법 - Google Patents

그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법 Download PDF

Info

Publication number
KR20110093532A
KR20110093532A KR1020100018720A KR20100018720A KR20110093532A KR 20110093532 A KR20110093532 A KR 20110093532A KR 1020100018720 A KR1020100018720 A KR 1020100018720A KR 20100018720 A KR20100018720 A KR 20100018720A KR 20110093532 A KR20110093532 A KR 20110093532A
Authority
KR
South Korea
Prior art keywords
pixel
graph
value
pixels
prediction
Prior art date
Application number
KR1020100018720A
Other languages
English (en)
Other versions
KR101598857B1 (ko
Inventor
이재준
위호천
센 고드윈
김우식
오르테가 안토니오
Original Assignee
삼성전자주식회사
유니버시티 오브 써던 캘리포니아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 유니버시티 오브 써던 캘리포니아 filed Critical 삼성전자주식회사
Priority to EP10194221A priority Critical patent/EP2360927A3/en
Priority to US13/016,373 priority patent/US8554001B2/en
Publication of KR20110093532A publication Critical patent/KR20110093532A/ko
Application granted granted Critical
Publication of KR101598857B1 publication Critical patent/KR101598857B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones

Abstract

그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법이 개시된다. 부호화 시스템은 입력된 영상에서 서로 이웃한 화소간의 화소값 차이에 기초하여 에지 맵을 생성하고, 생성된 에지 맵을 통해 화소를 연결하여 그래프를 생성하고, 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택하고, 선택된 예측값에 기초하여 영상을 부호화 한다.

Description

그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법{IMAGE/VIDEO CODING AND DECODING SYSTEM AND METHOD USING GRAPH BASED PIXEL PREDICTION AND DEPTH MAP CODING SYSTEM AND METHOD}
본 발명의 실시예들은 그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법에 관한 것이다.
영상(동영상 포함)을 부호화할 경우에 현재 부호화하고자 하는 화소의 주변 화소들을 사용하여 예측 부호화하는 방법이 사용되어 왔다. 예를 들어 디지털 비디오 코덱 표준인 H.264에서, 한 프레임의 영상을 4x4 화소 크기의 블록으로 분할하여 부호화하는데 있어, 한 블록을 부호화할 때에 주변 블록의 화소값을 사용하여 현재 블록의 화소값을 예측한 후에 예측된 값과 현재 블록의 화소 값의 차이를 부호화 함으로써 압축 효율을 높였다.
이러한 종래기술은 주변의 화소값만 가지고는 현재 블록의 화소값을 정확하게 예측하기 어렵기 때문에 현재 블록이 가지고 있는 모양 정보를 부가적으로 제공함으로써 보다 정확한 예측을 수행할 수 있다. 예를 들어 영상의 3차원 깊이 정보를 가지고 있는 깊이 맵 (depth map)을 부호화할 때에 현재 블록을 하나의 직선으로 분할하여 두 개의 영역으로 나누고 각 영역의 대표값을 부호화하는 방법 등이 이용되었다.
본 명세서에서는 영상을 효과적으로 부호화 및 복호화 할 수 있는 시스템 및 방법이 제안된다.
입력된 영상에서 서로 이웃한 화소간의 화소값 차이에 기초하여 에지 맵을 생성하는 에지 맵 생성부, 생성된 에지 맵을 통해 화소를 연결하여 그래프를 생성하는 그래프 생성부, 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택하는 예측값 선택부 및 적어도 하나의 화소 및 예측값에 기초하여 적어도 하나의 화소를 예측 부호화하는 예측 부호화부를 포함하는 부호화 시스템이 제공된다.
일측에 따르면, 에지 맵 생성부는 화소값 차이가 미리 설정된 문턱치 이상인 경우, 서로 이웃한 화소간에 에지가 존재하는 것으로 판단하여 에지 맵에 표시함으로써, 에지 맵을 생성할 수 있다. 이때, 문턱치는, 입력된 영상의 원하는 비트량(target bitrate)에 따라 에지 생성량을 조정하여 부호화된 에지 맵의 비트량을 조정할 수 있도록, 에지 생성시에 조절될 수 있다.
다른 측면에서, 부호화 시스템은 생성된 에지 맵을 부호화하는 에지 맵 부호화부를 더 포함할 수 있고, 에지 맵 부호화부는 에지 맵을 이진 산술 부호화를 통해 압축하여 부호화할 수 있다. 이때, 부호화된 에지 맵은 입력된 영상을 부호화한 비트열에 포함될 수 있다.
또 다른 측면에서, 그래프 생성부는 에지 맵의 에지에 의해 서로 분리되지 않는 복수의 화소를 연결하여 그래프를 생성할 수 있다.
입력된 영상에서 서로 이웃한 화소간의 화소값 차이에 기초하여 에지 맵을 생성하는 단계, 생성된 에지 맵을 통해 화소를 연결하여 그래프를 생성하는 단계, 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택하는 단계 및 적어도 하나의 화소 및 예측값에 기초하여 적어도 하나의 화소를 예측 부호화하는 단계를 포함하는 부호화 방법이 제공된다.
입력된 비트열에서 에지 맵을 복호화하는 에지 맵 복호화부, 복호화된 에지 맵을 통해 화소를 연결하여 그래프를 생성하는 그래프 생성부, 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택하는 예측값 선택부 및 예측값 및 입력된 비트열의 화소 정보에 기초하여 적어도 하나의 화소를 복원하는 예측 보상부를 포함하는 복호화 시스템이 제공된다.
입력된 비트열에서 에지 맵을 복호화하는 단계, 복호화된 에지 맵을 통해 화소를 연결하여 그래프를 생성하는 단계, 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택하는 단계 및 예측값 및 입력된 비트열의 화소 정보에 기초하여 적어도 하나의 화소를 복원하는 단계를 포함하는 복호화 방법이 제공된다.
깊이 맵 및 참조 영상에 기초하여 깊이 맵을 통해 합성될 영상의 화질을 예측하는 단계 및 예측된 화질에 기초하여 부호화 모드를 선택하는 단계를 포함하는 깊이 맵 부호화 방법이 제공된다.
깊이 맵 및 참조 영상에 기초하여 깊이 맵을 통해 합성될 영상의 화질을 예측하는 화질 예측부 및 예측된 화질에 기초하여 부호화 모드를 선택하는 부호화 모드 선택부를 포함하는 깊이 맵 부호화 시스템이 제공된다.
그래프를 이용하여 영상의 지역 정보에 따라 효과적으로 화소 예측을 수행함으로써 압축 효율을 향상시켜 복원된 영상의 화질을 향상시키는 동시에 압축된 비트량은 줄일 수 있다.
깊이 맵을 이용한 영상 합성을 통해 3차원 영상을 부호화하는 경우, 깊이 맵을 손실 부호화하여 발생하는 왜곡값이 합성된 영상에 미치는 영향을 예측하여 최적화된 부호화 모드를 결정할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 부호화 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 복호화부의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 영상의 화소를 표현한 일례이다.
도 4는 본 발명의 일실시예에 있어서, 부호화 방법을 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 있어서, 복호화 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 6은 본 발명의 일실시예에 있어서, 복호화 방법을 도시한 흐름도이다.
도 7은 본 발명의 일실시예에 있어서, 깊이 맵 부호화 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 8은 본 발명의 일실시예에 있어서, 깊이 맵 부호화 방법을 도시한 흐름도이다.
도 9는 본 발명의 일실시예에 있어서, 깊이 맵의 왜곡을 사용하여 합성 영상에 발생하는 왜곡을 추정하는 방법을 설명하기 위한 일례이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 있어서, 부호화 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 부호화 시스템은 도 1에 도시된 바와 같이, 에지 맵 생성부(101), 그래프 생성부(102), 예측값 선택부(130), 예측 부호화부(104), 변환 및 양자화부(105), 엔트로피 부호화부(106), 복호화부(107) 및 에지 맵 부호화부(109)를 포함할 수 있다.
에지 맵 생성부(101)는 입력된 영상에서 서로 이웃한 화소간의 화소값 차이에 기초하여 에지 맵을 생성한다. 이때, 에지 맵 생성부(101)는 화소값 차이가 미리 설정된 문턱치 이상인 경우, 서로 이웃한 화소간에 에지가 존재하는 것으로 판단하여 에지 맵에 표시함으로써, 에지 맵을 생성할 수 있다. 이 경우, 화소값 차이가 문턱치 이상이 아닌 경우에는 서로 이웃한 화소간에 에지가 존재하지 않는 것으로 판단하여 에지 맵에 표시할 수 있다. 예를 들어, 에지가 존재하는 것으로 판단된 경우에는 에지 맵의 해당 위치에 '1'의 값을, 에지가 존재하지 않는 것으로 판단된 경우에는 에지 맵의 해당 위치에 '0'의 값을 각각 부여하여 에지 맵에 표시할 수 있다. 여기서, 문턱치는 입력된 영상의 원하는 비트량(target bitrate)에 따라 에지 생성량을 조정하여 부호화된 에지 맵의 비트량을 조정할 수 있도록, 에지 생성시에 조절될 수 있다.
그래프 생성부(102)는 생성된 에지 맵을 통해 화소를 연결하여 그래프를 생성한다. 이때, 그래프 생성부(102)는 에지 맵의 에지에 의해 서로 분리되지 않는 복수의 화소를 연결하여 그래프를 생성할 수 있다. 즉, 그래프 생성부(102)는 그래프를 생성하기 위해 에지 맵을 참조하여 이웃한 두 화소 사이에 에지가 존재할 경우 두 화소를 연결하지 않고, 에지가 존재하지 않을 경우 두 화소를 연결하여 그래프를 생성할 수 있다.
이때, 일례로 그래프는 아래 수학식 1과 같이 표현될 수 있다.
Figure pat00001
여기서 'G'는 그래프를, 'V'는 영상의 화소를, 'E'는 화소간의 연결을 각각 의미할 수 있다. 이 경우, (i, j) 위치의 화소와 (i´, j´) 위치의 화소가 서로 연결된 경우, 화소간의 연결은 아래 수학식 2와 같이 표현될 수 있다.
Figure pat00002
이때, 연결된 화소간의 방향성은 표시하지 않을 수 있다.
입력된 영상을 미리 설정된 화소 크기의 블록으로 분류하여 부호화하는 경우, 각각의 블록은 해당 그래프에 의해 다수의 영역으로 분할될 수 있다. 즉 서로 연결된 화소들은 하나의 경로를 생성하여 하나의 영역을 이룰 수 있다.
예측값 선택부(130)는 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택한다. 이때, 예측값 선택부(130)는 적어도 하나의 화소가 포함된 블록과 이웃하고, 적어도 하나의 화소와 그래프로 연결된 화소 중 적어도 하나의 화소와 가장 가까운 화소의 화소값을 예측값으로서 선택할 수 있다.
또는 다른 실시예로, 예측값 선택부(130)는 적어도 하나의 화소가 포함된 블록과 이웃하고, 상기 적어도 하나의 화소와 그래프로 연결된 화소의 화소값에 서로 다른 가중치를 부여하고, 상기 서로 다른 가중치가 부여된 화소값간의 연산결과를 상기 예측값으로서 선택할 수 있다.
이러한, 예측값 선택에 대해서는 이후 도 3을 통해 더욱 자세히 설명한다.
이때, 가중치는 그래프의 스펙트럴 분포에 기초하여 결정될 수 있다. 이때, 예측값 선택부(130)는 스펙트럴 분포를 이용하기 위해, 그래프의 라플라시안(Laplace) 행렬의 아이겐(Eigen) 벡터를 계산하고, 아이겐 벡터에 기초하여 가중치를 결정할 수 있다. 예를 들어, 그래프로부터 라플라시안 행렬을 계산한 뒤 아이겐 벡터를 계산하면, 스펙트럴 분포를 나타낼 수 있다. 이때, 아이겐 값이 작은 것부터 큰 순서로, 낮은 주파수에서 높은 주파수를 나타내게 된다. 이때, 예측하고자 하는 화소의 화소값을 x로 설정하고, 아래 수학식 3과 같이 표현되는 벡터를 생성한 후, 아래 수학식 4를 통해 예측하고자 하는 화소값 x를 구할 수 있다.
Figure pat00003
Figure pat00004
여기서, 'e'는 아이겐 벡터를, 'a2 a3 ... aN'는 예측하고자 하는 화소가 포함된 블록과 이웃한 화소들의 화소값을 각각 의미할 수 있다. 'T'는 전치(transpose)를, 연산자 '·'는 벡터 내적 연산자를 각각 의미할 수 있다.
또 다른 실시예로, 예측값 선택부(130)는 적어도 하나의 화소가 포함된 블록과 이웃하고 그래프로 연결된 화소들의 화소값들이나 서로 다른 가중치가 부여된 화소값들을 평면 방정식에 대입하여 계산한 평면값을 예측값으로서 선택할 수도 있다.
이때, 각각의 영역에 대해 적합한 예측값을 찾기 위해, 블록과 이웃한 화소의 화소값으로는 복호화된 화소들의 화소값이 이용될 수 있다. 이는 이후 설명될 복호화 시스템에서도 동일한 정보를 사용하여 부호화된 화소를 복원하는 것이 가능하도록 하기 위함이다. 이러한 복호화된 블록 주변의 화소의 화소값을 이용하는 방법에 대해서는 이후 더 자세히 설명한다.
예측 부호화부(104)는 적어도 하나의 화소 및 예측값에 기초하여 적어도 하나의 화소를 예측 부호화한다. 이때, 예측 부호화부(104)는 일례로 적어도 하나의 화소의 화소값과 상기 예측값간의 차이값을 부호화할 수 있다.
변환 및 양자화부(105)는 예측 부호화된 화소를 변환 및 양자화한다. 즉, 블록의 예측 부호화된 차이값들은 이산 코사인 변환(Discrete Cosine Transform, DCT)과 같은 변환 및 양자화를 통해 손실 압축될 수 있다.
엔트로피 부호화부(106)는 변환 및 양자화된 화소를 엔트로피(entropy) 부호화하여 비트열을 생성한다. 이때, 엔트로피 부호화부(106)는 변환 및 양자화된 화소의 화소값 즉, 변환 및 양자화된 차이값들을 허프만 부호화나 산술 부호화와 같은 엔트로피 부호화를 통해 비트열로 압축할 수 있다.
복호화부(107)는 변환 및 양자화된 화소를 상기 예측값에 기초하여 복호화한다. 이때, 복원된 이웃 화소들(108)은 위에서 잠시 언급한 복호화된 화소들을 의미할 수 있다. 즉, 예측값 선택부(103)에서 적어도 하나의 화소가 포함된 블록의 이웃 화소들에 대한 화소값은 대응하는 복원된 이웃 화소들의 화소값을 이용할 수 있다. 상술한 바와 같이, 이러한 복원된 이웃 화소들(108)을 예측값 선택에 이용하는 것은 복호화 시스템에서도 동일한 정보를 사용하여 부호화된 화소를 복원하는 것이 가능하도록 하기 위함이다.
에지 맵 부호화부(109)는 생성된 에지 맵을 부호화한다. 이때, 에지 맵 부호화부(109)는 에지 맵을 이진 산술 부호화를 통해 압축하여 부호화할 수 있다. 이와 같이, 부호화된 에지 맵은 상술한 비트열인 입력된 영상을 부호화한 비트열에 포함될 수 있다.
도 2는 본 발명의 일실시예에 있어서, 복호화부의 내부 구성을 설명하기 위한 블록도이다. 도 2에 도시된 바와 같이, 복호화부(107)는 역변환 및 역양자화부(201) 및 예측 보상부(202)를 포함할 수 있다.
역변환 및 역양자화부(201)는 변환 및 양자화부(105)를 통해 변환 및 양자화된 값들을 역변환 및 역양자화할 수 있다.
또한, 예측 보상부(202)는 역변환 및 역양자화된 값에 예측값 선택부(103)에서 선택된 예측값을 적용하여 화소들을 복원할 수 있다. 화소들을 다시 복원하는 이유는 예측값 선택부(103)에서 복원된 화소의 화소값을 이용하여 예측값을 선택함으로써, 복호화 시스템에서도 동일한 정보를 사용하여 부호화된 화소를 복원하는 것이 가능하도록 하기 위함이다.
도 3은 본 발명의 일실시예에 있어서, 영상의 화소를 표현한 일례이다. 그림(300)은 복수의 화소를 나타낸 것으로, 대문자 및 소문자 알파벳들은 각각의 화소를 의미할 수 있다. 도 3의 일례에서는 알파벳 a부터 p까지의 화소들이 4x4 화소 크기의 하나의 블록을 구성하고 있다. 그림(300)에서 굵은 선은 화소들이 에지에 의해 두 개의 영역으로 나뉘어진 모습을 나타낸다. 즉, 에지에 의해 화소 a, b, c, d, e, f, g, i와 화소 h, j, k, l, m, n, o, p가 서로 분리되었다. 이때, 화소 h, j, k, l, m, n, o, p 각각에 대한 예측값으로 해당 블록과 이웃하고, 해당 화소와 그래프로 연결된 화소 중 가장 가까운 화소인 화소 L의 화소값이 선택될 수 있다. 또한, 화소 a, b, c, d, e, f, g, I 각각에 대한 예측값으로는 해당 블록과 이웃하고, 해당 화소와 그래프로 연결된 화소 중 가장 가까운 화소의 화소값이 각각 선택될 수 있다. 예를 들어, 화소 b에 대한 예측값으로는 화소 B의 화소값이, 화소 c, g에 대한 예측값으로는 화소 C의 화소값이 각각 이용될 수 있다. 화소 a, f와 같이 가장 가까운 화소가 복수개인 경우에는 특정 방향에 존재하는 화소에 우선순위를 부여할 수 있다. 도 3의 일례에서는 상단에 위치한 화소의 화소값을 예측값으로 선택하였다. 이때, 선택된 화소의 화소값을 직접 예측값으로 이용할 수도 있으나 도 1을 통해 설명한 바와 같이, 복수의 화소와 연결되는 경우, 그 화소들의 화소값에 서로 다른 가중치를 부여한 후 그 합과 같은 연산의 연산결과를 예측값으로 이용할 수도 있다. 예를 들어 4x4 블럭내 화소 a,b,c,d,e,f,g,i는 그래프의 한 경로에 포함되어 있고, 블록과 이웃한 화소 A, B, C, D, I, J, K 와 연결되어 있다. 이때, 화소 A, B, C, D, I, J, K에 대해 각각 가중치를 구하고, 각각에 대해 구해진 가중치가 w_A, w_B, w_C, w_D, w_I, w_J, w_K라고 하면, 이때, 화소 a의 예측값은, 아래 수학식 5와 같이 계산될 수 있다.
Figure pat00005
여기서, 'a_pred'는 화소 a의 예측값을 의미할 수 있다.
도 4는 본 발명의 일실시예에 있어서, 부호화 방법을 도시한 흐름도이다. 본 실시예에 따른 부호화 방법은 도 1을 통해 설명한 부호화 시스템에 의해 수행될 수 있다. 도 4에서는 상기 부호화 시스템에 의해 각각의 단계가 수행되는 과정을 설명함으로써, 부호화 방법을 설명한다.
단계(410)에서 부호화 시스템은 입력된 영상에서 서로 이웃한 화소간의 화소값 차이에 기초하여 에지 맵을 생성한다. 이때, 부호화 시스템은 화소값 차이가 미리 설정된 문턱치 이상인 경우, 서로 이웃한 화소간에 에지가 존재하는 것으로 판단하여 에지 맵에 표시함으로써, 에지 맵을 생성할 수 있다. 이 경우, 화소값 차이가 문턱치 이상이 아닌 경우에는 서로 이웃한 화소간에 에지가 존재하지 않는 것으로 판단하여 에지 맵에 표시할 수 있다. 예를 들어, 에지가 존재하는 것으로 판단된 경우에는 에지 맵의 해당 위치에 '1'의 값을, 에지가 존재하지 않는 것으로 판단된 경우에는 에지 맵의 해당 위치에 '0'의 값을 각각 부여하여 에지 맵에 표시할 수 있다. 여기서, 문턱치는 입력된 영상의 원하는 비트량(target bitrate)에 따라 에지 생성량을 조정하여 부호화된 에지 맵의 비트량을 조정할 수 있도록, 에지 생성시에 조절될 수 있다.
단계(420)에서 부호화 시스템은 생성된 에지 맵을 통해 화소를 연결하여 그래프를 생성한다. 이때, 부호화 시스템은 에지 맵의 에지에 의해 서로 분리되지 않는 복수의 화소를 연결하여 그래프를 생성할 수 있다. 즉, 부호화 시스템은 그래프를 생성하기 위해 에지 맵을 참조하여 이웃한 두 화소 사이에 에지가 존재할 경우 두 화소를 연결하지 않고, 에지가 존재하지 않을 경우 두 화소를 연결하여 그래프를 생성할 수 있다.
이때, 일례로 그래프는 상술한 수학식 1과 같이 표현될 수 있다.
입력된 영상을 미리 설정된 화소 크기의 블록으로 분류하여 부호화하는 경우, 각각의 블록은 해당 그래프에 의해 다수의 영역으로 분할될 수 있다. 즉 서로 연결된 화소들은 하나의 경로를 생성하여 하나의 영역을 이룰 수 있다.
단계(430)에서 부호화 시스템은 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택한다. 이때, 부호화 시스템은 적어도 하나의 화소가 포함된 블록과 이웃하고, 적어도 하나의 화소와 그래프로 연결된 화소 중 적어도 하나의 화소와 가장 가까운 화소의 화소값을 예측값으로서 선택할 수 있다.
또는 다른 실시예로, 부호화 시스템은 적어도 하나의 화소가 포함된 블록과 이웃하고, 상기 적어도 하나의 화소와 그래프로 연결된 화소의 화소값에 서로 다른 가중치를 부여하고, 상기 서로 다른 가중치가 부여된 화소값간의 연산결과를 상기 예측값으로서 선택할 수 있다.
이때, 가중치는 그래프의 스펙트럴 분포에 기초하여 결정될 수 있다. 이때, 부호화 시스템은 스펙트럴 분포를 이용하기 위해, 그래프의 라플라시안 행렬의 아이겐 벡터를 계산하고, 아이겐 벡터에 기초하여 가중치를 결정할 수 있다. 예를 들어, 그래프로부터 라플라시안 행렬을 계산한 뒤 아이겐 벡터를 계산하면, 스펙트럴 분포를 나타낼 수 있다. 이때, 아이겐 값이 작은 것부터 큰 순서로, 낮은 주파수에서 높은 주파수를 나타내게 된다. 이때, 예측하고자 하는 화소의 화소값을 x로 설정하고, 상술한 수학식 3과 같이 표현되는 벡터를 생성한 후, 아래 수학식 4를 통해 예측하고자 하는 화소값 x를 구할 수 있다.
또 다른 실시예로, 부호화 시스템은 적어도 하나의 화소가 포함된 블록과 이웃하고 그래프로 연결된 화소들의 화소값들이나 서로 다른 가중치가 부여된 화소값들을 평면 방정식에 대입하여 계산한 평면값을 예측값으로서 선택할 수도 있다.
이때, 각각의 영역에 대해 적합한 예측값을 찾기 위해, 블록과 이웃한 화소의 화소값으로는 복호화된 화소들의 화소값이 이용될 수 있다. 이는 이후 설명될 복호화 시스템에서도 동일한 정보를 사용하여 부호화된 화소를 복원하는 것이 가능하도록 하기 위함이다. 이러한 복호화된 블록 주변의 화소의 화소값을 이용하는 방법에 대해서는 이후 더 자세히 설명한다.
단계(440)에서 부호화 시스템은 적어도 하나의 화소 및 예측값에 기초하여 적어도 하나의 화소를 예측 부호화한다. 이때, 부호화 시스템은 일례로 적어도 하나의 화소의 화소값과 상기 예측값간의 차이값을 부호화할 수 있다.
단계(450)에서 부호화 시스템은 예측 부호화된 화소를 변환 및 양자화한다. 즉, 블록의 예측 부호화된 차이값들은 이산 코사인 변환과 같은 변환 및 양자화를 통해 손실 압축될 수 있다.
단계(460)에서 부호화 시스템은 변환 및 양자화된 화소를 엔트로피 부호화하여 비트열을 생성한다. 이때, 부호화 시스템은 변환 및 양자화된 화소의 화소값 즉, 변환 및 양자화된 차이값들을 허프만 부호화나 산술 부호화와 같은 엔트로피 부호화를 통해 비트열로 압축할 수 있다.
단계(470)에서 부호화 시스템은 생성된 에지 맵을 부호화한다. 이때, 부호화 시스템은 에지 맵을 이진 산술 부호화를 통해 압축하여 부호화할 수 있다. 이와 같이, 부호화된 에지 맵은 상술한 비트열인 입력된 영상을 부호화한 비트열에 포함될 수 있다.
부호화 시스템은 또한, 변환 및 양자화된 화소를 상기 예측값에 기초하여 복호화할 수 있다. 즉, 단계(430)에서 적어도 하나의 화소가 포함된 블록의 이웃 화소들에 대한 화소값은 대응하는 복호화된 이웃 화소들의 화소값을 이용할 수 있다. 상술한 바와 같이, 이러한 복호화된 이웃 화소들을 예측값 선택에 이용하는 것은 복호화 방법에서도 동일한 정보를 사용하여 부호화된 화소를 복원하는 것이 가능하도록 하기 위함이다.
도 5는 본 발명의 일실시예에 있어서, 복호화 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 복호화 시스템은 도 5에 도시된 바와 같이 에지 맵 복호화부(501), 그래프 생성부(502), 예측값 선택부(503), 엔트로피 복호화부(504), 역변환 및 역양자화부(505), 예측 보상부(507)를 포함할 수 있다.
에지 맵 복호화부(501)는 입력된 비트열에서 에지 맵을 복호화한다. 이때, 에지 맵 복호화부(501)는 이진 산술 복호화를 통해 입력된 비트열으로부터 에지 맵을 복호화할 수 있다.
그래프 생성부(502)는 복호화된 에지 맵을 통해 화소를 연결하여 그래프를 생성한다. 이때, 그래프 생성부(502)는 에지 맵의 에지에 의해 서로 분리되지 않는 복수의 화소를 연결하여 그래프를 생성할 수 있다. 즉, 그래프를 생성하는 방법은 도 1 및 도 4를 통해 설명한 방법과 동일하다.
예측값 선택부(503)는 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택한다. 이때, 상기 입력된 비트열에 해당하는 영상은 미리 설정된 화소 크기의 블록으로 분류될 수 있고, 예측값 선택부(503)는 적어도 하나의 화소가 포함된 블록과 이웃하고, 상기 적어도 하나의 화소와 상기 그래프로 연결된 화소 중 상기 적어도 하나의 화소와 가장 가까운 화소의 화소값을 상기 예측값으로 선택하거나 또는 상기 적어도 하나의 화소가 포함된 블록과 이웃하고, 상기 적어도 하나의 화소와 상기 그래프로 연결된 화소의 화소값에 서로 다른 가중치를 부여하고, 상기 서로 다른 가중치가 부여된 화소값간의 연산결과를 상기 예측값으로서 선택할 수 있다. 즉, 예측값을 선택하는 방법 또한, 도 1 및 도 4를 통해 설명한 방법과 동일하다.
엔트로피 복호화부(504)는 입력된 비트열을 엔트로피 복호화하여 화소를 복호화하고, 역변환 및 역양자화부(505)는 엔트로피 복호화된 화소를 역변환 및 역양자화한다. 즉, 복호화 시스템은 도 1 및 도 4에서 엔트로피 부호화, 변환 및 역양자화를 통해 생성된 비트열을 엔트로피 복호화, 역변환 및 역양자화를 통해 다시 원래의 값으로 복호화할 수 있다.
이때, 예측값 선택부(503)는 상기 역변환 및 역양자화된 화소 중 상기 적어도 하나의 화소가 포함된 블록과 이웃한 화소 및 상기 그래프에 기초하여 상기 적어도 하나의 화소에 대한 예측값을 선택할 수 있다. 다시 말해, 상술한 블록과 이웃한 화소로서, 역변환 및 역양자화된 화소들 중 해당하는 화소들이 이용될 수 있다. 여기서, 도 5에 도시된 복원된 이웃 화소들(506)이 상기 역변환 및 역양자화된 화소 중 상기 적어도 하나의 화소가 포함된 블록과 이웃한 화소를 의미할 수 있다.
예측 보상부(507)는 예측값 및 입력된 비트열의 화소 정보에 기초하여 적어도 하나의 화소를 복원한다. 즉, 비트열의 화소 정보는 원래의 화소값과 예측값간의 차이값을 포함하는 값으로, 예측 보상부(507)는 차이값에 예측값을 더함으로써, 적어도 하나의 화소를 복원할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 복호화 방법을 도시한 흐름도이다. 본 실시예에 따른 복호화 방법은 도 5를 통해 설명한 복호화 시스템에 의해 수행될 수 있다. 도 6에서는 복호화 시스템에 의해 각각의 단계가 수행되는 과정을 설명함으로써 복호화 방법을 설명한다.
단계(610)에서 복호화 시스템은 입력된 비트열을 엔트로피 복호화하여 화소를 복호화한다.
단계(620)에서 복호화 시스템은 입력된 비트열에서 에지 맵을 복호화화한다. 이때, 복호화 시스템은 이진 산술 복호화를 통해 상기 입력된 비트열으로부터 상기 에지 맵을 복호화할 수 있다.
단계(630)에서 복호화 시스템은 엔트로피 복호화된 화소를 역변환 및 역양자화한다. 즉, 복호화 시스템은 단계(610) 및 단계(630)를 통해 도 1 및 도 4에서 엔트로피 부호화, 변환 및 역양자화를 통해 생성된 비트열을 엔트로피 복호화, 역변환 및 역양자화를 통해 다시 원래의 값으로 복호화할 수 있다.
단계(640)에서 복호화 시스템은 복호화된 에지 맵을 통해 화소를 연결하여 그래프를 생성한다. 이때, 복호화 시스템은 에지 맵의 에지에 의해 서로 분리되지 않는 복수의 화소를 연결하여 그래프를 생성할 수 있다. 즉, 그래프를 생성하는 방법은 도 1 및 도 4를 통해 설명한 방법과 동일하다.
단계(650)에서 복호화 시스템은 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택한다. 이때, 상기 입력된 비트열에 해당하는 영상은 미리 설정된 화소 크기의 블록으로 분류될 수 있고, 복호화 시스템은 적어도 하나의 화소가 포함된 블록과 이웃하고, 상기 적어도 하나의 화소와 상기 그래프로 연결된 화소 중 상기 적어도 하나의 화소와 가장 가까운 화소의 화소값을 상기 예측값으로 선택하거나 또는 상기 적어도 하나의 화소가 포함된 블록과 이웃하고, 상기 적어도 하나의 화소와 상기 그래프로 연결된 화소의 화소값에 서로 다른 가중치를 부여하고, 상기 서로 다른 가중치가 부여된 화소값간의 연산결과를 상기 예측값으로서 선택할 수 있다. 즉, 예측값을 선택하는 방법 또한, 도 1 및 도 4를 통해 설명한 방법과 동일하다.
또한, 복호화 시스템은 상기 역변환 및 역양자화된 화소 중 상기 적어도 하나의 화소가 포함된 블록과 이웃한 화소 및 상기 그래프에 기초하여 상기 적어도 하나의 화소에 대한 예측값을 선택할 수 있다. 즉, 상술한 블록과 이웃한 화소로서, 상기 역변환 및 역양자화된 화소들 중 대응되는 화소들이 이용될 수 있다.
단계(650)에서 복호화 시스템은 예측값 및 상기 입력된 비트열의 화소 정보에 기초하여 상기 적어도 하나의 화소를 복원한다. 즉, 비트열의 화소 정보는 원래의 화소값과 예측값간의 차이값을 포함하는 값으로, 복호화 시스템은 차이값에 예측값을 더함으로써, 적어도 하나의 화소를 복원할 수 있다.
도 5 및 도 6에서 생략된 설명은 도 1 내지 도 4의 설명을 참고할 수 있다.
이후에서는 3차원 영상을 부호화하기 위해 깊이 맵을 사용하여 영상을 합성하는 방법에 대해 설명한다. 이 경우에도 본 발명의 실시예들에 따른 부호화/복호화 시스템 및 방법들이 깊이 맵을 압축하는데 효과적으로 이용될 수 있다. 이때, 그래프 기반 예측 방법과 기존의 다른 예측 방법(예를들어 H.264에서 사용되고 있는 4x4 공간 예측 방법, 16x16 공간 예측 방법, 또는 다양한 시간상 예측 방법)을 사용할 경우에 최적의 예측 방법을 결정하여 사용할 필요가 있다. 최적의 예측 방법을 결정하기 위해서는 그 방법을 사용할 경우에 발생하는 비트량과 그로 인해 발생하는 왜곡을 고려하여 율 왜곡 비용을 계산하여 가장 적은 비용을 갖는 예측 방법을 선택하여 사용할 수 있다. 이 비용을 계산하기 위하여 아래 수학식 6과 같이 표현될 수 있는 라그랑지(Lagrange) 최적화 방법이 이용될 수 있다.
Figure pat00006
여기서, 'D'는 왜곡값을, 'R'은 비트율을, 'λ'는 라그란지안(Lagrangian) 계수를 각각 의미할 수 있다. 이때, 본 발명의 실시예들에서는 왜곡값을 계산하기 위하여 깊이 맵을 손실 부호화하여 발생하는 왜곡값을 바로 사용하지 않고 그 왜곡값이 합성된 영상에 미치는 영향을 예측하여 그 예측 값을 사용할 수 있다. 이는, 깊이 맵이 3차원 영상에 응용될 때에 깊이 맵 자체가 사용자에게 나타나지 않고, 다만 영상을 합성하는 데만 사용되기 때문이다. 그러므로 사용자에게 나타나는 합성된 영상에 발생하는 왜곡값을 사용하여 최적화를 수행하는 것이 바람직하다. 그러나, 최적화 수행을 위해서 각각의 예측 방법에 대해 영상을 합성하여 왜곡의 값을 계산하는 것은 너무 많은 복잡도를 요구하여 실질적으로 응용하는데 한계가 있다. 그러므로, 깊이 맵에서 발생한 왜곡을 사용하여 합성된 영상에 발생하는 왜곡을 예측함으로써 그 예측 값을 가지고 보다 정확한 최적화를 수행할 수 있다.
이때, 깊이 맵과 그에 따른 영상을 부호화할 때에 현재 부호화하고자 하는 깊이 맵의 화소 위치와 같은 위치에 있는 영상의 화소 값과, 그 위치에서 깊이 맵 화소 값에 발생한 왜곡 값에 가중치를 곱하여 생성한 변위만큼 이동한 위치의 화소의 화소값의 차이를 사용하여 합성된 영상에서 발생하는 왜곡 값을 예측할 수 있다. 이 경우, 변위를 계산하기 위해 사용되는 가중치 값은 3차원 영상을 생성하기 위해 사용되는 카메라의 초점 거리와 같은 내부 계수와 카메라 위치 및 각도를 나타내는 외부 계수, 그리고 취득되는 영상이 갖는 최대 깊이 및 최소 깊이 등의 정보를 통해 계산될 수 있다.
또한, 깊이 맵을 압축하기 위하여 그래프 기반 예측 방법과 다른 예측 방법들 중 하나를 선택하여 사용할 경우에 합성된 영상에서 발생하는 왜곡값을 예측한 값을 통해 최적의 예측 방법을 결정할 수 있다. 즉, 라그랑지 최적화 방법에 따라 각 예측 방법에 대해 율 왜곡 비용을 계산할 때에 예측된 왜곡값을 사용하여 율 왜곡 비용을 계산하고, 그 중에서 가장 적은 율 왜곡 비용을 갖는 예측 방법을 최적의 예측 방법으로 선택하여 사용할 수 있다.
도 7은 본 발명의 일실시예에 있어서, 깊이 맵 부호화 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 깊이 맵 부호화 시스템은 도 7에 도시된 바와 같이, 화질 예측부(701), 부호화 모드 선택부(702), 그래프 기반 예측부(703), 공간 예측부(704), 시간 예측부(705), 예측 부호화부(706), 변환 및 양자화부(707) 및 엔트로피 부호화부(708)를 포함할 수 있다.
화질 예측부(701)는 깊이 맵 및 참조 영상에 기초하여 상기 깊이 맵을 통해 합성될 영상의 화질을 예측한다. 이때, 화질 예측부(701)는 깊이 맵의 화소 위치와 같은 위치에 있는 상기 참조 영상의 제1 화소값과, 상기 위치에서 상기 깊이 맵의 화소값에 발생한 왜곡값에 가중치를 부여하여 생성한 변위만큼 이동한 위치의 제2 화소값간의 차이를 사용하여 상기 합성될 영상에서 발생하는 왜곡값을 계산할 수 있다.
이때, 가중치는 상술한 바와 같이 3차원 영상을 생성하기 위해 사용되는 카메라의 초점 거리와 같은 내부 계수와 카메라 위치 및 각도를 나타내는 외부 계수, 그리고 취득되는 영상이 갖는 최대 깊이 및 최소 깊이 등의 정보를 통해 계산될 수 있다.
부호화 모드 선택부(702)는 예측된 화질에 기초하여 부호화 모드를 선택한다. 이때, 부호화 모드 선택부(702)는 왜곡값에 기초하여 율 왜곡(rate-distortion) 비용을 계산하여 상기 계산된 율 왜곡 비용이 최소의 값을 갖는 부호화 모드를 선택할 수 있다.
여기서, 부호화 모드는 그래프 기반 예측 모드, 공간 예측 모드 및 시간 예측 모드 중 둘 이상을 포함할 수 있다. 즉, 부호화 모드 선택부(702)에서 그래프 기반 예측 모드가 선택되는 경우에는 그래프 기반 예측부(703)가, 공간 예측 모드가 선택되는 경우에는 공간 예측부(704)가, 그리고 시간 예측 모드가 선택되는 경우에는 시간 예측부(705)가 각각 동작할 수 있다.
이때, 그래프 기반 예측 모드는 합성될 영상에서 서로 이웃한 화소간의 화소값 차이에 기초하여 에지 맵을 생성하고, 상기 생성된 에지 맵을 통해 화소를 연결하여 그래프를 생성하고, 상기 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택하는 모드를 포함할 수 있다. 즉, 그래프 기반 예측부(103)는 도 1을 통해 설명한 에지 맵 생성부(101), 그래프 생성부(102), 예측자 선택부(103)를 포함할 수 있다. 또는, 에지 맵 부호화부(104)를 더 포함할 수도 있다. 또한, 이 경우 예측 부호화부(706), 변환 및 양자화부(707) 및 엔트로피 부호화부(708) 역시 도 1을 통해 설명한 예측 부호화부(104), 변환 및 양자화부(105) 및 엔트로피 부호화부(106)에 각각 대응될 수 있다.
도 8은 본 발명의 일실시예에 있어서, 깊이 맵 부호화 방법을 도시한 흐름도이다. 본 실시예에 따른 깊이 맵 부호화 방법은 도 7을 통해 설명한 깊이 맵 부호화 시스템에 의해 수행될 수 있다. 도 8에서는 깊이 맵 부호화 시스템에 의해 각각의 단계가 수행되는 과정을 설명함으로써, 깊이 맵 부호화 방법을 설명한다.
단계(810)에서 깊이 맵 부호화 시스템은 깊이 맵 및 참조 영상에 기초하여 상기 깊이 맵을 통해 합성될 영상의 화질을 예측한다. 이때, 깊이 맵 부호화 시스템은 깊이 맵의 화소 위치와 같은 위치에 있는 상기 참조 영상의 제1 화소값과, 상기 위치에서 상기 깊이 맵의 화소값에 발생한 왜곡값에 가중치를 부여하여 생성한 변위만큼 이동한 위치의 제2 화소값간의 차이를 사용하여 상기 합성될 영상에서 발생하는 왜곡값을 계산할 수 있다.
이때, 가중치는 상술한 바와 같이 3차원 영상을 생성하기 위해 사용되는 카메라의 초점 거리와 같은 내부 계수와 카메라 위치 및 각도를 나타내는 외부 계수, 그리고 취득되는 영상이 갖는 최대 깊이 및 최소 깊이 등의 정보를 통해 계산될 수 있다.
단계(820)에서 깊이 맵 부호화 시스템은 예측된 화질에 기초하여 부호화 모드를 선택한다. 이때, 깊이 맵 부호화 시스템은 왜곡값에 기초하여 율 왜곡(rate-distortion) 비용을 계산하여 상기 계산된 율 왜곡 비용이 최소의 값을 갖는 부호화 모드를 선택할 수 있다. 여기서, 부호화 모드는 그래프 기반 예측 모드, 공간 예측 모드 및 시간 예측 모드 중 둘 이상을 포함할 수 있다.
단계(830)에서 깊이 맵 부호화 시스템은 그래프 기반 예측 모드 여부를 확인한다. 즉, 깊이 맵 부호화 시스템은 단계(830)에서 선택된 부호화 모드가 그래프 기반 예측 모드인 경우에는 단계(840)를, 그래프 기반 예측 모드가 아닌 경우에는 단계(850)를 수행할 수 있다.
단계(840)에서 깊이 맵 부호화 시스템은 그래프 기반 예측 부호화를 수행하고, 단계(850)에서 깊이 맵 부호화 시스템은 공간 예측 부호화 또는 시간 예측 부호화를 수행한다. 이때, 그래프 기반 예측 부호화를 위한 단계(840)는 도 4를 통해 설명한 단계(401) 내지 단계(403)를 포함할 수 있다.
단계(860)에서 깊이 맵 부호화 시스템은 예측 부호화된 화소를 변환 및 양자화하고, 단계(870)에서 깊이 맵 부호화 시스템은 변환 및 양자화된 화소를 엔트로피 부호화하여 비트열을 생성한다. 이러한 단계(860) 및 단계(870)은 도 4에서 설명한 단계(450) 및 단계(460)에 각각 대응될 수 있다.
도 7 및 도 8에서 생략된 내용은 도 1 내지 도 6의 설명을 참조할 수 있다.
도 9는 본 발명의 일실시예에 있어서, 깊이 맵의 왜곡을 사용하여 합성 영상에 발생하는 왜곡을 추정하는 방법을 설명하기 위한 일례이다. 카메라 p(901)의 위치에서 취득된 영상(902)을 카메라 p'(903)의 위치에서 취득한 영상(904)으로 합성할 경우, 제1 위치 (xim, yim)(905)의 화소는 깊이 맵에 오류가 발생하지 않은 경우, 제2 위치 (x'im, y'im)(906)로 맵핑된다. 그러나 깊이 맵에 오류가 발생하는 경우에는 변위 (tx, ty)만큼 이동하여 제3 위치 (x'im + tx, y'im + ty)(907)로 맵핑된다. 그러므로, 카메라 p(901)의 위치에서 취득된 영상에서 제1 위치 (xim, yim)(905)의 화소값과 제3 위치 (x'im + tx, y'im + ty)(907)의 화소값의 차이를 이용하여 왜곡값을 계산할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 그래프를 이용하여 영상의 지역 정보에 따라 효과적으로 화소 예측을 수행함으로써 압축 효율을 향상시켜 복원된 영상의 화질을 향상시키는 동시에 압축된 비트량은 줄일 수 있고, 깊이 맵을 이용한 영상 합성을 통해 3차원 영상을 부호화하는 경우, 깊이 맵을 손실 부호화하여 발생하는 왜곡값이 합성된 영상에 미치는 영향을 예측하여 최적화된 부호화 모드를 결정할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 에지 맵 생성부
102: 그래프 생성부
103: 예측값 선택부
109: 에지 맵 부호화부

Claims (27)

  1. 입력된 영상에서 서로 이웃한 화소간의 화소값 차이에 기초하여 에지 맵을 생성하는 에지 맵 생성부;
    상기 생성된 에지 맵을 통해 화소를 연결하여 그래프를 생성하는 그래프 생성부;
    상기 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택하는 예측값 선택부; 및
    상기 적어도 하나의 화소 및 상기 예측값에 기초하여 상기 적어도 하나의 화소를 예측 부호화하는 예측 부호화부
    를 포함하는 부호화 시스템.
  2. 제1항에 있어서,
    상기 에지 맵 생성부는,
    상기 화소값 차이가 미리 설정된 문턱치 이상인 경우, 상기 서로 이웃한 화소간에 에지가 존재하는 것으로 판단하여 에지 맵에 표시함으로써, 상기 에지 맵을 생성하는, 부호화 시스템.
  3. 제2항에 있어서,
    상기 문턱치는, 상기 입력된 영상의 원하는 비트량(target bitrate)에 따라 에지 생성량을 조정하여 부호화된 에지 맵의 비트량을 조정할 수 있도록, 에지 생성시에 조절되는, 부호화 시스템.
  4. 제1항에 있어서,
    상기 생성된 에지 맵을 부호화하는 에지 맵 부호화부
    를 더 포함하고,
    상기 에지 맵 부호화부는,
    상기 에지 맵을 이진 산술 부호화를 통해 압축하여 부호화하고,
    상기 부호화된 에지 맵은 상기 입력된 영상을 부호화한 비트열에 포함되는, 부호화 시스템.
  5. 제1항에 있어서,
    상기 그래프 생성부는,
    상기 에지 맵의 에지에 의해 서로 분리되지 않는 복수의 화소를 연결하여 상기 그래프를 생성하는, 부호화 시스템.
  6. 제1항에 있어서,
    상기 입력된 영상은, 미리 설정된 화소 크기의 블록으로 분류되고,
    상기 예측값 선택부는,
    상기 적어도 하나의 화소가 포함된 블록과 이웃하고, 상기 적어도 하나의 화소와 상기 그래프로 연결된 화소 중 상기 적어도 하나의 화소와 가장 가까운 화소의 화소값을 상기 예측값으로서 선택하는, 부호화 시스템.
  7. 제1항에 있어서,
    상기 입력된 영상은, 미리 설정된 화소 크기의 블록으로 분류되고,
    상기 예측자 선택부는,
    상기 적어도 하나의 화소가 포함된 블록과 이웃하고, 상기 적어도 하나의 화소와 상기 그래프로 연결된 화소의 화소값에 서로 다른 가중치를 부여하고, 상기 서로 다른 가중치가 부여된 화소값간의 연산결과를 상기 예측값으로서 선택하는, 부호화 시스템.
  8. 제7항에 있어서,
    상기 가중치는 상기 그래프의 스펙트럴 분포에 기초하여 결정되는, 부호화 시스템.
  9. 제7항에 있어서,
    상기 가중치는 상기 그래프의 라플라시안(Laplace) 행렬의 아이겐(Eigen) 벡터를 이용하여 결정되는, 부호화 시스템.
  10. 제1항에 있어서,
    상기 예측 부호화부는,
    상기 적어도 하나의 화소의 화소값과 상기 예측값간의 차이값을 부호화하는, 부호화 시스템.
  11. 제1항에 있어서,
    상기 예측 부호화된 화소를 변환 및 양자화하는 변환 및 양자화부; 및
    상기 변환 및 양자화된 화소를 엔트로피(entropy) 부호화하여 비트열을 생성하는 엔트로피 부호화부
    를 더 포함하는 부호화 시스템.
  12. 제11항에 있어서,
    상기 변환 및 양자화된 화소를 상기 예측값에 기초하여 복호화하는 복호화부
    를 더 포함하고,
    상기 입력된 영상은, 미리 설정된 화소 크기의 블록으로 분류되고,
    상기 예측값 선택부는,
    상기 복호화된 화소 중 상기 적어도 하나의 화소가 포함된 블록과 이웃한 화소 및 상기 그래프에 기초하여 상기 적어도 하나의 화소에 대한 예측값을 선택하는, 부호화 시스템.
  13. 입력된 비트열에서 에지 맵을 복호화하는 에지 맵 복호화부;
    상기 복호화된 에지 맵을 통해 화소를 연결하여 그래프를 생성하는 그래프 생성부;
    상기 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택하는 예측값 선택부; 및
    상기 예측값 및 상기 입력된 비트열의 화소 정보에 기초하여 상기 적어도 하나의 화소를 복원하는 예측 보상부
    를 포함하는 복호화 시스템.
  14. 제13항에 있어서,
    상기 에지 맵 복호화부는,
    이진 산술 복호화를 통해 상기 입력된 비트열으로부터 상기 에지 맵을 복호화하는, 복호화 시스템.
  15. 제13항에 있어서,
    상기 그래프 생성부는,
    상기 에지 맵의 에지에 의해 서로 분리되지 않는 복수의 화소를 연결하여 상기 그래프를 생성하는, 복호화 시스템.
  16. 제13항에 있어서,
    상기 입력된 영상은, 미리 설정된 화소 크기의 블록으로 분류되고,
    상기 예측값 선택부는,
    상기 적어도 하나의 화소가 포함된 블록과 이웃하고, 상기 적어도 하나의 화소와 상기 그래프로 연결된 화소 중 상기 적어도 하나의 화소와 가장 가까운 화소의 화소값을 상기 예측값으로서 선택하는, 복호화 시스템.
  17. 제13항에 있어서,
    상기 입력된 영상은, 미리 설정된 화소 크기의 블록으로 분류되고,
    상기 예측자 선택부는,
    상기 적어도 하나의 화소가 포함된 블록과 이웃하고, 상기 적어도 하나의 화소와 상기 그래프로 연결된 화소의 화소값에 서로 다른 가중치를 부여하고, 상기 서로 다른 가중치가 부여된 화소값간의 연산결과를 상기 예측값으로서 선택하는, 복호화 시스템.
  18. 제13항에 있어서,
    상기 입력된 비트열을 엔트로피 복호화하여 화소를 복호화하는 엔트로피 복호화부; 및
    상기 엔트로피 복호화된 화소를 역변환 및 역양자화하는 역변환 및 역양자화부
    를 더 포함하는 복호화 시스템.
  19. 제18항에 있어서,
    상기 입력된 영상은, 미리 설정된 화소 크기의 블록으로 분류되고,
    상기 예측값 선택부는,
    상기 역변환 및 역양자화된 화소 중 상기 적어도 하나의 화소가 포함된 블록과 이웃한 화소 및 상기 그래프에 기초하여 상기 적어도 하나의 화소에 대한 예측값을 선택하는, 복호화 시스템.
  20. 깊이 맵 및 참조 영상에 기초하여 상기 깊이 맵을 통해 합성될 영상의 화질을 예측하는 화질 예측부; 및
    상기 예측된 화질에 기초하여 부호화 모드를 선택하는 부호화 모드 선택부
    를 포함하는 깊이 맵 부호화 시스템.
  21. 제20항에 있어서,
    상기 부호화 모드는, 그래프 기반 예측 모드, 공간 예측 모드 및 시간 예측 모드 중 둘 이상을 포함하는, 깊이 맵 부호화 시스템.
  22. 제21항에 있어서,
    상기 그래프 기반 예측 부호화 모드는,
    상기 합성될 영상에서 서로 이웃한 화소간의 화소값 차이에 기초하여 에지 맵을 생성하고, 상기 생성된 에지 맵을 통해 화소를 연결하여 그래프를 생성하고, 상기 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택하는 모드를 포함하는, 깊이 맵 부호화 시스템.
  23. 제20항에 있어서,
    상기 화질 예측부는,
    상기 깊이 맵의 화소 위치와 같은 위치에 있는 상기 참조 영상의 제1 화소값과, 상기 위치에서 상기 깊이 맵의 화소값에 발생한 왜곡값에 가중치를 부여하여 생성한 변위만큼 이동한 위치의 제2 화소값간의 차이를 사용하여 상기 합성될 영상에서 발생하는 왜곡값을 계산하는, 깊이 맵 부호화 시스템.
  24. 제23항에 있어서,
    상기 부호화 모드 선택부는,
    상기 왜곡값에 기초하여 율 왜곡(rate-distortion) 비용을 계산하여 상기 계산된 율 왜곡 비용이 최소의 값을 갖는 부호화 모드를 선택하는, 깊이 맵 부호화 시스템.
  25. 입력된 영상에서 서로 이웃한 화소간의 화소값 차이에 기초하여 에지 맵을 생성하는 단계;
    상기 생성된 에지 맵을 통해 화소를 연결하여 그래프를 생성하는 단계;
    상기 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택하는 단계; 및
    상기 적어도 하나의 화소 및 상기 예측값에 기초하여 상기 적어도 하나의 화소를 예측 부호화하는 단계
    를 포함하는 부호화 방법.
  26. 입력된 비트열에서 에지 맵을 복호화하는 단계;
    상기 복호화된 에지 맵을 통해 화소를 연결하여 그래프를 생성하는 단계;
    상기 생성된 그래프에 기초하여 적어도 하나의 화소에 대한 예측값을 선택하는 단계; 및
    상기 예측값 및 상기 입력된 비트열의 화소 정보에 기초하여 상기 적어도 하나의 화소를 복원하는 단계
    를 포함하는 복호화 방법.
  27. 깊이 맵 및 참조 영상에 기초하여 상기 깊이 맵을 통해 합성될 영상의 화질을 예측하는 단계; 및
    상기 예측된 화질에 기초하여 부호화 모드를 선택하는 단계
    를 포함하는 깊이 맵 부호화 방법.
KR1020100018720A 2010-02-12 2010-03-02 그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법 KR101598857B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP10194221A EP2360927A3 (en) 2010-02-12 2010-12-08 Image encoding/decoding system using graph based pixel prediction and encoding system and method
US13/016,373 US8554001B2 (en) 2010-02-12 2011-01-28 Image encoding/decoding system using graph based pixel prediction and encoding system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US30382610P 2010-02-12 2010-02-12
US61/303,826 2010-02-12

Publications (2)

Publication Number Publication Date
KR20110093532A true KR20110093532A (ko) 2011-08-18
KR101598857B1 KR101598857B1 (ko) 2016-03-02

Family

ID=44930206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100018720A KR101598857B1 (ko) 2010-02-12 2010-03-02 그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101598857B1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013077650A1 (ko) * 2011-11-23 2013-05-30 한국전자통신연구원 다시점 비디오 복호화 방법 및 장치
WO2014014276A1 (ko) * 2012-07-17 2014-01-23 한국전자통신연구원 인루프 필터링 방법 및 이를 이용하는 장치
WO2016064185A1 (ko) * 2014-10-21 2016-04-28 엘지전자(주) 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치
WO2016076624A1 (ko) * 2014-11-16 2016-05-19 엘지전자(주) 그래프 기반 변환(graph based transform)을 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2016129872A1 (ko) * 2015-02-12 2016-08-18 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2016195455A1 (ko) * 2015-06-04 2016-12-08 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017010850A1 (ko) * 2015-07-15 2017-01-19 엘지전자(주) 분리 가능한 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017014585A1 (ko) * 2015-07-21 2017-01-26 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017030418A1 (ko) * 2015-08-19 2017-02-23 엘지전자(주) 다중 그래프 기반 모델에 따라 최적화된 변환을 이용하여 비디오 신호를 인코딩/ 디코딩하는 방법 및 장치
WO2017043941A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 예측 각도에 따른 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017057923A1 (ko) * 2015-09-29 2017-04-06 엘지전자(주) 단일 최적화된 그래프를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법
WO2017057922A1 (ko) * 2015-09-29 2017-04-06 엘지전자 주식회사 그래프 기반 리프팅 변환을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
WO2017135662A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 에지 적응적 그래프 기반 변환을 이용하여 비디오 신호를 인코딩/디코딩하는 방법 및 장치
CN110383695A (zh) * 2017-03-03 2019-10-25 西斯维尔科技有限公司 用于对数字图像或视频流进行编码和解码的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119879A (ko) * 2006-06-16 2007-12-21 삼성전자주식회사 영상의 해상도 변환 방법 및 그 장치
KR20080088039A (ko) * 2007-03-28 2008-10-02 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20090050783A (ko) * 2007-11-16 2009-05-20 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119879A (ko) * 2006-06-16 2007-12-21 삼성전자주식회사 영상의 해상도 변환 방법 및 그 장치
KR20080088039A (ko) * 2007-03-28 2008-10-02 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20090050783A (ko) * 2007-11-16 2009-05-20 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013077650A1 (ko) * 2011-11-23 2013-05-30 한국전자통신연구원 다시점 비디오 복호화 방법 및 장치
WO2014014276A1 (ko) * 2012-07-17 2014-01-23 한국전자통신연구원 인루프 필터링 방법 및 이를 이용하는 장치
WO2016064185A1 (ko) * 2014-10-21 2016-04-28 엘지전자(주) 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치
US10425649B2 (en) 2014-10-21 2019-09-24 Lg Electronics Inc. Method and apparatus for performing graph-based prediction using optimization function
US10356420B2 (en) 2014-11-16 2019-07-16 Lg Electronics Inc. Video signal processing method using graph based transform and device therefor
WO2016076624A1 (ko) * 2014-11-16 2016-05-19 엘지전자(주) 그래프 기반 변환(graph based transform)을 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2016129872A1 (ko) * 2015-02-12 2016-08-18 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10742988B2 (en) 2015-02-12 2020-08-11 Lg Electronics Inc. Method and apparatus for processing video signal using graph-based transform
WO2016195455A1 (ko) * 2015-06-04 2016-12-08 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10499061B2 (en) 2015-07-15 2019-12-03 Lg Electronics Inc. Method and device for processing video signal by using separable graph-based transform
WO2017010850A1 (ko) * 2015-07-15 2017-01-19 엘지전자(주) 분리 가능한 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017014585A1 (ko) * 2015-07-21 2017-01-26 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN108353193B (zh) * 2015-08-19 2022-07-15 Lg 电子株式会社 基于多个基于图的模型处理视频数据的方法和设备
CN108353193A (zh) * 2015-08-19 2018-07-31 Lg 电子株式会社 基于多个基于图的模型通过使用优化转换编码/解码视频信号的方法和设备
WO2017030418A1 (ko) * 2015-08-19 2017-02-23 엘지전자(주) 다중 그래프 기반 모델에 따라 최적화된 변환을 이용하여 비디오 신호를 인코딩/ 디코딩하는 방법 및 장치
US11394972B2 (en) 2015-08-19 2022-07-19 Lg Electronics Inc. Method and device for encoding/decoding video signal by using optimized conversion based on multiple graph-based model
WO2017043941A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 예측 각도에 따른 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10469838B2 (en) 2015-09-10 2019-11-05 Lg Electronics Inc. Method and apparatus for processing video signal using graph-based transformation based on prediction angle
WO2017057923A1 (ko) * 2015-09-29 2017-04-06 엘지전자(주) 단일 최적화된 그래프를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법
US10715802B2 (en) 2015-09-29 2020-07-14 Lg Electronics Inc. Method for encoding/decoding video signal by using single optimized graph
WO2017057922A1 (ko) * 2015-09-29 2017-04-06 엘지전자 주식회사 그래프 기반 리프팅 변환을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
US10771815B2 (en) 2015-09-29 2020-09-08 Lg Electronics Inc. Method and apparatus for processing video signals using coefficient induced prediction
WO2017135662A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 에지 적응적 그래프 기반 변환을 이용하여 비디오 신호를 인코딩/디코딩하는 방법 및 장치
US11695958B2 (en) 2016-02-01 2023-07-04 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal by using edge-adaptive graph-based transform
CN110383695A (zh) * 2017-03-03 2019-10-25 西斯维尔科技有限公司 用于对数字图像或视频流进行编码和解码的方法和装置
CN110383695B (zh) * 2017-03-03 2023-06-27 西斯维尔科技有限公司 用于对数字图像或视频流进行编码和解码的方法和装置

Also Published As

Publication number Publication date
KR101598857B1 (ko) 2016-03-02

Similar Documents

Publication Publication Date Title
KR101598857B1 (ko) 그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법
KR102051083B1 (ko) 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법
US8554001B2 (en) Image encoding/decoding system using graph based pixel prediction and encoding system and method
JP5314136B2 (ja) 映像の符号化方法及び装置、並びにその復号化方法及び装置
KR101702948B1 (ko) 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법
WO2012161444A2 (ko) 화면 내 예측 방법 및 장치
KR101818997B1 (ko) 다단계 예측을 이용한 영상 부/복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
JPWO2008120577A1 (ja) 画像符号化及び復号化の方法及び装置
KR20080088040A (ko) 영상의 부호화, 복호화 방법 및 장치
JP2019154074A (ja) 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体
CN105850124B (zh) 使用量化误差的额外的控制编码、解码视频信号的方法和装置
JP5909149B2 (ja) 色変換装置、符号化器および復号器ならびにそれらのプログラム
JP2018050256A (ja) 映像符号化方法、映像符号化装置及び映像符号化プログラム
KR102163477B1 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR101464538B1 (ko) 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR102513756B1 (ko) 이미지 인코딩 방법, 디코딩 방법, 인코더, 디코더 및 저장매체
KR20100009718A (ko) 예측 방향을 이용한 영상 부호화/복호화 장치 및 방법
JP7332385B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
WO2012128209A1 (ja) 画像符号化装置、画像復号装置、プログラムおよび符号化データ
JP4561688B2 (ja) 動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラム
JP5667269B2 (ja) 画像符号化装置、画像復号装置、画像符号化・復号装置、画像符号化・復号方法及び画像符号化・復号プログラム
KR101647484B1 (ko) 영상 부호화 방법 및 장치
JP2023086397A (ja) イントラ予測装置、復号装置、及びプログラム
KR20170093096A (ko) 영상의 부호화 방법 및 장치, 및 컴퓨터로 판독 가능한 기록 매체
WO2012141500A2 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200130

Year of fee payment: 5