KR101702948B1 - 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법 - Google Patents
깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법 Download PDFInfo
- Publication number
- KR101702948B1 KR101702948B1 KR1020100069793A KR20100069793A KR101702948B1 KR 101702948 B1 KR101702948 B1 KR 101702948B1 KR 1020100069793 A KR1020100069793 A KR 1020100069793A KR 20100069793 A KR20100069793 A KR 20100069793A KR 101702948 B1 KR101702948 B1 KR 101702948B1
- Authority
- KR
- South Korea
- Prior art keywords
- quantization parameter
- candidate
- rate
- distortion
- candidate quantization
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법이 제공된다. 일 측면에 따른 깊이영상 부호화를 위한 율-왜곡 최적화 장치는, 깊이영상을 압축할 때, 입체 영상 합성 시 큰 영향을 미치는 윤곽선을 제외한 영역에서는 해상도를 줄이는 동시에 높은 양자화 파라메터 값을 사용함으로써 높은 압축성능을 얻을 수 있다.
Description
기술분야는 입체영상을 생성하기 위한 깊이영상을 부호화 할 때 적용되는 율-왜곡 최적화 방법에 관한 것이다.
입체 영상이란 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상을 말한다. 이때, 단순히 좌우 눈에 각각 다른 시점의 영상을 제공하는 스테레오와는 달리 관찰자가 보는 시점을 달리할 때마다 다른 방향에서 본 것과 같은 영상을 제공하기 위해서는, 여러 시점에서 촬영한 영상이 필요하다. 여러 시점에서 촬영한 영상을 이용한 응용분야는 자유시점 TV, 3차원 TV 등이 존재한다. 자유시점 TV는 동일 장면에 대해 다시점 영상을 획득 후 분석하여 사물을 바라보는 시점을 자유롭게 변경할 수 있으며, 3차원 TV의 경우 사람의 양쪽 눈에 비치는 영상을 달리함으로써 사실적인 3차원 깊이를 인지할 수 있도록 한다. 그러나 여러 시점에서 찍은 영상은 데이터량이 방대하기 때문에 압축하여 전송하려면 네트워크 인프라, 지상파 대역폭 등의 확보에 많은 어려움이 따른다.
여러 시점의 비디오를 모두 압축 전송하는 대신 깊이영상을 만들어, 여러 시점의 영상 중에서 일부 시점의 영상과 함께 압축 전송하면 압축시 발생하는 데이터량을 줄일 수 있다. 깊이영상은 칼라영상에서 물체가 시청자와 떨어져 있는 거리를 0~255의 값으로 나타낸 영상이기 때문에, 그 특징이 칼라영상과 비슷하다.
깊이영상은 칼라영상과 같이 율-왜곡 최적화(RDO; Rate-Distortion Optimization) 기술을 통해 부호화 될 수 있다. 현재의 율-왜곡 최적화 기술은 칼라영상을 부호화하기 위해 고안된 것으로 칼라영상에 대해 최적화되어 있으며, 깊이영상의 특징들에게는 최적화되어 있지 않다. 현재 율-왜곡 최적화 기술은 한 개의 영상 블록을 압축하기 위해 존재하는 여러 개의 압축 모드들 중 최적의 압축 모드를 찾는 방법으로 칼라영상에서 매우 높은 압축 성능을 얻는 요인이 되지만 깊이영상 압축시 큰 이득을 얻지 못한다. 그 이유는 율-왜곡 최적화 과정은 영상을 압축하고 복원했을 때의 화질열화를 최소화하면서 최소의 비트를 발생시키는 압축 모드를 선택하는 방법 즉 원 영상 대비 복원된 영상의 화질열화와 그 때 발생하는 비트 발생량을 고려하지만, 깊이영상의 경우 영상을 압축하고 복원했을 때 생기는 깊이영상의 화질열화보다 복원된 깊이영상을 이용하여 임의의 중간 시점의 합성된 칼라영상의 화질열화가 더 중요하기 때문이다.
일 측면에 있어서, 입력된 깊이영상에 대응하는 칼라영상의 윤곽선 정보의 존재 여부에 따라 적어도 하나의 후보 양자화 파라메터를 생성하는 단계와, 상기 적어도 하나의 후보 양자화 파라메터 각각의 왜곡 정도와 상기 적어도 하나의 후보 양자화 파라메터 각각의 비트 발생량들을 이용해서 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 별 율-왜곡 비용을 계산하는 단계와, 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 율-왜곡 비용을 최소화하는 압축모드를 선택하는 단계 및 상기 적어도 하나의 후보 양자화 파라메터 중에서 최적의 양자화 파라메터를 선택하는 단계를 포함하는 율-왜곡 최적화 방법이 제공된다.
이때, 상기 적어도 하나의 후보 양자화 파라메터를 생성하는 단계는, 상기 윤곽선이 존재할 때 생성하는 적어도 하나의 후보 양자화 파라메터를 상기 윤곽선이 존재하지 않을 때 생성하는 적어도 하나의 후보 양자화 파라메터 보다 상대적 낮은 값으로 생성할 수 있다.
이때, 상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 비트 발생량은, 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 입력된 깊이영상의 차분신호가 변환되고 양자화된 후에 엔트로피 부호화 할 때 부호화되기 위해 발생되는 비트의 발생량을 계산한 값일 수 있다.
이때, 상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 왜곡 정도는, 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 역양자화와 역변환을 통해 복원된 깊이영상과 상기 입력된 깊이영상 간의 차이를 계산한 값일 수 있다.
이때, 상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 왜곡 정도는, 상기 적어도 하나의 후보 양자화 파라메터에 대한 역양자화와 역변환을 통해 복원된 깊이영상과 대응하는 칼라영상을 뷰 합성해서 비교할 다른 시점의 칼라영상으로 왑핑하고, 상기 적어도 하나의 후보 양자화 파라메터에 대한 상기 왑핑된 칼라영상과 비교대상인 다른 시점의 칼라영상 간의 차이를 계산해서 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 왜곡 정도가 계산될 수 있다.
이때, 상기 적어도 하나의 후보 양자화 파라메터를 생성하는 단계는, 한 개의 기준 양자화 파라메터와 적어도 하나의 보조 양자화 파라메터로 구성될 수 있다.
이때, 상기 최적의 양자화 파라메터를 선택하는 단계는, 상기 적어도 하나의 후보 양자화 파라메터 각각에 대해 상기 선택된 압축모드로 압축되었다 복원된 깊이영상과 상기 입력된 깊이영상을 비교해서 변이(disparity) 값을 계산하는 단계와, 상기 적어도 하나의 후보 양자화 파라메터에 포함된 상기 적어도 하나의 보조 양자화 파라메터 각각에 대한 상기 기준 양자화 파라메터와의 변이 값의 차분 값을 계산하는 단계 및 상기 차분 값이 기설정된 기준값보다 작은 값을 가지는 보조 양자화 파라메터와 상기 기준 양자화 파라메터 중에서 가장 큰 값을 가지는 양자화 파라메터를 상기 최적의 양자화 파라메터로 선택하는 단계를 포함할 수 있다.
이때, 상기 최적의 양자화 파라메터를 선택하는 단계는, 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 선택된 압축모드를 적용해서 율-왜곡 비용을 계산하는 단계 및 상기 적어도 하나의 후보 양자화 파라메터 중에서 상기 선택된 압축모드가 적용된 율-왜곡 비용이 가장 작은 양자화 파라메터를 상기 최적의 양자화 파라메터로 선택하는 단계를 포함할 수 있다.
일 측면에 있어서, 입력된 깊이영상에 대응하는 칼라영상의 윤곽선 정보의 존재 여부에 따라 적어도 하나의 후보 양자화 파라메터를 생성하는 후보 파라메터 생성기와, 상기 적어도 하나의 후보 양자화 파라메터 각각의 왜곡 정도와 상기 적어도 하나의 후보 양자화 파라메터 각각의 비트 발생량들을 이용해서 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 별 율-왜곡 비용을 계산하고, 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 율-왜곡 비용을 최소화하는 압축모드를 선택하는 압축모드 선택기 및 상기 적어도 하나의 후보 양자화 파라메터 중에서 최적의 양자화 파라메터를 선택하는 양자화 파라메터 선택기를 포함하는 율-왜곡 최적화 장치가 제공된다.
이때, 상기 후보 양자화 파라메터 생성기는, 상기 윤곽선이 존재할 때 생성하는 적어도 하나의 후보 양자화 파라메터를 상기 윤곽선이 존재하지 않을 때 생성하는 적어도 하나의 후보 양자화 파라메터 보다 상대적 낮은 값으로 생성할 수 있다.
이때, 상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 비트 발생량은, 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 입력된 깊이영상의 차분신호가 변환되고 양자화된 후에 엔트로피 부호화 할 때 부호화되기 위해 발생되는 비트의 발생량을 계산한 값일 수 있다.
이때, 상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 왜곡 정도는, 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 역양자화와 역변환을 통해 복원된 깊이영상과 상기 입력된 깊이영상 간의 차이를 계산한 값일 수 있다.
이때, 상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 왜곡 정도는, 상기 적어도 하나의 후보 양자화 파라메터에 대한 역양자화와 역변환을 통해 복원된 깊이영상과 대응하는 칼라영상을 뷰 합성해서 비교할 다른 시점의 칼라영상으로 왑핑하고, 상기 적어도 하나의 후보 양자화 파라메터에 대한 상기 왑핑된 칼라영상과 비교대상인 다른 시점의 칼라영상 간의 차이를 계산해서 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 왜곡 정도가 계산될 수 있다.
이때, 상기 후보 양자화 파라메터 생성기는, 한 개의 기준 양자화 파라메터와 적어도 하나의 보조 양자화 파라메터로 구성될 수 있다.
이때, 상기 양자화 파라메터 선택기는, 상기 적어도 하나의 후보 양자화 파라메터 각각에 대해 상기 선택된 압축모드로 압축되었다 복원된 깊이영상과 상기 입력된 깊이영상을 비교해서 변이(disparity) 값을 계산하고, 상기 적어도 하나의 후보 양자화 파라메터에 포함된 상기 적어도 하나의 보조 양자화 파라메터 각각에 대한 상기 기준 양자화 파라메터와의 변이 값의 차분 값을 계산하고, 상기 차분 값이 기설정된 기준값보다 작은 값을 가지는 보조 양자화 파라메터와 상기 기준 양자화 파라메터 중에서 가장 큰 값을 가지는 양자화 파라메터를 상기 최적의 양자화 파라메터로 선택할 수 있다.
이때, 상기 양자화 파라메터 선택기는, 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 선택된 압축모드를 적용해서 율-왜곡 비용을 계산하고, 상기 적어도 하나의 후보 양자화 파라메터 중에서 상기 선택된 압축모드가 적용된 율-왜곡 비용이 가장 작은 양자화 파라메터를 상기 최적의 양자화 파라메터로 선택할 수 있다.
3차원 비디오 압축부호화 시스템에서 깊이영상을 압축할 때, 입체 영상 합성 시 큰 영향을 미치는 윤곽선을 제외한 영역에서는 해상도를 줄이는 동시에 높은 양자화 파라메터 값을 사용함으로써 높은 압축성능을 얻을 수 있는 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법이 제공된다. 이때 양자화 파라메터는 깊이영상 압축에 최적화된 율-왜곡 비용 함수로 성능 평가하여 결정된다.
도 1은 본 발명의 일실시예에 따른 입체 영상 압축 장치의 구성을 나타내는 도면,
도 2는 율-왜곡 최적화 장치를 포함하는 깊이영상을 부호화하는 장치의 구성을 도시한 도면,
도 3은 왑핑을 통해 비교할 다른 시점의 칼라영상이 존재하지 않을 때의 율-왜곡 최적화 과정을 도시한 흐름도 및,
도 4는 왑핑을 통해 비교할 다른 시점의 칼라영상이 존재할 때의 율-왜곡 최적화 과정을 도시한 흐름도이다.
도 2는 율-왜곡 최적화 장치를 포함하는 깊이영상을 부호화하는 장치의 구성을 도시한 도면,
도 3은 왑핑을 통해 비교할 다른 시점의 칼라영상이 존재하지 않을 때의 율-왜곡 최적화 과정을 도시한 흐름도 및,
도 4는 왑핑을 통해 비교할 다른 시점의 칼라영상이 존재할 때의 율-왜곡 최적화 과정을 도시한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 입체 영상 압축 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 입체 영상 압축 장치(100)는 컬러 영상 인코더(110), 컬러 영상 디코더(120), 윤곽선 검출기(130), 양자화 파라미터 오프셋 결정기(140), 해상도 축소기(150), 깊이 영상 인코더(160), 깊이 영상 디코더(170), 해상도 확대기(180) 및 영상 합성기(190)를 포함한다.
컬러 영상 인코더(color image encoder)(110)는 컬러 영상을 부호화한다. 상기 컬러 영상은 컬러 영상 인코더(110)를 통해 부호화된다.
컬러 영상 디코더(color image decoder)(120)는 상기 부호화된 컬러 영상을 복호화한다. 상기 부호화된 컬러 영상의 비트 스트림은 컬러 영상 디코더(120)를 통해 다시 복호화된다.
윤곽선 검출기(edge detector)(130)는 상기 복호화된 컬러 영상에서 여러 종류의 윤곽선 검출 알고리즘을 통해 윤곽선 정보를 검출한다. 윤곽선 검출기(130)는 소벨 마스크 등과 같은 윤곽선 검출 알고리즘을 사용하여 도 5에 도시된 것과 같은 복원된 영상 안의 픽셀들(520)을 마스크의 동일 위치에 해당하는 픽셀들(510)과 곱하고, 상기 곱한 픽셀들을 모두 더한 값을 중심 픽셀(G)에 할당하여 윤곽선 정보(530)을 검출한다. 윤곽선 검출기(130)는 상기 중심 픽셀에 할당된 값의 크기에 따라 상기 픽셀에 윤곽선이 포함되는지 여부를 검출한다. 일례로 윤곽선 검출기(130)는 상기 중심 픽셀에 할당된 값의 크기가 기준치보다 큰 경우 상기 픽셀들이 윤곽선을 포함하는 것으로 판단할 수 있다. 다른 일례로 윤곽선 검출기(130)는 상기 중심 픽셀에 할당된 값의 크기가 기준치보다 작은 경우 상기 픽셀들이 윤곽선을 포함하지 않는 것으로 판단할 수 있다.
양자화 파라미터 오프셋 결정기(Quantization Parameter offset determinator)(140)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 양자화 스텝 크기를 결정한다. 즉, 양자화 파라미터 오프셋 결정기(140)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 양자화 스텝 크기를 원래의 양자화 스텝 크기보다 더 크게 결정한다.
한편, 양자화 파라미터 오프셋 결정기(140)는 상기 컬러 영상에서 윤곽선을 포함하는 영역에 해당하는 깊이 영상 블록의 양자화 스텝 크기를 상기 원래의 양자화 스텝 크기로 결정한다.
해상도 축소기(150)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 해상도를 축소한다. 즉, 해상도 축소기(150)는 윤곽선 검출기(130)에 의해 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 해상도를 축소한다. 한편 해상도 축소기(150)는 상기 컬러 영상에서 윤곽선을 포함하는 영역에 해당하는 깊이 영상 블록의 해상도를 축소하지 않는다.
깊이 영상 인코더(160)는 양자화 파라미터 오프셋 결정기(140)에 의해 결정된 양자화 스텝 크기에 따라 해상도 축소기(150)에 의해 결정된 해상도의 깊이 영상을 부호화한다. 즉, 깊이 영상 인코더(160)는 양자화 파라미터 오프셋 결정기(140)에 의해 결정된 양자화 스텝 크기에 따라 해상도 축소기(150)에 의해 결정된 해상도의 깊이 영상을 부호화함으로써 상기 깊이 영상을 압축한다. 일례로 깊이 영상 인코더(160)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당되는 깊이 영상의 블록에 대한 축소된 해상도에 상기 원래 양자화 스텝 크기보다 더 크게 결정된 양자화 스텝 크기로 상기 깊이 영상을 부호화함으로써 상기 깊이 영상을 더 압축할 수 있다. 다른 일례로 깊이 영상 인코더(160)는 상기 컬러 영상에서 윤곽선을 포함하는 영역에 해당되는 깊이 영상의 블록에 대한 원래 해상도에 상기 원래 양자화 스텝 크기로 상기 깊이 영상을 부호화하여 압축한다.
깊이 영상 디코더(depth image decoder)(170)는 깊이 영상 인코더(160)에서 부호화된 깊이 영상을 복호화한다. 즉, 깊이 영상 디코더(170)는 상기 압축된 깊이 영상을 양자화 파라미터 오프셋 결정기(140)에 의해 결정된 양자화 파라미터 오프셋을 참조하여 복원한다.
해상도 확대기(interpolator)(180)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 복호화된 깊이 영상 블록의 해상도를 확대한다. 즉, 해상도 확대기(180)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당되는 깊이 영상의 복호화할 때 원래의 양자화 스텝 크기보다 더 큰 양자화 스텝 크기로 복호화된 깊이 영상의 블록을 원래 크기로 확대하기 위한 보간(interpolation)을 수행한다.
영상 합성기(view synetesis)(190)는 복원된 컬러 영상과 복원된 깊이 영상을 이용하여 임의의 시점 영상을 합성한다. 즉, 영상 합성기(190)는 컬러 영상 디코더(120)로부터 출력되는 상기 복원된 컬러 영상 및 해상도 확대기(180)로부터 출력되는 상기 복원된 깊이 영상을 이용하여 임의의 시점 영상을 합성한다.
이와 같이, 본 발명의 일실시예에 따른 입체 영상 압축 장치(100)는 여러 시점의 비디오를 모두 압축 전송하는 대신에 깊이 영상을 만들어서 여러 시점의 영상 중에서 일부 시점의 영상과 함께 압축 전송함으로써 입체 영상 압축 시 발생하는 데이터량을 줄일 수 있다.
또한, 본 발명의 일실시예에 따른 입체 영상 압축 장치(100)는 깊이 영상이 컬러 영상에서 물체가 시청자와 떨어져 있는 거리를 0~255의 값으로 나타내는 영상이기 때문에 그 특징이 컬러 영상과 비슷하므로 컬러 영상과 깊이 영상을 압축할 때 서로의 정보를 잘 활용함으로써 더 좋은 성능을 가질 수 있다.
또한 본 발명의 일실시예에 따른 입체 영상 압축 장치(100)는 깊이 영상 압축 시 복원된 컬러 영상의 윤곽선 정보를 이용하여 효율적으로 입체 영상을 압축할 수 있다.
3차원 비디오 압축 부호화 시스템에서 깊이 영상 압축 시 복원된 칼라 영상의 윤곽선 정보를 이용해서 율-왜곡 최적화 하는 장치를 아래에소 도 2를 통해 상세히 설명하고자 한다.
도 2는 율-왜곡 최적화 장치를 포함하는 깊이영상을 부호화하는 장치의 구성을 도시한 도면이다.
도 2를 참조하면 깊이영상 부호화 장치(200)는 예측기(210), 감산기(220), 율-왜곡 최적화 장치(230), 가산기(240) 및 필터(250)를 포함한다.
예측기(210)는 현재 블록의 움직임 벡터인 현재 움직임 벡터를 결정하고 결정된 현재 움직임 벡터를 이용하여 예측 블록을 생성한다. 즉, 예측기(210)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 현재 움직임 벡터를 이용하여 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 예측기(210)는 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 등 다양한 기법을 이용하여 현재 움직임 벡터를 결정할 수 있는데, 결정된 현재 움직임 벡터는 최적의 움직임 벡터가 될 수 있다.
감산기(220)는 현재 블록과 예측 블록을 감산하여 차분신호를 생성한다. 즉, 감산기(220)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측기(210)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 차분신호를 생성한다.
가산기(240)는 예측기(210)에서 예측된 예측 블록과 율-왜곡 최적화 장치(230)에 의해 복원된 차분신호를 가산하여 현재 블록을 복원한다. 필터(250)는 가산기(280)로부터 출력되는 복원된 현재 블록을 프레임 단위로 참조 프레임으로서 저장하여 예측기(210)가 현재 블록의 다음 블록이나 향후 다른 블록을 부호화할 때 참조 프레임으로서 사용할 수 있도록 한다.
율-왜곡 최적화 장치(230)는 율-왜곡을 최적화 하는 압축 모드와 양자화 파라메터를 선택해서 최적의 압축모드와 최적의 양자화 파라메터로 깊이영상을 양자화하고 부호화해서 출력한다.
율-왜곡 최적화 장치(230)는 후보 양자화 파라메터 생성기(231), 변환기(232), 양자화기(233), 부호화기(234), 역 양자화기(235), 역 변환기(236), 압축모드 선택기(237) 및 양자화 파라메터 선택기(238)를 포함한다.
후보 양자화 파라메터 생성기(231)는 칼라영상의 윤곽선 정보를 수신해서 칼라영상의 윤곽선 여부에 따라 적어도 하나 이상의 양자화 파라메터를 생성한다. 이때, 윤곽선의 여부에 따른 후보 양자화 파라메터의 생성은 윤곽선이 있는 경우에는 낮은 QP 값들 위주로 QP 후보들을 정하여 압축을 시도할 수 있고, 윤곽선이 없다면 높은 QP 값들 위주로 후보 QP들을 정하여 최적의 QP를 선택할 수 있다. 왜냐하면 칼라영상의 어느 한 영역에서 윤곽선이 있다면 깊이영상에서의 대응 영역에서도 윤곽선이 있어 이 부분은 나중에 임의의 시점에서 영상을 합성할 때 중요한 영향을 미치기 때문에 화질을 잘 복원할 수 있는 낮은 QP를 사용하는 것이 효율적이고, 윤곽선이 없다면 그 영역은 나중에 영상을 합성할 때 많은 영향을 주지 못하기 때문에 높은 QP를 사용하는 것이 더 효율적일 수 있다.
그리고, 후보 양자화 파라메터 생성기(231)는 생성된 양자화 파라메터가 2개 이상인 경우 그 중 하나를 기본 양자화 파라메터로 할 수 있다.
변환기(232)는 감산기(220)로부터 입력된 깊이영상과 예측된 영상의 차분으로 얻어진 차분신호를 수신해서 차분신호를 주파수 도메인으로 변환한다.
양자화기(233)는 후보 양자화 파라메터 생성기(231)에서 생성한 후보 양자화 파라메터별로 각 후보 양자화 파라메터의 크기로 변환된 차분신호를 양자화한다.
부호화기(234)는 양자화기(233)에 의해 후보 양자화 파라메터별로 양자화된 신호들 각각을 부호화한다.
역 양자화기(235)는 양자화기(233)에 의해 후보 양자화 파라메터별로 양자화된 신호들 각각을 역 양자화한다.
역 변환기(236)는 역 양자화기(235)에 의해 후보 양자화 파라메터별로 역양자화된 신호들 각각을 영상 도메인으로 역 변환한다.
압축모드 선택기(237)는 후보 양자화 파라메터별로 율-왜곡 비용을 계산한다. 그리고, 후보 양자화 파라메터별로 율-왜곡 비용을 최소화하는 압축모드를 계산한다.
양자화 파라메터 선택기(238)는 후보 양자화 파라메터별로 계산된 율-왜곡 비용을 이용해서 후보 양자화 파라메터 중 하나를 선택한다.
부호화기(234)는 선택된 양자화 파라메터로 양자화된 신호를 압축모드 선택기(237)에서 선택된 압축모드로 압축해서 출력한다.
압축모드 선택기(237)와 양자화 파라메터 선택기(238)는 왑핑(warping)을 통해 비교할 다른 시점의 칼라영상이 존재 유무에 따라 압축모드와 양자화 파라메터를 선택하는 기준이 달라질 수 있다. 여기서, 왑핑을 통해 비교할 다른 시점의 칼라영상이란 차원 비디오 압축 부호화 시스템에서 송신하는 시점 외에도 촬영된 남은 시점이 존재하는지 유무를 의미한다. 즉, 5개의 시점으로 촬영후 3개의 시점만을 부호화 해서 송신하는 경우 송신하지 않는 남은 2개의 시점을 통해 촬영된 칼라영상이 왑핑을 통해 비교할 다른 시점의 칼라영상이다. 그리고, 왑핑이란, 동일시점의 칼라영상과 깊이영상을 이용해서 다른 시점의 칼라영상을 생성함을 의미한다.
그러면 압축모드 선택기(237)와 양자화 파라메터 선택기(238)에서 왑핑을 통해 비교할 다른 시점의 칼라영상이 존재 유무에 따른 압축모드와 양자화 파라메터를 선택하는 방법을 이후, 도 3과 도 4를 통해 상세히 후술한다.
이하, 상기와 같이 구성된 본 발명에 따른 깊이영상의 율-왜곡 최적화 방법을 아래에서 도면을 참조하여 설명한다.
도 3은 왑핑을 통해 비교할 다른 시점의 칼라영상이 존재하지 않을 때의 율-왜곡 최적화 과정을 도시한 흐름도이다.
도 3을 참조하면 율-왜곡 최적화 장치는 310단계에서 입력된 깊이영상과 예측된 깊이영상의 차분으로 얻어진 차분신호를 수신해서 차분신호를 주파수 도메인으로 변환한다.
그리고, 율-왜곡 최적화 장치는 312단계에서 입력된 깊이영상에 대응하는 칼라영상의 윤곽선 정보를 수신해서 윤곽선의 여부에 따라 적어도 하나 이상의 후보 양자화 파라메터를 생성한다. 이때 생성되는 후보 양자화 파라메터는 한 개의 기준 양자화 파라메터와 한 개 이상의 보조 양자화 파라메터가 될 수 있다. 이때, 윤곽선의 여부에 따른 후보 양자화 파라메터의 생성은 윤곽선이 있는 경우에는 낮은 QP 값들 위주로 QP 후보들을 정하여 압축을 시도할 수 있고, 윤곽선이 없다면 높은 QP 값들 위주로 후보 QP들을 정하여 최적의 QP를 선택할 수 있다. 왜냐하면 칼라영상의 어느 한 영역에서 윤곽선이 있다면 깊이영상에서의 대응 영역에서도 윤곽선이 있어 이 부분은 나중에 임의의 시점에서 영상을 합성할 때 중요한 영향을 미치기 때문에 화질을 잘 복원할 수 있는 낮은 QP를 사용하는 것이 효율적이고, 윤곽선이 없다면 그 영역은 나중에 영상을 합성할 때 많은 영향을 주지 못하기 때문에 높은 QP를 사용하는 것이 더 효율적일 수 있다.
그리고, 율-왜곡 최적화 장치는 314단계에서 후보 양자화 파라메터별로 각 후보 양자화 파라메터의 크기로 변환된 차분신호를 양자화한다.
그리고, 율-왜곡 최적화 장치는 316단계에서 후보 양자화 파라메터별로 양자화된 신호들 각각을 역 양자화하고, 318단계에서 후보 양자화 파라메터별로 역 양자화된 신호들 각각을 영상 도메인으로 역 변환한다.
그리고, 율-왜곡 최적화 장치는 322단계에서 후보 양자화 파라메터별로 역변환해서 얻어진 차분신호들 각각에 대해 입력된 깊이영상과의 차이를 구하여 화질열화를 계산한다. 즉, 율-왜곡 최적화 장치는 322단계에서 깊이영상의 왜곡 정도를 계산한다
한편, 율-왜곡 최적화 장치는 324단계에서 후보 양자화 파라메터별로 양자화된 신호들 각각을 엔트로피 부호화 하고, 326단계에서 후보 양자화 파라메터별로 부호화 할 때 발생되는 부호화되기 위해 발생되는 비트 발생량을 계산한다.
이후, 율-왜곡 최적화 장치는 328단계에서 후보 양자화 파라메터별로 계산된 비트 발생량과 후보 양자화 파라메터별로 계산된 깊이영상의 왜곡 정도를 이용해서 후보 양자화 파라메터별 율-왜곡 비용을 계산한다. 율-왜곡 비용은 아래 <수학식 1>을 이용해서 계산할 수 있다.
여기서, J는 해당 모드의 율-왜곡 비용함수이고, SSD(Sum of Square Difference)는 원 영상(s)과 참조영상(r)의 예측오차를 제곱한 값이고, λ은 라그랑지안 계수로 QP에 의존하는 값이다. R은 해당 압축모드(mode)와 양자화 파라미터(QP)로 원 영상과 이전 영상들로부터 움직임 탐색으로 예측된 영상의 차분으로 얻어진 신호를 부호화 했을 때 필요한 비트수이다.
그리고, 율-왜곡 최적화 장치는 330단계에서 후보 양자화 파라메터별로 율-왜곡 비용을 최소화 하는 압축모드를 선택한다.
그리고, 율-왜곡 최적화 장치는 332단계에서 후보 양자화 파라메터 중에서 최적의 양자화 파라메터를 선택한다.
332단계에서 최적의 양자화 파라메터를 선택하기 위해 율-왜곡 최적화 장치는 상기 후보 양자화 파라메터들 별로 양자화된 신호를 선택된 압축모드로 압축한 후 다시 복원하고, 복원한 깊이영상과 입력된 깊이영상을 비교해서 변이(disparity) 값을 계산한다. 그리고, 율-왜곡 최적화 장치는 후보 양자화 파라메터들에 포함된 보조 양자화 파라메터 별로 기준 양자화 파라메터와의 변이 값의 차분 값을 계산하고, 그 차분 값이 기설정된 기준값보다 작은 값을 가지는 보조 양자화 파라메터와 기준 양자화 파라메터 중에서 가장 큰 값을 가지는 양자화 파라메터를 최적의 양자화 파라메터로 선택한다.
이때, 율-왜곡 최적화 장치는 차분 값이 기설정된 기준값보다 작은 값을 가지는 보조 양자화 파라메터가 존재하지 않으면, 기준 양자화 파라메터를 상기 최적의 양자화 파라메터로 선택한다.
도 4는 왑핑을 통해 비교할 다른 시점의 칼라영상이 존재할 때의 율-왜곡 최적화 과정을 도시한 흐름도이다.
도 4를 참조하면 율-왜곡 최적화 장치는 410단계에서 입력된 깊이영상과 예측된 깊이영상의 차분으로 얻어진 차분신호를 수신해서 차분신호를 주파수 도메인으로 변환한다.
그리고, 율-왜곡 최적화 장치는 412단계에서 입력된 깊이영상에 대응하는 칼라영상의 윤곽선 정보를 수신해서 윤곽선의 여부에 따라 적어도 하나 이상의 후보 양자화 파라메터를 생성한다. 이때, 윤곽선의 여부에 따른 후보 양자화 파라메터의 생성은 윤곽선이 있는 경우에는 낮은 QP 값들 위주로 QP 후보들을 정하여 압축을 시도할 수 있고, 윤곽선이 없다면 높은 QP 값들 위주로 후보 QP들을 정하여 최적의 QP를 선택할 수 있다. 왜냐하면 칼라영상의 어느 한 영역에서 윤곽선이 있다면 깊이영상에서의 대응 영역에서도 윤곽선이 있어 이 부분은 나중에 임의의 시점에서 영상을 합성할 때 중요한 영향을 미치기 때문에 화질을 잘 복원할 수 있는 낮은 QP를 사용하는 것이 효율적이고, 윤곽선이 없다면 그 영역은 나중에 영상을 합성할 때 많은 영향을 주지 못하기 때문에 높은 QP를 사용하는 것이 더 효율적일 수 있다.
그리고, 율-왜곡 최적화 장치는 414단계에서 후보 양자화 파라메터별로 각 후보 양자화 파라메터의 크기로 변환된 차분신호를 양자화한다.
그리고, 율-왜곡 최적화 장치는 416단계에서 후보 양자화 파라메터별로 양자화된 신호들 각각을 역 양자화하고, 418단계에서 후보 양자화 파라메터별로 역 양자화된 신호들 각각을 영상 도메인으로 역 변환한다.
그리고, 율-왜곡 최적화 장치는 420단계에서 각 양자화 파라메터별로 복원된 깊이영상과 대응하는 칼라영상을 뷰 합성해서 비교할 다른 시점의 칼라영상으로 왑핑한다.
그리고, 율-왜곡 최적화 장치는 422단계에서 후보 양자화 파라메터별로 뷰 합성해서 얻어진 왑핑된 칼라영상과 비교대상인 다른 시점의 칼라영상 간의 차이를 구하여 화질열화를 계산한다. 즉, 율-왜곡 최적화 장치는 422단계에서 양자화 파라메터별로 뷰 합성을 통해 왑핑된 칼라영상의 왜곡 정도를 계산한다
한편, 율-왜곡 최적화 장치는 424단계에서 후보 양자화 파라메터별로 양자화된 신호들 각각을 엔트로피 부호화 하고, 426단계에서 후보 양자화 파라메터별로 부호화 할 때 발생되는 부호화되기 위해 발생되는 비트 발생량을 계산한다.
이후, 율-왜곡 최적화 장치는 428단계에서 후보 양자화 파라메터별로 계산된 비트 발생량과 후보 양자화 파라메터별로 계산된 왑핑된 칼라영상의 왜곡 정도를 이용해서 후보 양자화 파라메터별 율-왜곡 비용을 계산한다. 율-왜곡 비용은 아래 <수학식 2>을 이용해서 계산할 수 있다.
여기서, J 는 해당 모드의 율-왜곡 비용함수이고, SSD(Sum of Square Difference)는 왑핑된 칼라영상과 비교대상인 다른 시점의 칼라영상 간의 차분치를 제곱한 값이고, λ은 라그랑지안 계수로 QP에 의존하는 값이다. R은 해당 압축모드(mode)와 양자화 파라미터(QP)로 원래 깊이영상과 이전에 부호화된 깊이영상들로부터 움직임 탐색으로 예측된 영상의 차분으로 얻어진 신호를 부호화 했을 때 필요한 비트수이다.
그리고, 율-왜곡 최적화 장치는 430단계에서 후보 양자화 파라메터별로 율-왜곡 비용을 최소화 하는 압축모드를 선택한다.
그리고, 율-왜곡 최적화 장치는 432단계에서 후보 양자화 파라메터 중에서 최적의 양자화 파라메터를 선택한다.
432단계에서 최적의 양자화 파라메터를 선택하기 위해 율-왜곡 최적화 장치는 후보 양자화 파라메터별로 선택한 압축모드를 적용해서 율-왜곡 비용을 계산하고, 율-왜곡 비용이 가장 작은 후보 양자화 파라메터들 중에서 율-왜곡 비용이 가장 작은 양자화 파라메터를 선택한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200; 깊이영상 부호화 장치
210; 예측기
220; 감산기
230; 율-왜곡 최적화 장치
231; 후보 양자화 파라메터 생성기
232; 변환기
233; 양자화기
234; 부호화기
235; 역 양자화기
236; 역 변환기
237; 압축모드 선택기
238; 양자화 파라메터 선택기
240; 가산기
250; 필터
210; 예측기
220; 감산기
230; 율-왜곡 최적화 장치
231; 후보 양자화 파라메터 생성기
232; 변환기
233; 양자화기
234; 부호화기
235; 역 양자화기
236; 역 변환기
237; 압축모드 선택기
238; 양자화 파라메터 선택기
240; 가산기
250; 필터
Claims (16)
- 입력된 깊이영상에 대응하는 칼라영상의 윤곽선 정보의 존재 여부에 따라 적어도 하나의 후보 양자화 파라메터를 생성하는 단계;
상기 적어도 하나의 후보 양자화 파라메터 각각의 왜곡 정도와 상기 적어도 하나의 후보 양자화 파라메터 각각의 비트 발생량들을 이용해서 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 율-왜곡 비용을 계산하는 단계;
상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 율-왜곡 비용을 최소화하는 압축모드를 선택하는 단계; 및
상기 적어도 하나의 후보 양자화 파라메터 중에서 최적의 양자화 파라메터를 선택하는 단계를 포함하고,
상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 왜곡 정도는,
상기 적어도 하나의 후보 양자화 파라메터에 대한 역양자화와 역변환을 통해 복원된 깊이영상과 대응하는 칼라영상을 뷰 합성해서 비교할 다른 시점의 칼라영상으로 왑핑하고, 상기 적어도 하나의 후보 양자화 파라메터에 대한 상기 왑핑된 칼라영상과 비교대상인 다른 시점의 칼라영상 간의 차이를 계산해서 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 왜곡 정도가 계산되는
율-왜곡 최적화 방법.
- 제1항에 있어서,
상기 적어도 하나의 후보 양자화 파라메터를 생성하는 단계는,
상기 윤곽선이 존재할 때 생성하는 적어도 하나의 후보 양자화 파라메터를 상기 윤곽선이 존재하지 않을 때 생성하는 적어도 하나의 후보 양자화 파라메터 보다 상대적 낮은 값으로 생성하는
율-왜곡 최적화 방법.
- 제1항에 있어서,
상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 비트 발생량은,
상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 입력된 깊이영상의 차분신호가 변환되고 양자화된 후에 엔트로피 부호화 할 때 부호화되기 위해 발생되는 비트의 발생량을 계산한 값인
율-왜곡 최적화 방법.
- 제1항에 있어서,
상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 왜곡 정도는,
상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 역양자화와 역변환을 통해 복원된 깊이영상과 상기 입력된 깊이영상 간의 차이를 계산한 값인
율-왜곡 최적화 방법.
- 삭제
- 제1항에 있어서,
상기 적어도 하나의 후보 양자화 파라메터를 생성하는 단계는,
한 개의 기준 양자화 파라메터와 적어도 하나의 보조 양자화 파라메터로 구성되는
율-왜곡 최적화 방법.
- 제6항에 있어서,
상기 최적의 양자화 파라메터를 선택하는 단계는,
상기 적어도 하나의 후보 양자화 파라메터 각각에 대해 상기 선택된 압축모드로 압축되었다 복원된 깊이영상과 상기 입력된 깊이영상을 비교해서 변이(disparity) 값을 계산하는 단계;
상기 적어도 하나의 후보 양자화 파라메터에 포함된 상기 적어도 하나의 보조 양자화 파라메터 각각에 대한 상기 기준 양자화 파라메터와의 변이 값의 차분 값을 계산하는 단계; 및
상기 차분 값이 기설정된 기준값보다 작은 값을 가지는 보조 양자화 파라메터와 상기 기준 양자화 파라메터 중에서 가장 큰 값을 가지는 양자화 파라메터를 상기 최적의 양자화 파라메터로 선택하는 단계를 포함하는
율-왜곡 최적화 방법.
- 제1항에 있어서,
상기 최적의 양자화 파라메터를 선택하는 단계는,
상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 선택된 압축모드를 적용해서 율-왜곡 비용을 계산하는 단계; 및
상기 적어도 하나의 후보 양자화 파라메터 중에서 상기 선택된 압축모드가 적용된 율-왜곡 비용이 가장 작은 양자화 파라메터를 상기 최적의 양자화 파라메터로 선택하는 단계를 포함하는
율-왜곡 최적화 방법.
- 입력된 깊이영상에 대응하는 칼라영상의 윤곽선 정보의 존재 여부에 따라 적어도 하나의 후보 양자화 파라메터를 생성하는 후보 파라메터 생성기;
상기 적어도 하나의 후보 양자화 파라메터 각각의 왜곡 정도와 상기 적어도 하나의 후보 양자화 파라메터 각각의 비트 발생량들을 이용해서 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 율-왜곡 비용을 계산하고, 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 율-왜곡 비용을 최소화하는 압축모드를 선택하는 압축모드 선택기; 및
상기 적어도 하나의 후보 양자화 파라메터 중에서 최적의 양자화 파라메터를 선택하는 양자화 파라메터 선택기를 포함하고,
상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 왜곡 정도는,
상기 적어도 하나의 후보 양자화 파라메터에 대한 역양자화와 역변환을 통해 복원된 깊이영상과 대응하는 칼라영상을 뷰 합성해서 비교할 다른 시점의 칼라영상으로 왑핑하고, 상기 적어도 하나의 후보 양자화 파라메터에 대한 상기 왑핑된 칼라영상과 비교대상인 다른 시점의 칼라영상 간의 차이를 계산해서 상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 왜곡 정도가 계산되는
율-왜곡 최적화 장치.
- 제9항에 있어서,
상기 후보 양자화 파라메터 생성기는,
상기 윤곽선이 존재할 때 생성하는 적어도 하나의 후보 양자화 파라메터를 상기 윤곽선이 존재하지 않을 때 생성하는 적어도 하나의 후보 양자화 파라메터 보다 상대적 낮은 값으로 생성하는
율-왜곡 최적화 장치.
- 제9항에 있어서,
상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 비트 발생량은,
상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 입력된 깊이영상의 차분신호가 변환되고 양자화된 후에 엔트로피 부호화 할 때 부호화되기 위해 발생되는 비트의 발생량을 계산한 값인
율-왜곡 최적화 장치.
- 제9항에 있어서,
상기 적어도 하나의 후보 양자화 파라메터 각각의 상기 왜곡 정도는,
상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 역양자화와 역변환을 통해 복원된 깊이영상과 상기 입력된 깊이영상 간의 차이를 계산한 값인
율-왜곡 최적화 장치.
- 삭제
- 제9항에 있어서,
상기 후보 양자화 파라메터 생성기는,
한 개의 기준 양자화 파라메터와 적어도 하나의 보조 양자화 파라메터로 구성되는
율-왜곡 최적화 장치.
- 제14항에 있어서,
상기 양자화 파라메터 선택기는,
상기 적어도 하나의 후보 양자화 파라메터 각각에 대해 상기 선택된 압축모드로 압축되었다 복원된 깊이영상과 상기 입력된 깊이영상을 비교해서 변이(disparity) 값을 계산하고,
상기 적어도 하나의 후보 양자화 파라메터에 포함된 상기 적어도 하나의 보조 양자화 파라메터 각각에 대한 상기 기준 양자화 파라메터와의 변이 값의 차분 값을 계산하고,
상기 차분 값이 기설정된 기준값보다 작은 값을 가지는 보조 양자화 파라메터와 상기 기준 양자화 파라메터 중에서 가장 큰 값을 가지는 양자화 파라메터를 상기 최적의 양자화 파라메터로 선택하는
율-왜곡 최적화 장치.
- 제9항에 있어서,
상기 양자화 파라메터 선택기는,
상기 적어도 하나의 후보 양자화 파라메터 각각에 대한 상기 선택된 압축모드를 적용해서 율-왜곡 비용을 계산하고,
상기 적어도 하나의 후보 양자화 파라메터 중에서 상기 선택된 압축모드가 적용된 율-왜곡 비용이 가장 작은 양자화 파라메터를 상기 최적의 양자화 파라메터로 선택하는
율-왜곡 최적화 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100069793A KR101702948B1 (ko) | 2010-07-20 | 2010-07-20 | 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법 |
| US13/067,756 US8768086B2 (en) | 2010-07-20 | 2011-06-23 | Apparatus and method for depth-image encoding with rate-distortion optimization |
| EP11171627A EP2410747A1 (en) | 2010-07-20 | 2011-06-28 | Apparatus and method for depth-image encoding with rate-distortion optimization |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100069793A KR101702948B1 (ko) | 2010-07-20 | 2010-07-20 | 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120009648A KR20120009648A (ko) | 2012-02-02 |
| KR101702948B1 true KR101702948B1 (ko) | 2017-02-06 |
Family
ID=44512593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100069793A KR101702948B1 (ko) | 2010-07-20 | 2010-07-20 | 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8768086B2 (ko) |
| EP (1) | EP2410747A1 (ko) |
| KR (1) | KR101702948B1 (ko) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010093351A1 (en) * | 2009-02-13 | 2010-08-19 | Thomson Licensing | Depth map coding to reduce rendered distortion |
| FR2963190B1 (fr) * | 2010-07-23 | 2013-04-26 | Canon Kk | Procede et dispositif de codage d'une sequence d'images |
| CN103404156A (zh) * | 2011-02-24 | 2013-11-20 | 索尼公司 | 图像处理装置和图像处理方法 |
| US9491475B2 (en) * | 2012-03-29 | 2016-11-08 | Magnum Semiconductor, Inc. | Apparatuses and methods for providing quantized coefficients for video encoding |
| CN103428486B (zh) * | 2012-05-24 | 2017-06-09 | 富士通株式会社 | 图像压缩方法和装置 |
| KR101957873B1 (ko) * | 2012-06-04 | 2019-03-13 | 삼성전자주식회사 | 3차원 영상을 위한 영상 처리 장치 및 방법 |
| US9445109B2 (en) | 2012-10-16 | 2016-09-13 | Microsoft Technology Licensing, Llc | Color adaptation in video coding |
| US9392286B2 (en) * | 2013-03-15 | 2016-07-12 | Magnum Semiconductor, Inc. | Apparatuses and methods for providing quantized coefficients for video encoding |
| US8958604B2 (en) * | 2013-03-25 | 2015-02-17 | Schlumberger Technology Corporation | LWD real-time borehole image transmission |
| US9794575B2 (en) | 2013-12-18 | 2017-10-17 | Magnum Semiconductor, Inc. | Apparatuses and methods for optimizing rate-distortion costs in video encoding |
| WO2016049327A1 (en) * | 2014-09-26 | 2016-03-31 | Dolby Laboratories Licensing Corporation | Encoding and decoding perceptually-quantized video content |
| WO2018068239A1 (zh) * | 2016-10-12 | 2018-04-19 | 深圳市大疆创新科技有限公司 | 码率控制的方法、计算机系统和装置 |
| US10553015B2 (en) * | 2017-03-31 | 2020-02-04 | Google Llc | Implicit view-dependent quantization |
| WO2020072842A1 (en) * | 2018-10-05 | 2020-04-09 | Interdigital Vc Holdings, Inc. | Methods and apparatus for depth encoding and decoding |
| CN111010566A (zh) * | 2019-12-04 | 2020-04-14 | 杭州皮克皮克科技有限公司 | 一种基于非局部网络的视频压缩失真复原方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100204069B1 (ko) * | 1996-04-15 | 1999-06-15 | 이득렬 | 적응적인 양자화 조절 기능을 갖는 개선된 영상 부호화 시스템 및 그 양자화 제어방법 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100455872B1 (ko) * | 2001-06-09 | 2004-11-09 | 유티스타콤코리아 유한회사 | 무선통신시스템에서 실시간 결함 허용을 위한 이중화 방법 |
| EP1591963B1 (en) | 2004-04-29 | 2008-07-09 | Mitsubishi Electric Information Technology Centre Europe B.V. | Adaptive quantisation of a depth map |
| KR100793076B1 (ko) | 2005-12-08 | 2008-01-10 | 한국전자통신연구원 | 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법 |
| KR100853201B1 (ko) * | 2006-12-11 | 2008-08-20 | 한국전자통신연구원 | 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응양자화 방법 및 그 장치 |
| JP5034554B2 (ja) | 2007-02-27 | 2012-09-26 | コニカミノルタホールディングス株式会社 | 相関演算装置、相関演算方法及びプログラム |
| KR100899422B1 (ko) | 2007-08-06 | 2009-05-27 | 삼성모바일디스플레이주식회사 | 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법 |
| KR100918862B1 (ko) * | 2007-10-19 | 2009-09-28 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
| KR101367282B1 (ko) * | 2007-12-21 | 2014-03-12 | 삼성전자주식회사 | 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치 |
| JP2009238117A (ja) | 2008-03-28 | 2009-10-15 | Toshiba Corp | 多視差画像生成装置および方法 |
| US8774512B2 (en) * | 2009-02-11 | 2014-07-08 | Thomson Licensing | Filling holes in depth maps |
| US8818028B2 (en) * | 2010-04-09 | 2014-08-26 | Personify, Inc. | Systems and methods for accurate user foreground video extraction |
| US9053573B2 (en) * | 2010-04-29 | 2015-06-09 | Personify, Inc. | Systems and methods for generating a virtual camera viewpoint for an image |
-
2010
- 2010-07-20 KR KR1020100069793A patent/KR101702948B1/ko active IP Right Grant
-
2011
- 2011-06-23 US US13/067,756 patent/US8768086B2/en not_active Expired - Fee Related
- 2011-06-28 EP EP11171627A patent/EP2410747A1/en not_active Withdrawn
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100204069B1 (ko) * | 1996-04-15 | 1999-06-15 | 이득렬 | 적응적인 양자화 조절 기능을 갖는 개선된 영상 부호화 시스템 및 그 양자화 제어방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8768086B2 (en) | 2014-07-01 |
| US20120020549A1 (en) | 2012-01-26 |
| EP2410747A1 (en) | 2012-01-25 |
| KR20120009648A (ko) | 2012-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101702948B1 (ko) | 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법 | |
| KR101598857B1 (ko) | 그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법 | |
| KR102518993B1 (ko) | 복수의 보간 필터링 방법 및 이를 적용한 부호화 장치 | |
| US8396123B2 (en) | Video coding and decoding method using weighted prediction and apparatus for the same | |
| WO2004059980A1 (en) | Method and apparatus for encoding and decoding stereoscopic video | |
| KR20080088046A (ko) | 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치 | |
| CN105850124B (zh) | 使用量化误差的额外的控制编码、解码视频信号的方法和装置 | |
| KR101700410B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR102550743B1 (ko) | 비디오 부호화 및 복호화 방법, 그를 이용한 장치 | |
| US10911779B2 (en) | Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views | |
| JP2020120322A (ja) | 距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラム | |
| KR101562343B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR20180113868A (ko) | 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템 | |
| JP2008512023A (ja) | 動き予測のための方法及び装置 | |
| KR101934840B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR101810198B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR101700411B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR20190091431A (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR20190084929A (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR20150022953A (ko) | 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |