KR20130063603A - 부가 영상 부복호화 방법 및 이러한 방법을 사용하는 장치 - Google Patents

Abstract

부가 영상 부복호화 방법 및 이러한 방법을 사용하는 장치가 개시되어 있다. 영상 처리 방법은 기본 계층 스트림을 복호화하여 제1 부가 영상을 생성하고 복호화된 기본 계층 스트림을 후처리 필터링 하는 단계와 향상 계층 스트림을 복호화하고 상기 후처리된 기본 계층 스트림 정보를 기초로 제2 부가 영상을 생성하는 단계를 포함할 수 있다. 따라서, 부가 영상을 부복호화하는 효율이 증가될 수 있다.

Description

부가 영상 부복호화 방법 및 이러한 방법을 사용하는 장치{METHODS OF CODING ADDITIONAL FRAME AND APPARATUSES FOR USING THE SAME}

본 발명은 부가 영상 부복호화 방법 및 이러한 방법을 사용하는 장치에 관한 것으로 더욱 상세하게는 복호화 방법 및 장치에 관한 것이다.

다시점 비디오는 여러 개의 시점(View) 채널을 이용하여 현장감과 몰입감을 제공하는 새로운 형태의 멀티미디어 기술이다. 다시점 비디오 응용은 3차원 정보를 표현, 저장, 전송함에 있어 가장 일반적이고도 도전적인 응용 모델로서 사용자에게 미디어와의 상호 작용성을 부여하여 보다 실감나는 가상현실을 제공하는 것을 목표로 한다. 이 기술은 향후 3차원 영화, 실감방송, 오락, 의료실습, 교육, 관광 및 문화, 원격감시, 국보급 문화재나 중요 전통문화 등의 정보기록 등의 광범위한 응용이 기대되며 Free-viewpoint TV 응용의 경우 미디어의 일방적인 수용에서 벗어나 사용자가 미디어의 관측방향과 시점을 자유롭게 조작할 수 있으므로 능동형 미디어로의 변화를 가능케 한다. 하지만 시점의 개수가 증가함에 따라 영상획득, 영상저장 및 전송, 영상재현의 문제가 발생한다. 특히 영상저장 및 전송에 있어서 제한된 저장용량, 증가하는 채널 대역은 다시점 비디오 서비스의 가장 큰 장애요인이다.

따라서 다시점 비디오 응용을 위해서는 높은 부호화 효율(Compression efficiency), 사용자와의 상호작용성(Interactivity), 그리고 다양한 스케일러빌리티(View scalability, Temporal scalability), 시점 및 시간 방향으로의 임의접근(Random access) 등을 만족시키는 부호화 기술이 필요하다. 이러한 기대와 요구조건들은 2001년부터 시작된 MPEG-4 3DAV(3D Audio/Video) 표준화 그룹의 다시점 비디오 부호화 방식의 표준화에도 반영되고 있다.

본 발명의 목적은 부가 영상을 부복호화함에 부복호화 효율을 높이는 방법을 제공하는 것이다.

또한, 본 발명의 또 다른 목적은 부가 영상을 부복호화함에 부복호화 효율을 높이는 방법을 수행하는 장치를 제공하는 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 처리 방법은 기본 계층 스트림을 복호화하여 제1 부가 영상을 생성하고 복호화된 기본 계층 스트림을 후처리 필터링 하는 단계와 향상 계층 스트림을 복호화하고 상기 후처리된 기본 계층 스트림 정보를 기초로 제2 부가 영상을 생성하는 단계를 포함할 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 움직임 벡터 리스트 설정 방법 및 이러한 방법을 사용하는 장치에 따르면, 후보 예측 움직임 벡터를 스캔함에 있어서 스케일링의 횟수를 제한함으로써 부/복호화시 발생하는 시간을 줄이고 복잡도를 감소시킬 수 있다.

도 1은 본 발명의 실시예에 따른 이중 스트림 방식을 통한 3DTV 방송 시스템을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 부가 영상 인코더를 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 부가 영상 부호화 방법을 나타낸 순서도이다.
도 4은 본 발명의 실시예에 따른 부가 영상 인코더를 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 부가 영상 부호화 방법을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 부가 영상 디코더를 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 부가 영상 디코더를 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 부가 영상 복호화 방법을 나타낸 순서도이다.
도 9는 본 발명의 실시예에 따른 부가 영상 디코더를 나타낸 개념도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명의 실시예에 따른 이중 스트림 방식을 통한 3DTV 방송 시스템을 나타낸 개념도이다.

이중 스트림 방식은 스테레오스코픽 영상 포맷에서 발생되는 역방향 호환성을 근본적으로 해결할 수 있는 방법으로서, 좌 영상(100), 우 영상(110) 각각의 원본 영상을 독립 혹은 상호 참조 인코딩하여 별개의 이중 스트림으로 전송하는 것이다(점선은 상호참조 인코딩 의미). 여기서 기준 영상은 일반적인 2D 영상과 호환되는 영상을 의미하며, 부가 영상은 기준 영상과 함께 스테레오스코픽 영상을 구성하기 위해 쌍을 이루는 영상으로서, 기준 영상에 대응하는 우영상, 깊이(depth) 영상, 변이(disparity) 영상 등이 해당한다. 기준 영상 인코더(120)는 기준 영상을 인코딩하기 위한 일반적인 비디오 인코더이며, 부가 영상 인코더(130)는 부가 영상을 독립적으로 혹은 기준 영상 인코더(120)와 상호 참조하여 인코딩하기 위한 비디오 인코더이다. 다중화 및 전송부(140)는 인코딩된 기준 영상 및 부가 영상 스트림들을 단일 스트림으로 다중화한 후, 채널 인코딩, 변조 등의 과정을 거쳐 전송망을 통해 전송한다. 수신측에서 보면, 수신 및 역다중화부(150)는 상기 전송망을 통해 전송된 3DTV 신호를 수신하여, 복조, 채널 디코딩, 역다중화 등의 과정을 거쳐 기준 영상 스트림과 부가 영상 스트림을 추출한다. 추출된 스트림은 기준 영상 디코더(160) 및 부가영상 디코더(170)에서 각각 디코딩되어 3D 디스플레이로 보내어진다. 시그널링 정보 생성기(180) 및 시그널링 정보 해석기(190)는 3DTV 서비스의 종류, 부가 영상 포맷, 기준 영상이 좌영상(100)인지 우영상(110)인지 등의 정보를 주고 받는다. 한편 이중 스트림 방식의 3DTV 방송 방식에서 한정적인 대역폭 내에 추가적인 부가 영상을 전송함으로써 2D 영상(기준영상에 해당)에 할당되는 비트율이 저하되고 이에 따라 2D 영상의 화질 저하가 수반된다. 이를 개선시키기 위한 방법으로서, 부가 영상의 포맷을 수평방향(가로방향)으로 1/2, 수직방향(세로방향)으로 1/2 해상도를 줄인 우영상으로 선택할 수 있으며, 이러한 방법을 통해 부가 영상 인코더(130)가 저 비트율로 압축할 경우에 코딩 효율을 증대시킬 수 있다. 부가 영상의 비트율을 줄임으로써 상대적으로 기준 영상에 할당되는 비트율을 증가시켜 2D 영상의 화질을 향상시킬 수 있는 것이다.

도 2는 본 발명의 실시예에 따른 부가 영상 인코더를 나타낸 블록도이다.

도 2를 참조하면, 우영상(200)을 수평 방향으로 샘플링하여 1/2의 해상도를 가지는 두 개의 부가 영상 포맷을 생성하여 각각 영상을 서로 다른 인코더에서 부호화할 수 있다. 예를 들어, 홀수 픽셀을 서브 샘플링한 것은 기본 계층 인코더(210)에서 부호화될 수 있고, 짝수 픽셀을 서브 샘플링한 것은 향상 계층 인코더(220)에서 서브 샘플링될 수 있다.

이하, 본 발명의 실시예에서는 설명의 편의상 수평 방향으로 서브 샘플링한 경우에 대해서만 개시하지만, 수직 방향으로 서브 샘플링한 경우도 존재할 수 있고 이러한 실시예 또한, 본 발명의 권리범위에 포함된다.

부가 정보를 생성하기 위한 하나의 우영상 중 홀수 픽셀 서브 샘플링(230)을 수행하여 산출된 영상을 제1 부가 영상, 짝수 픽셀 서브 샘플링(240)을 수행하여 산출된 영상을 제2 부가 영상이라고 할 수 있다.

제1 부가 영상은 기본 계층 인코더(210)에서 부호화되어 처리될 수 있다. 기본 계층 인코더(210)에서 부호화된 제1 부가 영상은 기본 계층 스트림을 형성할 수 있다.

기본 계층 인코더(210)에서 부호화된 제1 부가 영상은 전처리 필터(250)에서 복호화될 수 있다. 전처리 필터(250)는 복호화된 제1 부가 영상과 원래의 우영상을 이용해 필터링된 제1 부가 영상을 생성할 수 있다.

본 발명의 실시예에 따른 이중 스트림 부복호화 방법에서는 향상 계층에서 발생하는 비트스트림을 작게 만들기 위해서 제2 부가 영상과 유사한 성질을 가지도록 제1 부가 영상을 필터링할 수 있다. 즉, 우영상을 기초로 필터링된 제1 부가 영상은 원래의 제1 부가 영상보다 상대적으로 제2 부가 영상과 유사할 수 있고, 이러한 필터링 방식을 통해 향상 계층 스트림에서 발생하는 비트스트림을 줄일 수 있다.

전처리 필터(250)에서는 다양한 방식으로 우영상(200)과 제1 부가 영상을 이용하여 전처리 필터링(250)을 수행할 수 있다. 예를 들어, 부호화 단위나 매크로 블록 단위 별로 소정의 보간 필터를 사용하여 필터링된 제1 부가 영상이 제2 부가 영상과 유사한 영상이 되도록 필터링 할 수 있다. 전처리 필터(250)에서 사용된 필터링 방법 및 필터링 계수들은 부호화되어 복호화기에 전송될 수 있다. 전처리 필터(250)에서 수행되는 필터링 방법은 다양한 방법이 사용될 수 있고, 이러한 필터링 방법에 대한 정보도 부호화될 수 있다. 또한 계산 복잡도나 연산시간에 따라 적응적으로 필터링 방법을 선택하여 사용할 수도 있다.

향상 계층 인코더(220)에서는 제2 부가 영상과 전처리 필터(250)를 통해 필터링된 제1 부가 영상을 기초로 그 차이값에 해당하는 잔차 정보를 부호화하여 향상 계층 스트림을 생성할 수 있다. 즉, 전처리 필터링을 사용한 제1 부가 영상이 제2 부가 영상의 예측 영상으로 사용되어 제2 부가 영상과의 잔차값을 향상 계층 스트림으로 생성하여 전송할 수 있다.

도 3은 본 발명의 실시예에 따른 부가 영상 부호화 방법을 나타낸 순서도이다.

도 3을 참조하면, 제1 부가 영상을 부호화한다(단계 S300).

제1 부가 영상은 원래의 해상도에서 수평 방향 또는 수직 방향으로 반만큼만 샘플링하여 생성할 수 있다. 제1 부가 영상은 기본 계층 인코더에 의해 부호화되어 기본 계층 스트림으로 생성되어 복호화기에 전송될 수 있다.

제1 부가 영상을 필터링한다(단계 S310).

원 영상과 제1 부가 영상을 기초로 필터링된 제1 부가 영상이 제2 부가 영상과 동일해질 수 있도록 필터링을 수행할 수 있다. 필터링은 임의 단위에 대해 보간 필터링을 수행하여 수행될 수 있다.

필터링 계수를 부호화한다(단계 S320).

제1 부가 영상을 필터링하기 위해 사용된 필터링 계수 정보는 부호화되어 복호화기에 전송될 수 있다.

필터링된 제1 부가 영상을 기초로 제2 부가 영상을 부호화한다(단계 S330).

필터링된 제1 부가 영상은 향상 계층 인코더에서 제2 부가 영상의 예측 영상으로 사용될 수 있다. 즉, 제2 부가 영상과 필터링된 제1 부가 영상 정보의 잔차 정보를 부호화하여 향상 계층 스트림을 생성할 수 있다.

도 4은 본 발명의 실시예에 따른 부가 영상 인코더를 나타낸 개념도이다.

도 4를 참조하면, 우영상(400)을 입력받고 해상도를 축소할 수 있다. 해상도 축소는 영상의 원래 크기에서 임의의 방향으로 이루어질 수 있다.

축소된 영상은 기본 계층 인코더(410)에 의해 기본 계층 스트림으로 부호화될 수 있다.

우영상을 참조하여 축소된 영상에 대해 해상도 확대(430)를 수행할 수 있다. 즉, 해상도 확대(430)를 수행함에 있어서 우영상 정보를 참조하여 확대를 함으로써 확대시 최대한 우영상과 유사한 영상이 되도록 할 수 있다. 해상도 확대(430) 방법으로는 다양한 보간 방법이 사용될 수 있다. 해상도 확대(430)에서 수행되는 보간 방법은 다양한 보간 방법이 사용될 수 있고, 이러한 보간 방법에 대한 정보도 부호화될 수 있다. 또한 계산 복잡도나 연산시간에 따라 적응적으로 보간 방법을 선택하여 사용할 수도 있다.

향상 계층 인코더(440)에서는 해상도 확대를 통해 확대된 영상과 원래의 우영상을 기초로 잔차 정보를 부호화할 수 있다. 전술한 바와 같이 해상도 확대(430)를 수행시 원래의 우영상을 참조하여 해상도 확대를 수행하므로 향상 계층 스트림에서 발생되는 비트 스트림을 줄일 수 있다.

도 5는 본 발명의 실시예에 따른 부가 영상 부호화 방법을 나타낸 순서도이다.

도 5를 참조하면, 우영상에 대하여 해상도를 축소한다(단계 S500).

우영상에 대하여 해상도 축소를 수행하여 축소된 우영상을 생성할 수 있다.

축소된 우영상을 기본 계층 스트림으로 부호화한다(단계 S510).

기본 계층 인코더에서는 축소된 우영상을 기본 계층 스트림으로 부호화할 수 있다.

우영상을 참고하여 축소된 우영상의 해상도를 원래 해상도로 복원한다(단계 S520).

축소된 우영상의 해상도는 우영상을 참고하여 복원될 수 있다. 원래의 해상도로 복원하기 위해 사용된 보간 방법, 보간 계수 등과 같은 정보는 부호화되어 복호화기에 전송될 수 있다.

부호화된 우영상은 향상 계층 인코더에서 향상 계층 스트림으로 생성될 수 있다(단계 S530).

전술한 바와 같이 우영상을 기초로 해상도 복원된 영상을 예측 영상으로 사용하므로 좀 더 작은 비트로 향상 계층 스트림을 생성할 수 있다.

도 6은 본 발명의 실시예에 따른 부가 영상 디코더를 나타낸 개념도이다.

도 6을 참조하면, 부가 영상 디코더는 기본 계층 디코더(600), 후처리 필터(610), 향상 계층 디코더(620), 영상 다중화부(630)를 포함할 수 있다.

기본 계층 디코더(600)는 기본 계층 인코더에서 부호화된 기본 계층 스트림을 제공받고 복호화할 수 있다. 복호화된 기본 계층 스트림은 영상 다중화부(630)로 전송되어 우영상을 생성할 수 있고, 또한 후처리 필터(610)로 입력되어 향상 계층 스트림 정보를 복호화하는데 사용될 수 있다.

후처리 필터(610)는 부호화된 영역별 필터 계수를 제공받고 후처리 필터링을 수행할 수 있다. 후처리 필터(610)는 기본 계층 디코더(600)로부터 제공받은 정보를 기초로 필터링을 수행하여 향상 계층 디코더(620)에 전송할 수 있다. 향상 계층 디코더(620)에서는 향상 계층 스트림 정보를 제공받고 복호화하고 후처리 필터(610)에서 제공된 정보와 결합하여 생성된 정보를 영상 다중화부(630)에 전송할 수 있다.

영상 다중화부(630)에서는 기본 계층 디코더(600)에서 제공받은 정보와 향상 계층 디코더(620)에서 제공받은 정보를 결합하여 영상 다중화를 수행하여 우영상을 복원할 수 있다.

도 7은 본 발명의 실시예에 따른 부가 영상 디코더를 나타낸 개념도이다.

도 7을 참조하면, 도 6과 동일하되 향상 계층 디코더가 포함되지 않을 수 있다. 수신기의 성격에 따라 향상 계층 스트림을 제외하고 복원하는 것도 가능하다.

즉, 기본 계층 디코더와 후처리 필터에서 예측된 값을 기초로 영상 다중화를 수행하여 원래의 우영상을 복원할 수 있다.

도 8은 본 발명의 실시예에 따른 부가 영상 복호화 방법을 나타낸 순서도이다.

도 8을 참조하면, 기본 계층 스트림을 복호화 한다(단계 S800).

기본 계층 인코더에 의해 부호화된 기본 계층 스트림을 기본 계층 디코더를 사용하여 복호화할 수 있다. 복호화된 정보는 제1 부가 영상으로 영상 다중화부에 전송될 수 있고, 또한, 후처리 필터링을 수행하여 제2 부가 영상의 예측 영상으로 생성될 수 있다.

복호화된 기본 계층 스트림을 후처리 필터링 한다(단계 S810).

복호화된 기본 계층 스트림은 인코더에서 전송된 필터링 정보를 기초로 후처리 필터링될 수 있다. 후처리 필터링된 제1 부가 영상은 제2 부가 영상의 예측 영상으로 사용될 수 있다.

향상 계층 스트림을 복호화 한다(단계 S820).

향상 계층 스트림은 제2 부가 영상의 예측 영상과 제2 부가 영상의 잔차 영상이 될 수 있고 이러한 정보가 향상 계층 스트림에서 복호될 수 있다.

후처리 필터링된 기본 계층 스트림 정보와 복호화된 향상 계층 스트림을 기초로 제2 부가 영상을 생성한다(단계 S830).

제1 부가 영상 및 제2 부가 영상을 영상 다중화한다(단계 S840).

제1 부가 영상 및 제2 부가 영상을 영상 다중화하여 원래의 우영상을 복원한다.

만약 향상 계층 디코더가 구비되지 않은 디코더에서는 기본 계층 디코더와 후처리 필터만을 사용하여 영상 다중화를 수행하여 우영상을 복원할 수 있고 이러한 경우, 단계 S820 및 단계 S830은 수행되지 않을 수 있고 후처리 필터링된 제1 부가 영상과 복호화된 제1 부가 영상을 기초로 우영상을 복호할 수 있다.

도 9는 본 발명의 실시예에 따른 부가 영상 디코더를 나타낸 개념도이다.

도 9를 참조하면, 기본 계층 디코더(900)는 기본 계층 스트림을 수신하고 복호할 수 있다. 기본 계층 디코더(900)에서 복호화된 스트림은 인코더에서와 해상도 축소를 했던 방식과 동일한 방법으로 해상도 확대(910)를 수행할 수 있다. 해상도 확대(910)를 수행한 영상을 제1 영상이라고 할 수 있다.

인코더에서 해상도 확대를 하는데 사용된 영상 영역별 필터 계수 정보는 부호화되어 복호화기에 전송될 수 있고, 기본 계층 디코더(900)에서 복호화된 기본 계층 스트림 정보와 결합하여 소정의 확대된 영상 정보를 가질 수 있다.

해상도 확대부(920)를 통해 확대된 영상 정보는 향상 계층 디코더에 전송된 향상 계층 스트림 정보와 결합되어 제2 영상을 생성할 수 있다.

생성된 제2 영상은 제1 영상과 영상 다중화(940)를 수행하여 원래의 우영상을 복원할 수 있다.

이러한 부복화 방법을 사용함으로써 ATSC 방송의 경우 종래의 2DTV에 할당되는 비트율의 축소를 최소로 하면서, 부가영상을 전송할 수 있다(예를 들어, 좌측영상에서는 15Mbps, 우측영상에서는 3Mbps). 따라서 이중 스트림 방식의 서비스 호환 3DTV 송수신 시스템을 통하여, 종래의 2D 화질을 최대한 유지하면서 고화질의 3DTV 서비스를 제공할 수 있다.

도 10은 본 발명의 실시예에 따른 부가 영상 포맷 생성 방법 및 처리 방법을 나타낸다.

3DTV 영상 포맷 즉 부가 영상을 1/2로 줄여서 사용하는 이유는, 움직임이 많은 비디오 프로그램을 저비트율로 압축할 때 원본 크기(1/2로 축소 하지 않은 원래 크기)보다 1/2 축소된 부가 영상을 압축하는게 효율이 좋을 수 있기 때문이다. 하지만 드라마 혹은 뉴스와 같은 움직임 작은 비디오 프로그램을 저비트율로 압축할때는 부가영상을 원본 크기의 해상도를 유지하는 게 압축 효율 측면에서 유리할 수 있다. 따라서, 프로그램을 구성하는 비디오의 특성에 따라 원본크기의 해상도 혹은 1/2 축소해상도를 변경해가면서 3DTV 방송 송수신을 운용할 수 있다.

하지만 콘텐츠 송출서버 및 3DTV 인코더 등의 대부분의 영상장비들은 원본크기의 해상도만을 지원하고 있으므로, 1/2 해상도의 부가영상을 지원하려면 장비간 입출력 인터페이스를 위한 새로운 규격을 필요로 한다. 또한 3DTV 인코더에서 동작 시, 부가영상의 해상도가 원본 크기 및 1/2 축소 크기로 시간에 따라 변경하려면 인코딩 효율을 위해 세심한 알고리즘이 필요하고 비트스트림내 영상의 크기를 나타내는 값을 계속 변경해야 한다. 일반적으로 영상 인코딩 시 영상의 크기 정보는 특정 문법에 의해 비트스트림내에 수록된다.

도 10을 참조하면, 전술한 문제점을 해결하기 위해서 부가 영상을 생성함에 있어 원본의 해상도는 유지하면서 부가 영상을 생성할 수 있다. 부가 영상을 생성함에 있어 수평 방향 또는 수직 방향으로 1/2의 해상도가 축소된 영상으로 하고 나머지 수평 방향 또는 수직 방향으로 1/2은 일정한 값으로 채우는 방법을 사용함으로써 동일한 해상도값을 가지는 프레임을 생성할 수 있다. 예를 들어, 도 10과 같이 콘텐츠 송출 서버(1000)에서 원본크기의 해상도(예: 1920x1080)를 수평 혹은 수직으로 1/2로 축소한 후(부가영상 축소) 수평 1/2 (960x1080)혹은 수직 1/2(1920x540)로 축소하는 경우를 예시하고 있다. 도 10에서는 progressive 주사 영상을 개념적으로 설명하였지만, interlaced 주사 영역의 경우 수직 1/2경우 1920x270 interlaced 영상으로 축소될 것이다.

이러한 방법을 사용함으로서 영상 영상 장비간의 인터페이스 관점에서 원본 크기를 그대로 유지하기 때문에 기존의 콘텐츠 송출 서버(1000), 3DTV 인코더(1010) 간의 입출력 인터페이스 모듈을 그대로 이용할 수 있다. 또한 3DTV 인코더(1010)의 인코딩 과정에서 해상도의 변경이 필요 없으므로 인코딩 파라미터 값 설정을 변경할 필요 없어, 인코더 및 디코더의 동작을 용이하게 한다. 여기서 인코딩 효율 측면을 살펴보면, 일정한 값으로 채운 영역은 영상 압축과정에서 거의 비트스트림을 발생시키지 않으므로, 1/2로 축소된 해상도의 영상을 압축하는 경우와 본 발명에서의 영상을 압축하는 경우에 동일한 압축 효율을 나타낼 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

1. 기본 계층 스트림을 복호화하여 제1 부가 영상을 생성하고 복호화된 기본 계층 스트림을 후처리 필터링 하는 단계; 및
   향상 계층 스트림을 복호화하고 상기 후처리된 기본 계층 스트림 정보를 기초로 제2 부가 영상을 생성하는 단계를 포함하는 영상 처리 방법.

Images