KR101349459B1 - 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법 - Google Patents

Abstract

3D 영상을 위한 영상 제공 방법 및 영상 재생 방법, 그리고 상기 방법을 수행하는 장치가 개시된다. 영상 제공 방법은 고해상도의 기준 영상에 비해 해상도가 낮은 저해상도의 부가 영상을 복원하기 위한 복원 모드를 전송할 수 있다.

Description

영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING VIDEO AND REPRODUCTING VIDEO}

본 발명은 3D 영상을 위한 기준 영상과 부가 영상 간의 해상도가 다른 경우, 해상도가 낮은 부가 영상을 효율적으로 복원하기 위한 장치 및 방법에 관한 것이다.

ATSC Mobile/Handheld (M/H) 서비스는 ATSC A/53에서 기술된 표준 ATSC 방송(이하, TS-M)과 RF 채널을 공유한다. 이때 M/H 서비스는 총 약 19.39 Mbps 대역폭의 일부를 사용하고 IP 트랜스포트를 통한 전송 기술을 통해 이동 단말에 제공된다. 즉, 약 19.39Mbps 대역폭의 M/H 프레임을 TS-M 패킷과 M/H 패킷으로 시분할 다중화하여 전송함으로써 서로 다른 방식의 방송 서비스를 독립적으로 동시에 제공할 수 있다.

여기서, TS-M 패킷은 고정 방송망을 통해 전송되어 표준 ATSC 방송 서비스를 제공할 때 이용되고, M/H 패킷은 이동 방송망을 통해 전송되어 독자적인 A/V 서비스를 제공할 때 이용된다.

특히, 스테레오 3D 영상을 구성하는 좌영상과 우영상을 각각 표준 ATSC 고정 방송과 M/H 이동 방송의 서비스 규격에 맞추어 각각 부호화하여 ATSC-M/H 방송 시스템을 통하여 전송하면, 기존의 고정 방송 서비스 및 이동 방송 서비스를 제공할 수 있다. 뿐만, 아니라, 좌영상과 우영상을 종합적으로 수신할 수 있는 단말기를 통해 스테레오 3DTV 방송 서비스도 제공될 수 있다.

하지만, 고정 방송 서비스와 이동 방송 서비스는 서로 서비스 규격과 채널 용량에서 차이가 있기 때문에, 사용자 단말기에서 복원된 좌영상과 우영상의 해상도와 양자화 잡음 수준도 차이가 존재한다. 이러한 이유로, 좌영상과 우영상이 합성된 3D 영상의 화질도 열화될 수 있다.

이러한 문제점은 ATSC-M/H 방송 시스템을 통한 고정/이동방송 융합형 3D-TV 서비스, DVB T2(고해상도 고정방송) 및 T-2 mobile/NGH(저해상도 이동방송)을 통한 3DTV 서비스, ISDB-T(고해상도 고정방송) 및 OneSeg(저해상도 이동방송) 방송망을 통한 3DTV 방송 서비스, 고정방송망을 통한 고해상도 영상 (기준 영상) 및 저해상도 영상(부가 영상)의 동시방송(simulcast) 시스템을 통한 3DTV 방송 서비스 등과 같이 좌영상과 우영상 간에 비대칭적 화질을 나타내는 스테레오 3DTV 방송 서비스에서 발생된다.

본 발명은 고해상도의 좌영상에 비해 상대적으로 저해상도의 우영상을 보다 효과적으로 복원할 수 있는 방법 및 장치를 제공한다.

본 발명은 좌영상과 우영상 간의 양안 시차를 이용하여 우영상을 복원함으로써 우영상을 보다 효과적으로 복원할 수 있는 방법 및 장치를 제공한다.

본 발명은 좌영상과 우영상 간의 양안 시차를 조건부 대체 방식에 따라 복원함으로써 복원된 우영상의 화질을 일정 수준을 유지할 수 있도록 하는 방법 및 장치를 제공한다.

본 발명은 우영상을 복원하기 위한 양안 시차를 시간적 또는 공간적 중복성에 따라 효율적으로 부호화할 수 있는 방법 및 장치를 제공한다.

본 발명의 일실시예에 따른 영상 제공 장치는 고해상도의 기준 영상 및 저해상도의 부가 영상을 식별하는 영상 식별부; 상기 저해상도의 부가 영상의 복원 모드를 결정하는 복원 모드 결정부; 및 상기 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 복원 모드를 포함하는 부가 정보를 전송하는 데이터 전송부를 포함할 수 있다.

본 발명의 다른 실시예에 따른 영상 제공 장치는 현재 프레임에 대해 고해상도의 기준 영상 및 고해상도의 부가 영상을 이용하여 현재 프레임의 양안 시차를 생성하는 양안 시차 생성부; 상기 현재 프레임의 양안 시차에 따라 고해상도의 기준 영상을 시차 보상하여 제1 복원 부가 영상을 생성하는 제1 복원 영상 생성부; 이전 프레임의 양안 시차에 따라 고해상도의 기준 영상을 시차 보상하여 제2 복원 부가 영상을 생성하는 제2 복원 영상 생성부; 저해상도의 부가 영상을 공간적 보간하여 제3 복원 부가 영상을 생성하는 제3 복원 영상 생성부; 및 상기 제1 복원 부가 영상, 제2 복원 부가 영상, 및 제3 복원 부가 영상을 고해상도의 부가 영상과 비교하여 저해상도의 부가 영상의 복원 모드를 결정하는 복원 모드 결정부를 포함할 수 있다.

본 발명의 일실시예에 따른 영상 재생 장치는 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 저해상도의 부가 영상을 위한 복원 모드를 포함하는 부가 정보를 수신하는 영상 수신부; 상기 부가 정보를 이용하여 상기 저해상도의 부가 영상을 복원하는 영상 복원부를 포함할 수 있다.

본 발명의 다른 실시예에 따른 영상 재생 장치는 저해상도의 부가 영상을 구성하는 블록 또는 픽셀과 관련하여 복원 모드를 식별하는 복원 모드 식별부; 및 상기 복원 모드를 이용하여 상기 저해상도의 부가 영상을 복원하는 영상 복원부를 포함할 수 있다.

본 발명의 일실시예에 따른 영상 제공 방법은 고해상도의 기준 영상 및 저해상도의 부가 영상을 식별하는 단계; 상기 저해상도의 부가 영상의 복원 모드를 결정하는 단계; 및 상기 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 복원 모드를 포함하는 부가 정보를 전송하는 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따른 영상 제공 방법은 현재 프레임에 대해 고해상도의 기준 영상 및 고해상도의 부가 영상을 이용하여 현재 프레임의 양안 시차를 생성하는 단계; 상기 현재 프레임의 양안 시차에 따라 고해상도의 기준 영상을 시차 보상하여 제1 복원 부가 영상을 생성하는 단계; 이전 프레임의 양안 시차에 따라 고해상도의 기준 영상을 시차 보상하여 제2 복원 부가 영상을 생성하는 단계; 저해상도의 부가 영상을 공간적 보간하여 제3 복원 부가 영상을 생성하는 단계; 및 상기 제1 복원 부가 영상, 제2 복원 부가 영상, 및 제3 복원 부가 영상을 고해상도의 부가 영상과 비교하여 저해상도의 부가 영상의 복원 모드를 결정하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따른 영상 재생 방법은 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 저해상도의 부가 영상을 위한 복원 모드를 포함하는 부가 정보를 수신하는 단계; 및 상기 부가 정보를 이용하여 상기 저해상도의 부가 영상을 복원하는 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따른 영상 재생 방법은 저해상도의 부가 영상을 구성하는 블록 또는 픽셀과 관련하여 복원 모드를 식별하는 단계; 및 상기 복원 모드를 이용하여 상기 저해상도의 부가 영상을 복원하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따른 기록 매체는 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 저해상도의 부가 영상을 복원하기 위한 복원 모드가 기록될 수 있다.

본 발명의 일실시예에 따르면, 고해상도의 좌영상에 비해 상대적으로 저해상도의 우영상을 보다 효과적으로 복원할 수 있다.

본 발명의 일실시예에 따르면, 좌영상과 우영상 간의 양안 시차를 이용하여 우영상을 복원함으로써 우영상을 보다 효과적으로 복원할 수 있다.

본 발명의 일실시예에 따르면, 좌영상과 우영상 간의 양안 시차를 조건부 대체 방식에 따라 복원함으로써 복원된 우영상의 화질을 일정 수준을 유지할 수 있다.

본 발명의 일실시예에 따르면, 우영상을 복원하기 위한 양안 시차를 시간적 또는 공간적 중복성에 따라 효율적으로 부호화할 수 있다.

도 1은 본 발명의 일실시예에 따른 전체 구조를 도시한 도면이다.
도 2는 본 발명의 제1 실시예에 따른 영상 제공 장치를 도시한 도면이다.
도 3은 본 발명의 제2 실시예에 따른 영상 제공 장치를 도시한 도면이다.
도 4는 본 발명의 제1 실시예에 따른 영상 재생 장치를 도시한 도면이다.
도 5는 본 발명의 제2 실시예에 따른 영상 재생 장치를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 우영상을 복원하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 양안 시차를 도시한 도면이다.
도 8은 본 발명의 제1 일실시예에 따라 부가 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 제2 실시예에 따라 부가 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 따라 쿼드 트리 방식을 적용하는 일례를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따라 영상 제공 장치에서 부가 정보를 생성하는 과정을 도시한 플로우차트이다.
도 12는 본 발명의 일실시예에 따른 영상 재생 장치에서 우영상을 복원하는 과정을 도시한 플로우차트이다.
도 13은 본 발명의 일실시예에 따라 영상 제공 장치 또는 영상 재생 장치가 수행하는 과정을 도시한 도면이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 전체 구조를 도시한 도면이다.

도 1을 참고하면, 영상 제공 장치(101)는 영상 재생 장치(102)에 고해상도의 기준 영상, 저해상도의 부가 영상 및 부가 정보를 전송할 수 있다. 여기서, 고해상도의 기준 영상과 저해상도의 부가 영상은 3D TV 서비스를 제공하기 위한 영상을 의미한다. 일례로, 고해상도의 기준 영상은 좌영상, 저해상도의 부가 영상은 우영상으로 표현될 수 있다. 특히, 고해상도의 기준 영상과 저해상도의 부가 영상은 서로 해상도가 다르며, 고해상도의 기준 영상은 저해상도의 부가 영상에 비해 N배(실수)의 해상도를 가진다고 가정한다.

본 명세서에서, 고해상도의 기준 영상은 고해상도의 좌영상으로 표현하고, 저해상도의 부가 영상은 우영상으로 표현하기로 한다. 즉, 본 발명은 3DTV 서비스를 구현하기 위한 좌영상과 우영상이 서로 비대칭적인 해상도를 나타낼 때 적용될 수 있다. 실시예에 따라, 고해상도의 기준 영상은 우영상으로 표현되고, 저해상도의 부가 영상은 좌영상으로 표현될 수 있다. 한편, 하나의 고해상도 영상에 대해 시차가 다른 복수 개의 저해상도 영상을 이용하는 경우에도, 본 발명이 적용될 수 있다.

본 발명은 고해상도의 좌영상과 저해상도의 우영상을 전송하는 경우, 좌영상과 우영상 간의 화질 차이로 인해 3D 영상 서비스의 주관적 또는 객관적 화질 열화를 보상할 수 있다. 이를 위해, 본 발명은 좌영상과 우영상 간에 높은 공간적 상관도와 이전 프레임과 현재 프레임 간의 시간적 중복성을 활용하여 저해상도의 우영상을 효율적으로 복원할 수 있다.

도 1에서, 영상 제공 장치(101)는 저해상도의 우영상을 어떻게 복원할 것인지를 나타내는 부가 정보를 영상 재생 장치(102)에 전송할 수 있다. 그리고, 영상 제공 장치(101)는 서로 다른 형태의 방송망을 통해 고해상도의 좌영상과 저해상도의 우영상을 영상 재생 장치(102)에 전송할 수 있다. 그러면, 영상 재생 장치(102)는 전송된 부가 정보를 고려하여 저해상도의 우영상을 고해상도의 좌영상과 유사하도록 저해상도의 우영상을 복원할 수 있다. 여기서, 부가 정보는 저해상도의 우영상을 위한 복원 모드를 포함할 수 있다.

기존의 방송 시스템과의 호환성을 추구하기 위해, 스테레오 3D 영상을 위한 우영상은 좌영상에 비해 훨씬 높은 압축율로 압축해야 하는 경우가 발생할 수 있다. 이에 따라, 우영상의 화질은 좌영상의 화질에 비해 상대적으로 낮을 수 있다. 여기서, 화질은 해상도로 표현될 수 있다. 그리고, 비대칭적인 화질을 나타내는 좌영상과 우영상을 합성하여 3D 영상을 제공하기 위해, 우영상을 좌영상의 해상도와 동일하도록 복원하는 경우, 복원된 우영상에서 디테일의 표현력이 낮아지고, 오브젝트의 엣지가 흐려지거나 블록화 잡음이 발생할 수 있다.

물론, 양안시 왜곡 억압 효과에 따라 좌영상과 우영상 간의 화질 차이가 크지 않은 경우, 3D 영상의 주관적 화질은 고해상도의 좌영상에 따라 결정될 수 있다. 그러나, 우영상의 화질이 좌영상의 화질에 비해서 매우 나쁘다면, 3D 영상의 주관적 화질은 급격하게 떨어질 수 있다. 예를 들어 고정형 방송 및 이동형 방송으로 구현되는 융합형 3D-TV 서비스 시스템은 좌영상을 1080 주사선을 갖는 HD 영상으로 부호화하고 우영상을 240 주사선을 갖는 SD 영상으로 부호화할 수 있다. 이 경우, 좌영상과 우영상 간에 상대적으로 큰 화질의 차이로 인해서, 3D 영상의 주관적 화질이 급격하게 저하될 수 있다.

이를 위해, 본 발명은 독립적인 방송망을 통해 전송되는 좌영상과 우영상을 합성하여 3D 영상을 제공할 때, 3D 영상의 주관적인 화질을 일정 수준을 유지할 수 있도록 우영상을 좌영상에 유사하도록 복원할 수 있는 방법을 제공한다. 특히, 본 발명은 저해상도의 우영상을 효율적으로 복원할 수 있도록 좌영상과 우영상 간의 양안 시차를 활용할 수 있다. 양안 시차는 벡터맵 형태로 구현될 수 있다. 여기서, 우영상을 복원하는 것은, 우영상의 화질을 좌영상의 화질과 유사하도록 우영상을 처리하는 것을 의미한다.

영상 제공 장치(101)는 우영상의 블록 또는 픽셀마다 어떻게 복원할 지 여부를 나타내는 부가 정보를 영상 재생 장치(102)에 전송할 수 있다. 이 때, 부가 정보는 양안 시차를 이용하여 우영상을 복원할 지 여부를 나타내는 복원 모드를 포함할 수 있다. 복원 모드는 우영상을 양안 시차를 이용하여 복원할 것인지 또는 우영상을 공간적 보간하여 확대함으로써 복원할 것인지를 나타낸다.

만약, 양안 시차를 이용하여 우영상을 복원한 결과가 미리 설정된 기준을 만족하지 못한다면, 부가 정보는 단순히 우영상을 공간적 보간하여 확대한 과정을 통해 복원하는 것으로 결정될 수 있다. 그리고, 부가 정보는 복원 모드를 나타내는 플래그로 표현될 수 있다. 부가 정보는 영상 재생 장치(102)가 영상 제공 장치(101)로부터 전송된 우영상을 좌영상의 화질과 유사하도록 복원할 때 활용될 수 있다. 부가 정보에 포함된 양안 시차는 조건부 대체 방식에 따라 우영상의 블록 또는 픽셀마다 결정될 수 있다. 그리고, 양안 시차도 시간적 중복성과 공간적 중복성에 따라 효율적으로 부호화될 수 있다.

도 2는 본 발명의 제1 실시예에 따른 영상 제공 장치를 도시한 도면이다.

도 2를 참고하면, 영상 제공 장치(200)는 영상 식별부(201), 복원 모드 결정부(202) 및 데이터 전송부(203)를 포함할 수 있다.

영상 식별부(201)는 고해상도의 좌영상 및 저해상도의 우영상을 식별할 수 있다. 여기서, 저해상도의 우영상은 원본 형태의 고해상도의 우영상을 다운샘플링하거나 압축함으로써 해상도가 낮아진 결과를 의미한다.

복원 모드 결정부(202)는 저해상도의 우영상의 복원 모드를 결정할 수 있다.

일례로, 복원 모드 결정부(202)는 고해상도의 좌영상을 양안 시차로 시차 보상하여 제1 복원 우영상을 생성할 수 있다. 그리고, 복원 모드 결정부(202)는 저해상도의 우영상을 공간적 보간하여 제2 복원 우영상을 생성할 수 있다. 그런 다음, 복원 모드 결정부(202)는 고해상도의 우영상을 제1 복원 우영상과 제2 복원 우영상을 비교하여 픽셀값의 차이가 기준치 이하를 나타내는 복원 모드를 결정할 수 있다. 복원 모드는 고해상도의 좌영상을 구성하는 픽셀 단위 또는 블록 단위에 따라 결정될 수 있다.

다른 일례로, 복원 모드 결정부(202)는 고해상도의 좌영상을 현재 프레임의 양안 시차로 시차 보상하여 제1 복원 우영상을 생성하고, 고해상도의 좌영상을 이전 프레임의 양안 시차로 시차 보상하여 제2 복원 우영상을 생성할 수 있다. 일례로, 제2 복원 우영상은 이전 프레임의 양안 시차에 따라 부가 영상의 일부를 시차 보상된 고해상도의 기준 영상으로 대체함으로써 생성될 수 있다. 구체적으로, 제2 복원 우영상은 조건부 시차 보상에 따라 생성될 수 있다. 즉, 이전 프레임에서 정상적으로 양안 시차 벡터가 할당된 픽셀에 대해서만 시차 보상을 수행하는 조건부 시차 보상을 통해 제2 복원 우영상이 생성될 수 있다. 그러면, 제2 복원 우영상에서 양안 시차 벡터가 할당되지 않아 시차 보상되지 않은 픽셀은 유의미한 픽셀값을 가지지 않는다. 또한, 복원 모드 결정부(202)는 저해상도의 우영상을 공간적 보간하여 제3 복원 우영상을 생성할 수 있다. 여기서, 공간적 보간은 저해상도의 우영상의 해상도를 확대한 후, 확대된 결과에서 빈 픽셀을 선형 보간을 통해 채워넣는 것을 의미한다.

그런 후, 복원 모드 결정부(202)는 제1 복원 우영상, 제2 복원 우영상 및 제3 복원 우영상을 원본 형태의 고해상도의 우영상과 비교하여 픽셀값의 차이가 기준치 이하를 나타내는 복원 모드를 결정할 수 있다. 복원 모드는 고해상도의 좌영상을 구성하는 픽셀 단위 또는 블록 단위에 따라 결정될 수 있다.

이상에서 설명한 양안 시차는 고해상도의 좌영상 및 고해상도의 부가 영상을 시차 추정하여 결정될 수 있다. 양안 시차에 대해서는 도 7에서 구체적으로 설명하기로 한다.

데이터 전송부(203)는 고해상도의 좌영상, 저해상도의 우영상 및 복원 모드를 포함하는 부가 정보를 전송할 수 있다. 여기서, 고해상도의 좌영상과 저해상도의 우영상은 다양한 영상 부호화 기법에 따라 부호화되어 전송될 수 있다. 그리고, 이 때, 고해상도의 좌영상은 고정형 방송망을 통해 전송되고, 저해상도의 우영상은 이동형 방송망을 통해 전송될 수 있다.

도 3은 본 발명의 제2 실시예에 따른 영상 제공 장치를 도시한 도면이다.

도 3을 참고하면, 영상 제공 장치(300)는 양안 시차 생성부(301), 제1 복원 영상 생성부(302), 제2 복원 영상 생성부(303), 제3 복원 영상 생성부(304) 및 복원 모드 결정부(305)를 포함할 수 있다.

양안 시차 생성부(301)는 현재 프레임에 대해 고해상도의 좌영상 및 고해상도의 우영상을 이용하여 현재 프레임의 양안 시차를 생성할 수 있다. 구체적으로, 양안 시차를 생성하는 과정은 현재 프레임을 기준으로 진행된다.

제1 복원 영상 생성부(302)는 현재 프레임의 양안 시차에 따라 고해상도의 좌영상을 시차 보상하여 제1 복원 우영상을 생성할 수 있다.

제2 복원 영상 생성부(303)는 이전 프레임의 양안 시차에 따라 고해상도의 좌영상을 시차 보상하여 제2 복원 우영상을 생성할 수 있다. 일례로, 제2 복원 우영상은 이전 프레임의 양안 시차에 따라 부가 영상의 일부를 시차 보상된 고해상도의 기준 영상으로 대체함으로써 생성될 수 있다. 구체적으로, 제2 복원 우영상은 조건부 시차 보상에 따라 생성될 수 있다. 즉, 이전 프레임에서 정상적으로 양안 시차 벡터가 할당된 픽셀에 대해서만 시차 보상을 수행하는 조건부 시차 보상을 통해 제2 복원 우영상이 생성될 수 있다.

그러면, 제2 복원 우영상에서 양안 시차 벡터가 할당되지 않아 시차 보상되지 않은 픽셀은 유의미한 픽셀값을 가지지 않는다. 이전 프레임의 양안 시차는 복원 모드를 결정하고자 하는 블록 또는 픽셀이 속한 현재 프레임보다 시간적으로 앞선 이전 프레임에서 도출된 것이다. 만약, N개의 프레임에서 최초 프레임의 경우 제2 복원 우영상이 생성되지 않을 수 있다.

제3 복원 영상 생성부(304)는 저해상도의 우영상을 공간적 보간하여 제3 복원 우영상을 생성할 수 있다.

복원 모드 결정부(305)는 제1 복원 우영상, 제2 복원 우영상, 및 제3 복원 우영상을 고해상도의 우영상과 비교하여 저해상도의 우영상의 복원 모드를 결정할 수 있다.

도 4는 본 발명의 제1 실시예에 따른 영상 재생 장치를 도시한 도면이다.

도 4를 참고하면, 영상 재생 장치(400)는 영상 수신부(401) 및 영상 복원부(402)를 포함할 수 있다.

영상 수신부(401)는 영상 제공 장치로부터 고해상도의 좌영상, 저해상도의 우영상 및 저해상도의 우영상을 위한 복원 모드를 포함하는 부가 정보를 수신할 수 있다.

영상 복원부(402)는 부가 정보를 이용하여 저해상도의 우영상을 복원할 수 있다. 일례로, 부가 정보는 고해상도의 좌영상을 현재 프레임의 양안 시차로 시차 보상한 결과인 제1 복원 우영상으로 저해상도의 우영상을 복원하는 제1 복원 모드를 포함할 수 있다. 그리고, 부가 정보는 고해상도의 좌영상을 이전 프레임의 양안 시차로 시차 보상한 결과인 제2 복원 우영상으로 저해상도의 우영상을 복원하는 제2 복원 모드를 포함할 수 있다. 구체적으로, 제2 복원 우영상은 이전 프레임의 양안 시차에 따라 부가 영상의 일부를 시차 보상된 고해상도의 기준 영상으로 대체함으로써 생성될 수 있다. 또한, 부가 정보는 저해상도의 우영상을 공간적 보간한 결과인 제3 복원 우영상으로 저해상도의 우영상을 복원하는 제3 복원 모드를 포함할 수 있다.

만약, 저해상도의 우영상의 복원 모드가 제1 복원 모드로 결정된 경우, 부가 정보는 제1 복원 모드에 따라 복원할 때 사용할 현재 프레임의 양안 시차 벡터맵을 포함할 수 있다. 이 때, 현재 프레임의 양안 시차 벡터맵도 별도로 부호화될 수 있다. 그리고, 저해상도의 우영상의 복원 모드가 제2 복원 모드로 결정된 경우, 부가 정보는 제2 복원 모드에 따라 복원할 때 사용할 이전 프레임의 양안 시차 벡터맵을 포함할 수 있다.

여기서, 부가 정보는 영상 제공 장치가 저해상도의 우영상마다 결정한 복원 모드를 포함할 수 있다. 그래서, 영상 재생 장치는 영상 제공 장치가 제공한 부가 정보로부터 복원하고자 하는 저해상도의 우영상의 복원 모드를 추출할 수 있다. 실시예에 따라서는, 영상 재생 장치가 별도로 저해상도의 우영상의 복원 모드를 결정할 수 있다.

이 때, 양안 시차는 우영상의 픽셀 또는 블록 각각의 위치에 기초하여 좌영상을 탐색 범위 내에서 시프팅하여 좌영상과 우영상 간의 픽셀값 차이 및 수평 그레디언트 차이가 최소일 때의 시프트 값을 의미한다. 그리고, 좌영상은 고정형 방송망을 통해 전송되고, 우영상은 이동형 방송망을 통해 전송될 수 있다.

도 5는 본 발명의 제2 실시예에 따른 영상 재생 장치를 도시한 도면이다.

도 5를 참고하면, 영상 재생 장치(500)는 복원 모드 식별부(501) 및 영상 복원부(502)를 포함할 수 있다.

복원 모드 식별부(501)는 저해상도의 부가 영상을 구성하는 블록 또는 픽셀과 관련하여 복원 모드를 식별할 수 있다. 일례로, 복원 모드는 고해상도의 좌영상을 현재 프레임의 양안 시차로 시차 보상한 결과인 제1 복원 우영상으로 저해상도의 우영상을 복원하는 제1 복원 모드를 포함할 수 있다. 그리고, 복원 모드는 고해상도의 좌영상을 이전 프레임의 양안 시차로 시차 보상한 결과인 제2 복원 우영상으로 저해상도의 우영상을 복원하는 제2 복원 모드를 포함할 수 있다. 구체적으로, 제2 복원 우영상은 이전 프레임의 양안 시차에 따라 부가 영상의 일부를 시차 보상된 고해상도의 기준 영상으로 대체함으로써 생성될 수 있다. 또한, 복원 모드는 저해상도의 우영상을 공간적 보간한 결과인 제3 복원 우영상으로 저해상도의 우영상을 복원하는 제3 복원 모드를 포함할 수 있다.

여기서, 복원 모드는 영상 제공 장치가 저해상도의 우영상마다 결정한 복원 모드를 포함할 수 있다. 그래서, 영상 재생 장치는 영상 제공 장치가 제공한 부가 정보로부터 복원하고자 하는 저해상도의 우영상의 복원 모드를 추출할 수 있다. 실시예에 따라서는, 영상 재생 장치가 별도로 저해상도의 우영상의 복원 모드를 결정할 수 있다.

이 때, 양안 시차는 우영상의 픽셀 또는 블록 각각의 위치에 기초하여 좌영상을 탐색 범위 내에서 시프팅하여 좌영상과 우영상 간의 픽셀값 차이 및 수평 그레디언트 차이가 최소일 때의 시프트 값을 의미한다. 그리고, 좌영상은 고정형 방송망을 통해 전송되고, 우영상은 이동형 방송망을 통해 전송될 수 있다.

영상 복원부(502)는 복원 모드를 이용하여 저해상도의 우영상을 복원할 수 있다. 제1 복원 모드인 경우, 저해상도의 우영상은 고해상도의 좌영상을 현재 프레임의 양안 시차에 따라 시차 보상한 결과로 복원될 수 있다. 그리고, 제2 복원 모드인 경우, 저해상도의 우영상은 고해상도의 좌영상을 이전 프레임의 양안 시차에 따라 시차 보상한 결과로 복원될 수 있다. 구체적으로, 제2 복원 모드에 의하면, 이전 프레임의 양안 시차에 따라 부가 영상의 일부를 시차 보상된 고해상도의 기준 영상으로 대체함으로써 저해상도의 우영상을 복원할 수 있다. 또한, 제3 복원 모드인 경우, 저해상도의 우영상은 공간적 보간을 통해 복원될 수 있다. 여기서, 복원된다는 것은 저해상도의 우영상이 원본 형태인 고해상도의 우영상으로 처리된다는 것을 의미한다.

도 6은 본 발명의 일실시예에 따른 우영상을 복원하는 과정을 설명하기 위한 도면이다.

도 6을 참고하면, CASE 1은 고해상도의 좌영상(600)을 현재 프레임의 양안 시차로 시차 보상한 제1 복원 우영상(601)을 이용하는 예시를 나타낸다. 그리고, CASE 2는 고해상도의 좌영상(602)을 이전 프레임의 양안 시차로 조건부 시차 보상한 제2 복원 우영상(603)을 이용하는 예시를 나타낸다. 여기서, 조건부 시차 보상은 정상적으로 양안 시차 벡터가 할당된 픽셀에 대해서만 시차 보상을 수행하고, 시차 보상이 수행되지 않는 픽셀은 유의미한 픽셀값을 가지지 않는다. 또한, CASE 3은 저해상도의 우영상(604)을 공간적 보간하여 제2 복원 우영상(605)을 이용하는 예시를 나타낸다. 여기서, 공간적 보간은 선형 보간 등을 통해 저해상도의 우영상(602)의 해상도를 증가시키는 것을 의미한다.

본 발명의 일실시예에 따르면, 영상 제공 장치는 CASE 1에 따른 제1 복원 우영상(601), CASE 2에 따른 제2 복원 우영상(603) 및 CASE 3에 따른 제3 복원 우영상(605) 중 원본 형태의 고해상도의 우영상과 보다 유사한 것을 이용할 수 있다. 구체적으로, 영상 제공 장치는 제1 복원 우영상(601), CASE 2에 따른 제2 복원 우영상(603) 및 CASE 3에 따른 제3 복원 우영상(605)을 원본 형태의 고해상도의 우영상과 비교한 후, 픽셀값의 차이가 기준치 이하인 복원 결과를 이용할 수 있다.

도 7은 본 발명의 일실시예에 따른 양안 시차를 도시한 도면이다.

본 발명에서 설명하는 양안 시차는 도 7을 통해 설명될 수 있다. 구체적으로, 양안 시차는 우영상(700)의 블록(703)의 현재 위치를 중심으로 좌영상(701)을 시차 검색 범위(702) 내에서 1 픽셀씩 시프트할 때, 픽셀값의 차이와 수평 그래디언트의 차이가 종합적으로 최소일 때 시프트된 블록(704)과 블록(703) 간의 거리를 의미한다. 즉, d가 양안 시차를 의미한다. 다시 말해서, 양안 시차는 우영상(700)의 블록과 좌영상(701)의 블록을 이용하여 가장 유사한 블록들 간의 거리를 의미한다. 이와 같은 양안 시차는 동일한 오브젝트에 대해 인간의 왼쪽 눈과 오른쪽 눈으로 바라볼 때의 차이로 인해 발생된다.

도 7에서는 블록 단위로 양안 시차를 구하는 것을 설명하였으나, 좌영상(701)의 픽셀 단위로 양안 시차가 도출될 수 있다.

도 8은 본 발명의 제1 일실시예에 따라 부가 정보를 생성하는 과정을 설명하기 위한 도면이다.

도 8을 참고하면, 좌영상(800)과 우영상(801)이 도시된다. 여기서, 좌영상(800)은 원본 우영상(801)과 해상도가 동일하다. 하지만, 우영상(802)은 좌영상(800) 및 원본 우영상(801)에 비해 상대적으로 해상도가 낮은 것을 의미한다.

그리고, 좌영상(800)은 고정형 방송망을 통해 TS-M 패킷 형태로 전송될 수 있고, 우영상(801)은 이동형 방송망을 통해 M/H 패킷 형태로 전송될 수 있다. 우영상(801)은 고정형 방송망보다는 상대적으로 채널 용량이 적은 이동형 방송망을 통해 전송되기 때문에, 좌영상(800)보다는 압축률이 높게 부호화되거나 또는 해상도를 낮게 처리될 수 있다. 그래서, 좌영상(800)을 FULL HD급으로 전송한다면, 우영상(802)은 원본 우영상(801)에서 압축되어 SD급이나 HD급으로 전송될 수 있다.

영상 제공 장치(101)는 좌영상(800)과 원본 우영상(801) 간의 시차 추정을 통해 양안 시차(803)를 도출할 수 있다. 양안 시차(803)는 벡터 형태로 표현될 수 있다. 그런 후에, 영상 제공 장치(101)는 좌영상(800)을 양안 시차(803)로 시차 보상하여 제1 복원 우영상(804)를 생성할 수 있다. 그리고, 영상 제공 장치(101)는 우영상(802)를 공간적 보간을 통해 해상도를 증가시킴으로써 제2 복원 우영상(805)을 생성할 수 있다. 여기서, 제1 복원 우영상(804)과 제2 복원 우영상(805)은 좌영상(800)과 동일한 해상도를 가진다.

영상 제공 장치(101)는 제1 복원 우영상(804)과 제2 복원 우영상(805)을 원본 우영상(801)과 비교하여 픽셀값 차이가 기준치 이하인 것을 결정할 수 있다. 제1 복원 우영상(804)을 이용하여 우영상(802)을 복원하는 경우, 제1 복원 모드가 선택되고, 제2 복원 우영상(805)을 이용하여 우영상(802)을 복원하는 경우, 제2 복원 모드가 선택될 수 있다. 복원 모드는 좌영상(800)의 픽셀 단위 또는 블록 단위별로 결정되며, 부가 정보(806)에 포함되어 영상 재생 장치(102)에 전송된다. 그리고, 복원 모드가 제1 복원 모드로 결정된 경우, 부가 정보(806)는 제1 복원 우영상(804)을 생성하기 위한 양안 시차(803)를 포함할 수 있다.

결과적으로, 제1 복원 모드는 양안 시차(803)를 부가 정보로 전송할 수 밖에 없어 데이터 전송 부담이 크기 때문에, 대부분 제2 복원 모드로 선택될 수 있다. 하지만, 제1 복원 모드에 따른 복원 결과가 제2 복원 모드에 따른 복원 결과가 더 우수하다면, 데이터 전송 부담이 있다고 하더라도 제1 복원 모드가 선택될 수 있다.

또는, 영상 제공 장치(101)는 양안 시차를 조건부 대체 방식에 따라 이용하는 부가 정보(806)를 생성할 수 있다. 구체적으로, 영상 제공 장치(101)는 제1 복원 우영상(804)과 원본 우영상(801) 간의 픽셀값 차이를 기준치와 비교할 수 있다. 이 때, 제1 복원 우영상(804)과 원본 우영상(801) 간의 픽셀값 차이가 기준치 이하인 경우, 영상 제공 장치(101)는 양안 시차를 이용하는 제1 복원 모드를 우영상(802)의 복원 모드로 선택할 수 있다. 즉, 제1 복원 모드는 제1 복원 우영상(804)을 이용하는 것을 의미한다.

반대로, 제1 복원 우영상(804)과 원본 우영상(801) 간의 픽셀값 차이가 기준치 미만인 경우, 제2 복원 우영상(805)을 이용하는 제2 복원 모드를 우영상(802)의 복원 모드로 선택할 수 있다. 즉, 제2 복원 모드는 제2 복원 우영상(805)을 이용하는 것을 의미한다.

이와 같은 부가 정보(806)는 우영상(802)의 해상도를 좌영상(800)의 해상도만큼 증가시키기 위해 활용된다. 이와 같이 우영상(802)의 해상도를 증가시키는 것을 우영상(802)을 복원하는 것으로 정의할 수 있다. 그리고, 부가 정보(806)는 우영상(802)을 구성하는 블록 또는 픽셀마다 생성될 수 있다. 또한, 부가 정보(806)는 우영상(802)을 구성하는 블록 또는 픽셀마다 제1 복원 모드로 복원할 지 아니면, 제2 복원 모드로 복원할 지를 나타내는 플래그 형태로 표현될 수 있다. 좌영상(800), 우영상(802) 및 부가 정보(806)는 영상 제공 장치(101)에서 영상 재생 장치(102)로 전송될 수 있다. 제1 복원 모드로 복원하는 경우, 우영상(802)을 복원하기 위한 양안 시차도 부가 정보(806)에 포함되어 영상 재생 장치(102)에 전송될 수 있다.

도 9는 본 발명의 제2 실시예에 따라 부가 정보를 생성하는 과정을 설명하기 위한 도면이다.

도 9를 참고하면, 좌영상(900)과 우영상(901)이 도시된다. 여기서, 좌영상(900)은 원본 우영상(901)과 해상도가 동일하다. 하지만, 우영상(902)은 좌영상(900) 및 원본 우영상(901)에 비해 상대적으로 해상도가 낮은 것을 의미한다.

3D 영상인 스테레오스코픽 입체영상에서 좌영상과 우영상 간의 양안 시차는 공간적 상관성이 매우 높다. 인간의 왼쪽 눈과 오른쪽 눈에 대응하여 하나의 피사체를 촬영한 결과는 좌영상과 우영상의 많은 영역에서 하나의 오브젝트로 표현된다. 그리고, 상기 영역은 동일하거나 또는 유사한 양안 시차를 나타내기 때문에, 좌영상과 우영상 간의 양안 시차는 공간적 상관성이 높게 나타난다.

또한, 이전 프레임과 현제 프레임 간의 장면 전환이 없으면, 이전 프레임과 현재 프레임 간의 시간적 상관도가 높다. 그래서, 장면 전환이 없는 경우, 이전 프레임에 대응하는 좌영상과 우영상 간의 양안 시차는 현재 프레임에 대응하는 좌영상과 우영상 간의 양안 시차와 시간적 상관도가 높게 나타난다.

본 발명은 양안 시차의 시간적 중복성 및 공간적 중복성을 이용하여 부가 정보를 효율적으로 부호화할 수 있다. 여기서, 부가 정보는 우영상의 복원 모드 및 복원 모드에 따른 양안 시차를 포함할 수 있다. 이 때, 공간적 중복성을 이용하는 부호화 방식으로, 쿼드 트리 방식의 가변 블록 부호화 방식이 적용될 수 있다. 그리고, 시간적 중복성을 이용하는 부호화 방식으로, 시간적 예측 부호화 방식이 적용될 수 있다. 특히, 도 9는 부가 정보의 시간적 예측 부호화 방식에 대해 도시하고 있다.

영상 제공 장치(101)는 좌영상(900)과 원본 우영상(901)을 시차 추정하여 현재 프레임의 양안 시차(905)를 추출할 수 있다. 그리고, 영상 제공 장치(101)는 좌영상(900)을 양안 시차(905)로 시차 보상하여 제1 복원 우영상(906)을 생성할 수 있다.

그리고, 영상 제공 장치(101)는 좌영상(900)을 이전 프레임의 부가 정보(904)에 포함된 양안 시차로 시차 보상하여 제2 복원 우영상(907)을 생성할 수 있다. 일례로, 제2 복원 우영상은 이전 프레임의 양안 시차에 따라 부가 영상의 일부를 시차 보상된 고해상도의 기준 영상으로 대체함으로써 생성될 수 있다. 구체적으로, 제2 복원 우영상은 조건부 시차 보상에 따라 생성될 수 있다. 즉, 이전 프레임에서 정상적으로 양안 시차 벡터가 할당된 픽셀에 대해서만 시차 보상을 수행하는 조건부 시차 보상을 통해 제2 복원 우영상이 생성될 수 있다.

그러면, 제2 복원 우영상에서 양안 시차 벡터가 할당되지 않아 시차 보상되지 않은 픽셀은 유의미한 픽셀값을 가지지 않는다. 픽셀별로 복원 모드가 결정되므로, 이전 프레임의 전체 픽셀 중 특정 픽셀은 양안 시차가 아닌 공간적 보간을 통해 복원되는 경우가 존재하기 때문이다. 이전 프레임의 부가 정보(904)에 포함된 양안 시차는 이미 이전 프레임에서 도출된 결과이므로, 현재 프레임에서는 별도로 추출할 필요가 없다.

또한, 영상 제공 장치(101)는 우영상(902)을 공간적 보간을 통해 해상도를 증가시킴으로써 제3 복원 우영상(908)을 생성할 수 있다.

그런 다음, 영상 제공 장치(101)는 제1 복원 우영상(906), 제2 복원 우영상(907) 및 제3 복원 우영상(908)을 원본 우영상(901)과 비교하고, 픽셀값의 차이가 기준치 이하인 복원 결과를 복원 모드로 선택할 수 있다. 제1 복원 모드는 우영상(902)을 제1 복원 우영상(906)으로 복원하는 것을 의미한다. 그리고, 제2 복원 모드는 우영상(902)을 제2 복원 우영상(907)으로 복원하는 것을 의미한다. 또한, 제3 복원 모드는 우영상(902)을 제3 복원 우영상(908)으로 복원하는 것을 의미한다. 영상 제공 장치(101)는 선택된 복원 모드를 부가 정보(909)로 전송할 수 있다.

이 때, 부가 정보(909)가 제1 복원 모드를 포함하는 경우, 부가 정보(909)는 제1 복원 모드 이외에 현재 프레임에서 별도로 추출한 양안 시차(905)를 포함할 수 있다. 하지만, 부가 정보(909)가 제2 복원 모드 또는 제3 복원 모드를 포함하는 경우, 부가 정보(909)는 별도의 양안 시차(905)를 포함할 필요가 없다.

앞서 설명하였듯이, 부가 정보(909)는 우영상(901)의 블록 또는 픽셀마다 결정될 수 있다. 결국, 이전 프레임의 양안 시차를 이용하는 경우가 많아질수록, 실제로 부가 정보로서 전송해야 할 양안 시차는 감소할 수 있다.

도 10은 본 발명의 일실시예에 따라 쿼드 트리 방식을 적용하는 일례를 도시한 도면이다.

쿼드 트리 방식은 좌영상과 우영상 간의 공간적 중복성을 고려하여 우영상을 부호화하거나 또는 복호화할 때 활용될 수 있다. 이하에서는, 복호화 과정을 수행하는 영상 재생 장치(102)의 관점에서 설명하기로 한다.

먼저, 영상 재생 장치(102)는 3D 영상을 위해 이용되는 좌영상과 우영상의 중간 크기의 우영상을 생성할 수 있다(Step 1). 우영상은 좌영상보다 상대적으로 해상도가 낮을 수 있다.

그리고, 영상 재생 장치(102)는 생성된 중간 해상도를 나타내는 우영상을 서로 겹치지 않는 블록으로 분할할 수 있다(Step 2). 이 때, 쿼드 트리 방식에 따라 영상 재생 장치(102)는 우영상을 4개의 블록으로 분할할 수 있다.

영상 재생 장치(102)는 분할된 블록에 대응하는 좌영상의 블록을 양안 시차로 시차 보상한 후, 분할된 블록에 대응하여 복원할 수 있다(Step 3). 그런 후, 복원된 블록과 원본 블록 간의 차이가 기준치 이하인 경우, 영상 재생 장치(102)는 추가적으로 블록을 분할하는 과정(쿼드 트리 방식)을 중단하고 양안 시차를 이용하여 해당 블록을 복원할 수 있다.

하지만, 복원된 블록과 원본 블록 간의 차이가 기준치를 초과하는 경우, 영상 재생 장치(102)는 해당 블록을 쿼드 트리 방식에 따라 다시 4개의 블록으로 분할할 수 있다(Step 4). 영상 재생 장치(102)는 분할된 4개의 블록에 대해 Step 3을 수행할 수 있다.

Step 1에서 Step 4의 과정은 반복적으로 진행된다. 만약, 쿼드 트리 방식에 따라 분할된 블록이 미리 설정된 블록의 최소 크기를 가지는 경우, 영상 재생 장치(102)는 해당 블록을 M/H 채널을 통해 전송할 수 있다. 그리고, 영상 재생 장치(102)는 해당 블록을 우영상을 보간하여 확대함으로서 복원할 수 있다(Step 5).

이 때, 4개의 블록이 모두 우영상을 보간함으로써 복원하는 것으로 결정되는 경우, 영상 재생 장치(102)는 4개의 블록을 병합하여 하나의 블록을 생성하고, 우영상을 보간하여 확대함으로써 생성된 블록을 복원할 수 있다. 이러한 병합과 복원 과정은 최초로 분할된 블록의 크기가 될 때까지 반복적으로 진행된다. 그 후, 최종적으로 복원된 중간 크기의 우영상은 좌영상의 크기에 대응되도록 선형 보간되어 확대될 수 있다.

도 10에서, 블록 B1과 B4는 양안 시차를 이용하여 시차 보상된 좌영상으로 복원하는 경우를 나타낸다. 그리고, 블록 B21, B23, B24와 블록 B31, B32, B33도 양안 시차를 이용하여 시차 보상된 좌영상으로 복원하는 경우를 나타낸다. 다만, 블록 B22-1~B22-4가 미리 설정된 블록의 최소 크기라면, 블록 B22-1~B22-4는 우영상을 보간하여 확대함으로써 복원하는 경우를 나타낸다. 마찬가지로, 블록 B34-1~B34-4도 우영상을 보간하여 확대함으로써 복원하는 경우를 나타낸다.

앞서 설명한 쿼드 트리 방식에 따라 양안 시차를 부호화하는 경우, 분할된 블록마다 양안 시차를 이용하여 복원할 것인지를 나타내는 플래그가 할당될 수 있다. 여기서, 플래그는 해당 블록을 복원하기 위한 부가 정보를 의미하여, 부가 정보는 분할된 블록에 따라 계층적으로 부화할 수 있다. 부가 정보를 부호화하기 위해 고정 길이 부호화 방식뿐만 아니라 다양한 엔트로피 부호화 방식들이 이용될 수 있다.

이하는, 우영상의 블록을 복원하기 위한 부가 정보를 나타낸다.

화질 차이가 있는 좌영상과 우영상을 서로 다른 방송망을 통해 전송하는 경우, 기존 방송망과의 역호환성을 보장하기 위해 영상 제공 장치(101)는 독립된 별도의 시그널링 채널을 통해 부가 정보를 전송할 수 있다. 일례로, ASTC 8-VSB TS-M 스트림을 통해 좌영상을 전송하고, ATSC M/H 스트림을 통해 우영상을 전송하는 경우, 영상 제공 장치(101)는 TS-M 스트림의 PSI/PSIP 등의 시그널링 채널을 통해 부가 정보를 전송할 수 있다.

다른 실시예로 영상 제공 장치(101)는 부가 정보를 독립된 PID로 하여 패킷 전송하고, 3DTV 서비스를 위한 PSI/PSIP 등과 같은 시그널링 채널에 PID와 PID 해석 방식을 포함시킬 수 있다. 또 다른 실시예로 영상 제공 장치(101)는 M/H 스트림의 FIC/SMT 등의 시그널링 채널을 통해 부가 정보를 전송할 수 있다. 그리고, 영상 제공 장치(101)는 M/H 스트림의 특정 IP 스트림으로 부가 정보를 전송하고, 3DTV 서비스를 위한 FIC/SMT 등의 시그널링 채널을 통해 부가 정보와 관련된 PID와 PID 해석 방식을 포함시킬 수 있다.

도 11은 본 발명의 일실시예에 따라 영상 제공 장치에서 부가 정보를 생성하는 과정을 도시한 플로우차트이다.

단계(1101)에서, 영상 제공 장치(101)는 좌영상과 우영상 간의 양안 시차를 이용하여 좌영상을 시차 보상할 수 있다. 여기서, 시차 보상이라는 의미는 양안 시차을 이용하여 좌영상을 우영상과 유사하도록 처리하는 것을 의미한다. 그리고, 좌영상은 우영상에 비해 상대적으로 해상도가 높은 것을 의미한다.

단계(1102)에서, 영상 제공 장치(101)는 시차 보상된 제1 복원 우영상을 이용하여 원본 우영상 간의 픽셀값 차이를 계산할 수 있다. 그리고, 단계(1103)에서, 영상 제공 장치(101)는 픽셀값 차이가 미리 설정된 기준치 이하인지 여부를 판단할 수 있다.

만약, 픽셀값 차이가 기준치 이하인 경우, 단계(1104)에서, 영상 제공 장치(101)는 우영상의 복원 모드를 제1 복원 모드로 결정할 수 있다. 제1 복원 모드로 결정되는 경우, 양안 시차도 부가 정보에 포함될 수 있다. 그리고, 부가 정보는 우영상의 블록 또는 픽셀마다 결정될 수 있다.

반대로, 픽셀값 차이가 기준치를 초과하는 경우, 단계(1105)에서, 영상 제공 장치(101)는 이전 프레임의 부가 정보를 이용하여 좌영상을 시차 보상할 수 있다. 시차 보상된 결과는 제2 복원 우영상을 의미한다. 여기서, 이전 프레임의 부가 정보는 이전 프레임에서 도출된 양안 시차를 포함할 수 있다. 그리고, 앞서 설명한 단계(1101)의 양안 시차는 현재 프레임에서 시차 예측을 통해 별도로 도출한 결과이다. 일례로, 제2 복원 우영상은 이전 프레임의 양안 시차에 따라 부가 영상의 일부를 시차 보상된 고해상도의 기준 영상으로 대체함으로써 생성될 수 있다. 구체적으로, 제2 복원 우영상은 조건부 시차 보상에 따라 생성될 수 있다. 즉, 이전 프레임에서 정상적으로 양안 시차 벡터가 할당된 픽셀에 대해서만 시차 보상을 수행하는 조건부 시차 보상을 통해 제2 복원 우영상이 생성될 수 있다. 그러면, 제2 복원 우영상에서 양안 시차 벡터가 할당되지 않아 시차 보상되지 않은 픽셀은 유의미한 픽셀값을 가지지 않는다.

단계(1106)에서, 영상 제공 장치(101)는 시차 보상된 제2 복원 우영상과 원본 우영상의 픽셀값 차이를 계산할 수 있다. 그리고, 단계(1106)에서, 영상 제공 장치(101)는 픽셀값 차이가 기준치 이하인지 여부를 판단할 수 있다. 만약, 픽셀값 차이가 기준치 이하인 경우, 단계(1108)에서, 영상 제공 장치(101)는 우영상의 복원 모드를 제2 복원 모드로 결정할 수 있다.

반대로, 픽셀값 차이가 기준치를 초과하는 경우, 단계(1109)에서 영상 제공 장치(101)는 우영상을 공간적 보간할 수 있다. 여기서, 공간적 보간은 우영상을 선형 보간 등을 통해 보간하여 해상도를 증가시키는 것을 의미한다. 그런 후, 단계(1110)에서, 영상 제공 장치(101)는 공간적 보간을 통해 도출된 제3 복원 우영상과 원본 우영상을 비교하여 픽셀값 차이를 계산할 수 있다.

만약, 픽셀값 차이가 미리 설정된 기준치 이하인 경우, 단계(1112)에서 영상 제공 장치(101)는 우영상의 복원 모드를 제3 복원 모드로 결정할 수 있다. 반대로, 픽셀값 차이가 미리 설정된 기준치를 초과하는 경우, 단계(1113)에서 영상 제공 장치는 해당 블록을 진행 모드로 결정할 수 있다. 진행 모드는 해당 블록이 제1 복원 모드, 제2 복원 모드 또는 제3 복원 모드 중 어느 하나의 복원 모드로 선택되지 않은 것을 의미한다.

도 12는 본 발명의 일실시예에 따른 영상 재생 장치에서 우영상을 복원하는 과정을 도시한 플로우차트이다.

단계(1201)에서, 영상 재생 장치(102)는 좌영상, 우영상 및 부가 정보를 수신할 수 있다. 이 때, 좌영상과 우영상은 서로 다른 방송망을 통해 전송될 수 있다. 일례로, 좌영상은 고정형 방송망인 TS-M 채널을 통해 전송되고, 우영상은 이동형 방송망인 M/H 채널을 통해 전송될 수 있다. 그리고, 전송 채널의 차이로 인해, 우영상은 좌영상에 비해 상대적으로 화질이 낮게 전송될 수 있다. 또한, 부가 정보는 좌영상이 전송된 방송망 또는 우영상이 전송된 방송망 중 적어도 하나를 통해 전송될 수 있다.

단계(1202)에서, 영상 재생 장치(102)는 부가 정보가 제1 복원 모드인지 여부를 판단할 수 있다. 단계(1202)는 우영상의 블록 또는 픽셀마다 결정될 수 있다. 앞서 설명한 바와 같이, 제1 복원 모드는 현재 프레임의 양안 시차를 이용하여 시차 보상된 좌영상인 제1 복원 우영상으로 우영상을 복원하는 것을 의미한다. 이 때, 부가 정보가 제1 복원 모드인 경우, 단계(1203)에서, 영상 재생 장치(102)는 현재 프레임의 양안 시차로 시차 보상된 좌영상을 이용하여 우영상을 복원할 수 있다.

단계(1204)에서, 영상 재생 장치(102)는 부가 정보가 제2 복원 모드인지 여부를 판단할 수 있다. 단계(1202)는 우영상의 블록 또는 픽셀마다 결정될 수 있다. 앞서 설명한 바와 같이, 제2 복원 모드는 이전 프레임의 양안 시차를 이용하여 시차 보상된 좌영상인 제2 복원 우영상으로 우영상을 복원하는 것을 의미한다. 일례로, 제2 복원 우영상은 이전 프레임의 양안 시차에 따라 부가 영상의 일부를 시차 보상된 고해상도의 기준 영상으로 대체함으로써 생성될 수 있다. 구체적으로, 제2 복원 우영상은 조건부 시차 보상에 따라 생성될 수 있다. 즉, 이전 프레임에서 정상적으로 양안 시차 벡터가 할당된 픽셀에 대해서만 시차 보상을 수행하는 조건부 시차 보상을 통해 제2 복원 우영상이 생성될 수 있다. 그러면, 제2 복원 우영상에서 양안 시차 벡터가 할당되지 않아 시차 보상되지 않은 픽셀은 유의미한 픽셀값을 가지지 않는다. 이 때, 부가 정보가 제2 복원 모드인 경우, 단계(1205)에서, 영상 재생 장치(102)는 이전 프레임의 양안 시차로 시차 보상된 좌영상을 이용하여 우영상을 복원할 수 있다.

단계(1206)에서, 영상 재생 장치(102)는 부가 정보가 제3 복원 모드인지 여부를 판단할 수 있다. 단계(1206)는 우영상의 블록 또는 픽셀마다 결정될 수 있다. 앞서 설명한 바와 같이, 제3 복원 모드는 우영상을 공간적 보간하여 해상도를 증가시킨 제3 복원 우영상으로 우영상을 복원하는 것을 의미한다. 이 때, 부가 정보가 제3 복원 모드인 경우, 단계(1207)에서, 영상 재생 장치(102)는 우영상에 공간적 보간을 적용하여 우영상을 복원할 수 있다.

만약, 단계(1206)에서, 부가 정보가 제3 복원 모드가 아닌 경우, 단계(1207)에서 해당 블록에 대해 진행 모드를 유지할 수 있다. 도 12에서 단계(1202), 단계(1204) 및 단계(1206)은 순차적으로 되어 있으나, 반드시 순차적일 필요가 없다. 또한, 영상 재생 장치(102)는 도 12의 단계(1202), 단계(1204) 및 단계(1206)와 같은 부가 정보에 대한 판단 과정없이 부가 정보에 포함된 복원 모드를 확인하여 바로 단계(1203), 단계(1205) 또는 단계(1207) 중 어느 하나를 수행할 수 있다.

도 13은 본 발명의 일실시예에 따라 영상 제공 장치 또는 영상 재생 장치가 수행하는 과정을 도시한 도면이다.

도 13의 경우, 영상 제공 장치(101)을 중심으로 설명하며, 영상 재생 장치(102)에도 동일하게 적용될 수 있다.

단계(1301)에서, 영상 제공 장치(101)는 우영상을 수퍼 블록으로 분할하고, 영상 전체의 모든 픽셀의 복원 모드를 진행 모드로 설정할 수 있다. 여기서, 진행 모드는 아직 특정한 복원 모드가 지정되지 않은 상태를 의미한다.

그리고, 단계(1302)에서, 영상 제공 장치(101)는 스캔 순서에 따라 처리하고자 하는 현재 블록을 결정할 수 있다. 단계(1303)에서, 영상 제공 장치(101)는 처리하고자 하는 현재 블록이 진행 모드로 설정되었는지 판단할 수 있다.

만약, 현재 블록이 진행 모드로 설정된 경우, 단계(1304)에서, 영상 제공 장치(101)는 블록의 복원 모드를 결정할 수 있다. 그리고, 단계(1305)에서, 영상 제공 장치(101)는 처리하고자 하는 현재 블록이 제1, 제2 또는 제3 복원 모드 중 어느 하나의 복원 모드로 설정되었는 지 여부를 판단할 수 있다.

만약, 현재 블록이 제1 복원 모드, 제2 복원 모드 또는 제3 복원 모드 중 어느 하나로 설정되었다면, 단계(1306)에서, 영상 제공 장치(101)는 현재 블록에 포함된 모든 픽셀을 해당 블록의 복원 모드로 설정할 수 있다.

만약, 현재 블록이 제1 복원 모드, 제2 복원 모드 또는 제3 복원 모드 중 어느 하나로 설정되지 않았다면, 단계(1307)에서, 영상 제공 장치(101)는 스캔 순서에 따라 현재 블록이 영상 전체에서 마지막 블록인지 여부를 판단할 수 있다. 만약, 현재 블록이 마지막 블록인 경우, 영상 제공 장치(101)는 다시 단계(1302)를 수행한다. 만약, 현재 블록이 마지막 블록이 아닌 경우, 단계(1308)에서 영상 제공 장치(101)는 현재 블록의 크기가 미리 지정된 최소 크기인지 여부를 판단할 수 있다. 만약, 현재 블록의 크기가 미리 지정된 최소 크기가 아닌 경우, 단계(1309)에서, 영상 제공 장치(101)는 현재 블록을 쿼드 트리 방식에 따라 현재 블록을 4등분할 수 있다. 4등분된 블록들 각각은 다시 단계(1302) 내지 단계(1309)의 과정을 거친다. 만약, 현재 블록의 크기가 미리 지정된 최소 크기인 경우, 종료한다.

본 발명이 적용되는 대표적인 실시예로, ATSC-M/H 방송 시스템을 이용하여 고정 방송/이동 방송 융합형 3D-TV 방송 서비스를 제공할 때, 고정 방송용 좌영상에 비해서 현격하게 화질이 떨어지는 이동 방송용 우영상을 효과적으로 복원할 수 있다. ATSC-M/H 방송 시스템을 활용한 고정 방송/이동 방송 융합형 3D-TV 방송 서비스를 통해 3DTV 서비스를 제공하는 경우 고정 방송 채널과 이동 방송 채널을 동시에 사용함으로써, 기존의 2D 방송의 품질에 미치는 영향을 최소화할 수 있다.

한편, 고정 방송 채널과 이동 방송 채널을 전송되는 영상 간에 해상도 차이가 존재하더라도, 본 발명은 적용될 수 있다. 일례로, (i) DVB T2(고해상도 고정방송) 및 T-2 mobile/NGH(저해상도 이동방송)을 통한 3DTV 서비스, (ii) ISDB-T(고해상도 고정방송) 및 OneSeg(저해상도 이동방송) 방송망을 통한 3DTV 방송 서비스, (iii)특정 프로그램의 고해상도 영상(main영상)/저해상도 영상(부가영상)을 고정방송망을 통해 simulcast하는 경우(유럽 DVB 채택 일부국가)에도 적용될 수 있다. 다른 실시예로, 다시점 방송을 위해 특정 고해상도 영상을 기준으로 시차가 다른 복수의 영상에 대해 화질을 향상시킬 수 있다.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

101: 영상 제공 장치
102: 영상 재생 장치

Claims (23)

1. 삭제
2. 고해상도의 기준 영상 및 저해상도의 부가 영상을 식별하는 영상 식별부;
   상기 저해상도의 부가 영상의 복원 모드를 결정하는 복원 모드 결정부; 및
   상기 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 복원 모드를 포함하는 부가 정보를 전송하는 데이터 전송부를 포함하고,
   상기 복원 모드 결정부는,
   상기 고해상도의 기준 영상을 양안 시차로 시차 보상하여 제1 복원 부가 영상을 생성하고,
   상기 저해상도의 부가 영상을 공간적 보간하여 제2 복원 부가 영상을 생성하는 영상 제공 장치.
3. 제2항에 있어서,
   상기 복원 모드 결정부는,
   상기 제1 복원 부가 영상과 제2 복원 부가 영상을 고해상도의 부가 영상과 비교하여 상기 저해상도의 부가 영상의 복원 모드를 결정하는 영상 제공 장치.
4. 고해상도의 기준 영상 및 저해상도의 부가 영상을 식별하는 영상 식별부;
   상기 저해상도의 부가 영상의 복원 모드를 결정하는 복원 모드 결정부; 및
   상기 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 복원 모드를 포함하는 부가 정보를 전송하는 데이터 전송부를 포함하고,
   상기 복원 모드 결정부는,
   상기 고해상도의 기준 영상을 현재 프레임의 양안 시차로 시차 보상하여 제1 복원 부가 영상을 생성하고,
   상기 고해상도의 기준 영상을 이전 프레임의 양안 시차로 시차 보상하여 제2 복원 부가 영상을 생성하는 영상 제공 장치.
5. 제4항에 있어서,
   상기 복원 모드 결정부는,
   상기 저해상도의 부가 영상을 공간적 보간하여 제3 복원 부가 영상을 생성하고, 상기 제1 복원 부가 영상, 제2 복원 부가 영상 및 제3 복원 부가 영상을 고해상도의 부가 영상과 비교하여 상기 저해상도의 부가 영상의 복원 모드를 결정하는 영상 제공 장치.
6. 제4항에 있어서,
   상기 양안 시차는,
   상기 고해상도의 기준 영상 및 저해상도의 부가 영상을 시차 추정하여 결정되는 영상 제공 장치.
7. 제4항에 있어서,
   상기 복원 모드 결정부는,
   상기 고해상도의 기준 영상을 구성하는 블록 단위 또는 픽셀 단위에 따라 복원 모드를 결정하는 영상 제공 장치.
8. 현재 프레임에 대해 고해상도의 기준 영상 및 고해상도의 부가 영상을 이용하여 현재 프레임의 양안 시차를 생성하는 양안 시차 생성부;
   상기 현재 프레임의 양안 시차에 따라 고해상도의 기준 영상을 시차 보상하여 제1 복원 부가 영상을 생성하는 제1 복원 영상 생성부;
   이전 프레임의 양안 시차에 따라 고해상도의 기준 영상을 시차 보상하여 제2 복원 부가 영상을 생성하는 제2 복원 영상 생성부;
   저해상도의 부가 영상을 공간적 보간하여 제3 복원 부가 영상을 생성하는 제3 복원 영상 생성부; 및
   상기 제1 복원 부가 영상, 제2 복원 부가 영상, 및 제3 복원 부가 영상을 고해상도의 부가 영상과 비교하여 저해상도의 부가 영상의 복원 모드를 결정하는 복원 모드 결정부
   를 포함하는 영상 제공 장치.
9. 삭제
10. 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 저해상도의 부가 영상을 위한 복원 모드를 포함하는 부가 정보를 수신하는 영상 수신부; 및
    상기 부가 정보를 이용하여 상기 저해상도의 부가 영상을 복원하는 영상 복원부를 포함하고,
    상기 복원 모드는,
    상기 고해상도의 기준 영상을 양안 시차로 시차 보상하여 제1 복원 부가 영상으로 복원하는 제1 복원 모드; 및
    상기 저해상도의 부가 영상을 공간적 보간하여 제2 복원 부가 영상으로 복원하는 제2 복원 모드
    를 포함하는 영상 재생 장치.
11. 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 저해상도의 부가 영상을 위한 복원 모드를 포함하는 부가 정보를 수신하는 영상 수신부; 및
    상기 부가 정보를 이용하여 상기 저해상도의 부가 영상을 복원하는 영상 복원부를 포함하고,
    상기 복원 모드는,
    상기 고해상도의 기준 영상을 현재 프레임의 양안 시차로 시차 보상하여 제1 복원 부가 영상으로 복원하는 제1 복원 모드; 및
    상기 고해상도의 기준 영상을 이전 프레임의 양안 시차로 시차 보상하여 제2 복원 부가 영상으로 복원하는 제2 복원 모드를 포함하는 영상 재생 장치.
12. 제11항에 있어서,
    상기 복원 모드는,
    상기 저해상도의 부가 영상을 공간적 보간하여 제3 복원 부가 영상으로 복원하는 제3 복원 모드
    를 더 포함하는 영상 재생 장치.
13. 제11항에 있어서,
    상기 양안 시차는,
    상기 고해상도의 기준 영상 및 고해상도의 부가 영상을 시차 추정하여 결정되는 영상 재생 장치.
14. 저해상도의 부가 영상을 구성하는 블록 또는 픽셀과 관련하여 복원 모드를 식별하는 복원 모드 식별부; 및
    상기 복원 모드를 이용하여 상기 저해상도의 부가 영상을 복원하는 영상 복원부를 포함하고,
    상기 복원 모드는,
    고해상도의 기준 영상을 양안 시차로 시차 보상하여 제1 복원 부가 영상으로 복원하는 제1 복원 모드; 및
    상기 저해상도의 부가 영상을 공간적 보간하여 제2 복원 부가 영상으로 복원하는 제2 복원 모드
    를 포함하는 영상 재생 장치.
15. 저해상도의 부가 영상을 구성하는 블록 또는 픽셀과 관련하여 복원 모드를 식별하는 복원 모드 식별부; 및
    상기 복원 모드를 이용하여 상기 저해상도의 부가 영상을 복원하는 영상 복원부를 포함하고,
    상기 복원 모드는,
    고해상도의 기준 영상을 현재 프레임의 양안 시차로 시차 보상하여 제1 복원 부가 영상으로 복원하는 제1 복원 모드; 및
    상기 고해상도의 기준 영상을 이전 프레임의 양안 시차로 시차 보상하여 제2 복원 부가 영상으로 복원하는 제2 복원 모드를 포함하는 영상 재생 장치.
16. 제15항에 있어서,
    상기 복원 모드는,
    상기 저해상도의 부가 영상을 공간적 보간하여 제3 복원 부가 영상으로 복원하는 제3 복원 모드
    를 더 포함하는 영상 재생 장치.
17. 고해상도의 기준 영상 및 저해상도의 부가 영상을 식별하는 단계;
    상기 저해상도의 부가 영상의 복원 모드를 결정하는 단계; 및
    상기 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 복원 모드를 포함하는 부가 정보를 전송하는 단계를 포함하고,
    상기 복원 모드를 결정하는 단계는,
    상기 고해상도의 기준 영상을 양안 시차로 시차 보상하여 제1 복원 부가 영상을 생성하는 단계; 및
    상기 저해상도의 부가 영상을 공간적 보간하여 제2 복원 부가 영상을 생성하는 단계를 포함하는 영상 제공 방법.
18. 현재 프레임에 대해 고해상도의 기준 영상 및 고해상도의 부가 영상을 이용하여 현재 프레임의 양안 시차를 생성하는 단계;
    상기 현재 프레임의 양안 시차에 따라 고해상도의 기준 영상을 시차 보상하여 제1 복원 부가 영상을 생성하는 단계;
    이전 프레임의 양안 시차에 따라 고해상도의 기준 영상을 시차 보상하여 제2 복원 부가 영상을 생성하는 단계;
    저해상도의 부가 영상을 공간적 보간하여 제3 복원 부가 영상을 생성하는 단계; 및
    상기 제1 복원 부가 영상, 제2 복원 부가 영상, 및 제3 복원 부가 영상을 고해상도의 부가 영상과 비교하여 저해상도의 부가 영상의 복원 모드를 결정하는 단계
    를 포함하는 영상 제공 방법.
19. 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 저해상도의 부가 영상을 위한 복원 모드를 포함하는 부가 정보를 수신하는 단계; 및
    상기 부가 정보를 이용하여 상기 저해상도의 부가 영상을 복원하는 단계를 포함하고,
    상기 복원 모드는,
    상기 고해상도의 기준 영상을 양안 시차로 시차 보상하여 제1 복원 부가 영상으로 복원하는 제1 복원 모드; 및
    상기 저해상도의 부가 영상을 공간적 보간하여 제2 복원 부가 영상으로 복원하는 제2 복원 모드를 포함하는 영상 재생 방법.
20. 저해상도의 부가 영상을 구성하는 블록 또는 픽셀과 관련하여 복원 모드를 식별하는 단계; 및
    상기 복원 모드를 이용하여 상기 저해상도의 부가 영상을 복원하는 단계를 포함하고,
    상기 복원 모드는,
    고해상도의 기준 영상을 양안 시차로 시차 보상하여 제1 복원 부가 영상으로 복원하는 제1 복원 모드; 및
    상기 저해상도의 부가 영상을 공간적 보간하여 제2 복원 부가 영상으로 복원하는 제2 복원 모드
    를 포함하는 영상 재생 방법.
21. 고해상도의 기준 영상 및 저해상도의 부가 영상을 식별하는 단계;
    상기 저해상도의 부가 영상의 복원 모드를 결정하는 단계; 및
    상기 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 복원 모드를 포함하는 부가 정보를 전송하는 단계를 포함하고,
    상기 복원 모드를 결정하는 단계는,
    상기 고해상도의 기준 영상을 현재 프레임의 양안 시차로 시차 보상하여 제1 복원 부가 영상을 생성하는 단계; 및
    상기 고해상도의 기준 영상을 이전 프레임의 양안 시차로 시차 보상하여 제2 복원 부가 영상을 생성하는 단계를 포함하는 영상 제공 방법.
22. 고해상도의 기준 영상, 저해상도의 부가 영상 및 상기 저해상도의 부가 영상을 위한 복원 모드를 포함하는 부가 정보를 수신하는 단계; 및
    상기 부가 정보를 이용하여 상기 저해상도의 부가 영상을 복원하는 단계를 포함하고,
    상기 복원 모드는,
    상기 고해상도의 기준 영상을 현재 프레임의 양안 시차로 시차 보상하여 제1 복원 부가 영상으로 복원하는 제1 복원 모드; 및
    상기 고해상도의 기준 영상을 이전 프레임의 양안 시차로 시차 보상하여 제2 복원 부가 영상으로 복원하는 제2 복원 모드를 포함하는 영상 재생 방법.
23. 제17항 내지 제22항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.

Images