KR20160026914A - 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치 - Google Patents

Abstract

본 발명의 일 실시예에 따른, 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법은, 복수의 시점에 대한 비디오 영상 및 깊이 영상을 수신하는 단계, 상기 복수의 시점에 대한 비디오 영상에 표시되는 부가 오브젝트 중 어느 하나의 부가 오브젝트를 기준 부가 오브젝트 (reference additional object) 로 설정하는 단계, 상기 기준 부가 오브젝트가 표시되는 영역 및 상기 기준 부가 오브젝트의 모서리에 인접한, 비디오 영상의 픽셀의 디스패리티 (disparity)를 계산하는 단계, 상기 계산된 디스패리티의 값 이상의 디스패리티 값을 상기 기준 부가 오브젝트에 적용하여, 제1시점의 비디오 영상 및 제2시점의 비디오 영상에 상기 기준 부가 오브젝트를 합성하는 단계 및 상기 기준 부가 오브젝트가 합성된 제1시점의 비디오 영상 및 제2시점의 비디오 영상을 3차원 영상으로 포맷팅하는 단계를 포함한다.

Description

다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING 3-DIMENSIONAL IMAGE INCLUDING ADDITIONAL OBJECT IN SYSTEM PROVIDING MULTI-VIEW IMAGE}

본 발명은 디지털 방송 시스템에서 OSD 및/또는 폐쇄 자막을 처리하는 방법 및 장치에 관한 것이다. 보다 상세하게는, 본 발명은 다시점 3차원 영상이 제공되는 시스템에서, 각각의 시점의 영상에 OSD 및/또는 폐쇄 자막을 합성 처리하는 방법 및 장치에 관한 것이다.

3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.

일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.

이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안(left eye)에서 시청되기 위한 좌영상(left view image)과 우안(right eye)에서 시청되기 우영상(right view image)을 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 좌영상과 우영상을 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.

스테레오스코픽 3차원 영상 컨텐츠의 경우, 서로 다른 시점의 유사한 두 개의 영상을 송신하면 수신기가 두 개의 영상을 이용하여 3차원 영상으로 디스플레이하는 방식을 사용한다. 수신기에 의해 3차원 영상이 디스플레이되는 경우, 좌영상과 우영상 간의 디스패리티 (disparity) 에 의해 양안시차가 발생하여 입체적인 영상이 제공된다.

여기서, 디스패리티는, 3차원 이미지의 하나의 픽셀 (pixel) 을 나타내는, 좌영상의 픽셀과 우영상의 픽셀 사이의 수평적 거리 차이를 의미한다.

무안경식 방식의 3차원 디스플레이의 구현을 위하여, 다시점 영상을 재생하는 방법이 연구되고 있다. 다시점 영상은 2개 이상의 영상을 입력받아 재생하거나, 혹은 입력 영상들을 이용하여 가상 시점의 영상들을 합성하여 화면에 디스플레이한다.

현재 3DTV 수신기에서, 시청자는 고정된 시점에서의 제한적인 입체 영상을 시청하는 것만이 가능하다. 그러나 입체영상 방송의 궁극적인 목표는 시청자가 원하는 시점을 자유롭게 선택하여 볼 수 있게 하려는 것이며, 다중화면 (Multiview, 멀티뷰) 방송 및 무안경 3DTV 등 이를 실현하기 위한 여러 방면에서의 연구가 계속되고 있다.

TV는 방송 혹은 영상의 시청 중에도 그에 대한 조작이 가능하여야 한다. 종래 기술에 의하면, 사용자가 3D 영상의 시청 중에 TV의 조작을 할 경우, OSD (On Screen Display) 가 디스플레이되는 위치 (깊이)가 3D 방송 또는 3D 영상의 깊이감을 해치는 경우가 발생할 수 있다.

한편, 폐쇄 자막은 TV 문자다중방송 서비스의 하나로 청력장애자 대상의 자막서비스 등에 사용된다. 미국 3대 텔레비전 프라임 타임 프로그램의 70% 는 자막 방송일 정도로 여러모로 이용 되고 있다. 이 폐쇄 자막이 3DTV에 표시 될 경우, 원활한 자막의 표시를 위하여, 3D 방송 또는 3D 영상과 자막간의 관계에 따른 위치 (깊이)에 자막이 디스플레이될 필요가 있다.

그러나, 종래 기술에 따르면, 자막의 깊이를 정의하는 방식이 제시되고 있지 않아, 3D 방송 또는 3D 영상과, 자막이 서로의 입체감을 해치는 경우가 발생 할 수 있다.

본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 다시점 3차원 디스플레이에서 OSD가 적절한 위치 (깊이)에 디스플레이될 수 있도록 하는 것이다.

또한, 본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 다시점 3차원 디스플레이에서 OSD가, 각각의 시점에서, 다시점 3차원 디스플레이의 입체감을 해치지 않도록 하는 것에 있다.

또한, 본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 본 발명에서는 다시점 3차원 디스플레이를 이용한 무안경 3DTV 방식의 입체영상 시청 시, 적정한 OSD의 디스플레이 위치를 계산하거나 정의하는 것에 있다.

또한, 본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 다시점 3차원 디스플레이에서 각 시점에 대한 OSD를 생성시, 디스패리티 (disparity) 로 인해, OSD가 화면 영역을 벗어나 잘리는 문제를 해결하는 것에 있다.

또한, 본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 다시점 3차원 디스플레이의 각각의 시점에서, 폐쇄 자막을 적절한 위치 (깊이) 에 디스플레이될 수 있도록 하는 것이다.

또한, 본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 다시점 3차원 디스플레이의 각각의 시점에서, 폐쇄 자막이 3차원 디스플레이의 입체감을 해치지 않도록 하는 것에 있다.

또한, 본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 본 발명에서는 다시점 3차원 디스플레이를 이용한 무안경 3DTV 방식의 입체영상 시청 시, 적정한 폐쇄 자막의 디스플레이 위치를 계산하거나 정의하는 것에 있다.

전술한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른, 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법은, 복수의 시점에 대한 비디오 영상 및 깊이 영상을 수신하는 단계, 상기 복수의 시점에 대한 비디오 영상에 표시되는 부가 오브젝트 중 어느 하나의 부가 오브젝트를 기준 부가 오브젝트 (reference additional object) 로 설정하는 단계, 상기 기준 부가 오브젝트가 표시되는 영역 및 상기 기준 부가 오브젝트의 모서리에 인접한, 비디오 영상의 픽셀의 디스패리티 (disparity)를 계산하는 단계, 상기 계산된 디스패리티의 값 이상의 디스패리티 값을 상기 기준 부가 오브젝트에 적용하여, 제1시점의 비디오 영상 및 제2시점의 비디오 영상에 상기 기준 부가 오브젝트를 합성하는 단계 및 상기 기준 부가 오브젝트가 합성된 제1시점의 비디오 영상 및 제2시점의 비디오 영상을 3차원 영상으로 포맷팅하는 단계를 포함한다.

바람직하게는, 상기 기준 부가 오브젝트로 설정하는 단계는, 상기 복수의 시점에 대한 비디오 영상 중, 가장 왼쪽 시점의 비디오 영상과 가장 오른쪽 시점의 비디오 영상을 식별하는 단계, 및 상기 식별된 비디오 영상에 포함되는, 부가 오브젝트에서 화면의 좌측 모서리까지의 거리가, 상기 부가 오브젝트에서 화면의 우측 모서리까지의 거리 보다 가까운 경우, 가장 오른쪽 시점의 비디오 영상에 표시되는 부가 오브젝트를 상기 기준 부가 오브젝트로 설정하고, 상기 부가 오브젝트에서 화면의 좌측 모서리까지의 거리가, 상기 부가 오브젝트에서 화면의 우측 모서리까지의 거리 보다 먼 경우, 가장 왼쪽 시점의 비디오 영상에 표시되는 부가 오브젝트를 상기 기준 부가 오브젝트로 설정하는 단계를 포함한다.

바람직하게는, 상기 비디오 영상의 픽셀의 디스패리티 (disparity)를 계산하는 단계는, 상기 기준 부가 오브젝트가 표시되는 영역 및 상기 기준 부가 오브젝트의 모서리에 인접한 픽셀들 중 가장 큰 깊이감을 나타내는 픽셀을 식별하는 단계 및 상기 식별된 픽셀의 디스패리티를 계산하는 단계를 포함한다.

바람직하게는, 상기 깊이 영상은, 깊이 맵 및 카메라 파라미터를 포함한다.

바람직하게는, 상기 부가 오브젝트는, OSD (On Screen Display) 또는 폐쇄 자막에 해당되는 것을 특징으로 한다.

바람직하게는, 상기 기준 부가 오브젝트가 합성된 상기 제1시점의 비디오 영상 및 상기 제2시점의 비디오 영상에, 제2 기준 부가 오브젝트를 합성하는 단계를 더 포함한다.

바람직하게는, 상기 제2 기준 부가 오브젝트를 합성하는 단계는, 상기 기준 부가 오브젝트와 상기 제2 기준 부가 오브젝트 사이의 깊이감의 차이를 식별하는 정보를 생성하는 단계 및 상기 생성된 정보에 의한 깊이감의 차이를 나타내는 디스패리티를 적용하여, 상기 제2 기준 부가 오브젝트를 상기 제1시점 비디오 영상 및 상기 제2시점 비디오 영상에 합성하는 단계를 포함한다.

본 발명의 일 실시예에 따른, 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상을 처리하는 수신기는, 복수의 시점에 대한 비디오 영상 및 깊이 영상을 디코딩하는 디코더, 상기 복수의 시점에 대한 비디오 영상에 표시되는 부가 오브젝트 중 어느 하나의 부가 오브젝트를 기준 부가 오브젝트 (reference additional object) 로 설정하고, 상기 기준 부가 오브젝트가 표시되는 영역 및 상기 기준 부가 오브젝트의 모서리에 인접한, 비디오 영상의 픽셀의 디스패리티 (disparity)를 계산하는 디스패리티 계산부, 상기 계산된 디스패리티의 값 이상의 디스패리티 값을 상기 기준 부가 오브젝트에 적용하여, 제1시점의 비디오 영상 및 제2시점의 비디오 영상에 상기 기준 부가 오브젝트를 합성하는 부가 오브젝트 합성부 및 상기 기준 부가 오브젝트가 합성된 제1시점의 비디오 영상 및 제2시점의 비디오 영상을 3차원 영상으로 포맷팅하는 3차원 디스플레이 포맷터를 포함한다.

바람직하게는, 상기 디스패리티 계산부는, 상기 복수의 시점에 대한 비디오 영상 중, 가장 왼쪽 시점의 비디오 영상과 가장 오른쪽 시점의 비디오 영상을 식별하고, 상기 식별된 비디오 영상에 포함되는, 부가 오브젝트에서 화면의 좌측 모서리까지의 거리가, 상기 부가 오브젝트에서 화면의 우측 모서리까지의 거리 보다 가까운 경우, 가장 오른쪽 시점의 비디오 영상에 표시되는 부가 오브젝트를 상기 기준 부가 오브젝트로 설정하고, 상기 부가 오브젝트에서 화면의 좌측 모서리까지의 거리가, 상기 부가 오브젝트에서 화면의 우측 모서리까지의 거리 보다 먼 경우, 가장 왼쪽 시점의 비디오 영상에 표시되는 부가 오브젝트를 상기 기준 부가 오브젝트로 설정하는 것을 특징으로 한다.

바람직하게는, 상기 디스패리티 계산부는, 상기 기준 부가 오브젝트가 표시되는 영역 및 상기 기준 부가 오브젝트의 모서리에 인접한 픽셀들 중 가장 큰 깊이감을 나타내는 픽셀을 식별하고, 상기 식별된 픽셀의 디스패리티를 계산하는 것을 특징으로 한다.

바람직하게는, 상기 깊이 영상은, 깊이 맵 및 카메라 파라미터를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 부가 오브젝트는, OSD (On Screen Display) 또는 폐쇄 자막에 해당되는 것을 특징으로 한다.

바람직하게는, 상기 부가 오브젝트 합성부는, 상기 기준 부가 오브젝트가 합성된 상기 제1시점의 비디오 영상 및 상기 제2시점의 비디오 영상에, 제2 기준 부가 오브젝트를 합성하는 것을 특징으로 한다.

바람직하게는, 상기 디스패리티 계산부는, 상기 기준 부가 오브젝트와 상기 제2 기준 부가 오브젝트 사이의 깊이감의 차이를 식별하는 정보를 생성하고, 상기 부가 오브젝트 합성부는, 상기 생성된 정보에 의한 깊이감의 차이를 나타내는 디스패리티를 적용하여, 상기 제2 기준 부가 오브젝트를 상기 제1시점 비디오 영상 및 상기 제2시점 비디오 영상에 합성하는 것을 특징으로 한다.

본 발명에 따르면, 다시점 3차원 영상을 제공하는 환경에서, 각각의 시점의 영상에서 적절한 위치에 OSD 또는 폐쇄 자막을 디스플레이할 수 있다.

본 발명에 따르면, 다시점 3차원 영상을 제공하는 환경에서, 각 시점의 영상에서 OSD 또는 폐쇄 자막이 화면 외부에 위치하도록 설정되어, OSD 또는 폐쇄 자막의 일부가 짤려서 디스플레이되는 현상을 방지할 수 있다.

본 발명에 따르면, 다시점 3차원 영상을 제공하는 환경에서, 복수의 OSD 또는 폐쇄 자막이 디스플레이되어야 하는 경우, 이들 사이에 방해가 발생하지 않도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른, 다시점 3차원 영상에 OSD를 디스플레이하기 위한 각 영상의 관계를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 다시점 3차원 영상 중 일부 시점의 영상에서 OSD의 디스플레이를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 기준 OSD를 설정하는 방법을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른, 디스패리티 (disparity) 를 계산하는 식을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, 다시점 3차원 영상에 OSD를 합성하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른, OSD를 다시점 3차원 영상의 각 시점의 영상으로 합성하는 예를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른, 복수의 OSD를 디스플레이하는 것을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.
도 9는 본 발명의 다른 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른, 다시점 3차원 영상에 폐쇄 자막 (Closed Caption)을 디스플레이하기 위한 각 영상의 관계를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른, 폐쇄 자막의 디스패리티 값이 제공되는 경우, 다시점 영상에서 폐쇄 자막을 처리하는 과정을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른, 디스패리티 (disparity) 를 계산하는 식을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른, 폐쇄 자막에 계산된 디스패리티를 적용하는 방식을 나타낸 도면이다.
도 14는 본 발명의 다른 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.
도 15는 본 발명의 다른 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.
도 16는 본 발명의 다른 실시예에 따른, 다시점 3차원 영상에 폐쇄 자막을 디스플레이하기 위한 각 영상의 관계를 나타낸 도면이다.
도 17은 본 발명의 다른 실시예에 따른, 폐쇄 자막을 포함하는 다시점 3차원 영상을 생성하는 과정을 나타낸 도면이다.
도 18은 본 발명의 다른 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.
도 19는 본 발명의 다른 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.

발명의 실시를 위한 최선의 형태

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

3차원 영상 표현 방법은 2개의 시점을 고려하는 스테레오스코픽 방식과 3개 이상의 시점을 고려하는 멀티플 뷰 이미지(multiple view image) 방식(또는 다시점 방식)을 포함할 수 있다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.

스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 레프트 뷰 이미지(이하 좌 영상)와 라이브 뷰 이미지(이하 우 영상)의 한 쌍의 이미지를 사용한다. 또는 기준 영상과 부가 영상의 한 쌍의 이미지를 사용한다. 다시점 방식은 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다. 다시점 방식은 각각의 시점에서 스트레오스코픽 방식의 좌/우 영상이 제공되는 방식이다.

본 발명에 따른 스테레오스코픽 방식은 Side-by-Side 방식, Top-Bottom 방식, checker board 방식 등이 있다. Side-by-Side 방식은 좌 영상과 우 영상을 각각 수평방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 left 영역에, 샘플링한 나머지 하나의 영상을 right 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이며, Top-Bottom 방식은 좌 영상과 우 영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 Top 영역에, 샘플링한 나머지 하나의 영상을 bottom 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이다. 체커보드 방식은 좌 영상과 우 영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 방식이다. 하지만 본 발명에 따른 스테레오스코픽 방식은 위의 예에 한정되거나 제한되는 것은 아니다.

일 예로 위에서 언급한 다운샘플링 작업을 거치지 아니하고 온전한 해상도를 갖는 두 개의 영상을 송수신하여 이를 3차원 영상 서비스로 제공하는 것도 가능하다. 이 경우, 좌영상과 우영상을 각각 전송하는 전송 스트림을 별도로 구성될 수 있다. 즉, 특정 전송 스트림은 좌영상들을 전송하고, 다른 전송 스트림은 우영상들을 전송할 수 있다. 이 때, 각각의 전송 스트림은 2차원 영상 서비스에 대한 스트림으로 활용될 수 있다.

도 1은 본 발명의 일 실시예에 따른, 다시점 3차원 영상에 OSD를 디스플레이하기 위한 각 영상의 관계를 나타낸 도면이다.

다시점 영상의 경우 다양한 방법으로 구현이 가능하다. 송신단에서는 각 시점에 대한 영상을 모두 인코딩하여 송신하고, 수신단에서는 이를 각각 재생할 수도 있다. 또는 송신단에서는 표시되는 시점보다 적은 개수의 시점의 영상과 그에 따른 깊이 영상을 인코딩하여 송신하고, 수신단에서는 이를 이용하여 나머지 시점을 합성하여 화면에 표시할 수도 있다.

다시점 영상에서, 각 환경에 따라, 각 시점의 영상에 대하여, 각각 다른 영상 압축 방식을 사용할 수 있으며, 경우에 따라 각 시점의 영상과 관련하여 전송되는 부가정보의 유무가 다를 수 있다. 이 경우, 다시점 영상의 각각의 시점에서의 OSD의 디스플레이 역시 각 시점에 적용된 영상 압축 방식 또는 각 시점의 영상과 관련하여 전송되는 부가 정보에 따라 각각 다른 방식으로 처리되어야 한다.

사용자가 3차원 입체 영상 시청 시, OSD 의 안정적인 표현을 위해서는, OSD가 주변의 입체 영상보다 시청자에게 더 가깝게 보이는 깊이의 범위 내에서 디스플레이되는 것이 유리하다.

수신기에서 OSD를 디스플레이 하기 위하여는, OSD의 디스플레이와 관련된 정보가 필요하다. 이러한 정보를 OSD 표시 정보로 명명하기로 한다. 이러한 OSD 표시 정보는, 수신기 생산자가 미리 정해놓은 것일 수 있고, 사용자가 지정한 것일 수도 있으며, 송신측에서 전송하는 컨텐츠와 관련하여 가이드 라인으로 지정한 것일 수도 있다. OSD 표시정보에는 OSD가 표시되는 window의 크기, window의 위치 등이 포함될 수 있다.

다시점 3차원 영상을 위하여, 송신기에서 각각의 시점에 대한 영상을 모두 인코딩하여 송신하는 경우 (즉, 깊이 영상이 따로 전송되지 않는 경우), 수신기는 다시점 3차원 영상을 제공하기 위하여 가상 시점의 영상을 합성할 필요가 없다. 이 경우 수신기는 각각의 시점에서 stereoscopic 영상 (3차원 영상) 의 OSD 표시 방법과 동일한 방식을 따른다. 즉, 수신기는 각각의 시점에서 3차원 영상에 포함되는 최대 및/또는 최소 깊이에 대한 정보를 획득하고, 각각의 시점에서 OSD가 해당 시점의 3차원 영상이 나타내는 깊이보다 시청자에게 더 가깝게 디스플레이되도록 제어할 수 있다. 또는 수신기는 각각의 시점에서 3차원 영상에 포함되는 최대 및/또는 최소 깊이에 대한 정보를 획득하고, 각각의 시점에서 OSD가 해당 시점의 3차원 영상이 나타내는 깊이보다 시청자에게 더 멀게 디스플레이되도록 제어할 수 있다.

다시점 3차원 영상을 위하여, 송신기에서 다시점 3차원 영상에 포함될 수 있는 다수의 영상 중 일부 영상만을 인코딩하여 송신하고, 이와 관련한 깊이 영상을 전송하는 경우에는, 수신측에서는 아래와 같은 절차로 각각의 시점에서 3차원 영상을 합성할 수 있다.

수신기에서는 깊이 영상을 이용하여 입력 영상 이외에 추가로 영상을 합성하여 표시한다. 수신기에서 깊이 영상을 이용하여 가상 영상을 합성하여 이를 각 시점의 3차원 영상 디스플레이에 이용하는 경우, 적은 데이터 량으로 많은 시점의 영상을 표현할 수 있는 장점이 있다. 이때, 수신기는 전송 되어지는 깊이 영상을 이용하여 OSD의 입체감을 조절할 수 있다. 깊이 영상을 포함하는 비디오 압축 방식에서는 카메라 파라미터 (camera parameter)가 포함될 수 있다. 송신기에서는 카메라 파라미터를 이용하여 깊이 영상을 압축하거나, 깊이 영상과 별도로 카메라 파리미터를 수신기로 전송할 수 있다. 수신기는 카메라 파라미터의 정보가 반영된 깊이 영상을 이용하거나, 깊이 영상과 별도로 전송되는 카메라 파라미터를 깊이 영상과 함께 이용하여 가상 영상의 합성 과정에 사용할 수 있다.

도 1을 참조하면, 다시점 중 시점 2, 시점 4, 시점 6에 대한 영상과, 해당 시점에 대한 깊이 영상 2, 깊이 영상 4, 깊이 영상 6이 수신기로 전송될 수 있다. 이 경우, 시점 영상 2, 시점 영상 4, 시점 영상 6, 깊이 영상 2, 깊이 영상 4, 깊이 영상 6을 이용하여, 시점 영상 2.5, 시점 영상 3, 시점 영상 3.5, 시점 영상 4.5, 시점 영상 5, 시점 영상 5.5 을 합성할 수 있다. 이때, 기준 영상이 시점 영상 6인 경우, 수신기는 시점 6에서의 OSD를 기준 OSD로 생성하고, 이 기준 OSD를 기초로 각각의 시점에서의 OSD를 각각 합성할 수 있다. 기준 OSD를 생성하는 과정에서, 수신기는 기준 영상에 대한 깊이 영상 및/또는 카메라 파라미터를 이용할 수 있다.

수신기에서 각각의 시점에 대한 가상 영상을 생성하는 과정은 이하에서 상술한다.

도 2는 본 발명의 일 실시예에 따른, 다시점 3차원 영상 중 일부 시점의 영상에서 OSD의 디스플레이를 나타낸 도면이다.

전술한 바와 같이, 수신기는 일부 시점에 대한 영상과 그에 따른 부가정보를 이용하여 디스플레이 환경 (시점의 개수) 에 맞게 가상 시점의 영상을 생성할 수 있다. 수신기는 각 화면에 표시되는 영상들의 입체감 정도를 판단하여 그에 맞게 적절히 조절된 입체감을 가지는 OSD를 표시할 수 있다.

이때, OSD의 입체감도 고려되어야 한다. OSD 는 각 시점의 영상의 위에 표시되어야 한다. 즉, OSD는 각 시점에서 디스플레이되는 3차원 오브젝트들 보다 시청자에게 가까운 위치에 디스플레이되어야 한다. OSD가 화면에 표시될 때, 그 크기 및 위치 정보는 정해져 있을 수 있다.

각 시점에서의 OSD의 입체감을 표시하기 위해서는 각 시점의 OSD의 위치는 다르게 표현된다. OSD의 입체감은 OSD 주변의 입체감 정도를 판단하여 OSD가 그 주변 보다 시청자에게 가깝게 보이도록 설정될 수 있다.

또한 OSD 위에 다른 OSD가 추가적으로 발생하는 경우도, 시간적으로 나중에 발생한 OSD가 기존 OSD보다 시청자에게 더 가깝게 표시되도록 하여 복수의 OSD를 디스플레이 하는 과정에서도 OSD 인식을 편리하게 할 수 있다. 이를 위하여 수신기가 표현할 수 있는 깊이감의 범위를 나타내는 깊이 범위 정보, 기 발생한 OSD와 추가로 발생하는 OSD 사이의 깊이감의 차이를 지정하는 OSD 깊이 차이 정보, 및/또는 하나의 화면에서 겹쳐서 디스플레이될 수 있는 OSD의 최대의 개수를 나타내는 OSD 개수 정보를 이용하여, 수신기는 복수의 OSD를 디스플레이하도록 제어할 수 있다. 이러한 정보는, 수신기 생산자에 의하여 지정되거나, 송신측에서 기 지정되어 전송되거나, 사용자가 지정할 수 도 있다. 예를 들면, 수신기는 복수의 OSD가 디스플레이되는 경우, OSD 깊이 차이 정보에 의하여 지정된 깊이 차이 만큼 OSD 사이의 깊이감을 달리하여 OSD 들을 처리할 수 있다. 또한, 수신기는 깊이 범위 정보에 의하여 식별된 수신기에서 처리할 수 있는 깊이감의 범위 내에서, OSD 개수 정보에 의하여 식별된 개수의 OSD들이 깊이감의 차이를 두고 디스플레이될 수 있도록, OSD 깊이 차이 정보를 계산할 수 도 있다.

한편, 수신기는 다시점 3차원 영상의 각 시점에서 OSD를 각각의 깊이에 디스플레이하기 위하여, 기준 OSD (Reference OSD)를 생성할 수 있다. 즉, 수신기는 디스플레이 되는 시점들 중 어느 하나에 대한 OSD (예를 들면, 기준 OSD) 를 표시하고, 이를 기준으로 나머지 시점의 영상들에서 기준 OSD를 디스패리티 (disparity) 만큼 이동시켜 표시한다.

이러한 방식으로 각 시점에서의 OSD를 설정하는 경우, OSD가 입력 영상의 한쪽으로 치우쳐져 있다면, 다른 시점의 영상으로 합성과정에서 OSD의 위치가 화면을 벗어날 수가 있다. 즉, 기준 OSD를 디스패리티 만큼 이동시키다 보면, 일정 시점의 OSD는 영상이 디스플레이되는 화면을 벗어난 위치에 OSD가 디스플레이되어야 하는 것으로, 디스패리티가 설정될 수 있다.

예컨대, 화면의 좌측 부분에 표시되는 OSD를 입력 영상의 가장 좌측 시점에 둔다면, 입체감을 표시하기 위하여 계산된 disparity 만큼 평행 이동하여 우측 시점으로 계속 표시해 나간다면, OSD 위치가 화면 밖으로 나가버리는 일이 발생할 수가 있다. 따라서 OSD 표시를 위해서는 safety 영역 내에서 생성되어야 한다.

즉, 도 2를 참조하면, 2번 시점에서 화면의 좌측단에 디스플레이되는 OSD를 기준 OSD로 설정하는 경우, 2번 시점 보다 우측으로 이동한 시점인, 4번 시점, 6번 시점의 영상을 위하여, 기준 OSD는, 4번 시점의 영상과, 6번 시점의 영상에서는 좌측으로 이동하여 디스플레이되어야 한다.

이 경우, 도 2 에 도시된 바와 같이, 4번 시점의 영상에서 OSD는 화면의 모서리에 걸치게 된다. 또한, 6번 시점의 영상에서는 OSD가 화면의 바깥 부분에 디스플레이되는 것으로 디스패리티 (기준 OSD의 이동거리) 가 설정되어야 하므로, 6번 시점의 실제 영상에서는 OSD의 일부가 짤려서 디스플레이되는 현상이 발생할 수 있다.

도 3은 본 발명의 일 실시예에 따른, 기준 OSD를 설정하는 방법을 나타낸 도면이다.

전술한 것과 같은, OSD의 일부가 짤려서 디스플레이되는 현상을 해결하기 위하여 본 발명의 일 실시예에서는, 가장 왼쪽 혹은 오른쪽 시점에 디스플레이되는 OSD를 기준 OSD로 설정한다. 이때, 최외각 시점 (가장 왼쪽 시점 혹은 가장 오른쪽 시점) 은 가상 시점이 아닌 입력되는 시점에서의 깊이 영상이 제공될 가능성이 높다. OSD 는 2차원이나 3차원으로 디스플레이될 수 있다.

수신기는 OSD와 화면의 좌측 모서리까지의 거리, OSD와 화면의 우측 모서리까지의 거리를 측정하여, 거리가 먼 쪽의 방향의 시점의 입력 영상의 OSD를 기준 OSD로 선택한다. 즉, OSD에서 화면의 좌측 모서리까지의 거리가, OSD에서 화면의 우측 모서리까지의 거리 보다 가깝다면, 수신기는 입력영상의 가장 우측 시점의 영상에서의 OSD를 기준 OSD로 설정한다. 반대로, OSD에서 화면의 좌측 모서리까지의 거리가, OSD에서 화면의 우측 모서리까지의 거리 보다 멀다면, 수신기 입력영상의 가장 좌측 시점의 영상에서의 OSD를 기준 OSD로 설정한다. 다시점 3차원 영상의 각각의 시점에서의 OSD의 합성을 고려하여, OSD의 크기를 일정 범위 이하로 제한할 수 있다. 이 경우, OSD 크기 (예를 들면, OSD의 수평/수직 길이 또는 OSD의 대각선 길이) 의 최대값을 설정하는 정보가 OSD 표시 정보에 포함될 수 있다. 수신기는 OSD의 크기가 OSD 표시 정보에 포함된 OSD 크기의 최대값을 초과하는 경우, 해당 최대값을 초과하지 않도록 기준 OSD의 크기를 축소하여, OSD를 합성할 수 있다.

도 3을 참조하면, OSD에서 화면의 좌측 모서리까지의 거리가, OSD에서 화면의 우측 모서리까지의 거리보다 긴 경우, 시점 영상과 깊이 영상이 제공되는 가장 좌측 시점인, 2번 시점에서의 OSD를 기준 OSD로 설정한다. 반대로, OSD에서 화면의 좌측 모서리까지의 거리가, OSD에서 화면의 우측 모서리까지의 거리보다 가까운 경우, 시점 영상과 깊이 영상이 제공되는 가장 우측 시점인, 6번 시점에서의 OSD를 기준 OSD로 설정한다.

다른 실시예로, OSD에서 화면의 좌측 모서리까지의 거리와, OSD 에서 화면의 우측 모서리까지의 거리를 측정하는데 기준이 되는 영상은, 화면을 정면으로 바라보았을 때의 시점의 영상이다. 즉, 정면 시점의 영상에서 OSD가 디스플레이되는 위치를 판단하여, OSD에서 화면의 좌측 모서리까지의 거리가, OSD에서 화면의 우측 모서리까지의 거리 보다 가깝다면, 수신기는 입력영상의 가장 우측 시점의 영상에서의 OSD를 기준 OSD로 설정한다. 반대로, 정면 시점의 영상에서 OSD가 디스플레이되는 위치를 판단하여, OSD에서 화면의 좌측 모서리까지의 거리가, OSD에서 화면의 우측 모서리까지의 거리 보다 멀다면, 수신기 입력영상의 가장 좌측 시점의 영상에서의 OSD를 기준 OSD로 설정한다.

도 4는 본 발명의 일 실시예에 따른, 디스패리티 (disparity) 를 계산하는 식을 나타낸 도면이다.

본 발명에 따르면, OSD가 디스플레이되는 위치 (깊이) 를 계산하여, 3차원 영상과 OSD를 합성하여야 한다. 이때, OSD 위치와 인접하거나 (즉, OSD의 모서리 부근에 위치한 픽셀들), OSD와 동일한 위치의 픽셀들 중 가장 큰 depth 값을 가지는 픽셀을 선정하여, 각 시점과의 disparity 값으로 변환할 수 있다.

Disparity 계산은 Depth to Disparity 식을 이용하는 방법과 3차원 워핑을 이용하는 방법이 있다. 도 4에 도시된 식은 Depth to Disparity 식을 이용하는 방법에 사용되는 수식이다.

Depth to Disparity 식을 이용한 변환은, VSRS3.5의 1-D Mode의 식을 사용할 수 있다.

수신기는 선정된 픽셀의 Depth 값을 이용하여 3차원 좌표계의 실제 깊이 (real depth)로 변환할 수 있다. 이때, Znear, Zfar 는 영상과 함께 입력되는 항목이다. 수신기는 Focal Length, Camera distance, point offset은 입력되거나 수신되는 카메라 파라미터로 계산한다.

디스패리티를 계산하는 다른 방법으로, 3차원 워핑을 이용한 변환의 방법을 사용할 수 있는데, 이 경우, VSRS3.5의 General Mode의 방법을 사용할 수 있다.

수신기는 입력시점/목표시점의 카메라 파라미터, 입력 색상/깊이 시점 영상을 이용하여 각 시점으로 3차원 워핑한다. 수신기는 3차원 워핑 된 지점과 원본 지점의 수평적 위치 차이(disparity)를 찾는다.

전술한 방법으로 OSD 주변의 영상에 대한 디스패리티를 계산하면, 수신기는 OSD의 디스패리티 (disparity)를 계산된 디스패리티 (disparity) 보다 같거나 크게 설정한다. 즉, 수신기는 OSD가 OSD 주변의 영상 보다 시청자에게 가까운 위치에 디스플레이되도록 OSD의 디스패리티를 설정한다.

도 5는 본 발명의 일 실시예에 따른, 다시점 3차원 영상에 OSD를 합성하는 과정을 나타낸 도면이다.

본 발명의 일 실시예에 따르면, 수신기는 특정 시점의 깊이 영상 및/또는 카메라 파라미터를 이용하여, 해당 시점에서 OSD가 디스플레이되어야 하는 깊이에 따른 디스패리티 값을 도출할 수 있다. 즉, 수신기는 OSD를 계산된 각 시점으로 계산된 disparity 만큼 평행이동 시켜 overlay 시켜 표시한다. OSD를 disparity 값을 이용하여 합성하는 것은 depth를 이용하는 것보다 직관적으로 손쉽게 입체감을 조절할 수 있는 장점이 있다. 이때, OSD의 디스패리티 값을 도출하는 과정은 전술한 바에 따른다. OSD의 디스패리티 값이 도출되면, 해당 디스패리티에 해당하는 깊이에 OSD를 디스플레이한다. 수신기는 특정 시점에서 도출된 OSD의 디스패리티를 유지하면서, 다시점 3차원 영상의 다른 시점 영상에 OSD를 디스플레이할 수 있다. 이때, 수신기는 특정 시점의 영상과 다른 시점의 영상 사이의 픽셀 간의 수평적 거리 차이 만큼, OSD의 위치도 수평으로 이동하여 디스플레이한다.

여기서, 디스패리티는 다시점 3차원 영상의 각 시점의 영상들 내에서 동일한 오브젝트를 나타내는 픽셀들 사이의 수평적 거리의 차이로 해석될 수도 있다.

예를 들어, 2번 시점의 영상을 초기 시점으로 선택한 경우, 수신기는 2번 시점에서 OSD가 디스플레이되는 영역의 주변 영상의 깊이를 이용하여, 주변 영상의 디스패리티 값을 획득한다. 수신기는 획득한 디스패리티 값을 기초로, 2번 시점에서 OSD의 디스패리티 값을 설정한다. 수신기는 4번 시점, 6번 시점의 영상에 OSD를 디스플레이하는 경우, 설정된 OSD의 디스패리티 값에 해당되는 깊이에 OSD를 디스플레이한다. 수신기는 2번 시점의 영상과 4번 시점의 영상의 수평적 거리 차이 및/또는 2번 시점의 영상과 6번 시점의 영상의 수평적 거리 차이 만큼, 2번 시점의 OSD를 수평으로 이동하여, 4번 시점의 영상 및/또는 6번 시점의 영상에 디스플레이한다.

한편, 4번 시점의 영상과 6번 시점의 영상을 이용하여, 3차원 영상을 제공하는 경우, 4번 시점의 영상과 6번 시점의 영상의 각각에 포함되는 OSD 들은, 전술한 방법으로 도출된 디스패리티 값만큼 수평적 거리 차이가 있는 위치에 디스플레이된다. 이 경우, 4번 시점의 영상과 6번 시점의 영상을 이용하여 3차원 영상 시청하는 시청자는, 전술한 방법으로 도출된 디스패리티가 나타내는 깊이에 디스플레이되는 OSD를 볼 수 있다.

OSD 합성 방법에는 전술한 합성 영상만 평행 이동 하는 방법과, 기존의 스테레오스코픽에서 사용하던 합성방법이 있다.

도 6은 본 발명의 일 실시예에 따른, OSD를 다시점 3차원 영상의 각 시점의 영상으로 합성하는 예를 나타낸 도면이다.

도 6의 (a)를 참조하면, 2번 시점의 영상을 기초로 OSD의 깊이가 결정되는 경우, 수신기는 2번 시점의 OSD를 포함하는 영상을 일괄적으로 수평적으로 이동시켜, 4번 시점의 영상을 표현할 수 있다. 즉, OSD를 포함하는 2번 시점의 영상이 왼쪽으로 일정 거리가 이동되어, 4번 시점의 영상을 위하여 디스플레이된다. 이 경우, 수신기는 각각의 시점에서 OSD를 별도로 합성처리하는 과정을 거칠 필요가 없다.

도 6의 (b)를 참조하면, 2번 시점의 영상 기초로 OSD의 깊이가 결정되는 경우, 수신기는 2번 시점의 OSD를 기준 OSD로 설정한다. 수신기는 기준 OSD의 위치를 기준으로, 수평으로 일정방향 우측으로 OSD를 이동시켜, 2번 시점의 영상에 OSD를 디스플레이한다. 또한, 수신기는 기준 OSD의 위치를 기준으로, 수평으로 일정 방향 좌측으로 이동시켜, 4번 시점의 영상에 OSF를 디스플레이 한다.

즉, 수신기는 기준 OSD를 설정하고, 2번 시점의 영상과 4번 시점의 영상 사이의 OSD 주변 영역의 최대 수평적 거리차이를 획득한다. 수신기는 획득한 수평적 거리차이 대비 합성 되는 시점의 영상의 위치만큼 기준 OSD를 좌측 또는 우측으로 수평으로 이동시켜, OSD를 포함하는 2번 시점의 영상과, OSD를 포함하는 4번 시점의 영상을 합성한다.

도 7은 본 발명의 일 실시예에 따른, 복수의 OSD를 디스플레이하는 것을 나타낸 도면이다.

수신기는 OSD 위 추가 OSD를 표시할 경우, 추가되는 OSD가 기존의 OSD 보다 시청자에게 가깝게 디스플레이되로록 설정하여야 한다. 즉, 수신기는 추가되는 OSD의 디스패리티 (disparity)가, 기존의 OSD의 디스패리티 보다 크게 설정하여야 한다.

수신기는 추가의 OSD의 디스플레이를 위하여, 수신기가 표현할 수 있는 깊이감의 범위를 나타내는 깊이 범위 정보, 기 발생한 OSD와 추가로 발생하는 OSD 사이의 깊이감의 차이를 지정하는 OSD 깊이 차이 정보, 및/또는 하나의 화면에서 겹쳐서 디스플레이될 수 있는 OSD의 최대의 개수를 나타내는 OSD 개수 정보를 이용할 수 있다.

수신기는 기 존재하던 OSD의 디스패리티가 나타내는 깊이감과, 깊이 범위 정보에 의하여 식별되는 수신기가 표현할 수 있는 범위의 깊이감 사이에, 몇 개의 OSD가 추가로 디스플레이 되어야 하는 지를 식별한다. 수신기는 해당 개수의 OSD가 균등한 깊이감의 차이를 두고 디스플레이되는데 필요한 OSD간의 깊이감을 계산하고, 이 깊이감에 해당하는 디스패리티를, 추가의 OSD에 적용하여, 추가 OSD를 포함하는 영상을 합성할 수 있다.

몇 개의 OSD가 추가될 것인지는, 사용자가 디스플레이를 요청하는 OSD 개수에 따라 달라 질 수도 있고, 혹은, OSD 개수 정보가 나타내는 OSD의 개수를 기준으로 일괄적으로 적용될 수 있다.

또는, 수신기는 별도의 추가 계산 과정이 없이, 추가 OSD가 발생하는 경우, OSD 깊이 차이 정보가 나타내는 깊이감의 차이를 유지하면서, 추가 OSD를 합성할 수 있다.

도 7을 참조하면, 2번 시점의 영상, 4번 시점의 영상, 6번 시점의 영상 각각에서 OSD (기존 OSD) 가 수평적으로 이동되는 거리는, 2번 시점의 영상, 4번 시점의 영상, 6번 시점의 영상 각각에서 OSD2 (추가되는 OSD) 가 수평적으로 이동되는 거리보다 짧다. 즉, OSD의 디스패리티가 OSD2의 디스패리티보다 적다.

복수의 OSD를 디스플레이하는 경우, 각 시점에서의 OSD의 이동에 따라 OSD가 짤리는 현상을 방지하기 위하여, 마지막에 추가되는 OSD를 기준 OSD로 설정하여, 각 시점의 영상을 재합성할 수 있다. 즉, 마지막에 추가되는 OSD의 디스패리티가 가장 클 것이므로, 마지막 OSD가 각 시점의 영상에서 짤리는 현상이 발생하지 않는다면, 그 이전의 OSD도 각 시점의 영상에서 짤리는 현상이 발생하지 않을 것이다.

복수의 OSD를 처리하는 과정에서 OSD를 포함하는 영상이 재합성되어야 하는 현상을 방지하고자 하는 경우, 전술한, 수신기가 표현할 수 있는 깊이감의 범위를 나타내는 깊이 범위 정보, 기 발생한 OSD와 추가로 발생하는 OSD 사이의 깊이감의 차이를 지정하는 OSD 깊이 차이 정보, 및/또는 하나의 화면에서 겹쳐서 디스플레이될 수 있는 OSD의 최대의 개수를 나타내는 OSD 개수 정보가 이용될 수 있다. 즉, 수신기는 OSD 개수 정보가 허용하는 복수의 OSD가 디스플레이되는 경우를 가정하여, 마지막 OSD의 표현에 필요한 디스패리티 값을 결정할 수 있다. 이 때, 수신기는 OSD 깊이 차이 정보를 이용하여, 처음 OSD 와 마지막 OSD 의 깊이 차이를 인식할 수 있다. 수신기는 처음 OSD가 디스플레이되어야 하는 깊이를 나타내는 디스패리티를 전술한 방법으로 계산하고, 처음 OSD와 마지막 OSD의 깊이 차이를 고려한, 마지막 OSD의 디스패리티를 결정한다. 수신기는 마지막 OSD의 디스패리티를 고려하여, 각 시점에서의 OSD 의 위치를 결정할 수 있다. 즉, 수신기는 마지막 OSD가 각 시점의 영상에서 짤리지 않도록, OSD의 위치를 결정한다.

도 8은 본 발명의 일 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.

본 발명의 일 실시예에 따른 다시점 3차원 영상 수신기는 제1시점 깊이 영상 디코더 (View 1 Depth Decoding; 8010), 제2시점 비디오 영상 디코더 (View 1 Video Decoding; 8020), 제2시점 비디오 영상 디코더 (View 2 Video Decoding; 8030), 디스패리티 계산부 (Disparity Calculation; 8040), OSD 디스패리티 조정부 (OSD disparity Adjustment; 8050), 3차원 디스플레이 포맷터 (3D Display Formatting; 8060) 및/또는 3차원 비디오/OSD 믹서 (3D Video & OSD mix; 8070) 을 포함할 수 있다.

제1시점 깊이 영상 디코더 (View 1 Depth Decoding; 8010)는 수신한 제1시점의 깊이 영상을 디코딩한다. 여기서 깊이 영상은 깊이 맵 및/또는 카메라 파라미터를 포함할 수 있다.

제1시점 비디오 영상 디코더 (View 1 Video Decoding; 8020)는 제1시점의 비디오 영상을 디코딩한다.

제2시점 비디오 영상 디코더 (View 2 Video Decoding; 8030)는 제2시점의 비디오 영상을 디코딩한다. 제2시점의 비디오 영상에는 카메라 파라미터가 포함될 수도 있다. 즉, 카메라 파라미터는 깊이 영상을 수신하는 과정에서 함께 수신되거나, 비디오 영상을 수신하는 과정에서 함께 수신될 수 있다.

도면에서는 제1시점, 제2시점에 대한 깊이 영상 및/또는 비디오 영상을 디코딩하는 디코더만 개시하고 있으나, 다시점에 대한 깊이 영상 및/또는 비디오 영상을 수신하는 경우, 각각의 시점에 대한 깊이 영상 및/또는 비디오 영상 디코더가 존재할 수 있다. 또는 하나의 디코더가 각각의 시점에 대한 깊이 영상 및/또는 비디오 영상을 디코딩할 수 있고, 세부적으로 각각의 시점의 영상을 디코딩하는 기능부로 분류될 수 도 있다.

디스패리티 계산부 (Disparity Calculation; 8040)는 깊이 맵, 제1시점의 카메라 파라미터, 및/또는 제2시점의 카메라 파라미터로부터, 화면의 특정 영역에서의 디스패리티를 계산한다. 여기서 화면의 특정 영역은 OSD가 디스플레이되는 주변의 픽셀들이 포함되는 영역을 나타낼 수 있다. 디스패리티를 계산하는 방법은 전술한 설명으로 대체한다. 디스패리티 계산부 (Disparity Calculation; 8040)는 다시점 영상이 제공되는 경우, 어느 시점에서의 OSD를 기준 OSD로 설정할 것인지 결정할 수 있다. 기준 OSD를 결정하는 방법은 전술한 설명으로 대체한다.

OSD 디스패리티 조정부 (OSD disparity Adjustment; 8050)는 계산된 디스패리티를 이용하여, 각 시점의 영상에서 OSD의 디스패리티 값을 조정한다. OSD 디스패리티 조정부 (OSD disparity Adjustment; 8050)는 계산된 디스패리티 값 이상의 값을 OSD 디스패리티 값으로 설정할 수 있다.

3차원 디스플레이 포맷터 (3D Display Formatting; 8060)는 제1시점의 비디오 영상과 제2시점의 비디오 영상 또는 제2시점의 깊이 영상을 이용하여, 3차원 비디오 영상을 포맷팅한다.

3차원 비디오/OSD 믹서 (3D Video & OSD mix; 8070)는 포맷팅 된 3차원 비디오 영상에 포함되는 각각의 시점의 영상에, 계산된 OSD 디스패리티 값을 적용하여, OSD를 배치한다. 3차원 비디오/OSD 믹서 (3D Video & OSD mix; 8070)는 3차원 이미지에 OSD가 포함된 영상을 제공한다.

도 9는 본 발명의 다른 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.

본 발명의 다른 실시예에 따른 다시점 3차원 영상 수신기는, 제1시점 깊이 영상 디코더 (View 1 Depth Decoding; 9010), 제1시점 비디오 영상 디코더 (View 1 Video Decoding; 9020), 제2시점 깊이 영상 디코더 (View 2 Depth Decoding; 9030), 제2시점 비디오 영상 디코더 (View 2 Video Decoding; 9040), 제A시점 영상 합성부 (View A Synthesis; 9050), 디스패리티 계산부 및 OSD 디스패리티 조정부 (Disparity Calculation + OSD Disparity Adjustment; 9060), 3차원 비디오 및 OSD 믹서 (3D Video & OSD mixer; 9070), 제B시점 영상 합성부 (View B Synthesis; 9080) 및/또는 3차원 영상 포맷터 (3D Display Formatting; 9090)을 포함할 수 있다.

제1시점 깊이 영상 디코더 (View 1 Depth Decoding; 9010)는 수신한 제1시점의 깊이 영상을 디코딩한다. 여기서 깊이 영상은 깊이 맵 및/또는 카메라 파라미터를 포함할 수 있다.

제1시점 비디오 영상 디코더 (View 1 Video Decoding; 9020)는 제1시점의 비디오 영상을 디코딩한다.

제2시점 깊이 영상 디코더 (View 2 Depth Decoding; 9030)는 수신한 제2시점의 깊이 영상을 디코딩한다. 여기서 깊이 영상은 깊이 맵 및/또는 카메라 파라미터를 포함할 수 있다.

제2시점 비디오 영상 디코더 (View 2 Video Decoding; 9040)는 제2시점의 비디오 영상을 디코딩한다.

도면에서는 제1시점, 제2시점에 대한 깊이 영상 및/또는 비디오 영상을 디코딩하는 디코더만 개시하고 있으나, 다시점에 대한 깊이 영상 및/또는 비디오 영상을 수신하는 경우, 각각의 시점에 대한 깊이 영상 및/또는 비디오 영상 디코더가 존재할 수 있다. 또는 하나의 디코더가 각각의 시점에 대한 깊이 영상 및/또는 비디오 영상을 디코딩할 수 있고, 세부적으로 각각의 시점의 영상을 디코딩하는 기능부로 분류될 수 도 있다.

제A시점 영상 합성부 (View A Synthesis; 9050)는 제1시점의 깊이 영상, 제1시점의 비디오 영상, 제2시점의 깊이 영상 및/또는 제2시점의 비디오 영상을 이용하여 제A 시점의 비디오 영상을 합성한다.

디스패리티 계산부 및 OSD 디스패리티 조정부 (Disparity Calculation + OSD Disparity Adjustment; 9060)는 제A시점의 비디오 영상 및/또는 제B시점의 비디오 영상을 이용하여, 영상에 포함된 픽셀 또는 오브젝트들에 대한 디스패리티 값을 계산한다. 디스패리티 계산부 및 OSD 디스패리티 조정부 (Disparity Calculation + OSD Disparity Adjustment; 9060)는 3차원 영상의 동일 지점을 나타내는 제A시점의 비디오 영상의 픽셀과, 제B시점의 비디오 영상의 픽셀 사이의 수평거리를 측정하여 이를 디스패리티 값으로 인식할 수 있다. 이때, 디스패리티를 측정하는 픽셀은, OSD의 모서리 부근에 존재하는 픽셀에 해당될 수 있다. 디스패리티 값을 계산하는 방법은 전술한 설명으로 대체한다. 디스패리티 계산부 및 OSD 디스패리티 조정부 (Disparity Calculation + OSD Disparity Adjustment; 9060)는 측정 또는 계산된 디스패리티를 이용하여, OSD가 가져야할 디스패리티를 설정한다. 즉, 제A시점에서의 OSD와 제B시점에서의 OSD 사이의 디스패리티 값을, 측정 또는 계산된 디스패리티의 이상의 값을 가지도록 설정할 수 있다.

3차원 비디오 및 OSD 믹서 (3D Video & OSD mixer; 9070)는 3차원 영상에 OSD를 배치한다. 3차원 비디오 및 OSD 믹서 (3D Video & OSD mixer; 9070)는 3차원 영상에 포함되는 각 시점의 영상에 OSD를 배치하고, 이 과정에서 계산된 OSD 사이의 디스패리티를 적용하여, OSD를 각 영상에 배치한다. 즉, 3차원 비디오 및 OSD 믹서 (3D Video & OSD mixer; 9070)는 제A시점의 영상 및 제B시점의 영상을 이용하여 합성된 3차원 영상에 계산된 OSD의 디스패리티를 고려하여 OSD를 배치한다.

제B시점 영상 합성부 (View B Synthesis; 9080)는 1시점의 깊이 영상, 제1시점의 비디오 영상, 제2시점의 깊이 영상 및/또는 제2시점의 비디오 영상을 이용하여 제B시점의 비디오 영상을 합성한다.

3차원 영상 포맷터 (3D Display Formatting; 9090)는 3차원 영상에 포함되는 각 시점의 영상을 3차원 영상으로 포맷팅한다. 즉, 3차원 영상 포맷터 (3D Display Formatting; 9090)는 제A시점의 영상과 제B시점의 영상을 3차원 영상으로 포맷팅한다. 3차원 영상 포맷터 (3D Display Formatting; 9090)는 하나 이상의 실제 시점 및/또는 가상 시점의 영상을 이용하여 3차원 이미지를 출력한다.

사용자가 3D 영상의 시청 중에 TV의 조작을 할 경우, OSD(On-screen display)가 시청 중의 입체 영상보다 가깝게 느껴져야 시각적 피로도를 최소화하며 정상적인 조작이 수월해 진다. 전술한 과정을 통하여, 다시점 3DTV에서는 3DTV 시청 중 조작에 따른 OSD 표시는, 각 시점마다 표시되고, 각 시점에서 정상적으로 인식 되어야 하고, 주변 영상보다 시청자에게 가깝게 느껴질 수 있도록 처리될 수 있다.

도 10은 본 발명의 일 실시예에 따른, 다시점 3차원 영상에 폐쇄 자막 (Closed Caption)을 디스플레이하기 위한 각 영상의 관계를 나타낸 도면이다.

다시점 영상의 경우 다양한 방법으로 구현이 가능하다. 송신단에서는 각 시점에 대한 영상을 모두 인코딩하여 송신하고, 수신단에서는 이를 각각 재생할 수도 있다. 또는 송신단에서는 표시되는 시점보다 적은 개수의 시점의 영상과 그에 따른 깊이 영상을 인코딩하여 송신하고, 수신단에서는 이를 이용하여 나머지 시점을 합성하여 화면에 표시할 수도 있다.

다시점 영상에서, 각 환경에 따라, 각 시점의 영상에 대하여, 각각 다른 영상 압축 방식을 사용할 수 있으며, 경우에 따라 각 시점의 영상과 관련하여 전송되는 부가정보의 유무가 다를 수 있다. 이 경우, 다시점 영상의 각각의 시점에서의 폐쇄 자막의 디스플레이 역시 각 시점에 적용된 영상 압축 방식 또는 각 시점의 영상과 관련하여 전송되는 부가 정보에 따라 각각 다른 방식으로 처리되어야 한다.

사용자가 3차원 입체 영상 시청 시, 폐쇄 자막의 안정적인 표현을 위해서는, 폐쇄 자막이 주변의 입체 영상보다 시청자에게 더 가깝게 보이는 깊이의 범위 내에서 디스플레이되는 것이 유리하다.

수신기에서 폐쇄 자막을 디스플레이 하기 위하여는, 폐쇄 자막의 디스플레이와 관련된 정보가 필요하다. 이러한 정보를 폐쇄 자막 표시 정보로 명명하기로 한다. 이러한 폐쇄 자막 표시 정보는, 수신기 생산자가 미리 정해놓은 것일 수 있고, 사용자가 지정한 것일 수도 있으며, 송신측에서 전송하는 컨텐츠와 관련하여 가이드 라인으로 지정한 것일 수도 있다. 폐쇄 자막 표시정보에는 폐쇄 자막이 표시되는 window의 크기 및/또는 window의 위치 등이 포함될 수 있다. 다시점 영상의 경우 영상이 개수가 많기 때문에 기존의 자막 정보에 추가로, 포함된 폐쇄 자막 표시정보가 어느 시점에 적용되는 것인지를 식별하는, display_window_view_id를 더 포함할 수 있다.

다시점 3차원 영상을 위하여, 송신기에서 각각의 시점에 대한 영상을 모두 인코딩하여 송신하는 경우 (즉, 깊이 영상이 따로 전송되지 않는 경우), 수신기는 다시점 3차원 영상을 제공하기 위하여 가상 시점의 영상을 합성할 필요가 없다. 이 경우 수신기는 각각의 시점에서 stereoscopic 영상 (3차원 영상) 의 폐쇄 자막 표시 방법과 동일한 방식을 따른다. 즉, 수신기는 각각의 시점에서 3차원 영상에 포함되는 최대 및/또는 최소 깊이에 대한 정보를 획득하고, 각각의 시점에서 폐쇄 자막이 해당 시점의 3차원 영상이 나타내는 깊이보다 시청자에게 더 가깝게 디스플레이되도록 제어할 수 있다. 또는 수신기는 각각의 시점에서 3차원 영상에 포함되는 최대 및/또는 최소 깊이에 대한 정보를 획득하고, 각각의 시점에서 폐쇄 자막아 해당 시점의 3차원 영상이 나타내는 깊이보다 시청자에게 더 멀게 디스플레이되도록 제어할 수 있다. 깊이 영상이 없는 경우에는 송신단에서 폐쇄 자막의 깊이감 조절을 위하여 disparity 값을 전송하고, 수신단에서는 이를 이용하여 window상에서 폐쇄 자막의 깊이감을 조절한다. 이를 위하여, 송신단에서는 display_window_view_id 시점에서 window (또는, 폐쇄 자막 표시정보)를 정의하고 인접 시점간의 window disparity는 전송된 disparity를 이용하여 동일하게 지정한다. 즉, 각 시점에 포함되는 폐쇄 자막 사이의 디스패리티는 전송되는 폐쇄 자막 표시정보에 포함된 폐쇄 자막의 디스패리티 값을 동일하게 적용할 수 있다. 여기서, window 는 폐쇄 자막이 표시되는 영역 (예를 들면, 직사각형의 영역)을 나타내는 의미로 사용될 수 있다.

다시점 3차원 영상을 위하여, 송신기에서 다시점 3차원 영상에 포함될 수 있는 다수의 영상 중 일부 영상만을 인코딩하여 송신하고, 이와 관련한 깊이 영상을 전송하는 경우에는, 수신측에서는 아래와 같은 절차로 각각의 시점에서 3차원 영상을 합성할 수 있다.

수신기에서는 깊이 영상을 이용하여 입력 영상 이외에 추가로 영상을 합성하여 표시한다. 수신기에서 깊이 영상을 이용하여 가상 영상을 합성하여 이를 각 시점의 3차원 영상 디스플레이에 이용하는 경우, 적은 데이터 량으로 많은 시점의 영상을 표현할 수 있는 장점이 있다. 이때, 수신기는 전송 되는 깊이 영상을 이용하여 폐쇄 자막의 입체감을 조절할 수 있다. 깊이 영상을 포함하는 비디오 압축 방식에서는 카메라 파라미터 (camera parameter)가 포함될 수 있다. 송신기에서는 카메라 파라미터를 이용하여 깊이 영상을 압축하거나, 깊이 영상과 별도로 카메라 파리미터를 수신기로 전송할 수 있다. 수신기는 카메라 파라미터의 정보가 반영된 깊이 영상을 이용하거나, 깊이 영상과 별도로 전송되는 카메라 파라미터를 깊이 영상과 함께 이용하여 가상 영상의 합성 과정에 사용할 수 있다.

도 10을 참조하면, 다시점 중 시점 2, 시점 4, 시점 6에 대한 영상과, 해당 시점에 대한 깊이 영상 2, 깊이 영상 4, 깊이 영상 6이 수신기로 전송될 수 있다. 이 경우, 시점 영상 2, 시점 영상 4, 시점 영상 6, 깊이 영상 2, 깊이 영상 4, 깊이 영상 6을 이용하여, 시점 영상 2.5, 시점 영상 3, 시점 영상 3.5, 시점 영상 4.5, 시점 영상 5, 시점 영상 5.5을 합성할 수 있다. 각각의 시점에서의 폐쇄 자막이 가지는 디스패리티 값은, 폐쇄 자막 표시정보에 포함될 수 있다. 폐쇄 자막 표시정보는 각각의 시점에서의 폐쇄 자막의 디스패리티 값을 각각 포함할 수 도 있고, 모든 시점에서 동일한 디스패리티 값이 폐쇄 자막에 적용되는 경우, 폐쇄 자막을 위한 하나의 디스패리티 값을 포함할 수 있다. 수신기에서 각각의 시점에 대한 가상 영상을 생성하는 과정은 이하에서 상술한다.

도 11은 본 발명의 일 실시예에 따른, 폐쇄 자막의 디스패리티 값이 제공되는 경우, 다시점 영상에서 폐쇄 자막을 처리하는 과정을 나타낸 도면이다.

수신기는 송신기에서 전송된 각 시점의 입력 영상과 그에 따른 부가정보를 이용하여 디스플레이 환경(시점의 개수)에 맞게 가상 시점의 영상을 생성한다.

송신기는 각 시점의 영상 이외에 자막 정보를 전송할 수 있다. 여기서 자막 정보는 폐쇄 자막 표시정보 또는 stereoscopic 3차원 자막 정보로 명명될 수 있다. 폐쇄 자막 표시 정보는 폐쇄 자막이 각 시점의 영상의 위에 표시될 수 있도록 필요한 정보를 포함한다. 폐쇄 자막 표시정보는 자막이 표시되는 블록 (또는 window) 의 크기, window의 위치, window 내의 글씨체를 식별하는 정보, 3차원 폐쇄 자막에서는 추가로 window의 원근감 표시를 위한, 각 시점에서의 window의 디스패리티 값을 식별하는 디스패리티 정보, 및/또는 폐쇄 자막 표시정보가 적용되는 시점을 식별하는 정보를 포함할 수 있다.

폐쇄 자막 표시정보의 전송은 stereoscopic 3차원 자막 정보 전송 방식을 이용할 수 있다. 폐쇄 자막 표시정보는 영상 데이터와는 별도의 엘레먼트로 방송 신호에 포함되어 전송될 수 도 있고, 기존의 방송 시그널링을 위한 서비스 정보 (Service Information, 예를 들면, PSI/PSIP, DVB-SI)에 포함되어 전송될 수도 있으며, 방송 신호와는 별도로, 인터넷 네트워크 등을 통하여 전송될 수 있다. 폐쇄 자막은 폐쇄 자막 표시정보와는 별도로 전송될 수도 있고, 폐쇄 자막 표시정보에 포함되어 전송될 수도 있다.

수신기는 폐쇄 자막을 한 시점의 영상 위에 오버레이 (overlay) 시켜 표시하고, 다른 시점의 영상에서는, 해당 폐쇄 자막을 디스패리티 값만큼 평행 이동하여 표시한다. 예를 들면, 수신기는 전송된 폐쇄 자막을 가장 왼쪽 시점의 영상에 오버레이 (overlay) 하여 표시 할 수 있다.

일 예로, 폐쇄 자막 표시정보는 가장 왼쪽 시점과 가장 오른쪽 시점 간의 디스패리티 값을 포함할 수 있다. 일반적으로 가장 좌측 또는 가장 우측 시점의 영상은 실제로 입력되는 영상이므로, 영상 자체의 디스패리티 (disparity) 를 고려하여 자막의 디스패리티 (disparity)를 설정하고, 이를 전송하는 과정에도 문제가 없다.

수신기는 가장 우측 시점에 가장 좌측 시점의 자막을 전송된 자막의 디스패리티 (disparity) 만큼 평행 이동하여 표현한다. 수신기는 두 시점의 사이에 있는 각 시점들에 카메라 파라미터의 평행이동 수치 비율만큼 disparity를 적용하여 자막을 평행 이동하여 영상 위에 표시한다.

도 11을 참조하면, 2번 시점의 영상이 가장 좌측 시점의 영상이고, 6번 시점의 영상이 가장 우측 시점의 영상이다. 폐쇄 자막 표시정보는 2번 시점과 6번 시점에 각각 포함되는 폐쇄 자막들 사이의 디스패리티를 식별하는 정보를 포함하고 있다. 이 정보를 disp (2, 6) 이라고 표현할 수 있다. 이 때 4번 시점의 영상에서 폐쇄 자막이 표시되어야 하는 위치는 계산된 디스패리티 값을 고려하여 결정될 수 있다. 이 디스패리티 값은 2번, 4번, 6번 시점에서의 카메라 파라미터와 disp (2, 6) 의 정보를 이용하여 계산할 수 있으며, 이 계산에 사용되는 식이 도 11에 도시되어 있다. 여기서, t2, t4, t6는 각각 2번, 4번, 6번 시점에서의 카메라의 (가상) 위치를 나타낼 수 있다. 또는 t2, t4, t6는 각각 2번, 4번, 6번 시점에서 카메라의 translation을 나타낼 수 있다. 즉, 예를 들면, (t6-t2) 의 값은 6번 시점과 2번 시점에서의 카메라의 위치 차이를 나타낼 수 있다.

도 12는 본 발명의 일 실시예에 따른, 디스패리티 (disparity) 를 계산하는 식을 나타낸 도면이다.

다시점 자막의 디스패리티 (disparity)를 전송 하는 경우, 디스패리티 (disparity) 의 값은 적절한 범위 내에 포함되어야 한다. 시청자가 폐쇄 자막의 입체감이 폐쇄 자막의 주변보다 가까이 있다고 느끼는 것이 시각적으로 좋다. 스테레오스코픽 자막도 disparity를 크게 설정함으로써 입체감을 설정하였다. 다시점 자막의 디스패리티에 대한 정보가 전송되는 경우라도, 폐쇄 자막의 디스패리티 값이 제공되지 않은 시점의 디스패리티 값을 아래의 설명되는 방식으로 계산될 수도 있다.

다시점에서도 자막이 표시되는 영역인 윈도우 (window)의 주변보다 큰 디스패리티 (disparity) 로 폐쇄 자막의 디스패리티를 설정하는 방식으로, 폐쇄 자막의 입체감을 조절할 수 있다.

본 발명에 따르면, 자막의 윈도우 (window)가 디스플레이되는 위치 (깊이) 를 계산하여, 3차원 영상과 폐쇄 자막을 합성하여야 한다. 이때, 자막의 윈도우 (window)의 위치와 인접하거나 (즉, 자막의 윈도우 (window)의 모서리 부근에 위치한 픽셀들), 자막의 윈도우 (window)와 동일한 위치의 픽셀들 중 가장 큰 깊이 (depth) 값을 가지는 픽셀을 선정하여, 각 시점에서 폐쇄 자막의 윈도우 (window)에 적용되는 disparity 값으로 변환할 수 있다.

Disparity 계산은 Depth to Disparity 식을 이용하는 방법과 3차원 워핑을 이용하는 방법이 있다. 도 12에 도시된 식은 Depth to Disparity 식을 이용하는 방법에 사용되는 수식이다.

Depth to Disparity 식을 이용한 변환은, VSRS3.5의 1-D Mode의 식을 사용할 수 있다.

수신기는 선정된 픽셀의 Depth 값을 이용하여 3차원 좌표계의 실제 깊이 (real depth)로 변환할 수 있다. 이때, Znear, Zfar 는 영상과 함께 입력되는 항목이다. 수신기는 Focal Length, Camera distance, point offset은 입력되거나 수신되는 카메라 파라미터로 계산한다.

디스패리티를 계산하는 다른 방법으로, 3차원 워핑을 이용한 변환의 방법을 사용할 수 있는데, 이 경우, VSRS3.5의 General Mode의 방법을 사용할 수 있다.

수신기는 입력시점/목표시점의 카메라 파라미터, 입력 색상/깊이 시점 영상을 이용하여 각 시점으로 3차원 워핑한다. 수신기는 3차원 워핑 된 지점과 원본 지점의 수평적 위치 차이(disparity)를 찾는다.

전술한 방법으로 자막의 윈도우 (window) 주변의 영상에 대한 디스패리티를 계산하면, 수신기는 자막의 윈도우 (window) 의 디스패리티 (disparity)를 계산된 디스패리티 (disparity) 보다 같거나 크게 설정한다. 즉, 수신기는 자막의 윈도우 (window) 가 자막의 윈도우 (window) 주변의 영상 보다 시청자에게 가까운 위치에 디스플레이되도록 자막의 윈도우 (window)의 디스패리티를 설정한다.

수신기는 다시점 영상의 가장 왼쪽 시점과 가장 오른쪽 시점간의 폐쇄 자막의 디스패리티 (혹은 폐쇄 자막이 포함되는 윈도우에 대한 디스패리티) 값이 전송되지 않거나, 수신기가 설정하는 폐쇄 자막의 깊이 범위를 벗어나는 경우, 전술한 방법으로 각 시점에서 폐쇄 자막이 디스플레이되어야 하는 위치를 설정할 수 있다. 즉, 수신기는 다시점 영상의 가장 왼쪽 시점과 가장 오른쪽 시점간의 폐쇄 자막이 포함되는 윈도우 (window)의 주변에서 최대 깊이 (depth) 픽셀을 탐색하고, 전술한 방법을 이용하여 픽셀의 디스패리티 (disparity) 값을 찾아 이보다 큰 값으로 폐쇄 자막의 (disparity) 를 설정한다.

도 13은 본 발명의 일 실시예에 따른, 폐쇄 자막에 계산된 디스패리티를 적용하는 방식을 나타낸 도면이다.

전송되는 디스패리티 (disparity) 값으로, 가장 우측 시점 영상에서 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우)를 평행 이동 하였을 때, 윈도우 (window) 영역이 화면 밖으로 벗어나면 안 된다. 따라서 윈도우가 화면을 벗어나지 않는 디스패리티 (disparity) 와 초기 윈도우 (window)의 크기 및 위치를 제약해야 한다.

수신기가 폐쇄 자막 표시정보에 포함된 윈도우의 크기 정보, 원도우의 위치 정보, 및/또는 폐쇄 자막이 포함되는 윈도우의 디스패리티 정보를 이용할 때, 이 정보를 그대로 이용하여 각 시점의 영상에 폐쇄 자막을 배치하는 경우, 폐쇄 자막 또는 폐쇄 자막이 포함되는 윈도우의 일부가 특정 시점의 영상에서 화면의 외부에 디스플레이되어야 하는 조건이 발생할 수 있다. 이 경우, 전술한 방식으로 폐쇄 자막의 디스패리티 값 (혹은, 폐쇄 자막이 포함되는 원도우의 디스패리티 값)을 조절하거나, 원도우의 위치 또는 크기를 조절할 수 있다. 예를 들면, 가장 우측 시점의 영상에 표시되는 폐쇄 자막을 기준 폐쇄 자막으로 설정하는 경우, 수신기는 원도우의 위치를 화면의 가장 좌측에 위치하도록 조절할 수 있다. 또는 수신기는 가장 우측 시점의 영상과 가장 좌측 시점의 영상의 간의 디스패리티 값을 고려하여, 원도우가 해당 디스패리티 값만큼 수평 이동하여도, 화면의 외부로 벗어나지 않도록 원도우의 너비를 조절할 수 있다. 또는 수신기는 폐쇄자막이 윈도우 내의 가장 좌측 부분에 디스플레이되도록 설정할 수 있다.

도 14는 본 발명의 다른 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.

본 발명의 다른 실시예에 따른 다시점 3차원 영상 수신기는 제1시점 비디오 영상 디코더 (Video 1 Decoding; 14010), 제2시점 비디오 영상 디코더 (Video 2 Decoding; 14020), 캡션 파서 (Caption; 14030), 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 14040), 제2 캡션 분석부 & 믹서 (Caption Synthesis & Mix; 14050) 및/또는 3차원 디스플레이 포맷터 (3D Display Formatting; 14060) 을 포함할 수 있다.

제1시점 비디오 영상 디코더 (Video 1 Decoding; 14010)는 제1시점의 비디오 영상을 디코딩한다.

제2시점 비디오 영상 디코더 (Video 2 Decoding; 14020)는 제2시점의 비디오 영상을 디코딩한다.

캡션 파서 (Caption; 14030)는 방송 신호 또는 인터넷 네트워크를 통하여 전달되는 폐쇄 자막 데이터 및/또는 폐쇄 자막 표시정보를 파싱한다.

제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 14040)는 제1시점의 비디오 영상과 폐쇄 자막을 합성한다. 이 과정에서, 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 14040)는 폐쇄 자막 표시정보에 포함되는 정보를 이용하여, 폐쇄 자막 또는 폐쇄 자막이 포함되는 원도우의 위치를 결정할 수 있다.

제2 캡션 분석부 & 믹서 (Caption Synthesis & Mix; 14050)는 제2시점의 비디오 영상과 폐쇄 자막을 합성한다. 이 과정에서, 제2 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 14050)는 폐쇄 자막 표시정보에 포함되는 정보를 이용하여, 폐쇄 자막 또는 폐쇄 자막이 포함되는 원도우의 위치를 결정할 수 있다. 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 14040)와 제2 캡션 분석부 & 믹서 (Caption Synthesis & Mix; 14050)는 하나의 장치로 구현될 수도 있다.

3차원 디스플레이 포맷터 (3D Display Formatting; 14060)는 폐쇄 자막을 포함하는 제1시점의 비디오 영상과 제2시점의 비디오 영상을 3차원 영상으로 포맷팅한다. 3차원 디스플레이 포맷터 (3D Display Formatting; 14060)는 3차원 이미지와 3차원 폐쇄 자막을 디스플레이한다.

도 15는 본 발명의 다른 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.

본 발명의 다른 실시예에 따른 다시점 3차원 영상 수신기는 제1시점 비디오 영상 디코더 (Video 1 Decoding; 15010), 제1시점 깊이 영상 디코더 (Depth 1 Decoding; 15020), 제2시점 깊이 영상 디코더 (Depth 2 Decoding; 15030), 제2시점 비디오 영상 디코더 (Video 2 Decoding; 15040), 캡션 파서 (Caption; 15050), 카메라 파라미터 파서 (Camera Distance; 15060), 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 15070), 제2 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 15080), 제A시점 비디오 영상 분석부 (Video A Synthesis; 15090), 제B시점 비디오 영상 분석부 (Video B Synthesis & Mix; 15100), 제1 디스패리티 계산부 및 캡션 분석부 및 믹서 (Disparity Calculation & Caption Synthesis & Mix; 15110), 제2 디스패리티 계산부 및 캡션 분석부 및 믹서 (Disparity Calculation & Caption Synthesis & Mix; 15120) 및/또는 3차원 디스플레이 포맷터 (3D Display Formatter; 15130)를 포함한다.

제1시점 비디오 영상 디코더 (Video 1 Decoding; 15010)는 제1시점의 비디오 영상을 디코딩한다.

제1시점 깊이 영상 디코더 (Depth 1 Decoding; 15020)는 제1시점의 깊이 영상을 디코딩한다. 깊이 영상은 깊이 맵 및/또는 카메라 파라미터를 포함할 수 있다. 카메라 파라미터는 각 시점에서의 카메라의 (가상) 위치에 대한 정보를 포함할 수 있다.

제2시점 깊이 영상 디코더 (Depth 2 Decoding; 15030) 는 제2시점의 깊이 영상을 디코딩한다. 깊이 영상은 깊이 맵 및/또는 카메라 파라미터를 포함할 수 있다. 카메라 파라미터는 각 시점에서의 카메라의 (가상) 위치에 대한 정보를 포함할 수 있다.

제2시점 비디오 영상 디코더 (Video 2 Decoding; 15040)는 제2시점의 비디오 영상을 디코딩한다.

캡션 파서 (Caption; 15050)는 방송 신호 또는 인터넷 네트워크를 통하여 전달되는 폐쇄 자막 데이터 및/또는 폐쇄 자막 표시정보를 파싱한다.

카메라 파라미터 파서 (Camera Distance; 15060)는 카메라 파라미터로부터, 특정 파라미터를 추출한다. 예를 들면, 카메라 파라미터 파서 (Camera Distance; 15060)는 카메라 파라미터에 포함되는 카메라의 위치를 나타내는 정보를 추출할 수 있다.

제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 15070)는 제1시점의 비디오 영상과 폐쇄 자막을 합성한다. 이 과정에서, 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 15070)는 폐쇄 자막 표시정보에 포함되는 정보를 이용하여, 폐쇄 자막 또는 폐쇄 자막이 포함되는 원도우의 위치를 결정할 수 있다.

제2 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 15080)는 제2시점의 비디오 영상과 폐쇄 자막을 합성한다. 이 과정에서, 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 15080)는 폐쇄 자막 표시정보에 포함되는 정보를 이용하여, 폐쇄 자막 또는 폐쇄 자막이 포함되는 원도우의 위치를 결정할 수 있다.

제A시점 비디오 영상 분석부 (Video A Synthesis; 15090)는 수신되는 각각의 시점의 비디오 영상 및/또는 깊이 영상을 이용하여, 제A시점의 가상 영상을 합성한다.

제B시점 비디오 영상 분석부 (Video B Synthesis & Mix; 15100) 는 수신되는 각각의 시점의 비디오 영상 및/또는 깊이 영상을 이용하여, 제A시점의 가상 영상을 합성한다.

제1 디스패리티 계산부 및 캡션 분석부 및 믹서 (Disparity Calculation & Caption Synthesis & Mix; 15110)는 카메라 파라미터에 포함되는 각각의 시점의 카메라의 (가상) 위치 정보를 이용하여, 각각의 시점에서의 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우) 의 디스패리티 값을 계산하다. 제1 디스패리티 계산부 및 캡션 분석부 및 믹서 (Disparity Calculation & Caption Synthesis & Mix; 15110)는 합성된 특정 시점의 가상 영상에 계산된 디스패리티 값을 적용하여, 폐쇄 자막을 배치한다. 카메라 파라미터를 이용하여 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우)의 디스패리티를 계산하는 방법은 전술한 설명으로 대체한다.

제2 디스패리티 계산부 및 캡션 분석부 및 믹서 (Disparity Calculation & Caption Synthesis & Mix; 15120) 는 카메라 파라미터에 포함되는 각각의 시점의 카메라의 (가상) 위치 정보를 이용하여, 각각의 시점에서의 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우) 의 디스패리티 값을 계산하다. 제2 디스패리티 계산부 및 캡션 분석부 및 믹서 (Disparity Calculation & Caption Synthesis & Mix; 15120)는 합성된 특정 시점의 가상 영상에 계산된 디스패리티 값을 적용하여, 폐쇄 자막을 배치한다. 카메라 파라미터를 이용하여 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우)의 디스패리티를 계산하는 방법은 전술한 설명으로 대체한다. 제1 디스패리티 계산부 및 캡션 분석부 및 믹서 (Disparity Calculation & Caption Synthesis & Mix; 15110)와 제2 디스패리티 계산부 및 캡션 분석부 및 믹서 (Disparity Calculation & Caption Synthesis & Mix; 15120)는 하나의 장치로 구현될 수도 있다.

3차원 디스플레이 포맷터 (3D Display Formatter; 15130)는 폐쇄 자막이 합성된 실제 시점의 비디오 영상 및 합성된 가상 시점의 비디오 영상을 이용하여 3차원 영상을 포맷팅한다. 3차원 디스플레이 포맷터 (3D Display Formatter; 15130)는 3차원 이미지와 이에 포함된 3차원 폐쇄 자막을 디스플레이한다.

도 16는 본 발명의 다른 실시예에 따른, 다시점 3차원 영상에 폐쇄 자막을 디스플레이하기 위한 각 영상의 관계를 나타낸 도면이다.

사용자가 3차원 입체 영상 시청 시, 폐쇄 자막의 안정적인 표현을 위해서는, 폐쇄 자막이 주변의 입체 영상보다 시청자에게 더 가깝게 보이는 깊이의 범위 내에서 디스플레이되는 것이 유리하다.

수신기에서 폐쇄 자막을 디스플레이 하기 위하여는, 폐쇄 자막의 디스플레이와 관련된 정보가 필요하다. 이러한 정보를 폐쇄 자막 표시 정보로 명명하기로 한다. 이러한 폐쇄 자막 표시 정보는, 수신기 생산자가 미리 정해놓은 것일 수 있고, 사용자가 지정한 것일 수도 있으며, 송신측에서 전송하는 컨텐츠와 관련하여 가이드 라인으로 지정한 것일 수도 있다. 폐쇄 자막 표시정보에는 폐쇄 자막이 표시되는 window의 크기 및/또는 window의 위치 등이 포함될 수 있다. 다시점 영상의 경우 영상이 개수가 많기 때문에 기존의 자막 정보에 추가로, 포함된 폐쇄 자막 표시정보가 어느 시점에 적용되는 것인지를 식별하는, display_window_view_id를 더 포함할 수 있다.

다시점 3차원 영상을 위하여, 송신기에서 다시점 3차원 영상에 포함될 수 있는 다수의 영상 중 일부 영상만을 인코딩하여 송신하고, 이와 관련한 깊이 영상을 전송하는 경우에는, 수신측에서는 아래와 같은 절차로 각각의 시점에서 3차원 영상을 합성할 수 있다.

수신기에서는 깊이 영상을 이용하여 입력 영상 이외에 추가로 영상을 합성하여 표시한다. 수신기에서 깊이 영상을 이용하여 가상 영상을 합성하여 이를 각 시점의 3차원 영상 디스플레이에 이용하는 경우, 적은 데이터 량으로 많은 시점의 영상을 표현할 수 있는 장점이 있다. 이때, 수신기는 전송 되는 깊이 영상을 이용하여 폐쇄 자막의 입체감을 조절할 수 있다. 깊이 영상을 포함하는 비디오 압축 방식에서는 카메라 파라미터 (camera parameter)가 포함될 수 있다. 송신기에서는 카메라 파라미터를 이용하여 깊이 영상을 압축하거나, 깊이 영상과 별도로 카메라 파리미터를 수신기로 전송할 수 있다. 수신기는 카메라 파라미터의 정보가 반영된 깊이 영상을 이용하거나, 깊이 영상과 별도로 전송되는 카메라 파라미터를 깊이 영상과 함께 이용하여 가상 영상의 합성 과정에 사용할 수 있다.

도 16은 전술한 바와 달리, 특정 시점에서 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우) 의 디스패리티 값이 폐쇄 자막 표시정보에 포함되지 않은 경우, 각 시점에서 폐쇄 자막을 포함하는 영상을 합성하기 위한 영상 구조를 나타낸다.

도 16을 참조하면, 다시점 중 시점 2, 시점 4, 시점 6에 대한 영상과, 해당 시점에 대한 깊이 영상 2, 깊이 영상 4, 깊이 영상 6이 수신기로 전송될 수 있다. 이 경우, 시점 영상 2, 시점 영상 4, 시점 영상 6, 깊이 영상 2, 깊이 영상 4, 깊이 영상 6을 이용하여, 시점 영상 2.5, 시점 영상 3, 시점 영상 3.5, 시점 영상 4.5, 시점 영상 5, 시점 영상 5.5을 합성할 수 있다. 이때, 기준 영상이 시점 영상 6인 경우, 수신기는 시점 6에서의 폐쇄 자막을 기준 폐쇄 자막을 생성하고, 이 기준 폐쇄 자막을 기초로 각각의 시점에서의 폐쇄 자막을 각각 합성할 수 있다. 기준 폐쇄 자막을 생성하는 과정에서, 수신기는 기준 영상에 대한 깊이 영상 및/또는 카메라 파라미터를 이용할 수 있다. 수신기는 기준 폐쇄 자막의 디스패리티 값을 결정하는 과정에서 깊이 영상, 깊이 맵 및/또는 카메라 파라미터를 이용할 수 있다. 수신기는 결정된 디스패리티 값을 각각의 시점의 영상에 배치되는 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우) 에 적용하여, 폐쇄 자막을 포함하는 영상을 합성한다.

수신기에서 각각의 시점에 대한 가상 영상을 생성하는 과정은 이하에서 상술한다.

도 17은 본 발명의 다른 실시예에 따른, 폐쇄 자막을 포함하는 다시점 3차원 영상을 생성하는 과정을 나타낸 도면이다.

본 발명의 다른 실시예에 따르면, 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우)에 대한 디스패리티 값이 제공되지 않는 경우, 각각의 시점에서 폐쇄 자막이 배치되어야 하는 위치를 결정하기 위한 디스패리티 값을 수신기에서 직접 계산할 수 있다.

우선, 수신기는 각 입력 영상과 그에 따른 부가정보를 이용하여 디스플레이 환경 (시점의 개수) 에 맞게 가상 시점을 생성한다.

수신기는 폐쇄 자막을 각 시점의 영상 위에 배치할 수 있다. 폐쇄 자막의 배치를 위하여, 폐쇄 자막 표시정보가 송신단에서 수신기로 제공될 수 있다. 폐쇄 자막 표시 정보는 폐쇄 자막이 표시되는 블록(window)의 크기, window의 위치 및/또는 window 내의 글씨체 정보를 포함할 수 있다.

송신당에서는 가장 왼쪽 시점의 영상에 포함되는 폐쇄 자막을 기준으로, 폐쇄 자막 데이터 및/또는 폐쇄 자막 표시 정보를 전송한다. 수신기는 각각의 가상 시점에서 폐쇄 자막을 합성하는 경우, 폐쇄 자막 또는 윈도우가 화면을 벗어나는 경우가 있을 수 있으므로 안정한 영역 이내에 폐쇄 자막 또는 윈도우가 위치하도록 하여야 한다.

송신단에서 다시점 폐쇄 자막 정보의 디스패리티 (disparity) 정보를 전송하지 않더라도, 수신단에서 영상의 깊이 맵 (depth map)을 이용하여 페쇄 자막 또는 폐쇄 자막이 포함되는 윈도우의 디스패리티 (disparity)를 설정하여, 3차원으로 폐쇄 자막을 표현할 수 있다.

수신기는 송신단에서 전송되는 정보 및 데이터를 이용하여 가장 왼쪽 시점의 영상에서의 폐쇄 자막을 표시한다.

수신기는 가장 왼쪽 시점을 기준 (reference)으로 하여 각 재생되는 시점에서의 폐쇄 자막 (또는 윈도우)의 디스패리티 (disparity)를 계산할 수 있다.

수신기는 기준 시점 내에서 폐쇄 자막 또는 폐쇄 자막이 포함되는 윈도우 (window) 의 주변 픽셀 중 가장 큰 깊이 (depth) 픽셀을 찾아, 각 시점의 영상으로 3차원 영상을 생성할 때, 해당 깊이감을 표현하기 위한 픽셀의 디스패리티 (disparity)를 계산한다. 이때, 픽셀의 디스패리티 값을 계산하는 방법은 전술한 설명으로 대체한다.

수신기는 폐쇄 자막 또는 폐쇄 자막이 포함되는 윈도우에 적용되는 디스패리티의 값이 계산된 픽셀의 디스패리티 (disparity) 값 보다 크게 설정하여, 폐쇄 자막의 디스패리티 값만큼, 폐쇄 자막 또는 윈도우를 평행 이동하여 각 시점 영상 위에 표시한다. 따라서, 수신기에서 각 시점의 영상을 이용하여 3차원 영상을 제공하는 경우, 폐쇄 자막은 주변 영상 보다 시청자에게 가까운 위치에 디스플레이 될 수 있다.

폐쇄 자막에 대한 디스패리티 계산 및 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우)이 화면의 외부에 위치하지 않도록 처리하는 방법은, 전술한 OSD에 대한 디스패리티 값 계산 및 OSD의 위치 처리에 대한 설명이 동일하게 적용될 수 있다. 즉, 전술한 OSD에 대한 설명에서, OSD 대신 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우)라는 용어가 사용되는 경우를 가정하여, 폐쇄 자막에 대한 처리가 설명될 수 있다.

도 18은 본 발명의 다른 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.

본 발명의 다른 실시예에 따른 다시점 3차원 영상 수신기는 제1시점 비디오 영상 디코더 (Video 1 Decoding; 18010), 제1시점 깊이 영상 디코더 (Depth 1 Decoding; 18020), 제2시점 깊이 영상 디코더 (Depth 2 Decoding; 18030), 제2시점 비디오 영상 디코더 (Video 2 Decoding; 18040), 캡션 파서 (Caption; 18050), 디스패리티 계산부 (Disparity Calculation; 18060), 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 18070), 제2 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 18080) 및/또는 3차원 디스플레이 포맷터 (3D Display Formatting; 18090) 를 포함한다.

제1시점 비디오 영상 디코더 (Video 1 Decoding; 18010)는 제1시점의 비디오 영상을 디코딩한다.

제1시점 깊이 영상 디코더 (Depth 1 Decoding; 18020)는 제1시점의 깊이 영상을 디코딩한다. 깊이 영상은 깊이 맵 및/또는 카메라 파라미터를 포함할 수 있다. 카메라 파라미터는 각 시점에서의 카메라의 (가상) 위치에 대한 정보를 포함할 수 있다.

제2시점 깊이 영상 디코더 (Depth 2 Decoding; 18030)는 제2시점의 비디오 영상을 디코딩한다.

제2시점 비디오 영상 디코더 (Video 2 Decoding; 18040)는 제1시점의 깊이 영상을 디코딩한다. 깊이 영상은 깊이 맵 및/또는 카메라 파라미터를 포함할 수 있다. 카메라 파라미터는 각 시점에서의 카메라의 (가상) 위치에 대한 정보를 포함할 수 있다.

캡션 파서 (Caption; 18050)는 방송 신호 또는 인터넷 네트워크를 통하여 전달되는 폐쇄 자막 데이터 및/또는 폐쇄 자막 표시정보를 파싱한다.

디스패리티 계산부 (Disparity Calculation; 18060)는 깊이 맵 및/또는 카메라 파라미터를 포함하는 깊이 영상을 이용하여, 폐쇄 자막 (또는 윈도우) 의 주변부의 영상에 대한 디스패리티를 계산한다. 디스패리티를 계산하는 방법은 전술한 설명으로 대체한다.

제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 18070)는 제1시점의 비디오 영상에 폐쇄 자막을 합성한다. 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 18070)는 계산된 디스패리티 값을 고려하여, 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우) 의 디스패리티를 설정한다. 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 18070)는 설정된 디스패리티를 고려하여 폐쇄 자막의 위치를 결정할 수 있다.

제2 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 18080)는 제2시점의 비디오 영상에 폐쇄 자막을 합성한다. 제2 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 18080)는 계산된 디스패리티 값을 고려하여, 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우) 의 디스패리티를 설정한다. 제2 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 18080)는 설정된 디스패리티를 고려하여 폐쇄 자막의 위치를 결정할 수 있다. 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 18070)와 제2 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 18080)는 하나의 장치로 구현될 수 있다.

3차원 디스플레이 포맷터 (3D Display Formatting; 18090)는 폐쇄 자막을 포함하는 제1시점 비디오 영상과 제2시점 비디오 영상을 이용하여 3차원 영상을 포맷팅한다. 3차원 디스플레이 포맷터 (3D Display Formatting; 18090)는 3차원 이미지와 3차원 폐쇄 자막을 디스플레이한다.

도 19는 본 발명의 다른 실시예에 따른, 다시점 3차원 영상 수신기의 일부 블록을 나타낸 도면이다.

본 발명의 다른 실시예에 따른 다시점 3차원 영상 수신기는 제1시점 비디오 영상 디코더 (Video 1 Decoding; 19010), 제1시점 깊이 영상 디코더 (Depth 1 Decoding; 19020), 제2시점 깊이 영상 디코더 (Depth 2 Decoding; 19030), 제2시점 비디오 영상 디코더 (Video 2 Decoding; 19040), 제A시점 비디오 영상 분석부 (View A Synthesis; 19050), 제B시점 비디오 영상 분석부 (View B Synthesis; 19060), 제1 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19070), 제2 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19080), 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 19090), 제2 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 19100) 및/또는 3차원 디스플레이 포맷터 (3D Display Formatting; 19110) 를 포함한다.

도 19에 도시된 다시점 3차원 영상 수신기의 일부 블록은 전술한 다시점 3차원 영상 수신기의 일부 블록과 결합되어 사용될 수 있다. 즉, 도 18에서 전술한 블록은, 실제 영상이 제공되는 시점의 영상에 대한 폐쇄 자막의 처리를 수행하고, 도 19에서 설명하는 블록은, 가상 시점의 영상에 대한 폐쇄 자막의 처리를 수행한다.

제1시점 비디오 영상 디코더 (Video 1 Decoding; 19010)는 제1시점의 비디오 영상을 디코딩한다.

제1시점 깊이 영상 디코더 (Depth 1 Decoding; 19020)는 제1시점의 깊이 영상을 디코딩한다. 깊이 영상은 깊이 맵 및/또는 카메라 파라미터를 포함할 수 있다. 카메라 파라미터는 각 시점에서의 카메라의 (가상) 위치에 대한 정보를 포함할 수 있다.

제2시점 깊이 영상 디코더 (Depth 2 Decoding; 19030)는 제2시점의 깊이 영상을 디코딩한다. 깊이 영상은 깊이 맵 및/또는 카메라 파라미터를 포함할 수 있다. 카메라 파라미터는 각 시점에서의 카메라의 (가상) 위치에 대한 정보를 포함할 수 있다.

제2시점 비디오 영상 디코더 (Video 2 Decoding; 19040)는 제2시점의 비디오 영상을 디코딩한다.

제A시점 비디오 영상 분석부 (View A Synthesis; 19050)는 실제 제공되는 시점의 비디오 영상과, 깊이 영상 (예를 들면, 제1시점, 제2시점의 비디오 영상 및 깊이 영상)을 이용하여 제A시점의 비디오 영상을 합성한다.

제B시점 비디오 영상 분석부 (View B Synthesis; 19060)는 실제 제공되는 시점의 비디오 영상과, 깊이 영상 (예를 들면, 제1시점, 제2시점의 비디오 영상 및 깊이 영상)을 이용하여 제A시점의 비디오 영상을 합성한다.

제1 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19070)는 깊이 맵 및/또는 카메라 파라미터를 포함하는 깊이 영상을 이용하여, 폐쇄 자막 (또는 윈도우) 의 주변부의 영상에 대한 디스패리티를 계산한다. 디스패리티를 계산하는 방법은 전술한 설명으로 대체한다. 제1 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19070)는 계산된 디스패리티를 고려하여, 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우)에 적용되는 디스패리티를 설정할 수 있다. 제1 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19070)는 디스패리티를 계산하거나 설정하는 과정에서 제A시점에 대한 카메라 파라미터를 이용할 수 있다. 제1 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19070)는 제A시점의 가상 카메라의 위치를 나타내는 정보로, 전술한 방법의 수식을 이용하여 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우) 의 디스패리티를 계산 또는 설정할 수 있다.

제2 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19080) 는 깊이 맵 및/또는 카메라 파라미터를 포함하는 깊이 영상을 이용하여, 폐쇄 자막 (또는 윈도우) 의 주변부의 영상에 대한 디스패리티를 계산한다. 디스패리티를 계산하는 방법은 전술한 설명으로 대체한다. 제2 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19080)는 계산된 디스패리티를 고려하여, 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우)에 적용되는 디스패리티를 설정할 수 있다. 제2 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19080)는 디스패리티를 계산하거나 설정하는 과정에서 제B시점에 대한 카메라 파라미터를 이용할 수 있다. 제2 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19080)는 제B시점의 가상 카메라의 위치를 나타내는 정보로, 전술한 방법의 수식을 이용하여 폐쇄 자막 (또는 폐쇄 자막이 포함되는 윈도우) 의 디스패리티를 계산 또는 설정할 수 있다. 제1 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19070)와 제2 캡션 디스패리티 계산부 (Caption Disparity Calculation; 19080)는 하나의 장치로 구현될 수도 있다.

제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 19090)는 제A시점의 비디오 영상에 폐쇄 자막을 합성한다. 제1 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 19090)는 설정된 디스패리티를 고려하여 폐쇄 자막의 위치를 결정할 수 있다.

제2 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 19100)는 제B시점의 비디오 영상에 폐쇄 자막을 합성한다. 제2 캡션 분석부 및 믹서 (Caption Synthesis & Mix; 19100)는 설정된 디스패리티를 고려하여 폐쇄 자막의 위치를 결정할 수 있다.

3차원 디스플레이 포맷터 (3D Display Formatting; 19110)는 폐쇄 자막을 포함하는 제A시점 비디오 영상과 제B시점 비디오 영상을 이용하여 3차원 영상을 포맷팅한다. 3차원 디스플레이 포맷터 (3D Display Formatting; 18090)는 3차원 이미지와 3차원 폐쇄 자막을 디스플레이한다.

본 발명에 따르면, 다시점 3차원 영상을 제공하는 환경에서, 각각의 시점의 영상에서 적절한 위치에 OSD 또는 폐쇄 자막을 디스플레이할 수 있다.

본 발명에 따르면, 다시점 3차원 영상을 제공하는 환경에서, 각 시점의 영상에서 OSD 또는 폐쇄 자막이 화면 외부에 위치하도록 설정되어, OSD 또는 폐쇄 자막의 일부가 짤려서 디스플레이되는 현상을 방지할 수 있다.

본 발명에 따르면, 다시점 3차원 영상을 제공하는 환경에서, 복수의 OSD 또는 폐쇄 자막이 디스플레이되어야 하는 경우, 이들 사이에 방해가 발생하지 않도록 하는 효과가 있다.

본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.

상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

발명의 실시를 위한 형태

발명의 실시를 위한 형태는 전술한 바와 같이, 발명의 실시를 위한 최선의 형태로 상술되었다.

본 발명은 방송 산업 전반에서 이용 가능하다.

Claims (14)

1. 복수의 시점에 대한 비디오 영상 및 깊이 영상을 수신하는 단계;
   상기 복수의 시점에 대한 비디오 영상에 표시되는 부가 오브젝트 중 어느 하나의 부가 오브젝트를 기준 부가 오브젝트 (reference additional object) 로 설정하는 단계;
   상기 기준 부가 오브젝트가 표시되는 영역 및 상기 기준 부가 오브젝트의 모서리에 인접한, 비디오 영상의 픽셀의 디스패리티 (disparity)를 계산하는 단계;
   상기 계산된 디스패리티의 값 이상의 디스패리티 값을 상기 기준 부가 오브젝트에 적용하여, 제1시점의 비디오 영상 및 제2시점의 비디오 영상에 상기 기준 부가 오브젝트를 합성하는 단계; 및
   상기 기준 부가 오브젝트가 합성된 제1시점의 비디오 영상 및 제2시점의 비디오 영상을 3차원 영상으로 포맷팅하는 단계;
   를 포함하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법.
2. 제 1 항에 있어서, 상기 기준 부가 오브젝트로 설정하는 단계는,
   상기 복수의 시점에 대한 비디오 영상 중, 가장 왼쪽 시점의 비디오 영상과 가장 오른쪽 시점의 비디오 영상을 식별하는 단계; 및
   상기 식별된 비디오 영상에 포함되는, 부가 오브젝트에서 화면의 좌측 모서리까지의 거리가, 상기 부가 오브젝트에서 화면의 우측 모서리까지의 거리 보다 가까운 경우, 가장 오른쪽 시점의 비디오 영상에 표시되는 부가 오브젝트를 상기 기준 부가 오브젝트로 설정하고,
   상기 부가 오브젝트에서 화면의 좌측 모서리까지의 거리가, 상기 부가 오브젝트에서 화면의 우측 모서리까지의 거리 보다 먼 경우, 가장 왼쪽 시점의 비디오 영상에 표시되는 부가 오브젝트를 상기 기준 부가 오브젝트로 설정하는 단계;
   를 포함하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법.
3. 제 1 항에 있어서, 상기 비디오 영상의 픽셀의 디스패리티 (disparity)를 계산하는 단계는,
   상기 기준 부가 오브젝트가 표시되는 영역 및 상기 기준 부가 오브젝트의 모서리에 인접한 픽셀들 중 가장 큰 깊이감을 나타내는 픽셀을 식별하는 단계; 및
   상기 식별된 픽셀의 디스패리티를 계산하는 단계;
   를 포함하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법.
4. 제 1 항에 있어서, 상기 깊이 영상은,
   깊이 맵 및 카메라 파라미터를 포함하는 것을 특징으로 하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법.
5. 제 1 항에 있어서, 상기 부가 오브젝트는,
   OSD (On Screen Display) 또는 폐쇄 자막에 해당되는 것을 특징으로 하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법.
6. 제 1 항에 있어서,
   상기 기준 부가 오브젝트가 합성된 상기 제1시점의 비디오 영상 및 상기 제2시점의 비디오 영상에, 제2 기준 부가 오브젝트를 합성하는 단계;
   를 더 포함하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법.
7. 제 6 항에 있어서, 상기 제2 기준 부가 오브젝트를 합성하는 단계는,
   상기 기준 부가 오브젝트와 상기 제2 기준 부가 오브젝트 사이의 깊이감의 차이를 식별하는 정보를 생성하는 단계; 및
   상기 생성된 정보에 의한 깊이감의 차이를 나타내는 디스패리티를 적용하여, 상기 제2 기준 부가 오브젝트를 상기 제1시점 비디오 영상 및 상기 제2시점 비디오 영상에 합성하는 단계;
   를 포함하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법.
8. 복수의 시점에 대한 비디오 영상 및 깊이 영상을 디코딩하는 디코더;
   상기 복수의 시점에 대한 비디오 영상에 표시되는 부가 오브젝트 중 어느 하나의 부가 오브젝트를 기준 부가 오브젝트 (reference additional object) 로 설정하고, 상기 기준 부가 오브젝트가 표시되는 영역 및 상기 기준 부가 오브젝트의 모서리에 인접한, 비디오 영상의 픽셀의 디스패리티 (disparity)를 계산하는 디스패리티 계산부;
   상기 계산된 디스패리티의 값 이상의 디스패리티 값을 상기 기준 부가 오브젝트에 적용하여, 제1시점의 비디오 영상 및 제2시점의 비디오 영상에 상기 기준 부가 오브젝트를 합성하는 부가 오브젝트 합성부; 및
   상기 기준 부가 오브젝트가 합성된 제1시점의 비디오 영상 및 제2시점의 비디오 영상을 3차원 영상으로 포맷팅하는 3차원 디스플레이 포맷터;
   를 포함하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상을 처리하는 수신기.
9. 제 8 항에 있어서, 상기 디스패리티 계산부는,
   상기 복수의 시점에 대한 비디오 영상 중, 가장 왼쪽 시점의 비디오 영상과 가장 오른쪽 시점의 비디오 영상을 식별하고,
   상기 식별된 비디오 영상에 포함되는, 부가 오브젝트에서 화면의 좌측 모서리까지의 거리가, 상기 부가 오브젝트에서 화면의 우측 모서리까지의 거리 보다 가까운 경우, 가장 오른쪽 시점의 비디오 영상에 표시되는 부가 오브젝트를 상기 기준 부가 오브젝트로 설정하고,
   상기 부가 오브젝트에서 화면의 좌측 모서리까지의 거리가, 상기 부가 오브젝트에서 화면의 우측 모서리까지의 거리 보다 먼 경우, 가장 왼쪽 시점의 비디오 영상에 표시되는 부가 오브젝트를 상기 기준 부가 오브젝트로 설정하는 것을 특징으로 하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상을 처리하는 수신기.
10. 제 8 항에 있어서, 상기 디스패리티 계산부는,
    상기 기준 부가 오브젝트가 표시되는 영역 및 상기 기준 부가 오브젝트의 모서리에 인접한 픽셀들 중 가장 큰 깊이감을 나타내는 픽셀을 식별하고,
    상기 식별된 픽셀의 디스패리티를 계산하는 것을 특징으로 하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상을 처리하는 수신기.
11. 제 8 항에 있어서, 상기 깊이 영상은,
    깊이 맵 및 카메라 파라미터를 포함하는 것을 특징으로 하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상을 처리하는 수신기.
12. 제 8 항에 있어서, 상기 부가 오브젝트는,
    OSD (On Screen Display) 또는 폐쇄 자막에 해당되는 것을 특징으로 하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상을 처리하는 수신기.
13. 제 8 항에 있어서, 상기 부가 오브젝트 합성부는,
    상기 기준 부가 오브젝트가 합성된 상기 제1시점의 비디오 영상 및 상기 제2시점의 비디오 영상에, 제2 기준 부가 오브젝트를 합성하는 것을 특징으로 하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상을 처리하는 수신기.
14. 제 13 항에 있어서,
    상기 디스패리티 계산부는, 상기 기준 부가 오브젝트와 상기 제2 기준 부가 오브젝트 사이의 깊이감의 차이를 식별하는 정보를 생성하고
    상기 부가 오브젝트 합성부는, 상기 생성된 정보에 의한 깊이감의 차이를 나타내는 디스패리티를 적용하여, 상기 제2 기준 부가 오브젝트를 상기 제1시점 비디오 영상 및 상기 제2시점 비디오 영상에 합성하는 것을 특징으로 하는 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상을 처리하는 수신기.

Images