KR20150012976A

KR20150012976A - 다시점 영상 처리 장치 및 그 영상 처리 방법

Info

Publication number: KR20150012976A
Application number: KR1020130137519A
Authority: KR
Inventors: 한승룡; 이호영
Original assignee: 삼성전자주식회사
Priority date: 2013-07-26
Filing date: 2013-11-13
Publication date: 2015-02-04
Also published as: JP6377155B2; WO2015012606A1; EP3025497A4; CA2919334A1; JP2016535516A; BR112016001562A2; MX348438B; BR112016001562B1; MX2016001088A; CA2919334C; CN105453560A; KR102143472B1; EP3025497A1; US9092904B2; US20150029179A1

Abstract

다시점 영상 디스플레이 장치가 개시된다. 다시점 영상 처리 장치는, 입력된 3D 영상의 뎁스 정보를 추출하는 뎁스 추출부, 3D 영상에 포함된 OSD(On Screen Dispaly) 영역에 대응되는 OSD 마스크 정보 및 추출된 뎁스 정보에 기초하여 OSD 영역의 뎁스를 보정하는 뎁스 보정부 및, 뎁스가 보정된 3D 영상을 이용하여 다시점 영상을 렌더링하는 렌더링부를 포함한다.

Description

다시점 영상 처리 장치 및 그 영상 처리 방법 { MULTI VIEW IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD THEREOF}

본 발명은 다시점 영상 처리 장치 및 영상 처리 방법에 관한 것으로, 더욱 상세하게는 무안경식 다시점 영상 처리 장치 및 그 영상 처리 방법에 관한 것이다.

전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 일반 가정에서 가장 많이 사용되고 있는 가전 제품 중 하나인 TV와 같은 디스플레이 장치는 최근 수년 간 급속도로 발전하고 있다.

디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.

입체 디스플레이 장치는 일반 가정에서 사용되는 3D 텔레비젼 뿐만 아니라, 각종 모니터, 휴대폰, PDA, PC, 셋탑 PC, 태블릿 PC, 전자 액자, 키오스크 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다. 또한, 3D 디스플레이 기술은, 가정 내 사용 분만 아니라 과학, 의약, 디자인, 교육, 광고, 컴퓨터 게임 등과 같이 3D 이미징이 필요한 다양한 분야에 활용될 수 있다.

입체 디스플레이 시스템은 크게 안경 없이 시청 가능한 무안경식 시스템과, 안경을 착용하여 시청하여야 하는 안경식 시스템으로 분류할 수 있다.

안경식 시스템은 만족스러운 입체감을 제공할 수 있으나, 시청자가 반드시 안경을 사용하여야만 한다는 불편함이 있었다. 이에 비해, 무안경식 시스템은 안경 없이도 3D 이미지를 시청할 수 있다는 장점이 있어, 무안경식 시스템에 대한 개발 논의가 지속적으로 이루어지고 있다.

무안경식 시스템은 다시점 영상 예를 들어, N개의 시점 영상을 시청자에게 표시하기 때문에 N개의 다시점 영상이 필요하다. N개의 다시점 영상은 N개의 카메라로부터 획득할 수 있으나, N>2일 경우 카메라로부터 획득하는 것은 시스템 구현 어려움이 있다.

이에 따라, 무안경식 시스템은 스테레오 영상이 입력될 경우 깊이 정보를 추출한 후 다시점 영상을 렌더링하는 방법을 사용한다. 하지만, 입력된 스테레오 영상에 OSD 정보가 포함되어 있는 경우, 뎁스 정보 추출시 OSD 영역에서 정확한 깊이 정보를 추출하기 어려워 OSD 영역의 뎁스 정보에 에러가 발생하고, 이로 인해 OSD 영상이 왜곡되어 디스플레이된다는 문제점이 있었다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 3D 영상에 포함된 OSD 영역에서 뎁스 보정을 수행하여 OSD 영역에서 발생되는 영상 왜곡을 방지할 수 있는 다시점 영상 처리 장치 및 제어 방법을 제공하는 것을 목적으로 한다.

본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 입력된 3D 영상의 뎁스 정보를 추출하는 뎁스 추출부, 상기 3D 영상에 포함된 OSD(On Screen Dispaly) 영역에 대응되는 OSD 마스크 정보 및 상기 추출된 뎁스 정보에 기초하여 상기 OSD 영역의 뎁스를 보정하는 뎁스 보정부 및, 상기 뎁스가 보정된 3D 영상을 이용하여 다시점 영상을 렌더링하는 렌더링부를 포함한다.

또한, 상기 뎁스 추출부는, 상기 추출된 뎁스 정보에 기초하여 뎁스 맵(depth map)을 생성하며, 상기 뎁스 보정부는, 상기 뎁스 맵에서 상기 OSD 영역의 뎁스 값을 보정할 수 있다.

또한, 상기 뎁스 보정부는, 상기 뎁스 맵에서 상기 OSD 영역의 뎁스 값을 제1 뎁스 값으로 보정할 수 있다.

또한, 상기 뎁스 보정부는, 상기 뎁스 맵에서 상기 OSD 영역을 제외한 나머지 영역의 뎁스 값을 제2 뎁스 값으로 보정할 수 있다.

또한, 상기 뎁스 보정부는, 상기 뎁스 맵에서 상기 OSD 영역을 포함한 전체 영역의 뎁스 값을 0으로 보정할 수 있다.

또한, 복수의 OSD 영역을 포함하는 3D 영상을 디스플레이하는 디스플레이부,사용자 명령을 입력받는 사용자 인터페이스부, 및 상기 3D 영상에 포함된 복수의 OSD 영역 중 상기 사용자 명령에 따라 선택된 OSD 영역의 뎁스가 나머지 OSD 영역의 뎁스와 상이하게 뎁스 보정을 수행하도록 상기 뎁스 보정부를 제어하는 제어부를 더 포함할 수 있다.

또한, 상기 제어부는, 상기 선택된 OSD 영역의 뎁스를 기설정된 제3 뎁스 값으로 보정하고, 나머지 OSD 영역의 뎁스를 0으로 보정하도록 상기 뎁스 보정부를 제어할 수 있다.

한편, 본 발명의 일 실시 예에 따른 다시점 영상 처리 방법에 따르면, 입력된 3D 영상의 뎁스 정보를 추출하는 단계, 상기 3D 영상에 포함된 OSD(On Screen Dispaly) 영역에 대응되는 OSD 마스크 정보 및 상기 추출된 뎁스 정보에 기초하여 상기 OSD 영역의 뎁스를 보정하는 단계 및, 상기 뎁스가 보정된 3D 영상을 이용하여 다시점 영상을 렌더링하는 단계를 포함한다.

또한, 상기 뎁스 정보를 추출하는 단계는, 상기 추출된 뎁스 정보에 기초하여 뎁스 맵(depth map)을 생성하며, 상기 뎁스를 보정하는 단계는, 상기 뎁스 맵에서 상기 OSD 영역의 뎁스 값을 보정할 수 있다.

또한, 상기 뎁스를 보정하는 단계는, 상기 뎁스 맵에서 상기 OSD 영역의 뎁스 값을 제1 뎁스 값으로 보정할 수 있다.

또한, 상기 뎁스를 보정하는 단계는, 상기 뎁스 맵에서 상기 OSD 영역을 제외한 나머지 영역의 뎁스 값을 제2 뎁스 값으로 보정할 수 있다.

또한, 상기 뎁스를 보정하는 단계는, 상기 뎁스 맵에서 상기 OSD 영역을 포함한 전체 영역의 뎁스 값을 0으로 보정할 수 있다.

또한, 복수의 OSD 영역을 포함하는 3D 영상을 디스플레이하는 단계, 상기 복수의 OSD 영역 중 적어도 하나를 선택하기 위한 사용자 명령을 입력받는 단계 및, 상기 사용자 명령에 따라 선택된 OSD 영역의 뎁스가 나머지 OSD 영역의 뎁스와 상이하게 뎁스 보정을 수행하는 단계를 더 포함할 수 있다.

또한, 상기 뎁스 보정을 수행하는 단계는, 상기 선택된 OSD 영역의 뎁스를 기설정된 제3 뎁스 값으로 보정하고, 나머지 OSD 영역의 뎁스를 0으로 보정할 수 있다.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 3D 영상에 포함된 OSD 영역에서의 영상 왜곡을 방지할 수 있는 무안경식 3D 시스템을 제공할 수 있게 된다.

또한, 본 발명에 따르면, 무안경식 3D 시스템에서 부분 3D 기능을 구현할 수 있게 된다.

도 1은 본 발명의 이해를 돕기 위한 무안경 3D 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 2a는 본 발명의 일 실시 예에 따른 다시점 영상 처리 장치의 구성을 나타내는 블럭도이다.
도 2b는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 디스플레이부(140)의 구현 예를 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 OSD 마스크 정보를 설명하기 위한 도면이다.
도 5a, 5b, 5c 는 본 발명의 다양한 실시 예에 따른 뎁스 보정 방법을 설명하기 위한 도면들이다.
도 6은 본 발명의 또 다른 실시 예에 따른 뎁스 보정 방법을 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 발명의 또 다른 실시 예에 따른 뎁스 보정 방법을 설명하기 위한 도면들이다.
도 8a 내지 도 8c는 본 발명의 또 다른 실시 예에 따른 뎁스 보정 방법을 설명하기 위한 도면들이다.
도 9는 본 발명의 일 실시 예에 따른 다시점 영상 처리 장치의 제어 방법을 설명하기 위한 흐름도이다.

이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 이해를 돕기 위한 무안경 3D 디스플레이 장치의 동작을 설명하기 위한 도면이다.

도 1은 본 발명의 일 실시 예에 따라 다시점 영상을 디스플레이하여 무안경 방식으로 입체 영상을 제공하는 장치의 동작 방식을 나타낸다. 여기에서, 다시점 영상은 동일한 오브젝트를 서로 다른 각도에서 촬영한 복수의 영상을 포함한다. 즉, 서로 다른 시점에서 촬영한 복수의 영상을 서로 다른 각도로 굴절시키고, 소위 시청 거리라 하는 일정한 거리만큼 떨어진 위치(가령, 약 3m)에 포커스된 영상을 제공한다. 이러한 영상이 형성되는 위치를 시청 영역이라 한다. 이에 따라, 사용자의 한 쪽 눈이 하나의 제1 시청 영역에 위치하고, 다른 쪽 눈이 제2 시청 영역에 위치하면 입체감을 느낄 수 있게 된다.

일 예로, 도 1은 총 6 시점의 다시점 영상의 디스플레이 동작을 설명하는 도면이다. 도 1에 따르면, 무안경 3D 디스플레이 장치는 좌안에는 6 시점 중 1 시점 영상에 해당하는 광이, 우안에는 2 시점 영상에 해당하는 광이 투사되도록 할 수 있다. 이에 따라, 사용자는 좌안 및 우안에서 서로 다른 시점의 영상을 시청하게 되어 입체감을 느낄 수 있게 된다.

도 2a는 본 발명의 일 실시 예에 따른 다시점 영상 처리 장치의 구성을 나타내는 블럭도이다.

도 2a에 따르면, 다시점 영상 처리 장치(100)는 뎁스 추출부(110), 뎁스 보정부(120), 렌더링부(130) 및 제어부(140)를 포함한다.

영상 수신부(미도시)는 3D 영상 신호를 수신한다. 여기서, 3D 영상은 스테레오 영상이 될 수 있다. 스테레오 영상이란 하나의 피사체를 다른 각도에서 촬영한 두 개의 영상, 즉, 좌안 영상 및 우안 영상을 포함한다. 이러한 스테레오 영상은 다양한 소스로부터 제공될 수 있다. 일 예로, 영상 수신부(미도시)는 방송국 채널과 같은 소스로부터 스테레오 영상을 유선 또는 무선으로 수신할 수 있다. 이 경우, 영상 수신부(미도시)는 튜너부, 복조부, 등화부와 같은 다양한 구성요소들을 구비할 수 있다. 또는 영상 수신부(미도시)는 DVD, 블루레이 디스크, 메모리 카드 등과 같은 각종 기록 매체를 재생할 수 있는 기록 매체 재생 유닛으로부터 재생된 스테레오 영상을 수신할 수도 있고, 카메라로부터 촬영된 스테레오 영상을 직접 수신할 수도 있다. 이 경우, 영상 수신부(미도시)는 USB 인터페이스 등과 같은 각종 인터페이스를 구비하는 형태로 구현될 수 있다. 또는 영상 수신부(미도시)는 웹 서버와 같은 외부 서버로부터 스테레오 영상을 수신하는 것도 가능하다. 또는 3D 영상은 2D-3D 변환 기법에 따라 2D 영상을 기반으로 생성된 영상이거나, 3시점 이상의 다시점 영상이 될 수도 있다. 이에 대한 자세한 설명은 생략하도록 한다.

뎁스 추출부(110)는 좌안 및 우안 영상에 기초하여 영상 내에 존재하는 객체에 대한 뎁스 정보를 추출한다. 여기서, 뎁스(depth) 정보란, 영상 내에 존재하는 객체의 3차원 거리 정보를 나타내는 것으로, 뎁스 맵 또는 뎁스 영상으로 명명될 수도 있다. 예를 들어, 피사체와 카메라 간의 거리, 피사체와 피사체의 영상이 맺히는 기록 매체 간의 거리 등과 같이 입체감의 정보를 나타내는 정보를 의미한다. 즉, 좌안 영상과 우안 영상 간의 서로 대응되는 포인트 간의 거리 차가 크면 그만큼 더 입체감이 증대하게 된다. 뎁스 맵이란 이러한 깊이의 변화 상태를 하나의 영상으로 구성한 것으로, 좌안 및 우안 영상에서 서로 매칭되는 포인트 간의 거리 크기에 따라 상이해지는 그레이 레벨로 표현될 수 있다. 예를 들어, 뎁스 맵에서 밝게 표시된 부분은 카메라와 물체 간의 거리가 가까운 부분이고 어둡게 표시된 부분은 카메라와 물체 간의 거리가 먼 부분을 나타낸다.

구체적으로, 뎁스 추출부(110)는 영상을 구성하는 각 픽셀마다 0부터 255 사이의 값으로 뎁스 값을 표현하여 영상 내 존재하는 객체의 3차원 거리 정보를 나타낼 수 있다. 예를 들어, 흑/백을 기준으로 나타낼 때, 검은색(낮은 값)이 시청자로부터 먼 곳을 나타내며, 흰색(높은 값)이 시청자로부터 가까운 곳을 나타낼 수 있다.

한편, 뎁스 추출부(110)는 뎁스 맵을 생성하기 위하여 좌안 및 우안 영상에서 서로 매칭되는 포인트를 찾는 스테레오 매칭 작업을 수행할 수 있다. 경우에 따라, 뎁스 추출부(110)는 적응적 가중치를 적용하여 스테레오 매칭을 수행할 수도 있다.

예를 들어, 좌안 영상과 우안 영상은 하나의 피사체를 서로 다른 시점에서 촬영한 영상이므로, 시각의 차이로 인한, 영상 차이가 생길 수 있다. 예를 들어, 좌안 영상에서는 피사체의 에지 부분과 배경이 겹치게 나오고, 우안 영상에서는 약간 떨어진 경우 등이 있을 수 있다. 따라서, 피사체를 기준으로 일정 범위 내의 픽셀 값을 가지는 픽셀들에 대해서는 가중치를 높이고, 범위를 벗어난 픽셀값을 가지는 픽셀에 대해서는 가중치를 낮추어 준 적응적 가중치를 적용할 수 있다. 이에 따라 좌안 영상 및 우안 영상 각각에 대하여 적응적 가중치를 적용한 후에, 그 결과를 비교하여 매칭 여부를 결정할 수 있다. 이와 같이 적응적 가중치를 이용하게 되면, 올바른 대응점임에도 불구하고 낮은 상관 관계를 가지는 것으로 판정되는 것을 방지할 수 있게 되므로 매칭의 정확도가 향상될 수 있다.

한편, 도면에는 도시되지 않았지만, 다시점 영상 처리 장치(100)에는 뎁스 맵 생성을 위한 연산 부담을 줄이기 위한 다운 스케일러부(미도시)가 더 포함될 수 있다. 즉, 다운 스케일러부(미도시)는 영상 수신부(미도시)를 통해 수신된 영상을 다운 스케일링하여 뎁스 추출부(110)에 제공함으로써, 연산 부담을 경감시킬 수 있게 된다.

다만, 영상과 함께 뎁스 정보가 입력되는 경우 뎁스 추출부(110)에서 수행되는 기능이 생략될 수도 있다.

뎁스 보정부(120)는 3D 영상에 포함된 OSD 영역에 대응되는 OSD 마스크 정보 및 뎁스 추출부(100)에서 추출된 뎁스 정보에 기초하여 OSD 영역의 뎁스를 보정한다.

구체적으로, 뎁스 보정부(120)는 뎁스 추출부(110)에서 생성된 뎁스 맵에서 OSD 영역의 뎁스 값을 보정할 수 있다. 이 경우, OSD 영역은 OSD 마스크 정보를 통해 식별될 수 있다. 예를 들어, OSD 마스크는 OSD 영역에 대응되는 픽셀 영역에 대해서는 "1"의 값을 갖고, 나머지 픽셀 영역에 대해서는 "0"의 값을 갖는 형태가 될 수 있으나, 이에 한정되는 것은 아니다.

뎁스 보정부(120)는 추출된 뎁스 및 OSD 마스크 정보에 기초하여 뎁스 맵에서 OSD 영역의 뎁스 값을 제1 뎁스 값으로 보정할 수 있다. 즉, OSD 영역 내에 포함된 각각의 객체에 대한 깊이감이 서로 달라지지 않게 표현되도록 균일한 뎁스 값을 부여할 수 있다.

일 예로, 뎁스 보정부(120)는 뎁스 추출부(110)에서 추출된 OSD 영역의 뎁스 값들 중 가장 큰 값, 가장 작은 값, 중간 값, OSD 영역의 중앙에서의 뎁스 값 또는 경계에서의 뎁스 값, 사용자에 의해 입력된 값, 디폴트로 지정된 값(예를 들어 0) 중 하나를 제1 뎁스 값으로 설정할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 제1 뎁스 값이 0으로 설정되는 경우 OSD 영역은 깊이감이 느껴지지 않는 포컬 플레인에 배치될 수 있다.

다른 예로, 뎁스 보정부(120)는 주변 영역의 뎁스 값을 고려하여 제1 뎁스 값을 설정할 수도 있다. 즉, OSD 영역이 주변 배경 영상과 이질적이지 않고 불연속적으로 표현되지 않도록 주면 배경 영상의 뎁스 값과 유사한 값으로 뎁스를 설정할 수 있다. 즉, OSD 영역의 뎁스 값들 중 배경 영상의 뎁스 값과 가장 유사한 값으로 OSD 영역의 뎁스를 설정하는 것도 가능하다.

또는, 뎁스 보정부(120)는 추출된 뎁스 및 OSD 마스크 정보에 기초하여 뎁스 맵에서 OSD 영역을 제외한 나머지 영역의 뎁스 값을 제2 뎁스 값으로 보정할 수 있다.

일 예로, 뎁스 보정부(120)는 뎁스 추출부(110)에서 추출된 OSD 영역을 제외한 나머지 영역의 뎁스 값들 중 가장 큰 값, 가장 작은 값, 중간 값, 배경 영상에 포함된 객체들 중 가장 높은 뎁스 값 또는 평균값, 디폴트로 지정된 값(예를 들어 0) 중 하나를 제2 뎁스 값으로 설정할 수 있으나, 이에 한정되는 것은 아니다.

다른 예로, 뎁스 보정부(120)는 OSD 영역의 뎁스 값을 고려하여 제2 뎁스 값을 설정할 수도 있다. 예를 들어, 뎁스 보정부(120)는 제2 뎁스 값을 OSD 영역에 대해 설정된 뎁스 값보다 큰 뎁스 값으로 설정할 수 있다.

또는, 뎁스 보정부(120)는 뎁스 맵에서 OSD 영역을 포함한 전체 영역의 뎁스 값을 0으로 보정할 수도 있다. 즉, 3D 영상에 OSD 영역이 존재하는 경우 OSD 영역 및 나머지 영역에 2D 영상과 동일한 뎁스를 부여하여 크로스토크 현상을 감소시킬 수 있다.

또한, 뎁스 보정부(120)는 하나의 프레임 내에 OSD 영역이 복수 개인 경우에는 복수의 OSD 영역 각각에 상이한 뎁스 값을 설정하거나, 동일한 뎁스 값을 설정할 수 있다.

한편, 뎁스 보정부(120)는 뎁스가 보정된 OSD 영역에 대해 플리커를 감소시키기 위하여 뎁스 템포럴 스무딩(depth temporal smoothing) 처리를 수행할 수 있다. 즉, 뎁스 보정부(120)는 뎁스 값이 보정된 OSD 영역 내부에서 일정하지 않은 뎁스 값을 스무딩 처리하여 뎁스 변동에 의한 텍스트 플리커를 제거하거나, 보정된 뎁스 값과 배경 영상의 뎁스 값 차이로 인한 OSD 영역의 경계에서 왜곡을 해소하기 위하여 스무딩 처리를 수행할 수 있다.

구체적으로, 뎁스 보정부(120)는 뎁스 값이 보정된 OSD 영역에 대하여 미디언 필터(median filter), 가중 평균 필터(weighted average filter), 맥시멈 필터(maximum filter) 등과 같은 스무딩 필터를 적용하여 스무딩 처리를 수행할 수 있다.

렌더링부(130)는 뎁스 보정부(120)에서 뎁스가 보정된 3D 영상(또는 멀티 뷰 영상), 또는 2D 영상을 이용하여 다시점 영상을 렌더링할 수 있다. 구체적으로, 렌더링부(130)는 입력된3D 영상 또는 2D 영상 및, 영상과 별개로 입력된 뎁스 정보에 기초하여 다시점 영상을 렌더링하거나, 입력된 3D 영상 및 해당 3D 영상으로부터 추출된 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다. 여기서, 뎁스 정보는 뎁스 보정부(120)에서 뎁스가 보정된 정보가 될 수 있다.

일 예로, 렌더링부(130)는 3D 영상, 즉 좌안 영상 및 우안 영상 중 하나를 기준 뷰(또는 센터 뷰)로 선택하여 다시점 영상의 기초가 되는 최좌측 뷰 및 최우측 뷰를 생성할 수 있다. 이 경우, 렌더링부(130)는 기준 뷰로 선택된 좌안 영상 및 우안 영상 중 하나에 대응되는 보정된 뎁스 정보를 기초로 최좌측 뷰 및 최우측 뷰를 생성할 수 있다.

렌더링부(130)는 최좌측 뷰 및 최우측 뷰가 생성되면, 센터 뷰와 최좌측 뷰 사이에서 복수개의 보간 뷰를 생성하고, 센터 뷰와 최우측 뷰 사이에서 복수 개의 보간 뷰를 생성함으로써 다시점 영상을 렌더링할 수 있다. 다만, 이에 한정되는 것은 아니며, 보외 기법에 의해 생성되는 보외 뷰(Extrapolation View)를 생성하는 것도 가능하다. 한편, 2D 영상 및 뎁스 정보를 기초로 다시점 영상을 렌더링하는 경우 2D 영상을 센터 뷰로 선택할 수 있음을 물론이다.

한편, 렌더링부(130)는 다시점 영상을 렌더링하기 전에 최좌측 뷰 및 최우측 뷰들에 존재하는 홀 필링 작업을 수행하여 최좌측 뷰 및 최우측 뷰를 보상할 수 있다.

또한, 렌더링부(130)는 센터 뷰, 최좌측 뷰 및 최우측 뷰를 기초로 생성된 다시점 영상 각각에 대한 홀 영역에 대해서는 최좌측 뷰 및 최우측 뷰 중 하나에 대응되는 픽셀 영역의 값을 카피하여 홀 영역을 인페인팅(inpainting)할 수 있다. 이 경우 배경에서 가까운 부분부터 홀 필링을 수행할 수 있다. 예를 들어, 총 35 개의 다시점 영상을 렌더링하는 경우 17번째에 위치하는 센터뷰 및 최우측 뷰인 35 번째 뷰 사이에 존재하는 18 내지 34 번째 뷰에 대해서는 최우측 뷰인 35 번째 뷰에 대응되는 픽셀 영역의 값을 홀 영역을 필링할 수 있다.

다만 경우에 따라서는 입력 영상을 기초로 각 다시점 영상 각각에 대한 홀 필링을 수행하는 것도 가능하다.

한편, 상술한 실시 예에서는 좌안 영상 및 우안 영상을 기초로 OSD 영역의 뎁스를 보정하는 것으로 설명하였지만, 이는 일 실시 예에 불과하다. 본 발명의 다른 실시 예에 따르면, 2D 영상에 대해 OSD 영역을 검출한 후, OSD 영역에 대한 뎁스 값을 균일하게 할당한 후 좌안 및 우안 영상을 생성하는 것도 가능하다.

도 2b는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.

도 2b에 따르면 다시점 영상 디스플레이 장치(200)는 뎁스 추출부(110), 뎁스 보정부(120), 렌더링부(130), 디스플레이부(140), 사용자 인터페이스부(150) 및 제어부(160)를 포함한다. 도 2b에 도시된 구성 중 뎁스 추출부(110), 뎁스 보정부(120) 및 렌더링부(130)의 구성은 도 2a에 도시된 구성과 동일하므로 자세한 설명은 생략하도록 한다.

도 2b의 디스플레이 장치(200)는 TV, 모니터, PC, 키오스크, 태블릿 PC, 전자 액자, 키오스크, 휴대폰 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다.

디스플레이부(140)는, 멀티 뷰(또는 멀티 광학 뷰)를 제공하는 기능을 한다. 이를 위해, 디스플레이부(140)는 멀티 뷰 제공을 위한 디스플레이 패널(141) 및 시역 분리부(142)를 포함한다.

디스플레이 패널(141)은 복수의 서브 픽셀로 구성된 복수의 픽셀을 포함한다. 여기에서, 서브 픽셀은 R(Red), G(Green), B(Blue)로 구성될 수 있다. 즉, R, G, B의 서브 픽셀로 구성된 픽셀이 복수의 행 및 열 방향으로 배열되어 디스플레이 패널(141)을 구성할 수 있다. 이 경우, 디스플레이 패널(141)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.

디스플레이 패널(141)은 영상 프레임을 디스플레이한다. 구체적으로, 디스플레이 패널(141)은 서로 다른 시점의 복수의 이미지가 순차적으로 반복 배치된 영상 프레임을 디스플레이할 수 있다.

특히, 디스플레이 패널(141)은 복수의 OSD 영역을 포함하는 영상 프레임을 디스플레이할 수 있다. 여기서, 복수의 OSD 영역이란 OSD 창을 복수 개라는 의미와 동일하다.

한편, 도 2b에 도시하지 않았지만, 디스플레이 패널(141)이 LCD 패널로 구현되는 경우, 디스플레이 장치(200)는 디스플레이 패널(141)에 백라이트를 공급하는 백라이트부(미도시) 및 영상 프레임을 구성하는 각 픽셀들의 픽셀 값에 따라 디스플레이 패널(141)의 픽셀들을 구동하는 패널 구동부(미도시)를 더 구비할 수 있다. 이에 따라, 백라이트부(미도시)에서 발생한 광이 디스플레이 패널(141)의 각 픽셀로 입사되면, 디스플레이 패널(141)은 영상 신호에 따라 각 픽셀로 입사된 광에 대한 투과율을 조절하여 영상 프레임을 디스플레이한다. 구체적으로는, 디스플레이 패널(141)은 액정층 및 그 액정층의 양 표면에 형성된 두 개의 전극을 포함한다. 두 전극에 전압이 인가되면, 전기장이 생성되어 두 전극 사이의 액정 층의 분자를 움직여서 광의 투과율이 조정된다.

시역 분리부(142)는 디스플레이 패널(141)의 전면에 배치되어 시청 영역 별로 상이한 시점 즉, 멀티 뷰를 제공할 수 있다. 이 경우, 시역 분리부(142)는 렌티큘러 렌즈(Lenticular lens) 또는, 패러랙스 배리어(Parallax Barrier)로 구현될 수 있다.

예를 들어, 시역 분리부(142)는 복수의 렌즈 영역을 포함하는 렌티큘러 렌즈로 구현될 수 있다. 이에 따라, 렌티큘러 렌즈는 복수의 렌즈 영역을 통해 디스플레이 패널(141)에서 디스플레이되는 영상을 굴절시킬 수 있다. 각 렌즈 영역은 적어도 하나의 픽셀에 대응되는 크기로 형성되어, 각 픽셀을 투과하는 광을 시청 영역별로 상이하게 분산시킬 수 있다.

다른 예로, 시역 분리부(142)는 패러랙스 배리어로 구현될 수 있다. 패러랙스 배리어는 복수의 배리어 영역을 포함하는 투명 슬릿 어레이로 구현된다. 이에 따라, 배리어 영역 간의 슬릿(slit)을 통해 광을 차단하여 시청 영역별로 상이한 시점의 영상이 출사되도록 할 수 있다.

한편, 시역 분리부(142)는 화질 개선을 위하여 일정한 각도로 기울어져서 동작할 수 있다. 제어부(160)는 복수의 시점에서 촬영한 각 영상의 영상 프레임을 시역 분리부(142)가 기울어진 각도에 기초하여 분할하고, 이들을 조합하여 영상 프레임을 생성할 수 있다. 이에 따라, 사용자는 디스플레이 패널(141)의 서브 픽셀에 수직 방향 또는 수평 방향으로 디스플레이된 영상을 시청하는 것이 아니라, 서브 픽셀에 일정한 기울기를 갖도록 디스플레이된 영상을 시청하게 된다.

도 3은 본 발명의 일 실시 예에 따른 디스플레이부(140)의 구현 예를 설명하기 위한 도면이다.

도 3에 따르면, 디스플레이부(120)는 디스플레이 패널(141), 시역 분리부(142) 및 백라이트 유닛(143)을 포함한다.

도 3에서는 시역 분리부(142)가 렌티큘러 렌즈 어레이로 구현된 경우를 예를 들어 설명하도록 한다.

도 3에 따르면, 디스플레이 패널(141)은 복수의 열(column)로 구분되는 복수의 픽셀을 포함한다. 각 열 별로 상이한 시점의 이미지가 배치된다. 도 3에 따르면, 서로 다른 시점의 복수의 이미지 1, 2, 3, 4가 순차적으로 반복 배치되는 형태를 나타낸다. 즉, 각 픽셀 열은 1, 2, 3, 4로 넘버링된 그룹으로 배열된다. 패널로 인가되는 그래픽 신호는 픽셀열 1이 첫 번째 이미지를 디스플레이하고, 픽셀열 2가 두 번째 이미지를 디스플레이하도록 배열된다.

백라이트 유닛(123)은 디스플레이 패널(141)로 광을 제공한다. 백라이트 유닛(123)으로부터 제공되는 광에 의해, 디스플레이 패널(141)에 형성되는 각 이미지 1, 2, 3, 4는 시역 분리부(142)로 투사되고, 시역 분리부(142)는 투사되는 각 이미지 1, 2, 3, 4의 광을 분산시켜 시청자 방향으로 전달한다. 즉, 시역 분리부(142)는 시청자의 위치, 즉, 시청 거리에 출구동공(exit pupils)을 생성한다. 도시된 바와 같이 렌티큘러 렌즈 어레이로 구현되었을 경우 렌티큘러 렌즈의 두께 및 직경, 패러랙스 배리어로 구현되었을 경우 슬릿의 간격 등은 각 열에 의해 생성되는 출구 동공이 65mm 미만의 평균 양안 중심 거리로 분리되도록 설계될 수 있다. 분리된 이미지 광들은 각각 시청 영역을 형성한다. 즉, 도 3에 도시된 바와 같이 제1 내지 제4 뷰가 형성되고 사용자의 좌안 및 우안이 각각 제2 뷰 및 제3 뷰에 위치하게 되는 경우, 3D 영상을 시청할 수 있게 된다.

사용자 인터페이스부(150)는 다양한 사용자 명령을 입력받는다.

특히, 사용자 인터페이스부(150)는 디스플레이된 3D 영상에 포함된 복수의 OSD 영역 중 적어도 하나의 OSD 영역을 선택하기 위한 사용자 명령을 입력받을 수 있다.

구체적으로, 복수의 OSD 영역과 함께 복수의 OSD 영역 중 적어도 하나의 OSD 영역을 선택하기 위한 커서, 하이라이트 등과 같은 GUI가 디스플레이되고, 해당 GUI의 위치를 이동시키는 사용자 명령에 따라 복수의 OSD 영역 중 적어도 하나의 OSD 영역이 선택될 수 있다.

한편, 사용자 인터페이스부(150)는 디스플레이 장치(100)의 구현 예에 따라 다양한 형태로 구현가능하다. 디스플레이 장치(100)가 디지털 TV로 구현되는 경우 사용자 인터페이스부(110)는 원격 제어 장치(200)로부터 리모콘 신호를 수신하는 리모콘 수신부, 사용자 모션을 감지하는 카메라, 사용자 음성을 수신하는 마이크 등으로 구현 가능하다.

제어부(160)는 디스플레이 장치(200)의 전반적인 동작을 제어한다.

구체적으로, 제어부(160)는 디스플레이된 영상 내의 복수의 컨텐츠 중 포커싱되는 컨텐츠에 대해서 다른 컨텐츠들과 상이한 뎁스 값을 갖도록 할 수 있다. 여기서, 뎁스 값은 포커싱된 컨텐츠가 돌출되어 보이도록 하는 + 뎁스 값 뿐 아니라, 포커싱된 컨텐츠가 침강되어 보이도록 하는 - 뎁스 값도 포함할 수 있다.

일 예로, 제어부(160)는 3D 영상에 포함된 복수의 OSD 영역 중 사용자 명령에 따라 선택된 OSD 영역의 뎁스가 나머지 OSD 영역의 뎁스와 상이하게 뎁스 보정을 수행하도록 뎁스 보정부(120)를 제어할 수 있다.

즉, 제어부(160)는 복수의 OSD 영역 중 사용자 명령에 따라 선택된 OSD 영역의 뎁스 값을 재설정하여 선택된 OSD 영역의 뎁스가 나머지 OSD 영역의 뎁스와 상이해지도록 할 수 있다. 경우에 따라서는 다른 OSD 영역들의 뎁스 값을 재설정하는 것도 가능하다.

구체적으로, 제어부(160)는 선택된 OSD 영역의 뎁스를 기설정된 제3 뎁스 값으로 보정하고, 나머지 OSD 영역의 뎁스를 0으로 보정하도록 뎁스 보정부(120)를 제어할 수 있다. 여기서, 제3 뎁스 값은 O 이 아닌 값으로 설정될 수 있으며, 제3 뎁스 값을 설정하는 방법은 상술한 제1 뎁스 값을 설정하는 방법과 동일하므로 자세한 설명은 생략하도록 한다.

또는, 제어부(160)는 선택된 OSD 영역의 뎁스를 기설정된 제3 뎁스 값으로 보정하고, 나머지 OSD 영역의 뎁스를 기설정된 제4 뎁스 값으로 보정하도록 뎁스 보정부(120)를 제어할 수 있다. 여기서, 제4 뎁스 값은 제3 뎁스 값보다 작은 값이 될 수 있다.

또한, 제어부(160)는 해당 OSD 영역의 뎁스 값을 순차적으로 변경하여 하이라이트 효과가 순차적으로 선명해지도록 제어하는 것도 가능하다. 예를 들어, 해당 OSD 영역의 뎁스 값이 -4에서 0으로 변경될 경우, 제어부(160)는 해당 OSD 영역의 뎁스 값 -3, -2, -1에서 각각 한번씩 표시함으로써, -4에서 0까지 하이라이트 효과가 점차 선명해지도록 표시되게 할 수 있다.

이에 따라 OSD 영역의 왜곡이 감소함과 동시에 사용자는 선택된 OSD 영역에 대해서만 입체감을 느낄 수 있으므로 선택된 OSD 영역에 대한 식별력이 향상될 수 있다. 또한, 포커싱 효과를 해당 컨텐츠의 좌안 영상 및 우안 영상의 시차만을 조정하여 구현할 수 있으므로 별도의 이미지 처리 과정(하이라이트, 스케일링, 텍스쳐, 원근감 효과 처리 등)을 거칠 필요 없이 포커싱 효과를 제공할 수 있게 된다.

한편, 상술한 실시 예에서는 포커싱되는 컨텐츠로 OSD 영역을 일 예로 들어 설명하였으나, 이는 설명의 편의를 위한 것이며, 컨텐츠는 메뉴 화면, 경고 문구, 시간이나 채널번호 등의 문자나 도형, 어플리케이션 등 다양한 형태가 될 수 있다. 예를 들어, 복수의 어플리케이션 각각을 나타내는 복수의 아이콘이 디스플레이된 경우, 선택된 아이콘이 침강 또는 돌출되어 보이도록 선택된 아이콘 및 나머지 아이콘 중 적어도 하나의 뎁스 값을 조정할 수 있다.

도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 OSD 마스크 정보를 설명하기 위한 도면이다.

도 4a에 도시된 바와 같이 스테레오 영상 또는 다시점 영상에 OSD 영역이 포함되어 있는 경우, 도 4b에 도시된 바와 같은 OSD 마스크를 이용하여 OSD 영역을 식별할 수 있게 된다.

여기서, OSD 마스크 정보는 OSD 영역을 포함하는 좌안 및 우안 영상과 함께 입력될 수도 있지만, 해당 정보가 없는 경우에는 OSD 정보에 기초하여 OSD 마스크 정보를 산출하는 것도 가능하다. 예를 들어, OSD 영역을 검출하고 검출된 OSD 영역에 의해 마스크를 확장하고, 필터링하여 OSD 영역에 대응되는 마스크를 생성할 수 있다.

일 예에 따르면, OSD 마스크 정보는 도 4b에 도시된 영상과 같이 OSD 영역은 1의 값으로 설정되고 나머지 영역은 0의 값으로 설정될 수 있으나 OSD 영역을 식별할 수 있는 정보으면 이에 한정되지 않고 적용가능하다.

도 5a 내지 도 5c는 본 발명의 다양한 실시 예에 따른 뎁스 보정 방법을 설명하기 위한 도면들이다. (5c 도면이 없음)

본 발명의 일 실시 예에 따르면 3D 시청 모드에서 OSD 정보(510)가 입력되는 경우, 도 5a에 도시된 바와 같이 3D 시청 모드를 유지하는 상태에서 추출된 뎁스 정보를 무시하고, 모든 뎁스 정보에 디스패리티 0을 부여하고, 뎁스가 보정된 영상을 이용하여 다시점 영상을 렌더링할 수 있다. 이에 따라 OSD 영역의 3차원 입체감을 제거됨으로써 OSD 영역의 영상 왜곡을 방지할 수 있다.

본 발명의 다른 실시 예에 따르면, 3D 시청 모드에서 OSD 정보(510)가 입력되는 경우, 도 5b에 도시된 바와 같이 3D 시청 모드를 유지하는 상태에서 OSD 마스크 정보에 의해 식별되는 OSD 영역(520)에 동일한 뎁스 값을 부여하고 즉, OSD 영역의 뎁스를 균일하게 설정하고, 뎁스가 보정된 영상을 이용하여 다시점 영상을 렌더링할 수 있다. 여기서, OSD 영역(520)에 부여되는 뎁스 값은, 0을 포함한 디폴트 값, 텍스트 영역에 대해 산출된 뎁스 값 중 최대값, 배경 영상에 포함된 객체들 중 가장 높은 뎁스 값 또는 평균값보다 소정 값만큼 큰 뎁스 값, OSD 영역의 중앙에서의 뎁스 값 또는 경계에서의 뎁스 값, 사용자에 의해 입력된 값 등으로 설정될 수 있으나, 이에 한정되는 것은 아니다.

이에 따라, OSD 영역에 대한 3차원 입체감을 제어함으로써 OSD 영역의 영상 왜곡을 방지할 수 있다.

본 발명의 또 다른 실시 예에 따르면, 3D 시청 모드에서 OSD 정보(510)가 입력되는 경우, 도 5c에 도시된 바와 같이 3D 시청 모드를 유지하는 상태에서 OSD 마스크 정보에 의해 식별되는 OSD 영역(520)에 동일한 뎁스 값을 부여하고 나머지 영역(530)에 대해서는 OSD 영역에 부여된 뎁스 값과 상이한 뎁스 값을 부여한 후, 뎁스가 보정된 영상을 이용하여 다시점 영상을 렌더링할 수 있다. 이에 따라 OSD 영역의 영상 왜곡을 방지함과 동시에 OSD 영역에 대한 입체 효과를 부여할 수 있다.

도 6은 본 발명의 또 다른 실시 예에 따른 뎁스 보정 방법을 설명하기 위한 도면이다.

도 6에 도시된 바와 같이 도 5a 내지 도 5c에 도시된 바와 같이 OSD 영역의 뎁스 보정 후 다시점 영상을 렌더링하는 것이 아니라, 다시점 영상 렌더링 후 렌더링된 영상에 OSD 영역을 오버레이할 수도 있다. 구체적으로, 도시된 바와 같이 각각의 다시점 영상에 임의로 정의된 시차만큼의 디스패리티를 부여하여 OSD 영역을 오버레이 시킬 수 있다. 즉, 도 6에 도시된 바와 같이 N개의 다시점 영상 위의 OSD 영역에 대하여 d 만큼씩 디스패리티를 추가적으로 부여하여 OSD 영역을 오버레이할 수 있다. 여기서, d는 임의의 실수 값을 가질 수 있다. 예를 들어, d는 배경 영상에 포함된 객체들 중 가장 높은 뎁스 값 또는 평균값, OSD 영역의 중앙에서의 뎁스 값 또는 경계에서의 뎁스 값, 사용자에 의해 입력된 값 등을 기초로 적절한 값으로 설정될 수 있다.

도 7a 및 도 7b는 본 발명의 또 다른 실시 예에 따른 뎁스 보정 방법을 설명하기 위한 도면들이다.

도 7a 및 도 7b에 도시된 바와 같이 3D 영상에 복수의 OSD 영역(711 내지 714)이 포함되어 있는 경우, 사용자에 의해 선택된 OSD 영역에 대해 다른 OSD 영역과 상이한 뎁스 값을 부여하도록 3D 영상의 뎁스를 보정할 수 있다.

예를 들어, 도 7a에 도시된 바와 같이 3D 영상에 복수의 OSD 영역이 포함되어 있는 경우, OSD 영역(711 내지 714) 중 사용자에 의해 선택된 OSD 영역(712)에는 0이 아닌 기설정된 뎁스 값을 부여하고, 나머지 OSD 영역 및 배경 영상 영역에는 뎁스 값 0을 부여하여 입체감이 느껴지지 않도록 할 수 있다.

이어서, 도 7b에 도시된 바와 같이 사용자에 의해 다른 OSD 영역(713)이 선택되면, 해당 OSD 영역(713)에는 O이 아닌 기설정된 뎁스 값을 부여하고, 나머지 OSD 영역 및 배경 영상 영역에는 뎁스 값 0을 부여하여 입체감이 느껴지지 않도록 할 수 있다.

다만, 상술한 실시 예는 일 실시 예에 불과하며, 다른 실시 예에 따르면, 선택된 OSD 영역에 대해서는 특정 뎁스 값을 부여하고, 나머지 OSD 영역 및 배경 영상 영역에 대해서는 선택된 OSD 영역에 부여된 뎁스 값보다 작은 뎁스 값을 부여하여 상대적으로 선택된 OSD 영역의 입체감이 부각되도록 할 수도 있다.

또 다른 실시 예에 따르면, 선택된 OSD 영역에 대해서는 특정 뎁스 값을 부여하여, 나머지 OSD 영역에 대해서는 선택된 OSD 영역에 부여된 뎁스 값보다 작은 뎁스 값을 부여하며, 배경 영상 영역에 대해서는 나머지 OSD 영역에 부여된 뎁스 값보다 더 작은 뎁스 값을 부여하는 것도 가능하다.

도 8a 내지 도 8c는 본 발명의 또 다른 실시 예에 따른 뎁스 보정 방법을 설명하기 위한 도면들이다.

도 8a 내지 도 8c에 도시된 바와 같이 OSD 영역이 아닌 경우에도 영상 내의 특정 컨텐츠 영역에 대해 균일한 뎁스 값을 부여하는 것도 가능하다. 여기서, 영상 내의 특정 컨텐츠 영역은 메뉴 화면, 경고 문구, 시간, 채널번호, 방송사 명칭 등의 문자나 도형, 어플리케이션, 볼륨 조정 바, 컨텐츠 재생 바 등의 그래픽 요소 등을 포함하는 영역이 될 수 있다. 즉, 영상 내에 오버레이되어 표시되는 특정 컨텐츠를 포함하는 영역에 대하여 균일한 뎁스 값을 부여할 수 있다.

일 예로, 도 8a에 도시된 바와 같이 채널 번호가 표시되는 영역(810)에 기설정된 균일한 뎁스 값을 부여할 수 있다. 다만, 도 8a에서는 영상이 2D 형태로 디스플레이되고, 채널 번호가 표시되는 영역(810)이 기설정된 뎁스 값을 갖는 3D 형태로 디스플레이되는 것으로 설명하였지만 이는 설명의 편의를 위한 것이다. 실질적으로는, 3D 영상 위에 채널 번호가 표시되는 경우, 채널 번호를 표시하는 영역에 균일한 뎁스 값(예를 들어, 뎁스 값 0)을 부여하여 해당 영역에서 왜곡이 생기지 않도록 할 수 있다.

다른 예로, 도 8b에 도시된 바와 같이 볼륨 조정 바가 표시되는 영역(820)에 기설정된 균일한 뎁스 값을 부여할 수 있다. 도 8b의 경우에도 도 8a와 동일한 예가 적용될 수 있으므로 자세한 설명은 생략하도록 한다.

또 다른 예로, 도 8c에 도시된 바와 같이 복수의 어플리케이션 각각을 나타내는 아이콘이 디스플레이된 경우, 사용자 명령에 따라 선택된 아이콘(830)이 기설정된 뎁스 값을 갖는 형태로 디스플레이될 수 있다. 예를 들어, 배경 화면 및 선택된 아이콘(830)을 제외한 나머지 아이콘은 뎁스 값 0 또는 기설정된 값 이하의 뎁스 값을 부여하고, 선택된 아이콘(830)에 대해서는 기설정된 값 이상의 뎁스 값을 부여하여 선택된 아이콘(830)이 다른 아이콘과 식별되도록 할 수 있다.

한편, 도 8a 내지 도 8c는 설명의 편의를 위하여 일 예를 든 것이며, 본 발명은 화면에 디스플레이되는 영상 내에 포함되는 컨텐츠 특히, 영상에 오버레이되어 디스플레이되는 컨텐츠라면, 한정되지 않고 적용될 수 있음은 물론이다.

도 9는 본 발명의 일 실시 예에 따른 다시점 영상 처리 장치의 제어 방법을 설명하기 위한 흐름도이다.

도 9에 도시된 다시점 영상 처리 장치의 제어 방법에 따르면, 우선 입력된 3D 영상의 뎁스 정보를 추출한다(S910).

이어서, 3D 영상에 포함된 OSD(On Screen Dispaly) 영역에 대응되는 OSD 마스크 정보 및 추출된 뎁스 정보에 기초하여 OSD 영역의 뎁스를 보정한다(S920).

이후, 뎁스가 보정된 3D 영상을 이용하여 다시점 영상을 렌더링한다(S930).

구체적으로, 뎁스 정보를 추출하는 S910 단계에서는, 추출된 뎁스 정보에 기초하여 뎁스 맵(depth map)을 생성하며, 뎁스를 보정하는 S920 단계에서는, 뎁스 맵에서 OSD 영역의 뎁스 값을 보정할 수 있다.

또한, 뎁스를 보정하는 S920 단계에서는, 뎁스 맵에서 OSD 영역의 뎁스 값을 제1 뎁스 값으로 보정할 수 있다.

또한, 뎁스를 보정하는 S920 단계에서는, 뎁스 맵에서 OSD 영역을 제외한 나머지 영역의 뎁스 값을 제2 뎁스 값으로 보정할 수 있다.

또한, 뎁스를 보정하는 S920 단계에서는, 뎁스 맵에서 OSD 영역을 포함한 전체 영역의 뎁스 값을 0으로 보정할 수 있다.

또한, 복수의 OSD 영역을 포함하는 3D 영상을 디스플레이하는 단계, 복수의 OSD 영역 중 적어도 하나를 선택하기 위한 사용자 명령을 입력받는 단계 및 사용자 명령에 따라 선택된 OSD 영역의 뎁스가 나머지 OSD 영역의 뎁스와 상이하게 뎁스 보정을 수행하는 단계를 더 포함할 수 있다.

이 경우, 뎁스 보정을 수행하는 단계에서는, 선택된 OSD 영역의 뎁스를 기설정된 제3 뎁스 값으로 보정하고, 나머지 OSD 영역의 뎁스를 0으로 보정할 수 있다.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 3D 영상에 포함된 OSD 영역에서의 영상 왜곡을 방지할 수 있는 무안경식 3D 시스템을 제공할 수 있게 된다.또한, 본 발명에 따르면, 무안경식 3D 시스템에서 부분 3D 기능을 구현할 수 있게 된다.

상술한 다양한 실시 예에 따른 다시점 영상 처리 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.

일 예로, 입력된 3D 영상의 뎁스 정보를 추출하는 단계, 3D 영상에 포함된 OSD(On Screen Dispaly) 영역에 대응되는 OSD 마스크 정보 및 추출된 뎁스 정보에 기초하여 OSD 영역의 뎁스를 보정하는 단계 및, 뎁스가 보정된 3D 영상을 이용하여 다시점 영상을 렌더링하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 다시점 영상 처리 장치
110 : 뎁스 추출부 120 : 뎁스 보정부
130 : 렌더링부

Claims

입력된 3D 영상의 뎁스 정보를 추출하는 뎁스 추출부;
상기 3D 영상에 포함된 OSD(On Screen Dispaly) 영역에 대응되는 OSD 마스크 정보 및 상기 추출된 뎁스 정보에 기초하여 상기 OSD 영역의 뎁스를 보정하는 뎁스 보정부; 및
상기 뎁스가 보정된 3D 영상을 이용하여 다시점 영상을 렌더링하는 렌더링부;를 포함하는 다시점 영상 처리 장치.
제1항에 있어서,
상기 뎁스 추출부는,
상기 추출된 뎁스 정보에 기초하여 뎁스 맵(depth map)을 생성하며,
상기 뎁스 보정부는,
상기 뎁스 맵에서 상기 OSD 영역의 뎁스 값을 보정하는 것을 특징으로 하는 다시점 영상 처리 장치.
제2항에 있어서,
상기 뎁스 보정부는,
상기 뎁스 맵에서 상기 OSD 영역의 뎁스 값을 제1 뎁스 값으로 보정하는 것을 특징으로 하는 다시점 영상 처리 장치.
제3항에 있어서,
상기 뎁스 보정부는,
상기 뎁스 맵에서 상기 OSD 영역을 제외한 나머지 영역의 뎁스 값을 제2 뎁스 값으로 보정하는 것을 특징으로 하는 다시점 영상 처리 장치.
제2항에 있어서,
상기 뎁스 보정부는,
상기 뎁스 맵에서 상기 OSD 영역을 포함한 전체 영역의 뎁스 값을 0으로 보정하는 것을 특징으로 하는 다시점 영상 처리 장치.
제1항에 있어서,
복수의 OSD 영역을 포함하는 3D 영상을 디스플레이하는 디스플레이부;
사용자 명령을 입력받는 사용자 인터페이스부; 및
상기 3D 영상에 포함된 복수의 OSD 영역 중 상기 사용자 명령에 따라 선택된 OSD 영역의 뎁스가 나머지 OSD 영역의 뎁스와 상이하게 뎁스 보정을 수행하도록 상기 뎁스 보정부를 제어하는 제어부;를 더 포함하는 것을 특징으로 하는 다시점 영상 처리 장치.
제6항에 있어서,
상기 제어부는,
상기 선택된 OSD 영역의 뎁스를 기설정된 제3 뎁스 값으로 보정하고, 나머지 OSD 영역의 뎁스를 0으로 보정하도록 상기 뎁스 보정부를 제어하는 것을 특징으로 하는 다시점 영상 처리 장치.
입력된 3D 영상의 뎁스 정보를 추출하는 단계;
상기 3D 영상에 포함된 OSD(On Screen Dispaly) 영역에 대응되는 OSD 마스크 정보 및 상기 추출된 뎁스 정보에 기초하여 상기 OSD 영역의 뎁스를 보정하는 단계; 및
상기 뎁스가 보정된 3D 영상을 이용하여 다시점 영상을 렌더링하는 단계;를 포함하는 다시점 영상 처리 방법.
제8항에 있어서,
상기 뎁스 정보를 추출하는 단계는,
상기 추출된 뎁스 정보에 기초하여 뎁스 맵(depth map)을 생성하며,
상기 뎁스를 보정하는 단계는,
상기 뎁스 맵에서 상기 OSD 영역의 뎁스 값을 보정하는 것을 특징으로 하는 다시점 영상 처리 방법.
제9항에 있어서,
상기 뎁스를 보정하는 단계는,
상기 뎁스 맵에서 상기 OSD 영역의 뎁스 값을 제1 뎁스 값으로 보정하는 것을 특징으로 하는 다시점 영상 처리 방법.
제10항에 있어서,
상기 뎁스를 보정하는 단계는,
상기 뎁스 맵에서 상기 OSD 영역을 제외한 나머지 영역의 뎁스 값을 제2 뎁스 값으로 보정하는 것을 특징으로 하는 다시점 영상 처리 방법.
제9항에 있어서,
상기 뎁스를 보정하는 단계는,
상기 뎁스 맵에서 상기 OSD 영역을 포함한 전체 영역의 뎁스 값을 0으로 보정하는 것을 특징으로 하는 다시점 영상 처리 방법.
제8항에 있어서,
복수의 OSD 영역을 포함하는 3D 영상을 디스플레이하는 단계;
상기 복수의 OSD 영역 중 적어도 하나를 선택하기 위한 사용자 명령을 입력받는 단계; 및
상기 사용자 명령에 따라 선택된 OSD 영역의 뎁스가 나머지 OSD 영역의 뎁스와 상이하게 뎁스 보정을 수행하는 단계;를 더 포함한 것을 특징으로 하는 다시점 영상 처리 방법.
제13항에 있어서,
상기 뎁스 보정을 수행하는 단계는,
상기 선택된 OSD 영역의 뎁스를 기설정된 제3 뎁스 값으로 보정하고, 나머지 OSD 영역의 뎁스를 0으로 보정하는 것을 특징으로 하는 다시점 영상 처리 방법.