KR20120114145A

KR20120114145A - 화상 표시 장치, 화상 표시 시스템 및 화상 표시 방법

Info

Publication number: KR20120114145A
Application number: KR1020117022681A
Authority: KR
Inventors: 유지 쯔찌다
Original assignee: 소니 주식회사
Priority date: 2010-02-05
Filing date: 2011-01-20
Publication date: 2012-10-16
Also published as: BRPI1106086A2; WO2011096280A1; CN102483909A; EP2463853A1; JP2011164202A; RU2011139582A; US20120287252A1

Abstract

단안 입체시의 원리에 의해 2차원 화상을 3차원 화상으로 변환하기 위한 파라미터에 기초하여, 2차원 화상의 입력 화상에 마스크를 부가하는 마스크 부가부(102)와, 마스크 부가부(102)에 의해 마스크가 부가된 입력 화상을, 단안 입체시의 원리에 의한 우안용 화상 및 좌안용 화상으로 변환하는 2D-3D 변환부(108)와, 우안용 화상 및 좌안용 화상을 표시하는 표시부(110)를 구비한다.

Description

화상 표시 장치, 화상 표시 시스템 및 화상 표시 방법{IMAGE DISPLAY DEVICE, IMAGE DISPLAY SYSTEM, AND IMAGE DISPLAY METHOD}

본 발명은, 화상 표시 장치, 화상 표시 시스템 및 화상 표시 방법에 관한 것이다.

종래부터, 좌우의 눈에 동일한 영상을 표시하는, 소위 단안(單眼) 입체시의 원리를 이용한 광학적 장치로서 시놉터(synopter)라고 불리는 입체경이 알려져 있다. 시놉터는, 하프 미러를 조합함으로써, 동일 위치에서 받은 광을 양안에 나누어 공급하는 것이다. 이 시놉터에 의하면, 양안의 망막상이 동일해져, 비입체 화상에 대하여 입체적인 깊이를 부여할 수 있는 것이 알려져 있다(예를 들어, 비특허문헌 1 참조).

Jan J Koenderink 외 저술, 「On so-called paradoxical monocular stereoscopy」, Perception, Pion Publication(영국), 1994년, 제23권, p.583-594

그러나, 시놉터의 원리를 이용하여, 오리지널의 2D 화상으로부터 우안용 화상과 좌안용 화상을 생성하여 디스플레이에 표시하는 경우, 디스플레이의 표시 영역은 물리적으로 한정되어 있다. 이로 인해, 각각의 화상에 있어서 단부의 화상이 결손되거나, 혹은 단부에 화상이 존재하지 않는 무효 영역이 발생해 버리는 문제가 발생한다.

이러한 결손 영역 또는 무효 영역은, 우안용 화상과 좌안용 화상 한쪽에 발생하고, 다른 쪽에는 발생하지 않는다. 이로 인해, 시청자가 단안 입체시의 원리를 이용하여 2D로부터 3D로 변환된 우안용 화상과 좌안용 화상을 모두 시인한 경우에, 소위 양안 시야 충돌(conflict)이라는 화면의 깜박거림 현상이 발생하여, 표시 품위가 저하되는 문제가 있다.

따라서, 본 발명은, 상기 문제를 감안하여 이루어진 것이며, 본 발명의 목적으로 하는 점은, 단안 입체시의 원리를 이용하여 2D로부터 3D로 변환된 화상을 표시할 때에 화면 단부에서의 결손 영역이나 무효 영역에 기인하는 표시 품위의 저하를 억제하는 것이 가능한, 신규이고 또한 개량된 화상 표시 장치, 화상 표시 시스템 및 화상 표시 방법을 제공하는 데 있다.

상기 과제를 해결하기 위해서, 본 발명의 어느 한 관점에 의하면, 단안 입체시의 원리에 의해 2차원 화상을 3차원 화상으로 변환하기 위한 파라미터에 기초하여, 2차원 화상의 입력 화상에 마스크를 부가하는 마스크 부가부와, 상기 마스크 부가부에 의해 상기 마스크가 부가된 상기 입력 화상을, 단안 입체시의 원리에 의한 우안용 화상 및 좌안용 화상으로 변환하는 변환부와, 상기 우안용 화상 및 상기 좌안용 화상을 표시하는 표시부를 구비하는, 화상 표시 장치가 제공된다.

또한, 상기 마스크의 범위를 산출하는 마스크량 산출부를 구비하고, 상기 마스크량 산출부는, 상기 마스크를 부가하지 않는 경우에 상기 우안용 화상 또는 좌안용 화상 중 한쪽에 무효 영역이 발생하는 경우, 상기 우안용 화상 또는 좌안용 화상 중 다른 쪽에 대하여 상기 무효 영역에 대응하는 영역이 시인되지 않는 범위를 상기 마스크의 범위로서 산출하는 것이어도 좋다.

또한, 상기 마스크의 범위를 산출하는 마스크량 산출부를 구비하고, 상기 마스크량 산출부는, 상기 마스크를 부가하지 않는 경우에 상기 우안용 화상 또는 좌안용 화상 중 한쪽에 결손 영역이 발생하는 경우, 상기 우안용 화상 또는 좌안용 화상 중 다른 쪽에 대하여 상기 결손 영역에 대응하는 영역이 시인되지 않는 범위를 상기 마스크의 범위로서 산출하는 것이어도 좋다.

또한, 상기 변환부는, 평행 이동 방식에 의한 변환을 행하는 것이어도 좋다.

또한, 상기 변환부는, 틸트 시프트(tilt-shift) 평면 부착 방식에 의한 변환을 행하는 것이어도 좋다.

또한, 상기 과제를 해결하기 위해서, 본 발명의 다른 관점에 의하면, 단안 입체시의 원리에 의해 2차원 화상을 3차원 화상으로 변환하기 위한 파라미터에 기초하여, 2차원 화상의 입력 화상에 마스크를 부가하는 마스크 부가부와, 상기 마스크 부가부에 의해 상기 마스크가 부가된 상기 입력 화상을, 단안 입체시의 원리에 의한 우안용 화상 및 좌안용 화상으로 변환하는 변환부와, 상기 우안용 화상 및 상기 좌안용 화상을 표시하는 표시부를 갖는 화상 표시 장치와, 상기 우안용과 좌안용의 셔터를 갖고, 상기 표시부에 있어서의 상기 우안용 화상 및 상기 좌안용 화상의 전환에 따라, 상기 우안용과 좌안용의 상기 셔터를 개폐하는 입체 영상 관찰 안경을 구비하는, 화상 표시 관찰 시스템이 제공된다.

또한, 상기 과제를 해결하기 위해서, 본 발명의 다른 관점에 의하면, 단안 입체시의 원리에 의해 2차원 화상을 3차원 화상으로 변환하기 위한 파라미터에 기초하여, 2차원 화상의 입력 화상에 마스크를 부가하는 스텝과, 상기 마스크 부가부에 의해 상기 마스크가 부가된 상기 입력 화상을, 단안 입체시의 원리에 의한 우안용 화상 및 좌안용 화상으로 변환하는 스텝과, 상기 우안용 화상 및 상기 좌안용 화상을 표시하는 스텝을 구비하는, 화상 표시 방법이 제공된다.

본 발명에 따르면, 단안 입체시의 원리를 이용하여 2D로부터 3D로 변환된 화상을 표시할 때에 화면 단부에서의 결손 영역이나 무효 영역에 기인하는 표시 품위의 저하를 억제하는 것이 가능하게 된다.

도 1은 단안 입체시의 원리를 이용한 평행 이동 방식에 의한 화상 제시 방법을 도시하는 모식도이다.
도 2는 단안 입체시의 원리를 이용한 틸트 시프트 평면 부착 방식에 의한 화상 제시 방법을 도시하는 모식도이다.
도 3은 평행 이동 방식의 경우에, 우안용 화상(R) 또는 좌안용 화상(L)의 단부에 결손이 발생하는 모습을 도시하는 모식도이다.
도 4는 틸트 시프트 평면 부착 방식의 경우에, 우안용 화상(R) 또는 좌안용 화상(L)의 단부에 결손이 발생하는 모습을 도시하는 모식도이다.
도 5는 틸트 시프트 평면 부착 방식에 있어서, 오리지널인 2D 화상과, 사영을 위한 좌표 변환에 의해 얻어진 우안용 화상(R), 좌안용 화상(L)의 관계를 도시하는 모식도이다.
도 6은 본 발명의 일 실시 형태에 의한 마스크 처리의 일례를 도시하는 모식도이다.
도 7은 본 실시 형태에 관한 화상 표시 장치의 구성을 도시하는 블록도이다.
도 8은 본 발명의 일 실시 형태에 관한 입체 화상 표시 관찰 시스템의 구성을 도시하는 모식도이다.

이하에 첨부 도면을 참조하면서, 본 발명이 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복되는 설명을 생략한다.

또한, 설명은 이하의 순서로 행하는 것으로 한다.

1. 전제가 되는 기술

2. 본 실시 형태에 관한 마스크 처리의 개략

3. 본 실시 형태에 관한 화상 표시 장치의 구성예

4. 2D-3D 변환부에 있어서의 2D-3D 변환의 예

5. 입체 화상 표시 관찰 시스템의 구성예

[1. 전제가 되는 기술]

2D 화상을 3D 화상으로 변환하는 방법으로서 다양한 것이 존재한다. 가장 일반적인 방법은, 2D 입력 화상에 포함되는 오브젝트의 깊이 정보(소위 딥스 맵)를 어느 한 방법에 의해 얻어, 2D 입력 화상의 오브젝트마다, 혹은 영역마다 깊이 정보로 생성한 시차를 부가해 가는 방법이다.

이러한 방법과는 달리, 딥스 맵 등을 사용하지 않고, 2D 화상을 변형 처리함으로써, 시청자에게 입체감을 느끼게 하는 방법이 존재한다. 예를 들어, 시놉터의 원리를 응용하여, 좌우의 눈의 망막에 동일한 영상이 비치도록, 화상을 좌우 각각의 눈의 방향으로 기울여 표시면으로 사영 변환하는 방법(틸트 시프트 평면 부착 방식) 등이 있다. 또한, 단순하게 2D 화상 전체, 혹은 라인마다 일률적인 시차를 두고, 화상을 표시 화면보다 안측이나 전방으로 이동시키면서, 깊이의 구배를 주는 방법 등도 존재한다.

깊이 정보를 사용하는 전자의 방법은, 오브젝트마다 다른 시차를 생성함으로써, 「양안 입체」의 실현을 목표로 하고 있다. 이에 대해, 시놉터의 원리를 사용하는 후자의 방법은, 2D 화상의 시청 상태로부터 「표시면에 표시되어 있다」라는 정보를 유저로부터 제거함으로써, 시청자의 「단안 입체」 능력을 빼내고자 하는 방식이다.

도 1 및 도 2는, 후자의 「단안 입체」의 방식에 의한 화상 제시 방법을 도시하는 모식도이다. 이 중, 도 1은, 평행 이동 방식이라는 방식이며, 동일한 화상이 좌우로 평행 이동하여 배치되고, 이 평행 이동량은 유저의 양안의 거리로 된다. 그리고, 유저의 우안에는 우측으로 평행 이동된 우안용 화상(R)만이 시인되고, 좌안에는 좌측으로 평행 이동된 좌안용 화상(L)만이 시인된다. 여기서, 유저의 우안은 우안용 화상(R)의 중심을 통과하여 화면에 수직인 선 상에 위치하고, 좌안은 좌안용 화상(L)의 중심을 통과하여 화면에 수직인 선 상에 위치한다.

또한, 도 2는, 상술한 틸트 시프트 평면 부착 방식이라고 불리는 것으로, 우안용 영상(R)과 좌안용 영상(L)은 그 중심이 1점 O에 위치하도록 배치된다. 그리고, 유저의 우안 및 좌안이 점 O을 향한 상태에서, 유저의 우안에 우안용 화상(R)만이 시인되고, 좌안에는 좌안용 화상(L)만이 시인되도록 표시를 행한다. 우안의 위치를 ER, 좌안의 위치를 EL로 하면, 우안용 화상(R)은 직선 ER-O와 직교하는 평면 상에 표시되고, 좌안용 화상(L)은 직선 EL-O와 직교하는 평면 상에 표시된다.

도 1 및 도 2의 방법에 있어서는, 유저의 우안에 우안용 화상(R)만을 시인시키고, 좌안에 좌안용 화상(L)만을 시인시키기 때문에, 시분할에 의해 우안용 화상(R)과 좌안용 화상(L)이 교대로 표시된다. 유저는 우안과 좌안 앞에 셔터가 설치된 시분할식의 셔터 안경을 장착한다. 또한, 틸트 시프트 평면 부착 방식의 경우, 실제로는 동일한 평면의 디스플레이 상에 우안용 화상(R)과 좌안용 화상(L)을 교대로 표시하기 때문에, 틸트 시프트의 효과를 내기 위하여 소정의 좌표 변환이 행해진다. 또한, 우안용 화상과 좌안용 화상을 분리하여 우안과 좌안에 시인시키는 방식은, 셔터 안경 방식에 한정되는 것이 아니고, 화면의 전방면에 편광판을 배치하는 편광 방식 등 다른 공지의 방법을 사용할 수 있다.

그런데, 「단안 입체」의 원리를 이용한 방식으로 3D 화상을 생성한 경우, 화상 중 오브젝트마다 다른 시차는 생기지 않기 때문에, 오브젝트마다의 깊이 방향의 위치의 전후 관계는 없다. 이로 인해, 화면 상의 어느 부분에서든 오클루전이라는 한쪽 눈으로밖에 보이지 않는 부분은 발생하지 않는다. 바꾸어 말하면, 「단안 입체」의 원리를 이용하여 2D로부터 3D로 변환하는 방식에서는, 2D로부터 3D로의 변환을 실시한 후의 3D 화상을 입체시한 경우에, 반드시 좌우로 쌍을 이루는 화소가 존재하고 있다는 것이며, 이 조건이 만족되지 않으면, 보이고 있는 것에 모순이 발생하여 시청자는 위화감을 느낀다. 이 모순은, 깊이 방향의 전후 관계가 없음에도 불구하고, 한쪽 눈으로밖에 보이지 않는 화상이 존재함으로써 발생하는 것으로, 소위 양안 시야 충돌이라고 불리는 것이다.

그런데, 「단안 입체」의 원리를 이용하여 2D로부터 3D로 변환하는 방식의 처리에서는, 화상의 평행 이동, 확대 축소, 사영 변환 처리 등을 행하는 점에서, 표시 화면의 크기의 제약에 의해, 2D로부터 3D로의 변환 후의 우안용 화상(R), 좌안용 화상(L)의 화상단부의 일부를 표시 화면에 완전히 표시할 수 없게 되는 경우가 있다. 또한, 이와는 반대로, 표시 화면에 유효 화상보다 외측의 영역(무효 화상 영역)이 표시되는 경우가 있다. 이 경우, 표시 화면을 양안 입체시하면, 좌우에서 쌍을 이루는 화소가 존재하지 않는 부분이 발생하고 있기 때문에, 그 부분에서 양안 시야 충돌이 일어나, 화면의 깜박거림 등의 보기 흉함이 발생한다. 또한, 이 현상은, 2D로부터 3D로의 변환 처리 이후의 처리(예를 들어 오버스캔 처리, 마스크 처리 등)로는 해소할 수 없다.

이들 현상에 대하여 도 3 및 도 4에 기초하여 설명한다. 도 3은, 평행 이동 방식의 경우에, 우안용 화상(R) 또는 좌안용 화상(L)의 단부에 결손이 발생하는 모습을 도시하는 모식도이다. 도 3에 도시한 바와 같이, 표시 패널에 의한 실제의 표시 화면은 시청자의 양안으로부터 거리(al)의 위치에 배치되는 것으로 한다. 또한, 우안용 화상(R) 및 좌안용 화상(L)은, 좌표 변환을 생각하는 데 있어서의 편의 면에서, 표시 화면의 위치로부터 거리(cl)만큼 이격된 가상 입력 화상면의 위치에 가상적으로 입력 화상을 설정한다. 표시 화면(디스플레이면)에 표시되었을 때에 화상의 크기를 유지하기 위해, 입력 화상의 크기는, 미리 표시 화면의 화상 크기를 (al+cl)/al배로 하고 나서 배치하고 있다. 또한, 특히 평행 이동 방식의 경우에는, 틸트 시프트 평면 부착 방식과 마찬가지의 기하학적 배치로 하기 위해, 가상 입력 화상면의 위치에 가상적으로 입력 화상을 설정한다.

이때, 가상 입력 화상면에서 점(OR)을 중심으로 하여 좌우로 균등한 거리(w)에서 우안용 화상(R)을 표시시키면, 표시 화면 상의 좌측의 폭(WR2)의 범위는 우안용 화상(R)의 유효 범위를 초과하기 때문에 무효 화상이 표시되게 된다. 또한, 표시 화면의 좌우의 폭이 충분하지 않으면, 표시 화면의 우측의 폭(WR1)의 범위에서는 화상이 표시되지 않기 때문에, 우안용 화상(R)의 우측 단부의 화상이 결손되어 버린다.

좌안용 화상(L)에 있어서도 마찬가지로, 가상 입력 화상면에서 점(OL)을 중심으로 하여 좌우로 균등한 거리(w)에서 좌안용 화상(L)을 표시시키면, 표시 화면의 우측의 폭(WL1)의 범위는 좌안용 화상(L)의 유효 범위를 초과하기 때문에 무효 화상이 표시되게 된다. 또한, 표시 화면의 좌우의 폭이 충분하지 않으면, 표시 화면의 좌측의 폭(WL2)의 범위에서는 화상이 표시되지 않기 때문에, 좌안용 화상(L)의 좌측 단부의 화상이 결손되어 버린다.

이러한 상태에서 좌우의 화상을 교대로 표시하면, 우안에는 폭(WR2)의 무효 화상과 폭(WR1)의 결손이 인식되는 한편, 좌안에는 이들이 시인되지 않는다. 또한, 좌안에는 폭(WL1)의 무효 화상과 폭(WL2)의 결손이 인식되는 한편, 우안에는 이들이 시인되지 않는다. 이로 인해, 한쪽의 눈으로밖에 보이지 않는 화상이 존재하게 되어, 상술한 양안 시야 충돌이 발생해 버린다.

도 4에 도시하는 틸트 시프트 평면 부착 방식에 있어서도 마찬가지의 현상이 발생한다. 우안용 화상(R)을 표시시키면, 표시 화면 상의 좌측의 폭(WR2)의 범위는 우안용 화상(R)의 유효 범위를 초과하기 때문에 무효 화상이 표시되게 된다. 또한, 표시 화면의 우측의 폭(WR1)의 범위에서는 화상이 표시되지 않기 때문에, 우안용 화상(R)의 우측 단부의 화상이 결손되어 버린다. 좌안용 화상(L)을 표시시켰을 때는, 표시 화면의 우측의 폭(WL1)의 범위는 좌안용 화상(L)의 유효 범위를 초과하기 때문에 무효 화상이 표시되게 된다. 또한, 표시 화면의 좌측의 폭(WL2)의 범위에서는 화상이 표시되지 않기 때문에, 좌안용 화상(L)의 좌측 단부의 화상이 결손되어 버린다. 이로 인해, 틸트 시프트 평면 부착 방식에 있어서도 양안 시야 충돌이 발생하게 된다.

도 5는, 도 4에 도시하는 틸트 시프트 평면 부착 방식에 있어서, 오리지널인 2D 화상(입력 화상)과, 사영을 위한 좌표 변환에 의해 얻어진 우안용 화상(R), 좌안용 화상(L)(출력 화상)의 관계를 나타내고 있다. 또한, 도 5에서는, 우안용 화상(R)을 좌측에, 좌안용 화상(L)을 우측에 배치하고 있다. 후술하는 도 6도 마찬가지이다. 도 5에 도시한 바와 같이, 오리지널의 2D 화상에서는 화면 네 코너에 4개의 원의, 거의 전체가 그려져 있다. 이 2D 화상으로부터 우안용 화상(R) 및 좌안용 화상(L)으로 사영 변환하면, 우안용 화상(R)에 대해서는, 우측의 2개의 원이 결손되어 버려, 좌측에 검은 표시의 무효 영역이 발생한다. 한편, 좌안용 화상(L)에 대해서는, 우측에 흑색 표시의 무효 영역이 발생하여, 좌측의 2개의 원이 결손되어 버린다.

[2. 본 실시 형태에 관한 마스크 처리의 개략]

이로 인해, 본 실시 형태에서는, 상술한 「단안 입체」의 원리를 이용하여 2D로부터 3D로 화상을 변환하는 방법에 있어서, 우안용 화상(R)과 좌안용 화상(L)이 상위함으로써 발생하는 양안 시야 충돌을 억제하기 위해, 우안용 화상(R)과 좌안용 화상(L) 각각이 동일한 화상으로 되도록 마스크 처리를 실시한다.

도 6은, 본 실시 형태에 의한 마스크 처리의 일례를 도시하는 모식도이다. 도 6에 도시한 바와 같이, 본 실시 형태에서는, 도 5와 동일한 오리지널 화상에 대하여 프리마스크 처리(Premask 처리)를 실시한 후에 2D-3D 변환을 행한다. 2D-3D 변환은, 틸트 시프트 평면 방식의 경우에는, 틸트 시프트 효과의 좌표 변환을 위한 사영 처리이다. 또한, 평면 이동 방식의 경우, 우안용 화상(R)과 좌안용 화상(L)을 양안의 간격만큼 이격시키는 처리이다. 일례로서, 마스크의 범위는, 마스크된 결과 얻어지는 우안용 화상(R)과 좌안용 화상(L)이 동일한 화상으로 되는 범위로 한다. 이에 의해, 우안과 좌안에는 동일한 화상이 시인되기 때문에, 양안 시야 충돌에 의한 화상의 깜박거림을 확실하게 억제하는 것이 가능하다.

[3. 본 실시 형태에 관한 화상 표시 장치의 구성예]

도 7은, 본 실시 형태에 관한 화상 표시 장치(100)의 구성을 도시하는 블록도이다. 도 7에 도시한 바와 같이, 본 실시 형태에 관한 처리 블록은, 마스크 부가부(102), 2D-3D 변환 파라미터 산출부(104), 최적 마스크량 산출부(106), 2D-3D 변환부(108)를 구비한다. 또한, 도 7에 도시된 각 블록은, 회로(하드웨어) 또는 CPU 등의 중앙 연산 처리 장치와 이것을 기능시키기 위한 프로그램(소프트웨어)에 의해 구성할 수 있고, 이 경우에 그 프로그램은 화상 처리 장치(100)가 구비하는 메모리 또는 외부의 메모리 등의 기록 매체에 저장될 수 있다.

입력 화상의 데이터로서, 2D의 화상 데이터(I2D)가 마스크 부가부(102)에 입력된다. 또한, 입력 화상에 대하여 2D-3D 변환을 행하기 위한 조정 파라미터(CONT)가 2D-3D 변환 파라미터 산출부(104)에 입력된다. 조정 파라미터(CONT)는, 시청 거리(al), 화면 크기(dw), 디스플레이의 수평 화소수(풀 HD(Full HD) 크기의 경우 1920), 가상 입력 화면의 설정 위치(cl)(디스플레이면으로부터 호롭터면의 최대 인입량), 양안 간격(el) 등의 파라미터이다.

2D-3D 변환 파라미터 산출부(104)는, 조정 파라미터(CONT)로부터 2D-3D 변환 파라미터(PRM)를 산출하여, 최적 마스크량 산출부(106) 및 2D-3D 변환부(108)에 출력한다. 또한, 조정 파라미터(CONT), 2D-3D 변환 파라미터(PRM)는 1개의 값에 한정되는 것이 아니다. 또한, 조정 파라미터(CONT)로서 입력 화상의 정보를 조정 파라미터로서 이용하거나, 2D-3D 변환 파라미터(PRM)를 화상의 영역에 따라 변화시켜도 좋다.

최적 마스크량 산출부(106)에서는, 산출된 2D-3D 변환 파라미터(PRM)로부터, 표시면에 완전히 표시할 수 없는 부분의 폭을 산출하여, 이 영역을 마스크 가능하고, 또한 가장 작은 마스크량을 최적 마스크량(MPRM)으로서 산출한다. 이때, 마스크의 폭을 필요 최소한으로 억제함으로써, 마스크 처리에 의한 화상 정보의 결락을 최소한으로 억제하도록 한다.

통상, 마스크 후의 유효 화상 영역의 형상을 직사각형으로 하면, 최적 마스크량(MPRM)은, 화면 상·하·좌·우로 독립된 4개의 값으로 된다. 단, 마스크의 목적은 좌우에서 대응하는 화소가 없는 유효 화소를 무효 화소로 치환하는 것이기 때문에, 마스크의 형상은 직사각형에 한정되는 것이 아니다. 즉, 마스크 후의 유효 화상 영역의 형상은 직사각형에 한정되는 것이 아니라, 원형, 타원 등의 형상이어도 상관없다.

마스크 부가부(102)는, 입력 화상 I2D에 대하여, 최적 마스크량 산출부(106)로 산출된 최적 마스크량(MPRM)의 계산 결과에 기초하여, 마스크의 중첩 처리를 행한다. 마스크 부가부(102)는, 마스크를 부가된 2D 입력 화상(M2D)을 출력한다. 마스크를 부가된 2D 입력 화상은, 도 6의 중간단에 나타나는 화상에 대응한다. 마스크의 화소값은, 통상은 페디스털 레벨을 사용할 수 있지만, 다른 값을 사용해도 좋다. 단, 마스크부에서 양안 시야 충돌을 발생시키지 않기 위하여, 마스크의 화소값은 2D-3D 변환의 결과 발생하는 무효 화상 영역과 동일 레벨의 화소값으로 하는 것이 적합하다.

2D-3D 변환부(108)에서는, 마스크를 부가된 2D 입력 화상(M2D)에 대하여, 2D-3D 변환 파라미터(PRM)에 기초하여 2D-3D 변환 처리를 행하여, 좌안용 출력 신호(L3D)와 우안용 출력 신호(R3D)를 출력한다. 상술한 바와 같이, 2D-3D 변환 처리는, 틸트 시프트 평면 방식의 경우에는, 틸트 시프트 효과를 위한 사영 처리(좌표 변환)이다. 또한, 평면 이동 방식의 경우, 입력 화상면에서 우안용 화상(R)과 좌안용 화상(L)을 양안의 간격만큼 이격시키는 처리이다.

이에 의해, 마스크를 부가된 2D 입력 화상(M2D)에 대하여, 2D-3D 변환부(108)에서는, 좌표 변환을 행함으로써, 도 2에 도시한 바와 같은 우안용 화상(R) 및 좌안용 화상(L)에 대한 틸트 시프트 처리 또는 도 1에 도시된 바와 같은 우안용 화상(R) 및 좌안용 화상(L)을 시프트시키는 처리를 행하여, 좌안용 화상(L)과 우안용 화상(R)을 출력한다.

[4. 2D-3D 변환부에 있어서의 2D-3D 변환의 예]

2D-3D 변환부(108)에 있어서의 변환의 일례로서, 틸트 시프트 처리에 대하여 설명하면 이하의 수학식으로 규정되는 입력 화상과 표시 화상의 대응으로부터, 좌안용 화상(L)과 우안용 화상(R)을 출력한다. 여기서, 수학식 1은 좌안용 화상(L)의 좌표 변환식이며, 수학식 2는 우안용 화상의 좌표 변환식이다.

[수학식]

... 수학식 1

... 수학식 2

수학식 1, 수학식 2에 있어서,

y: 입력 화상면에서의 수평 화소 위치

x: 디스플레이면에서의 수평 화소 위치

al: 시청 거리(cm)

cl: 디스플레이면부터 입력 화상 기준면까지의 거리(cm)

el: 양안 간격(약 6.5cm)

width: 디스플레이의 수평 화소수(Full HD의 경우 1920)

dw: 디스플레이 폭(cm)

scale: 종횡비 조정용 스케일링 배율

이다.

수학식 1에 의하면, 도 4에 도시한 바와 같이 우안용 화상(R)과 좌안용 화상(L) 각각에 대해서, 입력의 수평 화소 위치(y)와 디스플레이면의 수평 화소 위치(x)의 관계가 얻어진다. 이하에, 화면 좌우단부의 마스크량을 산출하는 구체적인 방법을 설명한다.

화면 좌측 단부의 마스크량 산출에 대해서는, 우선 좌안용 화상(L)의 변환식인 수학식 1에 있어서 x=0으로 되는 y의 값(=yLL로 한다)을 구한다(STEP1). 이어서, 우안용 화상(R)의 변환식인 수학식 2에 있어서 x=0으로 되는 y의 값(=yRL로 한다)을 구한다(STEP2). 이어서, y1=MAX(yLL, yRL)를 구한다(STEP3). 이어서, y1이 0보다 큰 값이면, 2D-3D 변환 후의 L 화상, R 화상 중 어느 하나에 있어서, 입력 화상의 좌측 단부를 디스플레이면에 완전히 표시할 수 없게(결손되게) 된다(STEP4). 따라서, 입력 화상 좌측 단부의 마스크 폭을 y=0부터 y=ROUNDUP(y1)까지의 폭의 범위로 할 수 있다. 또한, ROUNDUP으로 하고 있는 것은, y1의 값을 정수화할 때에 최종적으로 마스크 폭이 많이 산출되도록 하기 위해서이다.

또한, 화면 우측 단부의 마스크량 산출에 대해서는, 우선 좌안용 화상(L)의 변환식인 수학식 1에 있어서 x=1919로 되는 y의 값(=yLR로 한다)을 구한다(STEP1). 이어서, 우안용 화상(R)의 변환식인 수학식 2에 있어서 x=1919로 되는 y의 값(=yRR로 한다)을 구한다(STEP2). 이어서, y2=MIN(yLR, yRR)을 구한다(STEP3). 이어서, y2가 1919 미만인 값이면, 2D-3D 변환 후의 L 화상, R 화상 중 어느 하나에 있어서, 입력 화상의 우측 단부를 디스플레이면에 완전히 표시할 수 없게(결손되게) 된다(STEP4). 따라서, 입력 화상 우측 단부의 마스크 폭을 y=ROUNDDOWN(y2)부터y=1919까지의 폭의 범위로 할 수 있다. 상기와 마찬가지로, ROUNDDOWN으로 하고 있는 것은, y2의 값을 정수화할 때에 최종적으로 마스크 폭이 많게 산출되도록 하기 위해서이다. 이와 같이, 마스크량이 약간 많이 산출되도록, 좌표 변환 결과의 정수화를 행하는 것이 바람직하다.

이상과 같이, 마스크 처리에서는, 디스플레이면 상(x=0부터 x=1919)에 표시할 수 없는 부분을, 입력 화상의 화소 위치(y의 값)로서 구하고, 2D-3D 변환 전의 입력 화상의 단계에서 마스크 처리를 행한다. 또한, 예를 들어 디스플레이면 좌측 단부에서의 결손이 좌안용 처리 후의 화상에 존재하는지, 우안용 처리 후의 화상에 존재하는지는 좌표 변환 연산의 결과에 의존한다. 도 4와 같은 기하학적 배치의 경우에는, 디스플레이면 좌측 단부에서의 결손은 좌안용 처리 후의 화상에 발생하지만, 도 4보다 cl의 값이 작은 배치의 경우에는, 좌우의 파선이 교차하고 있는 위치를 경계로, 디스플레이면 좌측 단부에서의 결손은 우안용 처리 후의 화상에 발생한다.

평면 이동 방식의 경우도 마찬가지의 방법에 의해 마스크의 폭을 구할 수 있다. 평면 이동 방식의 경우에는, 입력 화상면에서 우안용 화상(R)과 좌안용 화상(L)이 양안의 간격만큼 시프트하기 때문에, 입력의 수평 화소 위치(y)와 디스플레이면의 수평 화소 위치(x)의 관계를 나타내는 변환식은, 시프트량과 도 3의 기하학적 배치에 기초하여 구할 수 있고, 이것에 기초하여 위치(y)와 위치(x)의 관계를 산출할 수 있다.

[5. 입체 화상 표시 관찰 시스템의 구성예]

도 8은, 본 발명의 일 실시 형태에 관한 입체 화상 표시 관찰 시스템의 구성을 도시하는 모식도이다. 도 8에 도시한 바와 같이, 본 실시 형태에 관한 시스템은, 상술한 화상 표시 장치(100)와, 표시 화상 감상용 안경(200)을 구비한다.

화상 표시 장치(100)는, 예를 들어 시분할식의 입체 영상 디스플레이 장치이며, 2D-3D 변환부(108)로부터 출력된 좌안용 영상(L) 및 우안용 영상(R)을 매우 짧은 주기로 표시부(110)의 화면 전체에 교대로 디스플레이한다. 또한, 화상 표시 장치(100)는, 좌안용 영상(L) 및 우안용 영상(R)의 디스플레이 주기에 동기하여 좌안 및 우안으로 영상을 분리하여 제공한다. 화상 표시 장치(100)는, 예를 들어 필드마다 우안용 시차 화상(우안용 화상(R))과 좌안용 시차 화상(좌안용 화상(L))을 교대로 표시한다. 표시 화상 감상용 안경(200)에는, 렌즈에 상당하는 부분에 한 쌍의 액정 셔터(200a, 200b)가 설치되어 있다.

화상 표시 장치(100)는, 좌안용 영상(L) 및 우안용 영상(R)의 표시의 전환에 동기하여, 적외선 신호를 송신하는 적외선 송신부를 포함하고, 감상용 안경(200)은 적외선 수신부를 포함한다. 액정 셔터(200a, 200b)는, 수신한 적외선 신호에 기초하여, 화상 표시 장치(100)의 필드마다의 화상 전환에 동기하여 교대로 개폐 동작을 행한다. 즉, 화상 표시 장치(100)에 우안용 화상(R)이 표시되는 필드에서는, 좌안용의 액정 셔터(200b)가 폐쇄 상태로 되고, 우안용의 액정 셔터가 개방 상태(200a)로 된다. 또한, 좌안용 화상(L)이 표시되는 필드에서는, 이것과 역동작을 행한다. 이와 같이, 화상 표시 장치(100)는, 좌안용 영상(L) 및 우안용 영상(R)을 매우 짧은 주기로 화면 전체에 교대로 디스플레이하는 동시에, 좌안용 영상(L) 및 우안용 영상(R)의 디스플레이 주기에 동기하여 좌안 및 우안으로 영상을 분리하여 제공한다.

이러한 동작에 의해, 감상용 안경(200)을 쓰고 화상 표시 장치(100)를 보는 유저의 우안에는 우안용 화상(R)만이, 또한 좌안에는 좌안용 화상(L)만이 입사된다. 이로 인해, 유저는, 상술한 단안 입체시의 원리를 이용하여 2D로부터 3D로 변환된 입체 영상을 인식할 수 있다.

이상 설명한 바와 같이 본 실시 형태에 따르면, 「단안 입체」를 이용한 2D-3D 변환에 있어서, 변환 처리 후에 디스플레이의 화면 크기의 제약으로 표시할 수 없게 된 영역에 기인하여 발생하는, 양안 시야 충돌을 해소하는 것이 가능하게 된다.

이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시 형태에 대하여 상세하게 설명했지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명의 속하는 기술 분야에서의 통상의 지식을 갖는 자이면, 특허 청구 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하며, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

<산업상 이용가능성>

본 발명은, 우안용 화상 및 좌안용 화상을 표시하는 화상 표시 장치, 화상 표시 시스템 및 화상 표시 방법에 널리 적용 가능하다.

100: 화상 표시 장치
102: 마스크 부가부
108: 2D-3D 변환부
110: 표시부

Claims

화상 표시 장치로서,
단안(單眼) 입체시의 원리에 의해 2차원 화상을 3차원 화상으로 변환하기 위한 파라미터에 기초하여, 2차원 화상의 입력 화상에 마스크를 부가하는 마스크 부가부와,
상기 마스크 부가부에 의해 상기 마스크가 부가된 상기 입력 화상을, 단안 입체시의 원리에 의한 우안용 화상 및 좌안용 화상으로 변환하는 변환부와,
상기 우안용 화상 및 상기 좌안용 화상을 표시하는 표시부를 구비하는, 화상 표시 장치.
제1항에 있어서,
상기 마스크의 범위를 산출하는 마스크량 산출부를 구비하고,
상기 마스크량 산출부는, 상기 마스크를 부가하지 않는 경우에 상기 우안용 화상 또는 좌안용 화상 중 한쪽에 무효 영역이 발생하는 경우, 상기 우안용 화상 또는 좌안용 화상 중 다른 쪽에 대하여 상기 무효 영역에 대응하는 영역이 시인되지 않는 범위를 상기 마스크의 범위로서 산출하는, 화상 표시 장치.
제1항에 있어서,
상기 마스크의 범위를 산출하는 마스크량 산출부를 구비하고,
상기 마스크량 산출부는, 상기 마스크를 부가하지 않는 경우에 상기 우안용 화상 또는 좌안용 화상 중 한쪽에 결손 영역이 발생하는 경우, 상기 우안용 화상 또는 좌안용 화상 중 다른 쪽에 대하여 상기 결손 영역에 대응하는 영역이 시인되지 않는 범위를 상기 마스크의 범위로서 산출하는, 화상 표시 장치.
제1항에 있어서, 상기 변환부는, 평행 이동 방식에 의한 변환을 행하는, 화상 표시 장치.
제1항에 있어서, 상기 변환부는, 틸트 시프트(tilt-shift) 평면 부착 방식에 의한 변환을 행하는, 화상 표시 장치.
화상 표시 관찰 시스템으로서,
단안 입체시의 원리에 의해 2차원 화상을 3차원 화상으로 변환하기 위한 파라미터에 기초하여, 2차원 화상의 입력 화상에 마스크를 부가하는 마스크 부가부와, 상기 마스크 부가부에 의해 상기 마스크가 부가된 상기 입력 화상을, 단안 입체시의 원리에 의한 우안용 화상 및 좌안용 화상으로 변환하는 변환부와, 상기 우안용 화상 및 상기 좌안용 화상을 표시하는 표시부를 갖는 화상 표시 장치와,
상기 우안용과 좌안용의 셔터를 갖고, 상기 표시부에서의 상기 우안용 화상 및 상기 좌안용 화상의 전환에 따라, 상기 우안용과 좌안용의 상기 셔터를 개폐하는 입체 영상 관찰 안경을 구비하는, 화상 표시 관찰 시스템.
화상 표시 방법으로서,
단안 입체시의 원리에 의해 2차원 화상을 3차원 화상으로 변환하기 위한 파라미터에 기초하여, 2차원 화상의 입력 화상에 마스크를 부가하는 스텝과,
상기 마스크 부가부에 의해 상기 마스크가 부가된 상기 입력 화상을, 단안 입체시의 원리에 의한 우안용 화상 및 좌안용 화상으로 변환하는 스텝과,
상기 우안용 화상 및 상기 좌안용 화상을 표시하는 스텝을 구비하는, 화상 표시 방법.