KR20050084950A

KR20050084950A - 입체 영상 처리 방법 및 입체 영상 표시 장치

Info

Publication number: KR20050084950A
Application number: KR1020057008015A
Authority: KR
Inventors: 겐 마시따니; 고로 하마기시
Original assignee: 산요덴키가부시키가이샤
Priority date: 2002-11-07
Filing date: 2003-11-06
Publication date: 2005-08-29
Also published as: CN1708995A; JPWO2004043079A1; US20060125916A1; WO2004043079A1; KR100785982B1; EP1581012A1

Abstract

복수의 시점 영상으로부터 각 시점 영상마다 픽셀 단위로 되는 3색의 도트를 추출하는 입체 영상 처리 방법이다. 각 시점 영상으로부터 추출한 픽셀 단위로 되는 3색의 도트의 모임을 픽셀 그룹으로 한다. 태선으로 둘러싸인 21개의 도트군이 1개의 픽셀 그룹을 구성하고 있다. 각 픽셀 그룹에 개구(1)가 대응하고, 임의의 관찰 위치로부터는, 시점 4의 좌측 위의 픽셀을 구성하는 {4 ; 11 ; R}, {4 ; 11 ; G}, {4 ; 11 ; B}의 3색의 도트가 동시에 관찰된다. 관찰 위치의 이동에 따라서, 동일한 픽셀 좌표(11)에서 {3 ; 11 ; R}, {3 ; 11 ; G}, {3 ; 11 ; B}로 되는 것과 같이 시점이 상이한 픽셀을 관찰한다. 그리고, 픽셀 그룹의 표시 피치의 종횡비가 1 대 1에 가장 가깝게 되도록 픽셀 그룹에서의 픽셀의 배치를 설정하고 있다. 이에 의해, 시점수가 많아진 경우에도 수평 방향 해상도의 저하를 완화할 수 있기 때문에, 화질 향상을 기대할 수 있다.

Description

입체 영상 처리 방법 및 입체 영상 표시 장치{THREE-DIMENSIONAL VIDEO PROCESSING METHOD AND THREE-DIMENSIONAL VIDEO DISPLAY}

본 발명은, 특수한 안경을 필요로 하지 않고 입체시(立體視)가 행해질 수 있는 입체 영상 표시 장치 및 입체 영상 처리 방법에 관한 것이다.

종래부터, 특수한 안경을 필요로 하지 않고 입체 영상 표시를 실현하는 방법으로서, 패럴랙스 배리어 방식이나 렌티큘러 렌즈 방식 등이 알려져 있는데, 이들 방식은 양안 시차를 갖는 우안용 영상과 좌안용 영상을, 예를 들면 세로 스트라이프 형상으로 화면에 교대로 표시하고, 이 표시 화상을 패럴랙스 배리어나 렌티큘러 렌즈 등으로 분리하여 관찰자의 우안과 좌안에 각각 유도함으로써 입체시를 행하게 하는 것이다.

도 11은, 4안식 입체시 방식의 입체 영상 표시 장치의 원리를 예시한 설명도이다. 화면(11)의 수평 방향으로 양안 시차를 갖는 영상 ①과 영상 ②와 영상 ③과 영상 ④가 소정 피치로 배열되고, 이 「영상 ① 영상 ② 영상 ③ 영상 ④」의 단위 영상 그룹이 반복하여 존재하고 있다. 영상 분리 수단(12)의 개구(12a)는 각 단위 영상 그룹에 대응하여 존재하고 있으며, 각 단위 영상 그룹인 「영상 ① 영상 ② 영상 ③ 영상 ④」를 분리하여 관찰자에게 부여한다.

도 12는 7안식 입체시 방식의 화소의 배열 방식 및 표시 화소 데이터를 나타내고 있다. 도 12에서 태선으로 둘러싸인 21개의 화소(도트)군이 1개의 픽셀 그룹을 구성하고 있고, 이것에 3개의 핀홀(개구)이 대응하고, 임의의 관찰 위치로부터는, 시점 1의 좌측 위의 회소(픽셀)를 구성하는 {1 ; 11 ; R}, {1 ; 11 ; G), {1 ; 11 ; B}의 3색의 도트가 동시에 관찰된다. 여기서, {i ; jk ; C}는, 각각 {시점 ; 픽셀 좌표 ; 색}을 나타낸다. 그리고, 관찰 위치의 이동에 따라서, 동일 픽셀 좌표(11)에 대하여 {2 ; 11 ; G}, {2 ; 11 ; B}, {2 ; 11 ; R}…이라고 하는 것과 같이 시점이 상이한 픽셀을 관찰하게 된다.

도 12의 (a)에 도시한 화소의 배열 방식 및 표시 화소 데이터를 채용하는 입체 영상 처리 방법에서는, 수평 방향의 픽셀수만큼이 1/7로 열화하는 것으로 된다. 이것은 픽셀의 수평 피치가 7배로 된다고 하는 것으로, 수평 피치의 수직 피치에 대한 비의 값은 7로 된다.

이러한 방식을 경사 방향으로 핀홀이 배열되는 영상 분리 수단(도시 생략)을 이용하는 7안식의 입체 화상 표시 장치에 응용하면, 도 12의 (b)에 도시한 바와 같이 된다. 픽셀 그룹은 동일하지만, 그룹 내의 시점 번호의 배열이 변한다. 여기서도 동일하도록 수평 방향의 픽셀수가 열화한다. 이와 같이 수평 방향으로만 시차가 있는 경우에는, 통상 수평 방향만 픽셀수가 열화하는 것이다. 또한, 복수의 핀홀을 비스듬히 배치하는 입체 영상 표시 장치로서 일본 특허 제3096613호가 알려져 있다.

일반적인 영상 표시 장치는, 인접하는 적, 녹, 청의 3색의 화소(도트)가 하나의 회소(픽셀)를 구성한다. 패럴랙스 배리어 방식이나, 특허 문헌 1에 개시된 입체 영상 표시 장치에서는, 도 12에 도시한 바와 같이, 본래 동일한 픽셀을 구성하는 도트가 각각 상이한 시점의 화상을 표시하는 것으로 되고, 또한 시점수가 많아지면, 각 시점의 픽셀을 구성하는 도트의 조합에서, 수평 방향 해상도의 저하를 피할 수 없는 등의, 불만이 생긴다. 또한, 입체 영상 표시 장치에 있어서 적합한 영상 처리 방법을 제안하는 것은 없었다.

<발명의 개시>

본 발명은, 상기한 사정을 감안하여, 개선된 입체 영상 처리 방법 및 입체 영상 표시 장치를 제공하는 것을 목적으로 한다.

본 발명의 입체 영상 처리 방법은, 상기한 과제를 해결하기 위해, 복수의 시점 영상으로부터 각 시점 영상마다 회소 단위로 되는 복수 화소를 추출하는 입체 영상 처리 방법으로서, 각 시점 영상으로부터 추출한 회소 단위로 되는 복수 화소의 데이터의 모임을 회소 그룹으로 하고, 입체 영상 표시 장치의 화면 상에서의 상기 회소 그룹의 표시 피치의 종횡비가, 1 대 1에 가장 가깝게 되도록 상기 회소 그룹에서의 회소 단위의 배치를 설정하는 것을 특징으로 한다.

상기한 구성이면, 입체 영상 표시 장치의 화면 상에서의 상기 회소 그룹의 표시 피치의 종횡비가 1 대 1에 가장 가깝게 되도록 상기 회소 그룹에서의 회소 단위의 배치가 설정되기 때문에, 각 시점의 회소를 구성하는 화소끼리가 근접하는 등 적합하게 되고, 시점수가 많아진 경우에도 수평 방향 해상도의 저하를 완화할 수 있기 때문에, 화질 향상을 기대할 수 있다.

또한, 본 발명의 입체 영상 처리 방법은, 복수의 시점 영상으로부터 각 시점 영상마다 회소 단위로 되는 복수 화소를 추출하는 입체 영상 처리 방법으로서, 각 시점 영상으로부터 추출한 회소 단위로 되는 복수 화소의 데이터의 모임을 회소 그룹으로 하고, 입체 영상 표시 장치의 화면 상에서의 상기 회소 그룹의 표시 피치의 종횡비가, 1 대 2로부터 2 대 1의 범위로 되도록 상기 회소 그룹에서의 회소 단위의 배치를 설정하는 것을 특징으로 한다.

이러한 구성에서도, 입체 영상 표시 장치의 화면 상에서의 상기 회소 그룹의 표시 피치의 종횡비가 1 대 2로부터 2 대 1의 범위로 되도록 상기 회소 그룹에서의 회소 단위의 배치가 설정되기 때문에, 각 시점의 회소를 구성하는 화소끼리가 근접하는 등 적합하게 되고, 또한 시점수가 많아진 경우에도 수평 방향 해상도의 저하를 완화할 수 있다.

각 시점 영상으로부터 추출한 회소 단위로 되는 복수 화소의 데이터를 비트맵 상에 경사 배치하여도 된다. 또한, 각 시점 영상으로부터 추출한 회소 단위로 되는 복수 화소의 데이터를 입체 영상 표시 장치의 화면 상에서 비스듬히 배열되도록 공급하여도 된다. 또한, 각 시점 영상으로부터 추출한 회소 단위로 되는 복수 화소의 데이터를 입체 영상 표시 장치의 화면 상에서 비스듬히 배열되도록 영상 신호화하여 공급하도록 하여도 된다.

표시 회소수가 수평 M×수직 N이고, 시점수를 L로 하고, 1 회소를 구성하는 화소수를 k로 하고, 각 시점 영상의 회소수를 수평 kM/L×수직 N/k로 하여 각 시점 영상의 대응하는 영상 영역마다 각 시점 영상으로부터 필요한 화소의 데이터를 추출하여도 된다. 이에 따르면, 각 시점 영상의 화소의 좌표가 입체용 영상에는 계승되지 않지만, 각 시점 영상에서 버려지는 화소가 없기 때문에, 영상 생성의 낭비를 배제할 수 있다. 또한, 각 시점 영상의 회소수가 수평 kM/L×수직 N/k이고, 또한 화상 종횡비가 표시 화상의 종횡비와 일치하도록, 화상 취득계에서 취득한 화상을 처리하여, 각 시점 영상을 취득하도록 하여도 된다. 이에 따르면 표시 화상의 왜곡을 방지할 수 있다. 또한, 화상 취득계의 화상 종횡비를 표시 화상의 종횡비와 일치시키고, 각 시점 영상을 취득하도록 하여도 된다. 이것에 따르면, 표시 화상의 왜곡을 방지할 수 있다.

표시의 회소수가 수평 M×수직 N이고, 시점수를 L로 하고, 1 회소를 구성하는 화소수를 k로 하고, 각 시점 영상의 회소수를 수평 kM/L×수직 N/k로 하여 취득한 각 시점 영상을, 수평 M×수직 N으로 확대 처리하여, 대응하는 영상 영역마다 각 시점 영상으로부터 필요한 화소의 데이터를 추출 생성하도록 하여도 된다. 이에 따르면, 표시 화상의 왜곡을 방지할 수 있다. 또한, 이 처리 방법에서는, 합성 시에 사용하는 메모리는 증가하지만, 화상 취득계의 부담은, 당초부터 표시 화상(합성 화상) 사이즈로 취득하는 것에 비하여 적다.

각 시점 영상을 좌우로 1 화소 내지 수 화소 큰 것으로 하고, 화면 좌우에 발생하게 되는 무(無) 데이터 개소에, 상기 크게 한 화소로부터 추출한 데이터를 이용하도록 하여도 된다. 혹은, 화면 좌우에 발생하게 되는 무 데이터 개소에, 흑 데이터를 이용하도록 하여도 된다. 혹은, 근접하는 동일한 시점의 화소의 카피 데이터를 이용하도록 하여도 된다.

또한, 수직 방향의 시차도 갖는 입체시용 영상을 생성하도록 하여도 된다.

또한, 본 발명의 입체 영상 표시 장치는, 영상이 표시되는 화면과, 각 시점 영상의 화소가 관찰될 수 있는 위치를 분리하는 분리 수단을 구비한 입체 영상 표시 장치에서, 전술한 어느 하나의 입체 영상 처리 방법에 의해서 얻어진 영상을 화면에 표시하면 화면 상에서의 표시 회소 그룹의 피치의 종횡비가 1 대 1 내지 대략 1 대 1로 되도록 화면 화소 피치의 종횡비가 설정되어 있는 것을 특징으로 한다. 시점수를 L로 하고, 1회소를 구성하는 화소수를 k로 하면, 표시 화소의 피치가 k(가로) : L(세로)로 설정되고, 표시 회소 그룹의 종횡비가, 가로 : 세로=1 : 1로 되도록 구성되어 있어도 된다.

이상의 구성에서, 적색용 화소행, 녹색용 화소행, 청색용 화소행이 수직 방향으로 순서대로 배치되어 있어도 되고, 이에 따르면, 회소를 구성하는 화소의 색의 배열이 일치하게 되어, 화면 엣지의 화질이 향상된다. 또한, 본 발명의 입체 영상 표시 장치는, 영상이 표시되는 화면과, 각 시점 영상의 화소가 관찰될 수 있는 위치를 분리하는 분리 수단을 구비한 입체 영상 표시 장치에서, 시점수를 L로 하고, 화면 화소 피치의 종횡비가 kL 대 1 내지 대략 kL 대 1로 설정되고, 각 시점 영상의 화소 데이터가 수평 방향으로 순서대로 설정된 영상의 공급을 받아 영상 표시를 행하고, 화면 상에서의 표시 회소 그룹의 피치의 종횡비가 1 대 1 내지 대략 1 대 1로 되도록 구성된 것을 특징으로 한다. 이러한 구성에서, 시점 영상의 수에 대응한 수의 동일색의 화소가 연속하여 배치되어 있는 것이 좋고, 이에 따르면, 회소를 구성하는 화소의 색의 배열이 일치하게 되어, 화면 엣지의 화질이 향상된다.

도 1은 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 2는 도 1에서의 화면의 색 배열을 도시하는 설명도.

도 3은 표시 화상을 복수매의 원화상으로부터 합성하는 처리를 도시하는 설명도.

도 4는 본 발명의 실시 형태를 도시하는 도면으로, 표시 화상을 복수매의 원화상으로부터 합성하는 처리를 도시하는 설명도.

도 5는 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 6은 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 7은 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 8은 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 9는 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 10은 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 11은 다안식 입체 영상 표시 장치의 기본 구성을 도시하는 설명도.

도 12의 (a) 및 (b)는 각각 종래예를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 13은 본 발명의 실시 형태를 도시하는 도면으로, 표시 화상을 복수매의 원화상으로부터 합성하는 처리를 도시하는 설명도.

도 14는 본 발명의 실시 형태를 도시하는 도면으로, 표시 화상을 복수매의 원화상으로부터 합성하는 처리를 도시하는 설명도.

도 15는 본 발명의 실시 형태를 도시하는 도면으로, 표시 화상을 복수매의 원화상으로부터 합성하는 처리를 도시하는 설명도.

도 16은 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 17은 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 18은 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 19는 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 20은 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 21은 본 발명의 실시 형태를 도시하는 도면으로, 화면 상에서의 화소의 색 배열, 화소 영역의 크기, 화소에 표시되는 영상을 도시하는 설명도.

도 22는 도 14의 처리를 도시하는 설명도.

<발명을 실시하기 위한 최량의 형태>

이하, 본 발명의 실시 형태의 입체 영상 처리 방법 및 입체 영상 표시 장치를 도 1 내지 도 9, 도 13 내지 도 22에 기초하여 설명해간다. 또한, 입체 영상 표시 장치의 전체 구성은 종래 항에서 설명한 도 11의 구성을 채용할 수 있는 것으로, 설명의 중복에 의한 용장을 피하기 위해서, 전체 구성의 설명은 생략하고 있다.

도 1은, 입체 영상 표시 장치의 화면 상에서의 화소(도트)의 색 배열(R, G, B 열), 화소 영역의 크기, 화소에 표시되는 영상을 나타내고 있고, 여기서는, 각 시점 영상의 수를 7로 하고(7안식), 각 시점 영상의 대응하는 영상 영역마다 각 시점 영상으로부터 추출한 회소(픽셀) 단위로 되는 적, 녹, 청(RGB)의 화소의 데이터를 경사 배치의 도트로 주고, 예를 들면 도 1에서 점선으로 나타내는 개구(1)에 의해 영상 분리를 행한다. 태선으로 둘러싸인 21개의 도트군이 1개의 픽셀 그룹을 구성하고 있고, 이것에 상기 개구 1이 대응하고, 임의의 관찰 위치로부터는, 시점 1의 좌측 위의 픽셀을 구성하는 {1 ; 11 ; R}, {1 ; 11 ; G}, {1 ; 11 ; B}의 3색의 도트가 동시에 관찰된다. 여기서, {i ; jk ; C}는 각각 {시점 ; 픽셀 좌표 ; 색}을 나타낸다. 그리고, 관찰 위치의 이동에 따라서, 동일한 픽셀 좌표(11)에서 {2 ; 11 ; G}, {2 ; 11 ; B}, {2 ; 11 ; R}…이라고 하는 것과 같이 시점이 상이한 픽셀을 관찰한다.

화면(디스플레이)에는 평면 화상의 표시를 최적으로 행하는 것을 이용하고 있다. 여기서는 일례로서, 픽셀수가 수평 3840×수직 2400인 액정 패널을 이용하는 것으로 한다. 각 픽셀은 적, 녹, 청의 3색의 도트의 조합에 의해 이루어지고, 도 2에 도시한 바와 같이, 세로 방향으로는 동일한 색의 도트가 배열되어 있고, 이 도트 피치의 종횡비는 3 대 1이고, 평면 화상 표시에서의 픽셀의 수평 피치와 수직 피치는 동일한 것으로 된다. 즉 픽셀 피치의 종횡비는 1 대 1로 되어, 이것이 평면 화상 표시에서 요구되는 값으로 된다.

여기서, 종래항의 도 12에서 도시한 입체 영상 처리 방법에 의한 픽셀 그룹의 수평 개수 및 수직 개수는, 픽셀수가 수평 3840×수직 2400인 화면 상에서, 이하에 나타낸 바와 같이 존재하게 된다. 또, 괄호 내는 예 값이다.

시점수 L(7)

표시 영역의 픽셀수 수평 M×수직 N(3840×2400)

픽셀 그룹의 수평 개수 M/L(≒ 548)

픽셀 그룹의 수직 개수 N(2400)

이에 대하여, 도 1에 도시한 바와 같이 픽셀 그룹을 선택하는 이 실시 형태의 입체 영상 처리 방법이면, 픽셀수의 열화를 수직 방향으로 분산시킬 수 있다. 여기서는 경사 방향으로 배열되는 3 도트를 조합하여 1개의 픽셀을 구성하고 있기 때문에, 픽셀 그룹의 수직 피치가 3배로 되고, 수평 피치가 7/3배로 된다. 수평 피치의 수직 피치에 대한 비의 값은 7/9로 되어, 본래의 평면 화상 표시에서의 픽셀의 수평 피치의 수직 피치에 대한 비의 값인 1에 근접한 것으로 된다.

이것을 일반적으로 나타내면 다음과 같이 된다. 괄호 내는 실시예의 값이다.

시점수 L (7)

표시 영역의 픽셀수 수평 M×수직 N(3840×2400)

1 픽셀을 구성하는 도트수 k (3)

픽셀 그룹의 수평 개수 M×k/L(≒ 1646)

픽셀 그룹의 수직 개수 N/k(800)

이상 설명한 바와 같이, 입체 영상 표시 장치의 화면 상에서의 상기 표시 픽셀 그룹의 피치의 종횡비가 1 대 1에 가장 가깝게 되도록 표시 픽셀의 배치가 설정되기 때문에, 각 시점의 픽셀을 구성하는 도트끼리가 근접하는 등 적합해지고, 시점수가 많아진 경우에도 수평 방향 해상도의 저하를 완화시킬 수 있기 때문에, 화질 향상을 기대할 수 있다.

여기서, 상기 표시 화상을 L매의 원화상으로부터 합성하는 처리를 생각한다. 우선, 도 3에 도시한 바와 같이, 표시 화상의 픽셀수 M×N(3840×2400)에 대하여, 각각의 원화상(카메라 촬상 화상 등)의 픽셀수도 M×N(3840×2400)로 하여, 필요한 도트만을 선택하여 합성하는 방법이 있다. 이 방법은, 도트의 좌표가 정확하게 계승되지만, 버려지는 도트가 존재하기 때문에 화상의 생성에 낭비가 발생한다. 픽셀 좌표가 "-"로 되어 있는 도트가 버려지는 도트이다. 이러한 입체 영상 처리 방법에 대하여 개선된 입체 영상 처리 방법을 도 4에 기초하여 설명한다.

도 4에 도시하고 있는 방법에서는, 원화상(카메라 촬상 화상 등)의 픽셀수를 kM/L×N/k(1646×800)로 하고, 도트를 적절하게 재배열하면서 합성하고 있다. 이 방법으로는 도트의 좌표가 정확하게 계승되어 있지 않지만, 버려지는 도트가 없기 때문에, 화상 생성의 낭비가 없다. 또한, 화상 취득계의 화상 종횡비를 M : N으로 하면, 화상의 왜곡이 발생하지 않는다. 이것은, 회소 피치의 종횡비가 1 : 1인 경우로, 보다 일반적으로는, 화상 취득계의 화상 종횡비를 표시 화상의 종횡비와 일치시키면, 화상의 왜곡이 발생하지 않는다. 화상 취득계의 화상 종횡비란, 예를 들면 실사 카메라의 CCD의 종횡비나, 컴퓨터 그래픽스에서의 렌더링 시의 화상 종횡비의 것이다.

화면 좌우에는 정보가 없는 도트가 발생하지만, 이하와 같이 처리하면 된다. ① 각 시점 영상을 필요 도트보다도 좌우에 1 도트 내지 수 도트 큰 것으로 하고, 화면 좌우에 발생하는 것으로 되는 무 데이터 개소에, 상기 크게 한 도트로부터 추출한 데이터를 배치한다. 예를 들면, 상기 크게 한 도트의 픽셀 좌표를 「10」으로 하면, 합성 화상의 좌측 위의 무 데이터 개소에는, {7 ; 10 ; R}, {7 ; 10 ; G}, {6 ; 10 ; R}이 배치된다. ② 화면 좌우에 발생하는 무 데이터 개소에, 흑 데이터를 배치한다(비점등, 광 불투과). ③ 근접하는 동일한 시점의 도트의 카피 데이터를 배치한다. 도면의 예에서는, {7 ; 11 ; R}, {7 ; 11 ; G}, {6 ; 11 ; R}이 배치된다.

도 5에는, 도트 피치의 종횡비가 3 대 1이 아닌 입체 영상 표시 장치를 나타내고 있다. 도트 피치의 종횡비가 3 대 1인 경우, 전술한 입체 영상 처리 방법에 의해, 표시 픽셀 그룹의 수평 피치의 수직 피치에 대한 비의 값은 7/9로 된다. 이것에 대하여, 도 5에서는, 도트 피치의 종횡비가 7 대 3으로 되도록 하고 있다. 이에 의해, 표시 픽셀 그룹의 수평 피치의 수직 피치에 대한 비의 값 Ph/Pv가, 평면 화상 표시에서 요구되는 값 「1」과 같아진다. Ph/Pv가 「1」로 됨으로써, 촬상 시의 회소 피치의 종횡비를 1 : 1로 할 수 있어, 기존의 기기나 컴퓨터 프로그램을 그대로 사용할 수 있다.

도 6에는 도 1에 도시한 색 배열과는 다른 색 배열을 갖는 입체 영상 표시 장치를 나타내고 있다. 도 1의 입체 화상 표시 장치에서는 적색 열, 녹색 열, 청색 열이 수평 방향으로 순서대로 배치되는 데 대하여, 적색 행, 녹색 행, 청색 행이 수직 방향으로 순서대로 배치되어 있다. 이러한 구성이면, 픽셀을 구성하는 도트의 색의 배열 순이 일치하기 때문에, 엣지의 표시에 대한 화질이 향상된다.

도 7에는 다른 실시 형태의 7안식의 입체 영상 표시 장치를 나타내고 있다. 이 입체 영상 표시 장치에서는, 화면의 도트 피치의 종횡비를 21 대 1(kL : 1)로 하고 있다. 그리고, 수평 방향으로 배열하는 21 도트로 하나의 픽셀 그룹을 구성한다. 이에 의해, 픽셀 그룹의 수평 피치의 수직 피치에 대한 비의 값이, 평면 화상 표시에서 요구되는 값 「1」과 같아진다. 또한, 이러한 도트 피치를 채용하는 경우에는, 픽셀 그룹의 선택의 방법이 바뀌게 된다. 또한, 시점수에 의해서 도트 피치의 종횡비는 변한다.

도 8은 도 7과 마찬가지의 7안식의 입체 화상 표시 장치이지만, 도트의 색 배열이 상이하다. 도 8과 같이 좌측으로부터 7 도트를 적, 다음의 7 도트를 녹, 남은 7 도트를 청으로 하고 있다. 이에 의해, 픽셀을 구성하는 도트의 색의 배열 순이 일치하기 때문에, 엣지의 표시에 대한 화질이 향상한다.

도 9에서, 도 9 의 (a)에 도시한 표시 픽셀 그룹에서의 픽셀 배치와, 도 9의 (b)에 도시한 표시 픽셀 그룹에서의 픽셀 배치와는 상이하다. 또한, 모두 2안식으로 경사 도트 방식(경사 배리어 방식)으로 하고 있다. 여기서 나타내는 입체 영상 처리 방법은, 2안식으로 경사 도트 방식의 입체 영상 표시 장치의 픽셀 피치(도트 피치)를 감안하여, 그 화면 상에서의 표시 픽셀 그룹(도면의 태선 참조)의 피치의 종횡비가 1 대 1에 가장 가깝게 되도록 표시 픽셀 그룹에서의 픽셀의 배치를 도 9의 (a)와 도 9의 (b) 중 어느 하나로 절환할 수 있도록 하고 있다. 예를 들면, 도 9의 (a)과 도 9의 (b) 중 어느 영상 생성도 가능한 영상 처리 장치로 되고, 이 영상 처리 장치에 접속되는 입체 영상 표시 장치로서, 액정 표시 패널이나 플라즈마 디스플레이를 구입하는 경우에 이들의 픽셀 피치가 서로 상이한 경우에도, 도 9의 (a)와 도 9의 (b)의 어느 한쪽의 영상 생성을 행함으로써 표시 픽셀 그룹의 피치의 종횡비를 1 대 1에 가깝게 할 수 있다.

도 10에는 수직 방향에도 시차를 갖게 하는 경우의 구성예를 나타내고 있다. 수평과 수직의 시점간의 거리가 동일하게 되도록, 수평과 수직의 도트 피치를 같게 하고 있다. 그리고, 수평 방향의 눈 수를 많이 취하기 위해, 도트는 수직 방향으로 동일한 색을 배열하고 있다. 이와 같이 구성함으로써, 수평 6안식, 수직 2안식일 때, 픽셀 그룹의 수평 피치의 수직 피치에 대한 비의 값이 1로 된다. 픽셀을 구성하는 도트의 색의 배열 순도 일치하게 된다. 또한, 반드시 수평과 수직의 시점간의 거리가 동일하게 될 필요는 없다.

도 13은 도 4에 도시하는 방법의 변형예로 화상 왜곡이 없는 예를 나타내고 있다. 이 예는, 표시의 회소수가 수평 M(3840)×수직 N(2400)이고, 시점수를 L(7)로 하고, 1 회소를 구성하는 화소수를 k(3)으로 하고, 각 시점 영상의 회소수를 수평 kM/L(1646)×수직 N/k(800)으로 하여 각 시점 영상의 대응하는 영상 영역마다 각 시점 영상으로부터 필요한 화소의 데이터를 추출하는 방법이고, 또한 화상 취득계의 화상의 종횡비를 표시 화상의 종횡비(2400(세로) : 3840(가로))와 일치시켜, 각 시점 영상을 취득하고 있다. 상기한 경우, 각 카메라의 픽셀의 종횡비는, 1 : 1이 아닌, 가로 : 세로=7 : 9로 된다.

상기한 바와 같이, 화상 취득계에서 적절한 화소수 및 화상 종횡비가 얻어지면 좋은 것이지만, 얻어지지 않는 경우에는, 각 시점 영상에 대하여 신축 처리를 실시하는 것에 의해 화상 왜곡을 방지할 수 있다. 통상의 카메라의 화소는 가로 : 세로=1 : 1(정방형)이기 때문에, 신축 처리를 실시하는 것이 좋다.

도 14는 신축(伸縮) 처리의 일례를 나타내고 있다. 이 예는, 표시의 회소수가 수평 M(3840)×수직 N(2400)이고, 시점수를 L(7)로 하고, 1 회소를 구성하는 화소수를 k(3)로 하고, 각 시점 영상의 회소수를 수평 kM/L(1646)×수직 N/k(800)으로 한다. 그리고, 화상 취득계에서 취득한 화상(화소수 1646(가로)×800(세로), 화상의 가로와 세로의 비 1646(가로)×800(세로))를, 그 화상의 가로와 세로의 비가 표시 화상에서의 가로와 세로의 비(3840(가로):2400(세로))와 일치하도록 처리하여, 각 시점 영상을 취득한다.

상기 처리를 도 22을 이용하여 더 설명한다. 또한, 이 도 22에서는, 카메라(화상 취득계에서 취득한 화상)의 화소수를 1024(가로)×768(세로), 시점수를 8로 하고 있다. 각 카메라의 화상을, 수평 방향으로 9/8배하면, 1152(가로)×768(세로)의 화상이 얻어진다. 이것을 등배하여 1500(가로)×1000(세로)의 화상을 얻는다. 이 8매의 화상에 의해서 표시 화상을 생성하면, 표시 화상의 회소수가 수평(M=4000)으로 되고(1500×8/3=4000), 수직(N=3000)으로 된다(1000×3). 표시 장치의 화면은 4(가로) : 3(세로)이고, 픽셀의 피치는 1 : 1이다.

도 15는 도 3의 처리예의 개량으로, 카메라 화상을 표시 화상(합성 화상)의 사이즈로 변환하고나서 씨닝에 의한 합성을 행하고 있다. 이 예는 표시의 회소수가 수평 M(3840)×수직 N(2400)이고, 시점수를 L(7)로 하고, 1 회소를 구성하는 화소수를 k(3)으로 하고, 취득한 각 시점 영상(수평 kM/L(1646)×수직 N/k(800))을, 수평 M(3840)×수직 N(2400)으로 확대 처리하여, 대응하는 영상 영역마다 각 시점 영상으로부터 필요한 화소의 데이터를 추출 생성한다. 이 처리 방법에서는, 합성 시에 사용하는 메모리는 증가하지만, 화상 취득계(카메라나 컴퓨터 그래픽스 처리)의 부담은, 도 3과 같은 당초부터 표시 화상(합성 화상) 사이즈로 취득하는 것에 비하여 적다.

도 16은 화면(컬러 필터)이 가로 스트라이프인 경우의 표시 화상의 배치예를 나타내고 있다. 표시 화상의 배치는 세로 스트라이프 배치이며, 세로 방향으로 각 시점의 R 화소, G 화소, B 화소가 형성된다. 각 화소의 피치의 종횡비는, 1(가로) : 3(세로)이고, 픽셀 그룹의 종횡비는, 가로 : 세로=7 : 9로 된다.

도 17은 화면(컬러 필터)이 가로 스트라이프인 경우의 표시 화상의 배치예를 나타내고 있다. 표시 화상의 배치는 세로 스트라이프 배치이고, 세로 방향으로 각 시점의 R 화소, G 화소, B 화소가 형성된다. 각 화소의 피치의 종횡비는, 3(가로) : 7(세로)이고, 픽셀 그룹의 종횡비는, 가로 : 세로=1 : 1로 된다. 이것을 일반적으로 나타내면, 각 화소의 피치는, k(가로) : L(세로)이고, 픽셀 그룹의 종횡비는, 가로 : 세로=1 : 1로 된다. 또한, L은 시점수, k는 1 픽셀을 구성하는 도트수이다.

도 18은 화면(컬러 필터)이 대각인 경우의 표시 화상의 배치예를 나타내고 있다. 표시 화상의 배치는 세로 스트라이프 배치이고, 세로 방향으로 각 시점의 R 화소, G 화소, B 화소가 형성된다. 각 화소의 피치의 종횡비는, 1(가로) : 3(세로)이고, 픽셀 그룹의 종횡비는, 가로 : 세로=7 : 9로 된다.

도 19는 화면(컬러 필터)이 대각인 경우의 표시 화상의 배치예를 나타내고 있다. 표시 화상의 배치는 세로 스트라이프 배치이고, 세로 방향으로 각 시점의 R 화소, G 화소, B 화소가 형성된다. 각 화소의 피치의 종횡비는, 3(가로) : 7(세로)이고, 픽셀 그룹의 종횡비는, 가로 : 세로=1 : 1로 된다. 이것을 일반적으로 나타내면, 각 화소의 피치는, k(가로) : L(세로)이고, 픽셀 그룹의 종횡비는, 가로 : 세로=1 : 1로 된다. 또한, L은 시점수, k는 1 픽셀을 구성하는 도트수이다.

도 20은 화면(컬러 필터)이 대각인 경우의 표시 화상의 배치예를 나타내고 있다. 표시 화상의 배치는 경사 배치이고, 경사 방향으로 각 시점의 R 화소, G 화소, B 화소가 형성된다. 각 화소의 피치의 종횡비는, 1(가로) : 3(세로)이고, 픽셀 그룹의 종횡비는, 가로 : 세로=7 : 9로 된다.

도 21은 화면(컬러 필터)이 대각인 경우의 표시 화상의 배치예를 나타내고 있다. 표시 화상의 배치는 경사 배치이고, 경사 방향으로 각 시점의 R 화소, G 화소, B 화소가 형성된다. 각 화소의 피치의 종횡비는, 3(가로) : 7(세로)이고, 픽셀 그룹의 종횡비는, 가로 : 세로=1 : 1로 된다. 이것을 일반적으로 나타내면, 각 화소의 피치는, k(가로) : L(세로)이고, 픽셀 그룹의 종횡비는, 가로 : 세로=1 : 1로 된다. 또한, L은 시점수, k는 1 픽셀을 구성하는 도트수이다.

또한, 영상 분리의 요소로서는, 핀홀 등의 개구에 한하지 않고, 렌즈 소자를 이용하여도 되는 것이다. 또한, 광원측에 영상 분리 수단을 배치하는 구성으로 하여도 되는 것이다. 또한, 1 회소(픽셀)를 구성하는 화소가 RGB(K=3)인 것으로 했지만, 1 회소를 구성하는 화소가 RGB인 경우에는 K=4로서 처리하면 된다.

이상 설명한 바와 같이, 본 발명에 따르면, 각 시점의 회소를 구성하는 화소끼리가 근접하는 등 적합해지고, 또한 시점수가 많아진 경우에도 수평 방향 해상도의 저하를 완화할 수 있기 때문에, 화질 향상을 기대할 수 있는 등의 여러가지 효과를 발휘한다.

Claims

복수의 시점 영상으로부터 각 시점 영상마다 회소 단위로 되는 복수 화소를 추출하는 입체 영상 처리 방법으로서, 각 시점 영상으로부터 추출한 회소 단위로 되는 복수 화소의 데이터의 모임을 회소 그룹으로 하고, 입체 영상 표시 장치의 화면 상에서의 상기 회소 그룹의 표시 피치의 종횡비가, 1 대 1에 가장 가깝게 되도록 상기 회소 그룹에서의 회소 단위의 배치를 설정하는 것을 특징으로 하는 입체 영상 처리 방법.
복수의 시점 영상으로부터 각 시점 영상마다 회소 단위로 되는 복수 화소를 추출하는 입체 영상 처리 방법으로서, 각 시점 영상으로부터 추출한 회소 단위로 되는 복수 화소의 데이터의 모임을 회소 그룹으로 하고, 입체 영상 표시 장치의 화면 상에서의 상기 회소 그룹의 표시 피치의 종횡비가, 1 대 2로부터 2 대 1의 범위로 되도록 상기 회소 그룹에서의 회소 단위의 배치를 설정하는 것을 특징으로 하는 입체 영상 처리 방법.
제1항 또는 제2항에 있어서,

각 시점 영상으로부터 추출한 회소 단위로 되는 복수 화소의 데이터를 비트맵 상에 비스듬히 배치하는 것을 특징으로 하는 입체 영상 처리 방법.
제1항 또는 제2항에 있어서,

각 시점 영상으로부터 추출한 회소 단위로 되는 복수 화소의 데이터를 입체 영상 표시 장치의 화면 상에서 비스듬히 배열되도록 공급하는 것을 특징으로 하는 입체 영상 처리 방법.
제1항 또는 제2항에 있어서,

각 시점 영상으로부터 추출한 회소 단위로 되는 복수 화소의 데이터를 입체 영상 표시 장치의 화면 상에서 비스듬히 배열되도록 영상 신호화하여 공급하는 것을 특징으로 하는 입체 영상 처리 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,

표시의 회소수가 수평 M×수직 N이고, 시점수를 L로 하고, 1 회소를 구성하는 화소수를 k로 하고, 각 시점 영상의 회소수를 수평 kM/L×수직 N/k로 하여 각 시점 영상의 대응하는 영상 영역마다 각 시점 영상으로부터 필요한 화소의 데이터를 추출하는 것을 특징으로 하는 입체 영상 처리 방법.
제6항에 있어서,

각 시점 영상의 회소수가 수평 kM/L×수직 N/k이고, 또한 화상 종횡비가 표시 화상의 종횡비와 일치하도록, 화상 취득계에서 취득한 화상을 처리하여, 각 시점 영상을 취득하는 것을 특징으로 하는 입체 영상 처리 방법.
제6항에 있어서,

화상 취득계의 화상 종횡비를 표시 화상의 종횡비와 일치시켜, 각 시점 영상을 취득하는 것을 특징으로 하는 입체 영상 처리 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,

표시의 회소수가 수평 M×수직 N이고, 시점수를 L로 하고, 1 회소를 구성하는 화소수를 k로 하고, 각 시점 영상의 회소수를 수평 kM/L×수직 N/k로 하여 취득한 각 시점 영상을, 수평 M×수직 N으로 확대 처리하여, 대응하는 영상 영역마다 각 시점 영상으로부터 필요한 화소의 데이터를 추출 생성하는 것을 특징으로 하는 입체 영상 처리 방법.
제6항 내지 제9항 중 어느 한 항에 있어서,

각 시점 영상을 좌우에 1 화소 내지 수 화소 큰 것으로 하고, 화면 좌우에 발생하게 되는 무 데이터 개소에, 상기 크게 한 화소로부터 추출한 데이터를 이용하는 것을 특징으로 하는 입체 영상 처리 방법.
제6항 내지 제9항 중 어느 한 항에 있어서,

화면 좌우에 발생하게 되는 무 데이터 개소에, 흑 데이터를 이용하는 것을 특징으로 하는 입체 영상 처리 방법.
제6항 내지 제9항 중 어느 한 항에 있어서,

화면 좌우에 발생하게 되는 무 데이터 개소에, 근접하는 동일한 시점의 화소의 카피 데이터를 이용하는 것을 특징으로 하는 입체 영상 처리 방법.
제1항 또는 제2항에 있어서,

수직 방향의 시차도 갖는 입체시용 영상을 생성하는 것을 특징으로 하는 입체 영상 처리 방법.
영상이 표시되는 화면과, 각 시점 영상의 화소가 관찰 가능한 위치를 분리하는 분리 수단을 구비한 입체 영상 표시 장치로서, 제1항 내지 제13항 중 어느 한 항의 입체 영상 처리 방법에 의해서 얻어진 영상을 화면에 표시하면 화면 상에서의 표시 회소 그룹의 피치의 종횡비가 1 대 1 내지 대략 1 대 1로 되도록 화면 화소 피치의 종횡비가 설정되어 있는 것을 특징으로 하는 입체 영상 표시 장치.
제14항에 있어서,

시점수를 L로 하고, 1 회소를 구성하는 화소수를 k로 하면, 표시 화소의 피치가 k(가로) : L(세로)로 설정되고, 표시 회소 그룹의 종횡비가, 가로 : 세로=1 : 1로 되도록 구성된 것을 특징으로 하는 입체 영상 표시 장치.
영상이 표시되는 화면과, 각 시점 영상의 화소가 관찰 가능한 위치를 분리하는 분리 수단을 구비한 입체 영상 표시 장치로서, 표시 화소의 피치를 k, 시점수를 L로 하고, 화면 화소 피치의 종횡비가 kL 대 1 내지 대략 kL 대 1로 설정되고, 각 시점 영상의 화소 데이터가 수평 방향으로 순서대로 설정된 영상의 공급을 받아 영상 표시를 행하고, 화면 상에서의 표시 회소 그룹의 피치의 종횡비가 1 대 1 내지 대략 1 대 1로 되도록 구성된 것을 특징으로 하는 입체 영상 표시 장치.
제1항 내지 제15항 중 어느 한 항에 있어서,

적색용 화소행, 녹색용 화소행, 청색용 화소행이 수직 방향으로 순서대로 배치되어 있는 것을 특징으로 하는 입체 영상 표시 장치.
제16항에 있어서,

시점 영상의 수에 대응한 수의 동일색의 화소가 연속하여 배치되어 있는 것을 특징으로 하는 입체 영상 표시 장치.