KR20090023473A

KR20090023473A - 3차원 화상처리장치, 방법 및 컴퓨터 프로그램 제품

Info

Publication number: KR20090023473A
Application number: KR1020097000491A
Authority: KR
Inventors: 이사오 미하라; 이치 누마자키
Original assignee: 가부시끼가이샤 도시바
Priority date: 2006-09-26
Filing date: 2007-03-16
Publication date: 2009-03-04
Also published as: CN101491108A; JP2008085503A; WO2008038425A1; US20100079578A1; EP2070339A1

Abstract

3차원 화상을 처리하기 위한 장치는, 입체표시부의 특성에 따라 복수의 시점화상의 각 화소위치가 사상된 하나의 다시점 화상을 표시하는 상기 입체표시부의 특성을 규정값 파라미터로서 취득하는 규정값 파라미터 취득부와, 상기 입체표시부 상에 표시된 입체화상에 관한 관측값을 나타내는 관측값 파라미터를 취득하는 관측값 파라미터 취득부와, 상기 취득된 규정값 파라미터에 기초해서 상기 사상의 역사상을 나타내는 변환정보를 산출하는 변환정보 산출부와, 상기 산출된 변환정보에 기초해서 상기 취득된 관측값 파라미터를 상기 시점화상과 동일 차원으로 변환한 변환제 파라미터를 생성하는 관측값 파라미터 변환부와, 상기 변환된 변환제 파라미터에 기초해서 상기 입체화상의 각 화소위치에 대응하는 상기 시점화상으로의 화상처리를 시점화상마다 제어하는 화상처리 제어부를 포함한다.

Description

3차원 화상처리장치, 방법 및 컴퓨터 프로그램 제품 {APPARATUS, METHOD AND COMPUTER PROGRAM PRODUCT FOR THREE-DIMENSIONAL IMAGE PROCESSING}

본 발명은, 입체화상에 화상처리를 실행하는 3차원 화상처리장치, 방법 및 컴퓨터 프로그램 제품에 관한 것이다.

나안식 3차원 화상표시방법으로서, 이안식이나 다안식이 알려져 있다. 어느 방식도 화상표시면에 배치되는 렌티큘러시트(lenticular sheet; 수평방향만 렌즈 특성을 갖는 반원형 렌즈(troffer lens)의 어레이)나, 패럴랙스 배리어(parallax barrier) 등의 광선제어자를 포함한다. 이들 방식은, 좌우안에 시차를 갖는 2차원 화상을 분리해서 봄으로써, 관찰자에게 입체화상(한쪽 방향으로부터만 입체를 지각할 수 있는 화상)을 지각시키는 것이다. 이안식에서는 2개의 2차원 화상이 1방향의 시점으로부터의 입체화상을 지각시킬 뿐이지만, 다안식에서는 예컨대 4개의 2차원 화상이 3방향의 시점으로부터의 입체화상을 지각시킬 수 있다. 즉, 다안식에서는, 불연속이기는 하지만 운동 시차(사물이 신체 이동의 역방향으로 이동해서 보이는 현상)를 관찰자에게 제공할 수 있다.

IP(Integral Photo Imaging: 인테그럴 포토 이미징) 방식은, 「M. G. Lippmann, "La Photographie Integrale", Comptes Rendus Academie des Sciences, Vol. 146, pp. 446-451 (1908)」에 따라 더 향상된 운동 시차로 입체화상을 표시할 수 있는 기술로서 알려져 있다. 이 기술에 따르면, 먼저 입체사진의 화소에 상당하는 렌즈 어레이를 준비하고, 이 렌즈 어레이의 촛점거리에 필름을 두고 촬영을 실행하며, 촬영한 필름 상에 촬영에 이용한 렌즈 어레이를 두고 재생을 실행하는 것이다. 이 방식으로부터 알 수 있는 바와 같이, 관찰위치를 한정하는 일없이 필름의 해상도가 충분히 높으면 홀로그래피와 마찬가지로 완전한 공중상(floating image)도 재생 가능한 이상적인 방식이다.

또, 근래 필름 대신 액정디스플레이(LCD) 등의 플랫 패널 디스플레이를 이용한 II(Integral Imaging: 인테그럴 이미징) 방식이 이용되고 있다. 이 II 방식에 따르면, 복수의 시점(실현하고 싶은 시차수만큼의 시점)으로부터, 입체화하고 싶은 대상을 촬영한 화상을 이용해서 입체화상을 구현화하는 화상(이하, "다시점 화상(multi-viewpoint image)"이라 함)을 작성할 필요가 있다. 다시점 화상은, 상호 다른 시점(시차)을 가진 복수의 카메라(예컨대, 실현하고자 하는 시차수분만큼 카메라를 평행으로 배열한 카메라의 어레이)에 의해 촬영한 각 화상(이하, "시점화상"이라 함)이나, 복수의 시점으로부터 렌더링한 CG 화상(시점화상)을 복수 이용한다. 이들 복수의 시점화상(이하, "시점화상군"이라 함)에 포함되는 각 화소의 위치(이하, "화소위치"라 함)는, 소정의 규약에 기초해서 하나의 화상 상으로 사상됨으로써 생성된다.

여기서, 시점화상군으로부터 다시점 화상을 생성하기 위해서는, 각 시점화상에 포함된 각 화소의 위치를 3차원 화상표시장치의 특성에 따라 서브픽셀 단위로 특정의 배치로 재배열할 필요가 있다. 그 이유는, II 방식에서는, IP 방식과 마찬가지로 렌티큘러시트 등의 렌즈 어레이를 통해 다시점 화상의 광선을 재생하기 때문에, 렌즈 어레이의 광학적 특성에 따라 입체화상을 표시하기 위한 화소위치가 정해지기 때문이다. 또, 플랫 패널 디스플레이의 한정된 픽셀수로 많은 시차를 실현하기 위해서는, 예컨대 일본국 특개 2006-98779호 공보에 따르면, 통상과는 다른 컬러 필터 구성을 이용하는 경우가 있다. 이와 같은 경우, 다시점 화상의 각 화소위치는 컬러 필터의 특성에 따라 서브픽셀 단위로 결정된다.

그런데, 표시된 입체화상에 대해, 노이즈 제거나 블렌딩(blending) 처리 등의 화상처리를 실시하는 경우가 있다. 이와 같은 경우, 입체화상에 관한 복수의 시점화상의 각각에 대해 소정의 화상처리를 실시하는 것이 행해지고 있다.

그러나, 앞에서 설명한 바와 같이 다시점 화상을 생성하기 위해서는, 3차원 화상표시장치에 관한 렌즈 어레이나 컬러 필터 등의 특성에 기초해서 각 시점화상에 포함되는 화소를 재배열할 필요가 있다. 상기 종래기술에 따르면, 화소위치의 재배열은 고려되고 있지 않고, 단지 시점화상의 각각에 화상처리가 실시되고 있을뿐이기 때문에, 적정한 화상처리가 실행되었다고는 말할 수 없고, 표시되는 입체화상의 품질의 열화를 초래할 가능성이 있다.

이하, 화상처리에 의해 입체화상의 품질이 열화되는 경우를, 프레임 효과(frame effect)의 저감을 도모한 화상처리의 예를 참조해서 설명한다. 여기서 " 프레임 효과"라고 하는 것은, 3차원 화상표시장치의 표시면의 외연부(outer edge: 바깥 테두리부)에 입체화상이 존재하도록 한 경우, 구체적으로는 입체화상이 표시영역 내부와 표시영역 밖에 걸쳐 존재하도록 한 경우, 표시영역의 외연에서 입체화상이 불연속적으로 소멸하기 때문에, 그 보는 방법에 위화감이 생기는 현상이다. 이와 같은 경우, 표시영역의 외연에 가까워짐에 따라 표시되는 입체화상을 서서히 투명화하여, 표시영역의 외연에 도달하기까지 완전히 투명으로 되도록 한 처리를 실행함으로써, 위화감을 감소시키고 있다.

상기 화상처리를 실행하는 경우, 표시영역의 외연으로부터 입체물까지의 거리를 나타내는 파라미터가 중요한 지표로 된다. 그 이유는, 실제의 표시영역의 외연으로부터의 거리에 따라, 표시영역에 표시하는 다시점 화상의 투과도를 변화시킬 필요가 있기 때문이다. 앞에서 설명한 바와 같이, 표시면에 표시되는 다시점 화상이라고 하는 것은, 3차원 화상표시장치의 렌즈 어레이나 컬러 패널 등의 특성을 고려해서, 각 시점화상에 포함된 화소위치를 재배열함으로써 생성된 화상이다. 이를 감안하면, 입체화상의 관측자로부터 보아 표시영역 상에서 이웃하는 화소(혹은, 서브픽셀 단위에서의 화소 내에 포함되는 요소)는, 재배열하기 전에 어떤 시점화상에서 서로 이웃하고 있는 것으로는 한정되지 않는다. 또, 동일한 시점화상 내에 포함되어 있는 것으로도 한정되지 않으나, 복수의 시점화상에 분산된 상태로 포함될 수도 있다. 이 때문에, 화소 정보의 재배열을 고려하지 않고, 시점화상의 각각에 대해 화상처리를 실시한 것만으로는, 적정한 화상처리가 실행되었다고는 말할 수 없고, 표시되는 입체화상의 품질이 열화될 가능성이 있다.

본 발명은, 상기한 점을 감안해서 이루어진 것으로, 입체화상에 대해 적정한 화상처리를 실시할 수 있는 3차원 화상처리장치, 방법 및 컴퓨터 프로그램 제품을 제공하는 것이다.

본 발명의 한 국면의 3차원 화상을 처리하기 위한 장치에 따르면, 이 장치는 입체표시부의 특성에 따라 복수의 시점화상의 각 화소위치가 사상된 하나의 다시점 화상을 표시하는 상기 입체표시부의 특성을 규정값 파라미터로서 취득하는 규정값 파라미터 취득부와, 상기 표시된 입체화상에 관한 관측값을 나타내는 관측값 파라미터를 취득하는 관측값 파라미터 취득부와, 상기 취득된 규정값 파라미터에 기초해서 상기 사상의 역사상을 나타내는 변환정보를 산출하는 변환정보 산출부와, 상기 산출된 변환정보에 기초해서 상기 취득된 관측값 파라미터를 상기 시점화상과 동일 차원으로 변환한 변환제 파라미터를 생성하는 관측값 파라미터 변환부와, 상기 변환된 변환제 파라미터에 기초해서 상기 입체화상의 각 화소위치에 대응하는 상기 시점화상으로의 화상처리를 시점화상마다 제어하는 화상처리 제어부를 포함한다.

또, 본 발명의 다른 국면의 3차원 화상을 처리하기 위한 방법에 따르면, 이 방법은 입체표시부의 특성에 따라 복수의 시점화상의 각 화소위치가 사상된 하나의 다시점 화상을 표시하는 상기 입체표시부의 특성을 규정값 파라미터로서 취득하는 단계와, 상기 입체표시부에 표시된 입체화상에 관한 관측값을 나타내는 관측값 파라미터를 취득하는 단계와, 상기 취득된 규정값 파라미터에 기초해서 상기 사상의 역사상을 나타내는 변환정보를 산출하는 단계와, 상기 산출된 변환정보에 기초해서 상기 취득된 관측값 파라미터를 상기 시점화상과 동일 차원으로 변환한 변환제 파라미터를 생성하는 단계와, 상기 변환제 파라미터에 기초해서 상기 입체화상의 각 화소위치에 대응하는 상기 시점화상으로의 화상처리를 시점화상마다 제어하는 단계를 포함한다.

더욱이, 본 발명의 또 다른 국면에 따른 컴퓨터 프로그램 제품은, 컴퓨터가 본 발명에 따른 방법을 실행하도록 한다.

도 1은 본 발명의 제1 실시예에 따른 3차원 화상처리장치의 구성을 나타낸 블록도이다.

도 2는 3차원 화상처리장치의 기능 구성을 나타낸 블록도이다.

도 3은 3차원 화상표시장치의 사시도이다.

도 4는 화소위치의 관계를 설명하기 위한 개략도이다.

도 5는 화소위치의 관계를 설명하기 위한 개략도이다.

도 6은 화상처리 제어부에 의해 실행되는 동작을 나타낸 플로우차트이다.

도 7은 화소위치의 관계를 설명하기 위한 개략도이다.

도 8은 본 발명의 제2 실시예에 따른 3차원 화상처리장치의 기능 구성을 나타낸 블록도이다.

도 9는 화상처리 제어부에 의해 실행되는 동작을 나타낸 플로우차트이다.

도 10은 본 발명의 제3 실시예에 따른 3차원 화상처리장치의 기능 구성을 나타낸 블록도이다.

이하, 첨부도면을 참조해서 본 발명의 실시예를 상세히 설명한다.

도 1은, 제1 실시예에 따른 3차원 화상처리장치(100)의 구성을 나타낸 블록도이다. 도 1에 나타낸 바와 같이, 3차원 화상처리장치(100)는 정보를 처리하는 CPU(Central Processing Unit; 1), BIOS(basic input/output system: 기본 입출력 시스템) 등을 기억시킨 읽어내기 전용 메모리인 ROM(read-only Memory; 2), 각종 데이터를 다시 쓰기 가능하게 기억하는 주기억장치인 RAM(Random Access Memory; 3), 3차원 화상의 컨텐츠(시점화상군 등)를 격납함과 더불어 3차원 화상처리 프로그램을 격납하는 HDD(Hard Disk Drive; 4) 등으로 구성되어 있다.

CPU(1)는, HDD(4)에 격납된 3차원 화상처리 프로그램에 따라 연산처리를 실행하고 3차원 화상처리장치(100)의 각 부를 통괄적으로 제어한다. 구체적으로, CPU(1)는 HDD(4)에 격납된 복수의 시점화상으로 이루어진 시점화상군으로부터 하나의 다시점 화상을 생성하고, 이 다시점 화상을 3차원 화상표시장치(200)에 표시한다. 이하, CPU(1)가 3차원 화상처리 프로그램에 따라 실행하는 제1 실시예에 따른 특징적인 처리에 대해 설명한다.

도 2는, 3차원 화상처리장치(100)의 기능 구성을 나타낸 블록도이다. 도 2 에 나타낸 바와 같이, CPU(1)가 3차원 화상처리 프로그램에 따라 각 부를 제어함으로써, 관측값 파라미터 취득부(11), 규정값 파라미터 취득부(12), 변환정보 산출부(13), 관측값 파라미터 변환부(14), 화상처리 제어부(15), 화상처리조건 설정부(16) 및 화상처리부(17)가 주기억장치 상에 생성되도록 되어 있다.

관측값 파라미터 취득부(11)는, 3차원 화상처리장치(100)에 의해 생성된 다시점 화상이, 3차원 화상표시장치(200)에 의해 입체화상으로서 표시된 때에 관측되는 파라미터(이하, "관측값 파라미터(observation parameter)"라 함)를 취득한다. 여기서, 관측값 파라미터라 함은, 예컨대 3차원 화상표시장치(200)의 입체표시부(230) 상에 표시되는 입체화상의 크기나 위치, 입체화상을 구성하는 각 화소의 크기나 위치, (예컨대, 각 화소와 입체표시부(230)의 외연 사이의 거리) 등이다. 관측값 파라미터는 관측에 의해 취득할 수 있는 정보를 의미한다.

관측값 파라미터 취득부(11)는 임의의 방법에 의해 관측값 파라미터를 취득할 수 있다. 예컨대, 미리 관측한 관측값 파라미터를 불휘발성 메모리 등의 기억장치에 격납해 놓고, 관측값 파라미터 취득부(11)는 이 기억장치로부터 관측값 파라미터를 취득할 수도 있다. 이 경우, 기억장치는 표시를 실행하는 3차원 화상표시장치(200)에 내장될 수도 있고, 이 3차원 화상표시장치(200)와 인터페이스를 매개로 관측값 파라미터를 취득할 수도 있다.

또, 관측값 파라미터 취득부(11)는, 인터넷 등의 네트워크에 접속할 수 있는 통신수단을 매개로, 당해 네트워크에 접속된 외부의 DB(데이타베이스) 장치 등으로부터 표시를 실행하는 3차원 화상표시장치(200)의 관측값 파라미터를 취득할 수도 있다. 또, 도시하지 않은 키보드 등의 입력수단을 매개로 사용자로부터 입력시킴으로써, 관측값 파라미터를 취득할 수도 있다.

이후, 3차원 화상표시장치(200)에 대해 설명한다. 도 3에 나타낸 바와 같이, 3차원 화상표시장치(200)는 표시화면(210)과 광선제어자(220)를 포함하고 있다. 표시화면(210)은 도시하지 않은 3차원 화상처리장치(100)로부터 입력되는 다시점 화상을 표시한다. 광선제어자(220), 예컨대 렌티큘러시트는, 표시화면(210)으로부터의 광선을 제어한다. 표시화면(210)은, 액정패널(LCD) 등의 화상표시소자(211)와 컬러필터층(212)을 포함하고 있다. 이하, 표시화면(210) 및 광선제어자(220)를 총칭해서, 입체표시부(230)라 한다.

화상표시소자(211)는, 3차원 화상처리장치(100)로부터 입력되는 다시점 화상을 표시한다. 이 표시된 다시점 화상이, 컬러필터층(212) 및 광선제어자(220)를 통해 관측됨으로써, 관측자의 눈에 다시점 화상에 대응한 입체화상이 시인 가능하게 제공되도록 되어 있다. 제1 실시예에서는 3차원 화상처리장치(100)와 3차원 화상표시장치(200)를 별체로 하였다. 그러나, 본 발명은 이에 한정되지 않고 3차원 화상처리장치(100)가 3차원 화상표시장치(200)에 내장되도록 할 수도 있다.

3차원 화상표시장치(200)로 입체화상을 표시한 경우, 실제로는 입체표시부(230)의 표시면 상의 공간(이하, "광선공간"이라 함)에, 다시점 화상의 광(이하, "다시점 화상광"이라 함)이 표시되는 것으로 된다. 다시점 화상광이 표시될 때, 화상표시소자(211)에 표시된 다시점 화상에 포함되는 각 화소위치와, 광선공간에 표시된 다시점 화상광의 각 화소위치는, 경상(鏡像)관계가 아니어서 동일한 위치에 존재하지 않는다. 그 이유는, 3차원 화상표시장치(200)의 화상표시소자(211) 상에, 컬러필터층(212)이나 광선제어자(220) 등이 중첩되어 있기 때문이고, 이들 부재의 특성에 의해 화상표시소자(211)로부터 방출되는 광선의 방향이 변화하기 때문이다.

도 4는, 입체표시부(230) 상에서의 화소위치와, 표시화면(210) 상에서의 화소위치의 관계를 설명하기 위한 개략도이다. 도 4에 있어서, 컬러필터층(212)에는 종횡비가 3：1(3Pp：Pp)의 화소가 포함되어 있다. 이들 화소는 횡방향 및 종방향으로 각각 직선모양으로 매트릭스 형상으로 배열된다. 각 화소는 동일 행 내에서 횡방향으로 R(적), G(녹), B(청)이 교대로 배열되어 있다. 또, 동일 열 내에서 종방향으로 R(적), G(녹), B(청)이 교대로 배열되어 있다. 컬러필터층(212)은 이들 종방향의 3개의 서브픽셀로 하나의 색이 구성되도록 배열되어 있다. 이와 같이 세로로 배열된 3개의 서브픽셀이 1렌즈피치(도 4 중 Ps)에 18세트 배열됨으로써 18시차를 부여하는 입체표시가 가능해진다.

여기서는, 입체표시부(230) 상, 즉 광선공간에 있어서, 특정의 위치 P에 존재하는 하나의 화소가 관측된 것으로 한다. 이때, 위치 P에 대응하는 표시화면(210)에서의 화소는 3개의 서브픽셀로 구성되는 것으로 되고, 예컨대 영역 P'에 존재하는 세로로 배열된 3개의 서브픽셀로 구성된다. 한편, 광선제어자(220)을 통해 관측되는 화소위치와, 표시화면(210) 상에서의 화소위치의 관계는, 이 도 4에 나타낸 예에 한정되는 것은 아니다.

도 5는, 표시화면(210) 상에서의 서브픽셀 단위의 화소위치와 시점화상군에 서의 서브픽셀 단위의 화소위치의 관계를 설명하기 위한 개략도이다. 표시화면(210)의 영역 P'에 존재하는 3개의 서브픽셀은, n매의 시점화상으로 이루어진 시점화상군 중, 시점화상 m에서의 가로로 이웃하는 3개의 서브픽셀로 구성된 경우를 예시하고 있다(m, n는 정수, 단 m＜n). 도 5는 또한 시점화상 m에서의 가로로 이웃하는 3개의 서브픽셀이 표시화면(210)에서의 세로로 배열된 3개의 서브픽셀(R, G, B)로 변환되어 있다.

이와 같이, 시점화상에 포함되는 서브픽셀 단위의 각 화소위치로부터, 표시화면(210)에 표시되는 화상, 즉 다시점 화상을 구성하는 서브픽셀 단위의 각 화소위치로의 사상은, 컬러필터층(212) 및 광선제어자(220)의 특성 등에 대응해서 정해지는 소정의 규약에 기초해서 실행되고 있다. 따라서, 이 규약에 기초해서 다시점 화상이 생성됨으로써 당해 다시점 화상의 입체화상을 관측자의 눈에 제공할 수 있도록 되어 있다.

컬러필터층(212)의 배열은, 도 5에 나타낸 예에 한정되는 것은 아니다. 예컨대, 컬러필터층(212)이 특수한 배치를 하고 있는 경우, 각 시점화상에 포함되는 하나의 화소는, 그 RGB 요소가 각각 분해되고, 표시화면(210) 상에서 복수의 화소로 나누어진 상태로 관측되는 경우도 있다.

도 1로 돌아가면, 규정값 파라미터 취득부(12)에서는, 3차원 화상표시장치가 구비하는, 입체표시부(230)(컬러필터층(212), 광선제어자(220), 화상표시소자(211))의 사양이나 특성을 나타내는 파라미터(이하, "규정값 파라미터"라 함)를 취득한다. 여기서, 규정값 파라미터라 함은, 예컨대 컬러필터층의 배치나 서브픽 셀의 종횡의 크기, 광선제어자(220)의 렌즈피치나 촛점거리, 화상표시소자(211)의 사이즈나 해상도 등이어도, 사양 등에 의해 미리 정해진 정보를 의미한다.

규정값 파라미터 취득부(12)는 임의의 방법에 의해 규정값 파라미터를 취득할 수 있다. 예컨대, 3차원 화상표시장치(200)의 각 부에 관한 복수의 규정값 파라미터를 불휘발성 메모리 등의 기억장치에 미리 격납해 놓고, 규정값 파라미터 취득부(12)가 이 기억장치로부터 해당하는 규정값 파라미터를 취득하도록 할 수도 있다. 이 경우, 기억장치는 3차원 화상표시장치(200)에 내장될 수도 있고, 3차원 화상표시장치(200)와 인터페이스를 매개로 취득할 수도 있다. 또, 규정값 파라미터 자체가 기억장치에 격납되어 있지 않은 경우, 규정값 파라미터 취득부(12)는 3차원 화상표시장치(200)를 구성하는 각 부재의 사양이나 스펙(이하, "설계 데이터"라 함)을 취득하고, 이 설계 데이터로부터 산술 연산, 물리 연산 등을 실행함으로써 규정값 파라미터를 산출해서 취득하도록 할 수도 있다.

또, 규정값 파라미터 취득부(12)는 인터넷 등의 네트워크에 접속할 수 있는 통신수단을 매개로, 당해 네트워크에 접속된 외부의 DB(데이타베이스) 장치 등으로부터 규정값 파라미터를 취득할 수도 있다. 예컨대, 상기 광학부재의 제조 메이커가 Web 사이트에서 사양이나 스펙을 공개하고 있는 경우에는, 네트워크를 매개로 설계 데이터를 검색하고, 검색된 설계 데이터를 이용해서 규정값 파라미터를 산출해서 취득하도록 할 수도 있다. 또, 규정값 파라미터 취득부(12)는, 도시하지 않은 키보드 등의 입력수단을 매개로 사용자로부터 입력되는 설계 데이터로부터, 규정값 파라미터를 취득할 수도 있다.

변환정보 산출부(13)는, 규정값 파라미터 취득부(12)에 의해 취득된 규정값 파라미터에 기초해서 시점화상군으로부터 다시점 화상으로의 생성에 이용한 사상의 역사상을 나타내는 변환정보를 산출한다. 이하, 변환정보 산출부(13)의 동작원리를 설명한다.

II 방식에 의한 3차원 화상표시장치에서는, 입체화상을 표시할 때, 규정값 파라미터 취득부(12)에 의해 취득된 규정값 파라미터, 구체적으로는 컬러필터층(212)의 구성과 광선제어자(220)의 렌즈피치의 관계로부터, 입체화상을 나타내는데 필요한 시차수를 결정한다. 시차수가 결정되면, 이 시차수와 규정값 파라미터에 의해, 시점화상군을 구성하는 시점화상의 총수와, 각 시점화상의 화상 사이즈가 결정된다. 이와 같이 해서 결정된 총수 및 사이즈에 기초해서, 시점화상군은 카메라 어레이에 의해 촬영되거나, CG 처리에 의해 렌더링되거나 함으로써 생성된다.

다음에, 3차원 화상표시장치(200)를 구성하는 컬러필터층(212), 광선제어자(220), 화상표시소자(211) 등의 특성을 나타내는 관측값 파라미터를 이용해서, 실제의 디스플레이 패널에 표시할 입체화상의 생성조건이 결정된다. 구체적으로는, 규정값 파라미터에 따라 준비된 시점화상군에 포함되는 화소의 각 서브픽셀을 재배열(rearrangement)함으로써, 표시할 다시점 화상이 생성된다.

즉, 3차원 화상표시장치(200)의 규정값 파라미터가 정해지면, 시점화상군으로부터 다시점 화상으로의 화소위치의 재배열(변환)을 위한 사상이 똑같이 정해진다. 반대로 역사상을 산출할 수도 있다. 역사상은 실제의 디스플레이 패널에 입체화상을 나타내기 위해 최종적으로 표시된 다시점 화상의 화소위치에서의 서브픽 셀 단위의 화소가 시점화상군에 포함되는 어느 시점화상의 어느 화소위치에 원래 존재하고 있었는지를 도출하기 위한 것이다. 변환정보 산출부(13)에서는, 이 역사상에 상당하는 변환정보를 규정값 파라미터 취득부(12)에 의해 취득된 규정값 파라미터를 이용해서 산출한다.

관측값 파라미터 변환부(14)는, 변환정보 산출부(13)에 의해 산출된 변환정보를 이용해서, 관측값 파라미터 취득부(11)에 의해 취득된 관측값 파라미터의 값을 변환(역사상)한다. 즉, 변환정보 산출부(13)에 의해 산출된 변환정보를 이용해서 관측값 파라미터를 변환함으로써, 관측값 파라미터의 차원(예컨대, 입체화상에 포함되는 각 화소위치)은 시점화상군의 차원(예컨대, 각 시점화상에서의 화소위치)로 변환된다.

제1 실시예에 의하면, 표시면 상에 입체화상을 표시한 경우의 화소위치를 일례로서 설명하였으나, 본 발명은 이에 한정되는 것은 아니다. 일반적으로, 입체화상을 표시할 때, 그 입체화상에서의 화소(정확하게는 입체공간에서의 화상이기 때문에, 2차원적 화소라 함은 개념이 다르고, 입체를 구성하는 곡면에서의 화소)가 시점화상군에 있어서 어디에 상당하는지 산출할 수 있다.

화상처리 제어부(15)는, 관측값 파라미터 변환부(14)에 의해 변환된 관측값 파라미터 및 규정값 파라미터 취득부(12)에 의해 취득된 규정값 파라미터에 기초해서, HDD(4)에 격납된 각 시점화상에 대한 소정의 화상처리 절차를 제어한다.

구체적으로는, 화상처리 제어부(15)는 규정값 파라미터 취득부(12)에 의해 취득된 규정값 파라미터에 의해 결정되는 총시점 수에 기초해서, 그 시점마다 후단 의 화상처리조건 설정부(16)로 관측값 파라미터 변환부(14)에 의해 변환된 파라미터를 출력한다.

도 6은, 제1 실시예에 따른 화상처리 제어부(15)에 의해 실행되는 동작을 나타낸 플로우차트이다. 먼저, 화상처리 제어부(15)는, 시점수를 카운트하는 카운터 N을 최초의 시점(N=0)으로 하는 초기설정을 실행한다(단계 S11). 그 후, 화상처리 제어부(15)는 규정값 파라미터에 의해 결정된 총시점 수 중 현재의 카운터(시점) N에 대응하는 시점화상을 화상처리의 대상으로 설정한다(단계 S12).

계속해서, 화상처리 제어부(15)는 화상처리 대상으로 된 시점 N의 시점화상에 관한 정보와, 관측값 파라미터 변환부(14)에 의해 변환된 파라미터(이하, "변환제(變換濟) 파라미터(converted parameter)"라 함)를 화상처리조건 설정부(16)로 출력한다(단계 S13).

다음에, 화상처리 제어부(15)는, 화상처리부(17)로부터 입력되는 처리종료를 통지하는 통지신호를 대기한다(단계 S14에서 NO). 통지신호가 입력되면(단계 S14에서 YES), 화상처리 제어부(15)는 단계 S15의 처리로 이행한다.

단계 S15에서, 화상처리 제어부(15)는 규정값 파라미터에 의해 결정된 총시점 수에 관해 단계 S12∼S14의 처리를 실행했는지 아닌지를 판정한다. 여기서 모든 시점에 관해 처리가 종료하고 있지 않다고 판정된 경우에는(단계 S15에서 NO), 화상처리 제어부(15)는 카운터 N를 1 증가시킴으로써, 다음의 시점으로 변경하고(단계 S16), 단계 S12의 처리로 다시 되돌아간다.

한편, 모든 시점에 관해 처리가 종료했다고 판정된 경우에는(단계 S15에서 YES), 본 처리를 종료한다.

도 1로 돌아가면, 화상처리조건 설정부(16)는 화상처리 제어부(15)로부터 입력되는 정보에 기초해서, 후단의 화상처리부(17)에 의해 실행되는 화상처리의 처리조건(이하, "화상처리조건"이라 함)을 설정한다. 구체적으로는, 화상처리조건 설정부(16)는 화상처리 제어부(15)로부터 처리대상으로 되는 시점화상에 관한 정보 및 변환제 파라미터를 수취하면, 이들 정보에 기초해서 처리 대상으로 된 시점화상에 포함되는 화소마다 적용하는 화상처리조건을 설정한다.

이하, 도 7을 참조해서, 화상처리조건 설정부(16)가 실행하는 처리의 예로서, 프레임 효과(frame effect)를 경감시키기 위한 화상처리를 실시하는 경우를 설명한다. 도 7은, 입체표시부(230) 상에서의 화소위치와, 시점화상군에서의 서브픽셀 단위의 화소위치의 관계를 나타내고 있다. 여기서, 관측자에 의해 관측되는 입체표시부(230) 상에서의 입체화상의 화소위치를 (x, y)로 나타낸다. 또, 화소위치 (x, y)가 관측값 파라미터 변환부(14)에 의해 변환된 후의 화소위치를 (xm1, ym1, c1), (xm2, ym2, c2), (xm3, ym3, c3)로 나타낸다. xm1, ym2 등은 시점화상 m에서의 x, y좌표를 의미하고 있고, 또 c1, c2, c3는 그 좌표에서의 화소의 서브픽셀을 의미한다. 예컨대, 시점화상이 RGB 24bit로 표현되어 있는 경우, 서브픽셀은 R：8bit, G：8bit, B：8bit의 3개가 존재하고, c1, c2, c3는 각 서브픽셀에 대응한다. 즉, (xm1, ym1, c1)는 시점화상 m의 (xm1, xm2) 좌표의 화소에 포함되는 서브픽셀 c1를 의미하고 있다.

앞에 설명한 예에서는, 설명을 간단하게 하기 위해, 입체표시부(230) 상에서 의 화소위치가 동일한 시점화상 m으로 변환되는 예를 나타내었으나, 본 발명은 이에 한정되는 것은 아니다. 일반적으로, 3차원 화상표시장치(200)에 있어서 입체표시부(230)에 표시된 하나의 화소위치 (x, y)는, 각각 다른 시점화상 m, n, l에 있어서 관측값 파라미터 변환부(14)에 의해 (xm1, ym1, c1), (xn2, yn2, c2), (xl3, yl3, c3)로 변환(역사상)된다.

여기서, 프레임 효과를 경감시키기 위한 화상처리로서, 입체표시부(230)의 표시영역의 외연으로부터의 거리에 따라 투명도(transparency)를 변경하는 화상처리를 실행하는 것으로 한다. 이 화상처리에 관한 절차를 수식화하면, 예컨대 아래 식 (1)과 같이 나타낼 수 있다.

(1)

여기서, dist(x, y)는 좌표 (x, y)에 존재하는 화소의 표시영역의 외연으로부터의 거리(또는, 입체표시부(230)에 표시된 화상 테두리로부터의 거리)를 구하는 함수이다. 또, "A" 및 "B"는 임의의 정수이다. 이들의 값으로부터 구해지는 투명도 "a"의 값에 기초해서, 각 시점화상에 포함되는 화소의 투명도가 변경된다. "a"가 "0"의 경우는 완전히 투명, "1"의 경우는 완전히 불투명이다. 또, "a"의 값이 "0" 또는 "1" 이외의 경우에는, 좌표 (x, y)의 화소의 색을 "c"로 하면, 변환 후의 "c'"는 c' = a×c＋(1-a)×c0(c0는 배경색)와 같이 나타낼 수 있다.

앞에서 설명한 바와 같이, 입체표시부(230)에서 관측되는 화소의 좌표 (x, y)는, 시점화상에 있어서 (xm1, ym1, c1), (xm2, ym2, c2), (xm3, ym3, c3)의 3개의 서브픽셀로 나타내어진다. 이 경우, 시점화상에서의 각 좌표와 표시영역의 외연 사이의 거리는, 각각 dist(xm1, ym1), dist(xm2, ym2), dist(xm3, ym3)로 구해진다. 그러나, 입체표시부(230)에서의 1화소에 대응하는 시점화상에서의 3개의 서브픽셀의 화소위치가 각각 다르기 때문에, 이들의 거리에 기초해서 화상처리를 실행하면, 투명도는 각각 다른 값으로 된다.

이 때문에, 화상처리조건 설정부(16)에서는, 관측값 파라미터로서 취득된 입체표시부(230) 상에서의 1화소와 표시영역의 외연 사이의 거리로부터, 관측값 파라미터 변환부(14)에 의한 변환 후의 값을, 당해 1화소에 대응하는 시점화상에서의 3개의 서브픽셀의 표시영역 외연까지의 거리 d로 하고, 이 거리을 이용해서 상기 식 (1)에 의해 시점화상에서의 각 화소의 투명도(a)를 산출한다.

이와 같이, 화상처리조건 설정부(16)에서는, 상기 프로세스에서 생성(산출)한 서브픽셀 단위에서의 화상처리조건(예컨대, 서브픽셀 레벨에서의 컨볼루션(convolution) 연산, 필터링 등)을, 후단의 화상처리부(17)로 출력한다.

제1 실시예에서는, 화상처리의 일례로서 프레임 효과의 경감을 도모하는 투과 처리를 설명하였으나, 본 발명은 이에 한정되지 않는다. 예컨대, 노이즈 제거 필터, 로우패스 필터(low-pass filter) 등의 다른 화상처리에 대해서도 마찬가지의 처리가 실행될 수 있다.

또, 제1 실시예에서는, 화소 혹은 서브픽셀 단위로 개별적인 화상처리가 가능한 예를 나타내었으나, 본 발명은 이에 한정되지 않는다. 예컨대, 특정의 화소 주변의 화소정보를 이용해서 화상처리를 실행하는 경우라도 마찬가지의 처리가 실행된다. 다만, 이 경우, 처리는 각 서브픽셀에 관해 실행할 필요가 있다. 또, 입체표시부(230)에 있어서 관측되는 인접하는 2개의 화소는, 동일한 시점화상 내에 변환되는 것으로는 한정되지 않기 때문에, 화상처리로서 복수의 시점화상에 존재하는 서브픽셀의 정보를 이용할 수도 있다.

화상처리부(17)는, 화상처리조건 설정부(16)에 의해 설정된 화상처리조건에 기초해서, 처리 대상으로 된 시점화상에 대해, 당해 시점화상에 포함된 화소마다 소정의 화상처리를 실행한다.

구체적으로, 화상처리부(17)는 화상처리 제어부(15) 또는 화상처리조건 설정부(16)로부터 입력되는 시점화상에 관한 정보에 기초해서, 처리 대상으로 된 시점화상을 HDD(4)로부터 취득한다. 화상처리부(17)는, 화상처리조건 설정부(16)에 의해 설정된 화상처리조건에 따라, 취득한 시점화상에 포함되는 화소마다 소정의 화상처리를 실행한다. 화상처리가 종료하면, 화상처리부(17)는 화상처리 후의 시점화상을 HDD(4)에 써 넣고, 화상처리 제어부(15)에 처리의 종료를 통지하는 신호를 출력한다.

이상과 같이, 제1 실시예에 의하면, 입체화상에 관한 관측값을 나타내는 관측값 파라미터를 시점화상과 같은 차원으로 변환하고, 이 변환된 관측값 파라미터와 규정값 파라미터에 기초해서 각 시점화상에 대한 소정의 화상처리를 제어할 수 있다. 이 때문에, 입체화상에 대해 적정한 화상처리를 실시하는 것이 가능하게 되어, 입체표시부에 표시되는 입체화상의 품질을 향상시킬 수 있다.

제1 실시예에 의하면, 특정의 시점화상에 착안해서 화상처리의 흐름을 설명하였으나, 모든 시점화상에 대해서도 마찬가지의 화상처리가 실행된다. 또, 관측자가 3차원 화상표시장치를 관측하는 위치를 변경하거나, 복수의 관측자에 의해 관측되는 경우에는, 입체화상을 관측하는 위치(시점)가 다르기 때문에, 관측되는 시점마다 마찬가지의 화상처리가 실행된다. 즉, 3차원 화상표시장치가 제공하는 모든 시차 방향으로 대해, 즉 모든 시점화상에 대해, 마찬가지의 화상처리가 실행된다.

다음에, 제2 실시예에 따른 3차원 화상처리장치에 대해 설명한다. 앞에서 설명한 제1 실시예와 마찬가지의 요소에 대해서는, 동일한 부호를 붙이고, 그 설명은 적당히 생략한다.

도 8은, 제2 실시예에 따른 3차원 화상처리장치(101)의 기능 구성을 나타낸 블록도이다. 도 8에 나타낸 3차원 화상처리장치(101)는, CPU(1)가 3차원 화상처리 프로그램에 따라 각 부를 제어함으로써, 관측값 파라미터 취득부(11), 규정값 파라미터 취득부(12), 변환정보 산출부(13), 관측값 파라미터 변환부(14), 화상처리 제어부(15), 화상처리조건 설정부(16), 화상처리부(17), 변환제 파라미터 격납부(18) 및 변환제 파라미터 취득부(19)가 주기억장치 상에 생성되도록 되어 있다.

화상처리 제어부(15)로부터 입력되는 요구신호에 따라, 제2 실시예에 따른 관측값 파라미터 변환부(14)는 이 요구신호에 관한 관측값 파라미터를 변환정보에 기초해서 변환하고, 이 변환된 관측값 파라미터를 화상처리 제어부(15)로 출력한다.

변환제 파라미터 격납부(18)는, 관측값 파라미터 변환부(14)에 의해 변환된 관측값 파라미터(이하, "변환제 파라미터"라 함)를, HDD(4)의 소정의 기억 영역에 격납한다. 제2 실시예에서는, 변환제 파라미터를 HDD(4)에 격납하였으나, 본 발명은 이에 한정되지 않는다. 예컨대, 변환제 파라미터는 일시기억영역인 RAM(3)에 격납할 수도 있다. 또, 변환제 파라미터는 인터넷 등의 네트워크에 접속된 컴퓨터 상에 격납할 수도 있다.

화상처리 제어부(15)로부터 입력되는 요구신호에 따라, 변환제 파라미터 취득부(19)는 이 요구신호로 지시된 변환제 파라미터를 HDD(4)로부터 취득하고, 화상처리 제어부(15)로 출력한다. 여기서, 변환제 파라미터 취득부(19)는, 화상처리 제어부(15)로부터 지시된 변환제 파라미터를 HDD(4)로부터 취득할 수 없는 경우, 즉 화상처리 제어부(15)가 관측값 파라미터 변환부(14)에 의해 변환이 실행되고 있지 않은 변환제 파라미터를 요구한 경우, 취득 불가를 나타내는 지시신호를 화상처리 제어부(15)로 출력한다.

또, 제2 실시예에 따른 화상처리 제어부(15)는, 변환제 파라미터 취득부(19) 또는 관측값 파라미터 변환부(14)로부터 변환제 파라미터를 수신해서, 화상처리조건 설정부(16) 및 화상처리부(17)를 제1 실시예와 마찬가지로 제어한다.

도 9는, 제2 실시예에 따른 화상처리 제어부(15)에 의해 실행되는 동작을 나타낸 플로우차트이다. 먼저, 화상처리 제어부(15)는, 후단의 화상처리조건 설정부(16) 및 화상처리부(17)에서의 화상처리에 관한 변환제 파라미터를 요구하는 요구신호를, 변환제 파라미터 취득부(19)로 출력한다(단계 S21).

계속해서, 화상처리 제어부(15)는, 변환제 파라미터 취득부(19)로부터 변환제 파라미터가 입력되었는지 아닌지를 판정하고(단계 S22), 변환제 파라미터가 입력된 경우는(단계 S22에서 YES), 이 변환제 파라미터에 기초해서, 제1 실시예와 마찬가지로 화상처리조건 설정부(16) 및 화상처리부(17)를 제어하고(단계 S23), 본 처리를 종료한다.

한편, 취득 불가를 나타내는 지시신호가 입력된 경우에는(단계 S22에서 NO), 화상처리 제어부(15)는 변환제 파라미터를 요구하는 요구신호를 관측값 파라미터 변환부(14)로 출력한다(단계 S24). 그리고, 화상처리 제어부(15)는, 관측값 파라미터 변환부(14)로부터 변환제 파라미터가 입력되면(단계 S25), 단계 S23으로 이행하고, 제1 실시예와 마찬가지로 화상처리조건 설정부(16) 및 화상처리부(17)를 제어한 후, 본 처리를 종료한다.

이상과 같이, 제2 실시예에 의하면, 3차원 화상처리장치는 입체화상에 관한 관측값을 나타내는 관측값 파라미터를 시점화상과 같은 차원으로 변환하고, 이 변환된 관측값 파라미터와 규정값 파라미터에 기초해서 각 시점화상에 대한 소정의 화상처리를 제어할 수 있다. 이 때문에, 3차원 화상처리장치는 입체화상에 대해 적정한 화상처리를 실시하는 것이 가능하게 되어, 입체표시부에 표시되는 입체화상의 품질을 향상시킬 수 있다. 또, 3차원 화상처리장치는 기억된 변환제 파라미터를 재이용할 수 있기 때문에, 불필요한 연산을 생략하는 것이 가능하게 되어, 처리속도를 향상시킬 수 있다.

제2 실시예에서는, 화상처리 제어부(15)가 관측값 파라미터 변환부(14)에 의 해 변환이 실행되고 있지 않은 변환제 파라미터를 요구한 경우, 변환제 파라미터 취득부(19)가 취득 불가를 나타내는 지시신호를 화상처리 제어부(15)로 출력했다. 그러나, 본 발명은 이에 한정되지 않는다. 예컨대, 변환제 파라미터 격납부(18)는 화상처리 제어부(15)로부터 요구된 변환제 파라미터를 관측값 파라미터 변환부(14)에 다시 요구할 수도 있다.

다음에, 제3 실시예에 따른 3차원 화상처리장치에 대해 설명한다. 앞에서 설명한 제1 실시예와 마찬가지의 요소에 대해서는, 동일한 부호를 붙이고, 그 설명은 적당히 생략한다.

도 10은, 제3 실시예에 따른 3차원 화상처리장치(102)의 기능 구성을 나타낸 블록도이다. 도 10에 나타낸 3차원 화상처리장치(102)에서는, CPU(1)가 3차원 화상처리 프로그램에 따라 각 부를 제어함으로써, 관측값 파라미터 취득부(11), 규정값 파라미터 취득부(12), 변환정보 산출부(13), 관측값 파라미터 변환부(14), 화상처리 제어부(15), 화상처리조건 설정부(16), 화상처리부(17) 및 관측위치정보 취득부(20)가 주기억장치 상에 생성되도록 되어 있다.

관측위치정보 취득부(20)는, 3차원 화상표시장치(200; 입체표시부(230))를 관측하는 관측자의 관측위치를 나타낸 관측위치정보를 취득한다. 여기서, 관측위치정보는, 3차원 화상표시장치(200)와 당해 3차원 화상표시장치(200)의 관측자의 상대적 또는 절대적 위치관계를 나타내는 정보이다. 예컨대, 관측위치정보는 관측자의 존재 위치나, 관측자의 몸의 방향(예컨대, 시선 방향), 관측자와 3차원 화상표시장치 사이의 거리 등을 포함한다.

이 경우, 관측위치정보 취득부(20)는 임의의 방법을 이용해서 관측위치정보를 취득할 수 있다. 예컨대, 헤드 트랙킹 시스템(head tracking system)이나 아이 트랙킹 시스템(eye tracking system) 등을 이용해서 관측자의 머리나 눈의 위치를 검출하고, 이 검출결과로부터 관측자와 3차원 화상표시장치(200) 사이의 위치관계를 관측위치정보로서 취득할 수도 있다. 또, 카메라 등에 의해 관측자를 촬영하고, 이 촬영된 화상을 공지의 컴퓨터 비전 기술을 이용해서 해석함으로써 관측위치정보를 취득할 수도 있다. 또, 관측자에게 발신기 등을 장착시키고, 이 발신기로부터 발생된 신호를 검출함으로써, 관측위치정보를 취득할 수도 있다. 한편, 3차원 화상표시장치(200)가 존재하는 위치는 미리 검지되어 있는 것으로 한다.

제3 실시예에 따른 관측값 파라미터 변환부(14)는, 변환정보 산출부(13)에 의해 산출된 변환정보와 관측위치정보 취득부(20)에 의해 취득된 관측위치정보에 기초해서, 관측값 파라미터 취득부(11)에 의해 취득된 관측값 파라미터를 변환한다. 이하, 관측값 파라미터 변환부(14)의 동작 원리에 대해 설명한다.

관측위치정보 취득부(20)에 의해 취득된 관측위치정보로부터, 관측자와 3차원 화상표시장치(200)의 위치관계가 검출된다. 이때, 3차원 화상표시장치(200)의 모든 방위 대신, 이 관측자가 존재하는 방위에 입체화상의 표시를 한정함으로써, 입체화상의 화질 향상이 예상된다. 그 이유는, 관측자가 존재하는 방향으로 입체화상을 편의(偏倚), 구체적으로는 입체화상을 표시하는 광선공간의 광속(光束)을 관측자가 존재하는 방향으로 편의시킬 수 있기 때문이다. 이에 따라, 입체표시부(230)에 표시되는 입체화상의 표시밀도를 고밀도(고해상도)로 할 수 있다.

상기와 같이 관측자가 관측위치에 대응해서 광선공간의 밀도를 편의시키는 경우, 3차원 화상표시장치(200; 입체표시부(230)) 자체의 특성에 더해, 관측자가 관측위치에 대응한 새로운 변환정보를 도출할 필요가 있다. 제3 실시예에 따른 관측값 파라미터 변환부(14)는, 관측위치정보에 의해 입체화상을 형성하는 광선공간을 왜곡시키기 위한 사상(일반적으로는, 1대 1뿐만 아니라, 1대 다, 또는 다대 1의 사상으로 될 수 있음)을 산출한다. 그리고, 관측값 파라미터 변환부(14)는 이 사상에 변환정보 산출부(13)에 의해 산출된 변환정보를 가미함으로써 새로운 변환정보를 산출한다. 그 후, 관측값 파라미터 변환부(14)는 이 새로운 변환정보를 이용해서 관측값 파라미터 취득부(11)에 의해 취득된 관측값 파라미터를 변환한다.

구체적으로, 관측값 파라미터 변환부(14)는, 관측위치정보 취득부(20)에 의해 취득된 관측위치정보에 기초해서, 관측자와 3차원 화상표시장치(200)의 상대적인 위치관계로부터 얻어지는 벡터 V(3차원 화상표시장치(200)로부터 바라본 관측자의 존재방향)를 산출한다. 변환정보 산출부(13)에 의해 산출되는 변환정보는, 시역(입체화상을 볼 수 있는 영역)을 넓게 취한다고 하는 요청으로부터, 입체화상을 표시하는 광선공간의 광속이 입체표시부(230)에 대해 균일하게 배치되도록 규정된다.

또, 관측값 파라미터 변환부(14)는, 변환정보 산출부(13)에 의해 산출된 변환정보에 기초해서, 광선공간을 형성하는 입체표시부(230)로부터 조사된 다시점 화상의 광속 중, 벡터 V와 거의 동등방향의 광속에 대응하는 다시점 화상(시점화상) 상의 화소위치를 특정한다. 그리고, 관측값 파라미터 변환부(14)는 당해 화소위치 에 입체화상의 화소위치를 사상하는 새로운 변환정보(이하, "관측위치 변환정보"라 함)를 산출하고, 산출한 관측위치 변환정보에 기초해서 관측값 파라미터 취득부(11)에 의해 취득된 관측값 파라미터를 변환한다.

벡터 V와 거의 동등방향의 광속은, 이하와 같은 프로세스로 판별할 수 있다. 예컨대, 입체표시부(230)로부터 조사되는 광속의 진행방향을 벡터 W로서 나타내면, 벡터 V와 벡터 W의 내적(V·W =｜V｜·｜W｜cosθ)의 관계를 이용해서, 벡터 V와 벡터 W의 이루는 각 θ를 산출하고, θ의 값이 소정의 반응을 일으키는 최소의 물리량보다도 작은 경우에 거의 동등하다고 판별할 수 있다. 다만, 본 발명은 이 방법에 한정되는 것은 아니다.

상기의 방법 등에 의해 벡터 V와 거의 동등방향을 가진 복수의 광속이 얻어진 경우, 이들 광속에 의해 입체화상을 표시시키기 위해, 각 시점화상에 포함되는 각 화소위치를 당해 입체화상에 포함되는 각 화소위치에 결합시키기 위한 사상은, 관측값 파라미터 취득부(11)에 의해 취득된 관측값 파라미터를 이용해서 산출할 수 있다. 여기서, 산출된 사상의 역사상이 상기한 관측위치 변환정보에 상당한다.

이상과 같이, 제3 실시예에 의하면, 관측자의 관측방향에 따라 화상처리를 실행할 수 있기 때문에, 관측위치로부터 관측했을 때의 입체화상의 품질을 향상시킬 수 있다.

한편, 각 시점화상에 포함되는 각 화소위치를 당해 입체화상에 포함되는 각 화소위치에 결합시키기 위한 사상은, 미리 산출할 수도 있고, 필요에 따라 그 때마다 산출할 수도 있다.

또, 벡터 V와 거의 동등방향의 광속에 의해 표시되는 입체화상의 표시밀도는 특별히 문제삼지 않는 것으로 한다. 예컨대, 표시밀도가 균일하게 되도록 관측위치 변환정보로 규정될 수도 있다. 또, 벡터 V와 벡터 W의 이루는 각 θ가 커지는 것에 비례해서, 표시밀도가 감소되도록 관측위치 변환정보로 규정될 수도 있다.

또, 화상처리 제어부(15)는, 시점화상군에 있어서 관측자의 관측위치에 관련된 화소에 대해서만 화상처리가 실행되도록 제어할 수도 있다. 이에 따라, 관측자의 관측방향으로 영향이 없는 부분에서의 화상처리를 생략할 수 있기 때문에, 처리속도를 향상시킬 수 있다.

또, 제3 실시예에 의하면, 관측위치 변환정보를 관측값 파라미터 변환부(14)가 산출하였으나, 본 발명은 이에 한정되지 않는다. 예컨대, 관측위치정보 취득부(20)에 의해 취득된 관측위치정보를 변환정보 산출부(13)에 입력하고, 이 변환정보 산출부(13)가 관측위치 변환정보를 산출하도록 할 수도 있다. 이 경우, 관측값 파라미터 변환부(14)는, 변환정보 산출부(13)에 의해 산출된 관측위치 변환정보에 기초해서, 관측값 파라미터를 변환한다.

추가적인 이점 및 변형이 이 기술분야에서 통상의 지식을 가진 자에게 쉽게 일어날 것이다. 따라서, 그 광범위한 국면에 있어서 본 발명은 여기에 나타내어지고 설명되는 특성 설명 및 대표 실시예에 한정되는 것은 아니다. 따라서, 첨부된 청구의 범위 및 그들의 등가물에 의해 규정되는 것과 같은 발명의 정신 및 범위를 일탈하는 일없이 각종의 변형이 행해질 수도 있다.

Claims

입체표시부의 특성에 따라 복수의 시점화상의 각 화소위치가 사상된 하나의 다시점 화상을 표시하는 상기 입체표시부의 특성을 규정값 파라미터로서 취득하는 규정값 파라미터 취득부와,

상기 입체표시부 상에 표시된 입체화상에 관한 관측값을 나타내는 관측값 파라미터를 취득하는 관측값 파라미터 취득부와,

상기 취득된 규정값 파라미터에 기초해서 상기 사상의 역사상을 나타내는 변환정보를 산출하는 변환정보 산출부와,

상기 산출된 변환정보에 기초해서 상기 취득된 관측값 파라미터를 상기 시점화상과 동일 차원으로 변환한 변환제 파라미터를 생성하는 관측값 파라미터 변환부와,

상기 변환된 변환제 파라미터에 기초해서 상기 입체화상의 각 화소위치에 대응하는 상기 시점화상으로의 화상처리를 시점화상마다 제어하는 화상처리 제어부를 구비한 것을 특징으로 하는 3차원 화상처리장치.
청구항 1에 있어서, 상기 관측값 파라미터 변환부에 의해 변환된 변환제 파라미터를 격납하는 변환제 파라미터 격납부와,

상기 격납된 변환제 파라미터를 취득하는 변환제 파라미터 취득부를 더 구비 하되,

상기 화상처리 제어부가, 상기 관측값 파라미터 변환부에 의해 변환된 변환제 파라미터 및 상기 변환제 파라미터 취득부에 의해 취득된 변환제 파라미터에 기초해서, 상기 입체화상의 각 화소위치에 대응하는 상기 시점화상으로의 화상처리를 시점화상마다 제어하는 것을 특징으로 하는 3차원 화상처리장치.
청구항 1에 있어서, 상기 입체화상을 관측하는 관측자의 관측위치정보를 취득하는 관측위치 취득부를 더 구비하되,

상기 관측값 파라미터 변환부가, 상기 변환정보와 관측위치정보에 기초해서, 상기 관측값 파라미터를 상기 관측위치에 대응한 값으로 변환함과 더불어, 상기 시점화상과 동일 차원으로 변환하고,

상기 화상처리 제어부는, 상기 변환제 파라미터에 기초해서 상기 입체화상의 각 화소위치에 대응하는 상기 시점화상으로의 화상처리를 시점화상마다 제어하는 것을 특징으로 하는 3차원 화상처리장치.
청구항 1에 있어서, 상기 화상처리 제어부에 의해 실행되는 제어에 기초해서, 상기 각 시점화상에 포함된 화소마다의 화상처리조건을 설정하는 화상처리조건 설정부와,

상기 화상처리조건 설정부에 의해 설정된 화상처리조건에 기초해서, 상기 각 시점화상에 포함된 화소마다 화상처리를 실시하는 화상처리부를 더 구비한 것을 특징으로 하는 3차원 화상처리장치.
청구항 1에 있어서, 상기 입체표시부는, 상기 다시점 화상을 표시하는 화상표시소자와, 당해 화상표시소자에 중첩되는 컬러필터층과, 상기 화상표시소자에서의 광선을 제어하는 광선제어자를 포함하고,

상기 규정값 파라미터 취득부는, 상기 화상표시소자, 컬러필터층 및 광선제어자의 적어도 하나의 특성을 규정값 파라미터로서 취득하는 것을 특징으로 하는 3차원 화상처리장치.
청구항 5에 있어서, 상기 광선제어자는, 상기 화상표시소자에 중첩된 렌티큘러시트인 것을 특징으로 하는 3차원 화상처리장치.
청구항 1에 있어서, 상기 관측값 파라미터 취득부는, 상기 입체표시부 상에 표시된 입체화상의 위치를 취득하는 것을 특징으로 하는 3차원 화상처리장치.
청구항 1에 있어서, 상기 관측값 파라미터 취득부는, 상기 입체표시부 상에 표시된 입체화상과 당해 입체표시부의 외연 사이의 거리를 취득하는 것을 특징으로 하는 3차원 화상처리장치.
청구항 3에 있어서, 상기 관측위치 취득부는, 상기 입체표시부와 관측자의 위치관계를 취득하는 것을 특징으로 하는 3차원 화상처리장치.
청구항 3에 있어서, 상기 관측위치 취득부는, 상기 입체표시부에 대한 상기 관측자의 관측방향을 취득하는 것을 특징으로 하는 3차원 화상처리장치.
청구항 3에 있어서, 상기 관측위치 취득부는, 상기 입체표시부와 관측자 사이의 거리를 취득하는 것을 특징으로 하는 3차원 화상처리장치.
입체표시부의 특성에 따라 복수의 시점화상의 각 화소위치가 사상된 하나의 다시점 화상을 표시하는 상기 입체표시부의 특성을 규정값 파라미터로서 취득하는 단계와,

상기 입체표시부 상에 표시된 입체화상에 관한 관측값을 나타내는 관측값 파라미터를 취득하는 단계와,

상기 취득된 규정값 파라미터에 기초해서 상기 사상의 역사상을 나타내는 변환정보를 산출하는 단계와,

상기 산출된 변환정보에 기초해서 상기 취득된 관측값 파라미터를 상기 시점화상과 동일 차원으로 변환한 변환제 파라미터를 생성하는 단계와,

상기 변환제 파라미터에 기초해서 상기 입체화상의 각 화소위치에 대응하는 상기 시점화상으로의 화상처리를 시점화상마다 제어하는 단계를 구비하여 이루어진 것을 특징으로 하는 3차원 화상처리방법.
3차원 화상을 처리하기 위한 프로그램 명령을 포함하는 컴퓨터 독출가능한 매체를 갖춘 컴퓨터 프로그램 제품으로서, 컴퓨터에 의해 실행되는 경우, 상기 명령이 컴퓨터에,

입체표시부의 특성에 따라 복수의 시점화상의 각 화소위치가 사상된 하나의 다시점 화상을 표시하는 상기 입체표시부의 특성을 규정값 파라미터로서 취득하는 기능과,

상기 입체표시부 상에 표시된 입체화상에 관한 관측값을 나타내는 관측값 파라미터를 취득하는 기능과,

상기 취득된 규정값 파라미터에 기초해서 상기 사상의 역사상을 나타내는 변환정보를 산출하는 기능과,

상기 산출된 변환정보에 기초해서 상기 관측값 파라미터를 상기 시점화상과 동일 차원으로 변환한 변환제 파라미터를 생성하는 기능과,

상기 변환된 변환제 파라미터에 기초해서 상기 입체화상의 각 화소위치에 대응하는 상기 시점화상으로의 화상처리를 시점화상마다 제어하는 기능을 실행시키는 것을 특징으로 하는 컴퓨터 프로그램 제품.