KR20110140083A - 표시 장치 및 표시 장치의 제어 방법 - Google Patents

표시 장치 및 표시 장치의 제어 방법 Download PDF

Info

Publication number
KR20110140083A
KR20110140083A KR1020110058483A KR20110058483A KR20110140083A KR 20110140083 A KR20110140083 A KR 20110140083A KR 1020110058483 A KR1020110058483 A KR 1020110058483A KR 20110058483 A KR20110058483 A KR 20110058483A KR 20110140083 A KR20110140083 A KR 20110140083A
Authority
KR
South Korea
Prior art keywords
shift amount
parallax
image
unit
display unit
Prior art date
Application number
KR1020110058483A
Other languages
English (en)
Inventor
타카노리 이시카와
카즈나리 요시후지
요타 코모리야
이사오 오하시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20110140083A publication Critical patent/KR20110140083A/ko

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • G03B35/24Stereoscopic photography by simultaneous viewing using apertured or refractive resolving means on screens or between screen and eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/14Printing apparatus specially adapted for conversion between different types of record
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/376Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements

Abstract

복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와, 상기 표시부의 화소면의 앞에 배치되고, 상기 표시부로부터의 광을 분리시키는 패럴랙스 배리어를 갖는 표시 장치가 제공된다. 상기 표시 장치는, 상기 시점 화상 사이의 시차 분포 정보를 추출하는 시차 추출부와, 추출된 시차 분포 정보에 의거하여, 시프트량을 산출하는 파라미터 산출부와, 산출된 시프트량에 의거하여, 적어도 하나의 시점 화상을 시프트 처리하는 시프트 처리부와, 시프트 처리된 시점 화상을 표시부에 재배치하는 매핑 처리부를 포함한다.

Description

표시 장치 및 표시 장치의 제어 방법{DISPLAY DEVICE AND CONTROL METHOD OF DISPLAY DEVICE}
본 발명은, 입체 영상을 시청 가능한 입체 표시 장치 및 입체 표시 장치의 제어 방법에 관한 것이다.
입체 영상을 보기 위해서는, 일반적으로, 우안용, 좌안용 2개의 영상이 필요하다. 입체 화상의 제시 방법으로서는, 예를 들면 편광 안경을 이용하여, 두 눈에 서로 다른 편광 상태에 의거한 시점(視點) 화상(또는 시차(視差) 화상)을 보는 방법이나, 안경을 이용하지 않고, 패럴랙스 배리어나 렌티큘러 렌즈를 이용하여 복수의 시점 화상 중 소정의 시점 화상을 시청자의 안구에 도광하는 방법이 제안되어 있다. 패럴랙스 배리어를 이용한 입체 표시 장치에서는, 패럴랙스 배리어의 개구부를 통과하는 광선에 의해 구성되는 영상이 양쪽 눈에서 다른 시점 화상이 되도록 구성되어 있다.
나안용(裸眼用)의 입체 표시 장치의 경우, 특수한 안경을 이용하지 않고서 입체시(立體視)할 수 있다는 이점이 있는 한편, 다음과 같은 과제도 있다. 즉, 전술한 바와 같이 액정 디스플레이상의 화소에 배치된 각 시점 화상이 주기적(도 1에서는, 시점(1, 2, 3, 4, 1, 2, 3, 4, …))으로 배치되어 있다. 이 때문에, 각 주기의 경계 부분, 즉, 4개의 영상 데이터의 주기의 단락(시점(4), 시점(1))에서는, 우안(右眼)에 들어가야 할 시점 영상이 좌안에 도광되고, 좌안에 들어가야 할 시점 영상이 우안에 도광되는 역시(逆視; pseudoscopic) 영역이 존재한다. 역시 영역에서는, 시청자에게는 입체 화상의 앞과 속이 반전하는 영상을 지각하는, 또는 부자연스럽게 융합하여 보인다는 위화감이 있는 역시 현상이 생긴다.
역시 현상에 대해 조금이라도 시청자의 불쾌감을 제거하려는 시도가 제안되어 있다(예를 들면, 일본 특개 2000-47139호 공보 참조). 일본 특개 2000-47139호 공보에서는, 시청자의 위치를 검출하고, 그 위치 정보에 의거하여, 상기 패럴랙스 배리어에 상당하는 광변조기의 마스크 패턴의 패턴 형상을 변화시킴으로써, 역시 현상을 경감한다.
그러나, 일본 특개 2000-47139호의 방법에서는 고정밀한 검출 장치나 광변조기 등의 장치가 필요해지고, 메인티넌스나 가격면에서 매우 고비용이 된다. 또한, 역시 현상은, 나안용 입체 표시 장치에서 원리적으로 생기는 것이기 때문에 근본적인 해결은 어렵다. 따라서, 특별한 장치를 사용하지 않고 역시 현상의 불쾌감을 조금이라도 경감하는 것이 실질적인 해결법이 된다. 또한, 역시 영역뿐만 아니라, 정시(正視) 영역에서도, 특히 입체 영상의 시차량이 커지면, 영상의 튀어나옴 정도에 따라서는 시청자에게 피로가 쌓이는 경우가 있다. 또한, 그 피로도도 남성과 여성, 어른과 아동 등 개인차가 크다.
상기 과제에 대해, 본 발명의 목적으로 하는 점은, 렌티큘러 렌즈나 패럴랙스 배리어 등을 이용한 입체 표시 장치에 있어서, 시차의 조정에 의해 입체 영상의 피로감이나 불쾌감을 경감하는 것이 가능하며, 신규이면서 개량된 입체 표시 장치 및 입체 표시 장치의 제어 방법을 제공하는 것에 있다.
본 발명의 실시 형태에 따르면, 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와, 상기 표시부의 화소면의 앞에 배치되고 상기 표시부로부터의 광을 분리시키는 광분리부를 포함하는 표시 장치가 제공된다. 상기 표시 장치는: 상기 시점 화상 사이의 시차 분포 정보를 추출하는 시차 추출부와; 상기 시차 분포 정보에 의거하여, 시프트량을 산출하는 파라미터 산출부와; 상기 산출된 시프트량에 의거하여, 적어도 하나의 시점 화상을 시프트 처리하는 시프트 처리부; 및 상기 시프트 처리된 시점 화상을 상기 표시부에 재배치하는 매핑 처리부를 포함한다.
상기 파라미터 산출부는, 상기 시차 분포 정보에 의거하여 상기 표시부의 화면 중에 포함되는 화소마다의 시차의 평균치를 시프트량으로서 산출할 수도 있다.
상기 파라미터 산출부는, 상기 시차 분포 정보에 의거하여 상기 표시부의 앞쪽측과 속측에 위치하는 것으로 지각되는 화소수가 거의 동등하게 되는 시차값을 시프트량으로서 산출할 수도 있다.
상기 파라미터 산출부는, 상기 시점 화상 내의 물체의 면적에 응하여, 상기 산출된 시프트량에 가중치 부여한 값을 시프트량으로서 산출할 수도 있다.
표시 장치는 관찰자의 얼굴 인식에 기초하여 관찰자의 위치 정보를 검출하는 검출부를 더 포함할 수도 있고; 상기 파라미터 산출부는, 상기 시차 분포 정보 및 상기 관찰자의 위치 정보에 의거하여 시프트량을 산출한다.
상기 파라미터 산출부는, 상기 검출된 관찰자의 위치 정보로부터 관찰자 중의 적어도 1인이 역시 영역에 존재한다고 판정된 경우에 시프트량을 산출할 수도 있다.
상기 표시 장치는 관찰자의 얼굴 인식에 의거하여 관찰자의 속성 정보를 검출하는 검출부를 더 포함할 수도 있고; 상기 파라미터 산출부는, 상기 시차 분포 정보 및 상기 속성 정보에 의거하여 시프트량을 산출한다.
상기 파라미터 산출부는, 상기 산출된 시프트량에 의거하여 가상 시점 화상의 생성 위상을 결정할 수도 있다.
상기 파라미터 산출부는, 산출된 시프트량이 미리 정해진 값 이상인 경우, 가상 시점 화상이 상기 시프트 처리된 시점 화상의 우안용 화상 및 좌안용 화상의 사이에 내삽하여 생성되도록 가상 시점 화상의 생성 위상을 결정할 수도 있다.
상기 파라미터 산출부는, 상기 관찰자의 위치 정보에 의거하여 가상 시점 화상의 생성 위상을 결정할 수도 있다.
본 발명의 다른 실시 형태에 따르면, 광원과, 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와, 상기 표시부와 상기 광원과의 사이에 배치되고 상기 광원으로부터의 광을 분리시키는 광분리부를 포함하는 표시 장치가 제공된다. 상기 표시 장치는: 상기 시점 화상 사이의 시차 분포 정보를 추출하는 시차 추출부와; 상기 추출된 시차 분포 정보에 의거하여, 시프트량을 산출하는 파라미터 산출부와; 상기 산출된 시프트량에 의거하여, 적어도 하나의 시점 화상에 대한 시프트 처리를 수행하는 시프트 처리부; 및 상기 시프트 처리된 시점 화상을 재배치하는 매핑 처리부를 포함한다.
본 발명의 다른 실시 형태에 따르면 표시 장치가 제공되는데, 상기 표시 장치는: 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와; 관찰자의 위치 정보를 검출하는 검출부와; 상기 위치 정보에 의거하여 시프트량을 산출하는 파라미터 산출부; 및 상기 산출된 시프트량에 의거하여 상기 시점 화상의 적어도 하나에 대해 시프트 처리를 수행하는 시프트 처리부를 포함한다.
본 발명의 다른 실시 형태에 따르면 표시 장치가 제공되는데, 상기 표시 장치는: 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와; 관찰자의 속성 정보를 검출하는 검출부와; 상기 속성 정보에 의거하여 시프트량을 산출하는 파라미터 산출부; 및 상기 산출된 시프트량에 의거하여 상기 시점 화상의 적어도 하나에 대해 시프트 처리를 수행하는 시프트 처리부를 포함한다.
본 발명의 다른 실시 형태에 따르면 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와, 상기 표시부의 화소면의 앞에 배치되고 상기 표시부로부터의 광을 분리시키는 광분리부를 포함하는 표시 장치의 제어 방법이 제공되는데, 상기 제어 방법은: 상기 시점 화상 사이의 시차 분포 정보를 추출하는 스텝과; 상기 시차 분포 정보에 의거하여 시프트량을 산출하는 스텝과; 상기 산출된 시프트량에 의거하여 적어도 하나의 시점 화상에 대해 시프트 처리를 수행하는 스텝; 및 상기 시프트 처리된 시점 화상을 상기 표시부에 재배치하는 스텝을 포함한다.
이상 설명한 바와 같이 본 발명에 의하면, 시차의 조정에 의해 입체 영상 시청시의 피로감이나 불쾌감을 경감할 수 있다.
도 1은 본 발명의 제 1 및 제 2 실시 형태에 관한 패럴랙스 배리어를 이용한 입체 표시 장치의 개략 구성도.
도 2는 시차량과 입체 화상과의 관계를 설명하기 위한 개념도.
도 3은 제 1 및 제 2 실시 형태에 관한 입체 표시 장치의 기능 구성도.
도 4a는 제 1 및 제 2 실시 형태에 관한 시프트 처리(앞으로 시프트)를 설명하기 위한 도면.
도 4b는 제 1 및 제 2 실시 형태에 관한 시프트 처리(속측으로 시프트)를 설명하기 위한 도면.
도 5a는 제 1 및 제 2 실시 형태에 관한 가상 시점 화상 생성의 생성 위상(내삽)을 설명하기 위한 도면.
도 5b는 제 1 및 제 2 실시 형태에 관한 가상 시점 화상 생성의 생성 위상(외삽)을 설명하기 위한 도면.
도 6은 제 1 및 제 2 실시 형태에 관한 입체 표시 장치의 처리 플로우를 도시한 도면.
도 7은 제 1 실시 형태에 관한 파라미터 산출부의 처리 플로우를 도시한 도면.
도 8은 제 2 실시 형태에 관한 파라미터 산출부의 처리 플로우를 도시한 도면.
이하에 첨부 도면을 참조하면서, 본 발명의 각 실시 형태에 관해 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는, 동일한 부호를 붙임에 의해 중복 설명을 생략한다.
또한, 본 발명의 실시 형태는 다음 순서로 설명된다.
<제 1 실시 형태>
[입체 표시 장치의 개략 구성]
(역시)
(시차)
[입체 표시 장치의 기능 구성]
[입체 표시 장치의 동작]
(전체 동작)
(파라미터 산출부의 동작)
<제 2 실시 형태>
[입체 표시 장치의 기능 구성]
[입체 표시 장치의 동작]
(파라미터 산출부의 동작)
이하에 설명하는 본 발명에 관한 제 1 및 제 2 실시 형태는, 나안용의 입체 표시 장치에 표시된 입체 영상에 대해 복수의 시점 화상의 특징을 해석하고, 그 특징에 의거하여 복수의 시점 화상을 시프트 처리함에 의해, 입체 영상 시청시의 피로감이나 불쾌감을 경감하는 것이 특징이다. 또한, 이하에 설명하는 각 실시 형태에 관한 나안용의 입체 표시 장치는, 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와, 표시부로부터의 광을 분리시키는 광분리부를 갖는다. 표시부가 자발광 패널인 경우에는 광원을 필요로 하지 않는다. 또한, 표시부가 액정 패널 등 광원을 필요로 하는 경우, 광분리부의 위치는 광원과 액정 패널 사이에 있어도 좋다.
<제 1 실시 형태>
[입체 표시 장치의 개략 구성]
우선, 본 발명의 제 1 실시 형태에 관한 입체 표시 장치의 개략 구성에 관해 도 1을 참조하면서 설명한다. 도 1은, 패럴랙스 배리어를 이용한 입체 표시 장치의 상면도를 도시한다. 도 1에서는, 나안용 입체 표시 장치(100)의 액정 디스플레이(Liquid Crystal Display)의 수평 방향의 화소가 도시되어 있다. 시점수가 4인 도 1의 표시부(100a)의 경우, 4개의 시점 화상을 각각 세로로 분할하고, 표시부(100a)의 각 화소의 위치에 주기성을 갖게 하여 배치한다. 도시하지 않은 광원으로부터의 광을 표시부(100a)에 입광 시키고, 표시부(100a)의 앞에 개구부를 갖는 패럴랙스 배리어(110)를 배치시킴에 의해, 1 내지 4로 표시한 시점 화상을 각각 공간적으로 분리시킬 수 있다. 이에 의해, 우안용의 화상 및 좌안용의 화상을 우안 및 좌안에 보일 수 있다. 또한, 패럴랙스 배리어(110)의 대신에 렌티큘러 렌즈를 이용하여도, 마찬가지로 나안으로 우안용, 좌안용의 영상을 분리시킬 수 있다. 패럴랙스 배리어나 렌티큘러 렌즈 등과 같이, 표시부(100a)로부터의 광을 분리시키는 기구를 광분리부라고도 호칭한다.
이때, 패럴랙스 배리어(110)와 화상은 같은 주기로 되어 있다. 좌안에는 좌안의 시점 영상을, 우안에는 우안의 시점 영상이 올바르게 양쪽 눈에 도광되면, 올바른 입체 화상을 볼 수 있다. 도 1에서는 시점(2)은 좌안, 시점(3)은 우안에 들어가기 때문에, 올바른 영상을 볼 수 있다.
(역시(逆視))
이와 같이 나안용 입체 표시 장치의 경우, 특수한 안경을 이용하지 않고서 입체시를 가능하게 하는 이점이 있다. 그러나, 전술한 바와 같이 표시부(100a)의 각 화소에 복수의 시점 화상이 주기적으로 배치되기 때문에, 각 주기의 경계 부분에서는, 우안에 들어가야 할 시점 영상이 좌안에 도광되고, 좌안에 들어가야 할 시점 영상이 우안에 도광되는 역시 영역이 존재한다. 예를 들면 도 1에서는, 시점 화상이 1, 2, 3, 4, 1, 2, 3, 4, …로 주기적으로 배치되기 때문에, 4개의 영상 데이터의 주기의 단락(시점(4), 시점(1))이, 우안에 들어가야 할 시점 영상이 좌안에 도광되고, 좌안에 들어가야 할 시점 영상이 우안에 도광되는 역시 영역이 된다. 역시 영역에서는, 시청자에게는 입체 화상의 앞과 속이 반전한 영상을 지각하게 하거나, 또는 부자연스럽게 융합하여 보인다는 위화감이 있는 불쾌한 역시 현상이 생긴다.
(시차)
여기서, 입체 영상과 시차와의 관계에 관해, 도 2를 이용하여 설명한다. 전술한 바와 같이, 패럴랙스 배리어나 렌티큘러 렌즈 등의 패럴랙스 소자로 이루어지는 광분리부를 이용하여, 우안용과 좌안용의 시점 화상을 우안과 좌안에 각각 도광시킨다. 본 실시 형태에서는, 입체 표시 장치(100)의 표시부(100a)의 화소면의 전방에 패럴랙스 배리어(110)를 둔다. 시청자는, 패럴랙스 배리어(110)를 통하여 영상을 보기 때문에, 정시 영역에서는 우안에는 우안용의 화상만이 들어가고, 좌안에는 좌안용의 화상만이 들어간다. 이와 같이 하여 우안에 보이는 영상과 좌안에 보이는 영상이 다름에 의해, 표시부(100a)에 투영되는 영상은 입체적으로 보인다.
도 2에서는, 어느 시간(t)에 좌안에 도광되는 시점 화상을 점(A)으로 나타내고, 우안에 도광되는 시점 화상을 점(B)으로 나타낸다. 또한, 다른 어느 시간(t')에 좌안에 도광되는 시점 화상을 점(A')으로 나타내고, 우안에 도광되는 시점 화상을 점(B')으로 나타낸다. x축상의 점(A)의 좌표(Xa)로부터 점(B)의 좌표(Xb)까지의 차분(Xb-Xa)이, 시간(t)에서의 시차(d)이다. 또한, x축상의 점(A')의 좌표(Xa')로부터 점(B')의 좌표(Xb')까지의 차분(Xb'-Xa')이, 시간(t')에서의 시차(d')이다.
시차(d)(또는 d')가 클수록 화면보다 속에 화상이 인입되어 보이던지, 화면보다 앞에 화상이 튀어나와 보이는 정도가 커진다. 시차(d)는, 부호를 갖고 있고, 부호의 차이에 의해 화상이 속 또는 앞에 보인다. 예를 들면, 도 2에 도시한 바와 같이, x축상을 왼쪽부터 오른쪽으로 주사한 경우, 시간(t)에서의 시차(d)(=Xb-Xa)는 정의 부호를 갖는다. 이때, 영상은 표시면보다 속으로 인입되어 보인다. 한편, 시간(t')에서의 시차(d')(=Xb'-Xa')는 부의 부호를 갖는다. 이때, 영상은 표시면보다 앞으로 튀어나와 보인다. 따라서 시차를 조정함에 의해 표시면에 대해 수직 방향의 입체 화상의 상태를 바꾸어 만듦에 의해, 입체 화상의 요철의 정도를 변화시킬 수 있다.
특히, 상기 역시 영역에서는, 시청자에게는 입체 화상의 앞과 속이 반전한 영상을 지각하게 하거나, 또는 부자연스럽게 융합하여 보인다는 위화감이 있는 불쾌한 역시 현상이 생긴다. 역시 현상은, 나안용의 입체 표시 장치에 있어서 원리적으로 생기는 것이기 때문에 근본적인 해결은 어렵다. 따라서, 본 실시 형태에서는, 시차를 조정하여 입체 화상의 요철의 정도를 변화시킴에 의해, 역시 현상의 불쾌감을 경감하는 방법을 제안한다. 이하, 본 실시 형태에 관한 입체 표시 장치(100)의 구체적인 기능 및 동작에 관해 상세히 기술한다.
또한, 영상 신호는 스테레오 화상(2시점 화상)이라도 좋고, 2 이상의 N시점 화상이라도 좋다. 또한, 본 실시 형태에서는, 1프레임을 1화면으로서 취급하지만, 1필드를 1화면으로서 취급하도록 하여도 좋다. 이 이후에는, 설명을 간단하게 하기 위해 입력 신호는 스테레오 화상(2시점 화상)이라고 한다.
[입체 표시 장치의 기능 구성]
본 실시 형태에 관한 입체 표시 장치의 기능 구성에 관해 도 3의 기능 블록도를 참조하면서 설명한다. 본 실시 형태에 관한 입체 표시 장치(100)는, 시차 추출부(120), 위치 및 거리 검출부(130), 파라미터 산출부(140), 시프트 처리부(150), 가상 시점 화상 생성부(160), 매핑 처리부(170)를 갖는다.
시차 추출부(120)는, 표시부(100a)의 각 화소에 주기적으로 배치되어 있는 복수의 시점 화상 사이의 대응점 탐색을 행하고, 1화면 중에 포함되는 화소마다 시차(d)를 검출하고, 시점 사이의 시차 분포 정보를 생성한다. 검출 방법으로서는 블록 매칭법, DP 매칭법 등의 수법을 들 수 있지만, 시차(d)의 검출 방법은, 이것으로 한정되지 않고, 공지의 임의의 수법을 이용할 수 있다. 예를 들면 일본 특허 제4069855호에 개시된 DP 매칭법을 이용하여 시차(d)를 추출하여도 좋다. 도 2를 이용하여 전술한 바와 같이, 스테레오 화상에서 좌화상 상의 좌표를 기준으로 한 경우, 앞에 지각되는 화소의 시차의 부호는 부, 속(奧)에 지각되는 화소의 시차의 부호는 정이 된다.
위치 및 거리 검출부(130)는, 카메라(200)를 이용하여 시청자가 정시 영역에 존재하는지 여부의 상태를 검출한다. 카메라(200)는 표시부(100a)의 상부 등 시청자의 얼굴을 검출하기 쉬운 위치에 설치하여 둔다. 일반적으로 거리 계측을 행하기 위해서는 2대 이상의 카메라가 필요하지만, 1대의 카메라로도 물체 인식 기술에 의해 거리 정보를 취득하는 것이 가능하다.
예를 들면, 위치 및 거리 검출부(130)는, 촬영한 화상 데이터로부터 얼굴 검출(얼굴 인식)을 행하고, 시거리(視距離)에 대한 화상 상의 평균적인 얼굴의 크기를 미리 조사하여 두고, 데이터베이스(210)나 도시하지 않은 메모리에 기록하여 둔다. 검출한 시청자의 얼룩 화상의 크기와 데이터베이스(210)나 메모리 내의 데이터를 비교하고, 대응하는 거리 데이터를 판독함으로써, 시청자의 위치 정보 및 표시부(100a)로부터 시청자까지의 거리 정보를 취득할 수 있다. 또한, 카메라(200)의 설치 위치는 고정되어 있기 때문에, 검출된 얼굴이 위치하는 화상 상의 좌표 정보로부터, 표시부(100a)에 대한 시청자의 상대위치 정보를 취득하는 것도 가능해진다. 또한, 데이터베이스(210)나 상기 메모리는, 입체 표시 장치(100)에 내장하고 있어도 좋고, 외부에 지지하고 있어도 좋다.
본 실시 형태에서의 입체 표시 장치(100)의 경우, 정시 영역과 역시 영역의 위치는 미리 알고 있기 때문에, 검출된 시청자의 위치 정보로부터 시청자가 정시 영역에 존재하는지 여부의 검출이 가능해진다. 또한, 시점수나 1시점당의 시야각이 클수록, 정시 영역의 면적이 커지기 때문에, 고정밀한 시청자의 위치 검출은 필요로 하지 않는다.
파라미터 산출부(140)에서는, 시차 추출부(120)에 의해 생성된 시점 사이의 시차 분포 정보와, 위치 및 거리 검출부(130)에 의해 검출된 시청자의 위치 정보에 의거하여, 시프트량과 생성 위상과의 양(兩) 파라미터를 출력한다. 또한, 파라미터 산출부(140)는, 시차 추출부(120)에 의해 생성된 시점 사이의 시차 분포 정보에 의거하여 시프트량을 산출할 수 있고, 시청자의 위치 정보에 의거하여 가상 시점 화상의 생성 위상을 결정할 수 있다.
예를 들면, 시청자가 역시 영역에 있는 경우, 파라미터 산출부(140)는, 시차 분포 정보에 의거하여 표시부(100a)의 화면 중에 포함되는 화소마다의 시차량의 평균치를 시프트량으로서 산출하여도 좋다. 또는, 파라미터 산출부(140)는, 시차 분포의 히스토그램으로부터 표시부(100a)의 앞쪽측과 속측에 지각되는 면적(화소수)이 거의 동등하게 되는 시차량을 시프트량으로서 산출하여도 좋다.
또한, 역시 현상에 의한 불쾌감의 정도는, 화상 내의 각 오브젝트의 시차량의 크기와 면적에 의존한다. 예를 들면, 표시부(100a)로부터의 튀어나오는 양이 매우 크게 지각되는 물체라도, 면적이 작은 경우에는, 역시 현상에 의한 불쾌감은 작다. 한편, 표시부(100a)의 튀어나오는 양이 작게 지각되는 물체라도 면적이 큰 경우에는, 역시 현상에 의해 매우 불쾌하게 느끼는 경우가 있다. 따라서, 시차량에 물체의 면적을 가미한 시프트량을 이용하여, 물체의 면적을 가미하면서 시차량의 절대치를 작게 하도록 조정하여도 좋다. 즉, 파라미터 산출부(140)는, 상기 산출된 시프트량에 상기 복수의 시점 화상 내의 물체의 면적에 응한 가중치 부여를 한 값을 상기 시프트 처리에 이용하는 시프트량으로서 산출하여도 좋다. 이와 같이 하여 물체의 면적을 고려함에 의해, 역시 현상에 의한 불쾌감이나 시청자의 피로도를 보다 경감할 수 있다고 생각된다.
한편, 본 실시 형태에서는, 시청자가 정시 영역에 있는 경우는, 역시 현상에 의한 불쾌감은 없기 때문에, 원칙적으로는 시프트량을 0으로 하여 출력한다. 단, 시차 분포가 존재함에도 불구하고, 시차 분포의 평균치가 0이 되는 경우가 있다. 그 경우에는, 시청자의 위치 정보에 의거하여, 역시 영역에 있는 경우에는, 생성하는 가상 시점 영상 사이의 시차량을 작게 하도록 생성 위상의 간격을 작게 하여, 역시 현상에 의한 불쾌감을 경감한다.
또한, 시청자가 복수 존재하는 경우, 적어도 1인이 역시 영역에 존재하는지의 여부를 판단하면 좋고, 상기에서 설명한 같은 수단으로, 역시 현상에 의한 불쾌감을 경감할 수 있다.
시프트 처리부(150)는, 파라미터 산출부(140)에 의해 산출된 시프트량에 의거하여, 복수의 시점 화상과 시차 맵을 바꾸어 만들어 출력한다. 새로운 시점 화상은, 원래의 화상 좌표에 시프트량에 응한 오프셋값을 부가하여 화상을 작성할 뿐이기 때문에, 시차 분포의 다이내믹 레인지를 유지한 채로, 시차(d)의 절대치를 제어할 수 있다. 또한, 새롭게 시차 맵(즉, 시차 분포)을 구할 필요는 없고, 직전에 산출된 시차 맵을 이용하여 계산할 수 있기 때문에, 시차 추출을 재차 행할 필요는 없다.
시프트 처리의 개요를 도 4a 및 도 4b에 도시한다. 시프트량이 10인 경우를 도 4a, 시프트량이 -10인 경우를 도 4b에 도시하였다. 파라미터 산출부(140)에서 구한 시프트량에 의거하여, 각 시점 화상의 전체를 수평 방향으로 시프트한 화상을 생성한다(시프트 처리). 또한 시차 맵도 마찬가지로 시프트 처리를 행하고, 시차 데이터의 크기는 시프트량에 의거하여 보정한다.
구체적으로는, 앞쪽에 지각시키고 싶은 경우는, 좌화상(L화상)을 우측으로, 우화상(R화상)를 좌측으로, 화상 전체를 비켜 놓는다. 예를 들면, 도 4a에서는, 시프트량이 10인 경우, 시프트량은 정이므로 속측에 지각된 물체를 앞으로 하기 위해, 좌화상을 우측으로 5화소, 우화상을 좌측으로 -5화소 비켜 놓은 화상을 작성한다. 또한, 좌화상을 기준으로 구한 시차 데이터(D'(y, x))의 크기는 직전의 시차 데이터(D(y, x))에 -10 가산한다.
속측으로 지각시키고 싶은 경우는, 반대로, 좌화상(L화상)을 좌측으로, 우화상(R화상)을 우측으로, 화상 전체를 비켜 놓는다. 예를 들면, 도 4b에서는, 시프트량이 -10인 경우, 시프트량은 부이므로 앞쪽 측에 지각된 물체를 속측으로 하기 위해, 좌화상을 좌측으로 5화소, 우화상을 우측으로 -5화소 비켜 놓은 화상을 작성한다. 또한, 좌화상을 기준으로 구한 시차 데이터(D'(y, x))의 크기는 직전의 시차 데이터(D(y, x))에 +10 가산한다.
또한, 시프트 처리할 때, 화상의 단(端)에 흑대(黑帶)가 발생하기 때문에, 시프트량이 극단적으로 큰 경우에는, 미리 설정한 값에 클립하여 처리를 행하여도 좋다.
가상 시점 화상 생성부(160)는, 시프트 처리된 시점 화상과 시차 분포 정보를 이용하여 가상 시점 화상의 생성을 행한다. 예를 들면, 입력 화상이 스테레오 화상(2시점)에서, 표시부(100a)의 시점수가 4인 경우, 시점 화상이 2시점 부족하다. 이 경우에 스테레오 화상으로부터 가상 카메라 시점의 2시점을 생성하는 생성 위상의 개략도를 도 5a 및 도 5b에 도시한다.
도 5a의 내삽의 경우, 4시점 사이의 시차 분포를 같게 하기 위해, 생성 위상은, 입력 화상의 좌화상의 위치를 0, 우화상의 위치를 1로 하면, 1/3, 2/3의 위치에 가상 시점 화상을 생성한다. 마찬가지로, 도 5b의 외삽의 경우에도, 4시점 사이의 시차 분포를 같게 하기 위해, 생성 위상은, 입력 화상의 좌화상의 위치를 0, 우화상의 위치를 1로 하면, -1, 2의 위치에 가상 시점 화상을 생성한다. 여기서는, 가상 시점 화상의 생성 방법은 특히 한정하지 않지만, 일본 특허 4069855호에 기재된 방법 등을 이용하면 좋다.
매핑 처리부(170)는, 입체 표시 장치(100)의 배리어 주기와 해상도에 맞추어서, 생성한 복수의 시점 화상 데이터를 표시부(100a)에 재배치한다. 예를 들면, 도 1에 도시하는 표시부(100a)의 경우, 해상도와 각 시점 화상의 해상도가 같아서 시점수가 4인 경우에는, 1시점당의 해상도는, 수평 1/4이 된다.
[입체 표시 장치의 동작]
(전체 동작)
다음에, 본 실시 형태에 관한 입체 표시 장치의 전체 동작에 관해, 도 6의 처리 플로우를 참조하면서 설명한다. 도 6에서 처리가 시작되면, 시차 추출부(120)는, 우안 및 좌안용의 시점 화상 사이의 시차(디스패리티) 분포를 추출한다(S605).
다음에, 위치 및 거리 검출부(130)는, 카메라(200)에 투영된 시청자의 위치를 검출한다(S610). 다음에, 파라미터 산출부(140)는, 시차 분포 정보 및 시청자의 위치 정보에 의거하여 시프트량을 결정한다(S615). 다음에, 시프트 처리부(150)는, 시프트량에 의거하여, 시점 화상과 시차 맵을 바꾸어 만들어서 출력한다(S620 : 시프트 처리).
다음에, 가상 시점 화상 생성부(160)는, 시프트 처리된 시점 화상과 시차 분포 정보를 이용하여 가상 시점 화상의 생성을 행한다(S625). 다음에, 매핑 처리부(170)는, 입체 표시 장치(100)의 배리어 주기와 해상도에 맞추어서, 생성한 복수의 시점 화상 데이터의 재배치를 행하고(S630), 처리를 종료한다.
(파라미터 산출부의 동작)
여기서, S615에서 파라미터 산출부(140)에 의해 행하여지는 구체적 처리에 관해, 도 7의 처리 플로우를 참조하면서 설명한다. 도 7에서 처리가 시작되면, 파라미터 산출부(140)는, 파라미터의 초기화로서, 시프트의 초기화를 행함과 함께, 컨텐츠의 화상에 따라 생성 위상의 설정을 행한다.
다음에, 파라미터 산출부(140)는, 컨텐츠(화상)의 시차의 히스토그램를 취득한다(S710). 다음에, 파라미터 산출부(140)는, 대상 컨텐츠가 시차를 갖고 있는 컨텐츠인지의 여부를 판정하기 위해, 시차 분포의 다이내믹 레인지(DR), 즉, 시차 분포의 최소치(min)와 최대치(max)의 폭(도 4a, 도 4b를 참조)을 구한다(S715). 뒤이어, 파라미터 산출부(140)는, 다이내믹 레인지(DR)가 0인지의 여부를 판정한다(S720). 다이내믹 레인지(DR)가 0이면, 대상 컨텐츠는 시차를 갖지 않기 때문에, 본 처리를 곧바로 종료한다.
한편, 다이내믹 레인지(DR)가 0이 아니면, 파라미터 산출부(140)는, 대상 컨텐츠는 시차를 갖고 있기 때문에 역시가 일어날 가능성이 있다고 판정하고, S725로 진행한다. 또한, 여기서는, 다이내믹 레인지(DR)가 0인지의 여부로 시차를 갖고 있는지의 여부를 판정하였지만, 다이내믹 레인지(DR)가 미리 정해진 임계치 미만이면 대상 컨텐츠는 시차를 갖지 않고, 임계치 이상이면 대상 컨텐츠는 시차를 갖는다고 판정하여도 좋다.
입체 표시 장치의 위치에 대해, 어느 위치가 역시 영역인지는 미리 알고 있다. 따라서, 파라미터 산출부(140)는, 카메라(200)에 의해 얼굴 검출한 얼굴의 위치로부터, 시청자가 역시 영역에 존재하는지의 여부를 판정할 수 있다. 시청자가 역시 영역에 존재하지 않는 경우, 시청자 전원이 정시 영역에서 시청하고 있는 것이 되기 때문에, 본 처리를 실행할 필요는 없다고 판정하고, 본 처리를 곧바로 종료한다.
한편, 시청자가 1인이라도 역시 영역에 존재하는 경우, 파라미터 산출부(140)는, 시프트량을 결정한다(S730). 예를 들면, 파라미터 산출부(140)는, 시차의 누적 도수(cumulative frequency)가 대강 반분이 되는 시차량을 시프트량으로서 결정하여도 좋다. 파라미터 산출부(140)는, 시차 분포의 평균치를 시프트량으로서 결정하여도 좋다. 또는, 파라미터 산출부(140)는, 시차 분포의 히스토그램으로부터, 표시부(100a)의 앞과 속에 지각되는 면적(화소수)이 동등하게 되는 시차량을 시프트량으로서 결정하여도 좋다.
다음에, 시프트량이 0인지의 여부를 판정한다(S735). 시프트량이 0이 아닌 경우에는, 가상 시점 화상의 생성 위상을 제한하는 일 없이, 본 처리를 곧바로 종료한다. 시프트량이 0인 경우에는, 파라미터 산출부(140)는, 가상 시점 화상의 생성 위상을 내삽(0.0 내지 1.0)으로 제한하고, 본 처리를 종료한다. 이것은, 가상 시점 화상의 생성 위상을 도 5b에 도시한 외삽으로 하면, 입력 화상의 외측에 가상 시점 화상을 생성하기 때문에, 화상의 어긋남이 보다 커지고, 화상의 불쾌감이 늘어날 가능성이 높기 때문이다. 한편, 가상 시점 화상의 생성 위상을 도 5a에 도시한 내삽으로 하면, 입력 화상의 내측에 가상 시점 화상을 생성하기 때문에, 화상의 어긋남이 보다 작아지고, 화상의 불쾌감이 감소한다. 따라서, 시프트량이 0인 경우에는, 가상 시점 화상의 생성 위상을 화상의 불쾌감이 감소하는 내삽으로 제한한다. 또한, 파라미터 산출부(140)는, 산출된 시프트량에 의거하여 가상 시점 화상의 생성 위상을 결정할 때, S735에서는 시프트량을 0인지의 여부로 판정하였지만, 시프트량이 미리 정해진 소망하는 값(이상) 이상인 경우, 가상 시점 화상이 입력 화상의 사이에 내삽하여 생성되도록 가상 시점 화상의 생성 위상을 결정하여도 좋다.
이상에 설명한 바와 같이, 본 실시 형태에 의하면, 산출된 시차 정보를 기초로, 시점 사이의 시차의 다이내믹 레인지를 유지한 채로, 표시부(100a)의 앞과 속에 지각되는 양의 절대치를 조정한 화상을 작성한다(시프트 처리). 이 시프트 처리에 의해 작성된 시점 화상은, 원래의 시점 화상에 비하여 시차량의 절대치가 작아지기 때문에, 원래의 시점 화상에 비하여, 역시 영역에 불쾌감을 경감하는 것이 가능해진다.
또한, 시점 화상의 시차 정보와 시청자의 위치 정보에 의거하여, 가상 시점 영상 생성에서의 생성 위상이 제어되기 때문에, 역시 현상에 의한 불쾌감을 경감한 입체 화상을 제공하는 것이 가능해진다.
<제 2 실시 형태>
제 1 실시 형태에서는, 역시 영역에 적어도 1인 이상의 시청자가 존재하는 경우에 한하여, 시프트량을 조정하고, 역시 현상의 불쾌감을 경감하였다. 이에 대해, 제 2 실시 형태에서는, 정시 영역만에 시청자가 존재하는 경우나 역시 영역과 정시 영역에 시청자가 존재하는 경우라도, 시청자의 피로 경감을 위해 시프트량을 조정한다. 특히, 본 실시 형태에서는 시차량이 커지면 시청자에게 피로가 쌓이는 것이나, 그 피로도도 남성과 여성, 어른과 아동 등 개인차가 큰 것을 고려하여 시차를 조정하고, 입체 화상을 바꾸어 만든다. 이하, 본 실시 형태에 관한 입체 표시 장치에 관해 상술한다.
[입체 표시 장치의 기능 구성]
본 실시 형태에 관한 입체 표시 장치(100)의 기능 구성은, 도 3에 도시한 제 1 실시 형태에 관한 입체 표시 장치(100)의 기능 구성과 같기 때문에, 기본적 설명은 생략한다. 본 실시 형태에서는, 데이터베이스(210)는, 속성 정보를 보존한다. 위치 및 거리 검출부(130)는, 리모트 콘트롤 조작 등에 의한 시청자의 지시에 응하여 입체 영상을 시청하기 전에 시청자의 속성 정보를 데이터베이스(210)에 등록한다. 구체적으로는, 위치 및 거리 검출부(130)는, 카메라(200)가 촬상할 수 있는 위치에 시청자를 이동시키고, 시청자의 리모트 콘트롤 조작 등을 통하여 얼굴 인식을 행하고, 얼굴 인식된 결과와 시청자의 식별 정보와 시차 정보를 관련시켜 데이터베이스(210)에 등록한다. 예를 들면, 리모트 콘트롤 등을 통하여, 시청자에게 시청자의 이름과 시차 정보의 설정치를 입력시킨다는 방법이 생각된다. 복수명 등록하는 경우는, 우선도도 등록한다.
예를 들면, 얼굴 인식의 결과, 아버지, 어머니, 아동의 3인의 얼굴이 인식되었다고 한다. 이 경우, 위치 및 거리 검출부(130)는, 아버지의 얼굴 인식 정보와 이름과 시차 정보(허용하는 시차의 레벨)와 우선도를 관련시켜 데이터베이스(210)에 기억한다. 이름, 시차 정보 및 우선도는 시청자의 속성 정보의 한 예이다. 어머니, 아동에 관한 속성 정보도 마찬가지로 미리 데이터베이스(210)에 기억되어 있다.
입체 영상의 시청시, 위치 및 거리 검출부(130)는, 시청자의 얼굴 인식에 의해 시청자의 속성 정보를 검출한다. 파라미터 산출부(140)는, 시차 분포 정보 및 속성 정보에 의거하여 시프트량을 결정한다. 시프트량을 결정할 때, 위치 및 거리 검출부(130)는 얼굴 인식에 의해 속성 정보를 취득할 수 있으면 좋고, 반드시 시청자의 위치 정보를 필요로 하지는 않는다.
[입체 표시 장치의 동작]
본 실시 형태에 관한 입체 표시 장치의 전체 동작에 관해서는, 도 6에 도시한 제 1 실시 형태에 관한 입체 표시 장치의 전체 동작과 같기 때문에, 설명을 생략하고, 파라미터 산출부(140)의 동작에 관해서만, 도 8의 처리 플로우를 참조하면서 설명한다.
(파라미터 산출부의 동작)
S705 내지 S720의 처리는 제 1 실시 형태와 마찬가지이다. 즉, 파라미터 산출부(140)는, 시프트량의 초기화와 생성 위상의 설정을 행하고(S705), 컨텐츠의 시차의 히스토그램를 취득하고(S710), 시차 분포의 다이내믹 레인지(DR)를 구하고(S715), 다이내믹 레인지(DR)가 0인지의 여부를 판정한다(S720). 다이내믹 레인지(DR)가 0이면, 대상 컨텐츠는 시차를 갖지 않기 때문에, 본 처리를 곧바로 종료한다.
한편, 다이내믹 레인지(DR)가 0이 아니면, 파라미터 산출부(140)는, 시차 분포 정보 및 속성 정보에 의거하여 시프트량을 결정한다(S805). 예를 들면, 위치 및 거리 검출부(130)에 의해 데이터베이스(210)로부터 검출된 얼굴 인식에 대한 아버지, 어머니, 아동의 속성 정보 중 아동의 우선도가 가장 높은 경우에는, 아동에게 관련된 시차 정보와 시차 분포에 의거하여 시프트량을 결정한다.
S735, S740의 처리는 제 1 실시 형태와 마찬가지이다. 즉, 파라미터 산출부(140)는, 시프트량이 0인 경우에는, 가상 시점 화상의 생성 위상을 내삽(0.0 내지 1.0)으로 제한하여 본 처리를 종료하고, 시프트량이 0이 아닌 경우에는, 본 처리를 곧바로 종료한다.
이상에 설명한 바와 같이, 본 실시 형태에 의하면, 속성 정보에 의거하여 시차를 조정한다. 이와 같이, 본 실시 형태에서는, 가장 우선도가 높은 사람의 피로감을 경감하기 위해, 그 사람을 기준으로 시차를 조정한다. 이에 의해, 우선도를 고려한 시청자의 피로감을 경감할 수 있다. 단, 반드시 우선도로 한하는 일 없이, 속성 정보의 어느 하나를 이용하여 시차를 조정하여도 좋다.
이상, 제 1 및 제 2 실시 형태에 의하면, 다시점(多視点) 화상의 시차 정보에 의거한 시프트 처리에 의해, 예를 들면, 역시 현상에 의한 불쾌감이나, 정시 영역에서도 일어날 수 있는 입체 영상 시청시의 피로감을 경감한 입체 화상을 제공하는 것이 가능해진다.
또한, 각 실시 형태에 관한 기능 블록의 각 부분에의 지령은, 전용의 제어 디바이스 또는 프로그램을 실행하는 CPU(도시 생략)에 의해 실행된다. 따라서 이상에 설명한 각 처리를 실행하기 위한 프로그램은, ROM이나 불휘발성 메모리(모두 도시 생략)에 미리 기억되어 있고, CPU가, 이들의 메모리로부터 각 프로그램을 판독하고 실행함에 의해, 입체 표시 장치의 각 부분의 기능이 실현된다.
상기 제 1 및 제 2의 실시 형태에 있어서, 각 부분의 동작은 서로 관련되어 있고, 서로의 관련을 고려하면서, 일련의 동작으로서 치환할 수 있다. 이에 의해, 입체 표시 장치의 실시 형태를, 입체 표시 장치의 제어 방법의 실시 형태로 할 수 있다.
이상, 첨부 도면을 참조하면서 본 발명이 알맞은 실시 형태에 관해 상세히 설명하였지만, 본 발명은 이러한 예로 한정되지 않는다. 본 발명이 속한 기술의 분야에서 통상의 지식을 갖는 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경예 또는 수정예에 상도할 수 있음은 분명하고, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.
예를 들면, 상기 실시 형태에서는, 화상 처리를 이용하여 시청자의 위치나 표시부로부터 시청자까지의 거리를 산출하였지만, 본 발명은 이러한 예로 한정되지 않는다. 예를 들면, 적외선 등을 사용하고 위치 정보나 거리 정보를 취득하여도 좋다. 표시면과 시청자와의 거리를 안다면, 어떤 방법을 이용하여도 좋다.
또한, 상기 실시 형태에서는, 우안에 도광되는 시점 영상, 우안에 도광되는 시점 영상을 렌티큘러 렌즈나 패럴랙스 배리어로 제어하였지만, 광분리부는, 나안으로 입체 영상을 시청할 수 있다면 다른 어떤 기구를 이용하여도 좋다.
또한, 본 명세서에 있어서, 플로우 차트에 기술된 스텝은, 기재된 순서에 따라 시계열적으로 행하여지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적으로 또는 개별적으로 실행되는 처리도 포함한다. 또한 시계열적으로 처리되는 스텝이라도, 경우에 따라서는 적절히 순서를 변경하는 것이 가능함은 말할 필요도 없다.
100 : 입체 표시 장치 100a : 표시부
110 : 패럴랙스 배리어 120 : 시차 추출부
130 : 위치 및 거리 검출부 140 : 파라미터 산출부
150 : 시프트 처리부 160 : 가상 시점 화상 생성부
170 : 매핑 처리부 200 : 카메라
210 : 데이터베이스

Claims (14)

  1. 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와, 상기 표시부의 화소면의 앞에 배치되고 상기 표시부로부터의 광을 분리시키는 광분리부를 포함하는 표시 장치에 있어서,
    상기 시점 화상 사이의 시차 분포 정보를 추출하는 시차 추출부와;
    상기 시차 분포 정보에 의거하여, 시프트량을 산출하는 파라미터 산출부와;
    상기 산출된 시프트량에 의거하여, 적어도 하나의 시점 화상을 시프트 처리하는 시프트 처리부; 및
    상기 시프트 처리된 시점 화상을 상기 표시부에 재배치하는 매핑 처리부를 포함하는 것을 특징으로 하는 표시 장치.
  2. 제 1항에 있어서,
    상기 파라미터 산출부는, 상기 시차 분포 정보에 의거하여 상기 표시부의 화면 중에 포함되는 화소마다의 시차의 평균치를 시프트량으로서 산출하는 것을 특징으로 하는 표시 장치.
  3. 제 1항에 있어서,
    상기 파라미터 산출부는, 상기 시차 분포 정보에 의거하여 상기 표시부의 앞쪽측과 속측에 위치하는 것으로 지각되는 화소수가 거의 동등하게 되는 시차값을 시프트량으로서 산출하는 것을 특징으로 하는 표시 장치.
  4. 제 1항에 있어서,
    상기 파라미터 산출부는, 상기 시점 화상 내의 물체의 면적에 응하여, 상기 산출된 시프트량에 가중치 부여한 값을 시프트량으로서 산출하는 것을 특징으로 하는 표시 장치.
  5. 제 1항에 있어서,
    관찰자의 얼굴 인식에 기초하여 관찰자의 위치 정보를 검출하는 검출부를 더 포함하고,
    상기 파라미터 산출부는, 상기 시차 분포 정보 및 상기 관찰자의 위치 정보에 의거하여 시프트량을 산출하는 것을 특징으로 하는 표시 장치.
  6. 제 5항에 있어서,
    상기 파라미터 산출부는, 상기 검출된 관찰자의 위치 정보로부터 관찰자 중의 적어도 1인이 역시 영역에 존재한다고 판정된 경우에 시프트량을 산출하는 것을 특징으로 하는 표시 장치.
  7. 제 1항에 있어서,
    관찰자의 얼굴 인식에 의거하여 관찰자의 속성 정보를 검출하는 검출부를 더 포함하고,
    상기 파라미터 산출부는, 상기 시차 분포 정보 및 상기 속성 정보에 의거하여 시프트량을 산출하는 것을 특징으로 하는 표시 장치.
  8. 제 1항에 있어서,
    상기 파라미터 산출부는, 상기 산출된 시프트량에 의거하여 가상 시점 화상의 생성 위상을 결정하는 것을 특징으로 하는 표시 장치.
  9. 제 8항에 있어서,
    상기 파라미터 산출부는, 산출된 시프트량이 미리 정해진 값 이상인 경우, 가상 시점 화상이 상기 시프트 처리된 시점 화상의 우안용 화상 및 좌안용 화상의 사이에 내삽하여 생성되도록 가상 시점 화상의 생성 위상을 결정하는 것을 특징으로 하는 표시 장치.
  10. 제 9항에 있어서,
    상기 파라미터 산출부는, 상기 관찰자의 위치 정보에 의거하여 가상 시점 화상의 생성 위상을 결정하는 것을 특징으로 하는 표시 장치.
  11. 광원과, 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와, 상기 표시부와 상기 광원과의 사이에 배치되고 상기 광원으로부터의 광을 분리시키는 광분리부를 포함하는 표시 장치에 있어서,
    상기 시점 화상 사이의 시차 분포 정보를 추출하는 시차 추출부와;
    상기 추출된 시차 분포 정보에 의거하여, 시프트량을 산출하는 파라미터 산출부와;
    상기 산출된 시프트량에 의거하여, 적어도 하나의 시점 화상에 대한 시프트 처리를 수행하는 시프트 처리부; 및
    상기 시프트 처리된 시점 화상을 재배치하는 매핑 처리부를 포함하는 것을 특징으로 하는 표시 장치.
  12. 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와;
    관찰자의 위치 정보를 검출하는 검출부와;
    상기 위치 정보에 의거하여 시프트량을 산출하는 파라미터 산출부; 및
    상기 산출된 시프트량에 의거하여 상기 시점 화상의 적어도 하나에 대해 시프트 처리를 수행하는 시프트 처리부를 포함하는 것을 특징으로 하는 표시 장치.
  13. 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와;
    관찰자의 속성 정보를 검출하는 검출부와;
    상기 속성 정보에 의거하여 시프트량을 산출하는 파라미터 산출부; 및
    상기 산출된 시프트량에 의거하여 상기 시점 화상의 적어도 하나에 대해 시프트 처리를 수행하는 시프트 처리부를 포함하는 것을 특징으로 하는 표시 장치.
  14. 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와, 상기 표시부의 화소면의 앞에 배치되고 상기 표시부로부터의 광을 분리시키는 광분리부를 포함하는 표시 장치의 제어 방법에 있어서,
    상기 시점 화상 사이의 시차 분포 정보를 추출하는 스텝과;
    상기 시차 분포 정보에 의거하여 시프트량을 산출하는 스텝과;
    상기 산출된 시프트량에 의거하여 적어도 하나의 시점 화상에 대해 시프트 처리를 수행하는 스텝; 및
    상기 시프트 처리된 시점 화상을 상기 표시부에 재배치하는 스텝을 포함하는 것을 특징으로 하는 표시 장치의 제어 방법.
KR1020110058483A 2010-06-24 2011-06-16 표시 장치 및 표시 장치의 제어 방법 KR20110140083A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010143866A JP5494283B2 (ja) 2010-06-24 2010-06-24 立体表示装置及び立体表示装置の制御方法
JPJP-P-2010-143866 2010-06-24

Publications (1)

Publication Number Publication Date
KR20110140083A true KR20110140083A (ko) 2011-12-30

Family

ID=45352163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110058483A KR20110140083A (ko) 2010-06-24 2011-06-16 표시 장치 및 표시 장치의 제어 방법

Country Status (5)

Country Link
US (1) US8654182B2 (ko)
JP (1) JP5494283B2 (ko)
KR (1) KR20110140083A (ko)
CN (1) CN102300112A (ko)
TW (1) TWI444661B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130128219A (ko) * 2012-05-16 2013-11-26 엘지디스플레이 주식회사 입체 영상 표시 장치 및 이의 구동 방법

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US9049423B2 (en) * 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
JP5732888B2 (ja) 2011-02-14 2015-06-10 ソニー株式会社 表示装置及び表示方法
US9363504B2 (en) * 2011-06-23 2016-06-07 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
US9686526B2 (en) * 2011-10-04 2017-06-20 Telefonaktiebolaget L M Ericsson (Publ) Objective 3D video quality assessment model
CN104041027A (zh) * 2012-01-06 2014-09-10 奥崔迪合作公司 用于三维显示的显示处理器
TWI514849B (zh) * 2012-01-11 2015-12-21 Himax Tech Ltd 立體影像顯示系統之校正裝置及其校正方法
EP2615838B1 (en) * 2012-01-12 2019-08-21 SeeFront GmbH Calibration of an autostereoscopic display system
JP5167439B1 (ja) * 2012-02-15 2013-03-21 パナソニック株式会社 立体画像表示装置及び立体画像表示方法
JP5762998B2 (ja) * 2012-03-07 2015-08-12 株式会社ジャパンディスプレイ 表示装置および電子機器
JP5924046B2 (ja) * 2012-03-15 2016-05-25 ソニー株式会社 表示装置および方法、情報処理装置および方法、並びにプログラム
US20150054822A1 (en) * 2012-03-22 2015-02-26 Nec Casio Mobile Communications, Ltd Image processing device, image processing method, and program
CN111182311A (zh) * 2012-04-25 2020-05-19 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
CN102722044B (zh) * 2012-06-07 2015-05-20 深圳市华星光电技术有限公司 立体显示系统
JP5343156B1 (ja) * 2012-06-29 2013-11-13 株式会社東芝 検出装置、検出方法および映像表示装置
JP6308513B2 (ja) * 2012-07-31 2018-04-11 Tianma Japan株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
JP6213812B2 (ja) * 2012-07-31 2017-10-18 Tianma Japan株式会社 立体画像表示装置及び立体画像処理方法
JP6380881B2 (ja) * 2012-07-31 2018-08-29 Tianma Japan株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
US8970390B2 (en) * 2012-08-29 2015-03-03 3M Innovative Properties Company Method and apparatus of aiding viewing position adjustment with autostereoscopic displays
CN102798982B (zh) * 2012-08-31 2015-11-25 深圳超多维光电子有限公司 一种立体显示设备及立体显示控制方法
KR20140043264A (ko) * 2012-09-26 2014-04-09 삼성전자주식회사 다시점 영상 처리 장치 및 방법
EP2765774A1 (en) * 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
CN103293692B (zh) * 2013-06-19 2016-01-13 青岛海信电器股份有限公司 一种裸眼立体图像显示控制方法及装置
JP2015012560A (ja) * 2013-07-02 2015-01-19 ソニー株式会社 表示処理装置、表示装置および画像処理方法
CN103605211B (zh) * 2013-11-27 2016-04-20 南京大学 平板化无辅助立体显示装置及方法
JP6217485B2 (ja) * 2014-03-25 2017-10-25 株式会社Jvcケンウッド 立体画像生成装置、立体画像生成方法、及び立体画像生成プログラム
CN105578171B (zh) * 2014-04-01 2017-07-11 青岛海信电器股份有限公司 一种图像信号处理方法及装置
TWI556624B (zh) * 2014-07-18 2016-11-01 友達光電股份有限公司 影像顯示方法以及影像顯示裝置
CN104144337B (zh) * 2014-08-05 2016-07-06 深圳市华星光电技术有限公司 一种多视点立体显示器的图像显示方法及装置
US10638119B2 (en) * 2015-05-05 2020-04-28 Koninklijke Philips N.V. Generation of image for an autostereoscopic display
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
KR102174258B1 (ko) 2015-11-06 2020-11-04 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
US20180077430A1 (en) * 2016-09-09 2018-03-15 Barrie Hansen Cloned Video Streaming
CN111856773B (zh) * 2019-04-26 2023-08-22 天马日本株式会社 显示装置
CN115479544B (zh) * 2022-09-22 2023-11-10 南京理工大学 一种基于平移差分的微结构线宽显微无损测量方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4987487A (en) * 1988-08-12 1991-01-22 Nippon Telegraph And Telephone Corporation Method of stereoscopic images display which compensates electronically for viewer head movement
US6463176B1 (en) * 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
JP3477023B2 (ja) * 1996-04-05 2003-12-10 松下電器産業株式会社 多視点画像伝送方法および多視点画像表示方法
JP3443272B2 (ja) * 1996-05-10 2003-09-02 三洋電機株式会社 立体映像表示装置
JP2000047139A (ja) 1998-07-27 2000-02-18 Mr System Kenkyusho:Kk 立体画像表示装置
US7342721B2 (en) * 1999-12-08 2008-03-11 Iz3D Llc Composite dual LCD panel display suitable for three dimensional imaging
JP2002223458A (ja) * 2001-01-26 2002-08-09 Nippon Hoso Kyokai <Nhk> 立体映像作成装置
US7715595B2 (en) * 2002-01-16 2010-05-11 Iritech, Inc. System and method for iris identification using stereoscopic face recognition
US7257272B2 (en) * 2004-04-16 2007-08-14 Microsoft Corporation Virtual image generation
US8300043B2 (en) * 2004-06-24 2012-10-30 Sony Ericsson Mobile Communications AG Proximity assisted 3D rendering
KR100729280B1 (ko) * 2005-01-08 2007-06-15 아이리텍 잉크 스테레오 카메라를 장착한 이동단말기를 이용한 홍채인식시스템 및 그 방법
JP2006211383A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 立体画像処理装置、立体画像表示装置、及び立体画像生成方法
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
KR100739730B1 (ko) * 2005-09-03 2007-07-13 삼성전자주식회사 3d 입체 영상 처리 장치 및 방법
EP3104603B2 (en) * 2006-03-31 2022-06-08 Koninklijke Philips N.V. Efficient image receiver for multiple views
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP2008185629A (ja) * 2007-01-26 2008-08-14 Seiko Epson Corp 画像表示装置
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
JP2009080144A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 立体映像表示装置および立体映像表示方法
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP5183277B2 (ja) * 2008-04-03 2013-04-17 三菱電機株式会社 立体画像表示装置
EP2340648B1 (en) * 2008-10-28 2019-12-11 Koninklijke Philips N.V. A three dimensional display system
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130128219A (ko) * 2012-05-16 2013-11-26 엘지디스플레이 주식회사 입체 영상 표시 장치 및 이의 구동 방법

Also Published As

Publication number Publication date
CN102300112A (zh) 2011-12-28
JP5494283B2 (ja) 2014-05-14
JP2012010084A (ja) 2012-01-12
TW201200910A (en) 2012-01-01
TWI444661B (zh) 2014-07-11
US20110316985A1 (en) 2011-12-29
US8654182B2 (en) 2014-02-18

Similar Documents

Publication Publication Date Title
KR20110140083A (ko) 표시 장치 및 표시 장치의 제어 방법
KR20110140090A (ko) 표시 장치
US20110316987A1 (en) Stereoscopic display device and control method of stereoscopic display device
KR20120016408A (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기
US9838673B2 (en) Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal
JP5625979B2 (ja) 表示装置および表示方法ならびに表示制御装置
EP2659680B1 (en) Method and apparatus for providing mono-vision in multi-view system
KR20120051308A (ko) 3d 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US20160150226A1 (en) Multi-view three-dimensional display system and method with position sensing and adaptive number of views
CN102075776B (zh) 一种立体显示的控制方法及装置
US9754379B2 (en) Method and system for determining parameters of an off-axis virtual camera
TW201322733A (zh) 影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式
CN103051909B (zh) 用于裸眼3d显示的蒙版变换人眼跟踪方法
CN107155102A (zh) 3d自动对焦显示方法及其系统
CN103969836A (zh) 一种用于多视点自由立体显示器的视角扩展方法
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
US20140085434A1 (en) Image signal processing device and image signal processing method
JP5962125B2 (ja) 表示装置、同期方法及びプログラム
KR20080093637A (ko) 입체 영상 표시 장치 및 방법
KR101932990B1 (ko) 입체 영상 표시 장치 및 그 구동 방법
KR20120068256A (ko) 시청자의 양안 위치를 추적하여 디스플레이하는 맞춤형 무안경 2디/3디변환 디스플레이
KR20160044918A (ko) 동공 간격에 기반하여 입체 영상의 깊이를 설정하는 방법 및 장치
JP2013192168A (ja) 立体映像表示装置及び立体映像を表示する方法、並びにプログラム
JPH04360394A (ja) 視差補正装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid