KR20120069612A - 입체 화상 표시 장치 및 방법 - Google Patents

입체 화상 표시 장치 및 방법 Download PDF

Info

Publication number
KR20120069612A
KR20120069612A KR1020117030074A KR20117030074A KR20120069612A KR 20120069612 A KR20120069612 A KR 20120069612A KR 1020117030074 A KR1020117030074 A KR 1020117030074A KR 20117030074 A KR20117030074 A KR 20117030074A KR 20120069612 A KR20120069612 A KR 20120069612A
Authority
KR
South Korea
Prior art keywords
person
weight
image
stereoscopic
image display
Prior art date
Application number
KR1020117030074A
Other languages
English (en)
Other versions
KR101292513B1 (ko
Inventor
겐이찌 시모야마
다께시 미따
마사히로 바바
류스께 히라이
리에꼬 후꾸시마
요시유끼 고꼬지마
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20120069612A publication Critical patent/KR20120069612A/ko
Application granted granted Critical
Publication of KR101292513B1 publication Critical patent/KR101292513B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers

Abstract

본 발명의 실시 형태에 따르면, 다시점 화상을 표시하는 입체 화상 표시 장치가 제공된다. 상기 장치에 있어서, 인물 정보 취득부는, 입체 영상을 감상하는 각 인물의 위치를 포함하는 인물 정보를 취득한다. 가중치 산출부는, 상기 인물 정보와 표시 파라미터에 기초하여, 각 인물에 대하여 상기 표시 파라미터에 따른 다시점 화상을 표시한 경우에 추정되는 입체시의 양호 정도를 표현하는 가중치를 산출한다. 화상 결정부는, 상기 가중치 산출부에 의해 산출된 각 인물의 가중치의 총합이 최대가 되는 상기 표시 파라미터를 선택하고, 선택된 표시 파라미터에 따른 다시점 화상을 출력한다. 화상 표시부는, 상기 화상 결정부로부터 출력된 다시점 화상을 표시한다.

Description

입체 화상 표시 장치 및 방법{STEREOSCOPIC IMAGE DISPLAY APPARATUS AND METHOD}
본 발명의 실시 형태는, 입체 화상 표시 장치 및 방법에 관한 것이다.
전용 안경을 사용하지 않는 입체 화상 표시 장치는, 입체시(立體視)가 가능한 범위(이하 「시역」이라고 한다)가 한정되어 있기 때문에, 시청자와 입체 화상 표시 장치의 상대 위치 관계에 따라서는 양호한 입체시가 곤란한 경우가 있다. 또한, 시청자가 당초에는 시역 내에 들어와 있다고 해도 시청자의 이동에 따라 시역을 벗어나 버리는 경우도 있었다. 따라서, 시청자의 위치에 따라 입체시가 가능하도록 입체 화상 표시의 형태를 변화시키는 것이 바람직하다.
일본 특허 공개 평 제8-328170호 공보
또한, 복수의 시청자가 시청하고 있는 등의 조건 하에서도, 이에 따라 입체시가 가능하도록 입체 화상 표시의 형태를 변화시키는 것이 바람직하다.
실시 형태에 따르면, 다시점(多視点) 화상을 표시하는 입체 화상 표시 장치가 제공된다. 상기 장치에 있어서 인물 정보 취득부는, 입체 영상을 감상하는 각 인물의 위치를 포함하는 인물 정보를 취득한다. 가중치 산출부는, 상기 인물 정보와 표시 파라미터에 기초하여, 각 인물에 대하여 상기 표시 파라미터에 따른 다시점 화상을 표시한 경우에 추정되는 입체시의 양호 정도를 표현하는 가중치를 산출한다. 화상 결정부는, 상기 가중치 산출부에 의해 산출된 각 인물의 가중치의 총합이 최대가 되는 상기 표시 파라미터를 선택하고, 선택된 표시 파라미터에 따른 다시점 화상을 출력한다. 화상 표시부는, 상기 화상 결정부로부터 출력된 다시점 화상을 표시한다.
도 1은 일 실시 형태에 관한 입체 화상 표시 장치의 블록도이다.
도 2는 화상 표시부 구조의 일례를 개략적으로 도시한 사시도이다.
도 3은 가중치 산출부 및 화상 결정부의 개략 구성을 도시하는 블록도이다.
도 4는 인물 정보 취득부의 구성을 도시하는 블록도이다.
도 5는 가중치 산출부의 구성을 도시하는 블록도이다.
도 6은 입체시 가능한 영역의 면적에 기초하는 가중치의 산출을 설명하기 위한 도면이다.
도 7은 광선 밀도에 기초하는 가중치의 산출을 설명하기 위한 도면이다.
도 8은 가중치 산출부에 의해 산출된 가중치의 맵의 예를 도시하는 도면이다.
도 9는 화상 결정부의 구성을 도시하는 블록도이다.
도 10은 시역에 관해서 제어하는 표시 파라미터를 설명하기 위한 도면이다.
도 11은 시역에 관해서 제어하는 표시 파라미터를 설명하기 위한 도면이다.
도 12는 이웃의 시역에 대해서 설명하기 위한 도면이다.
도 13은 화소의 배열(화소 피치)에 의한 제어를 설명하기 위한 도면이다.
도 14는 화상 표시부의 이동, 회전 또는 변형에 의한 시역의 제어를 설명하기 위한 도면이다.
도 15는 시차수가 상이한 경우의 광선 밀도를 설명하기 위한 도면이다.
도 1 에 도시한 바와 같이, 본 실시 형태에 관한 입체 화상 표시 장치(10)는, 인물 정보 취득부(101)와, 가중치 산출부(102)와, 화상 결정부(103)와, 화상 표시부(104)를 포함하고, 시청자의 위치에 따라 입체 화상 표시의 형태를 변화시킬 수 있고, 예를 들어 복수의 시청자가 동시에 양호한 입체 영상을 감상 가능하게 하는 것이다. 인물 정보 취득부(101)는, 입체 화상 표시 장치(10)가 표시하는 입체 영상을 감상하는 시청자(이하, 「인물」이라고 한다)의 위치를 검출한다. 본 실시 형태에서는, 대상으로 하는 시청자가 복수인 경우에도 대응하는 것으로서, 각 인물의 위치를 검출한다. 인물 정보 취득부(101)는, 검출된 각 인물의 위치를 표현하는 인물 정보를 출력한다. 예를 들어, 인물의 위치를 카메라 등의 검출부에 의해 검출하고, 그 결과로부터 시청자 i와 입체 화상 표시 장치(10)의 상대 위치 좌표(이하, 「위치 좌표(Xi, Yi))를 구해도 좋다. 가중치 산출부(102)는, 인물 정보 취득부(101)에 의해 취득된 각 인물의 위치를 포함하는 인물 정보에 기초하여, 각 인물에 대해서, 입체시의 양호 정도를 표현하는 가중치를 산출한다. 화상 결정부(103)는, 가중치 산출부(102)에 의해 산출된 각 인물의 가중치 총합이 최대가 되는 표시 파라미터를 선택하고, 선택된 표시 파라미터에 따른 다시점 화상을 출력한다. 화상 표시부(104)는, 화상 결정부(103)로부터 출력된 다시점 화상을 표시한다.
화상 표시부(104)는, 화상 결정부(103)에 의해 생성된 다시점 화상을 표시하는 디바이스이다. 도 2는, 화상 표시부(104)의 구조의 일례를 개략적으로 도시한 사시도이다. 여기에서는, 시점수 n=18로서 설명한다. 도 2에 도시된 바와 같이, 화상 표시부(104)는, 표시 소자 어레이(114)와, 표시 소자 어레이(114)의 전방면에 배치된 개구 제어부(115)를 포함한다. 표시 소자 어레이(114)로서는, 예를 들어 LCD(Liquid Crystal Display)를 사용할 수 있다.
개구 제어부(115)는, 투과하는 광선을 제한해서 광선을 소정 방향을 향해 출사시키는 광선 제어 소자이다. 개구 제어부(115)로서는, 도 2에 도시한 바와 같이, 렌티큘러 시트가 사용되어도 좋다. 렌티큘러 시트는, 입사 광선 및 사출 광선을 제어해서 광선을 소정 방향으로 향하는 렌즈 세그먼트의 어레이판이다. 개구 제어부(115)로서, 광투과 영역을 적절히 설치된 슬릿 등의 어레이판을 사용할 수도 있다. 이들 광투과 영역 및 렌즈 세그먼트는, 표시 소자 어레이(114)로부터 그 전방을 향해 발산되는 광선 중 특정한 방향으로 향하는 광선만을 선택적으로 출사하는 기능을 갖는다. 이하에서는, 렌즈 세그먼트 및 광투과 영역을 정리해서 「광학적 개구부」라고 한다.
개구 제어부(115)로서, 예를 들어 표시 소자 어레이(114)에 있어서의 화면의 수직 방향으로 모선(母線)을 갖는 렌즈의 어레이판인 렌티큘러 시트를 사용한다. 렌즈 세그먼트의 각 광학적 개구부(116, 116, …)가 화소에 대응해서 배치된다. 개구 제어부(115)는, 상술한 렌티큘러 시트나 광투과 영역을 집적한 어레이판에 한하지 않고, 광투과 영역의 위치 및 형상을 바꿀 수 있는 광 셔터로서 LCD를 이용할 수도 있다.
여기서, 일반적인 FPD에서는, 1개의 화소는 RGB 각 색의 서브 화소로 구성된다. 1개의 표시 화소가 1개의 서브 화소에 대응하는 것으로 한다. 도 2의 예에서는, 표시 화소 어레이(114)에는, 화소가 정사각형이 되도록 종횡비가 3:1로 된 표시 화소(서브 화소(140, 141, …))가 매트릭스 형상으로 배열된다. 각 서브 화소는, 각각, R(적색), G(녹색), B(청색) 중 어느 하나를 담당한다. 행방향에 대해서는, 각 서브 화소를 시차의 수만큼 행방향으로 배열한 화소군에 표시되는 화상, 즉 사출동(射出瞳)(광학적 개구부(116))에 대응한 서브 화소 단위로 표시된 시차 화상의 집합을 요소 화상이라고 한다. 또한, 서브 화소는, R, G, B에 한정되는 것은 아니다.
열방향에 대해서는, 도 2의 예에서는, 열방향으로 배열되는 6개의 서브 화소의 조로 요소 화상이 구성되어 있다. 즉, 행 방향으로 18 화소, 열방향으로 6 화소로 1개의 요소 화상(141)(도 2 내에서 프레임을 붙여서 도시한다)을 표시한다. 도 2에서는, 수평 방향으로 18 시차를 부여하는 입체 표시가 가능하게 되고, 또한 열방향을 6 화소로 함으로써, 요소 화상, 즉 입체 표시용 화소가 정사각형이 된다. 또한, 1개의 유효 화소 내의 수평 방향에 있어서의 화소의 위치는, 개구 제어부(115)와 대응하고, 사출되는 광선의 각도와 상관을 갖는다. 광선 방향을 표현하는 어드레스를 시차 어드레스라고 한다. 시차 어드레스는, 1실효 화소 내의 수평 방향에 있어서의 화소의 위치에 대응한다. 시차 어드레스는, 화면의 우측 방향을 향해 커진다.
개구 제어부(115)에 있어서의 광학적 개구부(116, 116, …)는, 요소 화상의 위치에 대응해서 설치된다. 도 2의 예에서는, 광학적 개구부(116)의 폭(렌즈 피치) Ps와 1 요소 화상의 폭이 일치되어져 있다.
가중치 산출부(102) 및 화상 결정부(103)의 개략 구성을 도 3에 도시한다. 가중치 산출부(102)는, 인물 정보 취득부(101)에 의해 취득된 각 인물의 위치를 포함하는 인물 정보(200) 및 화상을 결정하는 파라미터 군(201)을 입력하고, 각 인물에 대해서 입체시의 양호 정도를 표현하는 가중치를 산출하고, 각 인물의 가중치 및 대응하는 표시 파라미터(203)를 출력하는 산출부(300)를 포함한다.
입체시의 양호 정도를 가중치 W로 하면, 이 가중치 W는, 입체 화상 표시 장치(10)에 표시하는 다시점 화상(즉, 표시하는 화소의 배열의 조합)이나, 입체 화상 표시 장치(10)의 하드웨어 설계에 관계하는 표시 파라미터 군(201)의 표시 파라미터 각각에 대해서 인물 정보(200)에 기초하여 산출되고, 그 값이 클수록 입체는 양호한 것이 된다. 가중치 W는, 적어도 각 인물의 위치를 반영하고 있지만, 어떻게 변화시킬지는 임의이다. 예를 들어, 시청자가 선택 가능한 몇개의 시청 모드에 대응하도록 가중치 W를 변화시켜도 좋다. 또한, 표시하는 화소 배열의 조합 등, 표시 파라미터에 의해 제어 가능한 대상에 대해서는 상세히 후술한다.
본 실시 형태에서는, 입체시 가능한 표시 영역의 면적, 광선 밀도, 미리 지정된 위치에 따른 가중치(「위치 가중치」라고 한다)를 산출한다. 이로 인해, 소정의 수단에 의해 각 인물의 위치 정보를 취득할 수 있는 것이 필요하다. 또한, 본 실시 형태에서는, 위치 가중치에 추가하여 각 인물의 속성에 따른 가중치(「속성 가중치」라고 한다)를 산출한다. 가중치 W는, 이들 위치 가중치의 값과 속성 가중치의 값을 합성함으로써 산출된다.
화상 결정부(103)는, 각 인물의 가중치 및 대응하는 표시 파라미터(203)를 입력하고, 가중치 산출부(102)에 의해 산출된 각 인물의 가중치의 총합이 최대가 되는 표시 파라미터를 선택하는 파라미터 선택부(301)와, 상기 파라미터 선택부(301)에 의해 선택된 표시 파라미터에 따르는 다시점 화상을 출력하는 화상 출력부(302)를 포함한다.
이하, 본 실시 형태에 관한 입체 화상 표시 장치(10)의 보다 구체적인 구성예에 대해서 설명한다.
인물 정보 취득부(101)의 구성을 도 4에 도시한다. 인물 정보 취득부(101)는, 카메라 화상 등(204)을 입력해서 각 인물의 위치를 검출하고, 각 인물의 위치 및 속성을 표현하는 인물 정보(200)를 출력하는 검출부(303)와, 상기 검출부(303)로부터의 출력에 기초하여 소정 시간에 걸쳐 동일 인물의 위치의 변화, 즉 각 인물의 이동을 추적하는 추적부(304)를 포함한다.
위치 검출에 사용되는 화상은 카메라로부터의 화상에 한정되지 않고, 예를 들어 레이더로부터 제공되는 신호를 사용해도 좋다. 또한 위치 검출에서는, 얼굴, 헤드, 인물 전체, 마커 등, 인물이라고 판정 가능한 임의의 대상을 검출해도 좋다. 각 인물의 속성으로서는, 각 인물의 이름, 어른과 자녀의 구별, 시청 시간, 리모콘 보유자인지 여부 등의 정보를 들 수 있다. 이것들은 소정의 수단에 의해 검출되고, 혹은 시청자들이 명시적으로 입력해도 좋다.
또한, 인물 정보 취득부(101)가 출력하는 각 인물의 위치 정보에 대해서, 카메라 좌표계에 있어서의 좌표값을 실제로 공간 좌표계에 있어서의 좌표값으로 변환하는 인물 위치 변환부(305)를 포함해도 좋다. 또한, 인물 위치 변환부(305)를 인물 정보 취득부(101)에 설치하는 대신, 이것을 가중치 산출부(102)에 설치해도 좋다.
가중치 산출부(102)의 구성을 도 5에 도시한다. 가중치 산출부(102)는, 인물 정보(200)와 화상을 결정하는 파라미터 군(201)을 입력하고, 각 인물의 가중치 및 대응하는 표시 파라미터(203)를 산출해서 출력하는 산출부(300)를 포함한다. 산출부(300)는, 인물 위치(204) 및 화상을 결정하는 파라미터 군(201)에 기초하여 위치 가중치를 산출하는 위치 가중치 산출부(306)와, 인물 속성(205)로부터 속성 가중치를 산출하는 속성 가중치 산출부(307)와, 산출된 위치 가중치와 속성 가중치의 합 또는 적을 계산하는 계산부(308)를 포함한다. 또한, 어느 하나의 가중치를 사용하는 구성으로 하는 경우에는, 합 또는 적의 계산을 생략할 수 있다.
위치 가중치 산출부(306)는, 입체시 가능한 디스플레이의 영역(205), 광선 밀도(206), 미리 지정된 위치의 가중치(207) 등에 기초해서 위치 가중치를 산출한다. 각 인물의 위치(즉 입체 화상 표시 장치(10)의 표시 화면과의 상대적 위치)와 다시점 화상에 의해 입체시 가능한 영역(205)의 면적이 결정한다. 이 면적이 크면, 위치 가중치의 값도 커진다. 또한, 입체 화상 표시 장치(10)의 표시 화면으로부터의 거리와 시점수에 의해 광선 밀도(206)가 결정된다. 이 광선 밀도(206)가 밀집되어 있으면, 위치 가중치는 커진다. 미리 지정된 위치의 가중치(207)에 대해서는, 정상적으로 시청을 하는 위치에 다른 위치보다도 큰 가중치를 부여한다. 위치 가중치 산출부(306)는, 입체시 가능한 디스플레이의 영역(205), 광선 밀도(206), 미리 지정된 위치의 가중치(207) 등에 대해서 각각 산출된 가중치 값의 합 또는 적을 산출해서 출력한다. 또한, 어느 하나의 가중치를 사용하는 구성으로 하는 경우에는, 위치 가중치의 합 또는 적의 계산을 생략할 수 있다. 또한, 이들 이외에도 외관에 관한 가중치를 표현할 수 있는 항을 추가해도 상관없다.
속성 가중치 산출부(307)는, 시청 시간 또는 개시 순서(208), 특정한 인물(209), 리모콘 보유자(210), 인물간의 위치 관계(211) 등의 속성값에 기초하여 속성 가중치를 산출한다. 시청 시간 또는 개시 순서(208)에 대해서는, 장시간에 걸쳐 시청하고 있는 인물이나, 먼저 시청을 개시한 인물이 우선되도록 가중치의 값을 크게 한다. 마찬가지로, 특정한 인물(209)나, 리모콘 보유자(210)가 우선되도록 가중치의 값을 크게 한다. 인물간의 위치 관계(211)에 대해서는, 전원 안에서, 디스플레이의 정면에 있는 사람이나 가까운 사람 정도의 가중치의 값을 크게 한다. 속성 가중치 산출부(307)는, 시청 시간 또는 개시 순서(208), 특정 인물(209), 리모콘 보유자(210), 인물간의 위치 관계(211) 등에 대해서 각각 산출된 가중치 값의 합 또는 적을 산출해서 출력한다. 또한, 어느 하나의 가중치를 사용하는 구성으로 하는 경우에는, 합 또는 적의 계산은 생략할 수 있다. 또한, 이들 이외에도 시청자의 속성에 관한 가중치를 표현할 수 있는 항을 추가해도 상관없다.
또한, 계산부(308)는, 위치 가중치 산출부(306)으로부터 출력된 위치 가중치 값과, 속성 가중치 산출부(307)로부터 출력된 속성 가중치 값과의 합 또는 적을 계산한다.
또한, 특정한 인물(209)의 정보에만 기초하여 파라미터 선택을 하는 경우를 제외하고, 적어도 위치 가중치의 산출은 필요하다. 또한, 화상을 결정하는 파라미터 군(201)에 포함되는 복수의 표시 파라미터 각각에 대해서 각 인물의 가중치를 산출한다. 또한, 원칙적으로 모든 인물에 대해서 가중치를 산출한다(특정한 인물(209)의 정보에만 기초하여 파라미터 선택을 하는 경우를 제외한다).
여기서, 도 6을 참조하여, 입체시 가능한 영역(205)의 면적에 기초하는 가중치의 산출에 대해서 설명한다. 「외관」의 도면은 기하적으로 구할 수 있고, 계산 가능하다. 인물(20)과 화상 표시부(104)(디스플레이)의 양단부 각각을 연결한 선이 시역 설정 거리에서 절취하는 무늬(21)는, 디스플레이의 「외관」과 일치한다. 이 도 6의 예에서는, 무늬(21)에 있어서의 영역(22)은 입체시 가능한 영역이며, 영역(23)은 입체시 불가능한 영역이다. 무늬(21)의 전체 영역의 면적에 차지하는 입체시 가능한 영역(22)의 비율을 가중치로서 산출할 수 있다. 예를 들어, 입체시 가능한 영역(22)의 비율이 100%이면, 모든 것을 입체할 수 있고, 최대값으로 해서 예를 들어 값 「1」로 한다.
이어서, 광선 밀도(206)에 기초하는 가중치의 산출에 대해서 설명한다. 시차수를 N, 광선의 확대를 2θ, 디스플레이(104)로부터 인물(20)까지의 거리를 Z, 인물(20)의 눈간 거리를 d로 할 때,
<수학식 1>
Figure pct00001
에 따라 광선 밀도(206)의 가중치를 산출할 수 있다. 즉, 인물(20)의 눈의 위치에 있어서, 광선 폭 len과 눈간 거리 d의 비율을 광선 밀도(206)의 가중치로 한다. 눈간 거리 d보다도 광선 폭 len이 좁을 경우에는, 광선 밀도(206)의 가중치의 값을 「1」로 한다.
도 8에, 가중치 산출부(102)에 의해 산출된 가중치의 값을 실제로 공간 좌표에 배치한 맵 M의 예를 도시한다.
이어서, 화상 결정부(103)의 구성을 도 9에 도시한다. 화상 결정부(103)에는, 가중치 산출부로부터 출력된 각 인물의 가중치 및 대응하는 표시 파라미터(203)가 입력된다. 각 인물의 가중치 및 대응하는 표시 파라미터(203)로서는, 1 출력 또는 다출력으로 해도 좋다. 예를 들어, 1 출력의 경우, 각 인물의 가중치의 총합의 최대값, 특정한 인물의 가중치의 최대값, 각 인물의 가중치의 평균값 또는 중앙값 중 최대값이 사용되어도 좋다. 또한, 속성 가중치에 의해 시청자의 우선 순위를 붙여 두고, 어떤 순위 이상의 각 인물의 가중치의 총합의 최대값, 가중치의 평균값 또는 중앙값 중 최대값이 사용되어도 좋다. 다출력의 경우, 각 인물의 가중치의 값의 최대값이 사용되어도 좋다.
화상 결정부(103)의 판정부(310)는, 상기와 같은 가중치의 값이 소정의 기준값 이상인지 여부를 판정한다. 다출력인 경우, 전원(혹은 N인 이상)의 가중치의 값이 소정의 기준값 이상인지 여부가 판정된다. 또한, 속성 가중치에 의해 시청자의 우선 순위를 붙여 두고, 어떤 순위 이상의 각 인물만으로 판정을 해도 상관없다. 어떤 경우에 있어서도, 기준값 이상의 가중치에 대응하는 표시 파라미터(213)를 선택한다. 화상 전환 시의 시인성을 향상시키기 위한 처리로 하고, 과거의 표시 파라미터(214)에 기초하여 이번에 선택된 표시 파라미터와, 과거의 표시 파라미터(214)를 블렌드해서 천천히 변화시키는, 변화를 지각하기 어려운 장면 체인지 또는 화상의 움직임이 심할 때에 화상 전환을 행하는 등의 블렌드/선택부(311)를 포함해도 좋다. 마찬가지로, 화상 전환 시의 시인성을 향상하기 위한 처리로 하고, 과거 화상(216)에 기초하여, 블렌드/선택부(311)로부터 출력된 표시 파라미터를 따르는 다시점 화상(입체 화상)(215)과 과거 화상(216)을 블렌드해서 천천히 변화시키는 등의 블렌드/선택부(312)를 더 설치해도 좋다. 블렌드 처리에 있어서는, 1차 지연 등을 흡수할 수 있는 것이 바람직하다.
또한, 선택된 표시 파라미터에 따르는 다시점 화상(입체 화상)은, 후술하는 바와 같이, 디스플레이(104)의 위치나 방향 등을 물리적으로 변화시킴으로써 실현 가능하다.
화상 결정부(103)의 판정부(310)에 있어서, 가중치의 값이 기준값을 하회할 경우에는, 적절하지 않은 입체시를 방지하기 위해서, 이차원 화상, 흑색 화상(비표시), 무채색 화상 등(212)을 표시한다(2D 표시). 2D 표시로 하는 기준으로는, 가중치의 총합이 작은, 보이지 않는 인물이 있는, 특정한 인물의 외관에 의존시키는 등을 들 수 있다. 이 경우에, 입체시가 가능한 위치로 인물을 유도하고, 혹은 입체시가 가능한 것의 경고를 발하는 정보 표시부(311)를 더 포함해도 좋다.
여기서, 화상을 결정하는 파라미터 군(201)에 대해서, 각각의 표시 파라미터에 의한 제어의 예에 대해서 설명한다. 표시 파라미터로서는, 시역에 관해서 제어하는 것과, 광선 밀도에 관해서 제어하는 것이 있다. 시역에 관해서 제어하는 표시 파라미터로서는, 화상의 시프트, 화소 배열의 피치, 렌즈와 화소의 간극(갭), 디스플레이의 회전, 변형, 위치 이동 등을 들 수 있다. 광선 밀도에 관해서 제어하는 표시 파라미터로서는, 렌즈와 화소의 간극(갭), 시차수 등을 들 수 있다.
도 10 및 도 11을 참조하여 시역에 관해서 제어하는 표시 파라미터에 대해서 설명한다. 표시 화상을 예를 들어 우측으로 시프트시키면, 입체시가 양호하게 행할 수 있는 장소, 즉 「시역」은, 도 10에 도시하는 시역 A로부터 시역 B로 변화한다. 이것은, 도 11의 (a)와 (c)의 비교에서 알 수 있는 바와 같이, 광선 L이 (c)의 경우에서는 왼쪽으로 접근함으로써, 시역도 왼쪽으로 접근해서 시역 B로 변화하는 것에 의한다.
화소(22)와 렌즈/슬릿(광학적 개구부(116))(23)과의 간극을 짧게 하면, 도 11의 (a)와 (b)의 비교에서 알 수 있는 바와 같이, 도 10에 도시하는 시역 A로부터 시역 C로 변화한다. 이 경우, 시역이 가까워지지만 광선 밀도는 줄어들게 된다.
또한, 도 11에 도시한 바와 같이, 디스플레이의 화소(22)에는 시차 화상이 순서대로 배열된다. 시차 화상은, 시점이 어긋난 화상으로, 예를 들어 동일 도면에 도시한 바와 같이 인물(20)을 복수의 카메라(21)의 각각에 의해 촬영한 화상에 상당한다. 화소(22)(서브 화소(140))로부터의 광선은 렌즈/슬릿(광학적 개구부(116))(23)을 경유해서 출사한다. 시역의 형상은, 도 11에 도시하는 θ나 η에 따라 기하적으로 구하는 것이 가능하다.
이웃의 시역에 관해서 도 12를 참조하여 설명한다. 주로 시청을 행하는 시역 A의 이웃의 시역 B는, (좌측 단부의 화소, 좌측 단부보다 1개 우측의 렌즈)와, (우측 단부보다 1개 좌측 화소, 우측 단부의 렌즈)의 조합에 의해 형성되는 시역이다. 이 시역 B를 또한 좌측이나 우측으로 이동하는 것도 가능하다.
도 13을 참조하여, 도시하는 화소의 배열(표시 피치)에 의한 제어에 대해서 설명한다. 화면의 단부(우측 단부, 좌측 단부)일수록, 화소(22)와 렌즈(23)의 위치를 상대적으로 많이 어긋나게 함으로써 시역을 제어할 수 있다. 화소(22)와 렌즈(23)의 상대 위치의 어긋난 양을 크게 하면, 시역은, 동일 도면에 나타내는 시역 A에서 시역 B로 변화한다. 반대로, 화소(22)와 렌즈(23)의 상대 위치의 어긋난 양을 작게 하면, 시역은, 동일 도면에 도시하는 시역 A로부터 시역 C로 변화한다. 이와 같이, 시역의 폭이나 가깝기를 화소의 배열(화소 피치)에 관한 표시 파라미터에 의해 제어하는 것이 가능하다. 또한, 무엇보다 시역의 폭이 넓은 장소를 시역 설정 거리라고 한다.
도 14를 참조하여, 화상 표시부(104)의 이동, 회전 또는 변형에 의한 시역의 제어에 대해서 설명한다. 도 14의 (a)에 도시한 바와 같이, 화상 표시부(104)를 회전함으로써, 기본 시의 시역 A를 시역 B로 변화시킬 수 있다. 마찬가지로, 화상 표시부(104)를 이동함으로써, 기본 시의 시역 A를 시역 C로 변화시킬 수 있고, 화상 표시부(104)를 변형시킴으로써, 기본 시의 시역 A를 시역 D로 변화시킬 수 있다. 표시 파라미터를 변화시킴으로써, 화상 표시부(104)의 이동, 회전 또는 변형하고, 시역의 제어를 행할 수 있다.
광선 밀도에 관해서 제어하는 표시 파라미터에 대해서, 시차수가 상이한 경우의 광선 밀도에 대해서 도 15를 참조하여 설명한다.
예를 들어 도 15의 (a)에 도시하는 시차수가 6인 경우, 동일 도면에서 알 수 있는 바와 같이, 상대적으로 인물(30)보다도 디스플레이(104)에 가까운 인물(31)은 시차를 부여하는 광선의 수가 많아지고, 입체시가 양호한 것이 된다. 또한, 도 15의 (b)에 도시하는 시차수가 3인 경우, (a)의 경우보다도 시차수가 줄어들어서 광선이 성기게 되므로, 등거리에서의 입체는 곤란해진다. 디스플레이(104)의 각 화소로부터 출사하는 광선의 광선 밀도는, 렌즈나 간극에 따라 정해지는 각도 θ와, 시차수와, 사람의 위치에서 산출할 수 있다.
본 발명에 있어서 몇개의 실시 형태를 설명했지만, 이들 실시 형태는 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하지 않는다. 이들 신규 실시 형태는, 그 밖의 다양한 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그 변형은, 발명의 범위나 요지에 포함되는 것과 동일하게 특허 청구 범위에 기재된 발명과 그 균등한 범위에 포함되는 것이다.

Claims (9)

  1. 입체 화상 표시 장치로서,
    입체 영상을 감상하는 각 인물의 위치를 포함하는 인물 정보를 취득하는 인물 정보 취득부와,
    상기 인물 정보와 표시 파라미터에 기초하여, 각 인물에 대하여 상기 표시 파라미터에 따른 다시점 화상을 표시한 경우에 추정되는 입체시(立體視)의 양호 정도를 표현하는 가중치를 산출하는 가중치 산출부와,
    상기 가중치 산출부에 의해 산출된 각 인물의 가중치의 총합이 최대가 되는 상기 표시 파라미터를 선택하고, 선택된 표시 파라미터에 따른 다시점 화상을 출력하는 화상 결정부와,
    상기 화상 결정부로부터 출력된 다시점 화상을 표시하는 화상 표시부
    를 포함하는, 입체 화상 표시 장치.
  2. 제1항에 있어서, 상기 가중치 산출부는, 각 인물의 위치에 있어서 입체시 가능한 영역의 면적에 따른 가중치를 산출하는, 입체 화상 표시 장치.
  3. 제1항에 있어서, 상기 가중치 산출부는, 각 인물의 위치에 있어서 상기 화상 표시부의 각 화소로부터 출사하는 광선의 광선 밀도에 따른 가중치를 산출하는, 입체 화상 표시 장치.
  4. 제1항에 있어서, 상기 가중치 산출부는, 각 인물의 위치에 있어서 입체시 가능한 영역의 면적에 따른 제1 가중치와, 각 인물의 위치에 있어서의 광선 밀도에 따른 제2 가중치를 산출하고, 상기 제1 가중치와 상기 제2 가중치를 사용한 연산에 의해 각 인물의 가중치를 산출하는, 입체 화상 표시 장치.
  5. 제4항에 있어서, 상기 가중치 산출부는, 상기 제1 가중치와 상기 제2 가중치의 합 또는 적에 의해 상기 각 인물의 가중치를 산출하는, 입체 화상 표시 장치.
  6. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 인물 정보 취득부는, 상기 각 인물을 식별한 식별 정보를 또한 취득하고, 상기 가중치 산출부는, 상기 각 인물의 위치 및 상기 식별 정보에 따른 가중치를 산출하는, 입체 화상 표시 장치.
  7. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 화상 결정부는, 상기 총합이 기준 이상이 아닌 경우, 2D 화상을 출력하는, 입체 화상 표시 장치.
  8. 제1항에 있어서, 상기 표시 파라미터는, 상기 화상 표시부에 표시하는 상기 다시점 화상의 화소의 배열을 변화시키는 파라미터를 포함하는, 입체 화상 표시 장치.
  9. 입체 화상 표시 방법으로서,
    입체 영상을 감상하는 각 인물의 위치를 포함하는 인물 정보를 취득하는 단계와,
    상기 인물 정보와 표시 파라미터에 기초하여, 각 인물에 대하여 상기 표시 파라미터에 따른 다시점 화상을 표시한 경우에 추정되는 입체시의 양호 정도를 표현하는 가중치를 산출하는 단계와,
    각 인물의 상기 가중치의 총합이 최대가 되는 상기 표시 파라미터를 선택하고, 선택된 표시 파라미터에 따른 다시점 화상을 출력하는 단계와,
    출력된 상기 다시점 화상을 표시하는 단계를 포함하는, 입체 화상 표시 방법.
KR1020117030074A 2010-11-22 2010-11-22 입체 화상 표시 장치, 입체 화상 표시 방법 및 입체 화상 결정 장치 KR101292513B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/070815 WO2012070103A1 (ja) 2010-11-22 2010-11-22 立体画像表示装置および方法

Publications (2)

Publication Number Publication Date
KR20120069612A true KR20120069612A (ko) 2012-06-28
KR101292513B1 KR101292513B1 (ko) 2013-08-01

Family

ID=46145480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117030074A KR101292513B1 (ko) 2010-11-22 2010-11-22 입체 화상 표시 장치, 입체 화상 표시 방법 및 입체 화상 결정 장치

Country Status (8)

Country Link
US (1) US20120182292A1 (ko)
EP (1) EP2495984A4 (ko)
JP (1) JP4937424B1 (ko)
KR (1) KR101292513B1 (ko)
CN (1) CN102668576B (ko)
RU (1) RU2012104001A (ko)
TW (1) TWI507013B (ko)
WO (1) WO2012070103A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5110182B2 (ja) * 2011-03-11 2012-12-26 オムロン株式会社 映像表示装置
JP2013182209A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 立体画像表示装置、立体画像表示方法、および制御装置
JP5727969B2 (ja) 2012-06-15 2015-06-03 株式会社東芝 位置推定装置、方法、及びプログラム
JP6099892B2 (ja) * 2012-07-09 2017-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像表示装置
CN103595997A (zh) * 2012-08-13 2014-02-19 辉达公司 3d显示系统和3d显示方法
TWI524736B (zh) * 2012-11-20 2016-03-01 群康科技(深圳)有限公司 三維影像顯示系統及其校正方法
US9674510B2 (en) * 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
CN105377110B (zh) * 2013-10-08 2017-07-14 奥林巴斯株式会社 立体视觉内窥镜系统
CN106297611B (zh) * 2015-06-05 2021-08-10 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN106297610B (zh) 2015-06-05 2020-03-17 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN106291953B (zh) 2015-06-05 2019-01-08 北京智谷睿拓技术服务有限公司 显示控制方法和装置
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
JP6131312B2 (ja) * 2015-12-08 2017-05-17 株式会社Pfu 情報処理装置、方法およびプログラム
CN108234990B (zh) * 2018-02-12 2021-04-20 苏州佳世达电通有限公司 立体显示设备及立体显示方法
US11243410B2 (en) * 2019-04-26 2022-02-08 Wuhan Tianma Micro-Electronics Co., Ltd. Display device

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0389794A (ja) * 1989-09-01 1991-04-15 Nippon Telegr & Teleph Corp <Ntt> 多人数用三次元表示方式
DE4312918A1 (de) * 1993-04-14 1994-10-20 Hertz Inst Heinrich Wiedergabeeinrichtung
DE69434685T2 (de) * 1993-08-04 2006-09-14 Canon K.K. Bildverarbeitungsverfahren und -gerät
JP2812254B2 (ja) * 1995-05-31 1998-10-22 日本電気株式会社 視点追従型立体映像表示装置
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
JP3514947B2 (ja) * 1997-06-05 2004-04-05 シャープ株式会社 ３次元画像処理装置及び３次元画像処理方法
JPH11155152A (ja) * 1997-11-21 1999-06-08 Canon Inc 三次元形状情報入力方法及び装置及び画像入力装置
US6757422B1 (en) * 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
JP2001319217A (ja) * 2000-05-09 2001-11-16 Fuji Photo Film Co Ltd 画像表示方法
US6677982B1 (en) * 2000-10-11 2004-01-13 Eastman Kodak Company Method for three dimensional spatial panorama formation
KR100416548B1 (ko) * 2001-10-10 2004-02-05 삼성전자주식회사 3차원 영상 표시장치
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
KR100977193B1 (ko) * 2002-04-25 2010-08-20 샤프 가부시키가이샤 화상 데이터 생성 장치, 화상 데이터 재생 장치, 및 화상데이터 기록 매체
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
JP4440067B2 (ja) 2004-10-15 2010-03-24 キヤノン株式会社 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
JP2009077234A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 三次元画像処理装置、方法及びプログラム
KR101502603B1 (ko) * 2008-09-22 2015-03-13 삼성전자주식회사 입체 영상 표시 장치 및 그 방법
TWI387316B (zh) * 2008-11-18 2013-02-21 Ind Tech Res Inst 立體影像顯示裝置與立體影像顯示方法

Also Published As

Publication number Publication date
CN102668576B (zh) 2015-09-02
US20120182292A1 (en) 2012-07-19
RU2012104001A (ru) 2014-12-27
KR101292513B1 (ko) 2013-08-01
EP2495984A4 (en) 2013-11-20
JP4937424B1 (ja) 2012-05-23
JPWO2012070103A1 (ja) 2014-05-19
CN102668576A (zh) 2012-09-12
WO2012070103A1 (ja) 2012-05-31
TW201236441A (en) 2012-09-01
EP2495984A1 (en) 2012-09-05
TWI507013B (zh) 2015-11-01

Similar Documents

Publication Publication Date Title
KR101292513B1 (ko) 입체 화상 표시 장치, 입체 화상 표시 방법 및 입체 화상 결정 장치
US7281802B2 (en) Stereoscopic display device and method
US8531454B2 (en) Display apparatus and stereoscopic image display method
CN102056003B (zh) 使用主动亚像素渲染的高密度多视点图像显示系统及方法
JP6278323B2 (ja) 自動立体ディスプレイの製造方法
KR101953112B1 (ko) 자동 입체 디스플레이 및 3d 이미지를 표시하는 방법
US20120249530A1 (en) Three-dimensional image display apparatus
US20160234488A1 (en) Pixel array, display device and display method
KR20140073584A (ko) 화상 처리 장치, 입체 화상 표시 장치, 화상 처리 방법 및 화상 처리 프로그램
TW201320717A (zh) 一種三次元影像顯示之方法
JP2013527932A5 (ko)
US10642061B2 (en) Display panel and display apparatus
US10244229B2 (en) Three-dimensional image display device
JP4977278B1 (ja) 画像処理装置、立体画像表示装置および画像処理方法
JP2012222549A (ja) 映像表示装置および映像表示方法
JP5422684B2 (ja) 立体画像決定装置、立体画像決定方法、および立体画像表示装置
JP2013182209A (ja) 立体画像表示装置、立体画像表示方法、および制御装置
JP2014241015A (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP2014135590A (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP5343157B2 (ja) 立体画像表示装置、表示方法、およびテストパターン
KR20130009115A (ko) 3차원 영상 표시 장치 및 그 방법
JP2012242544A (ja) 表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee