KR20180003590A - 무안경 입체영상 디스플레이용 이미지의 생성 - Google Patents

무안경 입체영상 디스플레이용 이미지의 생성 Download PDF

Info

Publication number
KR20180003590A
KR20180003590A KR1020177034930A KR20177034930A KR20180003590A KR 20180003590 A KR20180003590 A KR 20180003590A KR 1020177034930 A KR1020177034930 A KR 1020177034930A KR 20177034930 A KR20177034930 A KR 20177034930A KR 20180003590 A KR20180003590 A KR 20180003590A
Authority
KR
South Korea
Prior art keywords
view
mapping function
scene
display
viewer
Prior art date
Application number
KR1020177034930A
Other languages
English (en)
Inventor
바르트 크룬
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20180003590A publication Critical patent/KR20180003590A/ko

Links

Images

Classifications

    • H04N13/0404
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H04N13/0278
    • H04N13/0445
    • H04N13/0447
    • H04N13/047
    • H04N13/0477
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/376Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이 이미지를 복수의 뷰 원뿔들로 투사하는 무안경 입체영상 디스플레이(autostereoscopic display)의 디스플레이 패널(503)용 디스플레이 이미지가 생성된다. 소스(803)는 디스플레이될 장면의 3차원 표현을 제공하고 생성기(805)는 표현으로부터 디스플레이 이미지를 생성한다. 각각의 픽셀에 대해, 생성기(805)는 방향 매핑 함수에 응답하여 장면에 대한 뷰 지점 방향을 반영하는 장면 시점 방향 표시 및 뷰 원뿔들 내의 픽셀에 대한 투사 방향을 반영하는 뷰 원뿔 투사 방향 표시를 결정한다. 방향 매핑 함수는 뷰 원뿔 투사 방향들과 장면 뷰 지점 방향들 사이의 관계를 반영한다. 뷰 지점 방향에 대응하는 픽셀 값은 그 다음, 3차원 표현으로부터 생성된다. 게다가, 프로세서(809)는 뷰어 특성을 결정하고; 적응기(811)는 뷰어 특성에 응답하여 방향 매핑 함수에 적응한다.

Description

무안경 입체영상 디스플레이용 이미지의 생성
본 발명은 무안경 입체영상 디스플레이(autostereoscopic display)용 이미지의 생성에 관한 것이고 특히, 입력된 3차원 이미지로부터의 무안경 입체영상 디스플레이의 디스플레이 패널용 디스플레이 이미지의 생성에 관한 것이다.
3차원 디스플레이들은 증가하는 관심을 받고 있고, 뷰어(viewer)에 3차원 감지를 제공하는 방법에 관한 중요한 연구가 착수되고 있다. 3차원 디스플레이들은 시청되는 장면의 상이한 뷰들을 뷰어의 2개의 눈들에 제공함으로써 제 3 차원을 뷰잉 경험에 부가한다. 이것은 이용자로 하여금 안경을 착용하게 하여 디스플레이되는 2개의 뷰들을 분리함으로써 성취될 수 있다. 그러나, 이것이 상대적으로 이용자에게 불편하기 때문에, 많은 시나리오들에서, 상이한 뷰들을 직접적으로 생성하고 그들을 이용자의 눈들에 투사하는 무안경 입체영상 디스플레이들을 이용하는 것이 바람직하다. 실제로, 한동안, 다양한 회사들이 3차원 화상을 렌더링(rendering)하기 위해 적합한 무안경 입체영상 디스플레이들을 활발하게 개발하여 왔다. 무안경 입체영상 디바이스들은 특수 헤드기어 및/또는 안경에 대한 필요성 없이 3차원 인상을 뷰어들에게 제공할 수 있다.
무안경 입체영상 디스플레이들은 일반적으로, 상이한 뷰잉 각들에 대해 상이한 뷰들을 제공한다. 이 방식으로, 제 1 이미지는 뷰어의 좌측 눈에 대해 생성되고 제 2 이미지는 뷰어의 우측 눈에 대해 생성될 수 있다. 적절한 이미지들을 디스플레이함으로써 즉, 좌측 및 우측 눈의 관점으로부터 각각 적절하게, 3차원 인상을 뷰어에게 전달하는 것이 가능하다.
무안경 입체영상 디스플레이들은 뷰들이 개별적으로 이용자의 눈들에 도달하도록 렌티큘라 렌즈들 또는 시차 베리어들/베리어 마스크들과 같은 수단을 이용하여, 뷰들을 분리하고 그들을 상이한 방향들로 전송하는 경향이 있다. 스테레오 디스플레이들에 대해, 2개의 뷰들이 요구되지만 대부분의 무안경 입체영상 디스플레이들은 전형적으로, 더 많은 뷰들(예로서, 9개의 뷰들)을 활용한다. 실제로, 일부 디스플레이들에서, 이미지의 상이한 부분들이 상이한 뷰잉 방향들로 투사될 수 있도록 이미지의 뷰 방향들의 점진적 트랜지션(transition)이 이미지에 걸쳐 수행된다. 따라서, 일부 더 최근의 무안경 입체영상 디스플레이들에서, 고정된 수의 완전하 뷰들을 렌더링하는 무안경 입체영상 디스플레이보다 뷰 방향들에 걸친 이미지 영역들의 더 점진적이고 지속적인 분포가 적용될 수 있다. 이러한 무안경 입체영상 디스플레이는 종종 완전한 뷰들보다 단편적인 뷰들을 제공하는 것으로서 언급된다. 단편적인 뷰들에 관한 더 많은 정보는 예로서, WO 2006/117707에서 발견될 수 있다.
3차원 이미지 효과들을 위한 바램을 충족시키기 위해, 콘텐트는 캡쳐된 장면의 3차원 양태들을 설명하는 데이터를 포함하도록 생성된다. 예를 들면, 컴퓨터 생성 그래픽스에 대해, 3차원 모델이 개발되고 이용되어 주어진 뷰잉 위치로부터 이미지를 산출할 수 있다. 이러한 접근법은 예를 들면, 3차원 효과를 제공하는 컴퓨터 게임들을 위해 종종 이용된다.
또 다른 예로서, 영화들 또는 텔레비전 프로그램들과 같은, 비디오 콘텐트가 일부 3차원 정보를 포함하도록 점점 더 생성된다. 이러한 정보는 약간 오프셋된 카메라 위치들로부터 2개의 동시 이미지들을 캡쳐하는 전용 3차원 카메라들을 이용하여 캡쳐되어, 그에 의해 스테레오 이미지들을 직접적으로 생성할 수 있거나, 예로서 깊이를 또한 캡쳐할 수 있는 카메라들에 의해 캡쳐될 수 있다.
전형적으로, 무안경 입체영상 디스플레이들은 뷰들의 "원뿔(cone)들"을 생성하고 여기서, 각각의 뷰는 장면의 상이한 뷰잉 각들에 대응하는 다수의 뷰들을 포함한다. 인접한(또는 일부 경우들에서, 또한 이동된) 뷰들 사이의 뷰잉 각 차는 이용자의 우측 및 좌측 눈 사이의 뷰잉 각 차에 대응하도록 생성된다. 그에 따라, 좌측 및 우측 눈이 2개의 적절한 뷰들을 보는 뷰어는 3차원 효과를 감지할 것이다. 9개의 상이한 뷰들이 뷰잉 원뿔에서 생성되는 이러한 시스템의 일례가 도 1에 도시된다.
많은 무안경 입체영상 디스플레이들은 많은 수의 뷰들을 생성할 수 있다. 예를 들면, 9개의 뷰들을 생성하는 무안경 입체영상 디스플레이들이 일반적이다. 이러한 디스플레이들은 예로서, 멀티 뷰어 시나리오들을 위해 적합하고, 여기서 몇몇의 뷰어들은 동시에 디스플레이를 보고 전부는 3차원 효과를 경험할 수 있다. 예로서, 28개의 상이한 뷰들을 제공할 수 있는 예를 들면, 디스플레이들을 포함하는 심지어 더 많은 수의 뷰들을 갖는 디스플레이들이 또한 개발되었다. 이러한 디스플레이들은 종종, 상대적으로 협소한 뷰 원뿔들을 이용할 수 있어서, 뷰어의 눈들이 복수의 뷰들로부터 광을 동시에 수용하는 것을 야기한다. 또한, 좌측 및 우측 눈들은 전형적으로, (도 1의 예에서와 같이) 인접하지 않은 뷰들에 위치될 것이다.
무안경 입체영상 디스플레이들은 전형적으로, 전체의 가능한 뷰잉 또는 투사 각에 걸쳐 뷰들을 퍼뜨리지 않는다. 특히, 생성된 단편적이거나 완전한 뷰들은 전형적으로, 예로서 완전한 180° 범위에 걸쳐, 또는 심지어 예로서, 90° 의 더 작은 범위에 걸쳐 확산되지 않는다. 오히려, 제공된 뷰들은 전형적으로, 뷰잉 원뿔로서 공지되는 상대적으로 작은 각에 걸쳐 분포된다. 디스플레이의 조합된 뷰잉 각은 그 다음, 복수의 반복된 뷰잉 원뿔들에 의해 형성되고, 그들의 각각은 동일한 뷰들을 제공한다. 따라서, 뷰잉 원뿔들은 무안경 입체영상 디스플레이의 전체 뷰잉 각 범위에 걸친 투사를 제공하도록 반복되고 그에 따라, 개별적인 뷰들은 복수의 상이한 뷰잉 원뿔들에, 그리고 상이한 뷰잉 방향들로 투사된다. 도 2는 복수의 뷰잉 원뿔들(예에서, 3개의 뷰잉 원뿔들이 도시됨)을 투사하는 도 1의 무안경 입체영상 디스플레이의 일례를 도시한다.
도 3은 다수의 서브 픽셀들로부터 하나의 픽셀(3개의 컬러 채널들을 갖는)의 형성의 일례를 도시한다. 예에서, w는 수평 서브 픽셀 피치이고, h는 수직 서브 픽셀 피치이며, N은 단일 컬러링(coloring)된 패치 당 서브 픽셀들의 평균 수이다. 렌티큘라 렌즈는 s=tanθ 만큼 기울었고, 수평 방향으로 측정된 피치는 서브 픽셀 피치의 단위(p)이다. 픽셀 내에서, 굵은 선들은 상이한 컬러들의 패치들 사이의 분리를 나타내고 얇은 선들은 서브 픽셀들 사이의 분리를 나타낸다. 또 다른 유용한 양은 서브 픽셀 애스펙트 비: a=w/h이다. 그 다음, N=a/s이다. RGB 스트라이프 패턴에 관한 공통 기울기 1/6 렌즈에 대해, a=1/3이고 s=1/6이며, 따라서 N=2이다.
종래의 2D 디스플레이들에 대해서와 같이, 이미지 품질은 대부분의 애플리케이션들에서의 3차원 디스플레이에 대해 최고로 중요하고, 특히 예로서 3차원 텔레비전들 또는 모니터들에 대한 것과 같은, 소비자 시장에 대해 매우 중요하다. 그러나, 상이한 뷰들의 표현은 부가적인 문제들 및 잠재적인 이미지 저하들을 제공한다.
실제의 무안경 입체영상 디스플레이들은 상이한 뷰잉 각 범위들에 대응하는 상대적으로 많은 수의 뷰잉 원뿔들을 생성할 수 있다. (도 1에서와 같은) 뷰잉 원뿔 내에 위치된 뷰어에는 우측 및 좌측 눈들에 대한 상이한 뷰들이 제공될 것이고 이것은 3차원 효과를 제공할 수 있다. 게다가, 뷰어가 이동함에 따라, 눈들은 뷰잉 원뿔 내의 상이한 뷰들 사이를 스위칭하여, 그에 의해 운동 시차 및 대응하는 입체영상 효과를 자동으로 제공할 수 있다. 그러나, 복수의 뷰들이 전형적으로, 중앙 뷰(들)를 표현하는 입력 데이터로부터 생성됨에 따라, 이미지 저하는 증가된 시차 따라서, 원래 이미지로부터 이동하는 위치가 요구되는 외부 뷰들에 대해 증가한다. 그에 따라, 이용자가 뷰잉 원뿔의 에지들에서 맨끝의 뷰들을 향해 이동함에 따라, 품질 저하가 종종 감지된다. 따라서, 전형적으로, 뷰어가 무안경 입체영상 디스플레이에 대해 옆으로 이동할 때, 상기 뷰어는 입체시 및 운동 시차 효과들 둘 모두를 통해 3D 경험을 제공하는 디스플레이를 통해 자연적인 경험을 할 것이다. 그러나, 측면들을 향한 이미지 품질이 감소된다.
3차원 이미지들을 디스플레이할 때의 특정한 문제는 크로스토크(crosstalk)가 상이한 뷰들 사이에 발생할 수 있다는 것이다. 무안경 입체영상 디스플레이들에 대해, 크로스토크는 전형적으로, 상대적으로 넓은 분포 영역(dissemination area)을 갖는 개별적인 (서브) 픽셀로부터의 광으로 인한 중요한 문제이다. 인접한 (서브) 픽셀들이 전형적으로, 상이한 뷰들에 관련함에 따라, 상대적으로 높은 인터뷰 크로스토크가 종종 경험될 수 있다. 따라서, 그것은 인접한 (서브) 픽셀로부터의 광의 일부가 렌즈를 통해 동일한 방향으로 방출할 때 특정 양의 크로스토크가 인접한 뷰들 사이에 존재하는 무안경 입체영상 설계들에 대해 고유한 것이다.
따라서, (상이한 시차들 따라서, 상이한 위치들에 있는 일부 깊이 오브젝트(object)들을 갖는) 상이한 뷰들 사이의 교차 상관으로 인해, 이미지의 선명함의 손실을 야기하는 블러링 효과가 실제로 발생할 수 있다.
또 다른 문제는 뷰잉 원뿔의 제한된 뷰잉 각으로 인해, 뷰어가 뷰잉 원뿔 내에 완전하게 위치될 수 없지만 예를 들면, 도 4에 예시된 바와 같이 하나의 뷰잉 원뿔에 하나의 눈을 갖고 이웃 뷰잉 원뿔에 또 다른 눈을 가질 수 있다는 것이다. 그러나, 이것은 스테레오 반전을 야기할 수 있고, 우측 눈은 좌측 눈을 위해 생성된 이미지를 수용하고 좌측 눈은 우측 눈을 위해 생성된 이미지를 수용한다. 따라서, 뷰어가 뷰 원뿔의 끝을 향해 이동하고 하나의 눈을 통해 이웃 뷰 원뿔로 이동함에 따라, 이용자에게 매우 방해되고 불편한 것으로서 감지되는 스테레오 반전이 발생한다.
이 문제를 해결하기 위해, 이웃 뷰 원뿔들 사이에 더 크고 더 평탄한 트랜지션을 갖도록 뷰 원뿔들을 수정하는 것이 제안되었다. 이러한 접근법은 WO 2005/091050에서 더 상세하게 설명된다. 그러나, 이 접근법이 스테레오 반전을 완화할 수 있을지라도, 그것은 또한 일부 단점들을 갖는다. 가장 중요하게, 그것은 완전한 3차원 효과가 감지되는 각각의 뷰잉 원뿔 내의 뷰잉 범위를 감소시고, 즉 그것은 스윗 스팟(sweet spot)을 감소시킨다.
따라서, 무안경 입체영상 디스플레이들을 위해 이미지들을 생성하기 위한 개선된 방식이 이로울 것이고, 특히 증가된 유연성, 개선된 이미지 품질, 감소된 복잡성, 감소된 리소스 요구, 개선된 크로스토크 성능, 완화된 스테레오 반전, 증가된 이용자 친화성 및/또는 개선된 성능이 이로울 것이다.
그에 따라, 본 발명은 상기 언급된 단점들 중 하나 이상을 개별적으로 또는 임의의 조합으로 바람직하게 완화시키거나, 경감하거나 제거하려고 시도한다.
본 발명의 일 양태에 따라, 무안경 입체영상 디스플레이의 디스플레이 패널용 디스플레이 이미지를 생성하기 위한 장치가 제공되고, 무안경 입체영상 디스플레이는 디스플레이 패널 및 디스플레이 이미지를 복수의 뷰 원뿔들로 투사하도록 배열된 뷰 형성 광 소자를 포함하는 디스플레이 장치를 포함하고, 상기 장치는: 디스플레이될 장면의 3차원 표현을 제공하기 위한 소스; 3차원 표현으로부터 디스플레이 이미지를 생성하기 위한 생성기로서, 디스플레이 이미지의 적어도 일부 픽셀들의 각각에 대해, 방향 매핑 함수에 응답하여 장면에 대한 뷰 지점 방향을 반영하는 장면 뷰 지점 방향 표시 및 뷰 원뿔들 내의 픽셀에 대한 투사 방향을 반영하는 뷰 원뿔 투사 방향 표시를 결정하고; 3차원 표현으로부터 뷰 지점 방향에 대응하는 픽셀 값을 결정하도록 배열되며, 방향 매핑 함수는 뷰 원뿔 투사 방향들과 장면 뷰 지점 방향들 사이의 관계를 반영하는, 상기 생성기; 현재 뷰어들의 수를 나타내는 뷰어 특성을 결정하기 위한 프로세서; 및 뷰어 특성에 응답하여 방향 매핑 함수에 적응하기 위한 적응기를 포함하고, 증가하는 수의 현재 뷰어들을 나타내는 뷰어 특성에 응답하여, 적응기는 방향 매핑 함수에 적응하여 장면 뷰 지점 방향 편차 및 적어도 일부 뷰 원뿔 투사 방향들에 대한 방향 매핑 함수의 도함수의 크기 중 적어도 하나를 감소시키도록 배열되며, 장면 뷰 지점 방향 편차는 중앙 뷰 원뿔 투사 방향에 대응하는 장면 뷰 지점 방향으로부터의 편차를 반영한다.
본 발명은 무안경 입체영상 디스플레이로부터 개선된 3차원 이미지를 제공할 수 있다. 특히, 그것은 많은 애플리케이션들에서, 개선된 감지된 이미지 품질 및/또는 개선된 3D 효과를 하나 이상의 뷰어들에 제공할 수 있다. 접근법은 많은 시나리오들에서 개선된 이용자 경험을 제공할 수 있다. 접근법은 특히, 블러, 3D 효과와 스테레오 반전의 위험 사이에 개선된 동적 트레이드 오프(trade-off)를 제공할 수 있다.
접근법은 많은 실시예들에서, 시차의 양 따라서, 3차원 효과를 제어할 수 있어서, 적어도 일부 뷰잉 위치들에 대한 상기 3차원 효과가 증가하는 수의 이용자들에 대해 감소될 수 있게 한다. 장면 뷰 지점 방향 편차 및/또는 방향 매핑 함수의 편차는 증가하는 수의 뷰어들에 대해 감소될 수 있어서, 적어도 일부 뷰잉 위치들에 대해 좌측 눈과 우측 눈 사이의 감소된 시차 차를 야기한다. 특히, 뷰잉 원뿔의 끝을 향한 위치들에 대한 시차는 뷰어들의 수가 증가함에 따라 감소될 수 있다. 이것은 많은 실시예들에서 개선된 이용자 경험을 제공할 수 있다. 특히, 뷰어가 차선의 뷰잉 위치에 위치될 위험은 뷰어들의 수가 증가함에 따라 증가할 수 있고, 접근법은 예로서, 이러한 뷰어들에 의해 감지될 수 있는 스테레오 반전의 위험 또는 정도를 감소시킬 수 있다.
접근법은 뷰어들이 이롭지 않은 뷰잉 위치에 있을 확률이 변화함에 따라, 일부 시나리오들에서, 이로운 뷰잉 위치들에서 경험될 수 있는 3차원 경험과 이롭지 않은 뷰잉 위치들에서 경험될 수 있는 3차원 경험 사이에 개선되고 동적인 트레이드 오프를 제공할 수 있다.
장면의 3차원 표현은 예를 들면, 장면의 3차원 이미지 및/또는 장면의 3차원 모델의 형태일 수 있다.
디스플레이 이미지는 위빙(weaving)된 이미지일 수 있다. 디스플레이 패널의 각각의 픽셀은 각각의 뷰 원뿔 내에서, 디스플레이 장치로부터 투사 방향으로 투사/방출/방사될 수 있다. 픽셀에 대한 상대적 투사 방향은 각각의 뷰 원뿔 내에서 동일할 수 있다(예로서, 뷰 원뿔의 에지/트랜지션 또는 중심에 대하여).
각각의 픽셀은 방향 매핑 함수에 의해, 픽셀에 대한 픽셀 값이 반영/대응하도록 생성되는 장면의 뷰 지점의 방향을 반영하는 하나의 뷰 지점과 연관될 수 있다.
방향들은 구체적으로, 각 방향들일 수 있다. 예를 들면, 방향 매핑 함수는 뷰 원뿔 투사 각들과 장면 뷰 지점 각들 사이를 매핑할 수 있다. 각들은 많은 시나리오들에서, 평면에서 결정될 수 있고, 상기 평면은 구체적으로, 이용 중일 때, 무안경 입체영상 디스플레이에 대한 수평 평면일 수 있다.
방향 매핑 함수는 뷰 원뿔 투사 방향들에 대한 직접 방향(예로서, 각) 값들에 기초할 수 있거나 간접 표시들로부터 매핑을 제공할 수 있다. 예를 들면, 제 1 픽셀에 대해, 뷰 원뿔 투사 방향은 직접적으로, 방향(예로서, 각) 파라미터/값일 수 있거나 상기 픽셀이 방출되는 방향에 의존하거나 상기 방향을 반영하는 파라미터/값일 수 있다. 예를 들면, 픽셀에 대한 뷰 원뿔 투사 방향 표시는 디스플레이 패널을 생성하도록 위빙하기 이전에 예로서, 디스플레이 이미지/디스플레이 패널에서 또는 뷰 이미지에서의 상기 픽셀의 위치일 수 있다.
방향 매핑 함수는 직접 방향(예로서, 각) 값들을 장면 뷰 지점 방향들에 제공할 수 있거나 매핑을 간접 표시들에 제공할 수 있다. 예를 들면, 제 1 픽셀에 대해, 공칭 시차 값 또는 시차 스케일링 값은 뷰 지점 방향을 반영하고/그에 대응한다.
용어 픽셀은 예로서, 컬러 채널 서브 픽셀과 같은 용어 서브 픽셀을 포함한다.
방향 매핑 함수는 많은 시나리오들에서, 주어진 픽셀이 무안경 입체영상 디스플레이로부터 투사되는 방향/각과 장면이 상기 픽셀에 대해 "보여지는" 방향 사이의 관계를 반영/설명/정의할 수 있다.
뷰어 특성은 현재 뷰어들의 수를 나타낸다.
이것은 많은 실시예들에서 개선된 성능을 제공할 수 있다. 특히, 그것은 많은 실시예들에서, 블러, 3D 효과와 스테레오 반전의 위험 사이에 개선된 동적 트레이드 오프를 허용할 수 있고, 그것은 많은 시나리오들에서, 상기 트레이드 오프가 현재 뷰어들에 걸쳐 적절하게 분산되는 것을 허용할 수 있다.
본 발명의 선택적 특징에 따라, 증가하는 수의 현재 뷰어들을 나타내는 뷰어 특성에 응답하여, 적응기는 방향 매핑 함수에 적응하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 장면 뷰 지점 방향 편차를 감소시키도록 배열된다.
이것은 많은 실시예들에서 개선된 성능을 제공할 수 있다. 특히, 그것은 많은 실시예들에서, 블러, 3D 효과와 스테레오 반전의 위험 사이에 개선된 동적 트레이드 오프를 허용할 수 있다. 특히, 뷰어들이 대응하는 영역들에 존재할 가능성이 더 클 때, 그것은 비 중앙 뷰 원뿔 간격들의 바람직하지 않은 효과들을 완화할 수 있다.
일부 실시예들에서, 감소하는 수의 현재 뷰어들을 나타내는 뷰어 특성에 응답하여, 적응기는 방향 매핑 함수에 적응하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 장면 뷰 지점 방향 편차를 증가시키도록 배열될 수 있다.
본 발명의 선택적 특징에 따라, 증가하는 수의 현재 뷰어들을 나타내는 뷰어 특성에 응답하여, 적응기는 적어도 일부 뷰 원뿔 투사 방향들에 대한 적어도 일부 뷰 원뿔 투사 방향들에 대한 방향 매핑 함수의 도함수를 감소시키도록 배열된다.
이것은 많은 실시예들에서 개선된 성능을 제공할 수 있다. 특히, 그것은 많은 실시예들에서, 블러, 3D 효과와 스테레오 반전의 위험 사이에 개선된 동적 트레이드 오프를 허용할 수 있다.
일부 실시예들에서, 감소하는 수의 현재 뷰어들을 나타내는 뷰어 특성에 응답하여, 적응기는 적어도 일부 뷰 원뿔 투사 방향들에 대한 적어도 일부 뷰 원뿔 투사 방향들에 대한 방향 매핑 함수의 도함수를 증가시키도록 배열된다.
본 발명의 선택적 특징에 따라, 증가하는 수의 현재 뷰어들을 나타내는 뷰어 특성에 응답하여, 적응기는 방향 매핑 함수에 적응하여 방향 매핑 함수의 도함수가 중앙 뷰 원뿔 투사 방향에 대한 방향 매핑 함수의 도함수와 동일한 부호를 갖는 뷰 원뿔 투사 방향들의 감소된 간격을 제공하도록 배열된다.
이것은 많은 실시예들에서 개선된 성능을 제공할 수 있다. 특히, 그것은 많은 실시예들에서, 블러, 3D 효과와 스테레오 반전의 위험 사이에 개선된 동적 트레이드 오프를 허용할 수 있다. 특히, 뷰어들이 대응하는 영역들에 존재할 가능성이 더 클 때, 그것은 비 중앙 뷰 원뿔 간격들의 바람직하지 않은 효과들을 완화할 수 있다.
일부 실시예들에 따라, 감소하는 수의 현재 뷰어들을 나타내는 뷰어 특성에 응답하여, 적응기는 방향 매핑 함수에 적응하여 방향 매핑 함수의 도함수가 중앙 뷰 원뿔 투사 방향에 대한 방향 매핑 함수의 도함수와 동일한 부호를 갖는 뷰 원뿔 투사 방향들의 증가된 간격을 제공하도록 배열될 수 있다.
본 발명의 선택적 특징에 따라, 증가하는 수의 현재 뷰어들을 나타내는 뷰어 특성에 응답하여, 적응기는 방향 매핑 함수에 적응하여 뷰 원뿔 에지 투사 방향에서 방향 매핑 함수의 도함수의 크기를 감소시키도록 배열된다.
이것은 많은 실시예들에서 개선된 성능을 제공할 수 있다. 특히, 그것은 많은 실시예들에서, 블러, 3D 효과와 스테레오 반전의 위험 사이에 개선된 동적 트레이드 오프를 허용할 수 있다. 특히, 뷰어들이 대응하는 영역들에 존재할 가능성이 더 클 때, 그것은 비 중앙 뷰 원뿔 간격들의 바람직하지 않은 효과들을 완화할 수 있다.
일부 실시예들에 따라, 감소하는 수의 현재 뷰어들을 나타내는 뷰어 특성에 응답하여, 적응기는 방향 매핑 함수에 적응하여 뷰 원뿔 에지 투사 방향에서 방향 매핑 함수의 도함수의 크기를 증가시키도록 배열될 수 있다.
본 발명의 선택적 특징에 따라, 뷰어 특성은 적어도 하나의 뷰어의 위치를 나타낸다.
이것은 많은 실시예들에서 개선된 성능을 제공할 수 있다. 특히, 그것은 많은 실시예들에서, 블러, 3D 효과와 스테레오 반전의 위험 사이에 개선된 동적 트레이드 오프를 허용할 수 있다. 위치는 디스플레이 장치 또는 무안경 입체영상 디스플레이에 관한 위치일 수 있다.
본 발명의 선택적 특징에 따라, 뷰어 특성에 의해 표시된 뷰어 위치와 중앙 뷰 원뿔 투사 방향 사이의 증가하는 간격에 응답하여, 적응기는 방향 매핑 함수에 적응하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 장면 뷰 지점 방향 편차를 감소시키도록 배열된다.
이것은 많은 실시예들에서 개선된 성능을 제공할 수 있다. 특히, 그것은 많은 실시예들에서, 블러, 3D 효과와 스테레오 반전의 위험 사이에 개선된 동적 트레이드 오프를 허용할 수 있다. 특히, 뷰어가 대응하는 영역들에 존재할 가능성이 더 클 때, 그것은 비 중앙 뷰 원뿔 간격들의 바람직하지 않은 효과들을 완화할 수 있다.
동등하게, 뷰어 특성에 의해 표시된 뷰어 위치와 중앙 뷰 원뿔 투사 방향 사이의 감소하는 간격에 응답하여, 적응기는 방향 매핑 함수에 적응하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 장면 뷰 지점 방향 편차를 증가시키도록 배열될 수 있다.
본 발명의 선택적 특징에 따라, 증가하는 뷰어 움직임을 나타내는 뷰어 특성에 응답하여, 적응기는 방향 매핑 함수에 적응하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 장면 뷰 지점 방향 편차를 감소시키도록 배열된다.
이것은 많은 실시예들에서 개선된 성능을 제공할 수 있다. 특히, 그것은 많은 실시예들에서, 블러, 3D 효과와 스테레오 반전의 위험 사이에 개선된 동적 트레이드 오프를 허용할 수 있다. 특히, 뷰어가 적어도 일시적으로, 대응하는 영역들에 존재할 가능성이 더 클 때, 그것은 비 중앙 뷰 원뿔 간격들의 바람직하지 않은 효과들을 완화할 수 있다.
동등하게, 증가하는 뷰어 움직임을 나타내는 뷰어 특성에 응답하여, 적응기는 방향 매핑 함수에 적응하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 장면 뷰 지점 방향 편차를 감소시키도록 배열될 수 있다.
뷰어 움직임이 (시간에 따른) 뷰어의 위치의 변화의 측정치일 수 있다. 구체적으로, 뷰어 움직임은 시간 간격 동안 뷰어에 대한 위치의 변화를 반영할 수 있다. 일부 실시예들에서, 뷰어 움직임은 예를 들면, 평균 또는 최대 뷰어 움직임과 같은, 하나 이상의 뷰어들에 대한 속도 속성의 표시일 수 있다. 일부 실시예들에서, 뷰어 움직임은 하나 이상의 뷰어들에 대한 움직임의 방향의 표시일 수 있다.
본 발명의 선택적 특징에 따라, 뷰어 특성이 뷰어들의 수가 임계치 미만임을 나타내면, 적응기는 방향 매핑 함수에 적응하여 스테레오 이미지에 대응하기 위해 디스플레이 이미지에 적응하도록 배열된다.
이것은 많은 실시예들에서 개선된 이용자 경험을 제공할 수 있다.
본 발명의 선택적 특징에 따라, 뷰어 특성이 뷰어들의 수가 임계치를 초과함을 나타내면, 적응기는 방향 매핑 함수에 적응하여 복수의 뷰잉 원뿔들의 각각의 뷰잉 원뿔 내의 복수의 서브 뷰잉 원뿔들을 제공하기 위해 디스플레이 이미지에 적응하도록 배열된다.
이것은 많은 실시예들에서 개선된 이용자 경험을 제공할 수 있다.
본 발명의 선택적 특징에 따라, 장면의 3차원 표현은 입력된 3차원 이미지이고 생성기는 뷰 방향 변환을 입력된 3차원 이미지에 적용함으로써 뷰 지점 방향에 대응하는 픽셀 값을 결정하도록 배열된다.
이것은 많은 실시예들에서 개선되고/되거나 가능한 동작을 제공할 수 있다. 본 발명은 많은 애플리케이션들에서 무안경 입체영상 디스플레이 상의 3차원 이미지의 개선된 렌더링을 제공할 수 있다.
3차원 이미지는 3차원 장면의 임의의 표현일 수 있고 구체적으로, 시각 정보 및 깊이 정보를 제공하는 임의의 데이터일 수 있다. 3차원 이미지는 예로서, 장면의 상이한 시점들에 대응하는 2개 이상의 이미지들일 수 있다. 3차원 이미지는 예로서, 좌측 눈 뷰 및 우측 눈 뷰에 대응하는 2개의 2D 이미지들일 수 있다. 일부 시나리오들에서, 3차원 이미지는 예로서, 무안경 입체영상 디스플레이의 9개 또는 28개의 뷰들에 대한 2D 이미지들에 의한 것과 같은, 2개보다 많은 뷰들로 표현될 수 있다. 일부 시나리오들에서, 깊이 정보(예로서, 시차 또는 변위 데이터로서 제공됨)는 3차원 이미지의 부분으로서 제공될 수 있다. 일부 실시예들에서, 3차원 이미지는 예를 들면, 연관된 깊이 정보와 함께 단일 이미지로서 제공될 수 있다. 일부 시나리오들에서, 3차원 이미지는 폐색 데이터(occlusion data) 및 깊이 데이터와 함께 주어진 뷰 방향으로부터 2D 이미지로서 제공될 수 있다. 예를 들면, 3차원 이미지는 Z 스택 표현 및 연관된 깊이 맵으로서 제공될 수 있다.
본 발명의 선택적 특징에 따라, 방향 매핑 함수는 입력된 3차원 이미지의 시차로부터 디스플레이 이미지의 시차까지 매핑하는 시차 매핑 함수를 포함하고, 뷰 방향 변환은 픽셀 시프트를 입력된 3차원 이미지의 픽셀들에 적용하여 디스플레이 이미지에 대한 픽셀들을 생성하는 것을 포함하고, 픽셀 시프트는 시차 매핑 함수에 의존한다.
이것은 많은 실시예들에서 개선되고/되거나 가능한 동작을 제공할 수 있다. 본 발명은 많은 애플리케이션들에서 무안경 입체영상 디스플레이 상의 3차원 이미지의 개선된 렌더링을 제공할 수 있다.
본 발명의 일 양태에 따라, 무안경 입체영상 디스플레이는: 디스플레이 패널 및 디스플레이 이미지를 복수의 뷰 원뿔들로 투사하도록 배열된 뷰 형성 광 소자를 포함하는 디스플레이 장치; 디스플레이될 장면의 3차원 표현을 제공하기 위한 소스; 3차원 표현으로부터 디스플레이 이미지를 생성하기 위한 생성기로서, 디스플레이 이미지의 적어도 일부 픽셀들의 각각에 대해, 방향 매핑 함수에 응답하여 장면에 대한 뷰 지점 방향을 반영하는 장면 뷰 지점 방향 표시 및 뷰 원뿔들 내의 픽셀에 대한 투사 방향을 반영하는 뷰 원뿔 투사 방향 표시를 결정하고; 3차원 표현으로부터 뷰 지점 방향에 대응하는 픽셀 값을 결정하도록 배열되며, 방향 매핑 함수는 뷰 원뿔 투사 방향들과 장면 뷰 지점 방향들 사이의 관계를 반영하는, 상기 생성기; 현재 뷰어들의 수를 나타내는 뷰어 특성을 결정하기 위한 프로세서; 및 뷰어 특성에 응답하여 방향 매핑 함수에 적응하기 위한 적응기를 포함하고, 증가하는 수의 현재 뷰어들을 나타내는 뷰어 특성에 응답하여, 적응기는 방향 매핑 함수에 적응하여 장면 뷰 지점 방향 편차 및 적어도 일부 뷰 원뿔 투사 방향들에 대한 방향 매핑 함수의 편차의 크기 중 적어도 하나를 감소시키도록 배열되며, 장면 뷰 지점 방향 편차는 중앙 뷰 원뿔 투사 방향에 대응하는 장면 뷰 지점 방향으로부터의 편차를 반영한다.
본 발명의 일 양태에 따라, 무안경 입체영상 디스플레이의 디스플레이 패널용 디스플레이 이미지를 생성하기 위한 방법이 제공되고, 무안경 입체영상 디스플레이는: 디스플레이 패널 및 디스플레이 이미지를 복수의 뷰 원뿔들로 투사하도록 배열된 뷰 형성 광 소자를 포함하는 디스플레이 장치를 포함하고; 방법은: 디스플레이될 장면의 3차원 표현을 제공하는 단계; 3차원 표현으로부터 디스플레이 이미지를 생성하는 단계로서, 디스플레이 이미지의 적어도 일부 픽셀들의 각각에 대해, 방향 매핑 함수에 응답하여 장면에 대한 뷰 지점 방향을 반영하는 장면 뷰 지점 방향 표시 및 뷰 원뿔들 내의 픽셀에 대한 투사 방향을 반영하는 뷰 원뿔 투사 방향 표시를 결정하는 단계; 및 3차원 표현으로부터 뷰 지점 방향에 대응하는 픽셀 값을 결정하는 단계를 포함하며, 방향 매핑 함수는 뷰 원뿔 투사 방향들과 장면 뷰 지점 방향들 사이의 관계를 반영하는, 상기 생성 단계; 현재 뷰어들의 수를 나타내는 뷰어 특성을 결정하는 단계; 및 뷰어 특성에 응답하여 방향 매핑 함수에 적응하는 단계를 포함하고, 증가하는 수의 현재 뷰어들을 나타내는 뷰어 특성에 응답하여, 상기 적응 단계는 방향 매핑 함수에 적응하여 장면 뷰 지점 방향 편차 및 적어도 일부 뷰 원뿔 투사 방향들에 대한 방향 매핑 함수의 도함수의 크기 중 적어도 하나를 감소시키는 단계를 포함하며, 장면 뷰 지점 방향 편차는 중앙 뷰 원뿔 투사 방향에 대응하는 장면 뷰 지점 방향으로부터의 편차를 반영한다.
본 발명의 이들 및 다른 양태들, 특징들 및 장점들은 이하에 설명된 실시예(들)로부터 명백하고 이들을 참조하여 더 자세하게 설명될 것이다.
본 발명의 실시예들은 도면들을 참조하여 단지 예로서 설명될 것이다.
도 1은 무안경 입체영상 디스플레이로부터 생성된 뷰들의 일례를 도시한 도면.
도 2는 무안경 입체영상 디스플레이로부터 생성된 뷰잉 원뿔들의 일례를 도시한 도면.
도 3은 무안경 입체영상 디스플레이의 디스플레이 패널을 덮어씌우는 렌티큘라 스크린의 일례를 도시한 도면.
도 4는 이용자가 무안경 입체영상 디스플레이로부터 생성된 뷰잉 원뿔들 사이의 스테레오 반전을 경험하는 일례를 도시한 도면.
도 5는 무안경 입체영상 디스플레이 디바이스의 소자들의 개략적인 사시도.
도 6은 무안경 입체영상 디스플레이 디바이스의 소자들의 단면도.
도 7은 무안경 입체영상 디스플레이로부터 생성된 뷰잉 원뿔들의 일례를 도시한 도면.
도 8은 본 발명의 일부 실시예들에 따른 디스플레이 시스템의 일례를 도시한 도면.
도 9는 본 발명의 일부 실시예들에 따른 디스플레이 시스템에 대한 방향 매핑 함수의 일례를 도시한 도면.
도 10은 본 발명의 일부 실시예들에 따른 디스플레이 시스템에 의한 뷰 원뿔 투사 각들 및 장면 시점 각들의 매핑의 일례를 도시한 도면.
도 11 내지 도 16은 본 발명의 일부 실시예들에 따른 디스플레이 시스템에 대한 방향 매핑 함수들의 예들을 도시한 도면들.
도 5 및 도 6의 무안경 입체영상 디스플레이 장치(501)는 디스플레이 패널(503)을 포함한다. 디스플레이 장치(501)는 예로서, 디스플레이가 LCD 유형 디스플레이일 때, 광원(507)을 포함할 수 있지만, 이것은 예로서, OLED 유형 디스플레이들에 대해 필요하지 않다.
디스플레이 패널(503)은 주어진 광 출력을 제공하기 위해 개별적으로 구동될 수 있는 많은 수의 픽셀들을 포함한다. 일부 실시예들에서, 광 출력은 광원((그 자체가 가변적일 수 있는) 백라이트를 변조하는 LCD 패널과 같은)을 변조하는(전형적으로, 감쇠시키는) 디스플레이 패널(503)에 의해 제어될 수 있다. 다른 실시예들에서, 디스플레이 패널(503)의 개별적인 픽셀은 그 자체가 광을 생성하는 광 생성 및 방출 소자일 수 있다.
픽셀은 디스플레이로부터 출력된 광을 다르게 하기 위해 이용될 수 있는 디스플레이 패널(503)의 임의의 어드레싱가능한(addressable) 소자일 수 있다. 이와 같이, 용어 픽셀은 또한, 예로서 하나의 컬러 채널(또한 때때로, "서브 픽셀"로서 언급됨)에 단지 영향을 미치는 광 변화 또는 제어 소자들로 언급할 수 있다. 일부 실시예들에서, 픽셀은 서로 구동되는 2개 이상의 광 제어 소자들에 의해 형성될 수 있다.
디스플레이 장치(501)는 또한, 렌티큘라 시트 형태의 예에서, 디스플레이 패널(503)의 디스플레이 측 위에 배열된 뷰 형성 광 소자(509)를 포함한다. 뷰 형성 광 소자(509)는 뷰 형성 기능을 수행한다. 뷰 형성 광 소자(509)는 서로 평행하게 연장하는 일련의 렌티큘라 렌즈들(511)을 포함하고, 그들 중 단지 하나가 명료성을 위해 과장된 크기로 도시된다. 렌티큘라 렌즈들(511)은 뷰 형성 소자들의 역할을 하여 뷰 형성 기능을 수행한다. 도 5의 렌티큘라 렌즈들은 디스플레이 패널로부터 멀리 대향하는 볼록면을 갖는다. 디스플레이 패널을 향해 대향하는 그들의 볼록한 측면을 갖는 렌티큘라 렌즈를 형성하는 것이 또한 가능하다.
렌티큘라 렌즈들(511)은 볼록한 원통형 소자들의 형태일 수 있고, 그들은 광 출력 지향 수단의 역할을 하여 디스플레이 패널(503)로부터의 상이한 이미지들, 또는 뷰들을 디스플레이 장치(501) 앞에 배치된 이용자의 눈들에 제공한다. 따라서, 디스플레이 소자의 상이한 픽셀들은 디스플레이로부터 상이한 방향들로 투사된다. 렌티큘라 렌즈들(511)의 광 지향 효과는 디스플레이 패널들의 픽셀들이 방향들의 범위로 디스플레이로부터 투사되거나 방출되는 것을 야기한다. 구체적으로, 디스플레이 패널(503)의 이미지는 상이한 방향들(각들)로 방출되는 상이한 픽셀들을 통해 방향들(각들)의 간격으로 투사된다. 또한, 디스플레이 패널(503)의 이미지는 복수의 간격들로 반복되고 구체적으로, 각각의 개별적인 픽셀은 전형적으로 주기적인 오프셋(디스플레이 이미지가 투사되는 간격들의 각 반복 빈도에 대응하는)을 갖고 다수의 방향들로 투사된다. 이 방식들로, 디스플레이 패널(503)의 이미지는, 각각이 픽셀 투사들의 동일한 각 분포를 제공하는 복수의 상이한 뷰잉 원뿔들로 투사된다.
따라서, 복수의 뷰 원뿔들은 디스플레이 장치(501)로부터의 투사 방향들/각들의 간격을 포함하는 각각의 뷰 원뿔로 생성된다. 각각의 뷰 원뿔은 각각의 뷰 원뿔의 투사 방향들/각들에 걸쳐 분포되는 디스플레이 이미지를 통한 디스플레이 패널(503)의 디스플레이 이미지의 투사를 포함한다. 시스템에서, 뷰 원뿔들은 서로의 반복들이고 즉, 뷰 원뿔의 투사 각들(뷰 원뿔 투사 각들)에 걸친 디스플레이 이미지의 분포는 모든 뷰 원뿔들에 대해 동일하다.
디스플레이 패널(503)의 픽셀들의 각각은 특정 뷰 원뿔 투사 각으로(각각의 뷰 원뿔 따라서, 전체적으로 디스플레이의 복수의 투사 각들로) 투사된 뷰 형성 광 소자(509)에 의한 것이다. 디스플레이 장치(501)의 특정 설계에 의존하여, 디스플레이 패널의 픽셀들은 픽셀들의 그룹들로 분할될 수 있고 여기서, 하나의 그룹 내의 모든 픽셀들은 동일한 뷰 원뿔 투사 각을 갖고 투사된다. 예를 들면, 일부 디스플레이들에서, 수직 열의 모든 픽셀들은 동일한 수평 각 방향으로 투사된다. 다른 실시예들에서, 각각의 픽셀은 유일한 투사 각으로 투사될 수 있다.
도 7은 무안경 입체영상 디스플레이로부터의 복수의 뷰 원뿔들의 생성의 일례를 도시한다. 예에서, 각각의 간격은 원뿔 트랜지션들을 나타내는 라인들을 갖는 완전한 원뿔을 나타낸다. 예에서, 각각의 원뿔 각 간격(2개의 원뿔 트랜지션들 사이의 원뿔의 폭/간격)은 주 원뿔이
Figure pct00001
에 대응하도록 유니티(unity)로 정규화된다. 뷰 원뿔 중심들 즉, 중앙 뷰 원뿔 투사 각은
Figure pct00002
에 대응하고 전형적으로, 최대 시차가 성취되는 경우이다. 뷰 원뿔 트랜지션들은
Figure pct00003
에 대응한다.
이 예에서, 디스플레이 투사 각들의 범위(u)는 따라서, 복수의 뷰 원뿔들로 분할되고 각각은 뷰 원뿔 투사 각들의 간격(
Figure pct00004
)을 포함한다.
Figure pct00005
무안경 입체영상 디스플레이에서, 상이한 픽셀들에 대한 투사 방향들의 차는 상이한 입력들을 뷰어의 눈들에 제공하기 위해 이용되고 그에 의해, 3D 효과를 제공한다. 많은 실시예들에서, 각 간격은 예를 들면, 9, 15 또는 심지어 28개의 뷰들과 같은, 고정된 수의 뷰들로 분할된다. 각각의 뷰는 장면의 상이한 뷰 지점에 대응하도록 생성되고 그에 따라, 눈들이 2개의 상이한 뷰들을 수용하는 뷰어는 약간 상이한 시점들을 갖는 좌측 및 우측 눈으로 장면을 감지할 것이다. 이 방식으로, 장면의 3차원 이미지가 감지된다. 유사하게, 상이한 뷰들 사이를 이동하는 뷰어는 시차 효과를 감지할 것이고 그에 따라, 3D 효과를 경험할 것이다.
이러한 예에서, 각각의 뷰는 장면의 전체 이미지를 제공하고 뷰 원뿔은 상대적으로 적은 수의 고정된 뷰들(예로서, 9 내지 28개의 완전한 뷰들)로 분할된다. 그러나, 최근에 더 점진적인 접근법이 도입되었고 여기서, 각각의 픽셀은 약간 상이한 각에 대응하도록 렌더링될 수 있고 즉, 완전한 이미지들이 하나의 뷰 지점에 대응하도록 생성되기 보다, 이미지의 단지 일부가 주어진 뷰 지점에 대해 렌더링될 수 있으며 따라서, 각각의 눈에 의해 감지된 이미지는 약간 상이한 뷰 지점들에 대응하는 부분들에 의해 형성될 수 있다. 실제로, 각각의 픽셀이 약간 상이한 뷰 지점에 대응하도록 렌더링되는 것이 가능하고 뷰어에 의해 감지된 이미지는 약간 상이한 시점들에 전부 대응하는 픽셀들에 의해 형성될 수 있다. 그러나, 좌측 및 우측 눈들에 의해 감지되는 이미지들 및 픽셀들 사이의 뷰 지점 오프셋은 여전히, 요구된 3D 효과(입체영상 및 시차 효과 둘 모두)를 제공하기 위해 적절한 크기로 유지되고, 하나의 눈에 의해 감지되는 이미지의 상이한 부분들에 대한 뷰 지점들의 변화가, 차가 충분하게 낮는 한 감지된 이미지 품질을 저하시키지 않음이 실제로 발견되었다.
다음의 설명은, 무안경 입체영상 디스플레이가 각각의 뷰가 장면에 대한 하나의 뷰 지점에 대응하도록 생성된 전체 이미지를 포함하는 고정된 수(구체적으로 9개)의 상이한 뷰들을 포함하는 뷰 원뿔을 생성하는 일례에 촛점을 맞출 것이다. 그러나, 각각의 픽셀이 상이한 뷰 지점에 대응하도록 렌더링되는 접근법들을 포함하여, 설명된 접근법이 부분적 이미지 뷰들이 이용될 수 있는 예들에 동등하게 적용가능함이 이해될 것이다.
도 8은 본 발명의 일부 실시예들에 따른 무안경 입체영상 디스플레이를 도시한다. 무안경 입체영상 디스플레이는 도 5 및 도 6을 참조하여 설명된 것과 같은 무안경 입체영상 디스플레이 장치(501)를 포함한다. 게다가, 무안경 입체영상 디스플레이는 디스플레이 구동기(801)를 포함하고 상기 디스플레이 구동기는 무안경 입체영상 디스플레이의 디스플레이 장치(501)의 디스플레이 패널(503)을 위한 디스플레이 이미지를 생성하도록 배열된다.
많은 실시예들에서, 디스플레이 구동기(801)는 무안경 입체영상 디스플레이 그 자체에 포함될 수 있는 반면에, 다른 실시예들에서의 그것은 무안경 입체영상 디스플레이에 대한 별개의 유닛에 포함될 수 있다. 실제로, 일부 실시예들에서, 디스플레이 구동기(801)는 예를 들면, 이후의 이용을 위해 저장되는 디스플레이 이미지들을 생성할 수 있다. 예를 들면, 디스플레이 이미지들은, 무안경 입체영상 디스플레이가 이미지들을 검색하고 그들을 디스플레이 패널(503)에 직접적으로 제공할 수 있는 적합한 캐리어 상에 저장될 수 있다.
디스플레이 구동기(801)는 디스플레이될 장면의 3차원 표현으로부터 디스플레이 이미지를 생성하도록 배열된다. 따라서, 장면의 3D 설명을 제공하는 데이터가 제공된다. 디스플레이 구동기(801)는 이 데이터를 프로세싱하여 디스플레이 패널(503)에 의해 디스플레이될 때, 한 세트의 뷰 원뿔이 장면의 3차원 렌더링을 포함하는 상기 한 세트의 뷰 원뿔의 각각을 통해 투사되는 것을 야기하는 디스플레이 이미지를 생성하도록 배열된다. 구체적으로, 상이한 뷰 원뿔 투사 각들은 장면에 대한 상이한 뷰 지점들을 표현할 것이다.
다음의 설명은, 장면의 3차원 표현을 제공하는 데이터가 3차원 이미지의 형태인 일례에 촛점을 맞출 것이다. 디스플레이 이미지가 디스플레이 패널(503)에 의해 렌더링될 때, 이 입력된 3차원 이미지는 그 다음, 장면의 적절한 3D 표현을 생성하기 위해 설명될 바와 같이 프로세싱된다. 특히, 설명될 바와 같이, 뷰 원뿔 투사 각들에 대한 적절한 장면 뷰 지점들이 산출될 것이고, 디스플레이 패널(503)에 대한 대응하는 픽셀 값들은 대응하는 뷰 지점 변환을 입력된 3차원 이미지에 적용함으로써 산출될 것이다.
그러나, 다른 실시예들에서, 다른 형태들의 3차원 표현들이 이용될 수 있다. 특히, 3차원 표현은 장면의 3차원 모델의 형태일 수 있다. 이 모델은 상이한 뷰 지점들에 대해 평가될 수 있고, 따라서 디스플레이 패널(503)에 대한 적절한 픽셀 값들은 이러한 실시예들에서, 결정된 장면 뷰 지점에 기초하여 3차원 모델을 평가함으로써 결정될 수 있다.
도 8의 특정 예에서, 디스플레이 구동기(801)는 그러나, 적합한 포맷으로 3차원 장면을 설명/표현하는 입력된 3차원 이미지에 기초하여 디스플레이 이미지를 생성하도록 배열된다.
그에 따라, 디스플레이 구동기(801)는 장면의 3차원 표현을 위한 소스를 포함한다. 특정 예에서, 디스플레이 구동기(801)는 입력된 3차원 이미지를 수신하는 이미지 수신기(803)를 포함한다. 입력된 3차원 이미지는 예를 들면, 입력된 3차원 이미지에 의해 표현된 장면의 N개의 상이한 뷰들에 직접적으로 대응하는 N개의 이미지들의 세트일 수 있고 즉, 장면의 N개의 상이한 뷰 지점들을 반영하는 N개의 이미지들이 제공될 수 있다. 일 특정 예에서, 입력된 3차원 이미지는 우측 눈에 대해 하나의 이미지 및 좌측 눈에 대해 하나의 이미지를 갖는 스테레오 이미지일 수 있다. 또 다른 예로서, 입력된 3차원 이미지는 연관된 깊이 맵(예로서, 시차 또는 깊이 값을 단일 이미지의 각각의 픽셀에 제공함)을 갖는 단일 이미지일 수 있다. 여전히 또 다른 예로서, 입력된 3차원 이미지는 연관된 깊이 맵을 갖는 Z 스택일 수 있다. 따라서, 입력된 3차원 이미지는 전형적으로, (동시) 시각 및 깊이 정보를 입력된 3차원 이미지에 의해 표현된 장면에 제공하는 임의의 데이터일 수 있다.
입력된 3차원 이미지는 로컬 메모리로부터, 저장 매체로부터, 원격 네트워크 서버로부터, 라디오 방송으로부터, 등과 같은, 임의의 적합한 내부 또는 외부 소스로부터 수신될 수 있다. 일부 실시예들에서, 입력된 3차원 이미지는 단일 정지 이미지일 수 있다. 다른 실시예들에서, 입력된 3차원 이미지는 3차원 비디오 시퀀스의 단일 이미지(단일 프레임)일 수 있다.
이미지 수신기(803)는 입력된 3차원 이미지가 제공되는 이미지 생성기(805)에 결합된다. 이미지 생성기(805)는 디스플레이 장치(501)에, 구체적으로 무안경 입체영상 디스플레이 장치(501)의 디스플레이 패널(503)에 결합된다. 디스플레이 이미지가 디스플레이 패널(503) 상에 디스플레이될 때, 그것이 디스플레이 이미지에 의해 결정된 이미지들을 포함하는 뷰잉 원뿔들의 투사를 야기하도록, 이미지 생성기(805)는 디스플레이 패널을 위해 상기 디스플레이 이미지를 생성하도록 배열된다.
이미지 생성기(805)는 따라서, 디스플레이 패널(503)을 위해 디스플레이 이미지를 생성하도록 배열되고, 이는 무안경 입체영상 디스플레이로부터 원하는 뷰들의 투사를 야기할 것이다.
예를 들면, N개의 뷰들이 각각의 뷰 원뿔에서 투사될 것이면, 디스플레이 이미지는 N개의 뷰들이 투사되는 것을 야기하도록 생성된다. 이것은 뷰 원뿔 투사 방향 간격을, 각각의 연속적인 서브 간격이 하나의 뷰 이미지를 투사하도록 배열되는 N개의 연속적인 서브 간격들로 분할하는 원리에 따라 성취될 수 있다. 디스플레이 패널(503)은 그 다음, 각각의 그룹이 N개의 연속적인 서브 간격들 중 하나에 즉, 뷰들 중 하나에 대응하는 N개의 상이한 픽셀 그룹들로 분할된다. 서브그룹들의 각각에 대해, 이미지는 특정 뷰 이미지에 대한 원하는 뷰 지점에 대응하는 이미지 생성기(805)에 의해 생성된다. 디스플레이 이미지는 그 다음, 개별적인 뷰 이미지들을 조합된 디스플레이 이미지로 조합하여 뷰 이미지들의 픽셀들을 적절한 서브 간격으로 투사되는 디스플레이 이미지의 픽셀들에 매핑함으로써 생성된다. 결과로 발생하는 이미지는 일반적으로, 위빙된 이미지로서 언급된다.
따라서, 많은 실시예들에서, 이미지 생성기(805)는 뷰 형성 계층(509)이 상이한 뷰들을 생성하는 것을 허용하는 디스플레이 패널(503)에 의해 직접적으로 렌더링될 수 있는 이미지를 생성하기 위해 개별적인 뷰 이미지들로부터 적합한 픽셀 열들을 인터리빙(interleaving)함으로써 위빙된 이미지를 생성할 수 있다.
명료성 및 간결성을 위해, 다음의 설명은 단일 수평 라인에 촛점을 맞출 것이고 투사 방향들은 특정 투사 각들에 의해 표현될 것이다. 그에 따라, 다음에서 투사 각에 대한 기준들은 짧아진 기준을 투사 방향들에 제공하도록 고려될 수 있다. 유사하게, (장면) 뷰 지점 각들 또는 (장면) 뷰 각들에 대한 기준들은 (장면) 뷰 지점 방향들 또는 (장면) 뷰 방향들의 표현들로서 간주될 수 있다.
따라서, 시스템에서, 디스플레이 장치(501)는 상대적으로 큰(종종 수용가능한 뷰잉 각들은 무안경 입체영상 디스플레이에 대해 100°를 초과함) 디스플레이 투사 각 간격으로 이미지들을 투사한다. 그러나, 이 간격은 각각이 동일한 표현을 제공하는 복수의 반복된 간격들로 분할되고 즉, 그것은 복수의 뷰 원뿔들로 분할된다. 상기 뷰 원뿔들의 각각은 투사 각들의 간격 또는 범위를 포함한다.
특정 예에서, 각각의 뷰 원뿔은 10°의 폭을 가질 수 있다. 따라서, 완전한 간격의 디스플레이 투사 각들은 복수의 서브범위들 또는 서브 간격들의 뷰 원뿔 투사 각들로 분할된다. 각각의 뷰 원뿔은 동일한 이미지 표현을 제공하고 즉, 디스플레이 이미지는 각각의 뷰 원뿔(뷰 원뿔 투사 각들에 걸쳐 분포됨)로 렌더링된다.
그에 따라, 이미지 생성기(805)는 투사된 이미지가 뷰 원뿔 투사 각들에 걸쳐 분포되게 디스플레이 이미지를 생성하도록 배열되어, 뷰 원뿔에 배치된 이용자가 장면의 적합한 3차원 렌더링을 감지하게 할 것이다. 이것을 성취하기 위해, 상이한 뷰 원뿔 투사 각들로 투사되는 이미지 부분들이 상기 각들에 대응하는 장면의 뷰를 반영하도록, 즉 주어진 뷰 원뿔 투사 각으로 광을 제어하는 픽셀에 의해 표현된 뷰 지점이 상기 각에 대응하도록, 이미지 생성기(805)는 디스플레이 패널(503)에 대한 픽셀 값들을 생성한다.
그렇게 행하기 위해, 이미지 생성기(805)는 뷰 원뿔 투사 각들을 장면의 (전형적으로, 가상의) 뷰 지점 각들과 관련시키는 매핑을 포함한다. 따라서, 이미지 생성기(805)의 생성은 뷰 원뿔 투사 각들과 장면 뷰 지점 각들 사이의 매핑에 기초한다. 이미지 생성기(805)는 이러한 매핑을 제공하는 방향 매핑 함수를 포함한다.
도 8의 예에서, 디스플레이 구동기(801)는 그에 따라, 매핑 데이터 유닛(807)을 포함하고, 상기 매핑 데이터 유닛은 방향 매핑 함수를 이미지 생성기(805)에 제공한다. 예를 들면, 매핑 데이터 유닛(807)은 이미지 생성기(805)에 의해 이용될 적합한 하나 이상의 방향 매핑 함수들을 정의하는 데이터를 저장하는 메모리 또는 저장장치일 수 있다. 다른 실시예들에서, 매핑 데이터 유닛(807)은 예로서, 적절한 파라미터 값들을 선택함으로써 적합한 방향 매핑 함수를 산출할 수 있는 프로세싱 유닛일 수 있다.
자주 이용된 매핑의 일례가 도 9에 도시된다. 이 예에서, x 축은 뷰 원뿔 투사 각들을 표현하고 y 축은 장면 뷰 지점 각(v)을 표현하며 여기서, 장면 뷰 지점 각(v)은 또한, [-0.5;0.5]의 간격으로 정규화된다. 예에서, 이들 사이에 직접 선형 관계가 존재하고 즉, 방향 매핑 함수는 스트레이트 선형 매핑이다. 예에서, 값들은 정규화되었고 따라서, 선형 매핑의 그레디언트는 1이다. 정확한 비 정규화된 매핑이 특정 의도된 3D 효과에 의존함이 이해될 것이다.
구체적으로, 디스플레이 패널(503)의 픽셀을 결정할 때, 이미지 생성기(805)는 장면에 대한 뷰잉 방향을 반영하는 장면 뷰 지점 방향 표시를 계속해서 결정할 수 있다. 장면 뷰 지점 방향은 입력으로서, 뷰 원뿔들 내의 픽셀에 대한 투사 방향을 반영하는 뷰 원뿔 투사 방향 표시를 갖는 방향 매핑 함수에 대응하여 결정될 수 있다. 왜곡 측정치는 뷰 원뿔 투사 방향들과 장면 뷰 지점 방향 사이에 매핑을 제공한다.
구체적으로, 이미지 생성기(805)는 먼저, 주어진 제 1 픽셀에 대한 뷰 원뿔 투사 각의 표시를 계속해서 결정한다. 이 표시는 뷰 원뿔 투사 각에 의존하는 임의의 파라미터일 수 있고 구체적으로, 뷰 원뿔 투사 각과의 직접 관련성을 갖는 값일 수 있다. 구체적으로, 주어진 픽셀에 대한 투사 각은 디스플레이 장치(501)의 물리적 특성들에 의존하고, 그에 따라 픽셀의 위치와 뷰 원뿔 투사 각 사이에 직접 관련성이 존재한다. 따라서, 많은 실시예들에서, 픽셀의 위치는 직접적으로, 뷰 원뿔 투사 방향 표시로서 이용될 수 있다. 다른 실시예들에서, 뷰 원뿔 투사 각의 다른 표시들이 이용될 수 있다. 예를 들면, 일부 실시예들에서, 뷰 원뿔 투사 각이 직접적으로 결정되고 이용될 수 있다. 여전히 다른 실시예들에서, 주어진 공칭 깊이에 대한 공칭 시차 값은 뷰 원뿔 투사 각의 표시로서 이용될 수 있다.
주어진 픽셀에 대한 뷰 원뿔 투사 각이 디스플레이 장치(501)의 특정 기하학적 구조들에 의존하고 있기 때문에, 방향 매핑 함수는 전형적으로, 뷰 원뿔 투사 각 표시와 뷰 원뿔 투사 각 사이의 관계를 반영하도록 제조 동안 설계된다. 예를 들면, 디스플레이 패널(503) 픽셀 위치들과 뷰 원뿔 투사 각들 사이의 관계는 디스플레이 장치(501)의 기하학적 구조에 의존하고 그에 따라 전형적으로, 디스플레이 장치(501)의 제조/설계 동안 결정된다.
방향 매핑 함수는 뷰 원뿔 투사 각의 표시를 제공하는 입력 변수와 대응하는 장면 뷰 지점 각을 반영하는 출력 변수 사이의 매핑을 제공한다. 따라서, 방향 매핑 함수는, 픽셀이 디스플레이로부터 투사되거나 방출되는 뷰 원뿔들에서의 각과 픽셀 값이 생성되는 장면의 뷰잉 각 사이에 디스플레이 장치(501)의 픽셀에 대한 매핑을 제공한다.
도 9의 예에서, 방향 매핑 함수는 스트레이트 선형 매핑을 제공한다. 예를 들면, 투사된 뷰 원뿔의 10° 각 간격은 직접적으로, 장면의 뷰 지점에 대한 10° 각 간격에 매핑될 수 있다. 그러나, 다른 실시예들에서, 매핑이 상이한 (각) 범위들 사이에 있을 수 있음이 이해될 것이다. 종종, 무안경 입체영상 디스플레이들은 입체영상 디스플레이들보다 작은 깊이를 갖는 경향이 있고, 종종 뷰어는 준입체(hypostereo) 3D 효과를 경험할 수 있다.
도 10은 이용자가 뷰 원뿔 내에 배치되고 상이한 각 위치들에 즉, 상이한 뷰 원뿔 투사 각들로 배치된 좌측 및 눈을 갖고 배치되는 일례를 도시한다. 구체적으로, 좌측 눈은 방향(1001)을 따라 투사되는 디스플레이 패널(503)의 픽셀들을 수신하고 감지하며 우측 눈은 방향(1003)을 따라 투사되는 디스플레이 패널(503)의 픽셀들을 수신하고 감지한다. 좌측 눈을 통해 감지된 제 1 세트의 픽셀들은 그에 따라, 방향(1001)에 대응하는 뷰 원뿔 투사 각을 갖는 픽셀들이다. 그러나, 방향 매핑 함수는 이 각을, 디스플레이되는 가상 장면을 뷰잉하는 (가상) 뷰어의 위치에 대응하는 장면 뷰 지점 각(1005)과 관련시킨다. 따라서, 제 1 세트의 픽셀들에 대한 픽셀 값들을 생성할 때, 이미지 생성기(805)는 뷰 지점 각(1005)을 따르는 뷰어에 대응하도록 이들을 생성했다. 따라서, 제 1 세트의 픽셀들은 결정된 장면 뷰 지점 각으로 배치된 뷰어의 좌측 눈에 의해 감지된 것에 대응하는 이미지(또는 이미지의 일부)를 제공한다. 유사하게, 우측 눈을 통해 감지된 제 2 세트의 픽셀들에 대한 픽셀 값들은 장면 뷰 지점 각(1007)에 대응하도록 즉, 가상 뷰어의 우측 눈에 의해 감지된 장면 뷰 지점 각에 대응하도록 생성된다. 따라서, 무안경 입체영상 디스플레이를 뷰잉하는 실제 사람(1009)은 가상 뷰어의 좌측 및 우측 눈 이미지들에 각각 대응하도록 산출되는 좌측 및 우측 눈 이미지들을 감지한다.
무안경 입체영상 디스플레이의 뷰어가 뷰 원뿔 내로 이동하면, 좌측 및 우측 눈들에 도달하는 뷰 원뿔 투사 각들은 가상 뷰어가 이동하는 경우에 상기 가상 뷰어의 좌측 및 우측 눈 이미지들에 대한 변경들에 대응하여 달라질 것이다. 따라서, 입체영상 및 시차 3차원 효과 둘 모두가 제공된다.
방향 매핑 함수는 디스플레이 패널(503)의 픽셀들에 대해 뷰 원뿔 투사 각으로부터 장면 시점 각까지 매핑을 제공한다. 매핑은 언급된 바와 같이, 실제 각 값들에 기초하거나, 픽셀들의 위치들에 기초하는 것과 같은, 파라미터들을 나타내는 파라미터들에 전형적으로 기초할 수 있다.
따라서, 일단 이미지 생성기(805)가 픽셀에 대한 뷰 원뿔 투사 각 표시(위치와 같은)에 기초하여 주어진 픽셀에 대한 장면 뷰 지점 각을 결정했으면, 이미지 생성기(805)는 장면 시점 각에 대응하는 픽셀 값을 계속해서 생성할 수 있다. 따라서, 이미지 생성기(805)는 디스플레이 패널(503)에 대한 픽셀 값들을 생성하여 (뷰 원뿔 투사 각으로부터) 방향 매핑 함수에 기초하여 개별적인 픽셀들을 위해 결정된 장면 시점 각들에 대응한다.
예로서, 도 10에서와 같은 일부 실시예들에서, 픽셀 값의 생성은 픽셀에 대한 장면 시점 각에 기초하여 장면의 3차원 모델을 평가함에 의한 것일 수 있다. 숙련자는 3차원 모델 및 장면 시점 각에 기초하여 픽셀 값들을 결정하기 위한 많은 접근법들을 알 것이고 이것은 명료성을 위해 더 설명되지 않을 것이다.
일부 실시예들에서, 3차원 장면의 표현은 3차원 이미지에 의한 것이다. 예를 들면, 깊이 또는 시차 맵을 갖는 2차원 이미지가 제공될 수 있다. 이러한 경우에서, 주어진 결정된 장면 시점 각에 대한 픽셀 값들은 입력된 3차원 이미지에 대한 뷰 방향 변환에 의해 결정될 수 있다. 예를 들면, 2차원 이미지에 의해 표현된 장면 뷰 지점은 중앙 뷰 원뿔 투사 방향에 매핑하는 장면 시점 각에 대응하도록 즉, 뷰 원뿔의 가운데에 대응하도록 적응될 수 있다. 그에 따라, 중앙 뷰 원뿔 투사 각 및 대응하는 중앙 장면 시점 각에 대해, 픽셀 값들은 입력된 이미지의 픽셀 값들로서 직접적으로 생성된다. 결과적으로, 무안경 입체영상 디스플레이는 2차원 이미지에 대응하는 중앙 뷰 원뿔 이미지를 투사한다.
또 다른 뷰 원뿔 투사 각, 따라서 수신된 2차원 이미지의 뷰 지점 각과 상이한 장면 시점 각을 갖는 픽셀에 대한 픽셀 값을 결정할 때, 이미지 생성기(805)는 2차원 이미지의 픽셀들을 중앙 장면 뷰 지점 각과 결정된 장면 뷰 지점 각 사이의 장면 뷰 지점 각의 차이에 대응하는 양 만큼 시프트함으로써 픽셀 값을 결정할 수 있다. 구체적으로, 장면 뷰 지점 각에 대한 시차가 결정될 수 있고, 그에 이어서 픽셀 값은 대응하는 양만큼 현재 위치로부터의 오프셋인 것으로서 결정된다. 픽셀 시프팅이 디스플레이 이미지를 배치(populate)하기 위해 입력된 2차원 이미지의 픽셀들을 통한 루핑(looping) 그리고 이들의 적절한 시프트들을 발견하는 것에 기초할 수 있거나 동등하게, 디스플레이 패널(503)의 픽셀들을 통한 루핑 그리고 적절한 시프트들을 적용하여 입력된 2차원 이미지의 대응적으로 오프셋된 픽셀들로부터 픽셀 값들을 생성하는 것에 기초할 수 있음이 이해될 것이다. 예로서, 보간법에 기초하여 비 폐색(홀 채움) 접근법들이 이용될 수 있음이 또한 이해될 것이다.
일 특정 예로서, 수평 시프트는 다음으로서 결정될 수 있고:
Figure pct00006
여기서, f(u)는 방향 매핑 함수이고, u는 뷰 원뿔 투사 각을 반영하는 변수이며, d(x)는 입력된 이미지 시차 값이다. 따라서, 이 예에서, 출력된 시차 값(
Figure pct00007
)은 입력된 시차 값(d(x))으로부터 생성되고 그에 따라, 방향 매핑 함수는 특정 예에서, 시차 스케일링 함수(disparity scaling function)일 수 있으며, 상기 시차 스케일링 함수는 픽셀에 대한 입력된 시차로부터 픽셀에 대한 출력된 시차까지의 매핑을 수행한다.
당업자가 3차원 이미지들을 위해 뷰 지점 변환들을 수행하고 일반적으로, 특정 뷰 지점 방향들에 대응하는 픽셀 값들을 생성하기 위한 많은 상이한 접근법들을 알 것이고, 임의의 이러한 적합한 방식이 본 발명의 가치를 손상시키지 않고 이용될 수 있음이 이해될 것이다.
도 9의 방향 매핑 함수 예를 통해, 균일한 뷰 투사가 뷰 원뿔에 걸쳐 제공되고 뷰어가 뷰 원뿔에서 어디에 배치되는지에 관계 없이, 뷰어는 실질적으로, 동일한 3차원 효과를 수신할 것이다. 유사하게, 균일한 시차 효과가 뷰 원뿔에 걸쳐 제공된다.
그러나, 접근법은 또한 일부 단점들을 갖는다. 실제로, 도 11에 의해 도시된 바와 같이, 좌측 및 우측 눈들(L 및 R로 표시됨)은 단일 뷰 원뿔 투사 각으로부터 광을 수신하고 감지할 뿐만 아니라, 오히려 복수의 방향들(전형적으로, 단 범위)로부터 광을 수신한다. 이들 사이의 임의의 차는 블러의 형태로 이미지 저하를 야기할 것이다. 구체적으로, 화면 밖의 오브젝트들에 대한 상이한 뷰잉 각들 사이의 시차 오프셋들의 차는 블러를 도입할 것이다. 블러링의 일부는 상이한 뷰들 사이의 디스플레이 크로스 토크(또는 상이한 뷰 원뿔 투사 각)에 의해 야기될 것이다. 블러는 상이한 방향들로 투사된 이미지들/광 사이의 차들에 의존한다. 따라서, 블러는 전형적으로, 증가하는 시차/장면 시점 각 차들에 따라 증가할 것이다.
또한, 이용자가 원뿔 트랜지션에 배치될 때(상이한 뷰 원뿔들에서의 눈들을 통해), 스테레오 반전이 발생한다. 이것은 뷰어에게 특히, 하나의 뷰 원뿔로부터 또 다른 뷰 원뿔로 이동하는 이용자에게 매우 방해되는 것으로서 감지될 수 있다.
상기 문제들을 해결하기 위해, 도 9 및 도 11의 선형 매핑을 이용하는 대신에, 도 12에 도시된 것과 같은 사인파 매핑이 이용될 수 있음이 WO 2005/091050에 제안되었다. 이러한 접근법에서, 스테레오 반전은 여전히, 원뿔 트랜지션 시에 발생할 수 있지만, 이 스테레오 반전의 크기는 실질적으로 감소될 수 있다. 특히, 원뿔 트랜지션 시에 이용자에 대한 매우 강한 역 시차 발생은 상대적으로 작은 역 시차로 감소될 수 있다. 또한, 스테레오 반전의 점진적 도입 및 변화가 성취될 수 있다. 상기 특징들은 이용자에 대한 방해 효과를 매우 실질적으로 감소시키기 위해 발견되었다. 게다가, 시차들 따라서, 상이한 뷰들 사이의 차들이 감소될 수 있어서, 화면 밖의 오브젝트들에 의해 야기된 감소된 블러를 야기한다.
그러나, 이러한 매핑이 선형(톱니) 매핑의 효과들 중 일부를 완화하긴 하지만, 그것은 또한, 완전한 3D 효과가 제공되는 범위를 감소시킨다. 예를 들면, 스테레오 반전이 감소될 수 있을지라도, 그것이 발생하는 범위는 실질적으로 증가될 수 있다. 게다가, 비 균일한 뷰 원뿔이 생성되고 따라서, 3D 감지 및 감지된 이미지 품질은 상이한 위치들 사이에서 달라질 수 있다.
무안경 입체영상 디스플레이로부터의 투사된 이미지들이 상이한 방향 매핑 함수들의 장점들과 단점들 사이에 개선된 트레이드 오프를 제공하기 위해 유연하고 동적으로 적응될 수 있도록 도 8의 시스템은 방향 매핑 함수의 유연한 적응을 제공하도록 배열된다.
구체적으로, 디스플레이 구동기(801)는 뷰잉 시나리오의 특성의 표시를 결정하도록 배열되는 뷰어 특성을 결정하기 위한 뷰잉 프로세서(809)를 포함한다. 구체적으로, 뷰잉 프로세서(809)는 현재 뷰어들의 수 및/또는 하나 이상의 현재 뷰어들의 위치들의 표시를 생성한다.
숙련자가 이러한 뷰잉 특성들을 결정하기 위한 다양한 접근법들 및 기술들을 알고 임의의 적합한 접근법이 본 발명의 가치를 손상시키지 않고 이용될 수 있음이 이해될 것이다.
예를 들면, 뷰잉 프로세서(809)는 비디오 카메라로부터 이미지들을 수신하고 얼굴 검출을 수행하여 뷰어들의 수 및 (예로서, 각) 위치를 결정할 수 있다. 또 다른 예로서, 뷰잉 프로세서(809)는 눈 추적을 수행할 수 있다. 또 다른 예로서, 깊이 감지 카메라는 뷰잉 환경에서 오브젝트들을 검출하기 위해 이용될 수 있다(스켈레톤 추적(skeleton tracking)으로서 또한 언급됨).
뷰잉 프로세서(809)는 적응기(811)에 결합되고 상기 결합기(811)는 뷰어 특성에 응답하여 방향 매핑 함수에 적응하도록 배열된다. 따라서, 디스플레이 구동기(801)는 방향 매핑 함수에 동적으로 적응하여 현재 뷰잉 시나리오, 구체적으로 이용자들의 현재 수를 반영할 수 있다. 이것은 실질적으로, 많은 시나리오들에서 뷰잉 경험을 개선할 수 있다.
방향 매핑 함수에 적응하기 위한 많은 상이한 접근법들이 상이한 실시예들에서 적용될 수 있음이 이해될 것이다.
예를 들면, 일부 실시예들에서, 적응기(811)는 뷰어 특성에 의존하여 복수의 방향 매핑 함수들 사이를 선택하도록 배열될 수 있다. 예를 들면, 매핑 데이터 유닛(807)은 복수의 미리 결정된 방향 매핑 함수들을 저장하는 메모리를 포함할 수 있다. 적응기(811)는 뷰어 특성에 의존하여 상기 미리 결정된 방향 매핑 함수들 중 하나를 선택하도록 배열될 수 있고, 즉 미리 결정된 방향 매핑 함수는 뷰어들의 현재 수에 기초하여 선택된다.
일 특정 예로서, 제 1 미리 결정된 방향 매핑 함수는 존재하는 하나의 뷰어를 위해 저장되고, 제 2 미리 결정된 방향 매핑 함수는 존재하는 2명의 뷰어들을 위해 저장되고, 제 3 미리 결정된 방향 매핑 함수는 존재하는 3명 내지 5명의 뷰어들을 위해 저장되며, 제 4 미리 결정된 방향 매핑 함수는 존재하는 5명보다 많은 뷰어들을 위해 저장될 수 있다. 뷰잉 특성은 얼마나 많은 뷰어들이 현재 존재하는지를 나타낼 수 있고, 적응기(811)는 매핑 데이터 유닛(807)을 제어하여 대응하는 미리 결정된 방향 매핑 함수를 이미지 생성기(805)에 제공할 수 있다.
도 8의 시스템에서, 적응기(811)는, 적어도 일부 뷰 원뿔 투사 각들/방향들에 대해, 3차원 효과가 증가하는 수의 뷰어들에 대해 감소되도록 방향 매핑 함수에 적응하도록 배열된다.
구체적으로, 일부 실시예들에서, 방향 매핑 함수의 도함수의 크기는 뷰 원뿔 투사 각의 적어도 일부 값들에 대해 감소될 수 있다. 따라서, 변하는 뷰 원뿔 투사 각에 대한 장면 시점의 로컬 변화가 감소될 수 있어서, 뷰어에 의해 생성되고/감지되는 감소된 시차를 야기한다. 따라서, 방향 매핑 함수의 그레디언트(의 절대 값)는 뷰어들의 수가 증가함에 따라 적어도 일부 뷰 원뿔 투사 각들에 대해 감소될 수 있다. 이러한 실시예들에서, 방향 매핑 함수는 따라서, 뷰어들의 수가 증가함에 따라 더 작은 로컬 변화를 통해 더 평탄(smoother)해진다.
일부 실시예들에서, 3차원 효과의 감소는, 중앙 뷰 원뿔 투사 방향에 대응하는 장면 뷰 지점 방향으로부터의 편차가 뷰 원뿔 투사 각의 적어도 일부 값들에 대해 감소되도록 방향 매핑 함수를 수정하도록 배열되는 적응기(811)에 의해 성취될 수 있다. 이용자들의 수가 증가함에 따라, 장면 뷰 지점 방향 편차(즉, 원뿔의 중심으로부터의 장면 시점 각/방향의 편차)는 적어도 일부 값들에 대해 감소된다.
접근법들 둘 모두는 따라서, 뷰어들의 수가 증가함에 따라 방향 매핑 함수의 적용으로부터 발생하는 시차의 정도를 감소시키는 것에 관한 것일 수 있다. 적응기(811)는 뷰어들의 수가 증가함에 따라 생성된 장면 시점 각의 그레디언트/절대 값들을 감소시킬 수 있고, 그에 의해 예로서, 덜 어그레시브(aggressive)한 3차원 효과를 제공한다. 이것은 이상적인 위치에서의 뷰어에 대한 3차원 효과를 감소시킬 수 있지만 또한, 3차원 뷰잉을 위해 더 이롭지 않은 위치에서의 뷰어들에 대한 원하지 않은 효과들(예로서, 블러 또는 스테레오 반전)을 감소시킬 수 있다. 뷰어들의 수에 기초하여 동적 적응을 제공하기 위한 현재 접근법은 동적으로 개선된 트레이드 오프를 허용하여, 많은 애플리케이션들에서 개선된 이용자 경험을 야기한다.
많은 실시예들에서, 장면 뷰 지점 방향 편차가 뷰 원뿔 투사 각의 적어도 일부 값들에 대해 감소하고 방향 매핑 함수의 도함수의 크기가 뷰 원뿔 투사 각의 적어도 일부 값들에 대해 감소하도록 적응기(811)는 증가하는 뷰어들에 대한 방향 매핑 함수를 수정하도록 배열될 수 있음이 이해될 것이다. 실제로, 3차원 효과가 (뷰 원뿔 투사 각의 적어도 일부 값들에 대한) 중심으로부터의 편차 및 (적어도 일부 값들에 대한) 방향 매핑 함수의 그레디언트 둘 모두를 감소시키기 위해 수정되는 방향 매핑 함수에 의해 감소되도록, 전형적으로 방향 매핑 함수가 증가하는 수의 뷰어들을 위해 수정됨이 이해될 것이다.
일부 실시예들에서, 방향 매핑 함수는 지속 파라미터를 수정함으로써 지속적으로 적응될 수 있다. 이러한 접근법의 특정한 장점은 그것이 가능한 일시적 저역 필터링을 허용하여 방향 매핑 함수/원뿔 형상의 변화들로 인한 강한 가시적 변화들을 완화하는 것이다.
도 13 및 도 14는 파라미터(α∈[0,1])에 적응함으로써 지속적으로 적응될 수 있는 방향 매핑 함수들의 2개의 특정 예들을 도시한다. 도시된 바와 같이, 도면들은 최소 평탄에 대응하는 α=0 및 방향 매핑 함수의 더 평탄한 형상에 대응하는 α=1을 갖는 더 평탄하거나 더 로우한(rawer) 매핑을 제공하도록 적응될 수 있다.
도 13의 예는 다음의 식에 따라 톱니와 삼각 함수 사이에 적응될 수 있는 방향 매핑 함수에 대응한다:
Figure pct00008
제 2 예(도 14)에서, 원뿔 형상은 다음에 따라 톱니 매핑(α→0)과 사인 매핑(α→1) 사이에서 변화한다.
Figure pct00009
2개의 경우들에서,
Figure pct00010
는 같은 최대 시차에 대응하는 반면에, 가장 큰 음의 기울기 따라서, 원뿔 트랜지션의 세기에 대응하는
Figure pct00011
는 α의 영향을 받는다. α→0에 대해, 이 기울기는 -∞에 접근하고 a=1에 대해, 기울기는 단지 -1이다.
이들 예들에서, 방향 매핑 함수는 그에 따라, 중앙 장면 시점 각으로부터의 장면 시점 각의 편차가 일부 뷰 원뿔 투사 각들에 대해 감소되도록 수정될 수 있다. (뷰 원뿔들에 대한 중앙 뷰 원뿔 투사 각에 대응하는) 중앙 장면 시점 각이 예들에서 제로이기 때문에, 이것은 뷰 원뿔 투사 각들의 적어도 일부 값들에 대한 장면 시점 각의 크기를 감소시키는 것에 대응한다. 특히, 뷰 원뿔의 2개의 에지 간격들에서의 장면 시점 각들은 직접 선형 매핑에 대하여(즉, 톱니와 비교하여) 감소된다.
구체적으로, α가 증가됨에 따라, 에지 간격들에서의 장면 시점 각들이 감소된다. 결과로서, 뷰 원뿔의 에지들을 향해 생성된 뷰들은 중앙 뷰로부터 덜 벗어날 것이고, 실제로 그 때 원뿔 트랜지션들은 이 중앙 뷰에 접근하는 경향이 있을 것이다. 이것은 상충되는 바램들과 선호도들 사이에 개선된 트레이드 오프를 제공하는 유연한 적응을 허용한다.
실제로, 제 2 예에 대해, 방향 매핑 함수는 오직 잠재적으로 높은 블러 레벨 및 강한 스테레오 반전을 전체 뷰 원뿔에서의 균일한 뷰에 제공하는 것으로부터 비 균일한 뷰 원뿔을 제공하는 것까지 달라질 수 있고 강한 3D 효과가 제공되지만, 또한 실질적으로 덜한 블러 및 훨씬 더 소프트한 스테레오 반전을 갖는 감소된 각 간격을 갖는다.
예를 들면, 사인파 매핑에 대해, 상이한 감지들이 도 15에 도시된 바와 같이 뷰 원뿔의 상이한 영역들에서 제공될 수 있다. 예에서, 화살표(1501)로 표시된 뷰 원뿔의 영역은 높은 시차 뿐만 아니라, 잠재적으로 상당한 블러를 갖는 강한 3D 효과를 제공하는 경향이 있을 것이다. 1503 주위의 간격은 낮은 3D 효과를 제공(또는 어떠한 3D 효과도 제공하지 않는)하는 경향이 있을 것이지만 또한, 낮은 레벨의 블러를 제공한다. 1505 주위의 간격은 오직 전형적으로 허용가능한 (그리고 선형 매핑을 위해 최대 스테레오 반전에 대하여 훨씬 감소된) 레벨에서 스테레오 반전을 제공한다.
보여질 수 있는 바와 같이, 도 14의 예에서, 장면 뷰 지점 방향 편차는 파라미터(α)를 증가시킴으로써 곡선의 2개의 에지 간격들에서 감소된다. 그러나, 이것은 장면 뷰 지점 방향 편차(즉, 중심에 대한 편차)가 감소되는 것을 야기할 뿐만 아니라, 원뿔의 에지들을 향한 방향 매핑 함수의 도함수의 크기가 감소하는 것을 야기한다. 감소된 스테레오 반전 효과가 구체적으로 성취될 수 있다.
이 뷰어 특성은 현재 뷰어들의 수를 나타내고, 적응기(811)는 현재 뷰어들의 수에 응답하여 방향 매핑 함수에 적응하도록 배열될 수 있다.
현재 뷰어들의 수는 예를 들면, 뷰잉 영역을 지향한 비디오 카메라로부터 수신된 이미지에서 검출된 얼굴들의 수로서 뷰잉 프로세서(809)에 의해 결정될 수 있다.
뷰어들의 수에 대한 방향 매핑 함수의 적응은 많은 상황들에서 개선된 이용자 경험을 제공할 수 있다.
예를 들면, 렌티큘라 기반 무안경 입체영상 디스플레이가 그렇게 많은 뷰어들이 하나보다 많은 행을 형성하는 그들을 가질 때, 뒤쪽의 뷰어들이 뷰잉 원뿔 내의 양호한 위치를 발견하는 것이 어려워질 수 있다. 결과적으로, 상기 뷰어들은 전형적으로, 뷰잉 원뿔의 에지들을 향해 이동할 것이다. 이것은 단지 몇몇 또는 실제로 단지 하나의 뷰어가 존재하는 시나리오와 대조적이다. 이 경우에, 뷰어는 그 자신을 뷰 원뿔의 중심에 배치할 경향이 있을 것이다(또는 무안경 입체영상 디스플레이는 뷰 원뿔을 뷰어를 향해 움직이는 적응형 디스플레이일 수 있다). 따라서, 존재하는 이용자들이 많을수록, 뷰 원뿔의 더 넓은 간격이 뷰어들의 그룹에 의해 지속적으로 이용될 가능성이 더 크고, 뷰 원뿔의 중심으로부터 더 멀리 배치된 뷰어가 존재할 수 있는 가능성이 더 크다.
그러나, 이것은 또한, 이용자들이 뷰 원뿔의 에지를 향해 훨씬 멀리 일시적으로 이동할, 또는 실제로 심지어 뷰 원뿔 트랜지션/경계에 걸쳐 이동할 위험을 증가시킨다.
특정 예에서, 시스템은 그에 따라, 이용자들의 수에 의존하여, 따라서 뷰 원뿔에서의 이용자들의 그럴듯한 분포에 의존하여 방향 매핑 함수 및 수반된 트레이드 오프들에 적응하도록 배열될 수 있다.
접근법은 따라서, 수용가능한 블러, 스테레오 시차 및 3D 반전에 관한 뷰 원뿔의 스윗 스팟의 크기가 (또한, 간접적으로 원뿔 형상으로서 언급될 수 있는) 방향 매핑 함수에 의존함을 활용할 수 있다. 선형 매핑(톱니 매핑)에 대해, 스테레오 시차 및 낮은 블러를 갖는 영역은 크지만, 스윗 스팟들 사이의 블러 및 3D 반전의 세기 역시 그러하다. (사인파 매핑에 대한 것과 같은) 평탄한 원뿔에 대해, 유용한 영역은 더 작지만 블러 및 3D 반전이 훨씬 감소된다. 적응기(811)는 예에서, 상기 극단(extreme)들 사이의 방향 매핑 함수에 적응할 수 있고 예로서, 또한 양 극단들 사이에 있는 속성들을 갖는 반 평탄한 원뿔/매핑을 제공할 수 있다.
많은 예들에서, 작은 그룹의 준정적 뷰어들을 갖는 시나리오를 위한 바람직한 선택은 실제로 반 평탄한 원뿔일 수 있다. 사람이 뷰 원뿔 중심 밖으로 산발적으로 이동할 때, 그러나 여전히 강한 3D 효과를 상대적으로 넓은 스윗 스팟에 제공할 때, 이것은 전형적으로 강한 산만함(distractions)을 방지할 수 있다.
그러나, 스윗 스팟 당 증가하는 수의 뷰어들로 인해, 일부 뷰어들은 강제로 뷰잉 원뿔의 중심 밖의 부분에 남을 수 있다. 상기 이용자들은 (상대적으로 높은 기울기로 인한) 반 평탄한 원뿔의 모호한(blurry) 원뿔 측면들 뿐만 아니라, 가능하게 상대적으로 강한 스테레오 반전을 겪을 것이다. 이를 해결하기 위해, 적응기(811)는 뷰어들의 검출된 수가 증가함에 따라 방향 매핑 함수를 수정할 수 있다.
일부 실시예들에서, 뷰어들의 수가 증가할 때, 적응기(811)는 방향 매핑 함수의 평탄도를 증가시키도록 배열될 수 있다. 따라서, 구체적으로, 적응기(811)는 도 13 및 도 14의 방향 매핑 함수 예들의 α의 값을 증가시키도록 배열될 수 있다. 이 예에서, 방향 매핑 함수/원뿔 형상은 더 평탄해져서 중심 밖의 이용자들이 일부 스테레오 시차(따라서, 3D 감지)를 잃을 뿐만 아니라, 그들이 일시적으로 이동하면 블러를 덜 겪고 강한 스테레오 반전 효과들을 경험할 낮은 가능성을 야기한다. 따라서, 접근법에서, 적어도 일부 뷰어 위치들에 대한 3D 효과는 증가하는 수의 존재하는 뷰어들에 대해 감소된다.
구체적으로, 이전에 언급된 바와 같이, 뷰어 특성이 증가하는 수의 현재 뷰어들을 나타낼 때, 적응기(811)는 방향 매핑 함수에 적응하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 장면 뷰 지점 방향 편차를 감소시키도록 배열될 수 있다. 장면 뷰 지점 방향 편차는 중앙 장면 뷰 지점 방향으로부터의 편차를 반영하고 즉, 특정 예에서, 그것은 장면 시점 각과 중앙 장면 시점 각(뷰 원뿔들의 중심에 대한 장면 시점 각) 사이의 차를 반영한다. 예에서, 중앙 장면 시점 각은 제로이고 따라서, 적응기(811)는 뷰 원뿔 투사 각들의 적어도 일부 간격들에서 시점 각들의 크기의 값을 감소시키도록 배열될 수 있다.
구체적으로, 뷰어들의 크기가 증가할 때, 장면 시점 각들의 크기는 뷰 원뿔들의 에지 간격들에서 감소된다.
일례로서, 뷰잉 프로세서(809)가 3명의 뷰어들이 존재함을 검출할 때, 적응기(811)는 가능하게, 0.5의 파라미터(α)에 대한 값을 선택할 수 있다. 도 13 또는 도 14의 대응하는 방향 매핑 함수는 그에 따라, 이전에 설명된 상이한 효과들 사이에 합당한 타협(compromise)을 제공하기 위해 이용될 수 있다.
뷰잉 프로세서(809)가 이제, 현재 뷰어들의 수가 5명의 뷰어들로 증가했음을 계속해서 검출하면, 적응기(811)는 0.5 내지 0.9의 α의 값을 계속해서 증가시킬 수 있다. 이것은 더 평탄한 방향 매핑 함수를 야기하고 구체적으로, 장면 시점 각의 크기가 에지 간격들에서 감소됨을 야기한다. 예로서, 도 13의 예에 대해, 장면 시점 각의 크기(따라서, 제로의 중앙 장면 시점 각으로부터의 편차)는 [-0.5;-0.3] 및 [0.3;0.5]의 간격들에서 뷰 원뿔 투사 각들에 대해 감소된다. 도 14의 예에 대해, 장면 시점 각의 크기(따라서, 제로의 중앙 장면 시점 각으로부터의 편차)는 [-0.5;-0.15] 및 [0.15;0.5]의 간격들에서 뷰 원뿔 투사 각들에 대해 감소된다. 예에서, 장면 시점 각의 크기는 이 간격에서 감소되고, 실제로 방향 매핑 함수의 도함수의 크기도 그러하다. 따라서, 간격에서, 장면 시점 각이 원뿔의 중심에서와 동일한 레이트로 증가하는 대신에, 뷰 원뿔 투사 각의 주어진 변화에 대한 장면 시점 각의 더 작은 변화가 발생하도록 도함수가 감소된다.
뷰잉 프로세서(809)가 이제, 뷰어들의 수가 2명의 뷰어들로 감소됨을 검출하면, 적응기(811)는 예로서, 변수(α 내지 0.1)를 계속해서 감소시킬 수 있다. 이것은 장면 시점 각들이 도 13의 예에 대해 [-0.5;-0.3] 및 [0.3;0.5]의 간격들에서 그리고 도 14의 예에 대해 [-0.5;-0.15] 및 [0.15;0.5]의 간격들에서 증가됨을 야기한다. 대응적으로, 도 14에 대해, 방향 매핑 함수의 도함수는 뷰어들의 수가 감소됨에 따라 증가된다.
뷰잉 프로세서(809)가 그 다음, 뷰어들의 수가 3명의 뷰어들로 증가됨을 검출하면, 적응기(811)는 예로서, 변수(α 내지 0.5)를 다시 계속해서 설정할 수 있다. 이것은 장면 시점 각들이 도 13의 예에 대해 [-0.5;-0.4] 및 [0.4;0.5]의 간격들에서 그리고 도 14의 예에 대해 [-0.5;-0.2] 및 [0.2;0.5]의 간격들에서 감소됨을 야기한다. 게다가, 도 14에서 방향 매핑 함수에 대한 변화는 또한, 방향 매핑 함수의 도함수가 뷰어들의 수가 증가함에 따라 이 간격에서 감소함을 야기한다.
일부 실시예들에서, 적응기(811)는 방향 매핑 함수에 적응하여 뷰 원뿔 투사 방향들의 감소된 간격을 제공하도록 배열될 수 있고, 상기 감소된 간격에 대해 방향 매핑 함수의 도함수는 뷰어 특성이 증가하는 수의 현재 뷰어들을 나타내는 것에 응답하여 중앙 뷰 원뿔 투사 방향에 대한 방향 매핑 함수의 도함수와 동일한 부호를 갖는다.
따라서, 어떠한 스테레오 반전도 발생하지 않는 간격은 현재 뷰어들의 수에 기초하여 적응될 수 있고, 구체적으로 간격은 더 많은 이용자들에 대해 감소될 수 있다.
도 8의 시스템에서, 이것은 또한, 증가하는 수의 뷰어들에 대해 값(α)을 증가시킴으로써 성취될 수 있다. 예를 들면, 도 13의 예에 대해, α의 값을 0.5로부터 0.9로 변경하는 것은 방향 매핑 함수의 도함수/기울기의 변화가 -0.4로부터 -0.3으로 및 0.4로부터 0.3으로 이동하는 것을 야기한다. 따라서, 방향 매핑 함수의 기울기가 중앙 뷰 원뿔 투사 각에 대한 것과 동일한 간격은 [-0.4;0.4]로부터 [-0.3;0.3]으로 감소된다. 유사하게, 뷰어들의 수가 2로 감소할 때, 간격은 [-0.45;0.45]로 감소한다.
따라서, 이전에 제공된 설명이 또한, 어떠한 스테레오 반전도 발생하지 않는 간격에 적응하는 적응기(811)의 일례를 제공함이 이해될 것이다.
일부 실시예들에서, 뷰어 특성이 증가하는 수의 현재 뷰어들을 나타내는 것에 응답하여, 적응기(811)는 방향 매핑 함수에 구체적으로 적응하여 뷰 원뿔 에지 투사 방향에서 방향 매핑 함수의 도함수의 크기를 감소시키도록 배열된다. 이 접근법의 일례는 도 14를 참조하여 설명되었고, 도 14는 도함수가 α=0.5에 대해서보다 α=0.1에 대해(그리고 α=0.9에 대해서보다 α=0.5에 대해) 더 낮은 간격들을 명백하게 도시한다. α가 증가하는 수의 이용자들에 대해 증가되므로, 방향 매핑 함수의 도함수는 원뿔 에지들을 향해 감소되고, 그에 의해 예로서, 가능한 스테레오 반전의 세기를 감소시킨다.
따라서, 일부 실시예들에서, 원뿔 트랜지션 시에 (역) 시차는 증가된 수의 뷰어들에 대해 감소될 수 있다.
예를 들면, 방향 매핑 함수의 도함수/기울기의 크기가 0.1로부터 0.9까지의 α 변화들만큼 감소함이 도 14로부터 명백하게 보여질 수 있다. 따라서, 이전에 설명된 예는 또한, 이용자들의 수에 의존하여 원뿔 트랜지션 시에 방향 매핑 함수의 도함수를 수정하는 적응기(811)의 일례를 제공한다.
증가하는 수의 현재 뷰어들에 대한 방향 매핑 함수의 평탄화를 증가시키는 접근법은 (많은 뷰어들이 존재할 가능성이 더 많은) 중심 밖의 이용자들이 일부 시차/3D 효과를 잃는 것을 야기할 수 있지만 대신에, 그들은 블러를 덜 겪고 스테레오 반전의 감소된 위험을 가질 수 있다. 이것은 많은 시나리오들에서 이로울 수 있다.
상기 실시예들이 원뿔의 에지들을 향한 방향 매핑 함수의 변화에 촛점을 맞출지라도, 그리고 이것이 많은 실시예들에서 특히 이로울 수 있긴 하지만, 설명된 접근법이 이러한 애플리케이션들로 제한되지 않음이 이해될 것이다. 예를 들면, 일부 실시예들에서, 방향 매핑 함수는 그레디언트가 뷰어 특성에 의존하는, 구체적으로 그레디언트가 증가하는 수의 이용자들에 대해 감소하는 톱니 함수(즉, 그것은 단순하게, 원뿔 간격 내의 선형 비례 관계일 수 있음)일 수 있다.
일부 실시예들에서, 적응기(811)는 방향 매핑 함수에 적응하여 뷰 원뿔 투사 방향들의 감소된 간격을 제공하도록 배열될 수 있고, 상기 감소된 간격에 대해 방향 매핑 함수의 도함수는 뷰어 특성이 감소하는 수의 현재 뷰어들을 나타내는 것에 응답하여 중앙 뷰 원뿔 투사 방향에 대한 방향 매핑 함수의 도함수와 동일한 부호를 갖는다.
따라서, 어떠한 스테레오 반전도 발생하지 않는 간격은 현재 뷰어들의 수에 기초하여 적응될 수 있고, 구체적으로 간격은 더 적은 이용자들에 대해 감소될 수 있다.
도 8의 시스템에서, 이것은 또한, 감소하는 수의 뷰어들에 대해 값(α)을 증가시킴으로써 성취될 수 있다. 예를 들면, α의 값을 0.5로부터 0.9로 변경하는 것은 방향 매핑 함수의 도함수/기울기의 변화가 -0.4로부터 -0.4로 및 0.3으로부터 0.4로 이동하는 것을 야기한다. 따라서, 방향 매핑 함수의 기울기가 중앙 뷰 원뿔 투사 각에 대한 것과 동일한 간격은 [-0.4;0.4]로부터 [-0.3;0.3]으로 감소된다. 유사하게, 뷰어들의 수가 2로 감소할 때, 간격은 [-0.45;0.45]로 감소한다.
그에 따라, 이전에 제공된 설명이 또한, 어떠한 스테레오 반전도 발생하지 않는 간격에 적응하는 적응기(811)의 일례를 제공함이 이해될 것이다.
일부 실시예들에서, 뷰어 특성이 증가하는 수의 현재 뷰어들을 나타내는 것에 응답하여, 적응기(811)는 방향 매핑 함수에 적응하여 뷰 원뿔 트랜지션 투사 각에 대한 방향 매핑 함수의 도함수의 크기를 감소시키도록 배열된다.
따라서, 일부 실시예들에서, 원뿔 트랜지션 시에 (역) 시차는 증가된 수의 뷰어들에 대해 감소될 수 있다.
이 효과는 도 8의 시스템에서 이전에 설명된 바와 같이, 값(α)을 수정함으로써 성취될 수 있다. 예를 들면, 방향 매핑 함수의 도함수/기울기의 크기가 0.1로부터 0.9까지의 α 변화들만큼 감소함이 도 13으로부터 명백하게 보여질 수 있다. 따라서, 이전에 설명된 예는 이용자들의 수에 의존하여 원뿔 트랜지션 시에 방향 매핑 함수의 도함수를 수정하는 적응기(811)의 일례를 제공한다.
일부 실시예들에서, 뷰어 특성은 또한, 적어도 하나의 뷰어의 위치를 나타낼 수 있다. 예를 들면, 뷰잉 프로세서(809)는 뷰 원뿔 에지를 향해 가장 먼 사람의 위치를 검출할 수 있다. 예로서, 이미지는 이미지에서 얼굴들을 검출하기 위해 비디오 카메라에 의해 캡쳐되고 뷰잉 프로세서(809)에 의해 평가될 수 있다. 이미지의 측면을 향해 가장 먼 얼굴의 위치는 그 다음, 원뿔 트랜지션에 가장 가까운 뷰어의 위치의 표시로서 이용될 수 있다.
많은 실시예들에서, 적응기(811)는 방향 매핑 함수의 평탄화를 증가시키도록 배열될 수 있고, 뷰어 위치는 뷰 원뿔의 중심으로부터 더 멀다.
구체적으로, 뷰잉 프로세서(809)는 뷰어 위치의 표시를 생성할 수 있고, 상기 표시는 구체적으로 원뿔 트랜지션에 가장 가까운 뷰어의 위치일 수 있다. 적응기(811)는 그 다음, 뷰잉 원뿔의 중심으로부터 위치까지의 간격의 표시를 결정하도록, 그리고 이 간격이 더 커질수록 평탄화를 증가시키도록 배열될 수 있다.
따라서, 일부 실시예들에서, 뷰어 특성에 의해 표시된 뷰어 위치와 중앙 뷰 원뿔 투사 각 사이의 증가하는 간격에 응답하여 적응기(811)는 방향 매핑 함수에 적응하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 장면 뷰 지점 방향 편차를 감소시키도록 배열되고, 여기서 장면 뷰 지점 방향 편차는 중앙 원뿔 장면 뷰 지점 방향으로부터의 편차를 반영한다.
적응기(811)는 예를 들면, 파라미터(α)에 적응하여 곡선의 평탄화를 제어할 수 있다. 구체적으로, 적응기(811)가 중심에 대한 간격이 제로에 가깝다고 결정할 때의 0.1의 값으로부터 적응기(811)가 뷰어가 원뿔 트랜지션에 가깝다고 결정할 때의 0.9의 값까지 α의 값이 증가될 수 있다.
이 접근법은 뷰 원뿔들의 에지들을 향한 이용자들에 대한 3D 효과를 희생하여 스테레오 반전을 완화하고 블러를 감소시킬 수 있다.
다른 실시예들에서, 적응기(811)는 방향 매핑 함수의 평탄화를 감소시키도록 배열될 수 있고, 뷰어 위치는 뷰 원뿔의 중심으로부터 더 멀다.
예를 들면, 적응기(811)는, 적응기(811)가 중심에 대한 간격이 제로에 가깝다고 결정할 때의 0.9의 값으로부터 적응기(811)가 뷰어가 중심으로부터 멀다고 결정할 때의 0.1의 값까지 감소될 파라미터(α)에 적응할 수 있다. 이러한 접근법은 오직 증가된 블러 및 상당한 스테레오 반전의 증가된 위험을 댓가로 뷰잉 원뿔들의 에지를 향한 뷰어들에 대한 3D 효과의 제공을 증가시키는 경향이 있을 것이다.
일부 실시예들에서, 적응기(811)는 또한, 뷰어 움직임 표시에 기초하여 방향 매핑 함수에 적응하도록 배열될 수 있다. 따라서, 뷰잉 프로세서(809)는 현재 이용자 움직임의 표시를 생성하도록 배열될 수 있다. 이것은 예를 들면, 비디오 카메라 이동으로부터 이미지들에서 얼마나 많은 그리고 얼마나 빨리 얼굴들이 검출되는지를 검출함으로써 성취될 수 있다.
이러한 실시예들에서, 적응기(811)는 증가하는 뷰어 움직임의 검출에 응답하여 방향 매핑 함수의 평탄화를 증가시키도록 배열될 수 있다. 구체적으로, 적응기(811)는 증가하는 뷰어 움직임을 나타내는 뷰어 특성에 응답하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 장면 뷰 지점 방향 편차를 감소시키도록 배열될 수 있다(여기서, 장면 뷰 지점 방향 편차는 중앙 원뿔 장면 뷰 지점 방향으로부터의 편차를 반영한다).
뷰어 움직임은 예를 들면, 움직임의 크기, 움직임의 방향, 또는 움직임의 속도일 수 있다. 예를 들면, 적응기(811)는 카메라에 의해 생성된 이미지들에서 이동하는 뷰어들을 추적할 수 있다(예로서, 얼굴들이 검출되고 추적될 수 있음). 일부 실시예들에서, 적응기(811)는 예로서 얼굴에 대응하는 이미지 오브젝트에 대해 움직임의 평균 또는 최대 속도와 같은, 이미지에서의 움직임의 정도를 단순하게 결정할 수 있다. 그것은 그 다음, 증가하는 평균 또는 최대 움직임이 뷰어가 스테레오 반전을 경험하는 위험을 증가시킬 수 있으므로 이것에 대한 (예로서, 값(α)을 증가시킴으로써) 시차의 정도를 감소시키도록 배열될 수 있다. 예를 들면, 말하자면 2개의 얼굴들이 이미지에서 정지되면, 이것은 2명의 사람이 앉아서 디스플레이를 시청하고 있는 뷰어 시나리오를 반영할 수 있다. 상기 이동의 확률은 상대적으로 낮고 따라서, 높은 정도의 스테레오 효과가 제공될 수 있다(α는 낮은 값으로 설정될 수 있다). 그러나, 얼굴 이미지 오브젝트들 둘 모두가 이미지에서 빠르게 이동하고 있으면, 이것은 스테레오 반전이 경험될 수 있는 위치로 뷰어가 이동할 증가된 위험에 대응하는 뷰어 환경에서 많이 이동하는 뷰어들을 반영할 것 같다. 따라서, 평균 또는 최대 움직임 속도가 증가될 때, 장면 뷰 지점 방향 편차의 크기(및/또는 방향 매핑 함수의 도함수)는 전형적으로 최종 원뿔 간격들에 대해 감소될 수 있다.
유사하게, 적응기(811)는 예로서, 원뿔 중심을 향한 또는 원뿔의 에지를 향한 방향으로의 움직임 사이를 구별하도록 배열될 수 있다. 예로서, 파라미터(α)의 값은 전자의 경우에서 감소되고 후자의 경우에서 증가될 수 있다.
또 다른 예로서, 적응기(811)는 움직임의 크기를 예로서, 원뿔의 중심으로부터의 간격에 의해 측정된 것으로서 고려할 수 있다(예로서, 이미지 오브젝트로부터 캡쳐된 이미지의 중심까지의 차로서 측정됨). 움직임이 발생하는 원뿔의 중심으로부터 더 멀어질수록, 그것은 더욱 더 방향 매핑 함수 적응에 영향을 줄 수 있다. 일 특정 예로서, 중심으로부터 주어진 간격보다 먼 얼굴 이미지 오브젝트들의 움직임의 정도가 임계치를 초과하면, 장면 뷰 지점 방향 편차는 감소될 수 있다.
일부 실시예들에서, 증가하는 뷰어 움직임을 나타내는 뷰어 특성에 응답하여, 적응기(811)는 방향 매핑 함수에 적응하여 방향 매핑 함수의 도함수가 중앙 뷰 원뿔 투사 방향에 대한 방향 매핑 함수의 도함수와 동일한 부호를 갖는 뷰 원뿔 투사 방향들의 감소된 간격을 제공하도록 배열될 수 있다.
일부 실시예들에서, 증가하는 뷰어 움직임을 나타내는 뷰어 특성에 응답하여, 적응기(811)는 방향 매핑 함수에 적응하여 전형적으로, 에지 뷰 원뿔 투사 비에 대한 방향 매핑 함수의 도함수의 크기를 감소시키도록 배열될 수 있다.
이전에 설명된 바와 같이, 방향 매핑 함수의 이러한 적응들은 도 8의 시스템에서, 파라미터(α)를 수정함으로써 성취될 수 있다. 구체적으로, 적응기(811)는 증가하는 이용자 움직임을 나타내는 뷰어 특성에 대해 α를 증가시키도록 배열될 수 있다.
이러한 접근법은 많은 실시예들에서 개선된 이용자 경험을 제공할 수 있다. 실제로, 언급된 바와 같이, 평탄한 방향 매핑 함수들의 개념은 스테레오 반전으로부터의 불편(discomfort) 및 뷰 원뿔 트랜지션들에 가까운 화면 밖의 오브젝트들의 상당한 블러를 감소시키기 위해 유용하다. 그러나, 뷰어들이 디스플레이에 대해 이동하고 있을 때 이것은 더 이롭고 중요할 수 있다. 준정적 이용자들은 개선된 스테레오 시차 및 스테레오 반전의 감소된 확률로 인해 덜 평탄한 원뿔 형상으로부터 더 이득을 얻을 수 있다.
이 경우에 평탄한 원뿔 디스플레이를 지나치는 워블링 효과(wobbling effect)가 (많은) 불편을 야기하지 않는 경향이 있는 반면에, 덜 평탄한 원뿔의 선명한 원뿔 트랜지션들이 더 많은 불편을 야기할 것이거나 적어도 산란하게 할 것이기 때문에 높은 정도의 뷰어 움직임이 존재할 때 더 평탄한 원뿔을 제공하기 위한 방향 매핑 함수의 적응은 특히 이롭다.
일부 실시예들에서, 뷰어 특성이 뷰어들의 수가 임계치 미만임을 나타내고, 구체적으로 뷰어들의 수가 1이면, 적응기(811)는 방향 매핑 함수에 적응하여 스테레오 이미지에 대응하기 위해 디스플레이 이미지에 적응하도록 배열될 수 있다.
따라서, 일부 실시예들에서, 적응기(811)는 단지 한명의 이용자가 존재할 때, 상대적으로 많은 수의 뷰들을 생성하는 것으로부터 단지 2개의 뷰들을 생성하는 것으로 스위칭할 수 있다. 따라서, 적응기(811)는 이 경우에 스테레오 이미지를 제공하기 위해 스위칭할 수 있다.
적응기(811)는 이 경우에, 무안경 입체영상 디스플레이의 동작을 적응적으로 스위칭하여 스테레오 이미지(스테레오 온 멀티뷰(stereo-on-multiview))를 제공할 수 있다. 결과적으로, 블러는 여전히 많은 양의 시차를 허용하면서 감소될 수 있다.
일부 실시예들에서, 뷰어 특성이 뷰어들의 수가 임계치를 초과함을 나타내면, 적응기는 방향 매핑 함수에 적응하여 복수의 뷰잉 원뿔의 각각의 뷰잉 원뿔 내의 복수의 서브 뷰잉 원뿔들을 제공하기 위해 이미지 원뿔에 적응하도록 배열될 수 있다.
무안경 입체영상 디스플레이를 시청할 때, 정면의 뷰어들은 그들 자신을 뷰 원뿔 중심을 향해 배치하려는 경향이 있을 것이다. 이것은 종종 더 뒤에 있는 이용자들에 대한 원뿔 중심의 어느 하나의 측 상에 단지 작은 공간을 남긴다. 일부 실시예들에서, 적응기(811)는 이 경우에, 디스플레이 장치(501)가 결국 효과적으로 복수의 서브 뷰 원뿔들을 주어진 원뿔 내로 투사하도록 방향 매핑 함수를 수정할 수 있다. 이러한 방향 매핑 함수의 일례가 도 16에 도시된다.
구체적으로, 이전에 설명된 바와 같은 기본 매핑 함수/원뿔 형상 함수들(f(u))은 다수의 버전들의 적용된 매핑을 포함하도록 수정될 수 있다. 예를 들면, M개의 서브 원뿔들이 바람직하면, 이것은 다음에 따라 기본 방향 매핑 함수(f(u))를 수정함으로써 성취될 수 있다:
Figure pct00012
따라서, 방향 매핑 함수는 동일한 비 반복 방향 매핑 함수의 복수의 반복들을 각각의 뷰 원뿔 내에 포함시키도록 생성될 수 있다.
명료성을 위한 상기 설명이 상이한 기능 회로들, 유닛들 및 프로세서들에 관하여 본 발명의 실시예들을 설명했음이 이해될 것이다. 그러나, 상이한 기능 회로들, 유닛들 또는 프로세서들 사이의 기능의 임의의 적합한 분포가 본 발명의 가치를 손상시키지 않고 이용될 수 있음이 명백할 것이다. 예를 들면, 별개의 프로세서들 또는 제어기들에 의해 수행되도록 도시된 기능은 동일한 프로세서 또는 제어기들에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에 대한 참조들은 완전한(strict) 논리 또는 물리 구조 또는 구성을 나타내는 대신에 설명된 기능을 제공하기 위한 적합한 수단에 대한 참조들로서 단지 보여질 것이다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함하는 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로, 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들 상에서 구동하는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 일 실시예의 소자들 및 구성요소들은 물리적으로, 기능적으로 그리고 논리적으로 임의의 적합한 방식으로 구현될 수 있다. 실제로, 기능은 단일 유닛으로, 복수의 유닛들로 또는 다른 기능 유닛들의 부분으로서 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛으로 구현될 수 있거나 물리적으로 및 기능적으로, 상이한 유닛들, 회로들 및 프로세서들 사이에 분포될 수 있다.
본 발명이 일부 실시예들과 관련하여 설명되었을지라도, 그것은 본 명세서에서 제시된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범위는 첨부된 청구항들에 의해서만 제한된다. 부가적으로, 특징이 특정한 실시예들과 관련하여 설명되기 위해 나타날 수 있을지라도, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 청구항들에서, 용어(포함하는(comprising))는 다른 소자들 또는 단계들의 존재를 배제하지 않는다.
또한, 개별적으로 열거될지라도, 복수의 수단들, 소자들, 회로들 또는 방법 단계들은 예로서, 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 부가적으로, 개별적인 특징들이 상이한 청구항들에 포함될 수 있을지라도, 이들은 가능하게, 이롭게 조합될 수 있고, 상이한 청구항들로의 포함은 특징들의 조합이 실현가능하고/하거나 이롭지 않음을 암시하지 않는다. 또한, 하나의 범주의 청구항들로의 특징의 포함은 이 범주에 대한 제한을 암시하지 않고 오히려, 특징이 적절하게 다른 청구항 범주들로 동등하게 적용가능함을 나타낸다. 또한, 청구항들에서 특징들의 순서는 특징들이 효과가 있어야하는 임의의 특정 순서를 암시하지 않고 특히, 방법 청구항에서 개별적인 단계들의 순서는 단계들이 이 순서로 수행되어야 함을 암시하지 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 게다가, 단수 참조들은 복수를 배제하지 않는다. 따라서, 부정관사("a", "an"), "제 1", "제 2", 등에 대한 참조들은 복수를 배제하지 않는다. 청구항들에서의 참조 부호들은 단지 명확한 예로서 제공되고 임의의 방식으로 청구항들의 범위를 제한하는 것으로서 해석되지 않을 것이다.
501: 무안경 입체영상 디스플레이 장치 503: 디스플레이 패널
507: 광원 509: 뷰 형성 광 소자
511: 렌티큘라 렌즈들 801: 디스플레이 구동기
803: 이미지 수신기 805: 이미지 생성기
807: 매핑 데이터 유닛 809: 뷰잉 프로세서
811: 적응기

Claims (14)

  1. 무안경 입체영상 디스플레이(autostereoscopic display)의 디스플레이 패널(503)용 디스플레이 이미지를 생성하기 위한 장치로서, 상기 무안경 입체영상 디스플레이는 상기 디스플레이 패널(503) 및 상기 디스플레이 이미지를 복수의 뷰 원뿔들로 투사하도록 배열된 뷰 형성 광 소자(509)를 포함하는 디스플레이 장치(501)를 포함하는, 상기 장치에 있어서:
    디스플레이될 장면의 3차원 표현을 제공하기 위한 소스(803);
    상기 3차원 표현으로부터 상기 디스플레이 이미지를 생성하기 위한 생성기(805)로서, 상기 디스플레이 이미지의 적어도 일부 픽셀들의 각각에 대해:
    방향 매핑 함수에 응답하여 상기 장면에 대한 뷰 지점 방향을 반영하는 장면 뷰 지점 방향 표시 및 상기 뷰 원뿔들 내의 상기 픽셀에 대한 투사 방향을 반영하는 뷰 원뿔 투사 방향 표시를 결정하고;
    상기 3차원 표현으로부터 상기 뷰 지점 방향에 대응하는 픽셀 값을 결정하도록 배열되며, 상기 방향 매핑 함수는 뷰 원뿔 투사 방향들과 장면 뷰 지점 방향들 사이의 관계를 반영하는, 상기 생성기;
    현재 뷰어들의 수를 나타내는 뷰어 특성을 결정하기 위한 프로세서(809); 및
    상기 뷰어 특성에 응답하여 상기 방향 매핑 함수에 적응하기 위한 적응기(811)를 포함하고,
    증가하는 수의 현재 뷰어들을 나타내는 상기 뷰어 특성에 응답하여, 상기 적응기(811)는 상기 방향 매핑 함수에 적응하여 장면 뷰 지점 방향 편차 및 적어도 일부 뷰 원뿔 투사 방향들에 대한 상기 방향 매핑 함수의 도함수의 크기 중 적어도 하나를 감소시키도록 배열되며, 장면 뷰 지점 방향 편차는 중앙 뷰 원뿔 투사 방향에 대응하는 장면 뷰 지점 방향으로부터의 편차를 반영하는, 디스플레이 이미지를 생성하기 위한 장치.
  2. 제 1 항에 있어서,
    증가하는 수의 현재 뷰어들을 나타내는 상기 뷰어 특성에 응답하여, 상기 적응기(811)는 상기 방향 매핑 함수에 적응하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 상기 장면 뷰 지점 방향 편차를 감소시키도록 배열되는, 디스플레이 이미지를 생성하기 위한 장치.
  3. 제 1 항에 있어서,
    증가하는 수의 현재 뷰어들을 나타내는 상기 뷰어 특성에 응답하여, 상기 적응기(811)는 적어도 일부 뷰 원뿔 투사 방향들에 대한 적어도 일부 뷰 원뿔 투사 방향들에 대한 상기 방향 매핑 함수의 도함수를 감소시키도록 배열되는, 디스플레이 이미지를 생성하기 위한 장치.
  4. 제 1 항에 있어서,
    증가하는 수의 현재 뷰어들을 나타내는 상기 뷰어 특성에 응답하여, 상기 적응기(811)는 상기 방향 매핑 함수에 적응하여 상기 방향 매핑 함수의 도함수가 중앙 뷰 원뿔 투사 방향에 대한 상기 방향 매핑 함수의 도함수와 동일한 부호를 갖는 뷰 원뿔 투사 방향들의 감소된 간격을 제공하도록 배열되는, 디스플레이 이미지를 생성하기 위한 장치.
  5. 제 1 항에 있어서,
    증가하는 수의 현재 뷰어들을 나타내는 상기 뷰어 특성에 응답하여, 적응기(811)는 상기 방향 매핑 함수에 적응하여 뷰 원뿔 에지 투사 방향에서 상기 방향 매핑 함수의 도함수의 크기를 감소시키도록 배열되는, 디스플레이 이미지를 생성하기 위한 장치.
  6. 제 1 항에 있어서,
    상기 뷰어 특성은 적어도 하나의 뷰어의 위치를 나타내는, 디스플레이 이미지를 생성하기 위한 장치.
  7. 제 6 항에 있어서,
    상기 뷰어 특성에 의해 표시된 뷰어 위치와 중앙 뷰 원뿔 투사 방향 사이의 증가하는 간격에 응답하여, 상기 적응기(811)는 상기 방향 매핑 함수에 적응하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 상기 장면 뷰 지점 방향 편차를 감소시키도록 배열되는, 디스플레이 이미지를 생성하기 위한 장치.
  8. 제 6 항에 있어서,
    증가하는 뷰어 움직임을 나타내는 상기 뷰어 특성에 응답하여, 상기 적응기(811)는 상기 방향 매핑 함수에 적응하여 적어도 일부 뷰 원뿔 투사 방향들에 대한 상기 장면 뷰 지점 방향 편차를 감소시키도록 배열되는, 디스플레이 이미지를 생성하기 위한 장치.
  9. 제 1 항에 있어서,
    상기 뷰어 특성이 뷰어들의 수가 임계치 미만임을 나타내면, 상기 적응기(811)는 상기 방향 매핑 함수에 적응하여 스테레오 이미지에 대응하기 위해 상기 디스플레이 이미지에 적응하도록 배열되는, 디스플레이 이미지를 생성하기 위한 장치.
  10. 제 1 항에 있어서,
    상기 뷰어 특성이 뷰어들의 수가 임계치를 초과함을 나타내면, 상기 적응기(811)는 상기 방향 매핑 함수에 적응하여 상기 복수의 뷰잉 원뿔들의 각각의 뷰잉 원뿔 내의 복수의 서브 뷰잉 원뿔들을 제공하기 위해 상기 디스플레이 이미지에 적응하도록 배열되는, 디스플레이 이미지를 생성하기 위한 장치.
  11. 제 1 항에 있어서,
    상기 장면의 3차원 표현은 입력된 3차원 이미지이고 상기 생성기(805)는 뷰 방향 변환을 상기 입력된 3차원 이미지에 적용함으로써 상기 뷰 지점 방향에 대응하는 상기 픽셀 값을 결정하도록 배열되는, 디스플레이 이미지를 생성하기 위한 장치.
  12. 제 11 항에 있어서,
    상기 방향 매핑 함수는 상기 입력된 3차원 이미지의 시차로부터 상기 디스플레이 이미지의 시차까지 매핑하는 시차 매핑 함수를 포함하고, 상기 뷰 방향 변환은 픽셀 시프트를 상기 입력된 3차원 이미지의 픽셀들에 적용하여 상기 디스플레이 이미지에 대한 픽셀들을 생성하는 것을 포함하며, 상기 픽셀 시프트는 상기 시차 매핑 함수에 의존하는, 디스플레이 이미지를 생성하기 위한 장치.
  13. 무안경 입체영상 디스플레이에 있어서:
    디스플레이 패널(503) 및 디스플레이 이미지를 복수의 뷰 원뿔들로 투사하도록 배열된 뷰 형성 광 소자(509)를 포함하는 디스플레이 장치(501);
    디스플레이될 장면의 3차원 표현을 제공하기 위한 소스(803);
    상기 3차원 표현으로부터 상기 디스플레이 이미지를 생성하기 위한 생성기(805)로서, 상기 디스플레이 이미지의 적어도 일부 픽셀들의 각각에 대해:
    방향 매핑 함수에 응답하여 상기 장면에 대한 뷰 지점 방향을 반영하는 장면 뷰 지점 방향 표시 및 상기 뷰 원뿔들 내의 상기 픽셀에 대한 투사 방향을 반영하는 뷰 원뿔 투사 방향 표시를 결정하고;
    상기 3차원 표현으로부터 상기 뷰 지점 방향에 대응하는 픽셀 값을 결정하도록 배열되며, 상기 방향 매핑 함수는 뷰 원뿔 투사 방향들과 장면 뷰 지점 방향들 사이의 관계를 반영하는, 상기 생성기;
    현재 뷰어들의 수를 나타내는 뷰어 특성을 결정하기 위한 프로세서(809); 및
    상기 뷰어 특성에 응답하여 상기 방향 매핑 함수에 적응하기 위한 적응기(811)를 포함하고,
    증가하는 수의 현재 뷰어들을 나타내는 상기 뷰어 특성에 응답하여, 상기 적응기(811)는 상기 방향 매핑 함수에 적응하여 장면 뷰 지점 방향 편차 및 적어도 일부 뷰 원뿔 투사 방향들에 대한 상기 방향 매핑 함수의 도함수의 크기 중 적어도 하나를 감소시키도록 배열되며, 장면 뷰 지점 방향 편차는 중앙 뷰 원뿔 투사 방향에 대응하는 장면 뷰 지점 방향으로부터의 편차를 반영하는, 무안경 입체영상 디스플레이.
  14. 무안경 입체영상 디스플레이의 디스플레이 패널(503)용 디스플레이 이미지를 생성하기 위한 방법으로서, 상기 무안경 입체영상 디스플레이는 상기 디스플레이 패널(503) 및 상기 디스플레이 이미지를 복수의 뷰 원뿔들로 투사하도록 배열된 뷰 형성 광 소자(509)를 포함하는 디스플레이 장치(501)를 포함하는, 상기 방법에 있어서:
    디스플레이될 장면의 3차원 표현을 제공하는 단계;
    상기 3차원 표현으로부터 상기 디스플레이 이미지를 생성하는 단계로서, 상기 디스플레이 이미지의 적어도 일부 픽셀들의 각각에 대해:
    방향 매핑 함수에 응답하여 상기 장면에 대한 뷰 지점 방향을 반영하는 장면 뷰 지점 방향 표시 및 상기 뷰 원뿔들 내의 상기 픽셀에 대한 투사 방향을 반영하는 뷰 원뿔 투사 방향 표시를 결정하는 단계; 및
    상기 3차원 표현으로부터 상기 뷰 지점 방향에 대응하는 픽셀 값을 결정하는 단계를 포함하며, 상기 방향 매핑 함수는 뷰 원뿔 투사 방향들과 장면 뷰 지점 방향들 사이의 관계를 반영하는, 상기 생성 단계;
    현재 뷰어들의 수를 나타내는 뷰어 특성을 결정하는 단계; 및
    상기 뷰어 특성에 응답하여 상기 방향 매핑 함수에 적응하는 단계를 포함하고,
    증가하는 수의 현재 뷰어들을 나타내는 상기 뷰어 특성에 응답하여, 상기 적응 단계는 상기 방향 매핑 함수에 적응하여 장면 뷰 지점 방향 편차 및 적어도 일부 뷰 원뿔 투사 방향들에 대한 상기 방향 매핑 함수의 도함수의 크기 중 적어도 하나를 감소시키는 단계를 포함하며, 장면 뷰 지점 방향 편차는 중앙 뷰 원뿔 투사 방향에 대응하는 장면 뷰 지점 방향으로부터의 편차를 반영하는, 디스플레이 이미지를 생성하기 위한 방법.
KR1020177034930A 2015-05-05 2016-04-22 무안경 입체영상 디스플레이용 이미지의 생성 KR20180003590A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15166346.5 2015-05-05
EP15166346 2015-05-05
PCT/EP2016/058976 WO2016177585A1 (en) 2015-05-05 2016-04-22 Generation of image for an autostereoscopic display

Publications (1)

Publication Number Publication Date
KR20180003590A true KR20180003590A (ko) 2018-01-09

Family

ID=53189622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177034930A KR20180003590A (ko) 2015-05-05 2016-04-22 무안경 입체영상 디스플레이용 이미지의 생성

Country Status (10)

Country Link
US (1) US10638119B2 (ko)
EP (1) EP3292688B1 (ko)
JP (1) JP6434169B2 (ko)
KR (1) KR20180003590A (ko)
CN (1) CN108633331A (ko)
BR (1) BR112017023535A2 (ko)
CA (1) CA2984846A1 (ko)
RU (1) RU2707726C2 (ko)
TR (1) TR201902244T4 (ko)
WO (1) WO2016177585A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3581111A1 (en) * 2018-06-13 2019-12-18 Siemens Healthcare GmbH Method and presentation device for post processing and displaying a three-dimensional angiography image data set, computer program and electronically readable storage medium
EP3651119A1 (en) * 2018-11-06 2020-05-13 Koninklijke Philips N.V. Disparity estimation from a wide angle image
EP3687168A1 (en) * 2019-01-24 2020-07-29 Ultra-D Coöperatief U.A. Assigning view numbers to display elements of an autostereoscopic display
EP3691249A1 (en) * 2019-01-29 2020-08-05 Koninklijke Philips N.V. Image signal representing a scene
WO2023200176A1 (ko) * 2022-04-12 2023-10-19 삼성전자 주식회사 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100449572C (zh) 2003-09-30 2009-01-07 皇家飞利浦电子股份有限公司 图像再现的运动控制
CN100460931C (zh) 2004-03-12 2009-02-11 皇家飞利浦电子股份有限公司 多视图显示设备
JP5294845B2 (ja) 2005-04-29 2013-09-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 立体ディスプレイ装置
WO2009095862A1 (en) * 2008-02-01 2009-08-06 Koninklijke Philips Electronics N.V. Autostereoscopic display device
WO2009095852A2 (en) 2008-02-01 2009-08-06 Nxp B.V. An actuator and a method of manufacturing the same
WO2009156968A2 (en) * 2008-06-27 2009-12-30 Koninklijke Philips Electronics N.V. Autostereoscopic display device
RU2541936C2 (ru) * 2008-10-28 2015-02-20 Конинклейке Филипс Электроникс Н.В. Система трехмерного отображения
JP5641200B2 (ja) * 2010-05-28 2014-12-17 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体
JP2011259012A (ja) * 2010-06-04 2011-12-22 Fujifilm Corp 立体画像再生装置及び立体画像再生方法
JP5494283B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
JP2012189885A (ja) * 2011-03-11 2012-10-04 Japan Display West Co Ltd 表示装置
JP5156116B1 (ja) 2011-08-31 2013-03-06 株式会社東芝 映像処理装置および映像処理方法
JP5087163B1 (ja) 2011-08-31 2012-11-28 株式会社東芝 立体画像表示装置
WO2013073028A1 (ja) * 2011-11-16 2013-05-23 株式会社 東芝 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
EP2801200B1 (en) 2012-01-06 2019-03-13 Ultra-D Coöperatief U.A. Display processor for 3d display
GB2499426A (en) * 2012-02-16 2013-08-21 Dimenco B V Autostereoscopic display device with viewer tracking system
WO2013144773A2 (en) 2012-03-27 2013-10-03 Koninklijke Philips N.V. Multiple viewer 3d display
EP2873241B1 (en) * 2012-07-10 2016-01-06 Telefonaktiebolaget LM Ericsson (PUBL) Methods and arrangements for supporting view synthesis
US9736467B2 (en) * 2013-08-05 2017-08-15 Samsung Display Co., Ltd. Apparatus and method for adjusting stereoscopic images in response to head roll
US9843792B2 (en) * 2014-04-02 2017-12-12 Telefonaktiebolaget L M Ericsson (Publ) Multi-view display control

Also Published As

Publication number Publication date
TR201902244T4 (tr) 2019-03-21
BR112017023535A2 (pt) 2018-07-24
CA2984846A1 (en) 2016-11-10
RU2707726C2 (ru) 2019-11-28
JP6434169B2 (ja) 2018-12-05
RU2017142099A (ru) 2019-06-05
RU2017142099A3 (ko) 2019-09-24
EP3292688A1 (en) 2018-03-14
JP2018523338A (ja) 2018-08-16
WO2016177585A1 (en) 2016-11-10
US10638119B2 (en) 2020-04-28
US20180124383A1 (en) 2018-05-03
CN108633331A (zh) 2018-10-09
EP3292688B1 (en) 2018-12-12

Similar Documents

Publication Publication Date Title
US10368046B2 (en) Method and apparatus for generating a three dimensional image
US10855965B1 (en) Dynamic multi-view rendering for autostereoscopic displays by generating reduced number of views for less-critical segments based on saliency/depth/eye gaze map
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
JP5849811B2 (ja) 裸眼立体視用映像データ生成方法
KR20180003590A (ko) 무안경 입체영상 디스플레이용 이미지의 생성
EP2801200B1 (en) Display processor for 3d display
JP2018508812A (ja) 自動立体マルチビューシステム
US20160044305A1 (en) Multiview image display apparatus and control method thereof
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
CN106559662B (zh) 多视图图像显示设备及其控制方法
US9832458B2 (en) Multi view image display method in which viewpoints are controlled and display device thereof
WO2012165132A1 (ja) 裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法
JP7344886B2 (ja) 3dディスプレイのためのオーバースキャン