KR20140038366A - 움직임 패럴랙스를 가지는 3-차원 디스플레이 - Google Patents

움직임 패럴랙스를 가지는 3-차원 디스플레이 Download PDF

Info

Publication number
KR20140038366A
KR20140038366A KR1020137020853A KR20137020853A KR20140038366A KR 20140038366 A KR20140038366 A KR 20140038366A KR 1020137020853 A KR1020137020853 A KR 1020137020853A KR 20137020853 A KR20137020853 A KR 20137020853A KR 20140038366 A KR20140038366 A KR 20140038366A
Authority
KR
South Korea
Prior art keywords
viewer
eye
images
display
parallax
Prior art date
Application number
KR1020137020853A
Other languages
English (en)
Inventor
크리스티안 휘테마
에릭 랑
이브게니 살니코브
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140038366A publication Critical patent/KR20140038366A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

개시된 발명 주제는 하이브리드 스테레오 이미지/움직임 패럴랙스 기술에 관한 것이며, 이 하이브리드 스테레오 이미지/움직임 패럴랙스 기술은, 뷰어의 눈들의 위치에 대해 각 이미지를 조정하기 위한 움직임 패럴랙스 기술과 함께, 뷰어의 각각의 눈에게 서로 다른 이미지를 제공하기 위한 스테레오 3D 비전 기술을 결합하여 사용한다. 이런 방식에서, 뷰어는 3D 장면을 보는 동안에 뷰어가 움직일 때 스테레오 신호 및 패럴랙스 신호 둘 모두를 수신하며, 이것은 뷰어에게 더 큰 시각적인 편안함 / 더 적은 피로를 초래하는 경향을 가진다. 또한 뷰어 위치를 추적하기 위한 고글의 사용이, 머리/눈만이 아니라 고글을 인식하기 위한 컴퓨터 비전 알고리즘을 훈련하는 것을 포함하여, 기술된다.

Description

움직임 패럴랙스를 가지는 3-차원 디스플레이{THREE-DIMENSIONAL DISPLAY WITH MOTION PARALLAX}
인간의 뇌는 다양한 방식으로 3-차원(3D) 신호를 획득한다. 이들 방식 중 하나는 스테레오 비전(stereo vision)을 통해서인데, 이 스테레오 비전은 좌측 및 우측 눈에 제공되어 보여지는 이미지들 사이의 차이에 대응한다. 또 다른 하나의 방식은 움직임 패럴랙스(motion parallax)에 의해서인데, 이 움직임 패럴랙스는 뷰어(viewer)의 머리가 움직일 때와 같이, 보는 각도가 변할 때 어떤 장면에 대한 뷰어의 뷰가 변화하는 방식에 대응한다.
현재의 3D 디스플레이는 스테레오 비전에 기초하고 있다. 일반적으로, 3D 텔레비전 및 그 외 다른 디스플레이는 특정 프레임을 차단하고 그 외 다른 프레임은 통과시키는 렌즈를 가지는 3D 고글이나 안경을 통해 각 눈에 대해 개별적인 비디오 프레임을 출력한다. 예시에는 고글 내에서 대응하는 필터로 좌측 및 우측 이미지를 위해 2개의 서로 다른 컬러를 이용하는 것, 좌측 및 우측 이미지를 위해 광의 편광 및 대응하는 서로 다른 편광을 이용하는 것, 그리고 고글 내에서 셔터를 이용하는 것이 포함된다. 뇌는 뷰어들이 스테레오 신호의 결과로서 3D 깊이를 경험하게 하는 방식으로 이들 프레임을 결합한다.
최근의 기술은 안경 없이 서로 다른 프레임이 각각의 눈에 대해 향해지고, 동일한 결과를 성취할 수 있게 허용한다. 이러한 디스플레이는, 통상적으로 스크린의 픽셀들을 어떤 종류의 광학적 장애물들 또는 광학적 렌즈들 사이에 배열함으로써, 서로 다른 각도에서 서로 다른 뷰를 제공하도록 설계된다.
3-차원 디스플레이 기술은 뷰어의 머리가 주로 정지된 상태일 때 잘 작동한다. 그렇지만, 뷰어의 머리가 움직일 때 뷰는 변화하지 않으며, 이에 따라 스테레오 신호는 움직임 패럴랙스와 모순된다. 이러한 모순은 몇몇 뷰어로 하여금 3D 디스플레이 상에서 컨텐트를 보고 있을 때 피로와 불편을 경험하게 하는 원인이 되고 있다.
이 요약은 아래의 발명의 상세한 설명에서 더 기술되는 개념들을 단순화된 형태로 선택된 대표적인 개념들을 소개하기 위하여 제공된다. 이 요약은 청구된 발명 주제(subject matter)의 주요 특징이나 필수 특징들을 식별하려고 의도되지 않으며, 또한 청구된 발명 주제의 범위를 제한할 수 있는 임의의 방식으로 사용되는 것으로도 의도되지 않는다.
간략하게 말해서, 본 명세서에서 기술된 발명 주제의 다양한 양상들은 하이브리드 스테레오 이미지/움직임 패럴랙스 기술에 관한 것이며, 이 하이브리드 스테레오 이미지/움직임 패럴랙스 기술은, 뷰어의 눈들의 위치들에 대해 각 이미지들의 렌더링 또는 획득을 조정하기 위한 움직임 패럴랙스 기술과 함께, 뷰어의 각 눈에게 서로 다른 이미지를 제공하기 위한 스테레오 3D 비전 기술을 사용한다. 이런 방식에서, 뷰어는 3D 장면을 보는 동안에 뷰어가 움직일 때 스테레오 신호 및 패럴랙스 신호 둘 모두를 수신한다.
일 양상에 있어서, 좌측 및 우측 이미지는 스테레오 카메라에 의해 캡쳐되고 수신되며 또한 현재 뷰어 위치에 대응하는 위치 센서 데이터에 따른 움직임 패럴랙스 조정을 위해 처리된다. 그런 다음 이들 조정된 이미지는 뷰어의 좌측 눈과 우측 눈으로 각각 개별적인 좌측 및 우측 디스플레이를 위해 출력된다. 대안적으로, 현재 뷰어 위치는, 예컨대 대응하여 움직이는 로봇 스테레오 카메라에 의해, 해당 장면의 이미지를 획득하기 위하여 사용될 수 있다. 이 기술은 또한, 만약 독립적으로 추적되고 독립적인 뷰가 제공된다면 동일한 스크린 등에서, 동일한 장면을 보고 있는 다수의 뷰어들에 대해서도 적용된다.
일 양상에 있어서, 뷰어의 머리 및/또는 눈 위치가 추적된다. 눈 위치는 각각의 눈에 대하여 직접 추적될 수 있거나 또는 머리 추적 데이터로부터 각각의 눈에 대하여 추정될 수 있는데, 이 머리 추적 데이터는 3D 공간에서의 머리 위치와 함께 머리의 시선 방향(및/또는 회전, 기울기(tilt)와 같이 가능한 한 더 많은)을 포함할 수 있고 따라서 각각의 눈에 대한 위치에 대응하는 데이터를 제공한다는 점에 주목하라. 따라서, "위치 데이터"는 획득 방식과는 상관없이, 예컨대 직접 또는 머리 위치 데이터로부터의 추정을 통하여 각각의 눈의 위치의 개념을 포함한다.
눈으로 향하는 서로 다른 이미지를 통과/차단하기 위한 렌즈나 셔터(여기서, 사용하는 "셔터"는 필터, 즉 시간적인 필터의 일종이라는 점에 주목하라)를 이용하는 동일한 3D 필터링 고글을 포함하여, 센서나 트랜스미터를 가진 고글이 추적에 사용될 수 있다. 대안적으로, 특히 고글이 필요없는 3D 디스플레이 기술에서의 사용을 위해, 컴퓨터 비전(computer vision)이 머리나 눈의 위치를 추적하기 위하여 사용될 수 있다. 그럼에도 불구하고, 컴퓨터 비전 시스템은 고글의 위치나 고글의 렌즈 또는 렌즈들의 위치를 추적하도록 훈련될 수 있다.
또한 각각의 눈에 대응하는 현재의 뷰어 위치 추적은 이미지들이 수평 패럴랙스 및 수직 패럴랙스 둘 모두에 기초하여 획득 또는 조정될 수 있도록 허용한다. 따라서, 예를 들어 기울기, 보는 높이 및 머리 회전/기울기 데이터도 또한 이미지를 조정하는데 사용될 수 있거나 또는 획득하는데 사용될 수 있거나, 또는 둘 모두에서 사용될 수 있다.
그 외 다른 장점들은 도면과 관련하여 취해질 때 아래의 상세한 설명으로부터 명백하게 될 것이다.
본 발명은 유사한 참조 번호가 유사한 요소들을 지칭하는 첨부된 도면에서 예시적으로 도시되어 있으나 이것으로 제한되지는 않으며, 여기서:
도 1은 하나의 스테레오 카메라가 좌측 및 우측 입체 이미지들을 제공하는 스테레오 디스플레이를 보고 있는 뷰어를 도시한 도면이다.
도 2는 하나의 좌측 및 우측 카메라가 좌측 및 우측 스테레어 이미지들을 제공하며, 또한 움직임 패럴랙스 프로세싱이 뷰어의 현재 좌측 및 우측 눈 위치에 기초하여 각 이미지의 렌더링을 조정하는 스테레오 디스플레이를 보는 뷰어를 도시한 도면이다.
도 3은 개별적인 좌측 및 우측 이미지들에 대해 움직임 패럴랙스 프로세싱을 수행하기 위한 예시적인 단계들을 도시하는 흐름도이다.
도 4는 본 명세서에서 기술된 다양한 실시예들의 하나 이상의 양상들이 구현될 수 있는 예시적이며 비-제한적인 컴퓨팅 시스템 또는 운영 환경을 도시하는 블록도이다.
본 명세서에서 설명되는 기술의 다양한 양상들은 일반적으로 하이브리드 스테레오 이미지/움직임 패럴랙스 기술에 관한 것이며, 이 하이브리드 스테레오 이미지/움직임 패럴랙스 기술은, 뷰어의 눈들의 위치들에 대해 좌측 및 우측 이미지들을 조정하기 위한 움직임 패럴랙스 기술과 함께, 각 눈에게 서로 다른 이미지를 제공하기 위한 스테레오 3D 비전 기술을 사용한다. 이런 방식에서, 뷰어는 3D 장면을 보는 동안에 뷰어가 움직일 때 스테레오 신호 및 패럴랙스 신호 둘 모두를 수신하며, 이것은 뷰어에게 더 큰 시각적인 편안함 / 더 적은 피로를 초래하는 경향을 가진다. 이 목적을 위하여, 각각의 눈(또는, 아래에서 기술된 바와 같이, 고글 렌즈)의 위치는, 직접 또는 추정을 통해, 추적될 수 있다. 어떤 하나의 장면의 하나의 3D 이미지는, 뷰어의 시점으로부터 계산된 원근투영(perspective projection)을 이용하여 각각의 눈에 대하여 실시간으로 렌더링되고, 이에 의하여 패럴랙스 신호를 제공한다.
본 명세서에서 예들 중 어떠한 것도 비-제한적이라는 점이 이해되어야만 한다. 그러므로, 본 발명은 본 명세서에서 기술된 어떠한 특정 실시예, 양상, 개념, 구조, 기능성 또는 예로 제한되지 않는다. 오히려, 본 명세서에서 기술된 어떠한 특정 실시예, 양상, 개념, 구조, 기능성 또는 예는 비-제한적이며, 본 발명에서 전체적으로 디스플레이 기술에 이익과 장점을 제공하는 다양한 방식이 사용될 수 있다.
도 1은 좌측 및 우측 스테레오 카메라들(106)에 의해 캡쳐되는 것과 같은 3D 스테레오 디스플레이(104) 상에서 보여지는 3D 장면(102)을 보고 있는 뷰어(100)를 도시한 도면이다. 도 1에서, 뷰어의 눈은 시작 위치(영(zero)의 움직임 패럴랙스를 가지는)에 있는 것으로 간주될 수 있다. 장면이 3D로서 뷰어(100)에 의해 인식되는 개별적인 좌측 및 우측 이미지들을 보여주고 있음을 나타내기 위해 장면(102) 내 오브젝트들 중 하나가 디스플레이 외부로 나온 것으로 보여지도록 표현되어 있다는 점을 주목하라.
도 2는 좌측 및 우측 스테레오 카메라들(106)에 의해 캡쳐되는 것과 같은 3D 스테레오 디스플레이(104)를 통해 동일한 3D 장면(102)을 보고 있는 동일한 뷰어(100)를 도시한 도면이지만; 그러나 도 2에서 뷰어는 도 1에 상대적으로 이동하여 있다. 이동의 예에는 수직적인 및/또는 수평적인 이동, 머리의 회전, 머리의 피치(pitch) 및/또는 기울기가 포함된다. 따라서, 감지되거나 또는 위치 센서/눈 추적 센서(110)의 데이터로부터 추정된 눈 위치들(예컨대, 3D 위치, 회전, 방향, 기울기 등을 포함할 수 있는 머리 위치 데이터로부터 추정된)은 서로 다르다. 그러한 위치 센서/눈 추적 센서의 예가 아래에서 기술된다.
단일 이미지("모노") 패럴랙스 시나리오에서 알려져 있는 바와 같이, 카메라에 의해 캡쳐된 이미지는 뷰어의 전체적인 머리 위치 및 그에 따른 수평 뷰 각도와 일치하도록 비교적 간단한 기하학적 계산에 의해 조정될 수 있다. 예를 들어, 카메라에 기초한 머리 추적 시스템 및 컴퓨터 비전 알고리즘들은, 예컨대 Cha Zhang, Zhaozheng Yin 및 Dinei Florencio, "Improving Depth Perception with Motion Parallax and Its Application in Teleconferencing." Proceedings of MMSP'09, 2009년 10월 5일~7일, http://research.microsoft.com/en-us/um/people/chazhang/publications/mmsp09_ChaZhang.pdf에서 설명된 바와 같이, "모노 3D" 효과를 구현하기 위하여 사용되어 왔다. 이러한 모노-패럴랙스 시나리오에서, 기본적으로 뷰어의 머리가 수평적으로 이동할 때 그 보여지고 있는 장면 내에서 이동하는 것으로 생각되는 "가상" 카메라가 존재한다. 그러나, 개별적인 좌측 및 우측 이미지들을 가지고 작동하는 알려져 있는 그러한 기술은 존재하지 않으며, 따라서 스테레오 이미지들은 고려되지 않는다. 또한 머리 기울기, 보는 높이 및/또는 머리 회전은 보여지는 이미지를 변화시키지 않는다.
가상 카메라 대신, 도 1의 카메라들은, 예컨대 도 2의 가상 카메라들(206)과 동일한 위치/배향으로 이동함으로써, 서로 다른 각도들에서 해당 장면을 캡쳐하기 위하여 실제 환경 내에서 이동하는 스테레오 로보틱 카메라임이 이해된다. 다른 하나의 대안은 예비기록된 단일 스테레오 비디오를 조정하는 것, 또는 다양한 각도들에서 하나의 3D 장면을 캡쳐링/기록하고 있는 다수의 스테레오 카메라들로부터의 비디오를 보충하는 것이다. 따라서, 본 명세서에서 설명되는 움직임 패럴랙스 기술을 가진 3-차원 디스플레이는 부분적으로, 감지된 뷰어 위치 데이터에 기초하여 좌측 및 우측 이미지들을 획득함 및/또는 조정함에 의하여 작동한다.
본 명세서에서 기술된 바와 같이, 움직임 패럴랙스 프로세싱은 좌측 및 우측 이미지들에 대해 움직임 패럴랙스 프로세싱 컴포넌트(112)에 의하여 수행되고, 각각 패럴랙스 조정된 좌측 및 우측 이미지들(114 및 115)을 제공한다. 머리(또는 단일 눈) 위치 데이터로부터 눈들의 위치들을 추정하는 것이 실현 가능하지만, 이것은 머리에 관해 오직 그것의 전체적인 위치만이 감지되어 움직임 패럴랙스 프로세싱 컴포넌트에 데이터로서 제공되는 것보다 더 많은 정보가 없다면 머리 기울기, 피치 및 머리 시선 회전/방향을 조정할 수 없다는 점에 주목하라. 따라서 감지된 위치 데이터는 또한 머리 기울기, 피치 및/또는 머리 회전 데이터를 포함할 수 있다.
그러므로, 도 2에 전체적으로 도시된 바와 같이, 가상 좌측 및 우측(스테레오) 카메라들(206)은 뷰어의 위치에 대해 사실상 이동, 회전 및/또는 기울어질 수 있다. 로보틱 카메라들 또는 다수의 카메라들의 프로세싱된 이미지들은 동일한 기술을 수행할 수 있다. 따라서 뷰어는 각각 패럴랙스 보상에 대해 조정된 각각의 좌측 및 우측 스테레오 이미지들(214 및 215)을 통해 3D 장면을 본다. 도 2에 도시된 오브젝트들은 도 1 내의 오브젝트들과는 상이한 원근으로 도시되어 있는 동일한 오브젝트들을 나타내는 것으로 의도되어 있지만, 이것은 단지 도시의 목적이며, 상대적인 크기 및/또는 원근은 도면에서 수학적으로 정확하게 표현되는 것으로는 의도되어 있지 않다는 점을 주목하라.
요약하면, 도 1 및 도 2에 전체적으로 도시된 바와 같이, 디스플레이에 대해 상대적인 뷰어(100)의 위치는 위치 센서/눈 센서(110)에 의해 결정된다. 뷰어의 위치는 해당 장면 내에서 뷰어의 가상 위치로부터 3D 장면을 사실상 보는 한 세트의 좌측 및 우측 가상 카메라들(206)을 구동하기 위하여 사용된다. 가상 카메라들(206)은 우측 및 좌측 눈 뷰에 대응하는 2개의 이미지를 캡쳐한다. 이 2개의 이미지는 뷰어(100)에게 3D 뷰를 제공하는 스테레오 디스플레이에 의해 표현된다.
뷰어(100)가 이동하면, 뷰어의 위치는 실시간으로 추적되고 좌측 및 우측 이미지들(214 및 215) 둘 모두에서의 대응하는 변화로 번역된다. 이것은 스테레오 신호 및 움직임 패럴랙스 신호 둘 모두를 결합하는 몰입적인 3D 경험으로 귀결된다.
위치/눈 추적에 관련된 양상들에 대해서 살펴보면, 이러한 추적은 다양한 방식으로 성취될 수 있다. 하나의 방식은, 예컨대 고글의 다리 안에 센서 또는 트랜스미터로서 구현되는, 스테레오 센서 및 머리-추적 장치를 결합하는 다목적 고글을 포함한다. 검출되고 삼각측량되는 트랜스미터(예컨대, 적외선)를 포함하는 것과 같은, 머리-추적에 사용하기 위한 신호를 출력하도록 구성된 다양한 아이웨어(eyewear)가 해당 기술분야에서 알려져 있음에 주목하라. 자기 감지는 다른 하나의 알려져 있는 대안이다.
다른 하나의 대안은 카메라 및 컴퓨터 비전 알고리즘에 기초한 머리 추적 시스템을 사용하는 것이다. 각각의 눈으로 광을 향하게 하고, 이에 따라 3D 효과를 위해 개별적인 좌측 및 우측 이미지 뷰를 제공할 수 있는 오토스테레오 디스플레이는, 본 명세서에 참고문헌으로서 병합되어 있는, 미국 특허 출원 일련번호 12/819,238, 12/819,239 및 12/824,257 안에 기술되어 있다. 마이크로소프트 코포레이션의 Kinect™ 기술이 일 구현예에서 머리 추적/눈 추적에 적용되었다.
전체적으로, 눈 추적을 위한 컴퓨터 비전 알고리즘은 인간 머리의 다수 이미지에 대한 분석에 기초한 모델을 사용한다. 표준 시스템은 고글을 요구하지 않는 디스플레이에 대해 사용될 수 있다. 그러나, 뷰어가 고글을 착용하고 있을 때, 고글이 눈을 가리고 있으며, 따라서 많은 기존의 얼굴 추적 메커니즘이 실패한다는 실제적인 문제가 발생한다. 이런 문제를 극복하기 위하여, 일 구현예에서, 얼굴 추적 시스템은 고글을 착용한 사람의 한 세트의 이미지들을 가지고 훈련된다(정상적인 얼굴의 이미지들로 훈련되는 것 대신 또는 그것에 추가하여). 실제로, 시스템은 특정 3D 시스템에 의해 사용되는 특수한 고글을 착용한 사람의 한 세트의 이미지들을 가지고 훈련될 수 있다. 이것은 매우 효과적인 추적으로 귀결되는데, 왜냐하면 고글은 훈련 데이터 내에서 쉽게 인식가능한 오브젝트로서 두드러지는 경향이 있기 때문이다. 이런 방식으로, 컴퓨터 비전 기반 눈 추적 시스템은 고글의 존재를 고려하도록 조정될 수 있다.
도 3은 좌측 및 우측 이미지들을 개별적으로 계산하도록 구성된 움직임 패럴랙스 프로세싱 메커니즘의 예시적인 단계들을 보여주는 흐름도이다. 단계(302)에서 나타난 바와 같이, 프로세스는 위치/눈 추적 센서로부터 좌측 및 우측 눈 위치를 수신한다. 위에서 기술된 바와 같이, 대안적으로, 머리 위치 데이터가 제공될 수 있으며 머리 위치 데이터를 좌측 및 우측 눈 위치 데이터로 변환함으로써, 머리 위치 데이터가 패럴랙스 계산을 위해 사용될 수 있다.
단계(304)는 뷰어의 좌측 눈 위치의 기하학적 구조에 기초하여 패럴랙스 조정을 계산하는 것을 나타낸다. 단계(306)는 뷰어의 우측 눈 위치의 기하학적 구조에 기초하여 패럴랙스 조정을 계산하는 것을 나타낸다. 스테레오 카메라 분리는 이미 어떤(고정된) 패럴랙스 차이를 제공하고 있기 때문에, 예컨대 머리 위치 데이터로서 획득되면서 또한 회전 및/또는 틸트는 고려되고 있지 않은 경우, 두 눈 모두에 대해 동일한 계산을 사용하는 것이 실행 가능하다는 점에 주목하라. 그렇지만 머리의 회전/틸팅 등의 경우에는, 심지어 양 눈들 사이의 2-인치 정도의 작은 거리조차 패럴랙스와의 차이를 만들어 결과적인 뷰어 인식에 있어서 차이를 생성한다.
단계들(308 및 310)은 패럴랙스-투영 계산에 기초하여 각각의 이미지를 조정하는 것을 나타낸다. 단계(312)에서는 조정된 이미지들을 디스플레이 장치로 출력한다. 이것은 종래의 3D 디스플레이 장치로 제공되는 종래의 신호 형태일 수 있거나, 또는 개별적인 이미지들을 수신하도록 구성된 디스플레이 장치로 향하는 개별적인 좌측 및 우측 신호일 수 있다는 점에 주목하라. 실제로, 본 명세서에서 설명된 기술은, 예컨대 디스플레이 장치 자체 안에 움직임 패럴랙스 프로세싱 컴포넌트(112)(및 가능하게는 센서 또는 센서들(110))를 병합할 수 있고, 또는 카메라들 안에 움직임 패럴랙스 프로세싱 컴포넌트(112)가 병합될 수 있다.
단계(314)는, 매 좌측 및 우측 프레임(또는 뷰어가 그런 빠르기로 움직일 수 있기 때문에, 한 그룹의 프레임들/시간 지속)마다 이 프로세스를 반복한다. 예컨대, 좌측 이미지 패럴랙스 조정 및 출력은 우측 이미지 패럴랙스 조정 및 출력과 교대로 이루어지며, 예컨대, 도 3의 단계들은 예시로서 설명된 순서로 발생할 필요가 없다는 대안들도 실현가능하다는 점에 주목하라. 또한 매 프레임 또는 프레임 그룹/시간 지속 마다 갱신하는 대신에, 예를 들어, 어떤 이동 문턱량(threshold amount)이 검출되어 새로운 패럴랙스 조정을 트리거할 수 있다. 이러한 덜 빈번한 패럴랙스 조정 프로세싱은 컴퓨팅 자원들이 다수의 뷰어들 사이에 분산될 수 있는 다중 뷰어 환경에서 바람직할 수 있다.
실제로, 비록 본 명세서에서 설명된 기술이 하나의 단일 뷰어를 참조하여 설명되었으나, 동일한 디스플레이의 다수의 뷰어들은 각각 자신의 패럴랙스 조정된 스테레오 이미지를 수신할 수 있다는 점이 이해된다. 다수의 뷰어들의 눈에 서로 다른 좌측 및 우측 이미지들을 향하게 할 수 있는 디스플레이들이 알려져 있으며(예컨대, 앞서 언급된 특허출원 안에서 기술된 바와 같이), 따라서 프로세싱 성능이 다수의 뷰어들의 위치를 감지하고 패럴랙스 조정을 수행하기에 충분하기만 하다면, 다수의 뷰어들은 독립적인 스테레오 및 좌측 및 우측 패럴랙스 조정된 뷰를 가진 동일한 3D 장면을 동시에 볼 수 있다.
볼 수 있는 바와 같이, 본 명세서에서는 움직임 패럴랙스 렌더링을 가능하게 하기 위한 좌측 및 우측 이미지들의 동적 조합과 스테레오 디스플레이를 결합하는 하이브리드 3D 비디오 시스템이 기술된다. 이것은, 개별적인 필터링 렌즈들을 가진 움직임 패럴랙스 고글을 포함하여, 움직임 패럴랙스 고글 안에 위치 센서를 삽입함으로써, 및/또는 눈 추적을 위한 컴퓨터 비전 알고리즘에 의하여 성취될 수 있다. 머리 추적 소프트웨어는 뷰어 착용 고글을 고려하도록 조정될 수 있다.
하이브리드 3D 시스템은 3D 장면을 디스플레이하고, 이에 의해 뷰어들이 하나의 스테레오 이미지의 다양한 부분들을 물리적으로 또는 그렇지 않더라도 네비게이트할 수 있게 허용하는 비디오 및/또는 그래픽 애플리케이션에 적용될 수 있다. 예를 들어, 디스플레이된 3D 장면들은 비디오 게임, 3D 원격회의, 및 데이터 표현에 대응할 수 있다.
더 나아가, 본 명세서에서 설명되는 기술은 오직 수평 패럴랙스만을 고려하는 현재의 디스플레이 기술에 있어서의 중대한 결점을, 즉 수직 패럴랙스에 대한 조정을 추가함으로써 극복한다(오직 수평 패럴랙스만을 생성할 수 있는 몇몇 렌즈형 또는 그 외 다른 고글-없는 기술과는 달리, 셔터 안경이 사용되는 경우, 또는 디스플레이가 수평적으로 및 수직적으로 둘 모두의 방향으로 광을 향하게 할 수 있는 경우를 조건으로). 본 명세서에서 기술된 개별적인 눈 추적/머리 감지는 임의의 머리 위치(예컨대, 몇몇 자유도로 측방향으로 기울어진)에 대한 패럴랙스를 정정할 수 있다.
예시적인 컴퓨팅 장치
본 명세서에서 설명되는 기술은 임의의 장치에 적용될 수 있다. 따라서 핸드헬드, 휴대형 및 그 외 다른 컴퓨팅 장치 및 모든 종류의 컴퓨팅 오브젝트들이 다양한 실시예들과 연결하여 사용되도록 고려된다는 점이 이해될 수 있다. 이에 따라, 도 4에서 아래에 기술된 아래의 범용의 원격 컴퓨터는, 위에 기술된 바와 같이 센서 출력을 수신하고 이미지 패럴랙스 조정을 수행하도록 구성된 것과 같은, 임의의 컴퓨팅 장치의 단지 하나의 예이다.
실시예들은, 장치나 오브젝트를 위한 서비스의 개발자에 의한 사용을 위하여, 부분적으로 운영 시스템을 통해 구현될 수 있으며, 및/또는 본 명세서에서 기술된 다양한 실시예들의 하나 이상의 기능적인 양상들을 수행하기 위하여 동작하는 애플리케이션 소프트웨어 내에 포함될 수 있다. 소프트웨어는 클라이언트 워크스테이션, 서버 또는 그 외 다른 장치들과 같은, 하나 이상의 컴퓨터에 의해 실행되는, 컴퓨터 모듈과 같은, 컴퓨터 실행가능 인스트럭션(instructions)의 일반적인 맥락에서 기술될 수 있다. 해당 기술 분야의 지식을 가진 자라면, 컴퓨터 시스템은 데이터를 송수신하기 위하여 사용될 수 있는 다양한 구성 및 프로토콜들을 가지며, 따라서 고려되는 특정 구성이나 프로토콜로 제한되는 것이 아니라는 점을 알 수 있을 것이다.
그러므로 도 4는 본 명세서에서 기술된 실시예들의 하나 이상의 양상이 구현될 수 있는 적절한 컴퓨팅 시스템 환경(400)의 예를 도시하며, 비록 위에서 명백하게 되었으나, 이 컴퓨팅 시스템 환경(400)은 적절한 컴퓨팅 환경의 일 예에 불과한 것이며 또한 이용 범위나 기능성의 범위에 대한 어떠한 제한을 암시하는 것으로 의도되지 않는다. 덧붙여서, 컴퓨팅 시스템 환경(400)은 예시적인 컴퓨팅 시스템 환경(400) 내에 도시되어 있는 임의의 하나의 컴포넌트 또는 컴포넌트들의 조합에 대해 어떠한 의존 관계를 갖는 것으로 해석해서는 안된다.
도 4를 참조하면, 하나 이상의 실시예들을 구현하기 위한 예시적인 원격 장치는 컴퓨터(410)의 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(410)의 컴포넌트들에는 프로세싱 유닛(420), 시스템 메모리(430), 및 시스템 메모리를 프로세싱 유닛(420)으로 연결하는 것을 포함하여 다양한 시스템 컴포넌트들을 연결하는 시스템 버스(422)가 포함될 수 있지만, 이것들로 제한되는 것은 아니다.
컴퓨터(410)는 통상적으로, 컴퓨터(410)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있는, 다양한 컴퓨터 판독가능 매체를 포함한다. 시스템 메모리(430)는 ROM(read only memory) 및/또는 RAM(random access memory)와 같은 휘발성 및/또는 비휘발성 메모리의 형태의 컴퓨터 저장 매체를 포함할 수 있다. 예시적이며 제한하는 것이 아닌 것으로 말해서, 시스템 메모리(430)는 또한 운영 시스템, 애플리케이션 프로그램, 그 외 다른 프로그램 모듈, 및 프로그램 데이터도 포함할 수 있다.
뷰어는 입력 장치(440)를 통해 컴퓨터(410)에게 명령과 정보를 입력할 수 있다. 모니터 또는 그 외 다른 종류의 디스플레이 장치도 또한 출력 인터페이스(450)와 같은 인터페이스를 통해 시스템 버스(422)에 연결된다. 모니터에 추가하여, 컴퓨터는 또한 출력 인터페이스(450)를 통해 연결될 수 있는 스피커 및 프린터와 같은 그 외 다른 주변 출력 장치를 포함할 수 있다.
컴퓨터(410)는 원격 컴퓨터(470)와 같은 하나 이상의 그 외 다른 원격 컴퓨터에 대한 논리적 커넥션을 사용하여 네트워크 상에서 또는 분산 환경에서 동작할 수 있다. 원격 컴퓨터(470)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 그 외 다른 공통 네트워크 노드, 또는 임의의 그 외 다른 원격 매체 소비 또는 전송 장치일 수 있으며, 또한 위에서 컴퓨터(410)에 관하여 기술된 요소들 중 임의의 요소 또는 모든 요소를 포함할 수 있다. 도 4에 도시된 논리적 커넥션은 LAN(local area network) 또는 WAN(wide area network)와 같은 네트워크(472)를 포함하지만, 또한 그 외 다른 네트워크/버스를 포함할 수 있다. 이러한 네트워킹 한경은 가정, 사무실, 전사적 컴퓨터 네트워크, 인트라넷 및 인터넷에서 잘 알려져 있다.
위에서 기술된 바와 같이, 비록 예시적인 실시예들이 다양한 컴퓨팅 장치와 네트워크 아키텍처와 관련하여 기술되었으나, 기저의 개념들은 자원 사용의 효율을 향상시키는 것이 바람직한 임의의 네트워크 시스템 및 임의의 컴퓨팅 장치나 시스템에 적용될 수 있다.
또한, 애플리케이션들 및 서비스들이 본 명세서에서 제공된 기술의 장점을 취할 수 있게 하는, 예컨대, 적절한 API, 툴 키트, 드라이버 코드, 운영 시스템, 제어, 스탠드얼론 또는 다운로드가능 소프트웨어 오브젝트 등의, 동일한 또는 유사한 기능을 구현하기 위한 다양한 방식들이 존재한다. 그러므로, 본 명세서의 실시예들은, 본 명세서에서 기술되는 바와 같은 하나 이상의 실시예들을 구현하는 소프트웨어 또는 하드웨어 오브젝트로부터 뿐만 아니라, API(또는 그 외 다른 소프트웨어 오브젝트)의 관점에서 고려된다. 따라서, 본 명세서에서 기술된 다양한 실시예들은 전체가 하드웨어이거나, 부분적으로 하드웨어로 그리고 부분적으로 소프트웨어로, 뿐만 아니라 소프트웨어의 형태인 양상들을 가질 수 있다.
용어 "예시적인"은 일 예로서, 예시로서, 또는 도시된 예로서 사용되는 것을 의미하도록 본 명세서에서 사용된다. 의심을 없애기 위해 말하자면, 본 명세서에서 개시된 발명 주제는 이러한 예들에 의해 제한되지 않는다. 덧붙여서, "예시적인" 것으로 본 명세서에서 기술된 임의의 양상이나 디자인은 그 외 다른 양상이나 디자인보다 더 선호되거나 유리한 것으로 간주될 필요가 없으며, 또한 해당 기술분야의 통상의 지식을 가진 자에게 알려져 있는 등가의 예시적인 구조나 기술을 배제하는 것을 의미하지도 않는다. 더 나아가, 용어들 "포함한다", "가진다", "함유한다" 및 그 외 다른 유사한 용어들이 사용되는 범위에 있어서, 의심을 없애기 위해 말하자면, 이러한 용어들은 청구항에서 채용되었을 때에 임의의 추가적인 또는 그 외 다른 요소들을 배제하지 않는 개방된 전이 용어로서 용어 "포함한다"와 유사한 방식으로 포괄적인 용어로서 의도된다.
언급된 바와 같이, 본 명세서에서 설명된 다양한 기술은 하드웨어 또는 소프트웨어, 또는 적절한 경우 둘 모두의 조합과 관련하여 구현될 수 있다. 본 명세서에서 사용된 바와 같은, 용어 "컴포넌트", "모듈", "시스템" 등은 하드웨어이거나, 하드웨어와 소프트웨어의 조합이거나, 소프트웨어이거나, 또는 실행 중인 소프트웨어 중 어느 하나인 컴퓨터-관련 엔터티를 지칭하기 위하여 유사하게 의도된다. 예를 들어, 컴포넌트는 프로세서 상에서 실행되고 있는 프로세스, 프로세서, 오브젝트, 실행 파일, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이것으로 제한되는 것은 아니다. 예시적으로 말하자면, 컴퓨터 상에서 실행되는 애플리케이션 및 그 컴퓨터는 둘 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트들은 하나의 프로세스 및/또는 실행 스레드 내에 상주할 수 있으며, 하나의 컴포넌트는 하나의 컴퓨터 상에 로컬화될 수 있고 및/또는 2개 이상의 컴퓨터들 사이에 분산될 수 있다.
앞서 언급된 시스템은 서너 개의 컴포넌트 사이의 상호작용에 관련하여 기술되었다. 이러한 시스템과 컴포넌트은, 이 컴포넌트이나 특수한 서브-컴포넌트, 이 특수한 컴포넌트이나 서브-컴포넌트의 일부, 및/또는 추가적인 컴포넌트, 및 상기한 것들의 다양한 조합이나 치환을 포함할 수 있다는 점이 이해될 수 있다. 서브-컴포넌트는 또한 부모 컴포넌트(계층적인) 내에 포함된 것이 아니라 그 외 다른 컴포넌트에 통신가능하게 연결된 컴포넌트일 수 있다. 덧붙여서, 하나 이상의 컴포넌트는 집합적 기능을 제공하는 하나의 단일 컴포넌트로 결합될 수 있거나 또는 몇 개의 개별적인 서브-컴포넌트로 분할될 수 있다는 점, 및 통합된 기능을 제공하기 위하여 이러한 서브-컴포넌트들에 대해 통신가능하게 연결된 관리층과 같은 임의의 하나 이상의 중간층이 제공될 수 있다는 점이 지적될 수 있다. 본 명세서에서 기술된 임의의 컴포넌트는 또한 본 명세서에서 특별히 기술되어 있지는 않지만 해당 기술분야에서 지식을 가진 자에게 일반적으로 알려져 있는 하나 이상의 그 외 다른 컴포넌트와 상호작용할 수 있다.
본 명세서에서 기술된 예시적인 시스템의 관점에서, 기술된 발명 주제에 따라 구현될 수 있는 방법 절차들은 또한 다양한 도면들의 흐름도를 참조하여 이해될 수 있다. 비록 설명을 단순하게 하기 위하여, 방법 절차들은 일련의 블록으로서 도시되고 기술되지만, 몇몇 블록들은 본 명세서에서 도시되고 기술된 것과는 상이한 순서로 및/또는 다른 블록들과 동시에 발생될 수 있기 때문에, 다양한 실시예들은 블록들의 순서에 의해 제한되지 않는다는 점이 이해되어야 한다. 비-순서적이거나 또는 분기된 흐름이 흐름도를 통해 도시된 경우, 동일한 또는 유사한 결과를 성취하는 다양한 그 외 다른 분지, 흐름 경로, 및 블록들의 순서가 구현될 수 있다는 점이 이해될 수 있다. 더 나아가, 몇몇 도시된 블록들은 이후에 기술되는 방법 절차를 구현하는 데 있어 선택적이다.
결론
비록 본 발명이 다양한 수정과 대안적인 구성이 가능하지만, 본 발명의 특정한 예시적인 실시예들을 도면으로 도시하고 위에서 상세하게 설명하였다. 그러나, 본 발명을 개시된 특정 형태로 제한하고자 하는 것은 아니며, 오히려 본 발명은 본 발명의 사상과 범주 내에 포함되는 모든 수정, 대안적인 구성, 및 균등물을 포괄하고자 한다.
본 명세서에서 기술된 다양한 실시예들에 추가하여, 그 외 다른 실시예들이 사용될 수 있거나 또는 그로부터 벗어나지 않으면서 대응하는 실시예(들)의 동일 또는 등가적인 기능을 수행하도록 하기 위해 개시된 실시예(들)에 대해 수정 및 추가 사항이 이루어질 수 있다는 점이 이해되어야 한다. 또한 더 나아가서, 다수의 프로세싱 칩 또는 다수의 장치는 본 명세서에서 기술된 하나 이상의 기능 수행을 공유할 수 있으며, 또한 유사하게, 저장장치는 복수의 장치들에 걸쳐 작동될 수 있다. 따라서, 본 발명은 임의의 단일 실시예로 제한되지 않아야 하며, 첨부된 청구범위에 따른 범주, 사상 및 범위로 해석되어야 한다.

Claims (10)

  1. 컴퓨팅 환경에서, 적어도 부분적으로 적어도 하나의 프로세서 상에서 수행되는 방법으로서,
    (a) 현재 뷰어 위치에 대응하는 감지된 위치 데이터를 수신하는 단계와;
    (b) 상기 현재 뷰어 위치에 대응하는 패럴랙스(parallax)를 고려하기 위한 좌측 이미지, 및 상기 현재 뷰어 위치에 대응하는 패럴랙스를 고려하기 위한 우측 이미지, 또는 둘 모두를, 하나의 장면으로부터 조정하거나 획득하기 위하여 상기 위치 데이터를 사용하는 단계와;
    (c) 상기 뷰어의 좌측 눈에 대한 디스플레이를 위해 상기 좌측 이미지를 출력하는 단계와;
    (d) 상기 뷰어의 우측 눈에 대한 디스플레이를 위해 상기 우측 이미지를 출력하는 단계와;
    (e) 상기 뷰어에 하나의 장면의 움직임 패럴랙스-조정된 입체 표현을 제공하기 위하여 (a) 단계로 복귀하는 단계를
    포함하는, 방법.
  2. 제 1 항에 있어서,
    적어도 상기 감지된 위치 데이터의 부분을 제공하기 위하여 뷰어 머리 위치를 추적하는 단계를 더 포함하는, 방법.
  3. 제 1 항에 있어서,
    뷰어 머리 위치, 또는 뷰어 눈 위치, 회전 및 시선 방향을 추적하는 단계를, 더 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 위치 데이터를 사용하는 단계는, 수평 및 수직 위치, 회전 피치(pitch) 및 틸트(tilt)에 대하여 상기 좌측 이미지를 조정하는 단계, 및 수평 및 수직 위치, 회전 피치 및 틸트에 대하여 상기 우측 이미지를 조정하는 단계를 포함하는, 방법.
  5. 제 1 항에 있어서,
    (i) 현재 다른 뷰어 위치에 대응하는 감지된 위치 데이터를 수신하는 단계와;
    (ii) 상기 현재 다른 뷰어 위치에 대응하는 패럴랙스를 고려하기 위한 좌측 이미지, 및 상기 현재 다른 뷰어 위치에 대응하는 패럴랙스를 고려하기 위한 우측 이미지, 또는 둘 모두를, 하나의 장면으로부터 조정하거나 획득하기 위하여 상기 위치 데이터를 사용하는 단계와;
    (iii) 상기 다른 뷰어의 좌측 눈에 대한 디스플레이를 위해 상기 좌측 이미지를 출력하는 단계와;
    (iv) 상기 다른 뷰어의 우측 눈에 대한 디스플레이를 위해 상기 우측 이미지를 출력하는 단계와;
    (v) 상기 다른 뷰어에 하나의 장면의 움직임 패럴랙스-조정된 입체 표현을 제공하기 위하여 (i) 단계로 복귀하는 단계를
    더 포함하는, 방법.
  6. 컴퓨팅 환경에서, 뷰어 위치에 대응하는 위치 데이터를 출력하도록 구성되는 위치 추적 장치와, 상기 위치 추적 장치로부터 위치 데이터를 수신하고, 또한 스테레오 카메라로부터 좌측 이미지 데이터 및 좌측 이미지 데이터를 수신하도록 구성되는 움직임 패럴랙스 프로세싱 컴포넌트를 포함하되,
    상기 움직임 패럴랙스 프로세싱 컴포넌트는 상기 위치 데이터에 기초하여 상기 좌측 이미지 데이터를 조정하고, 또한 상기 위치 데이터에 기초하여 상기 우측 이미지 데이터를 조정하며, 또한 디스플레이 장치로 대응하는 조정된 좌측 및 우측 이미지 데이터를 출력하도록 더 구성되는, 시스템.
  7. 제 6 항에 있어서,
    상기 위치 추적 장치는 상기 뷰어의 머리 위치를 추적하도록 구성되거나, 또는 상기 위치 추적 장치는 상기 뷰어의 눈들 중 적어도 하나의 위치를 추적하도록 구성되거나, 또는 상기 위치 추적 장치는 상기 뷰어의 머리 위치를 추적하고 또한 상기 위치 추적 장치는 상기 뷰어의 눈들 중 적어도 하나의 위치를 추적하도록 구성되는, 시스템.
  8. 실행시에 단계들을 수행하는 컴퓨터-실행가능 인스트럭션을 구비하는 하나 이상의 컴퓨터-판독가능 매체로서,
    상기 단계들은:
    일련의 좌측 이미지들을 수신하는 단계 - 상기 좌측 이미지들 중 적어도 일부는 움직임 패럴랙스에 대해 조정됨 - 와;
    상기 뷰어의 좌측 눈에 대한 디스플레이를 위해 상기 일련의 좌측 이미지들을 출력하는 단계와;
    일련의 우측 이미지들을 수신하는 단계 - 상기 우측 이미지들 중 적어도 일부는 움직임 패럴랙스에 대해 조정됨 - 와;
    상기 뷰어의 우측 눈에 대한 디스플레이를 위해 상기 일련의 우측 이미지들을 출력하는 단계를
    포함하는, 하나 이상의 컴퓨터-판독가능 매체.
  9. 제 8 항에 있어서,
    상기 뷰어의 좌측 눈에 대한 디스플레이를 위해 상기 일련의 좌측 이미지들을 출력하는 단계는 상기 일련의 좌측 이미지들을 상기 뷰어의 좌측 눈의 앞에서 필터를 통과하며 상기 뷰어의 우측 눈의 앞에서 필터에 의해 차단되도록 구성하는 단계를 포함하고, 상기 뷰어의 우측 눈에 대한 디스플레이를 위해 상기 일련의 우측 이미지들을 출력하는 단계는 상기 일련의 우측 이미지들을 상기 뷰어의 우측 눈의 앞에서 필터를 통과하며 상기 뷰어의 좌측 눈의 앞에서 필터에 의해 차단되도록 구성하는 단계를 포함하는, 하나 이상의 컴퓨터-판독가능 매체.
  10. 제 8 항에 있어서,
    상기 뷰어의 좌측 눈에 대한 디스플레이를 위해 상기 일련의 좌측 이미지들을 출력하는 단계는 상기 좌측 이미지들을 계산된 또는 감지된 좌측-눈 위치로 향하게 하는 단계를 포함하고, 상기 뷰어의 우측 눈에 대한 디스플레이를 위해 상기 일련의 우측 이미지들을 출력하는 단계는 상기 우측 이미지들을 계산된 또는 감지된 우측-눈 위치로 향하게 하는 단계를 포함하는, 하나 이상의 컴퓨터-판독가능 매체.
KR1020137020853A 2011-02-08 2012-02-03 움직임 패럴랙스를 가지는 3-차원 디스플레이 KR20140038366A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/022,787 2011-02-08
US13/022,787 US20120200676A1 (en) 2011-02-08 2011-02-08 Three-Dimensional Display with Motion Parallax
PCT/US2012/023738 WO2012109102A2 (en) 2011-02-08 2012-02-03 Three-dimensional display with motion parallax

Publications (1)

Publication Number Publication Date
KR20140038366A true KR20140038366A (ko) 2014-03-28

Family

ID=46529026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137020853A KR20140038366A (ko) 2011-02-08 2012-02-03 움직임 패럴랙스를 가지는 3-차원 디스플레이

Country Status (6)

Country Link
US (1) US20120200676A1 (ko)
EP (1) EP2673957A4 (ko)
JP (1) JP2014511049A (ko)
KR (1) KR20140038366A (ko)
CN (1) CN102611909A (ko)
WO (1) WO2012109102A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160022657A (ko) * 2014-08-20 2016-03-02 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치 동작 방법

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2023812T3 (pl) 2006-05-19 2017-07-31 The Queen's Medical Center Układ śledzenia ruchu dla adaptacyjnego obrazowania w czasie rzeczywistym i spektroskopii
CN101984670B (zh) * 2010-11-16 2013-01-23 深圳超多维光电子有限公司 一种立体显示方法、跟踪式立体显示器及图像处理装置
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
WO2013099169A1 (ja) * 2011-12-27 2013-07-04 パナソニック株式会社 ステレオ撮影装置
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
JP6380881B2 (ja) 2012-07-31 2018-08-29 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
CN103595984A (zh) * 2012-08-13 2014-02-19 辉达公司 3d眼镜、3d显示系统及3d显示方法
JP5800996B2 (ja) * 2012-09-26 2015-10-28 富士フイルム株式会社 画像処理装置、方法及びプログラム、プリンタ、表示装置
US8976224B2 (en) 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
US9058053B2 (en) * 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
US9674510B2 (en) * 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
US10116911B2 (en) * 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
CN109008972A (zh) 2013-02-01 2018-12-18 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
CN103248905A (zh) * 2013-03-22 2013-08-14 深圳市云立方信息科技有限公司 一种模仿全息3d场景的显示装置和视觉显示方法
TWI637348B (zh) * 2013-04-11 2018-10-01 緯創資通股份有限公司 影像顯示裝置和影像顯示方法
US20150145977A1 (en) * 2013-11-22 2015-05-28 Samsung Display Co., Ltd. Compensation technique for viewer position in autostereoscopic displays
US20150187115A1 (en) * 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles
US9465237B2 (en) 2013-12-27 2016-10-11 Intel Corporation Automatic focus prescription lens eyeglasses
KR20150101915A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
WO2015148391A1 (en) 2014-03-24 2015-10-01 Thomas Michael Ernst Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
US10394037B2 (en) 2014-06-18 2019-08-27 Samsung Electronics Co., Ltd. Glasses-free 3D display mobile device, setting method of the same, and using method of the same
KR102208898B1 (ko) * 2014-06-18 2021-01-28 삼성전자주식회사 무안경 3d 디스플레이 모바일 장치, 이의 설정방법 및 사용방법
CN106464856B (zh) * 2014-06-24 2019-01-15 谷歌有限责任公司 用于分析和确定虚拟环境的特性的计算机化系统和方法
US9734589B2 (en) 2014-07-23 2017-08-15 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9965030B2 (en) 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
JP6397698B2 (ja) * 2014-08-28 2018-09-26 任天堂株式会社 情報処理端末、情報処理プログラム、情報処理端末システム、および情報処理方法
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
EA032105B1 (ru) * 2014-12-31 2019-04-30 Ооо "Альт" Способ и система для отображения трехмерных объектов
CN107615236A (zh) * 2015-06-01 2018-01-19 华为技术有限公司 多媒体处理方法及装置
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10716515B2 (en) 2015-11-23 2020-07-21 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN106773080B (zh) * 2015-12-25 2019-12-10 深圳超多维光电子有限公司 立体显示装置及显示方法
FI20165059A (fi) * 2016-01-29 2017-07-30 Nokia Technologies Oy Menetelmä ja laite videoinformaation käsittelemiseksi
US10423830B2 (en) * 2016-04-22 2019-09-24 Intel Corporation Eye contact correction in real time using neural network based machine learning
US10390007B1 (en) * 2016-05-08 2019-08-20 Scott Zhihao Chen Method and system for panoramic 3D video capture and display
US10134190B2 (en) 2016-06-14 2018-11-20 Microsoft Technology Licensing, Llc User-height-based rendering system for augmented reality objects
WO2018058673A1 (zh) 2016-09-30 2018-04-05 华为技术有限公司 一种3d显示方法及用户终端
CN108604385A (zh) * 2016-11-08 2018-09-28 华为技术有限公司 一种应用界面显示方法及装置
JP6378794B1 (ja) * 2017-02-23 2018-08-22 株式会社 ディー・エヌ・エー 画像処理装置、画像処理プログラム、及び、画像処理方法
CN113923438A (zh) * 2017-04-27 2022-01-11 谷歌有限责任公司 合成立体视觉图像内容捕获
EP3619704A4 (en) * 2017-05-01 2020-11-11 Pure Depth Inc. SACCADED SEQUENTIAL FIELD FRAGMENTATION REDUCTION BASED ON HEAD TRACKING
CN110869980B (zh) * 2017-05-18 2024-01-09 交互数字Vc控股公司 将内容分发和呈现为球形视频和3d资产组合
TW201919391A (zh) * 2017-11-09 2019-05-16 英屬開曼群島商麥迪創科技股份有限公司 顯示系統及顯示影像的顯示方法
WO2019102245A1 (en) * 2017-11-21 2019-05-31 Volvo Truck Corporation Assistance method for assisting performance of a task on a product, comprising displaying a highlighting image highlighting a monitored part of the product
WO2019143688A1 (en) 2018-01-19 2019-07-25 Pcms Holdings, Inc. Multi-focal planes with varying positions
EP4266113A3 (en) * 2018-03-23 2023-12-27 InterDigital VC Holdings, Inc. Multifocal plane based method to produce stereoscopic viewpoints in a dibr system (mfp-dibr)
CN109793576B (zh) * 2018-12-10 2021-09-28 湖北得康科技有限公司 一种智能可视装置及可视手术器械
JP7349808B2 (ja) * 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
WO2021061256A1 (en) 2019-09-27 2021-04-01 Apple Inc. Method and device for operating a lenticular display
US20230067565A1 (en) * 2019-09-30 2023-03-02 Kyocera Corporation Three-dimensional display device, three-dimensional display system, head-up display, and mobile object

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
JP3229824B2 (ja) * 1995-11-15 2001-11-19 三洋電機株式会社 立体映像表示装置
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6795241B1 (en) * 1998-12-10 2004-09-21 Zebra Imaging, Inc. Dynamic scalable full-parallax three-dimensional electronic display
JP4560869B2 (ja) * 2000-02-07 2010-10-13 ソニー株式会社 メガネなし表示システムおよびバックライトシステム
GB2363273A (en) * 2000-06-09 2001-12-12 Secr Defence Computation time reduction for three dimensional displays
US9064344B2 (en) * 2009-03-01 2015-06-23 Facecake Technologies, Inc. Image transformation systems and methods
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
WO2003079272A1 (en) * 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
GB2387664B (en) * 2002-04-17 2005-08-24 Philip Anthony Surman Autostereoscopic display
KR100505334B1 (ko) * 2003-03-28 2005-08-04 (주)플렛디스 운동 시차를 이용한 입체 영상 변환 장치
WO2004093467A1 (ja) * 2003-04-17 2004-10-28 Sharp Kabushiki Kaisha ３次元画像作成装置、３次元画像再生装置、３次元画像処理装置、３次元画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
GB0410551D0 (en) * 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
US7226167B2 (en) * 2004-05-25 2007-06-05 Eastman Kodak Company Autostereoscopic display apparatus
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
JP2006101224A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 画像生成装置、画像生成方法および画像生成プログラム
US20060139447A1 (en) * 2004-12-23 2006-06-29 Unkrich Mark A Eye detection system and method for control of a three-dimensional display
US7843449B2 (en) * 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
EP1969861A2 (en) * 2005-12-15 2008-09-17 Michael Mehrle Stereoscopic imaging apparatus incorporating a parallax barrier
KR101249988B1 (ko) * 2006-01-27 2013-04-01 삼성전자주식회사 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법
WO2008025765A1 (de) * 2006-09-01 2008-03-06 Seereal Technologies S.A. Richtungsgesteuerte beleuchtungseinheit für ein autostereoskopisches display
JP4403162B2 (ja) * 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
JP2008219788A (ja) * 2007-03-07 2008-09-18 Toshiba Corp 立体画像表示装置、方法およびプログラム
US8269822B2 (en) * 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
US8253780B2 (en) * 2008-03-04 2012-08-28 Genie Lens Technology, LLC 3D display system using a lenticular lens array variably spaced apart from a display screen
WO2010025458A1 (en) * 2008-08-31 2010-03-04 Mitsubishi Digital Electronics America, Inc. Transforming 3d video content to match viewer position
CA2684513A1 (en) * 2008-11-17 2010-05-17 X6D Limited Improved performance 3d glasses
US9055278B2 (en) * 2009-01-07 2015-06-09 Dolby Laboratories Licensing Corporation Conversion, correction, and other operations related to multiplexed data sets
JP4793451B2 (ja) * 2009-01-21 2011-10-12 ソニー株式会社 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
KR101324440B1 (ko) * 2009-02-11 2013-10-31 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
WO2010099495A2 (en) * 2009-02-27 2010-09-02 Laurence James Claydon Systems, apparatus and methods for subtitling for stereoscopic content
US8199186B2 (en) * 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
JP5409107B2 (ja) * 2009-05-13 2014-02-05 任天堂株式会社 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム
US20100303437A1 (en) * 2009-05-26 2010-12-02 Panasonic Corporation Recording medium, playback device, integrated circuit, playback method, and program
KR101615111B1 (ko) * 2009-06-16 2016-04-25 삼성전자주식회사 다시점 영상 표시 장치 및 방법
JP5249149B2 (ja) * 2009-07-17 2013-07-31 富士フイルム株式会社 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム
JP5503438B2 (ja) * 2009-07-21 2014-05-28 富士フイルム株式会社 ３次元画像表示装置及び３次元画像表示方法
US20110228051A1 (en) * 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
US8890941B2 (en) * 2010-04-29 2014-11-18 Virginia Venture Industries, Llc Methods and apparatuses for viewing three dimensional images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160022657A (ko) * 2014-08-20 2016-03-02 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치 동작 방법

Also Published As

Publication number Publication date
US20120200676A1 (en) 2012-08-09
JP2014511049A (ja) 2014-05-01
EP2673957A2 (en) 2013-12-18
WO2012109102A2 (en) 2012-08-16
CN102611909A (zh) 2012-07-25
WO2012109102A3 (en) 2012-11-15
EP2673957A4 (en) 2013-12-18

Similar Documents

Publication Publication Date Title
KR20140038366A (ko) 움직임 패럴랙스를 가지는 3-차원 디스플레이
US11989842B2 (en) Head-mounted display with pass-through imaging
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
US8199186B2 (en) Three-dimensional (3D) imaging based on motionparallax
US11196972B2 (en) Presence camera
JP6020923B2 (ja) 焦点可変レンズを有するビューア、および映像表示システム
US20110242286A1 (en) Stereoscopic Camera With Automatic Obstruction Removal
US8692870B2 (en) Adaptive adjustment of depth cues in a stereo telepresence system
WO2018010677A1 (zh) 一种信息处理方法、穿戴式电子设备、处理装置及系统
EP2466362A2 (en) Method and apparatus for providing stereoscopic image
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
KR20120093693A (ko) 입체영상표시장치 및 그 구동방법
US20140347451A1 (en) Depth Adaptation for Multi-View System
JP6207640B2 (ja) ２次元映像の立体映像化表示装置
JP5347987B2 (ja) 映像処理装置
US20160094837A1 (en) Distributed stereoscopic rendering for stereoscopic projecton and display
WO2013042392A1 (ja) 立体画像評価装置
KR102306775B1 (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치
KR101907127B1 (ko) 입체 비디오 주밍 및 비디오 내의 전경 및 배경 검출
Joachimiak et al. View Synthesis with Kinect-Based Tracking for Motion Parallax Depth Cue on a 2D Display
KR20160042694A (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
Wang et al. Object-Based Stereo Panorama Disparity Adjusting
Wang et al. Object Based Disparity Morphing Tool For Stereo Images and Video
JP2013085054A (ja) 立体映像処理装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid