KR20150121127A - 양안 응시 이미징 방법 및 장치 - Google Patents

양안 응시 이미징 방법 및 장치 Download PDF

Info

Publication number
KR20150121127A
KR20150121127A KR1020157025997A KR20157025997A KR20150121127A KR 20150121127 A KR20150121127 A KR 20150121127A KR 1020157025997 A KR1020157025997 A KR 1020157025997A KR 20157025997 A KR20157025997 A KR 20157025997A KR 20150121127 A KR20150121127 A KR 20150121127A
Authority
KR
South Korea
Prior art keywords
binocular
image
gaze
region
area
Prior art date
Application number
KR1020157025997A
Other languages
English (en)
Inventor
니콜라스 에스. 홀리만
마이클 지. 로빈슨
Original Assignee
리얼디 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리얼디 인크. filed Critical 리얼디 인크.
Publication of KR20150121127A publication Critical patent/KR20150121127A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H04N13/0484—
    • H04N13/0022—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시청자가 응시하는 양안 이미지의 영역에 의존할 수 있는 양안 이미지들의 컨텐트의 변경을 구현할 수 있는 제어기, 본 개시의 양상은, 이미지에서의 인식된 깊이에서 시청자가 응시하는 지에 의존할 수 있는 시청자의 인식된 깊이 인상을 국부적으로 제어하는 것을 포함할 수 있다. 이것은, 인식된 깊이가 품질 및 성능 이유로 인해 이미지에 가로질러 최적화되도록 할 수 있다.

Description

양안 응시 이미징 방법 및 장치{BINOCULAR FIXATION IMAGING METHOD AND APPARATUS}
본 출원은, 그 전체가 본 명세서에 참고용으로 병합되는 "Binocular fixation imaging method and apparatus"라는 명칭으로 2013년 2월 19일에 출원된 미국 가특허 출원 일련 번호 제61/766,599호(대리인 관리 번호 95194936.358000)의 우선권을 주장한다.
본 개시는 일반적으로 이미지 처리에 관한 것으로, 더 구체적으로, 깊이 버짓(budget) 및 이미지 처리 방법들, 및 기술들에 관한 것이다.
깊이 버짓은 양안 이미지 생성에서 중요한 개념이 되어 왔다. 이것은 3차원 이미지에서 전체 양안 효과에 대한 한계를 생성할 수 있다. 이러한 한계는 사실상 인간 시각 시스템의 한계들과, 이미지를 시청자에게 표현하는데 사용되는 이미지 디스플레이 디바이스의 파라미터들을 포함하는 많은 인자들을 고려함으로써 결정된다. 이미지 평면에서 표현된 입체 이미지들에 대해, 깊이 버짓은 종종 이미지 평면의 깊이 후면(depth behind) 및 전면(in-front)에 관해 논의된다.
전체 양안 효과가 이미지(들)의 캡처(capture) 또는 합성을 제어함으로써 깊이 버짓 내에 남아있도록 입체 이미지들에서 인식된 깊이를 제어하기 위한 기술들은 알려져 잇다. 도 15는 인용 미국 특허 제6,798,406호를 도시하며, 이것은 일반적으로 적어도 하나의 실제 또는 시뮬레이팅된 카메라를 이용하여 입체 이미지를 생성하기 위한 방법을 제공하며, 장면의 깊이는 인식된 입체 이미지에서 미리 결정된 깊이 버짓에 매핑된다. 도 21은 인용 미국 특허 공보 US 2011/7,983,477호를 도시하며, 이것은 일반적으로 장면으로부터 인식된 입체 이미지로의 가변 깊이 매핑을 논의한다. 더욱이, 미국 특허 제8,300,089호에 개시된 것과 같은 방법은 또한 깊이(Z) 치수에서 가변 깊이 매핑에 사용될 수 있다.
눈의 양안 응시는 양쪽 눈을 추적함으로써, 또는 한쪽 눈을 추적하고 이 정보로부터 다른 눈을 추측함으로써 다양한 눈 추적 디바이스들을 이용하여 결정될 수 있다. 양안 응시 추적 시스템의 한 가지 예는 캐나다, 온타리오, 미시소거, Research Ltd.에 의한 아이링크 1000인데, 이것은 양쪽 눈을 고속으로 추적한다.
본 개시의 양상은 시청자가 양안 이미지의 어떤 영역을 응시하는 지에 따라 양안 이미지들의 컨텐트의 변경을 구현하는 제어기를 제공한다. 본 개시의 양상은 시청자가 이미지에서의 인식된 깊이에서 어디를 응시하는 지에 따라 시청자의 인식된 깊이 인상을 국부적으로 제어하는 것을 포함한다. 이것은, 인식된 깊이가 품질 및 성능 이유들로 인해 이미지를 가로질러 최적화되도록 하는 이점들을 갖는다.
본 개시의 양상에 따라, 양안 이미징 시스템은 좌측 눈 이미지 및 우측 눈 이미지를 지각 있게 동시에 표현하기 위한 디스플레이를 포함할 수 있고, 여기서 좌측 눈 이미지는 디스플레이의 연관된 좌측 눈 시야를 갖고, 우측 눈 이미지는 디스플레이의 연관된 우측 눈 시야를 갖는다. 시선(gaze) 추적 요소가 또한 포함되고, 좌측 눈 및 우측 눈의 적어도 하나 또는 양쪽 모두의 시선 방향들을 식별할 수 있다. 양안 이미징 시스템은 이미지 제어기를 더 포함할 수 있으며, 이러한 이미지 제어기는 좌측 및 우측 눈에 대한 응시의 양안 영역을 계산할 수 있고, 디스플레이된 좌측 및 우측 눈 이미지들을 변경할 수 있다. 이미지 제어기는 현재 디스플레이된 양안 이미지와 후속하여 디스플레이된 양안 이미지 사이에서 양안 응시의 영역에서의 변화에 응답하여 후속하여 디스플레이된 양안 이미지를 변경할 수 있다. 디스플레이된 좌측 및 우측 눈 이미지들의 변경은 응시의 양안 영역 및 응시의 양안 영역 주변에서 국부 이미지 깊이 컨텐트에 영향을 미칠 수 있다. 응시의 양안 영역은, 장소가 좌측 및 우측 눈들 중 하나 또는 양쪽 눈들의 시선 방향에 따라 변하는 3차원 영역을 포함할 수 있다.
본 개시의 다른 양상에 따라, 양안 이미지 컨텐트를 변경하는 방법은 현재 양안 이미지를 디스플레이하는 단계와, 장면에서의 양안 관심 영역(RBI)을 계산하기 위해 현재 양안 이미지로부터의 입력과, 시선 추적기로부터의 정보 및 장면 깊이 측정 정보를 이용하는 단계를 포함할 수 있다. 방법은 또한, 양안 관심 영역이 변경되었는 지의 여부를 결정하는 단계와, 양안 관심 영역이 변하였을 때 깊이 버짓에 대한 매핑을 위해 장면 깊이 범위를 계산하는 단계를 포함할 수 있다. 방법은 장면 깊이 범위를 이용하여 후속하여 디스플레이된 양안 이미지를 생성하기 위해 카메라 제어 알고리즘을 이용하는 단계와, 현재 디스플레이된 이미지, 후속하여 디스플레이된 양안 이미지를 제작하는 단계를 포함할 수 있다.
양안 이미지 컨텐트를 변경하는 방법은 시선 추적기 및 장면 깊이 측정부로부터 제 2 입력을 수신하는 단계와, 양안 관심 영역이 실질적으로 변하지 않았을 때 장면에서 양안 응시 영역을 계산하기 위해 현재 양안 이미지, 시선 추적기 및 장면 깊이 측정부로부터 제 2 입력을 이용하는 단계를 더 포함할 수 있다. 방법은 또한 디스플레이된 양안 이미지를 시청하는 시청자로부터 시선 추적 정보를 이용함으로써 디스플레이 공간(RBFd)에서의 양안 응시 영역을 결정하는 단계와, 이미지 제어기가 제공된 디스플레이 공간(RBFd)에서의 양안 응시 영역을 이용함으로써 장면 공간(RBFs)에서의 양안 응시의 등가 영역을 계산하는 단계를 포함할 수 있다. 양안 응시 영역이 변경되었는 지의 여부를 결정할 때, 방법은 디스플레이 공간(RBFd)에서의 양안 응시 영역 및 장면 공간(RBFs)에서의 양안 응시의 등가 영역을 이용하는 단계를 포함할 수 있다. 방법은, 디스플레이 공간에서의 양안 응시 영역이 실질적으로 변경되지 않는 동안 장면 변화들에 기초하여 양안 관심 영역을 변경하는 단계를 더 포함할 수 있다.
본 개시의 다른 양상에 따라, 양안 이미지 컨텐트를 변화시키는 방법으로서, 현재 양안 이미지를 디스플레이하는 단계와, 양안 응시의 후속 영역을 계산하기 위해 현재 양안 이미지 및 시선 추적기로부터의 입력을 이용하는 단계와, 양안 응시의 현재 영역과 양안 응시의 후속 영역 사이의 양안 응시에서의 임의의 변화를 결정하는 단계를 포함할 수 있다. 양안 응시의 현재 영역과 양안 응시의 후속 영역 사이의 양안 응시에서의 변화의 경우에, 방법은 양안 응시의 후속 범위의 불일치 영역을 계산하는 단계를 포함할 수 있다. 방법은 또한, 불일치 영역이 실질적으로 0인지의 여부를 결정하는 단계와, 불일치 범위가 실질적으로 0이 아닐 때 후속하여 디스플레이된 이미지를 생성하는 단계를 포함할 수 있다. 방법은 또한 현재 디스플레이된 이미지 및 후속하여 디스플레이된 양안 이미지를 제작하는 단계를 포함할 수 있다.
계속해서 논의하면, 방법은 시선 추적기로부터 제 2 입력을 수신하는 단계와, 양안 응시의 후속 영역이 실질적으로 변경되지 않을 때 양안 응시의 후속 영역을 계산하기 위해 현재 양안 이미지 및 시선 추적기로부터 제 2 입력을 이용하는 단계를 포함할 수 있다. 방법은 시선 추적기로부터 제 3 입력을 수신하는 단계와, 불일치 범위가 대략 0일 때 양안 응시의 후속 영역을 계산하기 위해 현재 양안 이미지와 시선 추적기로부터 제 3 입력을 이용하는 단계를 포함할 수 있다. 시선 추적기는 응시된 영역 내에서 불일치를 결정할 수 있고, 여기서 시선 추적기는 좌측 눈 및 우측 눈의 스크린 응시 지점들 사이의 차이로부터 응시 평면을 결정한다.
방법이 불일치 범위가 실질적으로 0인지의 여부를 결정하는 경우에, 방법은 후속 물체의 이미지 불일치를 0과 비교하는 단계를 포함할 수 있고, 여기서 후속 물체는 양안 응시의 영역에서 시청자에 가장 가까운 물체가 있는 곳에서 이미징된다. 방법은 또한 현재 디스플레이된 양안 이미지와 후속하여 디스플레이된 양안 이미지 사이에서 양안 응시의 영역에서의 변경에 응답하여 후속하여 디스플레이된 이미지를 변동시키는 단계를 포함할 수 있고, 또한 현재 디스플레이된 양안 이미지를 형성할 수 있다. 현재 디스플레이된 양안 이미지를 형성하는 것은 응시의 양안 영역을 형성하기 위해 응시의 3D 영역을 추정하고 응시의 3D 영역을 이미지 평면으로 투사하는 단계를 포함할 수 있다. 현재 디스플레이된 양안 이미지는 좌측 이미지 및 우측 이미지로서 형성되고, 더 큰 소스 이미지로부터 선택될 수 있다.
실시예들은 유사한 도면 부호들이 유사한 부분들을 나타내는 첨부도들에서 예로서 예시된다.
도 1은 본 개시에 따라 양안 이미징 장치의 일 실시예를 도시한 개략도.
도 2는 본 개시에 따라 좌측 및 우측 눈에 대한 이미지들의 일 실시예를 도시한 개략도.
도 3은 본 개시에 따라 현재 디스플레이된 양안 이미지 쌍의 일 실시예를 도시한 개략도.
도 4는 본 개시에 따라 양안 응시의 시청자의 영역의 일 실시예를 도시한 개략도.
도 5는 본 개시에 따라 불일치가 약간 또는 전혀 없는 디스플레이된 이미지의 일 실시예를 도시한 개략도.
도 6은 본 개시에 따라 흐름도를 도시한 개략도.
도 7은 본 개시에 따라 양안 이미지 쌍의 일 실시예를 도시한 개략도.
도 8은 본 개시에 따라 디스플레이된 이미지의 일 실시예를 도시한 개략도.
도 9는 본 개시에 따라 디스플레이된 이미지의 일 실시예를 도시한 개략도.
도 10은 본 개시에 따라 디스플레이된 이미지의 일 실시예를 도시한 개략도.
도 11은 본 개시에 따라 흐름도를 도시한 개략도.
도 12는 본 개시에 따라 시선추적 시스템의 일 실시예를 도시한 개략도.
도 13은 본 개시에 따라 장면 공간의 일 실시예를 도시한 개략도.
도 14는 본 개시에 따라 흐름도를 도시한 개략도.
도 15는 본 개시에 따라 양안 이미지의 일 실시예를 도시한 개략도.
도 16은 본 개시에 따라 장면 깊이 범위 및 깊이 버짓들의 일 실시예를 도시한 개략도.
도 17은 본 개시에 따라 이미지 제어기의 응답의 일 실시예를 도시한 개략도.
도 18은 본 개시에 따라 이미지 제어기의 응답의 일 실시예를 도시한 개략도.
도 19는 본 개시에 따라 이미지 제어기의 응답의 일 실시예를 도시한 개략도.
도 20은 본 개시에 따라 흐름도를 도시한 개략도.
도 21은 본 개시에 따라 장면 깊이 범위 및 인식된 깊이 범위의 일 실시예를 도시한 개략도.
도 22는 본 개시에 따라 장면 깊이 범위 및 인식된 깊이 범위의 일 실시예를 도시한 개략도.
도 23은 본 개시에 따라 장면 깊이 범위 및 인식된 깊이 범위의 일 실시예를 도시한 개략도.
도 24는 본 개시에 따라 장면 깊이 범위 및 인식된 깊이 범위의 일 실시예를 도시한 개략도.
도 25는 본 개시에 따라 장면 깊이 범위 및 인식된 깊이 범위의 일 실시예를 도시한 개략도.
도 26은 본 개시에 따라 흐름도를 도시한 개략도.
도 27은 본 개시에 따라 장면 깊이 범위 및 인식된 깊이 범위의 일 실시예를 도시한 개략도.
도 28은 장면 깊이 범위 및 인식된 깊이 버짓의 일 실시예를 도시한 개략도.
도 29는 본 개시에 따라 이미지 시스템의 일 실시예를 도시한 개략도.
일반적으로, 본 개시의 하나의 양상에 따라, 양안 이미징 시스템은 좌측 눈 이미지 및 우측 눈 이미지를 지각있게 동시에 표현하기 위한 디스플레이를 포함할 수 있고, 여기서 좌측 눈 이미지는 디스플레이의 연관된 좌측 눈의 시야를 갖고, 우측 눈은 디스플레이의 연관된 우측 눈의 시야를 갖는다. 좌측 눈 및 우측 눈의 적어도 하나 또는 양쪽의 시선 방향들을 식별할 수 있는 시선 추적 요소가 또한 포함될 수 있다. 양안 이미징 시스템은 이미지 제어기를 더 포함할 수 있으며, 이미지 제어기는 좌측 및 우측 눈에 대한 응시의 양안 영역을 계산할 수 있고, 디스플레이된 좌측 및 우측 눈 이미지들을 변화시킨다. 이미지 제어기는 현재 디스플레이된 양안 이미지와 후속하여 디스플레이된 양안 이미지 사이에서 양안 응시의 영역에서의 변경에 응답하여 후속하여 디스플레이된 양안 이미지를 변화시킬 수 있다. 디스플레이된 좌측 및 우측 이미지들을 변화시키는 것은 응시의 양안 영역에서 및 응시의 양안 영역을 둘러싸는 국부 이미지 깊이 컨텐트에 영향을 미칠 수 있다. 응시의 양안 영역은, 그 장소가 좌측 및 우측 눈들 중 하나 또는 양쪽 모두의 시선 방향에 따라 변하는 3차원 영역을 포함할 수 있다.
본 개시의 다른 양상에 따라, 양안 이미지 컨텐트를 변화시키는 방법은 현재 양안 이미지를 디스플레이하는 단계와, 장면에서의 양안 관심 영역(RBI)을 계산하기 위해 현재 양안 이미지로부터의 입력, 응시 추적기로부터의 정보 및 장면 깊이 측정 정보를 이용하는 단계를 포함할 수 있다. 방법은 또한, 양안 관심 영역이 변경되었는 지의 여부를 결정하는 단계와, 양안 관심 영역이 변경되었을 때 깊이 버짓에 대한 매핑을 위해 장면 깊이 범위를 계산하는 단계를 포함할 수 있다. 방법은 장면 깊이 범위를 이용하여 후속하여 디스플레이된 양안 이미지를 생성하기 위해 카메라 제어 알고리즘을 이용하는 단계와, 현재 디스플레이된 이미지 및 후속하여 디스플레이된 양안 이미지를 제작하는 단계를 포함할 수 있다.
양안 이미지 컨텐트를 변화시키는 방법은 시선 추적기 및 장면 깊이 측정부로부터 제 2 입력을 수신하는 단계와, 응시 관심 영역이 실질적으로 변경되지 않았을 때 장면에서의 양안 관심 영역을 계산하기 위해 현재 양안 이미지, 시선 추적기 및 장면 깊이 측정부로부터 제 2 입력을 이용하는 단계를 더 포함할 수 있다. 방법은 또한 시청자가 디스플레이된 양안 이미지를 시청하는 것으로부터 시선 추적 정보를 이용함으로써 디스플레이 공간(RBFd)에서의 양안 응시 영역을 결정하는 단계와, 이미지 제어기가 제공된 디스플레이 공간(RBFd)에서의 양안 응시 영역을 이용함으로써 장면 공간(RBFs)에서 양안 응시의 등가 영역을 계산하는 단계를 포함할 수 있다. 양안 관심 영역이 변경되었는 지의 여부를 결정할 때, 방법은 디스플레이 공간(RBFd)에서의 양안 응시 영역과, 장면 공간(RBFs)에서의 양안 응시의 등가 영역을 이용하는 단계를 포함할 수 있다. 방법은, 디스플레이 공간에서의 양안 응시 영역이 실질적으로 변경되지 않는 동안 장면 변경들에 기초하여 양안 관심 영역을 변경하는 단계를 더 포함할 수 있다.
본 개시의 다른 양상에 따라, 양안 이미지 컨텐트를 변화시키는 방법은 현재 양안 이미지를 디스플레이하는 단계와, 양안 응시의 후속 영역을 계산하기 위해 현재 양안 이미지 및 시선 추적기로부터 입력을 이용하는 단계와, 양안 응시의 현재 영역과 양안 응시의 후속 영역 사이에서 양안 응시에서의 임의의 변경을 결정하는 단계를 포함할 수 있다. 양안 응시의 현재 영역과 양안 응시의 후속 영역 사이의 양안 응시에서의 변경의 경우에, 방법은 양안 응시의 후속 범위의 불일치 범위를 계산하는 단계를 포함할 수 있다. 방법은 또한, 불일치 범위가 실질적으로 0인지의 여부를 결정하는 단계와, 불일치 범위가 실질적으로 0이 아닐 때 후속하여 디스플레이된 이미지를 생성하는 단계를 포함할 수 있다. 방법은 또한 현재 디스플레이된 이미지 및 후속하여 디스플레이된 양안 이미지를 제작하는 단계를 포함할 수 있다.
계속해서 논의하면, 방법은 시선 추적기로부터 제 2 입력을 수신하는 단계와, 양안 응시의 후속 영역이 실질적으로 변경되지 않았을 때 양안 응시의 후속 영역을 계산하기 위해 현재 양안 이미지 및 시선 추적기로부터 제 2 입력을 이용하는 단계를 포함할 수 있다. 방법은 시선 추적기로부터 제 3 입력을 수신하는 단계와, 불일치 범위가 대략 0일 때 양안 응시의 후속 영역을 계산하기 위해 현재 양안 이미지와 시선 추적기로부터 제 3 입력을 이용하는 단계를 포함할 수 있다. 시선 추적기는 응시된 영역 내의 불일치를 결정할 수 있고, 여기서 시선 추적기는 좌측 눈 및 우측 눈 스크린 응시 지점들 사이의 차이로부터 응시 평면을 결정한다.
방법이 불일치 범위가 실질적으로 0인지의 여부를 결정하는 경우에, 방법은 후속 물체의 이미지 불일치를 0과 비교하는 단계를 포함할 수 있고, 여기서 후속 물체는 양안 응시의 영역에서 시청자에 가장 가까운 물체가 있는 곳에서 이미징된다. 방법은 또한 현재 디스플레이된 양안 이미지와 후속하여 디스플레이된 양안 이미지 사이에서 양안 응시 영역에서의 변경에 응답하여 후속하여 디스플레이된 이미지를 변화시키는 단계를 포함할 수 있고, 또한 현재 디스플레이된 양안 이미지를 형성할 수 있다. 현재 디스플레이된 양안 이미지를 형성하는 단계는 응시의 3D 영역을 추정하는 단계와, 응시의 양안 영역을 형성하기 위해 응시의 3D 영역을 이미지 평면으로 투사하는 단계를 포함할 수 있다. 현재 디스플레이된 양안 이미지는 좌측 이미지 및 우측 이미지로서 형성되고, 더 큰 소스 이미지로부터 선택될 수 있다. 미국 특허 제4,634,384호 및 미국 특허 공보 제2003/0067476호에 일반적으로 논의된 바와 같이, 개시된 시스템들이 존재하고, 이들 특허는 그 전체가 본 명세서에 참고용으로 병합되고, 포비티드(foveated) 영역의 지식에 기초하여 2차원 이미지 특성들을 차동적으로 변화시킨다. 이들 시스템들은 양안 조건들을 다루지 않는다.
장면에서 컴퓨터 그래픽 모델을 조정하여 이 모델로부터 렌더링된 입체 이미지가 변화되도록 하기 위해 눈 추적을 이용하는 미국 특허 공보 제2012/0200676호에 일반적으로 논의된 바와 같이 개시된 시스템들이 존재한다. 이들 시스템들은 전체 모델을 조정하고, 양안 관심 영역 내부 및 외부에서 장면으로부터 이미지로의 깊이 매핑을 변화시키기 위해 입체 이미지를 가로질러 차동 변경들을 초래하지 않는다.
추가로, 본 명세서에 그 전체가 참고용으로 병합되고, 운동 시차를 고려하기 위해 머리 위치 및/또는 눈 추적에 기초하여 입체 이미지 표현을 변화시키는 미국 특허 제6,198,484호에 일반적으로 논의된 바와 같이, 개시된 시스템들이 존재한다. 이들 시스템들은 양안 관심 영역 내부 및 외부에서 장면으로부터 이미지로의 깊이 매핑을 변화시키기 위해 입체 이미지를 가로질러 차동 변경들을 만들지 않는다.
도 1은 상이한 이미지들을 좌측 및 우측 눈들에 지각있게 실질적으로 동시에 표현하기 위한 양안 이미지 디스플레이(5)를 포함할 수 있는 양안 이미징 시스템을 도시한다. 좌측 눈 이미지들이 디스플레이(3)의 시야를 갖는 좌측 눈(1)에 의해 보이고 우측 눈 이미지들이 디스플레이(4)의 시야를 갖는 우측 눈(2)에 의해 보이는 이미지 디스플레이(5)에 의해 표현된 양안 이미지들을 시청자가 본다. 양안 이미징 시스템은 또한 각각 좌측 눈 및 우측 눈(7, 8)의 하나 또는 양쪽의 시선 방향들을 식별할 수 있는 시선 추적 요소(6)를 포함할 수 있고, 응시의 시청자의 양안 영역(9)을 계산하기 위한 방식을 포함할 수 있다. 시선 추적 요소(6)는 컴퓨터 판독가능 매체를 포함할 수 있는 임의의 적절한 처리 또는 컴퓨팅 시스템에 의해 응시의 시청자의 양안 영역(9)을 계산할 수 있다. 응시의 양안 영역(9)은, 장소가 시선 방향으로 변하는 3차원 영역일 수 있다. 양안 이미징 시스템은 또한 응시의 양안 영역에 그리고 응시의 양안 영역을 둘러싸는 국부 이미지 깊이 컨텐트에 영항을 미치도록 하는 방식으로 디스플레이된 이미지들을 변화시키는 방식을 포함할 수 있다.
일 실시예에서, 방법은 실질적으로 0의 불일치를 갖는 응시된 영역을 논의할 수 있다. 이 실시예는 도 6, 도 2 및 도 1에서 일반적으로 도시된 바와 같이, 현재 디스플레이된 양안 이미지와 후속하여 디스플레이된 양안 이미지 사이에서 양안 응시의 시청자의 영역(9)의 변경에 응답하여 후속하여 디스플레이된 이미지들을 변화시킬 수 잇는 이미지 제어기(10)에서의 방법을 제공할 수 있다.
도 6에서, 단계(S60)는 좌측 이미지(22) 및 우측 이미지(23)로서 현재 디스플레이된 이미지들을 형성한다. 현재 디스플레이된 이미지는 도 2에 도시된 바와 같이, 더 큰 소스 이미지들(20 및 21)로부터 선택될 수 있다. 도 6의 단계(S61)에서, 현재 양안 이미지들은 도 1의 이미지 디스플레이(5)에 의해 디스플레이된다.
도 2의 좌측 및 우측 이미지들(22 및 23)은 수평 장소가 상이할 수 있는 예(24, 25, 26)에 대한 물체들의 이미지들을 포함할 수 있다. 좌측 및 우측 눈 뷰들(views)에서의 상이한 장소들에서 동일한 물체의 이미지들 사이의 이러한 수평 차이는 이미지 불일치로서 알려져 있고, 그 치수 및 부호(sign)는 좌측 및 우측 이미지를 양안으로 융합될 때 시청자에 의해 인식된 깊이를 제어한다.
또한 도 6에서, 단계(S62)에 도시된 바와 같이, 도 1의 이미지 제어기(10)는 시선 추적기(6)로부터 입력을 수신하고, 응시의 후속 양안 영역을 계산하기 위해 이러한 입력을 이용한다.
도 1, 도 2 및 도 6에 대해 계속해서 논의하면, 단계(S63)에서, 제어기는 현재 및 후속 응시들 사이에서 양안 응시에서의 임의의 변경을 결정하고, 현재 및 후속 응시들 사이의 양안 응시에서 변경이 없으면, 제어기는 단계(S62)로 계속된다.
단계(S64)에서, 양안 응시에서 변화가 있으면, 이미지 제어기(10)는 장면에서의 어떤 후속 물체가 양안 응시 영역에서 시청자에 가장 가까운 물체가 있는 곳에서 이미징되는 지를 계산한다. 단계(S65)에서, 제어기는 후속 물체의 이미지 불일치를 0과 비교하고, 불일치가 0이면, 제어기는 단계(S62)로 계속된다.
단계(S66)에서, 제어기는, 후속 물체의 이미지 불일치가 실질적으로 0이 되도록 후속하여 디스플레이된 이미지들을 조정하기 위해 후속 물체의 이미지 불일치를 이용한다. 하나의 방법은 도 3, 도 4 및 도 5에 도시되어 있다.
도 3은, 양안 응시 영역이 이미지에서의 물체(25)와 정렬되는 현재 디스플레이된 양안 이미지 쌍(22, 23)을 도시한다. 도 3은 또한 디스플레이된 이미지에서 0의 불일치를 갖는 물체를 보여주는 예시선을 포함한다. 물체(25)에 대한 좌측 및 우측 이미지들 사이의 수평 불일치는 예시선(30)에 의해 표시된 바와 같이 0이다.
도 4에서, 양안 응시의 시청자의 영역은 물체(25)로부터 물체(24)로 이동하였고, 이미지 제어기(10)는 후속하여 디스플레이된 이미지들(40 및 41)을 생성함으로써 응답한다. 영역(40)은 좌측 눈 뷰에서 디스플레이될 새롭게 선택된 영역을 도시하고, 영역(41)은 우측 눈 뷰에서 디스플레이될 새롭게 선택된 영역을 도시한다. 이미지 제어기는 물체(24)에 대한 불일치를 발견함으로써 이를 달성하고, 이 경우에, 후속하여 응시된 물체(24)의 불일치가 0이 되도록 우측 이미지 윈도우를 우측으로 픽셀의 그러한 수만큼 슬라이딩한다.
결과적인 후속하여 디스플레이된 이미지들은 도 5에서 도시되며, 물체(24)에 대한 수평 불일치가 예시선(50)에 의해 도시되는 바와 같이 이제 0이 된다. 도 5는 디스플레이된 이미지에서 0의 불일치를 갖는 새로운 물체를 도시하기 위한 예시선을 포함한다.
도 6의 단계(S66)에서, 후속하여 디스플레이된 이미지들(40 및 41)은 이제 현재 디스플레이된 이미지들을 제작하였고, 제어는, 현재 디스플레이된 이미지들이 이미지 디스플레이(5)에 의해 디스플레이되는 단계(S61)로 복귀한다.
다른 관련 실시예는 실질적으로 0의 불일치를 가질 수 있는 응시된 영역을 포함할 수 있다. 이러한 실시예는, 이전 실시예와 유사한 방식으로 상(imagery)을 조정하지만, 응시된 영역 내에서 불일치를 결정하기 위해 시선 추적기를 이용한다. 좌측 및 우측 눈 이미지들이 입체 디바이스 상에서 디스플레이될 때, 시선 검출기는 좌측 및 우측 눈 스크린 응시 지점들 사이의 차이로부터 응시 평면을 결정할 수 있다. 응시 평면이 디스플레이 스크린의 전면에 있으면, 예를 들어 디스플레이 상의 좌측 눈의 응시 지점이 우측 눈의 응시 지점의 우측에 있을 때, 응시된 영역에서의 상이 음의 불일치를 갖는다는 계산이 거의 없거나 전혀 없다고 언급될 수 있다. 상을 서로에 대해 시프트(shifting)하는 것은 이러한 음의 불일치를 제거할 수 있고, 이전 실시예에서와 같이 실질적으로 0의 불일치를 제공한다.
또 다른 실시예는 불일치를 갖는 응시된 영역을 가질 수 있고, 주변 영역은 실질적으로 불일치를 갖지 않을 수 있다. 이 실시예는 현재 디스플레이된 양안 이미지와 후속하여 디스플레이된 양안 이미지 사이에서 양안 응시의 시청자의 영역(9)에서의 변경에 응답하여 후속하여 디스플레이된 이미지를 변화시킬 수 있는 이미지 제어기(10)에서의 방법을 제공할 수 있다. 논의는 도 11, 도 7, 도 8, 도 9 및 도 10에 제공된다.
도 11에서, 단계(S110)는 각각 좌측 눈(70) 및 우측 눈(71)에 대해 도 7에서와 같이 현재 디스플레이된 이미지들을 형성한다. 도 7은 현재 디스플레이된 양안 쌍의 좌측 이미지(70)와, 현재 디스플레이된 양안 이미지 쌍의 우측 이미지, 이미지 평면(72)에서 투사된 응시의 양안 영역과, 좌측 및 우측 이미지에서 보인 물체(73), 좌측 및 우측 이미지에서 보인 다른 물체(74), 좌측 및 우측 이미지에서 보인 또 다른 물체를 포함한다. 현재 디스플레이된 이미지들을 형성하기 위해, 응시의 3D 영역은 측정되거나 추정되고, 응시의 양안 영역을 형성하기 위해 이미지 평면(72)으로 투사된다. 이미지들(70 및 71)에서의 이러한 영역(72) 외부의 임의의 이미지 정보는 각 이미지에서 동일하다. 이것은 시청자의 눈들 모두에 동일한 정보를 제공하는 단안(monocular) 이미지일 수 있다. 영역(72) 내부의 임의의 이미지 정보는 양안이다. 이러한 이미지 정보는 렌더링되거나 캡처되거나, 양안 불일치 정보와 합성될 수 있다. 그 결과는 도 8에 예시되어 있다. 도 8은 물체(75)에 대한 0의 이미지 불일치가 있다는 것을 보여주는 예시선(80)과, 물체(73)의 물체 불일치에 대한 0의 이미지 불일치가 있다는 것을 보여주는 예시선(81)과, 좌측 이미지(70)에서 물체(74)의 수평 위치를 보여주는 예시선(82)과, 우측 이미지(71)에서 물체(74)의 수평 위치를 보여주는 예시선(83)과, 물체(74)에 대한 수평 이미지 불일치(84)를 포함한다. 장면에 포함된 물체들(75 및 73)은 영역(72) 외부에 있을 수 있고, 도 8에서 예시선들(80 및 81)에 의해 도시된 양안 불일치를 갖지 않을 수 있다. 한편, 영역(72) 내부의 물체(74)는 양안 불일치(84)를 갖고, 예시선들(82 및 83)에 의해 도시된다.
도 11의 단계(S111)에서, 현재 양안 이미지 쌍(70 및 71)은 도 1의 이미지 디스플레이(5) 상에 디스플레이된다. 단계(S112)에서, 도 1의 이미지 제어기(10)는 시선 추적기로부터 입력을 수신하고, 도 9에서 양안 응시의 후속 영역(92)을 계산한다. 단계(113)에서, 양안 응시 영역이 변경되지 않았으면, 제어는 도 11의 단계(S112)로 복귀한다.
도 11의 단계(S114)에서, 양안 응시 영역은 변경되었고, 이미지 제어기는 장면에서 양안 응시의 후속 영역의 깊이 범위를 계산한다. 논의를 계속하면, 단계(S115)에서, 깊이 범위 정보는 도 9에 도시된 바와 같이 후속하여 디스플레이된 이미지들(90 및 91)을 형성하기 위해 단안 이미지와 조합될 수 있는 양안 응시 영역(92)에 대한 형성된 양안 이미지를 생성하는데 사용될 수 있다. 도 9는 양안 이미지 쌍의 좌측 이미지(90)와, 양안 이미지 쌍의 우측 이미지(91)와, 투사된 이미지 평면에서 응시의 양안 영역(92)을 포함한다. 그 결과는, 양안 불일치를 갖는 영역(92)이 양안 불일치(104)를 갖는 물체(73)를 포함하는 도 10에서 강조된다. 도 10은 물체(75)에 대한 0의 이미지 불일치가 있다는 것을 보여주는 예시선(1100)과, 물체(73)에 대한 0의 이미지 불일치가 있다는 것을 보여주는 예시선(101)과, 좌측 이미지(70)에서 물체(74)의 수평 위치를 보여주는 예시선(102)과, 우측 이미지(71)에서 물체(74)의 수평 위치를 보여주는 예시선(03)과, 물체(74)에 대한 수평 이미지 불일치(104)를 포함한다. 추가로, 양안 응시 영역 외부의 물체들(74 및 75)은 선들(100 및 101)에 의해 도시된 바와 같이 더 이상 불일치를 갖지 않는다.
마지막으로, 단계(S116)에서, 현재 디스플레이된 양안 이미지는 후속하여 디스플레이된 양안 이미지가 되고, 제어는 단계(S111)로 복귀한다.
도 12는 시선 추적 시스템의 일 실시예를 도시한 개략도이다. 도 12는 시청자와, 디스플레이(153)와, 디스플레이 공간에서의 상이한 요소들의 예를 제공한다. 도 12에서, 시청자의 눈들(155)은 디스플레이된 양안 이미지를 본다. 시청자의 좌측 눈은 좌측 눈 시선 방향(120)으로 언급된 방향으로 볼 수 있고, 시청자의 우측 눈은 우측 눈 시선 방향(121)으로서 언급된 방향으로 볼 수 있다. 시청자의 눈들(155)은 시선 추적 시스템(6)에 의해 추적될 수 있다. 도 12에 도시된 바와 같이, 장면(122)은 융합된 양안 이미지에서 인식된 장면을 도시하고, 영역(160 RBFd)은 디스플레이 공간에서 양안 응시 영역일 수 있다. 시선 추적 시스템(6)은 특히, 양안 응시의 시청자의 후속 영역을 계산하는데 사용될 수 있는 시선 추적 정보를 제공할 수 있다.
도 13은 장면 공간의 일 실시예를 도시한 개략도이다. 도 13은 카메라들 및 장면 공간의 예를 제공한다. 도 13에서, 카메라들(154)은 장면의 이미지들을 캡처하기 위한 위치에 위치될 수 있다. 깊이 측정 시스템(156)은 카메라들(154)에 의해 위치될 수 있다. 깊이 측정 시스템(156)이 카메라들(154) 사이의 중앙에 위치된 것으로 도시되지만, 이것은 논의 목적들만을 위한 것이며, 한정되지 않는데, 이는 깊이 측정 시스템이 적절한 경우 장면 공간에 대해 다른 위치들에 위치될 수 있기 때문이다. 도 13에서, 범위(150)는 총 장면 깊이 범위에 있을 수 있고, 장면 깊이 범위(163)는 디스플레이 공간에서 깊이 버짓에 매핑하기 위해 장면 깊이 범위를 표현할 수 있다. 추가로, 도 13에 도시된 바와 같이, 영역(162)은 양안 관심 영역(RBI, 162)일 수 있고, 영역(161)은 장면 공간(RBFs, 161)에 투사된 양안 응시 영역일 수 있다.
또 다른 실시예에서, 장면으로부터 디스플레이 공간으로의 깊이 매핑은 디스플레이 공간에서 양안 응시 영역에 의해 결정될 수 있다. 이 실시예는 도 20, 15, 16, 17, 18 및 19)를 참조하여 기재된다.
도 15를 참조하면, 시청자는 제 1 현재 양안 이미지를 보고, 그 안에서, 이 경우에, 몇몇 사전 결정된 인식된 깊이 버짓(151) 내에서 인식된 깊이를 본다. 도 15는 장면 깊이 범위(150)와, 깊이 측정 요소(156)와, 카메라들(154)과, 가상 디스플레이(152)와, 물리적 디스플레이(153)와, 시청자의 눈들(155)을 포함한다. 이미징되는 장면 공간(150)으로부터 디스플레이 공간 인식된 깊이 버짓(151)으로의 깊이의 특정 매핑은 장면에서의 깊이 범위를 결정하기 위해 깊이 측정 요소(156)가 주어진 인용 미국 특허 제6,798,406호에서와 같이 사전 존재하는 카메라 제어 알고리즘을 이용하여 계산될 수 있다. 장면에서의 깊이 범위(150)는 예를 들어, 합성 장면들에서의 깊이 맵 또는 실제 장면들에서의 광학 또는 레이저 범위 파인더로부터 계산될 수 있다.
도 20에서의 흐름도를 참조하면, 제1 현재 양안 이미지는 단계(S200)에서 생성되고, 그런 후에 단계(S201)에서 디스플레이된다. 도 16을 참조하면, 시청자가 디스플레이된 양안 이미지를 보는 동안, 그 시선은 도 1의 시선 추적 요소(6)를 이용하여 추적되고, 이 정보는 디스플레이 공간(RBFd 160)에서의 양안 응시 영역을 결정하는데 사용된다. 도 16은 장면 공간(161)에서의 RBFs에 대응하는 계산된 영역과, 장면 공간(162)에서의 계산된 양안 관심 영역(RBI)과, 깊이 버짓(163)에 대한 매핑을 위한 장면 깊이 범위와, 인식된 깊이 버짓(151)과, 디스플레이 공간(160)에서의 양안 응시의 측정된 영역(RBFd)을 포함한다.
RBFd는 장면 공간(RBFs 161)에서 양안 응시의 등가 영역을 계산하기 위해 도 1의 이미지 제어기(10)에 의해 사용된다. RBFs 161은 장면 공간(RBI 162)에서 양안 관심 영역을 계산하는데 사용될 수 있다. RBI는 RBFs의 슈퍼-세트(super-set)인 공간 부피에 있는 임의의 물체들을 수용한다. RBI는 평행육면체, 원통형, 타원형, 절두체 등을 포함하지만, 여기에 한정되지 않는 임의의 편리한 3차원 형태일 수 있다.
도 20의 단계(S204)에서, 일단 RBI가 계산되면, 인식된 깊이 버짓에 매핑될 장면 깊이 범위는 163으로서 도 16에 도시된, RBI의 깊이 정도를 계산함으로써 발견될 수 있다. 이것은 단계(S205)에서의 후속 양안 이미지를 생성하고 단계(S206)에서의 디스플레이를 위해 이것을 설정하기 위해 미국 특허 제6,798,406호에 일반적으로 논의된 바와 같이 임의의 깊이 매핑 카메라 제어 알고리즘의 적용을 허용한다.
도 17, 도 18 및 도 19는 양안 응시의 시청자의 영역(RBFd)에서의 실시간 변경에 대한 이미지 제어기의 응답을 도시한다. 도 17은 깊이 버짓(163), 인식된 깊이 버짓(151), 및 디스플레이 공간(170)에서의 RBFd의 변경된 장소에 대한 매핑을 위한 장면 깊이 범위를 포함한다.
도 17에서, RBFd는 시선 추적 요소(6)에 의해 검출되고 이미지 제어기(10)에 의해 계산된 디스플레이 공간(170)에서의 상이한 위치로 변경되었다. 이미지 제어기(10)는 도 18에 도시된 바와 같이 새로운 RBFs 180을 계산하고, 추가로 RBFs 180의 슈퍼세트인 공간 부피를 형성하는 새로운 RBI 181을 계산한다. 도 18은 장면 공간(180)에서의 RBFs의 계산된 변경된 장소와, 장면 공간(181)에서의 RBI의 계산된 변경된 장소와, 깊이 버짓(182)에 대한 매핑을 위한 장면 깊이 범위와, 인식된 깊이 버짓을 포함한다. 장면의 컨텐츠에 따라, 새로운 RBI는 현재 값보다 더 크거나 더 작을 수 있다. 깊이 버짓(151)에 매핑될 장면 깊이 범위(182)는 또한 변경될 것이다. 일단 장면 깊이 범위(182)가 알려지면, 미국 특허 제6,798,406호에 일반적으로 논의된 바와 같이 임의의 깊이 매핑 카메라 제어 알고리즘의 적용은 디스플레이 인식된 깊이 버짓(151)에 새롭게 계산된 장면 깊이 범위(182)를 매핑할 수 있다.
도 19에서의 결과는 깊이 버짓에 대한 장면 깊이의 새로운 매핑을 도시한다. 기술적 이익은, 시청자의 시선이 양안 이미지에 디스플레이된 바와 같이 장면 주위로 이동할 때, RBFd에서의 깊이 및 대응하는 RBI가 이용가능한 깊이 버짓(151)에 맞도록 연속적으로 최적화된다는 것이다. 도 19는 깊이 버짓, 인식된 깊이 버짓(151), 및 전체 이미지(190)의 인식된 깊이 범위에 대한 매핑을 위한 장면 깊이 범위(182)를 포함한다.
이 실시예가 또한 양안 응시의 RBFd 영역이 변경되지 않을 때조차 장면 변경들로 인해 RBI가 변경되는 애니메이션화된 장면들에서 또한 동작할 것이라는 것이 중요하다. 이것은, 컴퓨터 그래픽스에서 깊이 버퍼일 수 있거나, 사진 촬영에서 광학 또는 레이저 디바이스와 같은 범위 파인더일 수 있는 깊이 측정 요소(156)에 의해 측정된다.
또 다른 실시예는 바람직한 불일치를 가질 수 있는 응시된 영역을 포함할 수 있고, 주변 영역은, 총 불일치가 가변 z-영역 매핑을 이용하여 미리 결정된 한계를 초과하지 않는 상이한 불일치를 가질 수 있다. 이 실시예는 도 26, 도 20, 도 21, 도 22, 도 23, 도 24 및 도 25를 참조하여 현재 디스플레이된 양안 이미지와 후속하여 디스플레이된 양안 이미지 사이에서 양안 응시의 시청자의 영역(9)에서의 변경에 응답하여 후속하여 디스플레이된 이미지들을 변화시킬 수 있는 이미지 제어기(10)에서의 방법을 제공할 수 있다.
도 21은 장면 깊이 범위(150)와, 카메라들(154)과, 깊이 측정 요소(156)와, 근거리 영역(210)과, 원거리 영역(212)과, 관심 영역(211)과, 시청자의 눈들(155)과, 인식된 깊이 버짓(151)을 포함한다.
도 26 및 도 20에서의 흐름도들을 참조하여, 단계(S260)에서, 제 1 양안 이미지가 형성된다. 이것은, 도 15에 도시된 바와 같이 장면 깊이 범위(150)가 미국 특허 제6,798,406호와, 미국 특허 공보 US 2011/7,983,477호, 또는 미국 특허 제8,300,089호와 같은 인용들에 개시된 방법을 이용하여 인식된 깊이 범위(151)에 매핑되며, 이들 특허 모두는 그 전체가 본 명세서에서 참고용으로 병합된다. 제 1 현재 양안 이미지는 단계(S261)에서 디스플레이된다.
도 22를 참조하면, 단계(S262)에서, 이미지 제어기는 시선 추적기(6)로부터 입력을 수신하고, 이것은 디스플레이 공간에서 양안 응시 영역(RBFd 160)의 식별을 허용한다. 이로부터, 장면 공간(RBFs 161)에서의 양안 응시 영역이 발견되고, 장면 깊이 측정 요소(156)로부터의 추가 입력을 통해, 장면에서의 양안 관심 영역(RBI 162)이 계산될 수 있다. RBI 또는 장면 깊이 범위(150)를 알면, 디스플레이 공간에서 인식된 깊이 버짓(151)에 매핑될 장면 깊이 범위(150)인 163을 계산하는 것이 가능하다. 이러한 경우에서, 163은 장면 깊이 범위(150)와 거의 동일한데, 예를 들어, RBI는 변경되지 않으므로, 깊이 매핑에서의 변경이 요구되지 않고, 단계(S263)는 단계(S262)로 복귀될 수 있다. 도 22는 장면 깊이 범위(150)와, 카메라들(154)과, 깊이 측정 요소(156)와, 근거리 영역(210)과, 원거리 영역(212)과, 관심 영역(211)과, 깊이 버짓에 매핑할 장면 깊이 범위(163)와, 시청자의 눈들(155)과, 인식된 깊이 범위(151)를 포함한다.
대안적으로 도 23을 참조하면, 시청자의 시선은 변경되었고, 시선 추적기로부터의 입력은 후속 RBFd(230)를 식별한다. 도 23, 및 유사하게 도 24 및 도 25는 모두 장면 깊이 범위(150)와, 카메라들(154)과, 깊이 측정 요소(156)와, 근거리 영역(210)과, 원거리 영역(212)과, 관심 영역(211)과, 시청자의 눈들(155)과 인식된 깊이 범위(151)를 포함한다. 이후 도 24에 도시된 바와 같이, 이것은, 후속 RBFs 240이 이러한 후속 RBI 241로부터 계산되도록 한다. 후속 RBI 241이 이제 현재 RBI 162와 상이할 때(도 16에 도시된 바와 같이), 실행은 단계(S264)로 계속되고, 후속 장면 깊이 범위(163)가 계산된다.
단계(S265)는 장면으로부터 디스플레이 공간으로의 깊이의 새로운 매핑을 계산한다. 도 25는 미국 특허 제7,983,477호에 일반적으로 개시된 것과 같이 다중-영역 깊이 매핑 알고리즘을 이용하여 단계(S265)에 대한 매핑을 구현하는 한 가지 방식을 도시한다. 여기서 RBI는 장면을 더 가까운 영역(210) 및 더 먼 영역(212)을 포함하는 3개의 영역들로 분리하는 관심 영역(211)으로서 고려될 수 있다. 이들은 장면 공간(213, 214 및 215)에서의 3개의 대응하는 영역들에 매핑된다. 영역들(213, 214 및 215)이 이들에 할당된 인식된 깊이의 양에서 차이가 있을 수 있기 때문에, 관심 영역(211), 및 이에 따라 RBI는 근거리 및 원거리 영역들에 비해 장면 깊이의 우선적인 양이 주어질 수 있다. 추가로, 예를 들어 도 19에 도시된 단일 영역 매핑과 같이 인식된 깊이 범위(151)의 외부에서 장면의 임의의 물체들이 나타나는 것을 방지한다. 일단 후속 이미지가 형성되면, 단계(S266)에서의 현재 이미지가 되도록 설정되고, 제어는 단계(S261)로 복귀된다.
또 다른 실시예는 바람직한 불일치를 가질 수 있는 응시된 영역을 포함할 수 있고, 주변 영역은, 총 불일치가 하나 또는 2개의 차원에서 가변 카메라 파라미터들을 이용하여 미리 결정된 한계를 초과하지 않는 상이한 불일치를 가질 수 있다. 이 실시예는, 도 27, 도 28, 도 29 및 도 30을 참조하여, 현재 디스플레이된 양안 이미지와 후속하여 디스플레이된 양안 이미지 사이에서 양안 응시의 시청자의 영역(9)에서의 변경에 응답하여 후속하여 디스플레이된 이미지들을 변화시킬 수 있는 이미지 제어기(10)에서의 방법을 제공할 수 있다.
도 14에서, 흐름도 단계(S300)는 제 1 양안 이미지를 형성한다. 이 이미지는, 장면 깊이 범위(150)가 미국 특허 제6,798,406호와, 미국 특허 제7,983,477호, 또는 미국 특허 제8,300,089호와 같은 인용들에 개시된 방법을 이용하여 인식된 깊이 범위(151)에 매핑될 때 형성될 수 있다. 현재 양안 이미지(5)는 단계(S301)에서 디스플레이된다.
도 14를 참조하면, 단계(S302)에서, 이미지 제어기는 시선 추적기(6)로부터 입력을 수신하고, 이것은 디스플레이 공간에서 양안 응시 영역(RBFd 160)의 식별을 허용할 수 있다. 이로부터, 장면 공간에서의 양안 응시 영역(RBFs 161)은 발견될 수 있고, 장면 깊이 측정 요소(156)로부터의 추가 입력을 통해, 장면에서의 양안 관심 영역(RBI 162)이 계산될 수 있다. RBI를 알면, 디스플레이 공간에서 인식된 깊이 범위(151)에 매핑될 장면 깊이 범위를 계산(163)하는 것이 가능하다. RBI가 변경되지 않으면, 깊이 매핑에서의 변경이 요구되지 않고, 단계(S303)는 S302로 복귀한다.
도 27을 참조하면, RBI가 식별될 때, 장면 공간으로부터 디스플레이 공간으로의 국부적으로 변하는 깊이 매핑은 S304에서 계산될 수 있다. 이것은 이미지를 캡처하는데 사용된 입체 카메라 파라미터들을 변화시킬 수 있다. 예를 들어, RBI에 가까운 전체 입체 3D 효과는 도 27에 도시된 바와 같이 RBI 외부의 단순한 2D 효과로 변경될 수 있다. 도 27은 이미지에서의 국부적으로 변하는 인식된 깊이 범위일 수 있는 270 및 271과, RBI(162) 외부의 물체들일 수 있고 불일치를 이용하여 인식된 깊이가 할당되지 않은 물체들(272)과, 깊이 버짓에 대한 매핑을 위한 장면 깊이 범위(163)와, 인식된 깊이 범위(151)를 포함한다.
RBI가 변경되면, 도 28에 도시된 바와 같이, 전체 입체 3D 효과를 갖는 이미지의 영역도 역시 변경될 수 있다. 이익은 RBI로부터 디스플레이된 이미지의 임의의 영역이 단일 카메라 뷰포인트로부터 렌더링될 수 있게 되어, 가장 높은 가능한 품질에서 포비에트 영역을 유지하면서 2개의 이미지들을 렌더링하는 계산 비용을 절감하게 된다. 도 28은 이미지에서의 새로운 국부적으로 변하는 인식된 깊이 범위일 수 있는 280 및 281과, 새로운 RBI(181) 외부의 물체들일 수 있고 인식된 깊이, 깊이 버짓에 매핑하기 위한 장면 깊이 범위(182), 및 인식된 깊이 버짓 없이 할당되는 물체들(282)을 포함한다.
도 29는, 단계(S305)에서 렌더링하는데 사용된 카메라 파라미터들이 입체 이미지에서 상이한 장면 요소들이 나타날 수 있는 곳에 따라 1차원으로 어떻게 변할 수 있는지를 도시한다. 도 29는 장면 깊이 범위(163)를 포함한다. 이 경우에, RBI로부터의 요소들은 단일 중앙 카메라 뷰포인트(C)로부터 렌더링될 수 있는 한편, RBI에서의 요소들은 미국 특허 제6,798,406호에 일반적으로 논의된 방법들을 이용하여 계산될 수 있는 입체 카메라 설정(A0)으로 렌더링된다. 전체 입체 및 2차원 이미지 영역들 사이의 지역에서, 카메라 설정은 선형으로 보간되고, 축내 분리(A1)는 단일 중앙 카메라(C)의 개별 이용이 적절할 때까지 감소된다.
이 접근법의 추가 실시예는 수직 및 수평 요소 위치에 따라 카메라 파라미터들을 변화시키는 것이므로, RBI에 가깝게 수평 및 수직인 이미지의 영역들은 전체 입체 효과로 렌더링된다.
이들 실시예들의 한 가지 가능한 구현은 포비에트 입체 렌더링 효과를 생성하기 위해 OpenGL Reference Pages(http://www.opengl.org/documentation/glsl/)에 일반적으로 논의된 바와 같이 GLSL의 개요와, 실시간 컴퓨터 그래픽 시스템에서 정점들을 투사하고 쉐이딩(shading)하기 위해 적절한 카메라 파라미터들을 보간하기 위한 정점 쉐이더 해법을 제공하는 Listing 1에 도시된다.
Figure pct00001
Figure pct00002
Listing 1에 기재된 쉐이더는 좌측 눈 뷰에 대해 한 번 호출되고, 우측 눈 뷰에 대해 한 번 호출된다. 라인 4 내지 21은 쉐이더가 실행되기 전에 설정되는 변수들을 선언한다. 추가로, 라인 9 및 10은 좌측 또는 우측 눈 위치에 필요한 카메라 파라미터들을 기재한다. 라인 12 및 13은 단일 중앙 단안 뷰에 대한 카메라 파라미터들을 기재한다. 또한, 라인 25 내지 37은 포비에트 카메라 파라미터들의 계산 동안 사용될 수 있는 변수들을 선언한다.
라인 15 상의 변수들(rABound) 및 라인 29 상의 fadeZone이 주지되고, 이것은 라인 18 상의 originX 및 originY에 의해 주어진 포비에트 영역 원점과 조합하여, 주로 입체 렌더링이 구현될 포비에트 영역의 위치 및 정도를 결정한다. rABound에 의해 주어진 이 영역의 경계에서, 카메라 파라미터들은 단안 이미지가 되기 위해 fadeZone에 의해 주로 결정된 장면 거리에 걸쳐 보간될 것이다.
이를 행하기 위한 적절한 가중치는 라인들 39 및 51 사이에서 계산된다. 계산된 가중치 값이 1.0의 값을 갖는 경우, 단안 지역에 도달되었고, 라인들 53 및 68 사이의 계산들이 우측 카메라 뷰가 아닌 좌측 카메라에 대해 한 번 계산될 수 있다는 것이 주지된다. 양쪽 눈에 대해 개별적으로 투사 및 쉐이딩 계산들을 계산하는 것에 비해 상당한 계산 절감이 초래된다.
이들 계산들이 포비에트 입체 지역에 대해, 그리고 단안 지역에서의 하나의 카메라의 뷰에 대해 적절한 경우,
a. 라인들 53 내지 60은, 표면 법선 벡터들이 가중된 법선 변환 매트릭스를 이용하여 어떻게 변환되고 예시를 위해 단일 광 렘버시안 쉐이딩 모델을 이용하여 정점에 대한 쉐이딩된 컬러 값을 계산하는데 어떻게 사용되는 지를 기재한다.
b. 라인 62 내지 68은, 정점 위치가 가중화된 모델-뷰-투사 매트릭스를 이용하여 어떻게 변환되는 지를 기재한다.
결과적인 쉐이딩된 컬러 vsColor 및 변환된 정점 위치 gl_Position은 컴퓨터 그래픽 렌더링 파이프라인에서의 다음의 스테이지 상으로 전달된다.
또 다른 실시예는 바람직한 불일치를 가질 수 있는 응시된 영역을 포함할 수 있고, 주변 영역은, 총 불일치가 3차원에서 가변 카메라 파라미터들을 이용하여 미리 결정된 한계를 초과하지 않는 상이한 불일치를 가질 수 있다. 가중치 값을 계산하기 위해 3중-선형 보간 모델을 이용하는 것은 포비에트될 깊이 차원 및 2개의 이미지 차원을 허용할 것이다. 이것은, 깊이 차원의 매핑이 가변적인 미국 특허 제7,983,477호 또는 미국 특허 제8,300,089호에 기재된 카메라 모델을 이용하여 구현될 수 있다.
이익은, 포비에트 영역에서 보인 이미지의 깊이 표현을 최적화하면서, 깊이에서 이 영역 전면 및 후면에서의 장면을 나타내는 이미지 영역들을 그리기 위한 계산적 또는 깊이 버짓 요구를 감소시키는 것을 포함할 수 있다. 예를 들어, 운전 게임에서, 최상의 이미지 품질은 운전자가 참여하는 장면의 영역에 주어진다.
다른 실시예는 바람직한 불일치를 가질 수 있는 응시된 영역을 가질 수 있고, 주변 영역은, 총 불일치가 임의의 상기 방법들에 의해 미리 결정된 한계를 초과하지 않는 상이한 불일치를 가질 수 있고, 다중 응시된 영역들은, 다중 시선-추적된 시청자들이 동일한 스크린을 보고 스크린의 상이한 부분들에 참여하도록 하기 위해 계산된다. 예를 들어, 동일한 스크린의 다중 시청자들이 있는 경우, 다중 시청자들은 이미지의 동일한 영역 상에서 응시하는 것과 달리 일반적이다. 이것은 다중 시선 추적 디바이스들을 통해 해결될수 있는데, 예를 들어, 각각의 다중 시선 추적 디바이스는 캐나다, 온타리오, 미시소가, SR Research Ltd.로부터의 머리 장착된 아이 링크 II 눈 추적기를 착용한다. 눈 추적 정보를 이용하여, 각 시청자의 RBI는 스크린을 가로질러 카메라 파라미터들을 제어하는데 사용된 개별적인 가중치들을 결정하기 위해 계산되고 사용될 수 있다.
이러한 논의를 계속하면, 이 실시예는, 다중 시청자들이 시선 추적된 이미지를 보도록 할 수 있고, 관심 영역들을 일시적으로 변화시키는 것이 종종 2003, OUP, Findlay 및 Gilchrist, Active Vision에 일반적으로 개시된 바와 같이 시청자들 사이에서 충분히 유사하지만, 이것은 어떠한 시청자들도 참여하지 않을 수 있는 이미지 영역들에서 절감을 초래할 수 있다.
추가로, 또 다른 실시예에서, 응시된 영역은 바람직한 불일치를 가질 수 있고, 주변 영역은, 총 불일치가 임의의 상기 방법들에 의해 미리 결정된 한계를 초과하지 않은 상이한 불일치를 가질 수 있고, 불일치는 영역, 또는 영역들 중 하나의 영역의 부분을 구별하도록 일시적으로 변형된다. 일시적 불일치 변형을 이용하는 예에서, 시청자는 그 응시를 관심 영역에 재위치시키고, 일정 기간 이후에 응시 영역에서의 불일치는 현저한 깊이 변화를 도입하도록 변화된다. 다시, 이것은 각 눈의 수렴 및/또는 발산에서의 검출가능한 변경을 도입하여, 눈들의 평균 응시 지점이 계산되도록 한다.
이러한 논의를 계속하면, 이것은, 데스크탑 상의 아이콘들이 미세하지만 거친 응시 영역 내에서 차동 깊이가 주어지는 사용자 인터페이스들에 대한 실시예를 제공하는데 사용될 수 있다. 하나의 아이콘은 일시적으로 변형될 수 있다. 눈들의 수렴 및/또는 발산에서의 차동 변경들이 검출되면, 눈들이 가변 아이콘을 응시한다는 것이 추측될 수 있다.
수렴에서의 눈들의 차동 변경이 검출될 때, 아이콘은 선택을 위해 프라이밍(primed)될 수 있다. 일단 아이콘이 이러한 방식으로 프라이밍되면, 시청자는 버튼의 누름, 긴 응시, 블링킹(blinking), 이들의 임의의 조합 등에 의해 프라이밍된 아이콘을 작동시킬 수 있다.
추가 개선은, 시스템이 사용자에 동적으로 적응되도록 할 수 있고, 시스템이 눈 수렴 및/또는 발산에서의 어떠한 변경도 검출하지 않으면, 어떤 아이콘이 불일치에서 변하게 되는 지를 변하게 할 수 있고, 결국 눈 수렴에서의 일시적 변경을 검출할 때 특정 아이컨을 프라이밍할 수 있다.
본 명세서에서 불일치를 일시적으로 변경하는 이익은, 어떤 아이콘이 역시 참여되는 지에 관해 전체 시스템 신용을 증가시키기 위해 눈 수렴 및/또는 발산에서의 유도된 일시적 변경들을 이용하는 것이다.
추가로, 일시적 불일치 변형은 연속적이지 않을 수 있다. 불일치에서의 일시적 변동의 대안적인 이용은 양안 이미지의 영역들에 대한 참여를 이끌 수 있다. 이 경우에, 참여 영역 외부의 영역들은 예를 들어, 2006, OUP, Troscianko, Thompson, Snowden, Basic Vision에 일반적으로 논의된 바와 같이 루밍(looming) 효과로 인해, 이들에 참여하기 위해 시청자를 이끌도록 변할 수 있다.
이것의 직접적인 이점은, 현재 응시 영역 외부의 영역에서의 긴급 정보에 시청자의 주의를 이끌 필요가 있는 경고 시스템들에 있다. 이 경우에, 관심 영역 외부의 경고 아이콘의 불일치는 일시적으로 변하게 된다. 그러한 아이콘의 하나의 예는 저 배터리 경고 표시자일 수 있다. 응시의 시청자의 영역에 있는 것 갖지 않더라도, 배터리가 남아있는 미리 결정된 용량보다 낮을 때 아이콘에 시청자의 관심을 유입하는 것이 중요하다. 이것이 많은 유형들의 정보 표현 시스템들에서 이익을 가질 수 있는 많은 다른 아이콘들이 있다는 것이 당업자에게 명백할 수 있다.
또 다른 실시예는 바람직한 불일치를 가질 수 있는 응시된 영역을 포함할 수 있고, 주변 영역은, 총 불일치가 임의의 상기 방법들에 의해 미리 결정된 한계를 초과하지 않는 상이한 불일치를 가질 수 있고, 다음의 하나 이상의 이미지 화질 파라미터들이 또한 변하게 된다. 변하는 이미지 품질 파라미터들은 아래에 기술된다.
변할 수 있는 제 1 이미지 화질 파라미터는 픽셀당 비트에 관해 컬러 품질이거나, 다른 컬러 표현 방식이다. 이것은 개선되거나 감소된 컬러 표현들을 이용하여 특정 영역들의 강조의 이익과, 감소된 컬러 계산 시간 및/또는 GPU에서의 에너지 절감, 및/또는 감소된 컬러 표현들의 이들 영역들에서의 감소된 디스플레이 대역폭의 이익이 있을 수 있다.
변할 수 있는 다른 이미지 품질 파라미터는 픽셀당 비트에 관해 그레이 레벨 품질, 또는 다른 그레이 레벨 표현 방식이다. 이것은 개선되거나 감소된 그레이 레벨 표현들을 이용하여 특정 영역들의 강조의 이익과, 감소된 그레이 레벨 계산 시간 및/또는 감소된 그레이 레벨 표현들의 이들 영역들에서의 감소된 디스플레이 대역폭의 이익이 있을 수 있다.
변할 수 있는 다른 이미지 품질 파라미터는 예를 들어, 적은 디스플레이 밝기 범위를 이용함으로써, 또는 이미지의 특정 영역에서 밝기를 부스트(boost)할 수 있는 능력을 가지고 높은 동적 범위 디스플레이를 이용함으로써 총 광 전력에 관한 이미지 휘도이다. 이것은, 낮은 해상도의 이미지 컨텐트가 사용될 때 이미지의 낮은 밝기 영역들에서의 에일리어싱(aliasing)과 같은 고주파수 이미지 결함들(artifacts)의 낮은 밝기 및 낮은 가시도를 갖는 스크린의 영역들에서의 감소된 전력 사용량을 포함하지만, 여기에 한정되지 않은 이점들을 갖는다.
변할 수 있는 다른 이미지 품질 파라미터는 예를 들어, 디스플레이된 이미지의 감마 곡선을 변경함으로써 이미지 콘트라스트이다. 이것은 다른 성능 변경들의 가시도를 마스킹하는 이점을 갖는다. 예를 들어, 감소된 해상도는 저역 통과 필터로 마스킹될 수 있는 이미지에서의 차단도(blockiness)를 초래할 수 있다.
변할 수 있는 다른 이미지 품질 파라미터는 예를 들어, 고역, 저역 또는 대역 통과 필터를 이용하는 이미지 공간 주파수 컨텐트이다. 일례에서, 영역들은 계산을 감소시키고, 이미지의 몇몇 영역들에서 적절할 수 있는 공간 해상도를 감소시키도록 희미해질 수 있다. 이것은 낮은 공간 주파수를 갖는 스크린의 영역들에서의 계산 요구를 감소시키는 것에 기여할 수 있다.
변할 수 있는 다른 이미지 품질 파라미터는 스크린의 상이한 영역들에서 높거나 낮은 이미지 리프레쉬율(refresh rates)을 이용하는 이미지 일시 주파수이다. 이것은 낮은 일시 주파수를 갖는 스크린의 영역들에서 계산 및 디스플레이 대역폭 조건들을 감소시키는 것에 기여할 수 있다.
변할 수 있는 다른 이미지 품질 파라미터는, 컴퓨터 그래픽 모델의 품질이 물체들을 표현하는데 사용된 기하학적 모델의 품질을 변경함으로써 변하게 되는 장면 기하학적 컨텐트이다. 이것은 예를 들어, 기하학적 메쉬들(meshes)에서의 낮은 수의 삼각형들과 같이 감소된 품질의 기하학적 모델들을 갖는 스크린의 영역들에서 계산적 대역폭 조건들을 감소시키는 것에 기여할 수 있다.
변할 수 있는 다른 이미지 품질 파라미터는, 컴퓨터 그래픽 모델 텍스처 이미지들의 품질이 변하는 장면 텍스처 이미지 컨텐트이다. 이것은 예를 들어 낮은 해상도 이미지들과 같이 감소된 품질 텍스처 이미지들을 갖는 스크린의 영역들에서 계산적 대역폭 조건들을 감소시키는 것에 기여할 수 있다.
변할 수 있는 다른 이미지 품질 파라미터는 컴퓨터 그래픽 렌더링 파라미터들이어서, 거울형 강조, 반사, 굴절, 투명도를 포함하는 효과들은 이미지 영역들 사이에서 품질에서 변한다. 이것은 감소된 그래픽 효과들을 갖는 스크린의 영역들에서 계산적 대역폭 조건들을 감소시키는 것에 기여할 수 있다.
변할 수 있는 다른 이미지 품질 파라미터는 다른 영역에 비해 하나의 영역에서 허용된 최대 그레디언트(gradient)에 관한 불일치 그레디언트이다. 이것은, 불일치 그레디언트가 다른 경우 너무 높아서 편안하게 이미지들을 융합할 수 없거나, 너무 높아서 작업 성능에 악영향을 줄 수 있는 이미지 영역들에서 인식된 이미지 품질을 개선하는 것에 기여할 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 양안 응시는 눈들의 2개의 광 축들의 교차 지점 주위의 공간에서의 부피일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 양안 이미지는 2개의 눈들에 대해 개별적인 자극을 생성하는 광의 패턴일 수 있다. 이것은 각 동공 위에 상이한 방향으로 다중의 분해가능 뷰들을 포함할 수 있다. 예를 들어, 이산 뷰들 또는 연속 파면들을 이용하여 생성될 수 있어서, 입체, 자동-입체, 다중 관찰 또는 홀로그래픽 광학 디바이스들을 이용하여 기술적으로 생성된다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 양안의 융합된 이미지는 2개의 이미지들을 융합함으로써 형성된 세계의 지각있게 단일 뷰(외눈 뷰)일 수 있다. 이것은 장면에서 (인식된) 깊이의 감각을 제공할 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 캡처는 실세계 또는 합성 데이터로부터 양안 이미지를 생성하는 프로세스일 수 있다. 양안 이미지는 정지 또는 모션 카메라들과 같은 광학 기능들을 이용할 수 있거나, 컴퓨터 그래픽 또는 다른 이미지 합성 메커니즘들을 이용하여 렌더링될 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 깊이 버짓은 인식된 깊이의 범위일 수 있어서, 양안의 융합된 이미지에서 보이는 인식된 깊이의 전체 한계로서 선택된 양안 불일치의 범위를 암시한다. 깊이 버짓은 편안하거나 기술적인 이유들로 인해 선택될 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 깊이 매핑은 장면으로부터 깊이를 캡처하고 이를 양안 이미지에서의 인식된 깊이로서 재생하는 프로세스일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 깊이 측정 또는 깊이 측정 요소는 고정된 지점으로부터 표면의 거리, 깊이를 측정하기 위해 실제 또는 가상의 메커니즘일 수 있다. 실세계의 장면에서, 이것은 레이저 범위 파인더, 광학 범위 파인더 등일 수 있다. 합성 장면들에서, 이것은 깊이 맵, 또는 고정된 지점으로부터 거리를 측정하는 기하학적 계산일 수 있다. 대부분 또는 모든 경우들에서, 깊이 측정들은 카메라 위치에 상대적일 수 있고, 장면 공간으로부터 인식된 이미지 공간으로의 깊이 매핑을 계산하는데 사용될 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 시선 추적은 시선 방향을 결정하기 위해 눈의 이동을 뒤따르기 위한 방법들을 포함할 수 있다. 이들은, 눈과의 직접적인 접촉을 이용하거나 예를 들어 눈으로부터의 광의 반사를 뒤따르는 원격 측정 요소들인 디바이스들을 통해 구현될 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 포비에트 이미지들은 망막의 중심와 영역에서 인식되는 이미지일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 포비에트 영역은 망막의 중심와 영역에서 인식되는 이미지 또는 장면인 영역일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 이미지는 망막에 의해 검출될 수 있는 광의 패턴일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 불일치는, 2개의 눈을 결합하는 선에 의해 한정되도록 수평이 취해지고 불일치가 망막 상에서 측정되는 통상적으로 수평의 지점의 장소에서의 차이일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 단안 이미지는 임의의 방향으로부터 볼 때 실질적으로 동일한 이미지일 수 있다. 양쪽 눈에 표현된 경우, 양쪽 눈은 광의 실질적으로 동일한 패턴을 수신한다. 예를 들어, 표준 2D TV는 단안 자극을 표현하고, 각 픽셀은 모든 시청 방향으로 실질적으로 유사하거나 동일한 광을 방송한다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 디스플레이 공간에서의 양안 응시 영역은 RBFd일 수 있거나, 2개의 눈의 시선 지역들의 중첩 영역에 대응하는 디스플레이 공간에서의 부피일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 디스플레이 공간에서의 양안 응시 영역은 RBFs일 수 있거나, 2개의 눈의 시선 지역들의 중첩 영역에 대응하는 디스플레이 공간에서의 부피일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 디스플레이 공간에서의 양안 응시 영역은 RBI일 수 있거나, 양안 응시 영역을 포함하고 2개의 눈의 시선 지역들에 의해 한정된 장면을 포함하도록 연장되는 장면 공간의 부피일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 장면 깊이 범위는 통상적으로 융합된 양안 이미지에서의 인식된 깊이의 범위에 매핑될 수 있는 장면에서 측정된 깊이의 범위일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 입체 이미지는 각 눈에 개별적으로 표현되는 한 쌍의 이미지들을 포함하는 이미지일 수 있다. 각 시청자의 눈의 위치가, 광의 상이한 패턴이 2개의 망막들 상에서 수신될 때 입체 이미지를 시청할 때 중요하다는 것이 암시된다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 렌더링은 합성 장면으로부터 이미지를 생성하는 프로세스일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 합성 장면들은 컴퓨터 그래픽에서의 장면들, 물리적으로 실제 장면들을 표현할 수 있지만, 물리적으로 실제일 수 있는 가상 세계 또는 깊이-기반의 이미지일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 뷰는 단일 방향으로 보이는 고유한 이미지일 수 있다.
본 명세서에 논의된 바와 같이, 적어도 일 실시예에서, 장면은 캡처되고 양안 이미지로서 재생되는 실세계 또는 합성 장면일 수 있다.
본 명세서에 사용될 수 있듯이, "실질적으로" 및 "대략"이라는 용어는 대응하는 용어에 대한 산업적으로 수용된 허용오차 및/또는 항목들 사이의 상대성을 제공한다. 그러한 산업적으로 수용된 허용오차는 1% 미만으로부터 10%까지의 범위를 갖고, 구성요소 값들, 각도들 등에 대응하지만, 여기에 한정되지 않는다. 항목들 사이의 그러한 상대성은 1% 미만으로부터 10%까지의 범위를 갖는다.
본 개시의 실시예들이 다양한 광학 시스템들에 사용될 수 있다는 것이 주지되어야 한다. 실시예는 다양한 프로젝터들, 투사 시스템들, 광학 구성요소들, 컴퓨터 시스템들, 프로세서들, 자가-포함 프로젝터 시스템들, 시각적 및/또는 오디오 시각적 시스템들, 및 전기 및/또는 광학 디바이스들을 포함하거나 이들과 함께 작용할 수 있다. 본 개시의 양상들은 광학 및 전기 디바이스들, 광학 시스템들, 디스플레이 시스템들, 표현 시스템들 또는 임의의 유형의 광학 시스템들을 포함할 수 있는 임의의 장치에 관련된 실제적으로 임의의 장치와 함께 사용될 수 있다. 따라서, 본 개시의 실시예들은 시각적 및/또는 광학적 표현들, 시각적 주변 기기 등에 사용된 광학 시스템들, 디바이스들과, 인터넷, 인트라넷들, 근거리 네트워크들, 광역 네트워크들 등을 포함하는 다수의 컴퓨팅 환경들에서 이용될 수 있다.
구체적으로 개시된 실시예들에 관해, 실시예가 그 응용 또는 생성에 있어서 도시된 특정 배치들의 세부사항들에 한정되지 않는데, 이것이 실시예가 다른 배치들을 가능하게 할 수 있기 때문이라는 것이 이해되어야 한다. 더욱이, 실시예의 양상들은 상이한 조합들 및 배치들에 있어서 자체 권리에서 고유한 실시예들을 한정하도록 설명될 수 있다. 또한, 본 명세서에 사용된 용어는 한정을 위한 것이 아니라, 설명의 목적을 위한 것이다.
본 명세서에 개시된 원리들에 따른 다양한 실시예들이 위에 기재되었지만, 이들 실시예들이 한정되지 않고 단지 예로서 제공되었다는 것이 이해되어야 한다. 따라서, 본 개시의 범위 및 범주는 전술한 예시적인 임의의 실시예들에 의해 한정되지 않아야 하고, 본 개시로부터 유출된 임의의 청구항 및 그 등가물들에 따라서만 한정되어야 한다. 더욱이, 상기 장점들 및 특징들은 기재된 실시예들에 제공되지만, 임의의 또는 모든 상기 장점들을 달성하는 프로세스들 및 구조들에 그러한 유출된 청구항의 응용을 한정하지 않을 것이다.
추가로, 본 명세서의 섹션 표제들(headings)은 37 CFR 1.77 하에 제안들과 일치하기 위해 또는 그렇지 않으면 조직적 큐들(cues)을 제공하기 위해 제공된다. 이들 표제들은 본 개시로부터 유출될 수 있는 임의의 청구항에서 설명된 본 발명(들)을 제한하거나 특징으로 하지 않을 수 있다. 특히 예로서, 표제들이 "기술 분야"를 언급하지만, 청구항은 소위 분야를 설명하기 위해 표제 하에 선택된 언어에 의해 한정되지 않아야 한다. 더욱이, "배경"에서의 기술 설명이, 특정 기술이 본 개시에서 임의의 실시예(들)보다 종래 기술이라는 승인으로서 해석되지 않는다. "요약"은 유출된 청구항에 설명된 실시예(들)의 특징으로서 고려되지 않는다. 더욱이, 단독으로 "본 발명"에 대한 본 개시에서의 임의의 인용은 본 개시에서 신규성의 단일 지점이라는 것을 주장하는데 사용되지 않아야 한다. 다중 실시예들은 본 개시로부터 유출하는 다중 청구항의 제한에 따라 설명될 수 있고, 이에 따라 그러한 청구항은 이를 통해 보호되는 실시예(들), 및 그 등가물들을 한정한다. 모든 경우들에서, 그러한 청구항의 범주는 본 개시에 관해 자체 메리트 상에서 고려될 수 있지만, 본 명세서에 설명된 표제에 의해 제약되지 않아야 한다.

Claims (20)

  1. 양안 이미징 시스템으로서,
    좌측 눈 이미지 및 우측 눈 이미지를 지각있게 동시에 표현하기 위한 디스플레이로서, 상기 좌측 눈 이미지는 상기 디스플레이의 연관된 좌측 눈 시야를 갖고, 상기 우측 눈 이미지는 상기 디스플레이의 연관된 우측 눈 시야를 갖는, 디스플레이;
    상기 좌측 눈 및 상기 우측 눈의 적어도 하나 또는 양쪽 시선 방향들을 식별하는 시선 추적 요소; 및
    상기 좌측 및 우측 눈에 대한 양안 응시 영역을 계산하고, 상기 디스플레이된 좌측 및 우측 눈 이미지들을 변화시키는 이미지 제어기를
    포함하는, 양안 이미징 시스템.
  2. 제 1항에 있어서, 상기 디스플레이된 좌측 및 우측 눈 이미지들을 변화시키는 것은 상기 양안 응시 영역에서의 국부 이미지 깊이 컨텐트에 영향을 주는 것 및 상기 양안 응시 영역을 둘러싸는 것을 더 포함하는, 양안 이미징 시스템.
  3. 제 1항에 있어서, 상기 양안 응시 영역은, 장소(location)가 상기 좌측 및 우측 눈들 중 하나 또는 양쪽 모두의 상기 시선 방향에 따라 변하는 3차원 영역을 더 포함하는, 양안 이미징 시스템.
  4. 제 1항에 있어서, 상기 이미지 제어기는 현재 디스플레이된 양안 이미지와 후속하여 디스플레이된 양안 이미지 사이에서 상기 양안 응시 영역에서의 변경에 응답하여 상기 후속하여 디스플레이된 양안 이미지를 변화시키는, 양안 이미징 시스템.
  5. 양안 이미지 컨텐트를 변화시키는 방법으로서,
    현재 양안 이미지를 디스플레이하는 단계;
    장면에서의 양안 관심 영역(RBI)을 계산하기 위해 상기 현재 양안 이미지로부터의 입력, 시선 추적기로부터의 정보, 및 장면 깊이 측정 정보를 이용하는 단계;
    상기 양안 관심 영역이 변경되었는 지의 여부를 결정하는 단계;
    상기 양안 관심 영역이 변경되었을 때 깊이 버짓에 대한 매핑을 위해 상기 장면 깊이 범위를 계산하는 단계;
    상기 장면 깊이 범위를 이용하여 후속하여 디스플레이된 양안 이미지를 생성하기 위해 카메라 제어 알고리즘을 이용하는 단계; 및
    상기 현재 디스플레이된 이미지, 상기 후속하여 디스플레이된 양안 이미지를 제작하는 단계를
    포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  6. 제 5항에 있어서, 상기 시선 추적기 및 장면 깊이 측정부로부터 제 2 입력을 수신하는 단계와, 상기 양안 관심 영역이 실질적으로 변경되지 않았을 때 상기 장면에서의 상기 양안 관심 영역을 계산하기 위해 상기 현재 양안 이미지, 상기 시선 추적기 및 상기 장면 깊이 측정부로부터 상기 제 2 입력을 이용하는 단계를 더 포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  7. 제 5항에 있어서, 디스플레이된 양안 이미지를 시청하는 시청자로부터 시선 추적 정보를 이용함으로써 디스플레이 공간(RBFd)에서의 양안 응시 영역을 결정하는 단계를 더 포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  8. 제 7항에 있어서, 이미지 제어기가 제공된 디스플레이 공간(RBFd)에서의 양안 응시 영역을 이용함으로써 장면 공간(RBFs)에서의 양안 응시의 등가 영역을 계산하는 단계를 더 포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  9. 제 8항에 있어서, 상기 양안 관심 영역이 변경되었는 지의 여부를 결정하는 단계는 디스플레이 공간(RBFd)에서의 양안 응시 영역 및 장면 공간(RBFs)에서의 양안 응시의 등가 영역을 이용하는 단계를 더 포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  10. 제 5항에 있어서, 디스플레이 공간에서의 양안 응시 영역이 실질적으로 변경되지 않는 동안 장면 변경들에 기초하여 상기 양안 관심 영역을 변경하는 단계를 더 포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  11. 양안 이미지 컨텐트를 변화시키는 방법으로서,
    현재 양안 이미지를 디스플레이하는 단계;
    양안 응시의 후속 영역을 계산하기 위해 상기 현재 양안 이미지 및 시선 추적기로부터 입력을 이용하는 단계;
    양안 응시의 현재 영역과 양안 응시의 후속 영역 사이에서 양안 응시에서의 임의의 변경을 결정하는 단계;
    양안 응시의 현재 영역과 양안 응시의 후속 영역 사이에서 양안 응시에서의 변경이 있을 때 양안 응시의 후속 영역의 불일치 범위를 계산하는 단계;
    상기 불일치 범위가 실질적으로 0인지의 여부를 결정하는 단계;
    상기 불일치 범위가 실질적으로 0이 아닐 때 후속하여 디스플레이된 이미지를 생성하는 단계; 및
    상기 현재 디스플레이된 이미지, 상기 후속하여 디스플레이된 양안 이미지를 제작하는 단계를
    포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  12. 제 11항에 있어서, 상기 시선 추적기로부터 제 2 입력을 수신하는 단계와, 양안 응시의 후속 영역이 실질적으로 변경되지 않을 때 상기 양안 응시의 후속 영역을 계산하기 위해 상기 현재 양안 이미지 및 상기 시선 추적기로부터 상기 제 2 입력을 이용하는 단계를 더 포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  13. 제 11항에 있어서, 상기 시선 추적기로부터 제 3 입력을 수신하는 단계와, 상기 불일치 범위가 대략 0일 때 상기 양안 응시의 후속 영역을 계산하기 위해 상기 현재 양안 이미지 및 상기 시선 추적기로부터 상기 제 3 입력을 이용하는 단계를 더 포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  14. 제 11항에 있어서, 상기 응시된 영역 내에서 상기 불일치를 결정하는 상기 시선 추적기를 더 포함하고, 상기 시선 추적기는 좌측 눈 및 우측 눈 스크린 응시 지점들 사이의 차이로부터 응시 평면을 결정하는, 양안 이미지 컨텐트를 변화시키는 방법.
  15. 제 11항에 있어서, 상기 불일치 범위가 실질적으로 0인지의 여부를 결정하는 단계는 상기 후속 물체의 이미지 불일치를 0과 비교하는 단계를 더 포함하고, 상기 후속 물체는 상기 양안 응시 영역에서의 시청자에 가장 가까운 물체가 있는 곳에서 이미징되는, 양안 이미지 컨텐트를 변화시키는 방법.
  16. 제 11항에 있어서, 상기 현재 디스플레이된 양안 이미지와 상기 후속하여 디스플레이된 양안 이미지 사이에서 상기 양안 응시 영역에서의 변경에 응답하여 후속하여 디스플레이된 이미지를 변화시키는 단계를 더 포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  17. 제 11항에 있어서, 현재 디스플레이된 양안 이미지를 형성하는 단계를 더 포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  18. 제 11항에 있어서, 현재 디스플레이된 양안 이미지를 형성하는 단계는 양안 응시 영역을 형성하기 위해 응시의 3D 영역을 추정하는 단계와, 상기 응시의 3D 영역을 이미지 평면으로 투사하는 단계를 더 포함하는, 양안 이미지 컨텐트를 변화시키는 방법.
  19. 제 18항에 있어서, 상기 현재 디스플레이된 양안 이미지는 좌측 이미지 및 우측 이미지로서 형성되는, 양안 이미지 컨텐트를 변화시키는 방법.
  20. 제 19항에 있어서, 상기 현재 디스플레이된 양안 이미지는 더 큰 소스 이미지로부터 선택되는, 양안 이미지 컨텐트를 변화시키는 방법.
KR1020157025997A 2013-02-19 2014-02-19 양안 응시 이미징 방법 및 장치 KR20150121127A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361766599P 2013-02-19 2013-02-19
US61/766,599 2013-02-19
PCT/US2014/017214 WO2014130584A1 (en) 2013-02-19 2014-02-19 Binocular fixation imaging method and apparatus

Publications (1)

Publication Number Publication Date
KR20150121127A true KR20150121127A (ko) 2015-10-28

Family

ID=51391774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157025997A KR20150121127A (ko) 2013-02-19 2014-02-19 양안 응시 이미징 방법 및 장치

Country Status (5)

Country Link
US (2) US10129538B2 (ko)
EP (1) EP2959685A4 (ko)
KR (1) KR20150121127A (ko)
CN (1) CN105432078B (ko)
WO (1) WO2014130584A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023221B (zh) * 2014-06-23 2016-04-13 深圳超多维光电子有限公司 立体图像视差调节方法和装置
TWI589150B (zh) * 2016-03-04 2017-06-21 液態三維系統有限公司 ３ｄ自動對焦顯示方法及其系統
US10212414B2 (en) 2016-08-01 2019-02-19 Microsoft Technology Licensing, Llc Dynamic realignment of stereoscopic digital consent
CN106406063A (zh) * 2016-10-28 2017-02-15 京东方科技集团股份有限公司 全息显示系统和全息显示方法
US10582184B2 (en) * 2016-12-04 2020-03-03 Juyang Weng Instantaneous 180-degree 3D recording and playback systems
GB2565302B (en) 2017-08-08 2022-04-13 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
JP6897467B2 (ja) * 2017-10-02 2021-06-30 富士通株式会社 視線検出装置、視線検出プログラム、及び視線検出方法
CN109558012B (zh) * 2018-12-26 2022-05-13 北京七鑫易维信息技术有限公司 一种眼球追踪方法及装置
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN109901290B (zh) * 2019-04-24 2021-05-14 京东方科技集团股份有限公司 注视区域的确定方法、装置及可穿戴设备
CN115937291B (zh) * 2022-09-14 2023-12-15 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质
CN117472316B (zh) * 2023-12-13 2024-05-14 荣耀终端有限公司 一种显示控制方法、电子设备、存储介质和芯片系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4634384A (en) 1984-02-02 1987-01-06 General Electric Company Head and/or eye tracked optically blended display system
EP0641132B1 (en) * 1993-08-26 1999-04-14 Matsushita Electric Industrial Co., Ltd. Stereoscopic image pickup apparatus
JP3478606B2 (ja) * 1994-10-12 2003-12-15 キヤノン株式会社 立体画像表示方法および装置
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
EP0817123B1 (en) 1996-06-27 2001-09-12 Kabushiki Kaisha Toshiba Stereoscopic display system and method
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
GB0329312D0 (en) * 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
US20060210111A1 (en) * 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
KR100793077B1 (ko) * 2005-12-08 2008-01-10 한국전자통신연구원 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원디스플레이 시스템 및 그 방법
KR100908677B1 (ko) * 2007-08-24 2009-07-22 주식회사 나노박스 디스플레이 픽셀 변경을 이용한 입체 영상 표시 장치 및 그입체 영상 표시 방법
US7675513B2 (en) * 2008-03-14 2010-03-09 Evans & Sutherland Computer Corp. System and method for displaying stereo images
AT10236U3 (de) 2008-07-10 2009-09-15 Avl List Gmbh Messanordnung und verfahren zur erfassung von messdaten
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
US8300089B2 (en) 2008-08-14 2012-10-30 Reald Inc. Stereoscopic depth mapping
KR101296900B1 (ko) * 2009-01-07 2013-08-14 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
CN102369476B (zh) * 2009-02-05 2014-04-30 Hoya株式会社 眼镜镜片的评价方法、眼镜镜片的设计方法、眼镜镜片的制造方法、眼镜镜片的制造系统及眼镜镜片
EP2325618A1 (en) * 2009-11-18 2011-05-25 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for determining binocular performance of a pair of spectacle lenses
US20110228051A1 (en) 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
KR101046259B1 (ko) * 2010-10-04 2011-07-04 최규호 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치
KR101727899B1 (ko) * 2010-11-26 2017-04-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2012156518A2 (en) * 2011-05-17 2012-11-22 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Methods and device for processing digital stereo image content
US9800864B2 (en) * 2011-07-29 2017-10-24 Sony Mobile Communications Inc. Gaze controlled focusing of stereoscopic content
CN102842301B (zh) 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法

Also Published As

Publication number Publication date
EP2959685A1 (en) 2015-12-30
WO2014130584A1 (en) 2014-08-28
US20160007016A1 (en) 2016-01-07
CN105432078A (zh) 2016-03-23
US10129538B2 (en) 2018-11-13
EP2959685A4 (en) 2016-08-24
CN105432078B (zh) 2017-09-22
US20190166360A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
US20190166360A1 (en) Binocular fixation imaging method and apparatus
US6175379B1 (en) Stereoscopic CG image generating apparatus and stereoscopic TV apparatus
JP4533895B2 (ja) 画像レンダリングのための動き制御
US9106906B2 (en) Image generation system, image generation method, and information storage medium
US9754379B2 (en) Method and system for determining parameters of an off-axis virtual camera
WO2010084716A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US8094148B2 (en) Texture processing apparatus, method and program
Blum et al. The effect of out-of-focus blur on visual discomfort when using stereo displays
KR102066058B1 (ko) 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치
JP2014507873A (ja) 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄａｎｄｄｅｖｉｃｅｆｏｒｓｔｅｒｅｏｂａｓｅｅｘｔｅｎｓｉｏｎｏｆｓｔｅｒｅｏｓｃｏｐｉｃｉｍａｇｅｓａｎｄｉｍａｇｅｓｅｑｕｅｎｃｅｓ｝
KR101105359B1 (ko) 깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치
US20120127155A1 (en) 3d comfort and fusion limit empirical model
JP5304758B2 (ja) 多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システム
WO2021106379A1 (ja) 画像処理装置及び画像処理方法、並びに画像表示システム
US8773429B2 (en) Method and system of virtual touch in a steroscopic 3D space
US20130342536A1 (en) Image processing apparatus, method of controlling the same and computer-readable medium
Galabov A real time 2D to 3D image conversion techniques
WO2017085803A1 (ja) 映像表示装置及び映像表示方法
KR20110112705A (ko) 시점 조정 3차원 영상 제공 장치 및 방법
CN108471939A (zh) 一种潘弄区测量方法、装置以及可穿戴显示设备
TWI628619B (zh) 立體影像產生方法及其裝置
Chen et al. A View-Dependent Stereoscopic System Using Depth-Image-Based Tracking
Shen et al. 3-D perception enhancement in autostereoscopic TV by depth cue for 3-D model interaction
US8952958B1 (en) Stereoscopic computer-animation techniques based on perceptual constraints
Dąbała et al. Simulated holography based on stereoscopy and face tracking

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application