KR102066058B1 - 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치 - Google Patents

입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102066058B1
KR102066058B1 KR1020147028930A KR20147028930A KR102066058B1 KR 102066058 B1 KR102066058 B1 KR 102066058B1 KR 1020147028930 A KR1020147028930 A KR 1020147028930A KR 20147028930 A KR20147028930 A KR 20147028930A KR 102066058 B1 KR102066058 B1 KR 102066058B1
Authority
KR
South Korea
Prior art keywords
parallax
content
screen
observer
rendered
Prior art date
Application number
KR1020147028930A
Other languages
English (en)
Other versions
KR20150005546A (ko
Inventor
씨릴 비엔느
로렁 블롱드
디디에 두와양
Original Assignee
인터디지탈 매디슨 페이튼트 홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지탈 매디슨 페이튼트 홀딩스 filed Critical 인터디지탈 매디슨 페이튼트 홀딩스
Publication of KR20150005546A publication Critical patent/KR20150005546A/ko
Application granted granted Critical
Publication of KR102066058B1 publication Critical patent/KR102066058B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction

Abstract

본 발명은 스크린상에서 관찰자에 의해 관찰되는 3D 콘텐츠에서 왜곡 에러를 교정하기 위한 방법 및 장치와 관련된다. 이 방법은 핀홀 모델 투영 실린더의 렌더링된 원형도 팩터(rrf)를 결정하는 단계, 스크린까지의 관찰자의 정의된 거리 및 이미지의 객체들의 시차 값들(disparity values)에 따라 렌더링된 원형도 팩터 테이블을 추정하는 단계, 관찰자에 대해 시차 변환 함수(TD)를 추정된 렌더링된 원형도 팩터 테이블의 함수로서 결정하는 단계 및 인식된 원형도 팩터로서 1이 제공되도록 시차 변환을 이용하여 객체 시차 값들을 변경하는 단계를 포함한다.

Description

입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치{METHOD AND DEVICE FOR CORRECTING DISTORTION ERRORS DUE TO ACCOMMODATION EFFECT IN STEREOSCOPIC DISPLAY}
본 발명은 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치에 관한 것이다. 이것은 3D 렌더링의 도메인에서 발생한다. 본 발명에서, 표시 또는 처리되는 비디오 콘텐츠는 입체 또는 멀티뷰 3D 콘텐츠이다.
단일 이미지가 각각의 눈에 보일 경우에 입체 3D의 비디오 콘텐츠가 보일 수 있다. 양 이미지의 차이는 시점의 근소한 차이인 "시차(disparity)"라고 한다.
입체 비디오 콘텐츠가 표시되는 방식이 주어지면, 관중들은 조절(accommodation) 및 수렴(convergence)이라고 하는 양쪽 생리학적 시스템들(physiological systems)을 분리시켜야 한다. 사실상, 스크린상 시차들은 수렴 시스템을 자극하는 한편, 관찰자의 눈 조절은 시력을 선명하게 유지하기 위해 스크린 평면 주위의 필드의 깊이를 보존하도록 상태를 유지해야 한다.
입체 3D에서 객체를 보기 위해, 관중들은 시차들을 스케일링할 관찰 거리를 결정해야 한다. 따라서, 입체 콘텐츠의 관찰자들은 시뮬레이션된 깊이를 인식하기 위해 시각적 시퀀스로부터 적어도 2 피스의 정보, 즉 시차 신호와 관련된 수렴 및 스크린상의 공간 주파수들과 관련된 조절을 고려할 수 있다. 그러나, 조절의 신호가 양안 시차의 스케일링 거리의 정교화에서 우세한 경향이 있다. 이것은 인식되는 깊이가 제안되는 깊이와 다르게 한다.
이것은 교차 시차들에 대한 깊이(스크린 앞에서의 깊이)의 과대 추정 및 비교차 시차들(스크린 뒤에서의 깊이)에 대한 과소 추정에 대응한다. 이러한 현상은 Watt 등에 의한 문헌인 Focus cues affect perceived depth. Journal of Vision, 5(10):7, 834-862 (2005)에서 더 설명된다.
조절과 관련된 이러한 현상은 3D 경험의 품질에 직접 영향을 주는데, 그 이유는 3D 공간이 왜곡된 것으로 인식되기 때문이다. 이러한 효과는 원형 객체에 대해 객체 폭(Dx)을 객체 깊이(Dz)로 나눈 값에 대응하는 "원형도 팩터(roundness factor)"에 대응하는 것으로도 설명되었다. 도 3에서, 예를 들어, 음의 교차 사차를 갖는 것으로 표현된 요소의 "원형도 팩터"는 2이다. 이것은 객체 비율이 왜곡에 의해 얼마나 많이 영향을 받는지를 나타낸다. 완전한 원형도 팩터로서 1은 왜곡이 인식되지 않는다는 것을 지시한다.
도 4의 그래프는 주어진 관찰자에 대해 입체 실린더들의 그들의 폭(Dx)에 대한 깊이(Dz)의 추정 및 스크린 평면으로부터의 관찰자의 시뮬레이션된 거리(Dvirtual)를 표시한다. X축은 관찰자까지의 실린더의 입체 (시뮬레이션된) 거리를 나타내고, 좌측 Y축은 실린더 깊이의 관찰자 추정을 나타내고, 우측 Y축은 추정 객체 깊이/실제 객체 폭의 비율을 나타낸다. 그래프는 또한 2개의 선형 회귀를 나타내는데, 첫 번째 라인 (1)는 실린더 깊이의 추정을 나타내는 점들에 대한 회귀 라인이고, 두 번째 라인 (2)는 실제 폭에 대한 실린더의 추정 깊이의 비율을 나타내는 십자들에 대한 회귀 라인이다. 이러한 회귀 라인들은, 관찰자의 시각 체계에 의해 조작되는 변환을 제공하는 한, 입체 콘텐츠를 조정하는 데 사용될 수 있다. 실린더의 폭은 항상 70 픽셀과 동일하다. 각각의 실린더를 인식하는 데 필요한 시차의 크기는 시뮬레이션되는 거리에 따라 증가한다. 따라서, 실린더의 깊이는 실린더가 (스크린 앞에서) 관찰자에게 접근할 때 점점 더 과대 추정되고, 객체가 (스크린 뒤로) 멀어질 때 과소 추정된다. 따라서, 실린더의 왜곡이 발생한다.
이러한 왜곡의 교정은 현재 해결되지 않고 있다. 정확한 입체 인식을 제공하기 위한 제안이 존재하지 않는다.
발명의 요약
본 발명은 이러한 문제의 해결을 제안한다. 본 발명은 스크린상에서 관찰자에 의해 관찰되는 3D 콘텐츠에서 왜곡 에러를 교정하기 위한 방법과 관련된다.
이 방법은 핀홀 모델 투영 실린더의 렌더링된 원형도 팩터를 결정하는 단계, 스크린까지의 관찰자의 정의된 거리 및 이미지의 객체들의 시차 값들에 따라 렌더링된 원형도 팩터 테이블을 추정하는 단계, 관찰자에 대해 시차 변환 함수를 추정된 렌더링된 원형도 팩터 테이블의 함수로서 결정하는 단계 및 인식된 원형도 팩터로서 1이 제공되도록 시차 변환을 이용하여 객체 시차 값들을 변경하는 단계를 포함한다.
이러한 해법은 3D 콘텐츠의 충실도 복원을 가능하게 한다.
본 발명의 일 실시예에 따르면, 객체의 원형도 팩터는 원형 객체에 대해 객체 폭을 객체 깊이로 나눈 값에 대응한다.
본 발명의 일 실시예에 따르면, 시차 값들은 3D 콘텐츠와 관련된 시차 맵으로부터 추출된다.
본 발명의 일 실시예에 따르면, 시차 값들은 3D 콘텐츠와 관련된 관찰자의 파라미터들로부터 계산된다.
본 발명의 일 실시예에 따르면, 3D 콘텐츠의 객체의 시차 및 스크린까지의 거리는 객체의 각각의 픽셀의 시차의 평균 및 스크린까지의 거리의 평균으로서 정의된다.
본 발명의 일 실시예에 따르면, 객체 시차 값들은 인식되는 원형도 팩터가 관찰자에 대해 유니티(unity)(prf = 1.0)와 동일하도록 최초 값들(original values)에 따라 변경된다.
본 발명의 일 실시예에 따르면, 시차 값들을 변경하기 위한 파라미터들은 3D 생성 소프트웨어에서 직접 구현된다.
본 발명은 스크린상에서 관찰자에 의해 관찰되는 3D 콘텐츠에서 왜곡 에러를 교정하기 위한 장치도 제안한다. 이 장치는 핀홀 모델 투영 실린더의 렌더링된 원형도 팩터를 결정하기 위한 수단, 스크린까지의 관찰자의 정의된 거리 및 이미지의 객체들의 시차 값들에 따라 렌더링된 원형도 팩터 테이블을 추정하기 위한 수단, 관찰자에 대해 시차 변환 함수를 추정된 렌더링된 원형도 팩터 테이블의 함수로서 결정하기 위한 수단 및 인식된 원형도 팩터로서 1이 제공되도록 시차 변환을 이용하여 객체 시차 값들을 변경하기 위한 수단을 포함한다.
본 발명의 일 실시예에 따르면, 렌더링된 원형도 팩터를 결정하기 위한 수단은 원형 객체에 대해 실린더 폭을 실린더 깊이로 나눈 값에 대응한다.
본 발명의 일 실시예에 따르면, 시차 값들은 추출 수단에 의해 3D 콘텐츠와 관련된 시차 맵으로부터 추출된다.
본 발명의 일 실시예에 따르면, 시차 값들은 계산 수단에 의해 3D 콘텐츠와 관련된 관찰자의 파라미터들로부터 계산된다.
본 발명의 일 실시예에 따르면, 3D 콘텐츠의 객체의 시차 및 스크린까지의 거리는 객체의 각각의 픽셀의 시차의 평균 및 스크린까지의 거리의 평균으로서 정의된다.
본 발명의 일 실시예에 따르면, 객체 시차 값들을 변경하기 위한 수단은 인식되는 원형도 팩터가 관찰자에 대해 유니티와 동일하도록 최초 값들에 따라 객체 시차 값들을 변경한다.
본 발명의 일 실시예에 따르면, 객체 시차 값들을 변경하기 위한 수단은 실세계를 캡처하기 위한 수단에서 또는 3D 생성 소프트웨어의 3D 드로잉을 캡처하기 위한 수단에서 직접 구현된다.
첨부 도면들과 연계하여 이루어지는 본 발명의 실시예들에 대한 아래의 설명을 참조하여, 본 발명의 상기 및 다른 특징들 및 장점들, 및 그들을 달성하는 방식이 더 명확해질 것이며, 본 발명이 더 잘 이해될 것이다. 도면들에서:
도 1은 각각의 눈에 대한 원근 투영 예측의 도면이다.
도 2는 핀홀 카메라 모델로부터 계산된 시차의 표현을 나타낸다.
도 3은 관찰자에 대한 스크린 너머의 실린더의 기하학적 표현을 나타낸다.
도 4는 왜곡되지 않은 객체를 인식하는 데 필요한 관찰자까지의 실린더의 거리에 대한 객체 시차(좌측 Y축) 또는 원형도 팩터(우측 Y축)를 나타내는 그래프를 도시한다.
도 5는 본 발명의 바람직한 실시예에 따른 방법의 개략적 표현이다.
본 명세서에서 설명되는 예들은 본 발명의 바람직한 실시예들을 설명하며, 그러한 예들은 어떠한 방식으로도 본 발명의 범위를 한정하는 것으로 해석되지 않아야 한다.
시차의 각각의 변화가 깊이의 일정한 변화를 유발하도록 3D 콘텐츠의 시차들을 그들의 크기 및 그들의 부호의 함수로서 변경하기 위한 방법이 설명된다. 시차의 부호는 스크린 뒤에 표현되는 객체에 대해 양이고, 스크린 앞에 표현되는 객체에 대해 음이다. 이 방법은 핀홀 카메라 모델로부터의 입체 왜곡들의 교정을 가능하게 하며, 따라서 양호한 깊이 위치에 3D 객체를 국지화하기 위한 정확한 입체 인식이 제공된다. 이러한 왜곡들은 신장되거나(elongated) 평평한(flattened) 3D 형상들의 인식에 대응한다. 핀홀 카메라 모델은 합성 및 자연 콘텐츠 양자에 대해 GCI 카메라 모델로서 또는 실제 카메라들에 대한 표현 모델로서 널리 사용되는 일반적인 3D 콘텐츠 생성 모델이다. 이것은 많은 부류의 3D 이미지 처리에 대한 근거로도 사용된다.
도 1에 표현된 바와 같이, 각각의 눈에 대한 원근 투영 예측들은 다음과 같다.
Figure 112014098272142-pct00001
이 모델에서, 거리 D에 표시될 포인트에 대한 뷰와 관찰자의 거리 d에서의 표시를 위한 뷰 사이의 시차 Δx는 아래와 같이 예측된다.
Figure 112014098272142-pct00002
여기서, e는 관찰자의 눈 사이 또는 동공 사이의 거리이다(도 2 참조).
오늘날, 이러한 기본적인 핀홀 카메라 모델(스테노페(stenope) 카메라)은 3D CGI(computed generated imagery)에서 또는 3D 이미지들 또는 비디오 처리를 위해 카메라들을 설계하는 데에 널리 사용된다. 이것은 사람의 시각에 비해 스케일/깊이 왜곡 또는 부정확한 3D 원근 및 모션 왜곡을 갖는 3D 이미지들 및 비디오를 생성한다.
자연 관찰에 비해, 핀홀 카메라 모델은 이미지들을 시각화하기 더 어렵게 생성하지만, 그들은 사람의 시각 체계에 의해 3D 이미지들로서 받아들여진다. 자연 공간과의 조화는 단지 부분적이며, 주목 포인트 주위의 작은 시각들에 대해서만 유효하다.
새로운 제안되는 해법은 핀홀 모델이 이러한 왜곡을 고려하지 않으므로 공간에서 정확한 3D 렌더링을 제공하기 위해 3D 콘텐츠를 변경하는 것을 포함한다. 핀홀 모델은 눈의 광학 및 생리학과 무관하게 3D 공간의 기하학적 구조만을 고려하는 중앙 투영 모델이다.
도 3은 관찰자에 대한 스크린 너머의 실린더의 기하학적 표현을 나타낸다. 교차 시차들의 경우, 시차들이 과대 추정되므로, 실린더는 신장되는 것으로 인식된다. 이것은 렌더링되는 객체(점선 청색 원)가 설명되는 왜곡을 고려하지 않을 때 발생하는 것이다.
스크린 평면에 대한 관찰자의 거리(Dscreen)가 알려질 때를 고려하면, 관찰자가 주어진 시차로 반경 r의 주어진 입체 실린더의 원형도를 인식하는 방식을 검색하고 저장하는 것이 가능하다.
따라서, 원형도 팩터 테이블 또는 함수가 스크린에 대한 관찰자 거리(Dscreen) 및 관찰자에 대해 제시된 시차들에 따라 추정된다. 이 테이블 또는 함수는 스크린에 대한 주어진 객체 거리에 대해 원형도 팩터로서 1을 제공하는 시차들을 획득하기 위해 반전될 수 있다.
따라서, 본 발명에 의해 제안되는 해법은 1과 동일한 원형도 팩터에 대응하는 깊이의 진실하고 정확한 인식을 제공하기 위해 3D 콘텐츠의 시차들을 재계산하는 것이다.
결과적으로, 캡처된 물리 객체들 또는 CGI 렌더링된 객체들은 입체적으로 표시될 때 정확한 깊이로서 그리고 정확한 형상으로 인식될 것이다.
이러한 해법에 대한 상이한 대안들은 본 발명의 일부이다.
초기 투영 모델(예로서, 핀홀 투영 모델)을 이용하여 생성되는 객체가 스크린상의 시차 및 위치를 이용하여 입체 디스플레이 상에서 관찰자에게 제시된다. 이러한 스크린상의 시차 및 위치는 주어진 관찰자의 시각적 공간 내의 이 객체의 각각의 부분의 시차 및 스크린까지의 거리의 평균으로서 정의된다.
예를 들어, 국지적 볼륨이 객체, 예로서 실린더에 주어지고, 시차 내의 포인트들은 각각의 관찰자의 눈 위치에 대해 그리고 스크린에 대한 평균 거리에 따라 계산된다. 상대 시차들에 의해 정의되는, 이러한 객체의 렌더링된 원형도는 상이한 렌더링된 원형도 팩터들을 갖는 객체의 상이한 예들을 관찰자에게 제시하기 위해 변수이다. 렌더링된 원형도 팩터는
rrf = Dz/Dx
이며,
여기서 Dz는 깊이 치수이고, Dx는 초기 투영 모델을 이용하여 투영된 3D 원형 객체(예로서, 평평하거나 신장된 실린더)의 폭 치수이다. 렌더링된 원형도 팩터(rrf)는 렌더링된 의사 실린더의 의도된 평평도 또는 신장도를 특성화한다.
관찰자의 스크린에 대한 평균 거리(Dscreen)가 변할 때 그리고 렌더링된 원형도 팩터(rrf)의 함수로서, 각각의 관찰자에 대해 인식된 원형도 팩터(prf)가 추정된다. 결과들은 테이블(t)에 비축되며, 따라서
prf = t(Dscreen, rrf)
이고, 이는 함수 f: prf = f(Dscreen, rrf)에 대해 보간될 수 있다.
하나의 해법은 인식된 원형도 팩터를 1(prf = 1.0)로 보존하는 구성들의 거리 및 렌더링된 원형도 팩터 (dist, rrf) 파라미터들을 발견하기 위해 보간된 함수 f(Dscreen, rrf) = 1.0을 해결하는 것을 포함한다.
다른 해법은 먼저 관찰자에 대한 유니티와 동일한 인식된 원형도 팩터(prf = 1.0)를 생성하는 스크린에 대한 각각의 거리(Dscreen)에 대한 렌더링된 원형도 팩터를 주는 함수
rrf( prf =1) = g(dist)
를 도출하고, 이어서 초기 투영 모델을 이용하여 최초 생성된 이미지 또는 비디오 내의 시차들을 함수 rrf( prf =1) = g(dist)를 이용하여 변경하는 것이다.
입체 콘텐츠의 입수는 제1 예로서 실세계의 시각적 캡처를 통해 또는 제2 예로서 3D 드로잉의 캡처로부터 획득될 수 있다.
제1 예에서, 입체 콘텐츠가 실세계의 시각적 캡처를 통해 획득될 때, 관찰자에 대해 인식된 원형도 팩터가 유니티와 동일하도록(prf = 1.0), 알고리즘이 최초 값들에 따라 시차의 크기들을 변경한다.
제2 예에서, 입체 콘텐츠가 3D 드로잉의 캡처로부터 획득될 때, 시차 진폭들을 변경하기 위한 파라미터들은 CGI(computed generated imagery)와 같은 3D 생성 소프트웨어에서 직접 구현된다.
일부 상세들은 도 4에 도시된 선형 회귀의 기울기와 같은 개인 간의 변이성과 관련된다. 이것은 아마도 관중들에 따라 변할 수 있다. 따라서, 콘텐츠는 그들의 특성들에 따라 조정되어야 한다.
관찰자 특성들의 정시 추정 대신에, 조절과 이접 운동(vergence) 사이의 가중 모델이 교정 팩터의 결정자로서 사용될 수 있다. 이것은 단지 각각의 단서에 하나의 가중치를 할당한다. 대응하는 가중치는 문헌 및 관찰자들의 추정들로부터의 평균 데이터로부터 도출될 수 있다.
일례로서, 고전 모델에 따르면, 실린더의 중심의 시차는 다음과 같다.
disparityc = IOD - IOD . Dscreen/Dvirtual,
IOD는 눈 사이의 거리이고, Dscreen은 관찰자로부터 스크린까지의 거리이고, Dvirtual은 스크린까지의 관찰 거리(Dscreen)에 대해 표시하기를 원하는 시뮬레이션된 거리이다.
도 3에 따르면, 관찰자에 대해 Dvirtual = 1.1m에 위치하는 객체는 Dscreen = 1.3m의 스크린 거리에 대한 그의 기준 포인트에 대해 disp = 12 mm의 스크린상 시차를 가질 것이다. 중심은 아래의 거리에 대응하는 고정의 포인트 f와 매칭된다.
Dfixation = IOD.Dscreen/(IOD-disp)
객체의 중심 주위의 실린더에 속하는 더 가까운 포인트는 아래의 시차를 가질 것이다.
disp= IOD - IOD . Dscreen/(Dfixation - 2r)
r은 실린더의 반경이다.
원형도 팩터의 값은 거리 Dfixation에서의 인식 핀홀 모델 투영 실린더에 대해 rrf = Dz/Dx이다.
이러한 본 교정에 따르면, 관찰자 데이터에 기초하여, "완벽한 실린더"의 인식을 생성하도록 표시되어야 하는 교정된 시차는 다음과 같다.
dispcorrected= IOD -IOD . Dscreen/(Dfixation - 2r/rrf)
핀홀 투영 모델을 이용하여 z에서 평평하게 나타나는 객체(예로서, rrf = 0.5)는 적절한/의도된 깊이를 갖도록 인식될 교정된 투영 이미지 쌍에서 z에서 확장되어 제시되어야 한다(예로서, r은 r/0.5 = 2.r이 된다).
이러한 교정은 시각적 시퀀스 상에서 각각의 관찰 포인트에 대해 실현될 수 있다.
국지적 깊이 Δz의 객체들을 고려할 때(Δz는 위의 실린더들에 대해 2r과 동일함), 진정한 시차 변환은 객체의 국지적 깊이 Δz 및 핀홀 모델을 이용하여 인식된 원형도 팩터(rrf)에 의존한다. 이것은 도 4의 TD 변환에 따라 아래의 형태를 갖는다.
disptrue= dispcorrected + IOD.Dscreen (1/(Dfixation - Δz) - 1/(Dfixation - 2r/rrf))
구현의 하나의 모드는 도 5에 도시된 바와 같은 콘텐츠 적응을 포함한다.
이것은 다음을 포함한다.
- 제1 단계는 콘텐츠의 시간적 분할 및 시차 맵의 추정을 포함한다. 시간적 분할은 시차 맵이 추출될 고유 이미지를 분리하는 것을 허가한다.
- 이어서, 제2 단계는 객체 분석 단계를 포함한다. 콘텐츠 분석 및 객체 분할은 콘텐츠 내의 객체들의 기준 포인트를 결정하는 것을 허가한다. 이러한 결정을 위해, 심리학적 주의 모델들(psychological attention models)에 기초하는 돌출 맵(saliency map)이 사용될 수 있다. 관찰자의 주의를 끄는 중요한 돌출부에 대응하는 특정 주시 포인트도 이미지 내에서 결정된다.
- 제3 단계는 시퀀스 내의 각각의 프레임에 대한 객체 시차 Dobject의 추정을 포함한다. 두 눈의 주시 추적을 이용하여, 눈들의 이접 운동을 이용하여 실세계 삼차원(3D) 공간 내의 주체의 주시 포인트들(points-of-gaze; POG)을 추정할 수 있다.
- 다음 단계는 눈 사이의 거리 및 스크린에 대한 거리와 같은 관찰자 특성을 고려하는 시차 변환 TD의 설정을 포함한다.
- 다음 단계에서, 콘텐츠의 시차 값들의 변경이 변환 TD를 통해 행해진다.
가능한 응용들은 영화, TV, 게임, 의료 이미징과 같은 모든 입체 콘텐츠와 관련되며, 사용자 특성들의 함수로서 교정될 수 있다. 이러한 해법은 입체 이미징에서 높은 정밀도를 필요로 하는 응용들에도 유용할 것이다.

Claims (12)

  1. 스크린상에서 관찰자에 의해 관찰되는 3D 콘텐츠에서 왜곡 에러를 교정하기 위한 방법으로서,
    상기 스크린까지의 상기 관찰자의 정의된 거리 및 시차(disparity)에 따라 상기 3D 콘텐츠의 상기 관찰자에 대한 렌더링된 원형도 팩터(rendered roundness factor; rrf)를 결정하는 단계; 및
    인식된 원형도 팩터로서 1을 획득하기 위해 상기 3D 콘텐츠의 객체들의 시차 값들이 교정되도록 상기 관찰자에 대해 시차 변환 함수(TD)를 상기 결정된 렌더링된 원형도 팩터의 함수로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 방법.
  2. 제1항에 있어서,
    상기 렌더링된 원형도 팩터는 원형 객체에 대해 객체 폭을 객체 깊이로 나눈 값에 대응하는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 방법.
  3. 제1항에 있어서,
    상기 시차 값들은 상기 3D 콘텐츠와 관련된 시차 맵으로부터 추출되는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 방법.
  4. 제1항에 있어서,
    상기 시차 값들은 상기 3D 콘텐츠와 관련된 상기 관찰자의 파라미터들로부터 계산되는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 방법.
  5. 제4항에 있어서,
    상기 3D 콘텐츠의 객체의 시차 및 스크린까지의 거리는 상기 객체의 각각의 픽셀의 시차의 평균 및 스크린까지의 거리의 평균으로서 정의되는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 방법.
  6. 제4항에 있어서,
    상기 시차 값들을 변경하기 위한 상기 파라미터들은 3D 생성 소프트웨어에서 직접 구현되는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 방법.
  7. 스크린상에서 관찰자에 의해 관찰되는 3D 콘텐츠에서 왜곡 에러를 교정하기 위한 장치로서,
    상기 스크린까지의 상기 관찰자의 정의된 거리 및 시차에 따라 상기 3D 콘텐츠의 상기 관찰자에 대한 렌더링된 원형도 팩터(rrf)를 결정하기 위한 수단;
    인식된 원형도 팩터로서 1을 획득하기 위해 상기 3D 콘텐츠의 객체들의 시차 값들이 교정되도록 상기 관찰자에 대해 시차 변환 함수(TD)를 상기 결정된 렌더링된 원형도 팩터의 함수로서 결정하기 위한 수단
    을 포함하는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 장치.
  8. 제7항에 있어서,
    렌더링된 원형도 팩터(rrf)를 결정하기 위한 상기 수단은 원형 객체에 대해 실린더 폭을 실린더 깊이로 나누는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 장치.
  9. 제7항에 있어서,
    상기 시차 값들은 추출 수단에 의해 상기 3D 콘텐츠와 관련된 시차 맵으로부터 추출되는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 장치.
  10. 제7항에 있어서,
    상기 시차 값들은 계산 수단에 의해 상기 3D 콘텐츠와 관련된 상기 관찰자의 파라미터들로부터 계산되는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 장치.
  11. 제7항에 있어서,
    상기 3D 콘텐츠의 객체의 시차 및 스크린까지의 거리는 상기 객체의 각각의 픽셀의 시차의 평균 및 스크린까지의 거리의 평균으로서 정의되는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 장치.
  12. 제10항에 있어서,
    상기 객체 시차 값들을 변경하기 위한 상기 수단은 실세계를 캡처하기 위한 수단에서 또는 3D 생성 소프트웨어의 3D 드로잉을 캡처하기 위한 수단에서 직접 구현되는 것을 특징으로 하는 3D 콘텐츠에서의 왜곡 에러 교정 장치.
KR1020147028930A 2012-04-19 2013-04-08 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치 KR102066058B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP12305457 2012-04-19
EP12305457.9 2012-04-19
EP12306636.7 2012-12-20
EP12306636 2012-12-20
PCT/EP2013/057313 WO2013156333A1 (en) 2012-04-19 2013-04-08 Method and device for correcting distortion errors due to accommodation effect in stereoscopic display

Publications (2)

Publication Number Publication Date
KR20150005546A KR20150005546A (ko) 2015-01-14
KR102066058B1 true KR102066058B1 (ko) 2020-01-14

Family

ID=48190922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147028930A KR102066058B1 (ko) 2012-04-19 2013-04-08 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US10110872B2 (ko)
EP (1) EP2839663A1 (ko)
JP (1) JP6393254B2 (ko)
KR (1) KR102066058B1 (ko)
CN (1) CN104247411B (ko)
WO (1) WO2013156333A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2839663A1 (en) * 2012-04-19 2015-02-25 Thomson Licensing Method and device for correcting distortion errors due to accommodation effect in stereoscopic display
EP3001680A1 (en) * 2014-09-24 2016-03-30 Thomson Licensing Device, method and computer program for 3D rendering
EP3188123A1 (en) * 2015-12-30 2017-07-05 Thomson Licensing A method and an apparatus for generating data representative of a pixel beam
CN113225547A (zh) * 2016-02-11 2021-08-06 奇跃公司 减少深度平面之间切换的多深度平面显示系统
KR102250087B1 (ko) * 2016-10-11 2021-05-10 삼성전자주식회사 영상을 처리하는 방법, 디바이스 및 기록매체
KR102570277B1 (ko) 2016-11-16 2023-08-24 삼성전자주식회사 3d 영상 장치의 왜곡 보정 방법 및 그 방법을 이용하는 장치
US10839523B2 (en) * 2018-05-16 2020-11-17 Otis Elevator Company Position-based adjustment to display content
GB2588774A (en) * 2019-11-05 2021-05-12 Arspectra Sarl Augmented reality headset for medical imaging

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004200973A (ja) 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
US20150085087A1 (en) 2012-04-19 2015-03-26 Thomson Licensing Method and device for correcting distortion errors due to accommodation effect in stereoscopic display

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4436080B2 (ja) * 2003-06-30 2010-03-24 日本放送協会 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
JP4764305B2 (ja) * 2006-10-02 2011-08-31 株式会社東芝 立体画像生成装置、方法およびプログラム
ATE527620T1 (de) * 2009-02-17 2011-10-15 Autoliv Dev Verfahren und system zur automatischen detektion von objekten vor einem kraftfahrzeug
US8284235B2 (en) 2009-09-28 2012-10-09 Sharp Laboratories Of America, Inc. Reduction of viewer discomfort for stereoscopic images
WO2011081646A1 (en) 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
JP2011176800A (ja) 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
US8692870B2 (en) 2010-06-28 2014-04-08 Microsoft Corporation Adaptive adjustment of depth cues in a stereo telepresence system
EP2586209A1 (en) 2010-06-28 2013-05-01 Thomson Licensing Method and apparatus for customizing 3-dimensional effects of stereo content
WO2012037075A1 (en) 2010-09-14 2012-03-22 Thomson Licensing Method of presenting three-dimensional content with disparity adjustments
CN102158721B (zh) 2011-04-06 2012-12-05 青岛海信电器股份有限公司 调节三维立体图像的方法、装置及电视机
US9532027B2 (en) * 2011-05-27 2016-12-27 Warner Bros. Entertainment Inc. Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery
JP5926546B2 (ja) 2011-12-02 2016-05-25 キヤノン株式会社 画像処理装置およびその方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004200973A (ja) 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
US20150085087A1 (en) 2012-04-19 2015-03-26 Thomson Licensing Method and device for correcting distortion errors due to accommodation effect in stereoscopic display

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Devernay frederic et al : Adapting stereoscopic moives to the viewing conditions using depth-preserving and artifact-free novel view synthesis(2011-02-10)

Also Published As

Publication number Publication date
US20150085087A1 (en) 2015-03-26
KR20150005546A (ko) 2015-01-14
JP2015520961A (ja) 2015-07-23
US10110872B2 (en) 2018-10-23
JP6393254B2 (ja) 2018-09-19
EP2839663A1 (en) 2015-02-25
WO2013156333A1 (en) 2013-10-24
CN104247411B (zh) 2017-05-03
CN104247411A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
KR102066058B1 (ko) 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치
EP1704730B1 (en) Method and apparatus for generating a stereoscopic image
US8798160B2 (en) Method and apparatus for adjusting parallax in three-dimensional video
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
Jung et al. Visual comfort improvement in stereoscopic 3D displays using perceptually plausible assessment metric of visual comfort
US9754379B2 (en) Method and system for determining parameters of an off-axis virtual camera
US20080238930A1 (en) Texture processing apparatus, method and program
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
US9918066B2 (en) Methods and systems for producing a magnified 3D image
JP2014507873A (ja) 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄａｎｄｄｅｖｉｃｅｆｏｒｓｔｅｒｅｏｂａｓｅｅｘｔｅｎｓｉｏｎｏｆｓｔｅｒｅｏｓｃｏｐｉｃｉｍａｇｅｓａｎｄｉｍａｇｅｓｅｑｕｅｎｃｅｓ｝
Kim et al. Visual comfort enhancement for stereoscopic video based on binocular fusion characteristics
US11463676B2 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
US9082210B2 (en) Method and apparatus for adjusting image depth
KR20120031260A (ko) 3ｄ 비디오 콘텐츠의 적응
US20180131921A1 (en) Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program
Hasmanda et al. The modelling of stereoscopic 3D scene acquisition
JP2011176822A (ja) 画像処理装置、立体表示装置及び画像処理方法
KR100893381B1 (ko) 실시간 입체영상 생성방법
Wang et al. Comfortable Disparity Modification for Existing DIBR Systems.
Eickelberg et al. Gaze adaptive convergence in stereo 3D applications
Sawahata et al. Depth-compressed expression for providing natural, visual experiences with integral 3D displays
Vienne et al. Perception of stereo at different vergence distances: implications for realism

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant