KR20170142896A - 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치 - Google Patents

컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치 Download PDF

Info

Publication number
KR20170142896A
KR20170142896A KR1020170073863A KR20170073863A KR20170142896A KR 20170142896 A KR20170142896 A KR 20170142896A KR 1020170073863 A KR1020170073863 A KR 1020170073863A KR 20170073863 A KR20170073863 A KR 20170073863A KR 20170142896 A KR20170142896 A KR 20170142896A
Authority
KR
South Korea
Prior art keywords
target object
screen
distance
image providing
convergence
Prior art date
Application number
KR1020170073863A
Other languages
English (en)
Other versions
KR101873161B1 (ko
Inventor
김시호
이상호
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to US15/624,888 priority Critical patent/US10326976B2/en
Publication of KR20170142896A publication Critical patent/KR20170142896A/ko
Application granted granted Critical
Publication of KR101873161B1 publication Critical patent/KR101873161B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/2278—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/105—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens with movable lens means specially adapted for focusing at close distances

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치를 개시한다. 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치는, 호럽터(Horopter) 영역으로 설정된 고정된 스크린과, 가상의 스테레오 카메라로부터 타겟 오브젝트까지의 거리에 기초하여 상기 스크린에 투영되는 이미지의 쉬프트 값을 산출하는 산출부와, 상기 쉬프트 값에 기초하여 상기 호럽터 영역에 콘버젼스 각도를 일치시키는 콘버젼스 매칭부 및 유저의 시선 이동이 상기 타겟 오브젝트와 동일한 깊이 값을 갖는 주변 오브젝트로 이동하는 경우 상기 콘버젼스 각도를 유지하도록 상기 콘버젼스 매칭부를 제어하는 제어부를 포함할 수 있다.

Description

컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING PERSONAL 3-DIMENSIONAL IMAGE USING CONVERGENCE MATCHING ALGORITHM}
본 발명은 개인용 3차원 영상 제공 방법 및 장치에 관한 것으로서, 컨버전스 매칭을 이용하여 눈의 피로를 감소시킬 수 있는 개인용 3차원 영상 제공 방법 및 장치에 관한 것이다. 여기서, 개인용 3차원 영상 제공 장치는 예를 들어 HMD(Head mounted display, 또는 Helmet mounted display) 또는 HWD(Head worn Display)와 같은 1인용 영상 장치일 수 있다.
최근 가상 현실 관련 산업이 화두로 떠오르고 있다. 사용자가 콘텐츠 내의 어떤 부분에 집중을 하고 있는지 알고 있다면 그 부분에 대해 집중해서 볼 수 있게 만들고 포커스를 맞추는 기술은 모든 향후 눈 트래킹(Eye-tracking)이 가능한 VR HMD(가상 현실 헤드 마운트 디스플레이, Virtual reality Head mounted Display)가 보급시 게임 회사들에게 가장 필요한 기술 중 하나가 될 것이다.
개인용 3차원 영상 제공 장치에서 눈의 피로 감소 기법에 대한 수요는 매우 높을 것으로 예상된다.
VR의 흥망성쇠를 좌우할 만한 핵심 문제점 중 하나가 눈의 피로에 의한 어지럼증이다. 따라서, VR HMD 내에서 Convergence Matching을 통하여 눈의 피로를 줄일 수 있게 된다면 어지럼증 해소에도 도움이 된다.
종래 기술에서는 angle 각도 만큼 가상의 카메라를 tilt 하였을 때 생기는 대표적인 문제점인 키스톤 효과를 해결하지 못했다. 또한, 사용자가 현재 타겟팅(targeting) 하고 있는 오브젝트에 대한 convergence가 모든 곳에 다 맞게끔 되어 있었기 때문에 눈의 피로를 가져올 수 있었다.
본 발명은 개인용 3차원 영상 제공 장치에 적합한 컨버전스 매칭 알고리즘을 제공한다.
또한, 본 발명은 키스톤 효과(Keystone Effect)를 해결한 컨버전스 매칭 알고리즘을 제공하여, 눈의 피로를 감소시키는 것을 목적으로 한다.
일 실시예에 따른 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치는, 호럽터(Horopter) 영역으로 설정된 고정된 스크린과, 가상의 스테레오 카메라로부터 타겟 오브젝트까지의 거리에 기초하여 상기 스크린에 투영되는 이미지의 쉬프트 값을 산출하는 산출부와, 상기 쉬프트 값에 기초하여 상기 호럽터 영역에 콘버젼스 각도를 일치시키는 콘버젼스 매칭부 및 유저의 시선 이동이 상기 타겟 오브젝트와 동일한 깊이 값을 갖는 주변 오브젝트로 이동하는 경우 상기 콘버젼스 각도를 유지하도록 상기 콘버젼스 매칭부를 제어하는 제어부를 포함한다.
이때, 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치는, 상기 호럽터 영역으로부터 기 설정된 거리를 파넘(Panum) 영역으로 설정하고, 상기 파넘 영역을 벗어 나는 영역에 대해 초점을 블러링(Blurring) 처리하는 블러링 처리부를 더 포함할 수 있다.
이때, 상기 산출부는, 상기 가상의 스테레오 카메라와 상기 타겟 오브젝트에 의해 상기 스크린에 의해 형성되는 스크린 디스페리티(screen disparity) 값 d를 산출하고, 상기 타겟 오브젝트의 깊이 값이 상기 스크린 거리 보다 크면 포지티브 쉬프트 값을 산출하고, 상기 타겟 오브젝트의 깊이 값이 상기 스크린 거리 보다 작으면 네거티브 쉬프트 값을 산출할 수 있다.
이때, 상기 포지티브 쉬프트 값은 d/2이고, 상기 네거티브 쉬프트 값은 -d/2일 수 있다.
이때, 상기 호럽터 영역은 곡선의 특성을 갖는 휴먼 아이(human eye) 호럽터를 상기 휴먼 아이로부터 기 설정된 거리를 갖는 직선으로 모델링한 호럽터 영역일 수 있다.
이때, 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치는, 상기 가상의 스테레오 카메라로부터 타겟 오브젝트에 대한 초점 거리 및 상기 가상의 스테레오 카메라로부터 상기 타겟 오브젝트까지의 오브젝트 거리를 산출하고, 상기 초점 거리(Focal Length) 및 오브젝트 거리를 이용해서 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점을 보정하는 보정 처리부를 더 포함할 수 있다.
이때, 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치는, 상기 유저에 대한 시선 추적(eye-tracking)으로 획득한 시선 정보를 이용하여 3차원 좌표를 산출하고, 상기 3차원 좌표에 상응하는 시선 초점 거리(focal length)를 추출하는 시선 추적부를 더 포함하고, 상기 제어부는 상기 시선 초점 거리에 기초하여 상기 쉬프트 값을 산출하도록 상기 산출부를 제어할 수 있다.
이때, 상기 시선 추적부는, 상기 유저에 대한 시선 추적을 통해 상기 유저에 의해 모니터링되는 상기 스크린 상의 2차원 좌표를 상기 시선 정보로서 획득하고, 상기 산출된 2차원 좌표 값과 가상 카메라 간의 거리를 계산하여 시선 초점 거리를 추출할 수 있다.
이때, 상기 제어부는, 상기 유저의 시선이 상기 타겟 오브젝트의 깊이 값과 다른 깊이 값을 갖는 오브젝트로 이동하는 경우, 오브젝트의 속성에 기초하여 상기 콘버젼스 각도의 유지 여부를 결정할 수 있다.
일 실시예에 따른 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법은, 개인용 3차원 영상 제공 장치의 고정된 스크린을 호럽터(Horopter) 영역으로 설정하는 단계와, 가상의 스테레오 카메라로부터 타겟 오브젝트까지의 거리에 기초하여 상기 스크린에 투영되는 이미지의 쉬프트 값을 산출하는 단계와, 상기 쉬프트 값에 기초하여 상기 호럽터 영역에 콘버젼스 각도를 일치시키는 단계 및 유저의 시선 이동이 상기 타겟 오브젝트와 동일한 깊이 값을 갖는 주변 오브젝트로 이동하는 경우 상기 콘버젼스 각도를 유지하도록 상기 개인용 3차원 영상 제공 장치를 제어하는 단계를 포함한다.
개인용 3차원 영상 제공 장치에 적합한 컨버전스 매칭 알고리즘을 제공한다.
키스톤 효과(Keystone Effect)를 해결한 컨버전스 매칭 알고리즘을 통한 눈의 피로 감소 기법을 이용하여 VR HMD 내에서 컨버전스 매칭을 통한 눈의 피로를 줄일 수 있고, 그에 따른 어지럼증을 해소할 수 있다.
도 1a 내지 도 1c는 종래 기술에 따른 스테레오 기법을 사용하는 3차원 개인 영상 제공 장치의 영상 기술 개요를 설명하기 위한 도면이다.
도 2는 인간의 눈에 대한 호럽터(horopter)와 파넘(panum) 영역을 나타내는 도면이다.
도 3은 일 실시예에 따른 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치의 구성을 나타내는 도면이다.
도 4a는 스테레오 카메라의 토인(toed-in) 각도를 조절하여 컨버젼스 원근 조절 매칭(convergence-accommodation matching)을 수행하는 예를 나타낸다.
도 4b는 픽셀 쉬프트를 이용하여 컨버젼스 원근 조절 매칭을 수행하는 예를 나타낸다.
도 5는 스크린 디스페리티와 시차의 관계를 설명하기 위한 예시도이다.
도 6은 스크린 디스페리티와 시차의 관계를 설명하기 위한 다른 예시도이다.
도 7은 일반적인 휴먼 아이 시스템(human eye system)의 호럽터 영역을 설명하기 위한 예시도이고, 도 8은 본 발명의 일 실시예에 따른 호럽터 영역 모델링을 설명하기 위한 예시도이다.
도 9은 본 발명의 실시예에 따른 개인용 3차원 영상 제공 장치에서 유저의 시선에 따른 컨버전스 매칭의 예를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법을 설명하기 위한 흐름도이다.
도 11 내지 도 13은 일 실시예에 따른 콘버젼스 매칭을 설명하기 위한 예시도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 사용되는 "실시예", "예", "측면", "예시" 등은 기술된 임의의 양상(aspect) 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되어야 하는 것은 아니다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다. 즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
또한, 본 명세서 및 청구항들에서 사용되는 단수 표현("a" 또는 "an")은, 달리 언급하지 않는 한 또는 단수 형태에 관한 것이라고 문맥으로부터 명확하지 않는 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
또한, 본 명세서 및 청구항들에서 사용되는 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1a 내지 도 1c는 종래 기술에 따른 스테레오 기법을 사용하는 3차원 개인 영상 제공 장치의 영상 기술 개요를 설명하기 위한 도면이다.
도 1a를 참조하면 스테레오 3차원 영상 기술은 인간의 좌안과 우안의 시차를 이용하여 디스플레이를 통해 가상적으로 입체감을 느낄 수 있도록 하는 기술이다.
도 1b를 참조하면 디스플레이(110) 및 렌즈들(121, 123)을 포함하는 스테레오 HMD의 구조를 나타낸다.
도 1b 및 도 1c를 참조하면, 스테레오 헤드 마운트 디스플레이(Head Mount Display) 영상 기술은 유저의 눈 바로 앞에 화면을 띄운 후, 렌즈를 이용하여 눈으로 초점을 맞춰 가상의 입체 화면을 구현하는 방식이다.
도 2는 인간의 눈에 대한 호럽터(horopter)와 파넘(panum) 영역을 나타내는 도면이다.
호럽터는 눈의 초점거리와 콘버젼스 각도가 맞는 점을 연결하는 곡선으로 정의할 수 있다. 이때, 호럽터에 의해 형성되는 곡선을 기준으로 일정 범위의 영역을 파넘 영역이라 칭한다. 파넘 영역 내에 위치하는 물체는 양안의 망막 대응점을 약간 벗어나는 경우에도 입체감을 갖는 3차원 영상으로 융합될 수 있다. 따라서, 파넘 영역 밖에 영상이 위치하는 경우 해당 영상은 3차원으로 융합되지 않고 두 개로 보이는 복시 현상이 일어나거나 초점이 맞지 않게 된다.
도 3은 일 실시예에 따른 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치의 구성을 나타내는 도면이다.
도 3을 참조하면, 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치는 스크린(310), 산출부(320), 콘버젼스 매칭부(330) 및 제어부(340)를 포함한다. 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치는 블러링 처리부(330), 보정 처리부(360) 및 시선 추적부(370)를 더 포함할 수 있다.
스크린(310)는 개인용 3차원 영상 제공 장치의 일 영역에 고정되며, 호럽터 영역으로 설정된다.
이때, 호럽터 영역은 곡선의 특성을 갖는 휴먼 아이(human eye) 호럽터를 상기 휴먼 아이로부터 기 설정된 거리를 갖는 직선으로 모델링한 호럽터 영역이다.
도 2에서 설명된 바와 같이, 실제 인간의 눈에서 원근 조절(accommodation)과 콘버젼스가 정합되는 호럽터는 비선형의 곡선으로 측정된다. 그러나, 본 발명의 일 실시예에 따른 개인용 3차원 영상 제공 장치는 호럽터를 눈으로부터 일정거리 떨어진 직선으로 모델링하였다.
한편, 3차원 TV나 3차원 영화에서는 시청자와 화면간의 거리가 여러명이 동시에 시청하거나 시청자의 눈과 화면의 거리가 가변되므로, 3차원 영상 장치에서 accommodation과 convergence 정합 조건을 모두 만족하는 것은 기술적으로 불가능하다.
그러나, 1인용 영상 장치에 해당하는 HMD(Head mounted display, 또는 Helmet mounted display) 또는 HWD(Head worn Display)는 시청자의 눈과 화면사이의 거리가 고정될 수 있으므로 본 발명의 콘버젼스 매칭 기술이 적용될 수 있다.
산출부(320)는 가상의 스테레오 카메라로부터 타겟 오브젝트까지의 거리에 기초하여 상기 스크린(310)에 투영되는 이미지의 쉬프트 값을 산출한다.
산출부(330)는 가상의 스테레오 카메라와 상기 타겟 오브젝트에 의해 상기 스크린에 의해 형성되는 스크린 디스페리티(screen disparity) 값 d를 산출하고, 상기 타겟 오브젝트의 깊이 값이 상기 스크린 거리 보다 크면 포지티브 쉬프트 값을 산출하고, 상기 타겟 오브젝트의 깊이 값이 상기 스크린 거리 보다 작으면 네거티브 쉬프트 값을 산출할 수 있다.
이때, 스크린 거리는 도 11 내지 도 13에서의 "Z" 일 수 있다.
이때, 포지티브 쉬프트 값은 d/2이고, 상기 네거티브 쉬프트 값은 -d/2일 수 있다.
이때, 스크린 디스페리티(screen disparity) 값을 산출하는 방법 및 쉬프트 값을 계산하는 방법은 도 5, 도 6, 도 11 내지 도 13 등을 통해 보다 상세하게 설명하기로 한다.
콘버젼스 매칭부(330)는 쉬프트 값에 기초하여 상기 호럽터 영역에 콘버젼스 각도를 일치시키는 기능을 수행한다.
제어부(340)는 유저의 시선 이동이 상기 타겟 오브젝트와 동일한 깊이 값을 갖는 주변 오브젝트로 이동하는 경우 상기 콘버젼스 각도를 유지하도록 상기 콘버젼스 매칭부(330)를 제어한다.
블러링 처리부(330)는 호럽터 영역으로부터 기 설정된 거리를 파넘(Panum) 영역으로 설정하고, 상기 파넘 영역을 벗어 나는 영역에 대해 초점을 블러링(Blurring) 처리한다.
보정 처리부(360)는 가상의 스테레오 카메라로부터 타겟 오브젝트에 대한 초점 거리 및 상기 가상의 스테레오 카메라로부터 상기 타겟 오브젝트까지의 오브젝트 거리를 산출하고, 상기 초점 거리(Focal Length) 및 오브젝트 거리를 이용해서 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점을 보정할 수 있다.
보정 처리부(360)는 인터레스팅 존 이외의 필드에 대한 블러링을 수행하고, 사용자의 눈의 수렴 각도와 카메라 각도의 순간 매칭을 처리하며, 타겟 오브젝트의 거리에 따른 카메라 위치의 추가적인 조정을 통해 미스매칭에 따른 어지러움을 예방할 수 있다.
먼저, 보정 처리부(360)는 산출된 초점 거리에 의하여 산출되는 인터레스팅 존 이외에 위치하는 다른 오브젝트 또는 화면의 배경에 대한 초점을 블러링 처리할 수 있다.
이를 위해, 보정 처리부(360)는 스테레오 카메라로부터 초점 거리간 교점을 산출하고, 산출된 교점에 기초하여 관심 오브젝트에 대한 피사계 심도(Depth of Field, DoF)를 산출할 수 있다. 또한, 보정 처리부(360)는 산출된 피사계 심도(Depth of Field, DoF)로부터 일정 거리 이상 이격된 타겟 오브젝트 또는 배경에 대해서 블러링 처리할 수 있다. 즉, 피사계 심도(Depth of Field, DoF)는 피사체의 심도로 해석될 수 있으며 피사체의 심도를 벗어나는 영역에 대해서는 블러링 처리함으로써 실제 영상을 보는 것과 유사하게 영상을 디스플레이 함으로써 실제 영상과 화면의 영상 간의 미스매치를 줄여서 3D 영상을 관람하는 사람이 느끼는 어지러움을 감소시킬 수 있다.
다음으로, 보정 처리부(360)는 스테레오 카메라의 방향을 타겟 오브젝트의 위치에 상응하는 방향으로 조정할 수 있다. 즉, 처리부(120)는 현재 콘텐츠 내에서 스테레오 카메라가 향하는 방향으로부터 타겟 오브젝트를 향하는 방향으로 조정함으로써 어지럼증을 예방할 수 있다.
예를 들어, 보정 처리부(360)는 산출된 피사계 심도(Depth of Field, DoF)와 산출된 오브젝트 거리를 이용하여, 실시간으로 고정된 오브젝트에 대한 초점(focal point)을 향하는 스테레오 카메라의 방향을 조정할 수 있다.
시선 추적부(370)는 유저에 대한 시선 추적(eye-tracking)으로 획득한 시선 정보를 이용하여 3차원 좌표를 산출하고, 상기 3차원 좌표에 상응하는 시선 초점 거리(focal length)를 추출한다.
이때, 제어부(340)는 3차원 좌표에 상응하는 시선 초점 거리에 기초하여 쉬프트 값을 산출할 수 있다. 예를 들어, 3차원 좌표에 상응하는 시선 초점 거리는 도 5에서 참조부호 501, 502와 같은 유저의 시선으로부터 오브젝트 까지의 거리일 수 도 있다.
이때, 제어부(340)는 유저의 시선이 상기 타겟 오브젝트의 깊이 값과 다른 깊이 값을 갖는 오브젝트로 이동하는 경우, 오브젝트의 속성에 기초하여 상기 콘버젼스 각도의 유지 여부를 결정할 수 있다.
예들 들어, 유저의 시선이 제1 오브젝트의 깊이 값과 다른 깊이 값을 갖는 제2 오브젝트로 이동한 경우, 제2 오브젝트의 속성이 유저의 시선이 지극히 짧게 머물 것으로 예측되는 속성으로 설정된 경우, 콘버젼스 각도를 변경하기 위한 연산이 수행되지 않을 수 있다.
시선 추적부(370)는 유저에 대한 시선 추적을 통해 상기 유저에 의해 모니터링되는 상기 스크린 상의 2차원 좌표를 상기 시선 정보로서 획득하고, 상기 산출된 2차원 좌표 값과 가상 카메라 간의 거리를 계산하여 시선 초점 거리를 추출할 수 있다.
시선 추적부(370)는 사용자의 동공을 시선 추적하여 3차원 좌표를 산출할 수 있다. 보다 구체적으로, 시선 추적부(370)는 사용자의 동공에 대한 시선 추적 결과로부터 사용자에 의해 모니터링되는 스크린 상의 2차원 좌표를 우선적으로 획득할 수 있다. 이 경우, 획득한 2차원 좌표가 시선 정보로 해석될 수 있다.
도 4a는 스테레오 카메라의 토인(toed-in) 각도를 조절하여 컨버젼스 원근 조절 매칭(convergence-accommodation matching)을 수행하는 예를 나타낸다.
도 4a를 참조하면, 각도
Figure pat00001
는 카메라의 toe-in 앵글(angle)이고, 콘버젼스 앵글 C는 2
Figure pat00002
이며, 스테레오 카메라의 렌즈의 각도를 조절하여 고정된 점에서 accommodation matching이 이루어 짐을 알 수 있다.
이때, 스테레오 카메라의 렌즈의 각도는
Figure pat00003
만큼의 범위 내에서 조절 될 수 있다.
도 4b는 픽셀 쉬프트를 이용하여 컨버젼스 원근 조절 매칭을 수행하는 예를 나타낸다.
도 4b를 참조하면, 카메라의 toe-in 앵글(angle)은 도 4a와 달리 0이고, 스테레오 카레라의 양쪽 렌즈를 h만큼 양쪽으로 쉬프트 함으로써 콘버젼스 매칭을 수행할 수 있음을 나타낸다.
도 5는 스크린 디스페리티와 시차의 관계를 설명하기 위한 예시도이다.
도 5를 참조하면, 스테레오 카메라의 분리된 거리(separation distance)는 t이고, 양쪽의 카메라를 연결한 X축(510)으로부터 기 설정된 직선(520)보다 먼 거리에 오브젝트(501)가 위치한 경우 포지티브 시차(positive parallax)가 발생하고, 기 설정된 직선(520)보다 가까운 거리에 오브젝트(502)가 위치한 경우 네거티브 시차(nagative parallax)가 발생한다.
한편, 좌우측 렌즈 각각으로부터 오브젝트를 연결한 선이 기 설정된 직선(520)과 만나는 두 점 사이의 거리는 디스페리티(disparity)라 할 수 있다.
오브젝트(502)의 경우 깊이 값을 Z0이라 할 수 있고, 네거티브 시차인 경우이며 d는 0보다 작다고 표현할 수 있고, 오브젝트(502)와 기 설정된 직선(520) 까지의 거리 P는 0보다 작다고 표현할 수 있다.
이때, 기 설정된 직선(520)을 개인용 3차원 영상 장치의 스크린이라 가정하면, 콘버젼스 매칭을 수행하기 위한 쉬프트 값을 산출할 수 있다.
한편, 도 5를 참조하면, 좌우 영상 센서의 영상 점의 위치는 하기의 [수식 1] 및 [수식 2]로 산출될 수 있다.
[수학식 1]
Figure pat00004
[수학식 2]
Figure pat00005
여기서, Z0는 양쪽 카메라의 중앙으로부터 오브젝트까지의 거리이고, Xcl은 스테레오 카메라 중 왼쪽 카메라의 영상 점의 위치, Xcr은 스테레오 카메라 중 오른쪽 카메라의 영상 점의 위치, X0은 양쪽 카메라가 떨어진 거리의 1/2,
Figure pat00006
는 양쪽 카메라를 연결한 선과 오브젝트가 형성하는 각도, h는 쉬프트 값일 수 있다.
디스패리티(disparity)는 평행한 스테레오 카메라 구성(i.e. β=0)에서 d=Xr-Xl로 정의될 수 있으며, 상기 d는
Figure pat00007
로 정의될 수 있다.
따라서, 디스패리티는 0이될 수 있고,
Figure pat00008
일 수 있다.
3D 버전 시스템 또는 스테레오 카메라의 컨버전스 거리는 h(image plane shift value) 및 좌우측 카메라 사이의 거리 t의 조정에 의해 제어될 수 있다.
한편, 쉬프트 값 h가 산출되면, 네거티브 시차의 경우 h 만큼 좌 우측 영상의 간격이 멀어지도록 픽셀 값을 조정하고, 포지티브 시차의 경우 h 만큼 좌 우측 영상의 간격이 가까워지도록 픽셀 값을 조정할 수 있다.
따라서, 포지티브 쉬프트 값은 오브젝트의 깊이 값이 스크린 보다 큰 경우이고, 네거티브 쉬프트 값은 타겟 오브젝트의 깊이 값이 스크린 보다 작은 경우라 할 수 있다.
도 6은 스크린 디스페리티와 시차의 관계를 설명하기 위한 다른 예시도이다.
도 6을 참조하면, 유저의 양안 사이의 거리를 e라고 정의할 수 있고, 도 6의 상측에 도시된 경우는 포지티브 시차를 나타내고, 도 6의 하측에 도시된 예는 네거티브 시차를 나타낸다.
이때, 도 6에서 Z는 유저의 눈으로부터 고정된 스크린까지의 거리를 의미한다.
이때, p는 인식 깊이(perceived depth)를 의미하고, z는 뷰 거리(viewing distance)를 의미하며, e는 눈 사이(eye separation)를 의미하고, d는 스크린 디스패리티(screen disparity)를 의미한다.
상기 d는 디스플레이 평면의 앞 및 뒤에서의 인식 깊이에 기반하며 하기의 [수식 3로부터 산출될 수 있다.
[수식 3
Figure pat00009
여기서, xr은 오른쪽 이미지를 의미하고, xl은 왼쪽 이미지를 의미한다.
또한, 도 5를 참조하면, 깊이를 인식하기 위한 스크린 디스패리티에 관련된 두 키의 발현은 유사한 삼각형으로부터 유도될 수 있다.
스크린 평면 뒤의 인식 깊이는 positive values인 d를 이용한 하기의 [수식 4로부터 산출될 수 있다.
[수식 4
Figure pat00010
또한, 스크린 평면 앞의 인식 깊이는 negative values인 d를 이용한 하기의 [수식 5]으로부터 산출될 수 있다.
[수식 5]
Figure pat00011
도 7은 일반적인 휴먼 아이 시스템(human eye system)의 호럽터 영역을 설명하기 위한 예시도이고, 도 8은 본 발명의 일 실시예에 따른 호럽터 영역 모델링을 설명하기 위한 예시도이다.
도 2에서 설명한 바와 같이, 휴먼 아이 시스템(human eye system)은 호럽터 및 파넘 영역을 포함하고, 호럽터는 눈의 초점거리와 콘버젼스 각도가 맞는 점을 연결하는 곡선으로 정의할 수 있다. 이때, 호럽터에 의해 형성되는 곡선을 기준으로 일정 범위의 영역을 파넘 영역이라 칭한다.
한편, 본 발명의 일 실시예에 따른 개인용 3차원 영상 제공 장치는, 도 8에 도시된바와 같이, 호럽터 를 눈으로부터 일정거리 떨어진 직선으로 모델링하였다.
이때, 타겟 오브젝트가 파넘영역 내에서 이동할 때, 클리어 존(clear zone)이 이동하며, 타겟 오브젝트가 파넘영역을 가로질러 이동할 때,
Figure pat00012
는 재설정될 수 있다.
도 9은 본 발명의 실시예에 따른 개인용 3차원 영상 제공 장치에서 유저의 시선에 따른 컨버전스 매칭의 예를 설명하기 위한 도면이다.
도 9를 참조하면, 복수 개의 타겟 오브젝트들이 x, y, z 축에 위치하고 있으며, z는 오브젝트의 거리 좌표에 위치한다.
실시예에 따라서, 눈이 Z3 큐브(cube)에 고정되면, 시선은 같은 깊이(same depth), 클리어 존(clear zone)에서의 또 다른 객체인 AZ3로 이동하고, 디스패리티의 재배열없이 A 위치로 이동한다. 이후 시선이 Z0의 B 깊이로 이동하는 경우, h 또는 t의 조정을 통해 컨버전스의 재배열이 수행될 수 있다.
실제 인간의 눈에서 accommodation과 convergence가 정합되는 Horopter는 비선형의 곡선으로 측정되지만 본 발명에서는 이 horopter를 눈으로부터 일정거리 떨어진 직선으로 모델하여 적용하였다. 직선으로 모델함으로써 실제 눈에 가까운 accommodation과 convergence가 정합되는 효과를 얻으면서도 연산을 단순화 할 수 있다.
또한, 본 발명의 일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 산출되는 초점 거리(Focal Length) 및 타겟 오브젝트 거리를 이용해서, 착용형 가상 현실 기기(VR HMD, virtual reality Head Mounted Display)용 콘텐츠 내에서의 원근 및 초점을 보정한다. 그러나 본 발명의 적용 기술은 착용형 가상 현실 기기용 콘텐츠로만 제한되지 않으며, 스테레오 디스플레이 형태를 기본 구성으로 하는 일반적인 3D 콘텐츠 디스플레이에도 적용이 가능하다. 예를 들면, 편광형 안경 또는 전자 셔터형 안경을 사용하는 3D 영상의 콘텐츠 제작과 디스플레이에도 본 발명의 적용이 가능하다.
일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 인터페스팅 존 이외의 필드에 대한 블러링을 수행하고, 사용자의 눈의 수렴 각도와 카메라 각도의 순간 매칭을 처리하며, 타겟 오브젝트의 거리에 따른 카메라 위치의 추가적인 조정을 통해 미스매칭에 따른 어지러움을 예방할 수 있다.
먼저, 일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 산출된 초점 거리에 의하여 산출되는 인터레스팅 존 이외에 위치하는 다른 오브젝트 또는 화면의 배경에 대한 초점을 블러링 처리할 수 있다.
이를 위해, 일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 스테레오 카메라로부터 초점 거리간 교점을 산출하고, 산출된 교점에 기초하여 관심 오브젝트에 대한 피사계 심도(Depth of Field, DoF)를 산출할 수 있다. 또한, 일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 산출된 피사계 심도(Depth of Field, DoF)로부터 일정 거리 이상 이격된 타겟 오브젝트 또는 배경에 대해서 블러링 처리할 수 있다. 즉, 피사계 심도는 피사체의 심도로 해석될 수 있으며 피사체의 심도를 벗어나는 영역에 대해서는 블러링 처리함으로써 실제 영상을 보는 것과 유사하게 영상을 디스플레이 함으로써 실제 영상과 화면의 영상간의 미스매치를 줄여서 3D 영상을 관람하는 사람이 느끼는 어지러움을 감소시킬 수 있다.
또한, 일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 스테레오 카메라의 방향을 타겟 오브젝트의 위치에 상응하는 방향으로 조정할 수 있다. 즉, 일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 현재 콘텐츠 내에서 스테레오 카메라가 향하는 방향으로부터 타겟 오브젝트를 향하는 방향으로 조정함으로써 어지럼증을 예방할 수 있다. 예를 들어, 일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 산출된 피사계 심도와 산출된 타겟 오브젝트 거리를 이용하여, 실시간으로 고정된 오브젝트에 대한 초점(focal point)을 향하는 스테레오 카메라의 방향을 조정할 수 있다.
또한, 일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 오브젝트 거리에 기초하여 스테레오 카메라의 IPD를 조정할 수 있다.
또한, 일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 두 개의 카메라에서 소정의 초점 거리의 교점을 산출하고, 피사계 심도를 위해 파라미터들(초점 거리, 개구 수의 크기 등)을 이용할 수 있다.
즉, 일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 필드의 깊이(Depth of Field, DoF)에 상응하는 관심원(circle of interest, CoI)을 정의하고, 정의된 관심원(circle of interest, CoI)을 이용하여 착란원(Circle of Confusion, CoC)을 계산하며, 계산된 착란원(Circle of Confusion, CoC)에 따라 블러링을 위한 경계 영역(bounded zone)과 파라미터 값을 정의하여 블러링 처리할 수 있다.
관심원은 고정 오브젝트를 기준으로 스테레오 카메라 방향 및 반대 방향으로 일정 거리 이격되는 피사계 심도를 나타내는 것으로서, 관심원 내에 위치하는 타겟 오브젝트의 경우 초점이 맞아 또렷하게 표시될 수 있다. 한편, 타겟 오브젝트가 스테레오 카메라 측에 위치하는 경우에는 스테레오 카메라의 방향을 고정 오브젝트로 향하는 방향으로 움직임으로써, 미스매칭에 따른 어지러움을 예방할 수 있다.
또한, 일 실시예에 따른 컨버전스 매칭 알고리즘을 이용한 눈의 피로 감소 기법은 교점에 상응하는 피사계 심도와 다른 피사계 심도를 갖는 타겟 오브젝트들에 대해서는 블러링 처리하여 미스매치에 따른 어지럼증을 예방할 수 있다.
도 10은 일 실시예에 따른 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법을 설명하기 위한 흐름도이다.
도 10을 참조하면, 1010 단계에서 개인용 3차원 영상 제공 장치는 개인용 3차원 영상 제공 장치의 고정된 스크린을 호럽터(Horopter) 영역으로 설정한다.
1020 단계에서 가상의 스테레오 카메라로부터 타겟 오브젝트까지의 거리에 기초하여 상기 스크린에 투영되는 이미지의 쉬프트 값을 산출할 수 있다.
1030단계에서 상기 쉬프트 값에 기초하여 상기 호럽터 영역에 콘버젼스 각도를 일치시킬 수 있다.
1040단계에서 유저의 시선 이동이 상기 타겟 오브젝트와 동일한 깊이 값을 갖는 주변 오브젝트로 이동하는 경우 상기 콘버젼스 각도를 유지하도록 상기 개인용 3차원 영상 제공 장치를 제어할 수 있다.
이때, 쉬프트 값을 산출하는 단계는, 상기 가상의 스테레오 카메라와 상기 타겟 오브젝트에 의해 상기 스크린에 의해 형성되는 스크린 디스페리티(screen disparity) 값 d를 산출하는 단계, 상기 타겟 오브젝트의 깊이 값을 상기 스크린의 깊이 값과 비교하는 단계 및 상기 타겟 오브젝트의 깊이 값이 상기 스크린 거리 보다 크면 포지티브 쉬프트 값을 산출하고, 상기 타겟 오브젝트의 깊이 값이 상기 스크린 거리 보다 작으면 네거티브 쉬프트 값을 산출하는 단계를 포함할 수 있다.
도 11 내지 도 13은 일 실시예에 따른 콘버젼스 매칭을 설명하기 위한 예시도이다.
도 11 내지 도 12에서, Z는 유저의 눈 또는 가상 스테레오 카메라로부터 고정된 스크린 까지의 거리이고, e는 카메라 사이의 거리이다.
도 11은 디스페리티가 0인 경우이고, 도 12는 포지티브 시차의 경우를 나타내고, 도 13은 네거티브 시차의 경우를 나타낸다.
도 12를 참조하면, tan(θp)는 0.5e/Zp와 같고, d는 ep/ Zp와 같고, 따라서, 하기의 [수학식 6]의 관계가 성립할 수 있다.
[수학식 6]
d=ep/Zp=e(1-Z-Zp)
상기 수학식 6을 참조하면, h는 0.5d로 산출될 수 있다.
한편, 도 13을 참조하면, tan(θn)은 0.5e/Zn이고, d는 하기 [수학식 7]의 관계가 성립될 수 있다.
d=ep/Zn=e|(1-Z-Zp)|
따라서, h는 0.5d로 산출될 수 있다.
이때, 도 12에서 h는 포지티브 쉬트프 값으로 1/2d라 표현할 수 있고, 도 13에서 h는 네거티프 쉬프트 값으로 -1/2d라 표현할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 개인용 3차원 영상 제공 장치에 있어서,
    호럽터(Horopter) 영역으로 설정된 고정된 스크린;
    가상의 스테레오 카메라로부터 타겟 오브젝트까지의 거리에 기초하여 상기 스크린에 투영되는 이미지의 쉬프트 값을 산출하는 산출부;
    상기 쉬프트 값에 기초하여 상기 호럽터 영역에 콘버젼스 각도를 일치시키는 콘버젼스 매칭부; 및
    유저의 시선 이동이 상기 타겟 오브젝트와 동일한 깊이 값을 갖는 주변 오브젝트로 이동하는 경우 상기 콘버젼스 각도를 유지하도록 상기 콘버젼스 매칭부를 제어하는 제어부를 포함하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치.
  2. 제1항에 있어서,
    상기 호럽터 영역으로부터 기 설정된 거리를 파넘(Panum) 영역으로 설정하고, 상기 파넘 영역을 벗어 나는 영역에 대해 초점을 블러링(Blurring) 처리하는 블러링 처리부를 더 포함하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치.
  3. 제1항에 있어서,
    상기 산출부는,
    상기 가상의 스테레오 카메라와 상기 타겟 오브젝트에 의해 상기 스크린에 의해 형성되는 스크린 디스페리티(screen disparity) 값 d를 산출하고, 상기 타겟 오브젝트의 깊이 값이 상기 스크린보다 크면 포지티브 쉬프트 값을 산출하고, 상기 타겟 오브젝트의 깊이 값이 상기 스크린보다 작으면 네거티브 쉬프트 값을 산출하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치.
  4. 제3항에 있어서,
    상기 포지티브 쉬프트 값은 d/2이고, 상기 네거티브 쉬프트 값은 -d/2인
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치.
  5. 제1항에 있어서,
    상기 호럽터 영역은 곡선의 특성을 갖는 휴먼 아이(human eye) 호럽터를 상기 휴먼 아이로부터 기 설정된 거리를 갖는 직선으로 모델링한 호럽터 영역임을 특징으로 하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치.
  6. 제1항에 있어서,
    상기 가상의 스테레오 카메라로부터 타겟 오브젝트에 대한 초점 거리 및 상기 가상의 스테레오 카메라로부터 상기 타겟 오브젝트까지의 오브젝트 거리를 산출하고, 상기 초점 거리(Focal Length) 및 오브젝트 거리를 이용해서 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점을 보정하는 보정 처리부를 더 포함하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치.
  7. 제1항에 있어서,
    상기 유저에 대한 시선 추적(eye-tracking)으로 획득한 시선 정보를 이용하여 3차원 좌표를 산출하고, 상기 3차원 좌표에 상응하는 시선 초점 거리(focal length)를 추출하는 시선 추적부를 더 포함하고,
    상기 제어부는 상기 시선 초점 거리에 기초하여 상기 쉬프트 값을 산출하도록 상기 산출부를 제어하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치.
  8. 제5항에 있어서,
    상기 시선 추적부는,
    상기 유저에 대한 시선 추적을 통해 상기 유저에 의해 모니터링되는 상기 스크린 상의 2차원 좌표를 상기 시선 정보로서 획득하고, 상기 산출된 2차원 좌표 값과 가상 카메라 간의 거리를 계산하여 시선 초점 거리를 추출하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치.
  9. 제5항에 있어서,
    상기 제어부는,
    상기 유저의 시선이 상기 타겟 오브젝트의 깊이 값과 다른 깊이 값을 갖는 오브젝트로 이동하는 경우, 오브젝트의 속성에 기초하여 상기 콘버젼스 각도의 유지 여부를 결정하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 장치.
  10. 개인용 3차원 영상 제공 장치의 고정된 스크린을 호럽터(Horopter) 영역으로 설정하는 단계;
    가상의 스테레오 카메라로부터 타겟 오브젝트까지의 거리에 기초하여 상기 스크린에 투영되는 이미지의 쉬프트 값을 산출하는 단계;
    상기 쉬프트 값에 기초하여 상기 호럽터 영역에 콘버젼스 각도를 일치시키는 단계; 및
    유저의 시선 이동이 상기 타겟 오브젝트와 동일한 깊이 값을 갖는 주변 오브젝트로 이동하는 경우 상기 콘버젼스 각도를 유지하도록 상기 개인용 3차원 영상 제공 장치를 제어하는 단계를 포함하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법.
  11. 제10항에 있어서,
    상기 호럽터 영역으로부터 기 설정된 거리를 파넘(Panum) 영역으로 설정하고, 상기 파넘 영역을 벗어 나는 영역에 대해 초점을 블러링(Blurring) 처리하는 단계를 더 포함하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법.
  12. 제10항에 있어서,
    상기 쉬프트 값을 산출하는 단계는,
    상기 가상의 스테레오 카메라와 상기 타겟 오브젝트에 의해 상기 스크린에 의해 형성되는 스크린 디스페리티(screen disparity) 값 d를 산출하는 단계;
    상기 타겟 오브젝트의 깊이 값을 상기 스크린의 깊이 값과 비교하는 단계; 및
    상기 타겟 오브젝트의 깊이 값이 상기 스크린 거리 보다 크면 포지티브 쉬프트 값을 산출하고, 상기 타겟 오브젝트의 깊이 값이 상기 스크린 거리 보다 작으면 네거티브 쉬프트 값을 산출하는 단계를 포함하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법.
  13. 제12항에 있어서,
    상기 포지티브 쉬프트 값은 d/2이고, 상기 네거티브 쉬프트 값은 -d/2인
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법.
  14. 제10항에 있어서,
    상기 호럽터 영역은 곡선의 특성을 갖는 휴먼 아이(human eye) 호럽터를 상기 휴먼 아이로부터 기 설정된 거리를 갖는 직선으로 모델링한 호럽터 영역임을 특징으로 하는
    컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법.
KR1020170073863A 2016-06-17 2017-06-13 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치 KR101873161B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/624,888 US10326976B2 (en) 2016-06-17 2017-06-16 Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160075983 2016-06-17
KR20160075983 2016-06-17

Publications (2)

Publication Number Publication Date
KR20170142896A true KR20170142896A (ko) 2017-12-28
KR101873161B1 KR101873161B1 (ko) 2018-07-02

Family

ID=60940046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170073863A KR101873161B1 (ko) 2016-06-17 2017-06-13 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101873161B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506188A (zh) * 2019-01-30 2020-08-07 托比股份公司 用于动态地调整hud的方法和hmd
WO2022231224A1 (ko) * 2021-04-28 2022-11-03 주식회사 피앤씨솔루션 파노라마 멀티 화면을 제공하는 증강현실 글라스 및 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205195A (ja) * 2010-03-24 2011-10-13 Nikon Corp 画像処理装置、プログラム、画像処理方法、椅子および観賞システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506188A (zh) * 2019-01-30 2020-08-07 托比股份公司 用于动态地调整hud的方法和hmd
WO2022231224A1 (ko) * 2021-04-28 2022-11-03 주식회사 피앤씨솔루션 파노라마 멀티 화면을 제공하는 증강현실 글라스 및 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법

Also Published As

Publication number Publication date
KR101873161B1 (ko) 2018-07-02

Similar Documents

Publication Publication Date Title
JP7335285B2 (ja) 単一深度追跡型の遠近調節－両眼転導ソリューション
US11361513B2 (en) Head-mounted display with pass-through imaging
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
TWI591378B (zh) 擴增實境系統之光學透視頭戴式顯示器之校準方法及非暫態電腦可讀媒體
US10397539B2 (en) Compensating 3D stereoscopic imagery
WO2018008232A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10382699B2 (en) Imaging system and method of producing images for display apparatus
US20150187115A1 (en) Dynamically adjustable 3d goggles
KR101788452B1 (ko) 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법
EP3871033A1 (en) Fresnel-based varifocal lens assembly for vr or ar displays
KR101818839B1 (ko) 스테레오 삼차원 영상 콘텐츠 디스플레이 제작 및 재생 방법
KR101873161B1 (ko) 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치
KR102113285B1 (ko) 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치
US20160366394A1 (en) Stereographic image capturing apparatus having interocular distance controller and method for controlling depth perception of stereographic image using the same
KR20200128661A (ko) 뷰 이미지를 생성하기 위한 장치 및 방법
CN111164542A (zh) 修改计算设备上的图像的方法
JP2008233081A (ja) 視空間点認知の方法
Hasmanda et al. The modelling of stereoscopic 3D scene acquisition
US10326976B2 (en) Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm
US20140285484A1 (en) System of providing stereoscopic image to multiple users and method thereof
CN111279293A (zh) 计算设备上修改图像的方法
CN108881892B (zh) 用于桌面式虚拟现实系统的防眩晕方法、系统
JP2013092768A (ja) 立体撮影装置
US20140293027A1 (en) 3D Stereoscopic Image Generating Method, 3D Stereoscopic Image Generating System and Non-Transitory Computer-Readable Medium that Stores 3D Stereoscopic Image Generating Program
Segura et al. Improved virtual reality perception with calibrated stereo and variable focus for industrial use

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant