KR20170100371A - Apparatus and method of stereo scopic 3d contents creation and display - Google Patents

Apparatus and method of stereo scopic 3d contents creation and display Download PDF

Info

Publication number
KR20170100371A
KR20170100371A KR1020160022853A KR20160022853A KR20170100371A KR 20170100371 A KR20170100371 A KR 20170100371A KR 1020160022853 A KR1020160022853 A KR 1020160022853A KR 20160022853 A KR20160022853 A KR 20160022853A KR 20170100371 A KR20170100371 A KR 20170100371A
Authority
KR
South Korea
Prior art keywords
stereo camera
distance
target object
calculated
calculating
Prior art date
Application number
KR1020160022853A
Other languages
Korean (ko)
Other versions
KR101818839B1 (en
Inventor
김시호
이상호
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160022853A priority Critical patent/KR101818839B1/en
Publication of KR20170100371A publication Critical patent/KR20170100371A/en
Application granted granted Critical
Publication of KR101818839B1 publication Critical patent/KR101818839B1/en

Links

Images

Classifications

    • H04N13/0022
    • H04N13/0018
    • H04N13/0033
    • H04N13/0221

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

The present invention relates to a technique for relieving simulator fatigue in a stereo type 3D display with a fixed screen such as a virtual reality head mounted display. According to an aspect of the present invention, an apparatus for preventing dizziness, which is at least temporarily driven by a computer, includes a calculation unit for calculating a focal length of a target object from a rendering stereo camera and an object distance from the stereo camera to the target object, and a processing unit for correcting matching between the focal length and a convergence angle between the object and eyes of a user and the object in 3D contents by using the calculated focal length and object distance.

Description

스테레오 삼차원 영상 콘텐츠 디스플레이 제작 및 재생 방법{APPARATUS AND METHOD OF STEREO SCOPIC 3D CONTENTS CREATION AND DISPLAY}[0001] APPARATUS AND METHOD OF STEREO SCOPIC 3D CONTENTS [0002] BACKGROUND OF THE INVENTION [0003]

본 발명은 스테레오 3D 영상 콘텐츠 제작 및 디스플레이에 적용하기 위한 것으로써, 스테레오 3D 디스플레이에서 어지럼증과 같은 사용자 불쾌감을 완화시키기 위한 기술에 관한 것이다.The present invention relates to a technique for mitigating user discomfort such as dizziness in a stereo 3D display for application to stereoscopic 3D image content production and display.

가상현실이란 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황, 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 말한다. 가상현실은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 해주기 위해 사용한다. 가상현실의 응용분야로는 교육, 고급 프로그래밍, 원격조작, 원격위성 표면탐사, 탐사자료 분석, 과학적 시각화(scientific visualization) 등이 있다.Virtual reality refers to a human-computer interface that makes a certain environment or situation computerized and makes the person who uses it behave as if they are interacting with the actual environment and environment. VIRTUAL REALITY is used to show and manipulate people as if they are in the environment without experiencing the environments that are difficult to experience on a daily basis. Applications of virtual reality include education, advanced programming, remote operation, remote satellite surface exploration, exploration data analysis, and scientific visualization.

가상현실은 헤드 마운트 디스플레이와 같은 장치를 통해 이용할 수 있다.Virtual reality is available through devices such as head-mounted displays.

헤드 마운트 디스플레이는 '머리에 쓰는 화면 장치'로서, 눈앞에 작은 디스플레이 기기를 렌즈 구조물을 통해 오브젝트가 잘 보이면서도 크게 보이도록 한다.The head mount display is a "head screen device" that allows a small display device in front of your eyes to be seen through the lens structure with a clear view of the object.

헤드 마운트 디스플레이를 이용하는 고정된 스크린에서는 어지럼증과 같은 시뮬레이터 질병 또는 피로감(simulator sickness or simulator fatigue)이 발생할 수 있다. 가상현실을 이용하는 사용자로 하여금 멀미와 같은 어지럼증 또는 구토 증상을 느끼게 하는데, 이 시뮬레이터 질병 또는 피로감은 눈이 보는 것과 신체가 느끼는 것 또는 해석하는 것 간의 미스매치에 의해서 발생한다. Fixed screens using head-mounted displays can cause simulator sickness or simulator fatigue, such as dizziness. Users of virtual reality experience dizziness or vomiting symptoms such as motion sickness. This simulator illness or fatigue is caused by a mismatch between what the eye sees and what the body feels or interprets.

눈의 수렴에 대한 차이(discrepancy of eye-convergence)와 머리에 장착된 3D 스테레오스코픽 디스플레이의 합의(accommodation in head mounted 3D stereoscopic display)는 실제 눈의 뷰와 가상의 뷰간 미스매치를 야기시키는 중요 원인이다. 헤드 마운트 디스플레이 형태 뿐만이 아니고, 영상 정보와 몸의 정보가 부정합을 발생시키는 스테레오 영상을 이용하는 3D 디스플레이에서는, 이러한 시뮬레이터 피로 증상이 나타난다.The discrepancy of eye-convergence and the accommodation in head-mounted 3D stereoscopic display of the head are important causes of the actual eye view and the virtual view mismatch . In a 3D display using not only a head mount display type but also a stereoscopic image in which mismatch of image information and body information occurs, this simulator fatigue symptom appears.

대한민국 등록특허 제10-1553273호Korean Patent No. 10-1553273 대한민국 등록특허 제10-0551107호Korean Patent No. 10-0551107

일측에 따르면, 컴퓨터에 의해 적어도 일시적으로 구현되는 어지럼증 예방 장치는, 가상현실의 스테레오 카메라로부터 타겟 오브젝트에 대한 초점 거리(Focal Length) 및 상기 스테레오 카메라로부터 상기 타겟 오브젝트까지의 오브젝트 거리를 산출하는 연산부, 및 상기 산출된 초점 거리(Focal Length) 및 오브젝트 거리를 이용해서, 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점을 보정하는 처리부를 포함한다.According to one aspect, the dizziness prevention device at least temporarily implemented by a computer includes an operation unit for calculating a focal length from a stereo camera of a virtual reality to a target object and an object distance from the stereo camera to the target object, And a processor for correcting the perspective and the focus in the content for stereoscopic three-dimensional display by using the calculated focal length and object distance.

일실시예에 따른 상기 처리부는, 상기 산출된 초점 거리 이외에 위치하는 다른 타겟 오브젝트에 대한 초점을 블러링 처리하고, 상기 스테레오 카메라의 방향을 상기 타겟 오브젝트의 위치에 상응하는 방향으로 조정하며, 상기 오브젝트 거리에 기초하여 상기 스테레오 카메라의 IPD(inter-pupillary distance)를 조정하는 처리부를 포함한다.The processing unit according to an embodiment blurs the focus of another target object located outside the calculated focal length and adjusts the direction of the stereo camera in a direction corresponding to the position of the target object, And a processor for adjusting an inter-pupillary distance (IPD) of the stereo camera based on the distance.

일실시예에 따른 상기 연산부는, 상기 스테레오 카메라로부터 제1 타겟 오브젝트까지의 제1 오브젝트 거리와 상기 스테레오 카메라로부터 제2 타겟 오브젝트까지의 제2 오브젝트 거리를 산출하고, 상기 처리부는, 상기 스테레오 카메라의 IPD(inter-pupillary distance)에 상기 제1 오브젝트 거리 및 상기 제2 오브젝트 거리의 비율을 반영하여 조정할 IPD(inter-pupillary distance)를 계산한다.The operation unit may calculate a first object distance from the stereo camera to the first target object and a second object distance from the stereo camera to the second target object, Pupilary distance (IPD) to be adjusted by reflecting the ratio of the first object distance and the second object distance to the IPD (inter-pupillary distance).

일실시예에 따른 상기 처리부는, 현재 콘텐츠 내에서 상기 스테레오 카메라가 향하는 방향으로부터 상기 타겟 오브젝트를 향하는 방향으로 조정한다.The processing unit according to an embodiment adjusts the direction from the direction in which the stereo camera is heading to the target object in the current content.

일실시예에 따른 상기 처리부는, 상기 스테레오 카메라로부터 초점 거리간 교점을 산출하고, 상기 산출된 교점에 기초하여 관심 오브젝트에 대한 피사계 심도(Depth of Field, DoF)를 산출하며, 상기 산출된 피사계 심도(Depth of Field, DoF)로부터 일정 거리 이상 이격된 타겟 오브젝트에 대해서 블러링 처리한다.The processing unit may calculate an intersection between focal lengths from the stereo camera, calculate a Depth of Field (DoF) for the object of interest based on the calculated intersection, A blurring process is performed on a target object that is spaced apart from the Depth of Field (DoF) by a certain distance.

일실시예에 따른 상기 처리부는, 상기 피사계 심도(Depth of Field, DoF)에 상응하는 관심원(circle of interest, CoI)을 정의하고, 상기 정의된 관심원(circle of interest, CoI)을 이용하여 착란원(Circle of Confusion, CoC)을 계산하며, 상기 계산된 착란원(Circle of Confusion, CoC)에 따라 블러링을 위한 경계 영역(bounded zone)과 파라미터 값을 정의하여 블러링 처리한다.The processing unit may define a circle of interest (CoI) corresponding to the Depth of Field (DoF) and use the defined circle of interest (CoI) A bounded zone and a parameter value for blurring are defined and blurred according to the calculated Circle of Confusion (CoC).

일실시예에 따른 상기 처리부는, 상기 산출된 피사계 심도(Depth of Field, DoF)와 상기 산출된 오브젝트 거리를 이용하여, According to an embodiment, the processing unit may use the calculated Depth of Field (DoF) and the calculated object distance,

실시간으로 고정된 오브젝트에 대한 초점(focal point)을 향하는 스테레오 카메라의 방향을 조정한다.Adjusts the direction of the stereo camera toward the focal point for the fixed object in real time.

일측에 따르면, 컴퓨터에 의해 적어도 일시적으로 구현되는 어지럼증 예방 장치의 동작 방법은 가상현실의 스테레오 카메라로부터 타겟 오브젝트에 대한 초점 거리(Focal Length) 및 상기 스테레오 카메라로부터 상기 타겟 오브젝트까지의 오브젝트 거리를 산출하는 단계, 상기 산출된 초점 거리 이외에 위치하는 다른 타겟 오브젝트에 대한 초점을 블러링 처리하는 단계, 상기 스테레오 카메라의 방향을 상기 타겟 오브젝트의 위치에 상응하는 방향으로 조정하는 단계, 및 상기 오브젝트 거리에 기초하여 상기 스테레오 카메라의 IPD(inter-pupillary distance)를 조정하는 단계를 포함한다.According to one aspect, an operation method of a dizziness prevention device at least temporarily implemented by a computer includes calculating a focal length of a target object from a stereo camera of a virtual reality and an object distance from the stereo camera to the target object Blurring a focus on another target object located outside the calculated focal distance; adjusting the orientation of the stereo camera in a direction corresponding to the position of the target object; and based on the object distance, And adjusting an inter-pupillary distance (IPD) of the stereo camera.

일실시예에 따른 상기 산출하는 단계는, 상기 스테레오 카메라로부터 제1 타겟 오브젝트까지의 제1 오브젝트 거리와 상기 스테레오 카메라로부터 제2 타겟 오브젝트까지의 제2 오브젝트 거리를 산출하는 단계를 포함하고, 상기 상기 스테레오 카메라의 IPD(inter-pupillary distance)를 조정하는 단계는, 상기 스테레오 카메라의 IPD(inter-pupillary distance)에 상기 제1 오브젝트 거리 및 상기 제2 오브젝트 거리의 비율을 반영하여 조정할 IPD(inter-pupillary distance)를 계산하는 단계를 포함한다.The calculating step may include calculating a first object distance from the stereo camera to a first target object and a second object distance from the stereo camera to a second target object, The step of adjusting an inter-pupillary distance (IPD) of a stereo camera includes inter-pupillary distance (IPD) of the stereo camera to reflect the ratio of the first object distance and the second object distance to an IPD and calculating a distance.

일실시예에 따른 상기 스테레오 카메라의 방향을 상기 타겟 오브젝트의 위치에 상응하는 방향으로 조정하는 단계는, 현재 콘텐츠 내에서 상기 스테레오 카메라가 향하는 방향으로부터 상기 타겟 오브젝트를 향하는 방향으로 조정하는 단계를 포함한다.Adjusting the orientation of the stereo camera in a direction corresponding to the position of the target object according to an embodiment includes adjusting the direction toward the target object from a direction in which the stereo camera is oriented within the current content .

일실시예에 따른 상기 블러링 처리하는 단계는, 상기 스테레오 카메라로부터 초점 거리간 교점을 산출하는 단계, 상기 산출된 교점에 기초하여 관심 오브젝트에 대한 피사계 심도(Depth of Field, DoF)를 산출하는 단계, 및 상기 산출된 피사계 심도(Depth of Field, DoF)로부터 일정 거리 이상 이격된 타겟 오브젝트에 대해서 블러링 처리하는 단계를 포함한다.The blurring processing step according to an embodiment may include calculating an intersection between focal lengths from the stereo camera, calculating a depth of field (DoF) for the object of interest based on the calculated intersection, And blurring a target object spaced by a predetermined distance from the calculated Depth of Field (DoF).

일실시예에 따른 상기 블러링 처리하는 단계는, 상기 피사계 심도(Depth of Field, DoF)에 상응하는 관심원(circle of interest, CoI)을 정의하는 단계, 상기 정의된 관심원(circle of interest, CoI)을 이용하여 착란원(Circle of Confusion, CoC)을 계산하는 단계, 상기 계산된 착란원(Circle of Confusion, CoC)에 따라 블러링을 위한 경계 영역(bounded zone)과 파라미터 값을 정의하여 블러링 처리하는 단계를 포함한다.The blurring step may include defining a circle of interest (CoI) corresponding to the depth of field (DoF), defining a circle of interest (CoI) Calculating a Circle of Confusion (CoC) using CoI, calculating a bounded zone and a parameter value for blurring according to the calculated Circle of Confusion (CoC) Ring processing.

일실시예에 따른 상기 스테레오 카메라의 방향을 상기 타겟 오브젝트의 위치에 상응하는 방향으로 조정하는 단계는, 상기 산출된 피사계 심도(Depth of Field, DoF)와 상기 산출된 오브젝트 거리를 이용하여, 실시간으로 고정된 오브젝트에 대한 초점(focal point)을 향하는 스테레오 카메라의 방향을 조정하는 단계를 포함한다.The step of adjusting the direction of the stereo camera in a direction corresponding to the position of the target object according to an embodiment may further include a step of adjusting the direction of the stereo camera in real time using the calculated depth of field (DoF) And adjusting the orientation of the stereo camera toward the focal point for the fixed object.

도 1은 일실시예에 따른 어지럼증 예방 장치를 설명하는 도면이다.
도 2는 사용자 눈의 버전스 각도에 상응하는 카메라 각도의 즉각적인 매칭(a)과, IPD의 추가 조정(b)을 설명하는 도면이다.
도 3a는 타겟 오브젝트에 대한 초점 거리를 조정한 피사계 심도(DoF, Depth of Field)를 설명하는 도면이다.
도 3b는 피사계 심도를 조절하는 구체적인 실시예를 설명하는 도면이다.
도 4a는 카메라 방향(Camera Orientation)의 조정에 대해 설명하는 도면이다.
도 4b는 카메라 방향을 조정하는 실시예를 설명하는 도면이다.
도 4c는 카메라 방향을 조정하는 절차를 구체적으로 설명하는 도면이다.
도 5a는 IPD의 길이를 조정하는 실시예를 설명하는 도면이다.
도 5b는 스테레오 카메라에서 IPD의 길이를 조정함에 따른 타겟 오브젝트의 변화를 설명하는 도면이다.
도 6은 일실시예에 따른 어지럼증 예방 장치의 동작 방법을 설명하는 도면이다.
1 is a view for explaining an apparatus for preventing dizziness according to an embodiment.
Fig. 2 is a view for explaining an immediate matching (a) of the camera angle corresponding to the version angle of the user's eyes and an additional adjustment (b) of the IPD.
3A is a view for explaining a depth of field (DoF) in which a focal length of a target object is adjusted.
FIG. 3B is a view for explaining a specific example of adjusting the depth of field.
4A is a view for explaining the adjustment of the camera direction (camera orientation).
4B is a view for explaining an embodiment of adjusting the camera direction.
FIG. 4C is a view for explaining the procedure for adjusting the camera direction in detail.
5A is a view for explaining an embodiment for adjusting the length of the IPD.
5B is a view for explaining the change of the target object as the length of the IPD is adjusted in the stereo camera.
6 is a view for explaining an operation method of a dizziness prevention apparatus according to an embodiment.

이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the rights is not limited or limited by these embodiments. Like reference symbols in the drawings denote like elements.

아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.The terms used in the following description are chosen to be generic and universal in the art to which they are related, but other terms may exist depending on the development and / or change in technology, customs, preferences of the technician, and the like. Accordingly, the terminology used in the following description should not be construed as limiting the technical thought, but should be understood in the exemplary language used to describe the embodiments.

또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.Also, in certain cases, there may be a term chosen arbitrarily by the applicant, in which case the meaning of the detailed description in the corresponding description section. Therefore, the term used in the following description should be understood based on the meaning of the term, not the name of a simple term, and the contents throughout the specification.

도 1은 일실시예에 따른 어지럼증 예방 장치(100)를 설명하는 도면이다.1 is a view for explaining an apparatus for preventing dizziness according to an embodiment of the present invention.

도 2는 본 발명의 실시 예를 설명하는 도면이다. 도2 (a)에서는, 사람의 눈이 바라보는 타겟 오브젝트의 위치에 따라서 따라서 관심 영역, 인터레스팅 존(interesting zone), 이 두 관심원(Circle of interest) 사이의 영역으로 설정되며, 실제 사람의 눈이 관심 영역의 타겟 오브젝트를 바라볼 때 눈의 수렴각(eye-convergence)과 초점간의 합의(eye-accomodation)가 일치하는 것처럼, 두 스테레오 카메라의 렌더링 각도를 조정하는 것을 도시하고 있다. 즉, 도2(a)는 두 스테레오 카메라의 렌더링 각도를 사람의 좌측과 우측 두 눈이 물체를 바라볼 때 향하는 각도가 눈과 물체간의 거리에 의하여 결정되는 수렴 각과 논의 초점 간의 합의에 의하여 설정되는 것을 모방하여 스테레오 화면을 디스플레이하는 실시 예를 도시하고 있다. 스테레오 화면을 통하여 3D 영상을 재현하는 디스플레이 구성에서 좌측 화면과 우측 화면의 렌더링 카메라의 각도를 두 눈의 수렴각과 논의 초점 간의 합의에 맞추어서 변경하는 것이다. 도2 (a)에서는 이때 눈이 바라보는 물체로 부터의 거리가 바뀌면 IPD가 일정하게 유지되면서 카메라의 각도가 변경된다.2 is a view for explaining an embodiment of the present invention. In FIG. 2 (a), an area of interest, an interesting zone, and an area between these two circles of interest are set according to the position of the target object viewed by the human eye, The eye-convergence of the eye and the eye-accomodation of the eye coincide when the eye of the eye of the user looks at the target object of the region of interest. That is, FIG. 2 (a) shows the rendering angles of the two stereo cameras set by the convergence angle determined by the distance between the eyes and the object and the angle between the two focuses of the two eyes on the left and right eyes of the person An example of displaying a stereo screen is shown. In the display configuration in which the 3D image is reproduced through the stereo screen, the angle of the rendering camera of the left screen and the right screen is changed according to the agreement between the convergence angle of the two eyes and the focus point of the discussion. In FIG. 2 (a), when the distance from the object to which the eye is viewed is changed, the angle of the camera is changed while the IPD is kept constant.

도2(b)는 두 스테레오 카메라의 렌더링 각도를 조정하는 것은 도2(a)의 실시 예와 유사하지만, 두 렌더링 카메라의 거리를 미세하게 조정하여 바라보고자 하는 물체로부터 눈간의 초점 거리가 변경될 때 3D 스테레오 영상의 수렴각(eye-convergence)과 초점간의 합의(eye-accomodation)가 일치하는 것 같은 효과를 극대화하기 위한 방법을 추가한 것이다.FIG. 2 (b) is similar to the embodiment of FIG. 2 (a) in adjusting the rendering angles of the two stereo cameras, but the distance between the two cameras is finely adjusted to change the focal distance between the eyes We have added a method to maximize the effect that the eye-convergence and the eye-accomodation of the 3D stereo image coincide.

어지럼증 예방 장치(100)는 사용자의 눈의 수렴 각도와 카메라 각도의 순간 매칭을 수행하고, 타겟 오브젝트의 거리에 따른 카메라 위치의 추가적인 조정을 처리하며, 영상에서 사람의 눈에 상이 선명하게 맺히는 관심원 영역에 포함된 인터레스팅 존(interesting zone) 이외의 필드에 대한 블러링(blurring)을 처리할 수 있다.The dizziness prevention apparatus 100 performs an instantaneous matching of the convergence angle of the user's eyes and the camera angle, processes the further adjustment of the camera position according to the distance of the target object, It is possible to handle blurring for fields other than the interesting zone included in the area.

이에 어지럼증 예방 장치(100)는 눈의 수렴에 대한 차이(discrepancy of eye-convergence)와 머리에 장착된 3D 스테레오스코픽 디스플레이의 합의(accommodation in head mounted 3D stereoscopic display)를 줄여, 실제 눈의 뷰와 가상의 뷰간 미스매치를 줄일 수 있어 어지럼증을 예방할 수 있다.The dizziness prevention apparatus 100 reduces discrepancy of eye-convergence and accommodation of the head mounted 3D stereoscopic display to reduce the visual disturbance of the actual eye view and virtual Can be reduced to prevent dizziness.

구체적으로, 어지럼증 예방 장치(100)는 연산부(110) 및 처리부(120)를 포함할 수 있다. 어지럼증 예방 장치(100)는 컴퓨팅 단말에 의해 적어도 일시적으로 구현될 수 있다. 컴퓨팅 단말은 퍼스널 컴퓨터, 의료용 기기, 스마트폰, 태블릿 컴퓨터, 웨어러블 디바이스 등 임의의 형태의 전자 기기를 포함한다. 연산부(110) 및 처리부(120)는 각각 이러한 전자 기기에 포함되는 물리적 및/또는 논리적 엘리먼트일 수 있다. 이를테면 전용 하드웨어(dedicated hardware) 또는 소프트웨어나 오퍼레이팅 시스템에 의해 제어되는 범용 연산 자원에 의해 연산부(110) 및 처리부(120)가 구현될 수 있다. 또한 연산부(110) 및 처리부(120)가 하나의 칩에서 함께 구현되는, 따라서 물리적으로 구분되지 않는 것일 수도 있으며, 이러한 하드웨어 자원의 구현은 기술의 발달이나 설계 변경에 의해 얼마든지 변경될 수 있다. 따라서 연산부(110) 및 처리부(120)의 기능과 동작 및 구조가 서로 구분되는 것으로 이해되지만 실시예에 따라 이러한 구분이 다르게 해석되는 경우도 있을 수 있다.Specifically, the dizziness prevention apparatus 100 may include a computing unit 110 and a processing unit 120. The dizziness prevention apparatus 100 may be implemented at least temporarily by the computing terminal. The computing terminal includes any type of electronic device such as a personal computer, a medical device, a smart phone, a tablet computer, and a wearable device. The computing unit 110 and the processing unit 120 may be physical and / or logical elements included in such electronic devices, respectively. For example, the computing unit 110 and the processing unit 120 may be implemented by dedicated hardware or general purpose computing resources controlled by software or an operating system. Also, the operation unit 110 and the processing unit 120 may be implemented together on one chip, and thus may not be physically distinguished, and the implementation of such hardware resources may be changed as much as possible by technological development or design changes. Accordingly, it is understood that the functions, operations, and structures of the operation unit 110 and the processing unit 120 are distinguished from each other, but there may be cases where such a division is interpreted differently according to the embodiment.

연산부(110)는 가상현실의 스테레오 카메라로부터 타겟 오브젝트에 대한 초점 거리(Focal Length) 및 스테레오 카메라로부터 타겟 오브젝트까지의 오브젝트 거리를 산출한다. 오브젝트 거리는 스테레오 카메라의 두 렌즈의 중심을 잇는 선분과 오브젝트 간 최단 거리로 해석될 수 있다.The calculation unit 110 calculates the focal length of the target object from the stereo camera of the virtual reality and the object distance from the stereo camera to the target object. The object distance can be interpreted as the shortest distance between a line segment connecting the centers of two lenses of a stereo camera and an object.

한편, 처리부(120)는 산출된 초점 거리(Focal Length) 및 오브젝트 거리를 이용해서, 착용형 가상 현실 기기(VR HMD, virtual reality Head Mounted Display)용 콘텐츠 내에서의 원근 및 초점을 보정한다. 그러나 본 발명의 적용 기술은 착용형 가상 현실 기기(VR HMD, virtual reality Head Mounted Display)용 콘텐츠로만 제한되지 않으며, 스테레오 디스플레이 형태를 기본 구성으로 하는 일반적인 3D 콘텐츠 디스플레이에도 적용이 가능하다. 예를 들면, 편광형 안경 또는 전자 셔터형 안경을 사용하는 3D 영상의 콘텐츠 제작과 디스플레이에도 본 발명의 적용이 가능하다.On the other hand, the processing unit 120 corrects the perspective and the focus within the content for the wearable virtual reality device (VR HMD) by using the calculated focal length and object distance. However, the application technique of the present invention is not limited to contents for a wearable virtual reality (VR HMD), but also applicable to a general 3D content display having a stereo display form as a basic constitution. For example, the present invention can be applied to the production and display of contents of 3D images using polarized glasses or electronic shutter glasses.

일실시예에 따른 처리부(120)는 인터레스팅 존 이외의 필드에 대한 블러링을 수행하고, 사용자의 눈의 수렴 각도와 카메라 각도의 순간 매칭을 처리하며, 타겟 오브젝트의 거리에 따른 카메라 위치의 추가적인 조정을 통해 미스매칭에 따른 어지러움을 예방할 수 있다.The processing unit 120 according to an exemplary embodiment of the present invention performs blurring on fields other than the interlaced zone, processes instantaneous convergence angles of the eyes of the user and camera angles, Additional adjustments can prevent dizziness from mismatching.

먼저, 처리부(120)는 산출된 초점 거리에 의하여 산출되는 인터레스팅 존 이외에 위치하는 다른 오브젝트 또는 화면의 배경에 대한 초점을 블러링 처리할 수 있다.First, the processing unit 120 may perform blurring processing on a background of another object or a screen located outside the inter-resting zone calculated by the calculated focal length.

이를 위해, 처리부(120)는 스테레오 카메라로부터 초점 거리간 교점을 산출하고, 산출된 교점에 기초하여 관심 오브젝트에 대한 피사계 심도(Depth of Field, DoF)를 산출할 수 있다. 또한, 처리부(120)는 산출된 피사계 심도(Depth of Field, DoF)로부터 일정 거리 이상 이격된 타겟 오브젝트 또는 배경에 대해서 블러링 처리할 수 있다. 즉, 피사계 심도(Depth of Field, DoF)는 피사체의 심도로 해석될 수 있으며 피사체의 심도를 벗어나는 영역에 대해서는 블러링 처리함으로써 실제 영상을 보는 것과 유사하게 영상을 디스플레이 함으로써 실제 영상과 화면의 영상간의 미스매치를 줄여서 3D 영상을 관람하는 사람이 느끼는 어지러움을 감소시킬 수 있다.To this end, the processing unit 120 may calculate the intersection between the focal lengths from the stereo camera, and calculate the Depth of Field (DoF) for the object of interest based on the calculated intersection. In addition, the processing unit 120 may perform blurring processing on a target object or background spaced from the calculated Depth of Field (DoF) by a predetermined distance or more. That is, the Depth of Field (DoF) can be interpreted as the depth of the subject. By blurring the region beyond the depth of the subject, the image is displayed similar to the actual image, By reducing the mismatch, it is possible to reduce the dizziness felt by the person viewing the 3D image.

블러링에 대한 실시예는 도 3a 및 도 3b를 통해서 다시 상세히 설명한다.The embodiment of blurring will be described in detail again with reference to FIGS. 3A and 3B.

다음으로, 처리부(120)는 스테레오 카메라의 방향을 타겟 오브젝트의 위치에 상응하는 방향으로 조정할 수 있다. 즉, 처리부(120)는 현재 콘텐츠 내에서 스테레오 카메라가 향하는 방향으로부터 타겟 오브젝트를 향하는 방향으로 조정함으로써 어지럼증을 예방할 수 있다. 예를 들어, 처리부(120)는 산출된 피사계 심도(Depth of Field, DoF)와 산출된 오브젝트 거리를 이용하여, 실시간으로 고정된 오브젝트에 대한 초점(focal point)을 향하는 스테레오 카메라의 방향을 조정할 수 있다.Next, the processing unit 120 may adjust the direction of the stereo camera to a direction corresponding to the position of the target object. That is, the processing unit 120 can prevent dizziness by adjusting the direction from the direction of the stereo camera toward the target object within the current content. For example, the processing unit 120 can adjust the direction of the stereo camera toward the focal point for the fixed object in real time using the calculated Depth of Field (DoF) and the calculated object distance have.

스테레오 카메라의 방향을 타겟 오브젝트의 위치에 상응하는 방향으로 조정하는 실시예는 도 4a 내지 도 4c를 통해서 다시 상세히 설명한다.An embodiment of adjusting the direction of the stereo camera in the direction corresponding to the position of the target object will be described in detail again with reference to FIGS. 4A to 4C.

처리부(120)는 오브젝트 거리에 기초하여 스테레오 카메라의 IPD(inter-pupillary distance)를 조정할 수 있다.The processing unit 120 may adjust the inter-pupillary distance (IPD) of the stereo camera based on the object distance.

이를 위해, 연산부(110)는 스테레오 카메라로부터 제1 타겟 오브젝트까지의 제1 오브젝트 거리와 스테레오 카메라로부터 제2 타겟 오브젝트까지의 제2 오브젝트 거리를 산출하고, 처리부(120)는 스테레오 카메라의 IPD(inter-pupillary distance)에 제1 오브젝트 거리 및 제2 오브젝트 거리의 비율을 반영하여 조정할 IPD(inter-pupillary distance)를 계산할 수 있다.For this purpose, the arithmetic unit 110 calculates a first object distance from the stereo camera to the first target object and a second object distance from the stereo camera to the second target object, and the processing unit 120 calculates the inter- pupillary distance (IPD) to be adjusted by reflecting the ratio of the first object distance and the second object distance to the first object distance and the second object distance.

스테레오 카메라의 IPD(inter-pupillary distance)를 조정하여 어지럼증을 예방하는 실시예는 도 5a 및 도 5b에서 다시 상세히 설명한다.An embodiment for adjusting the inter-pupillary distance (IPD) of a stereo camera to prevent dizziness will be described in detail again in Figs. 5A and 5B.

도 2는 사용자 눈의 버전스 각도에 상응하는 카메라 각도의 즉각적인 매칭(a)과, IPD의 추가 조정(b)을 설명하는 도면이다.Fig. 2 is a view for explaining an immediate matching (a) of the camera angle corresponding to the version angle of the user's eyes and an additional adjustment (b) of the IPD.

도 2는 두 개의 카메라에서 소정의 초점 거리의 교점을 산출하고, 피사계 심도(Depth of Field, DoF)를 위해 파라미터들(초점 거리, 개구 수의 크기 등)을 이용할 수 있다.FIG. 2 illustrates a method of calculating an intersection point of a predetermined focal length in two cameras and using parameters (focal length, size of numerical aperture, etc.) for Depth of Field (DoF).

즉, 처리부는 필드의 깊이(Depth of Field, DoF)에 상응하는 관심원(circle of interest, CoI)을 정의하고, 정의된 관심원(circle of interest, CoI)을 이용하여 착란원(Circle of Confusion, CoC)을 계산하며, 계산된 착란원(Circle of Confusion, CoC)에 따라 블러링을 위한 경계 영역(bounded zone)과 파라미터 값을 정의하여 블러링 처리할 수 있다.That is, the processing unit defines a circle of interest (CoI) corresponding to the depth of field (DoF) of the field, and uses a defined circle of interest (CoI) , And CoC), and define a bounded zone and a parameter value for blurring according to the calculated Circle of Confusion (CoC), thereby blurring processing.

관심원은 고정 오브젝트를 기준으로 스테레오 카메라 방향 및 반대 방향으로 일정 거리 이격되는 피사계 심도를 나타내는 것으로서, 관심원 내에 위치하는 타겟 오브젝트의 경우 초점이 맞아 또렷하게 표시될 수 있다. 한편, 타겟 오브젝트가 스테레오 카메라 측에 위치하는 경우에는 스테레오 카메라의 방향을 고정 오브젝트로 향하는 방향으로 움직임으로써, 미스매칭에 따른 어지러움을 예방할 수 있다. 즉, 본 발명에서는 종래 고정되어 있던 초점 거리를 적응적으로 조정할 수 있다.The circle of interest represents a depth of field that is spaced a certain distance in the direction of the stereo camera and the opposite direction with respect to the fixed object, and the target object located within the circle of interest can be focused and displayed clearly. On the other hand, when the target object is positioned on the stereo camera side, the direction of the stereo camera moves in the direction toward the fixed object, thereby preventing dizziness due to mismatching. That is, in the present invention, the previously fixed focal length can be adaptively adjusted.

한편, 도 2의 (b)에서는 미스매칭에 따른 어지러움을 예방하기 위해 스테레오 카메라의 IPD를 조정할 수 있다. 도 2의 (b)에 따른 실시예에서는 타겟 오브젝트가 스테레오 카메라 측으로 가까운 상태에서 스테레오 카메라의 IPD를 크게 조정함으로써 미스매칭에 따른 어지러움을 예방할 수 있다.Meanwhile, in FIG. 2 (b), the IPD of the stereo camera can be adjusted to prevent dizziness due to mismatching. In the embodiment of FIG. 2 (b), the IPD of the stereo camera is largely adjusted in a state in which the target object is close to the stereo camera, thereby preventing dizziness due to mismatching.

도 3a는 타겟 오브젝트에 대한 초점 거리를 조정한 피사계 심도(DoF, Depth of Field)를 설명하는 도면이다.3A is a view for explaining a depth of field (DoF) in which a focal length of a target object is adjusted.

도 3a의 실시예(310)에 따르면, a의 거리를 IPD로 갖는 스테레오 카메라는 S에 해당하는 위치에서 두 카메라에 의한 초점 거리의 교점이 위치한다. 이 교점에 상응하는 필름플레인 상에서 상이 맺히는 위치는 d에 해당한다. 도면부호 311에서는 d의 위치를 확대하여 표시하며, c의 위치에서는 착란원(circle of confusion)에 의한 착란상이 맺힐 수 있다.According to the embodiment 310 of FIG. 3A, the stereo camera having the distance a as the IPD is located at the intersection of the focal lengths of the two cameras at positions corresponding to S. The position of the image on the corresponding film plane corresponding to this intersection corresponds to d. At 311, the position of d is enlarged and displayed, and at the position of c, a confusion image due to a circle of confusion may be formed.

착란상은 교점을 기준으로 스테레오 카메라로부터 Sr만큼 멀어지는 위치의 타겟 오브젝트, 교점을 기준으로 스테레오 카메라로 Sf만큼 가까워지는 위치의 타겟 오브젝트에 의해서 생성되며, 이들은 d와 dr 또는 df만큼 떨어진 위치에서 상이 맺힐 수 있으므로, d에 의한 상에 착란을 야기한다. 따라서, 이러한 착란에 의해 어지럼증이 발생할 수 있으며, 본 발명에서는 교점에 상응하는 피사계 심도와 다른 피사계 심도를 갖는 타겟 오브젝트들에 대해서는 블러링 처리하여 미스매치에 따른 어지럼증을 예방할 수 있다.The distracted image is generated by the target object at a distance S r from the stereo camera with respect to the intersection point, and the target object at a position S f near to the stereo camera with respect to the intersection point, which are located at distances d and d r or d f So that it causes confusion on the image due to d. Thus, dizziness may occur due to such confusion. In the present invention, blurring processing is performed on target objects having depth of field different from depth of field corresponding to an intersection, thereby preventing dizziness due to mismatch.

도 3b는 피사계 심도를 조절하는 구체적인 실시예를 설명하는 도면이다.FIG. 3B is a view for explaining a specific example of adjusting the depth of field.

도 3b의 도면부호 321은 피사계 심도가 조절되지 않은 일반적인 가상현실의 이미지로서 다른 타겟 오브젝트들에 의해서 어지럼증이 야기될 수 있다. 한편, 도면부호 322는 피사계 심도가 조절되어 타겟 오브젝트를 제외한 다른 타겟 오브젝트들에 대해서는 블러링 처리하여 미스매칭에 의한 어지럼증이 현저히 감소될 수 있다.Reference numeral 321 in FIG. 3B is an image of a general virtual reality in which the depth of field is not adjusted, and dizziness may be caused by other target objects. On the other hand, the depth of field 322 is adjusted to blur the target objects other than the target object, so that dizziness due to mismatching can be significantly reduced.

도 4a는 카메라 방향(Camera Orientation)의 조정에 대해 설명하는 도면이다.4A is a view for explaining the adjustment of the camera direction (camera orientation).

도 4a의 실시예(410)를 참고하면, EyeLeft는 스테레오 카메라 중에 왼쪽 카메라를 EyeRight는 스테레오 카메라 중에 오른쪽 카메라로 해석될 수도 있다.Referring to embodiment 410 of FIG. 4A, EyeLeft may be interpreted as a left camera in a stereo camera, and EyeRight may be interpreted as a right camera in a stereo camera.

스테레오 카메라는 P1에 해당하는 제1 오브젝트를 향하는 방향에서, P2에 해당하는 제2 오브젝트를 향하는 방향으로 방향을 조정할 수 있다. P1에 해당하는 오브젝트 1은 IPD 축 상에서

Figure pat00001
만큼 회전하는 방향에 위치하며, P2에 해당하는 오브젝트는
Figure pat00002
, 즉
Figure pat00003
에서
Figure pat00004
를 뺀 만큼의 방향에 위치한다.The stereo camera can adjust the direction in the direction toward the first object corresponding to P 1 and in the direction toward the second object corresponding to P 2 . Object 1 corresponding to P 1 is displayed on the IPD axis
Figure pat00001
, And the object corresponding to P 2 is located in the direction
Figure pat00002
, In other words
Figure pat00003
in
Figure pat00004
In the direction of the arrow.

예를 들어,

Figure pat00005
,
Figure pat00006
, 및
Figure pat00007
는 아래 [수학식 1]에 의해서 산출할 수 있다.E.g,
Figure pat00005
,
Figure pat00006
, And
Figure pat00007
Can be calculated by the following equation (1).

[수학식 1][Equation 1]

Figure pat00008
=tan-1(LeftEye1/d1)
Figure pat00008
= tan -1 (LeftEye 1 / d1)

Figure pat00009
L2=tan-1(LeftEye2/d2)
Figure pat00009
L2 = tan -1 (LeftEye 2 / d2)

Figure pat00010
Figure pat00010

이때, d1은 스테레오 카메라의 중점으로부터 제1 오브젝트까지의 거리이고, d2는 스테레오 카메라의 중점으로부터 제2 오브젝트까지의 거리이다.Here, d1 is the distance from the midpoint of the stereo camera to the first object, and d2 is the distance from the midpoint of the stereo camera to the second object.

즉, 오브젝트에 따라서 스테레오 카메라 각각의 방향을 조정함으로써, 미스매치에 의한 어지러움을 예방할 수 있다.That is, by adjusting the direction of each of the stereo cameras according to the object, dizziness due to mismatch can be prevented.

도 4b는 카메라 방향을 조정하는 실시예를 설명하는 도면이다.4B is a view for explaining an embodiment of adjusting the camera direction.

도면부호 420은 카메라의 방향을 조정하기 전에 스테레오 카메라와 오브젝트간의 관계를 나타내고, 도면부호 430은 오브젝트 방향으로 스테레오 카메라 각각의 방향이 조정된 실시예를 나타낸다.Reference numeral 420 denotes a relationship between a stereo camera and an object before adjusting the direction of the camera, and reference numeral 430 denotes an embodiment in which the direction of each of the stereo cameras is adjusted toward the object direction.

도 4c는 카메라 방향을 조정하는 절차를 구체적으로 설명하는 도면이다.FIG. 4C is a view for explaining the procedure for adjusting the camera direction in detail.

P1 이 P2로 이동 했을 때

Figure pat00011
Figure pat00012
Figure pat00013
에서의 각도의 변화값이 [수학식 1]에서 구한
Figure pat00014
이므로 이를 이용하여 Camera Transformation Matrix 작성(Homogenenous)이 가능하다.When P 1 moves to P 2
Figure pat00011
Figure pat00012
Figure pat00013
And the change value of the angle in the equation (1)
Figure pat00014
Therefore, it is possible to create a Camera Transformation Matrix (Homogenenous) by using it.

즉, 카메라의 방향만 조정했으므로 위치에 대한 변화값은 0 -> x = 0이다.That is, since only the direction of the camera is adjusted, the change value for the position is 0 -> x = 0.

이를 참고하면, Camera Transformation Matrix는 [수학식 2]에 의해 산출될 수 있다.Referring to this, the Camera Transformation Matrix can be calculated by Equation (2).

[수학식 2]&Quot; (2) "

Figure pat00015
Figure pat00015

도 4c의 실시예는 Camera Transformation Matrix인 Rcam을 실제 렌더링에 적용하는 것으로서, 로컬에서 월드(모델에서 월드)로 L2W를 연산하여 M을 산출한다(431). 이때, L2W는 Local to World matrix에 해당한다.In the embodiment of FIG. 4C, R cam , which is a Camera Transformation Matrix, is applied to actual rendering, and L2W is calculated locally from the world (model to world) to calculate M (431). At this time, L2W corresponds to the Local to World matrix.

다음으로, M에 C를 반영하여 월드에서 카메라와 관련한 연산을 수행할 수 있다(432). 이때, C는 World to Camera matrix에 해당한다.Next, an operation related to the camera can be performed in the world by reflecting C in M (432). At this time, C corresponds to the World to Camera matrix.

다음으로, 본 발명에 따른 어지럼증 예방 장치는 C가 반영된 M에 [수학식 2]를 통해 산출한 Rcam을 반영할 수 있다(433). 이에, 스테레오 카메라의 방향이 조정되어 미스매치에 따른 어지럼증이 완화될 수 있다.Next, the dizziness prevention apparatus according to the present invention may reflect R cam calculated through Equation (2) to M reflecting C (433). Accordingly, the direction of the stereo camera is adjusted, and dizziness due to mismatch can be mitigated.

다음으로는, M은 프로젝션을 위해 P(projection matrix)가 반영되고(434), 뷰포인트 연산(435)을 통해 스크린에 투영될 수 있다(436). 뷰포인트 연산은 카메라의 방향이 조정된 M에 타겟 오브젝트에 대한 3차원 좌표인 Pobj를 반영하는 것이고, 스크린에 투영되기 위해서는 2D로 프로젝션 된 벡터(M2D)가 산출되어야만 한다.Next, M may be projected 434 for a projection and projected 436 onto a screen via a viewpoint operation 435 for projection. View point operation is to adjust the orientation of the camera M reflect the three-dimensional coordinates of P obj of the target object, in order to be projected on the screen should be calculated by a 2D projection vector (M 2D).

도 5a는 IPD의 길이를 조정하는 실시예를 설명하는 도면이다.5A is a view for explaining an embodiment for adjusting the length of the IPD.

도면부호 510에서 보는 바와 같이, 제1 타겟 오브젝트에 대한 IPD1는 제2 타겟 오브젝트를 위해 IPD2로 변경될 수 있다.As shown at 510, IPD 1 for the first target object may be changed to IPD 2 for the second target object.

IPD는 스테레오 카메라의 각각의 렌즈의 중심간 거리로 해석될 수도 있으며, 본 발명에서는 타겟 오브젝트와의 거리를 고려하여 조정될 수 있다.The IPD may be interpreted as the distance between the centers of the respective lenses of the stereo camera, and may be adjusted in consideration of the distance from the target object in the present invention.

보다 구체적으로, IPD2는 아래 [수학식 3]을 통해 산출될 수 있다.More specifically, IPD 2 can be calculated through the following equation (3).

[수학식 3]&Quot; (3) "

Figure pat00016
Figure pat00016

여기서, Disteye2obj1는 스테레오 카메라의 중심과 제1 오브젝트 간 최단 거리로 해석될 수 있고, Disteye2obj2는 스테레오 카메라의 중심과 제2 오브젝트 간 최단 거리로 해석될 수 있다.Here, Dist eye2obj1 can be interpreted as the shortest distance between the center of the stereo camera and the first object, and Dist eye2obj2 can be interpreted as the shortest distance between the center of the stereo camera and the second object.

즉, 어지럼증 예방 장치는 스테레오 카메라로부터 제1 타겟 오브젝트까지의 제1 오브젝트 거리(Disteye2obj1)와 스테레오 카메라로부터 제2 타겟 오브젝트까지의 제2 오브젝트 거리(Disteye2obj2)를 산출하고, 상기 스테레오 카메라의 IPD(inter-pupillary distance)에 제1 오브젝트 거리(Disteye2obj1) 및 제2 오브젝트 거리(Disteye2obj2)의 비율을 반영하여 조정할 IPD(inter-pupillary distance)를 계산한다.That is, the dizziness prevention apparatus calculates the first object distance (Dist eye2obj1 ) from the stereo camera to the first target object and the second object distance (Dist eye2obj2 ) from the stereo camera to the second target object, pupillary distance (IPD) to be adjusted by reflecting the ratio of the first object distance (Dist eye 2 obj 1) and the second object distance (Dist eye 2 obj 2) to the inter-pupillary distance.

도 5b는 스테레오 카메라에서 IPD의 길이를 조정함에 따른 타겟 오브젝트의 변화를 설명하는 도면이다.5B is a view for explaining the change of the target object as the length of the IPD is adjusted in the stereo camera.

도면부호 520은 IPD 길이를 조정하기 전의 콘텐츠에 해당하고, 도면부호 530은 [수학식 3]에 의해 IPD 길이를 조정하기 전의 콘텐츠에 해당한다.Reference numeral 520 corresponds to the content before the IPD length is adjusted, and reference numeral 530 corresponds to the content before the IPD length is adjusted by the formula (3).

IPD(inter-pupillary distance)는 사용자 눈의 동공들의 중심간 거리이나, 가상 현실에서 스테레오 카메라의 서로 다른 렌즈의 중심간 거리로 해석될 수도 있다.The inter-pupillary distance (IPD) may be interpreted as the distance between the centers of the pupils of the user's eye or the distance between the centers of different lenses of the stereo camera in the virtual reality.

사용자 각자에 맞는 고유한 IPD 값을 갖기 때문에, 일반적으로 IPD는 3D 렌더링 동안 고정된 파라미터이다.IPD is typically a fixed parameter during 3D rendering because it has a unique IPD value for each user.

이를 참고하여, 본 발명은 가까운 물체가 눈과 배경에 폐쇄 사이로 인해 발생하는 양안 시차를 완화하기 위해 스테레오스코픽 렌더링 카메라의 위치를 조정한다.With reference to this, the present invention adjusts the position of the stereoscopic rendering camera to mitigate binocular parallax caused by nearby objects between the eyes and the occlusion in the background.

따라서, 본 발명은 대상체와 카메라 사이의 거리가 foveated 영역에 위치 할 때 초점의 효과를 극대화하도록 IPD를 조정할 수 있다. 이를 위해, 본 발명에서는 왼쪽 눈과 오른쪽 눈의 동공간 거리가 동일하다고 가정한다. Therefore, the present invention can adjust the IPD to maximize the effect of focus when the distance between the object and the camera is located in the foveated area. To this end, it is assumed in the present invention that the dynamic distance between the left eye and the right eye is the same.

이때, 조정을 위한 IPDnew는 타겟 오브젝트로부터 카메라까지의 거리에 의해서 계산된다. 타겟 오브젝트로부터 카메라까지의 거리가 획득되면, 왼쪽 카메라의 위치는 아래 [수학식 4]에 의해서 계산된다.At this time, IPD new for adjustment is calculated by the distance from the target object to the camera. When the distance from the target object to the camera is obtained, the position of the left camera is calculated by Equation (4) below.

[수학식 4]&Quot; (4) "

Figure pat00017
Figure pat00017

이와 유사하게, 오른쪽 카메라의 위치는 아래 [수학식 5]에 의해서 계산된다.Similarly, the position of the right camera is calculated by the following equation (5).

[수학식 5]&Quot; (5) "

Figure pat00018
Figure pat00018

두 대의 가상의 카메라 초점이 타겟 오브젝트에 있는 경우에는 카메라 초점을 렌더링할 수 있다. 카메라 초점을 렌더링하기 위해, 데카르트 x, y, z축의 회전각이 계산될 수 있다. 이때, 본 발명은 Rotx, Roty, Rotz로서 x축, y축, z축 각각에 대한 회전의 매트릭스를 생성할 수 있다. 매트릭스가 계산되면, 이를 최종 매트릭스에 반영하여 카메라 방향을 조정할 수 있다.If two virtual camera focuses are present on the target object, the camera focus can be rendered. To render the camera focus, the rotational angles of the Cartesian x, y, z axes can be calculated. At this time, the present invention can generate a matrix of rotations for each of the x, y, and z axes as Rot x , Rot y , and Rot z . Once the matrix is calculated, it can be reflected in the final matrix to adjust the camera orientation.

결과를 수행하기 위해 카메라 변환 후 이 프로그램을 적용할 수 있다.You can apply this program after camera conversion to perform the results.

주변 물체들에 의한 혼란은 사용자의 눈 수렴 각도와 두 입체 카메라 각도의 정합을 미스 매칭하는 원인으로 작용할 수 있다.The confusion caused by surrounding objects can cause the mismatch between the user's eye convergence angle and the two-dimensional camera angle mismatch.

도 6은 일실시예에 따른 어지럼증 예방 장치의 동작 방법을 설명하는 도면이다.6 is a view for explaining an operation method of a dizziness prevention apparatus according to an embodiment.

일실시예에 따른 어지럼증 예방 장치의 동작 방법은 초점 거리 및 오브젝트 거리를 산출한다(단계 601).The method of operation of the dizziness prevention apparatus according to an exemplary embodiment calculates the focal distance and the object distance (step 601).

다음으로, 일실시예에 따른 어지럼증 예방 장치의 동작 방법은 산출된 초점 거리(Focal Length) 및 오브젝트 거리를 이용해서, 착용형 가상 현실 기기(VR HMD, virtual reality Head Mounted Display)용 콘텐츠 내에서의 원근 및 초점을 보정할 수 있다.Next, an operation method of the dizziness prevention apparatus according to an exemplary embodiment of the present invention is described in detail with reference to the accompanying drawings, in which: FIG. 1 is a block diagram illustrating a configuration of a wearable virtual reality device (VR HMD) Perspective and focus can be corrected.

이를 위해, 어지럼증 예방 장치의 동작 방법은 타겟 오브젝트에 대한 초점 거리를 조정하여 DoF(Depth of Field) 조정하고(단계 602), 스테레오 카메라의 방향 조정하며(단계 603), 스테레오 카메라의 IPD를 조정할 수 있다(단계 604).To this end, the method of operation of the dizziness prevention device adjusts the depth of field (DoF) of the target object (step 602), adjusts the focal length of the target object (step 603), adjusts the IPD of the stereo camera (Step 604).

최근 가상 현실 관련 산업이 화두로 떠오르고 있고, 그 중에서 콘텐츠 내에서 집중해야 하는 곳을 사용자가 집중해서 볼 수 있게 하는 기술은 모든 게임 회사들이 필요한 부분 중 하나지만 초점거리(Focal Length), 카메라 방향(Camera Orientation) 및 IPD가 고정되어 있는 현재 방식으로는 접근이 불가능하기 때문에 결국, 본 발명을 이용하면 이를 콘텐츠 내에서 해결할 수 있어 보다 효율적인 해결이 가능하다.Recently, the virtual reality related industry has become a hot topic, among which the technology that enables users to concentrate on the contents to concentrate within the content is one of the necessary parts of all game companies, but the focal length, Camera Orientation) and IPD are fixed. Therefore, if the present invention is used, it can be solved in the content, and more efficient solution is possible.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (13)

컴퓨터에 의해 적어도 일시적으로 구현되는:
가상현실의 렌더링 스테레오 카메라로부터 타겟 오브젝트에 대한 초점 거리(Focal Length) 및 상기 렌더링 스테레오 카메라로부터 상기 타겟 오브젝트까지의 오브젝트 거리를 산출하는 연산부; 및
상기 산출된 초점 거리(Focal Length) 및 오브젝트 거리를 이용해서, 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점을 보정하는 처리부
를 포함하는 어지럼증 예방 장치.
Implemented at least temporarily by the computer:
A calculation unit for calculating a focal length of a target object from a rendering stereo camera and an object distance from the rendering stereo camera to the target object; And
A processing unit for correcting the perspective and the focus in the contents for stereoscopic three-dimensional display by using the calculated focal length and object distance,
/ RTI >
제1항에 있어서,
상기 처리부는,
상기 산출된 초점 거리 이외에 위치하는 다른 타겟 오브젝트에 대한 초점을 블러링 처리하고, 상기 렌더링 스테레오 카메라의 방향을 상기 타겟 오브젝트의 위치에 상응하는 방향으로 조정하며, 상기 오브젝트 거리에 기초하여 상기 렌더링 스테레오 카메라의 IPD(inter-pupillary distance)를 조정하는 처리부
를 포함하는 어지럼증 예방 장치.
The method according to claim 1,
Wherein,
The blurring processing of the focus of another target object located outside the calculated focal distance and adjusting the direction of the rendering stereo camera in a direction corresponding to the position of the target object, A processing unit for adjusting an inter-pupillary distance (IPD)
/ RTI >
제2항에 있어서,
상기 연산부는,
상기 렌더링 스테레오 카메라로부터 제1 타겟 오브젝트까지의 제1 오브젝트 거리와 상기 렌더링 스테레오 카메라로부터 제2 타겟 오브젝트까지의 제2 오브젝트 거리를 산출하고,
상기 처리부는,
상기 렌더링 스테레오 카메라의 IPD(inter-pupillary distance)에 상기 제1 오브젝트 거리 및 상기 제2 오브젝트 거리의 비율을 반영하여 조정할 IPD(inter-pupillary distance)를 계산하는 어지럼증 예방 장치.
3. The method of claim 2,
The operation unit,
Calculating a first object distance from the rendering stereo camera to a first target object and a second object distance from the rendering stereo camera to a second target object,
Wherein,
Pupilary distance (IPD) to be adjusted by reflecting a ratio of the first object distance and the second object distance to an IPD (inter-pupillary distance) of the rendering stereo camera.
제2항에 있어서,
상기 처리부는,
현재 콘텐츠 내에서 상기 렌더링 스테레오 카메라가 향하는 방향으로부터 상기 타겟 오브젝트를 향하는 방향으로 조정하는 어지럼증 예방 장치.
3. The method of claim 2,
Wherein,
And adjusts in the direction from the direction in which the rendering stereo camera is directed within the current content to the target object.
제2항에 있어서,
상기 처리부는,
상기 렌더링 스테레오 카메라로부터 초점 거리간 교점을 산출하고, 상기 산출된 교점에 기초하여 관심 오브젝트에 대한 피사계 심도(Depth of Field, DoF)를 산출하며,
상기 산출된 피사계 심도(Depth of Field, DoF)로부터 일정 거리 이상 이격된 타겟 오브젝트에 대해서 블러링 처리하는 어지럼증 예방 장치.
3. The method of claim 2,
Wherein,
Calculating an intersection between focal lengths from the rendering stereo camera, calculating a Depth of Field (DoF) for the object of interest based on the calculated intersection,
And blurring a target object spaced by a predetermined distance from the calculated Depth of Field (DoF).
제5항에 있어서,
상기 처리부는,
상기 피사계 심도(Depth of Field, DoF)에 상응하는 관심원(circle of interest, CoI)을 정의하고, 상기 정의된 관심원(circle of interest, CoI)을 이용하여 착란원(Circle of Confusion, CoC)을 계산하며, 상기 계산된 착란원(Circle of Confusion, CoC)에 따라 블러링을 위한 경계 영역(bounded zone)과 파라미터 값을 정의하여 블러링 처리하는 어지럼증 예방 장치.
6. The method of claim 5,
Wherein,
A circle of interest (CoI) corresponding to the depth of field (DoF) is defined and a Circle of Confusion (CoC) is defined using the defined circle of interest (CoI) And defines a bounded zone and a parameter value for blurring according to the calculated Circle of Confusion (CoC), and performs blurring processing.
제2항에 있어서,
상기 처리부는,
상기 산출된 피사계 심도(Depth of Field, DoF)와 상기 산출된 오브젝트 거리를 이용하여,
실시간으로 고정된 오브젝트에 대한 초점(focal point)을 향하는 렌더링 스테레오 카메라의 방향을 조정하는 어지럼증 예방 장치.
3. The method of claim 2,
Wherein,
Using the calculated Depth of Field (DoF) and the calculated object distance,
A dizziness prevention device that adjusts the orientation of a rendered stereo camera towards a focal point for a fixed object in real time.
컴퓨터에 의해 적어도 일시적으로 구현되는 어지럼증 예방 장치의 동작 방법에 있어서,
렌더링 스테레오 카메라로부터 타겟 오브젝트에 대한 초점 거리(Focal Length) 및 상기 렌더링 스테레오 카메라로부터 상기 타겟 오브젝트까지의 오브젝트 거리를 산출하는 단계;
상기 산출된 초점 거리 이외에 위치하는 다른 타겟 오브젝트에 대한 초점을 블러링 처리하는 단계;
상기 렌더링 스테레오 카메라의 방향을 상기 타겟 오브젝트의 위치에 상응하는 방향으로 조정하는 단계; 및
상기 오브젝트 거리에 기초하여 상기 렌더링 스테레오 카메라의 IPD(inter-pupillary distance)를 조정하는 단계
를 포함하는 어지럼증 예방 장치의 동작 방법.
A method of operation of a dizziness prevention device that is at least temporarily implemented by a computer,
Calculating a focal length of the target object from the rendering stereo camera and an object distance from the rendering stereo camera to the target object;
Blurring a focus of another target object located outside the calculated focal distance;
Adjusting a direction of the rendering stereo camera in a direction corresponding to a position of the target object; And
Adjusting an inter-pupillary distance (IPD) of the rendering stereo camera based on the object distance
The method comprising the steps of:
제8항에 있어서,
상기 산출하는 단계는,
상기 렌더링 스테레오 카메라로부터 제1 타겟 오브젝트까지의 제1 오브젝트 거리와 상기 렌더링 스테레오 카메라로부터 제2 타겟 오브젝트까지의 제2 오브젝트 거리를 산출하는 단계
를 포함하고,
상기 상기 렌더링 스테레오 카메라의 IPD(inter-pupillary distance)를 조정하는 단계는,
상기 렌더링 스테레오 카메라의 IPD(inter-pupillary distance)에 상기 제1 오브젝트 거리 및 상기 제2 오브젝트 거리의 비율을 반영하여 조정할 IPD(inter-pupillary distance)를 계산하는 단계
를 포함하는 어지럼증 예방 장치의 동작 방법.
9. The method of claim 8,
Wherein the calculating step comprises:
Calculating a first object distance from the rendering stereo camera to a first target object and a second object distance from the rendering stereo camera to a second target object,
Lt; / RTI >
Wherein adjusting the inter-pupillary distance (IPD) of the rendering stereo camera comprises:
Calculating an inter-pupillary distance (IPD) to be adjusted by reflecting a ratio of the first object distance and the second object distance to an inter-pupillary distance (IPD) of the rendering stereo camera
The method comprising the steps of:
제8항에 있어서,
상기 렌더링 스테레오 카메라의 방향을 상기 타겟 오브젝트의 위치에 상응하는 방향으로 조정하는 단계는,
현재 콘텐츠 내에서 상기 렌더링 스테레오 카메라가 향하는 방향으로부터 상기 타겟 오브젝트를 향하는 방향으로 조정하는 단계
를 포함하는 어지럼증 예방 장치의 동작 방법.
9. The method of claim 8,
Wherein the step of adjusting the orientation of the rendering stereo camera in a direction corresponding to the position of the target object comprises:
Adjusting in a direction from the direction of the rendering stereo camera toward the target object within the current content
The method comprising the steps of:
제8항에 있어서,
상기 블러링 처리하는 단계는,
상기 렌더링 스테레오 카메라로부터 초점 거리간 교점을 산출하는 단계;
상기 산출된 교점에 기초하여 관심 오브젝트에 대한 피사계 심도(Depth of Field, DoF)를 산출하는 단계; 및
상기 산출된 피사계 심도(Depth of Field, DoF)로부터 일정 거리 이상 이격된 타겟 오브젝트에 대해서 블러링 처리하는 단계
를 포함하는 어지럼증 예방 장치의 동작 방법.
9. The method of claim 8,
The blurring step includes:
Calculating an intersection between the focal lengths from the rendering stereo camera;
Calculating a depth of field (DoF) for the object of interest based on the calculated intersection; And
Blurring a target object spaced by a predetermined distance from the calculated Depth of Field (DoF)
The method comprising the steps of:
제11항에 있어서,
상기 블러링 처리하는 단계는,
상기 피사계 심도(Depth of Field, DoF)에 상응하는 관심원(circle of interest, CoI)을 정의하는 단계;
상기 정의된 관심원(circle of interest, CoI)을 이용하여 착란원(Circle of Confusion, CoC)을 계산하는 단계;
상기 계산된 착란원(Circle of Confusion, CoC)에 따라 블러링을 위한 경계 영역(bounded zone)과 파라미터 값을 정의하여 블러링 처리하는 단계
를 포함하는 어지럼증 예방 장치의 동작 방법.
12. The method of claim 11,
The blurring step includes:
Defining a circle of interest (CoI) corresponding to the depth of field (DoF);
Calculating a Circle of Confusion (CoC) using the defined circle of interest (CoI);
Defining a bounded zone and parameter values for blurring according to the calculated Circle of Confusion (CoC) and blurring
The method comprising the steps of:
제8항에 있어서,
상기 렌더링 스테레오 카메라의 방향을 상기 타겟 오브젝트의 위치에 상응하는 방향으로 조정하는 단계는,
상기 산출된 피사계 심도(Depth of Field, DoF)와 상기 산출된 오브젝트 거리를 이용하여, 실시간으로 고정된 오브젝트에 대한 초점(focal point)을 향하는 렌더링 스테레오 카메라의 방향을 조정하는 단계
를 포함하는 어지럼증 예방 장치의 동작 방법.
9. The method of claim 8,
Wherein the step of adjusting the orientation of the rendering stereo camera in a direction corresponding to the position of the target object comprises:
Adjusting a direction of a rendering stereo camera toward a focal point of an object fixed in real time using the calculated Depth of Field (DoF) and the calculated object distance,
The method comprising the steps of:
KR1020160022853A 2016-02-25 2016-02-25 Apparatus and method of stereo scopic 3d contents creation and display KR101818839B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160022853A KR101818839B1 (en) 2016-02-25 2016-02-25 Apparatus and method of stereo scopic 3d contents creation and display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160022853A KR101818839B1 (en) 2016-02-25 2016-02-25 Apparatus and method of stereo scopic 3d contents creation and display

Publications (2)

Publication Number Publication Date
KR20170100371A true KR20170100371A (en) 2017-09-04
KR101818839B1 KR101818839B1 (en) 2018-01-15

Family

ID=59924335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160022853A KR101818839B1 (en) 2016-02-25 2016-02-25 Apparatus and method of stereo scopic 3d contents creation and display

Country Status (1)

Country Link
KR (1) KR101818839B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022211514A1 (en) * 2021-04-01 2022-10-06 삼성전자 주식회사 Method of providing augmented reality image and head mounted display device supporting same
KR102559913B1 (en) * 2022-10-20 2023-07-26 주식회사 비브스튜디오스 Method for implementing camera movement by using a virtual camera
US11877064B1 (en) * 2019-08-20 2024-01-16 Opic Technologies, Inc. Method and apparatus for a stereoscopic smart phone
US11927756B2 (en) 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100688456B1 (en) * 2005-09-13 2007-03-02 한국방송공사 Method for controlling zoom-convergence interlock in parallel translation axis typed stereo camera system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11877064B1 (en) * 2019-08-20 2024-01-16 Opic Technologies, Inc. Method and apparatus for a stereoscopic smart phone
WO2022211514A1 (en) * 2021-04-01 2022-10-06 삼성전자 주식회사 Method of providing augmented reality image and head mounted display device supporting same
US11927756B2 (en) 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
KR102559913B1 (en) * 2022-10-20 2023-07-26 주식회사 비브스튜디오스 Method for implementing camera movement by using a virtual camera
WO2024085366A1 (en) * 2022-10-20 2024-04-25 주식회사 비브스튜디오스 Camera movement implementation method using virtual camera

Also Published As

Publication number Publication date
KR101818839B1 (en) 2018-01-15

Similar Documents

Publication Publication Date Title
JP7094266B2 (en) Single-depth tracking-accommodation-binocular accommodation solution
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
KR101788452B1 (en) Apparatus and method for replaying contents using eye tracking of users
US20150187115A1 (en) Dynamically adjustable 3d goggles
KR101818839B1 (en) Apparatus and method of stereo scopic 3d contents creation and display
US10616567B1 (en) Frustum change in projection stereo rendering
CN112041788B (en) Selecting text input fields using eye gaze
US9681122B2 (en) Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort
EP3001681B1 (en) Device, method and computer program for 3d rendering
CN106293561B (en) Display control method and device and display equipment
JP7148634B2 (en) head mounted display device
JP6576639B2 (en) Electronic glasses and control method of electronic glasses
US11212502B2 (en) Method of modifying an image on a computational device
US20220365594A1 (en) Control method and apparatus for virtual reality device
US11543655B1 (en) Rendering for multi-focus display systems
KR101873161B1 (en) Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm
CN111279293A (en) Method for modifying image on computing device
US11237413B1 (en) Multi-focal display based on polarization switches and geometric phase lenses
CN110197524B (en) Stereoscopic display method, apparatus, device, and computer-readable storage medium
US10326976B2 (en) Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm
JP7467748B1 (en) Display control device, display system and program
Lee et al. A technique for matching convergence and accommodation in a fixed screen 3D VR HMD
Gurrieri Improvements in the visualization of stereoscopic 3D imagery
JP2016133541A (en) Electronic spectacle and method for controlling the same
WO2014175778A1 (en) Method for implementing an adaptive video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant