WO2024128371A1 - 안면, 안구 형상, 헤드 마운트 디스플레이 착용 위치 기반 고도 영상 출력 방법 - Google Patents

안면, 안구 형상, 헤드 마운트 디스플레이 착용 위치 기반 고도 영상 출력 방법 Download PDF

Info

Publication number
WO2024128371A1
WO2024128371A1 PCT/KR2022/020662 KR2022020662W WO2024128371A1 WO 2024128371 A1 WO2024128371 A1 WO 2024128371A1 KR 2022020662 W KR2022020662 W KR 2022020662W WO 2024128371 A1 WO2024128371 A1 WO 2024128371A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
gaze direction
pupil
position information
Prior art date
Application number
PCT/KR2022/020662
Other languages
English (en)
French (fr)
Inventor
정진수
오현찬
홍성희
김영민
홍지수
김용화
이병효
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of WO2024128371A1 publication Critical patent/WO2024128371A1/ko

Links

Images

Definitions

  • the present invention relates to foveated image generation, and more specifically, to a method of generating foveated images with improved visibility by reflecting the actual shape of the human body and the user's characteristics.
  • HMD Head-Mounted Display
  • a foveated image is an image in which the central area where the user's gaze is directed is a high-resolution image, and the other surrounding areas are composed of low-resolution images.
  • Eye tracking a major element of foveated image generation, currently performs the user's pupil movement on a plane, as shown in FIG. 1. However, the actual movement of the pupil occurs in space, not a plane.
  • the distance between the user's pupil and the display is not constant, but varies depending on the direction of gaze. Therefore, there is a limit to improving the quality (visibility) of foveated images using existing eye tracking.
  • the present invention was created to solve the above problems, and the purpose of the present invention is to determine the distance between the user's eyes, the 3D position information of the pupil, the HMD wearing position, and the eye and The aim is to provide a method of acquiring distance information between HMD eyepieces and correcting foveated images based on the acquired information.
  • a 3D image display method includes tracking the gaze direction of a user wearing a head-mounted display (HMD); Generating a 3D image based on the tracked gaze direction; Determining 3D position information of the pupil according to the tracked gaze direction; Correcting the 3D image based on the identified 3D position information of the pupil; and displaying the corrected 3D image.
  • HMD head-mounted display
  • the three-dimensional position of the pupil can change due to spatial movement in the front of the eye.
  • the 3D image display method further includes acquiring and storing 3D position information of the pupil according to the gaze direction from the user's 3D face model, and the grasping step includes obtaining and storing the 3D position information of the pupil according to the gaze direction stored in the storage step. It may refer to 3D location information.
  • the user's 3D face model may be created using a deep learning model from the user's face scan result or photo.
  • the correction step may be to correct the 3D image based on the identified 3D position information of the pupil and the distance between the user's eyes.
  • the user's binocular distance may be calculated from the user's 3D face model.
  • the correction step may be to correct the 3D image based on the identified 3D position information of the pupil and the distance between the user's left and right eyeballs and the left and right eyepieces of the HMD.
  • the distance between the user's left and right eyeballs and the left and right eyepieces of the HMD may be calculated based on the HMD wearing position, the structural information of the HMD, and the user's 3D face model.
  • the 3D image may be a foveated image.
  • a gaze tracking unit that tracks the gaze direction of a user wearing a 3D image display device;
  • a 3D image generator that generates a 3D image based on the tracked gaze direction, determines 3D position information of the pupil according to the tracked gaze direction, and corrects the 3D image based on the identified 3D position information of the pupil;
  • a 3D image display device comprising a display that displays a corrected 3D image.
  • a method for generating a 3D image including the step of correcting a 3D image based on the identified 3D position information of the pupil.
  • a storage unit that acquires and stores 3D position information of the pupil according to the gaze direction from the user's 3D face model;
  • a gaze tracking unit that tracks the gaze direction of a user wearing a 3D image display device;
  • a 3D image generator that generates a 3D image based on the tracked gaze direction, determines the 3D position information of the pupil according to the tracked gaze direction, and corrects the 3D image based on the identified 3D position information of the pupil.
  • a 3D image generating device comprising:
  • the eye tracking and foveated image generation method of the existing HMD which does not reflect the actual characteristics of the human body and the characteristics of each user, are improved to match the characteristics of the human body and the user.
  • AV/VR service quality can be improved by providing foveated images with higher visibility and efficient video output.
  • FIGS. 2 and 3 are flowcharts provided to explain the foveated image generation/output method according to an embodiment of the present invention
  • Figure 4 shows the movement of the pupil according to the gaze direction
  • Figure 6 shows a method for estimating the HMD wearing position
  • Figure 7 is foveated image correction
  • Figure 8 is an example of generating a foveated image with improved visibility through correction
  • Figure 9 is a diagram showing the configuration of an HMD according to another embodiment of the present invention.
  • An embodiment of the present invention presents a method for outputting altitude images through estimation of HMD mounting position based on facial and eye shape information. This is a technology to improve the existing method of tracking the two-dimensional position of the pupil and to generate high-quality foveated images by reflecting various characteristics of the user.
  • FIGS. 2 and 3 are flowcharts provided to explain a foveated image generation/output method according to an embodiment of the present invention.
  • a 3D face model of the user is first created as shown in FIG. 2 (S110).
  • a 3D face model can be created using a deep learning model learned to create a 3D face model from the user's face scan results or photos.
  • Figure 3 illustrates the results of generating a 3D face model from a user's photo.
  • the user's binocular distance refers to the gap between the left and right eyes.
  • the movement of the pupil along the gaze direction is not a movement on a plane, but a movement in space, more precisely, on a hemisphere. In other words, it is more accurate to express the position of the pupil as it moves as (x,y,z) rather than (x,y).
  • the eye portion is extracted from the user's 3D face model, 3D position information of the pupil according to the gaze direction is calculated, and the calculation result is stored in a table.
  • the HMD wearing position is estimated and the estimated position information is stored (S130).
  • This is a process of estimating where the HMD will be worn on the user's face. It can be estimated through a sensor provided on the HMD, or by matching the user's 3D face model and a virtual 3D HMD model, as shown in Figure 6. You may.
  • the distance between the user's left/right eyeballs and the left/right eyepiece of the HMD is calculated and stored (S140 ).
  • This point can be, for example, a point that protrudes as much as possible in front of the user, that is, a point where the pupil is located on the eyeball when the pupil is facing the front.
  • the 'distance between the left eye and the left eyepiece of the HMD' and the 'distance between the right eye and the right eyepiece of the HMD' may be different, so it is better to calculate both separately.
  • a foveated image is generated according to the user's gaze direction, and is enhanced by correction based on the above information.
  • the gaze direction of the user wearing the HMD is tracked (S210), a foveated image is generated based on the tracked gaze direction (S220), and then a foveated image is generated according to the tracked gaze direction in step S210.
  • step S230 the foveated image generated in step S230 is corrected based on the information below (S240).
  • Figure 7 conceptually shows how to correct a foveated image by reflecting the above information
  • Figure 8 presents an example of creating a foveated image with improved visibility through advancement.
  • step S240 the foveated image corrected in step S240 is displayed (S250).
  • FIG. 9 is a diagram showing the configuration of an HMD according to another embodiment of the present invention.
  • the HMD according to an embodiment of the present invention includes an eye tracking unit 310, a communication unit 320, a foveated image generator 330, a storage unit 340, and a binocular display 350. do.
  • the gaze tracker 310 is an eye-tracking device that tracks the user's gaze and obtains gaze direction information.
  • the communication unit 320 can receive 3D images by connecting to an external device or an external network.
  • Three-dimensional spatial information may be stored in the storage unit 340.
  • the storage unit 340 contains the above-described prior information, such as the user's binocular distance, 3D position information of the pupil according to the gaze direction, HMD wearing position, and the distance between the user's left and right eyeballs and the left and right eyepieces of the HMD. It is saved.
  • the foveated image generator 330 generates and stores a foveated image from the three-dimensional image input from the communication unit 320 or the storage unit 340, based on the gaze direction obtained through the gaze tracking unit 310.
  • the foveated image is corrected based on the prior information stored in the unit 340.
  • the binocular display 350 displays a foveated image generated/corrected by the foveated image generator 330.
  • facial scanning technology using deep learning, etc. is utilized, and an eye tracking solution according to the eye distance suited to the user's characteristics is applied to the HMD device based on the user's 3D facial area and eye movement model information,
  • eye tracking solution according to the eye distance suited to the user's characteristics is applied to the HMD device based on the user's 3D facial area and eye movement model information.
  • a computer-readable recording medium can be any data storage device that can be read by a computer and store data.
  • computer-readable recording media can be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, etc.
  • computer-readable codes or programs stored on a computer-readable recording medium may be transmitted through a network connected between computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)

Abstract

안면, 안구 형상, HMD 착용 위치 기반 고도 영상 출력 방법이 제공된다. 본 발명의 실시예에 따른 3D 영상 표시 방법은, HMD를 착용한 사용자의 시선 방향를 추적하고, 추적된 시선 방향을 기초로, 3D 영상을 생성하며, 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하고, 파악된 동공의 3차원 위치 정보를 기초로 3D 영상을 보정하며, 보정된 3D 영상을 표시한다. 이에 의해, 인체의 실제 특성과 사용자 개개인의 특성을 반영하지 못하는 기존의 HMD의 시선 추적 및 포비티드 영상 생성 방식을 개선하여, 인체와 사용자의 특성에 맞는 보다 시인성 높은 포비티드 영상 제공 및 효율적인 영상 출력을 통하여 AV/VR 서비스 품질을 개선할 수 있게 된다.

Description

안면, 안구 형상, 헤드 마운트 디스플레이 착용 위치 기반 고도 영상 출력 방법
본 발명은 포비티드 영상 생성에 관한 것으로, 더욱 상세하게는 인체의 실제 형상과 사용자의 특성을 반영하여 시인성이 보다 향상된 포비티드 영상을 생성하는 방법에 관한 것이다.
가상현실 영상을 감상하기 위한 HMD(Head-Mounted Display)는 시선 추적(eye-tracking) 방식을 적용하여, 동공 위치에 따라 디스플레이할 포비티드 영상을 구성한다. 포비티드 영상은 사용자의 시선이 향하는 중심 영역은 고해상도 영상으로, 그 밖의 주변 영역은 저해상도 영상으로 구성한 영상이다.
포비티드 영상 생성의 주요 요소인 시선 추적은 현재 도 1에 도시된 바와 같이 사용자의 동공 움직임을 평면 상에서 수행하고 있다. 하지만 동공의 실제 움직임은 평면이 아닌 공간 상에서 이루어진다.
이에 따라 사용자의 동공과 디스플레이까지의 거리는 일정한 것이 아니라, 시선 방향에 따라 달라지게 된다. 따라서 기존의 시선 추적에 의해서는 포비티드 영상의 품질(시인성) 향상에 제한이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 사용자의 3D 얼굴 모델과 HMD의 구조 정보로부터 사용자의 양안 거리, 동공의 3차원 위치 정보, HMD 착용 위치, 안구와 HMD 접안면 간의 거리 정보를 취득하고, 취득된 정보들을 바탕으로 포비티드 영상을 보정하는 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3D 영상 표시 방법은 HMD(Head-Mounted Display)를 착용한 사용자의 시선 방향를 추적하는 단계; 추적된 시선 방향을 기초로, 3D 영상을 생성하는 단계; 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하는 단계; 파악된 동공의 3차원 위치 정보를 기초로, 3D 영상을 보정하는 단계; 및 보정된 3D 영상을 표시하는 단계;를 포함한다.
동공의 3차원 위치는, 안구의 전면에서 공간적 움직임에 의해 변화할 수 있다.
본 발명에 따른 3D 영상 표시 방법은 사용자의 3D 얼굴 모델로부터 시선 방향에 따른 동공의 3차원 위치 정보를 취득하여 저장하는 단계;를 더 포함하고, 파악 단계는, 저장 단계에서 저장된 시선 방향에 따른 동공의 3차원 위치 정보를 참조하는 것일 수 있다.
사용자의 3D 얼굴 모델은, 사용자의 얼굴 스캔 결과 또는 사진으로부터 딥러닝 모델을 이용하여 생성하는 것일 수 있다.
보정 단계는, 파악된 동공의 3차원 위치 정보와 사용자의 양안 거리를 기초로, 3D 영상을 보정하는 것일 수 있다.
사용자의 양안 거리는, 사용자의 3D 얼굴 모델로부터 계산될 수 있다.
보정 단계는, 파악된 동공의 3차원 위치 정보와 사용자의 좌우 안구와 HMD의 좌우 접안면 간의 거리를 기초로, 3D 영상을 보정하는 것일 수 있다.
사용자의 좌우 안구와 HMD의 좌우 접안면 간의 거리는, HMD 착용 위치, HMD의 구조 정보 및 사용자의 3D 얼굴 모델을 기초로 계산될 수 있다.
3D 영상은, 포비티드 영상일 수 있다.
본 발명의 다른 측면에 따르면, 3D 영상 표시 장치를 착용한 사용자의 시선 방향를 추적하는 시선 추적부; 추적된 시선 방향을 기초로 3D 영상을 생성하고, 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하며, 파악된 동공의 3차원 위치 정보를 기초로 3D 영상을 보정하는 3D 영상 생성부; 보정된 3D 영상을 표시하는 디스플레이;를 포함하는 것을 특징으로 3D 영상 표시 장치가 제공된다.
본 발명의 또다른 측면에 따르면, 사용자의 3D 얼굴 모델로부터 시선 방향에 따른 동공의 3차원 위치 정보를 취득하여 저장하는 단계; 3D 영상 표시 장치를 착용한 사용자의 시선 방향를 추적하는 단계; 추적된 시선 방향을 기초로, 3D 영상을 생성하는 단계; 및 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하는 단계; 파악된 동공의 3차원 위치 정보를 기초로, 3D 영상을 보정하는 단계;를 포함하는 것을 특징으로 3D 영상 생성 방법이 제공된다.
본 발명의 또다른 측면에 따르면, 사용자의 3D 얼굴 모델로부터 시선 방향에 따른 동공의 3차원 위치 정보를 취득하여 저장하는 저장부; 3D 영상 표시 장치를 착용한 사용자의 시선 방향를 추적하는 시선 추적부; 추적된 시선 방향을 기초로, 3D 영상을 생성하고, 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하며, 파악된 동공의 3차원 위치 정보를 기초로 3D 영상을 보정하는 3D 영상 생성부;를 포함하는 것을 특징으로 3D 영상 생성 장치가 제공된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 인체의 실제 특성과 사용자 개개인의 특성을 반영하지 못하는 기존의 HMD의 시선 추적 및 포비티드 영상 생성 방식을 개선하여, 인체와 사용자의 특성에 맞는 보다 시인성 높은 포비티드 영상 제공 및 효율적인 영상 출력을 통하여 AV/VR 서비스 품질을 개선할 수 있게 된다.
도 1은 종래의 시선 추적 방법,
도 2 및 도 3은 본 발명의 일 실시예에 따른 포비티드 영상 생성/출력 방법의 설명에 제공되는 흐름도,
도 4는 시선 방향에 따른 동공의 움직임,
도 6은 HMD 착용 위치 추정 방법,
도 7은 포비티드 영상 보정,
도 8은 보정을 통해 시인성이 향상된 포비티드 영상의 생성예,
도 9는 본 발명의 다른 실시예에 따른 HMD의 구성을 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 안면 및 안구 형상 정보 기반 HMD 장착 위치 추정을 통한 고도 영상 출력 방법을 제시한다. 동공의 2차원적 위치를 추적하던 기존의 방식을 개선하고, 사용자의 다양한 특성까지 반영하여 고품질의 포비티드 영상을 생성하기 위한 기술이다.
도 2와 도 3은 본 발명의 일 실시예에 따른 포비티드 영상 생성/출력 방법의 설명에 제공되는 흐름도이다.
고도화된 포비티드 영상을 생성하여 출력하기 위해, 먼저 도 2에 도시된 바와 같이 사용자의 3D 얼굴 모델(3D face model)을 생성한다(S110).
3D 얼굴 모델은 사용자의 얼굴 스캔 결과나 사진으로부터 3D 얼굴 모델을 생성하도록 학습된 딥러닝 모델을 이용하여 생성할 수 있다. 도 3에는 사용자의 사진으로부터 3D 얼굴 모델을 생성한 결과를 예시하였다.
다음 S110단계에서 생성된 사용자의 3D 얼굴 모델로부터 1) 사용자의 양안 거리, 2) 시선 방향에 따른 동공의 3차원 위치 정보를 취득한다(S120). 사용자의 양안 거리는 좌안과 우안 사이의 간격을 말한다.
도 5에 도시된 바와 같이 시선 방향에 따른 동공의 움직임은 평면 상에서 움직임이 아닌 공간 상, 보다 정확하게서는 반구면 상에서의 움직임이다. 즉 동공이 이동함에 따른 동공의 위치는 (x,y) 보다 (x,y,z)로 나타내는 것이 정확하다.
이에 따라 본 발명의 실시예에서는 사용자의 3D 얼굴 모델에서 안구 부분을 추출하여, 시선 방향에 따른 동공의 3차원 위치 정보를 계산하고, 계산 결과를 테이블에 저장한다.
그리고 HMD 착용 위치를 추정하고, 추정된 위치 정보를 저장한다(S130). 이는 HMD가 사용자 얼굴의 어느 위치에 착용될 것인지 추정하는 과정으로, HMD에 마련된 센서를 통해 추정할 수도 있고, 도 6에 도시된 바와 같이 사용자의 3D 얼굴 모델과 가상의 3D HMD 모델을 매칭하여 추정할 수도 있다.
다음 HMD 착용 위치, HMD의 구조 정보(가로, 세로, 깊이 사이즈) 및 사용자의 3D 얼굴 모델을 바탕으로, 사용자의 좌/우 안구와 HMD의 좌/우 접안면 간의 거리를 계산하여 저장한다(S140).
사용자의 좌/우 안구는 구형이므로 거리 계산을 위해서는 한 점을 지정하여야 한다. 이 점은 이를 테면 사용자의 전방으로 최대한 돌출되어 있는 점, 즉 동공이 정면을 향하고 있을 때 안구 상에서 동공이 위치하는 점으로 할 수 있다.
사용자에 따라 '좌측 안구와 HMD의 좌측 접안면 간의 거리'와 '우측 안구와 HMD의 우측 접안면 간의 거리'는 다를 수 있으므로, 양자를 각각 계산하는 것이 좋다.
이에 의해 고도화된 포비티드 영상을 생성하기 위한 사전 정보가 모두 취득되었다. 이후에는 사용자 시선 방향에 따른 포비티드 영상을 생성하고, 위 정보들을 기초로 보정하여 고도화한다.
구체적으로 도 3에 도시된 바와 같이 HMD를 착용한 사용자의 시선 방향를 추적하고(S210), 추적된 시선 방향을 기초로 포비티드 영상을 생성한 다음(S220), S210단계에서 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악한다(S230).
다음 S230단계에서 생성된 포비티드 영상을 아래의 정보들을 기초로 보정한다(S240).
1) 도 2의 S120단계에서 취득된 사용자의 양안 거리
2) S230단계에서 파악된 동공의 3차원 위치 정보
3) 도 2의 S130단계에서 추정된 HMD 착용 위치
4) 도 2의 S140단계에서 계산된 사용자의 좌/우 안구와 HMD의 좌/우 접안면 간의 거리
도 7에는 위 정보들을 반영하여 포비티드 영상을 보정하는 것을 개념적으로 도시하였고, 도 8에는 이에 따른 고도화를 통해 시인성을 향상시킨 포비티드 영상의 생성예를 제시하였다.
이후 S240단계에서 보정된 포비티드 영상을 표시한다(S250).
도 9는 본 발명의 다른 실시예에 따른 HMD의 구성을 도시한 도면이다. 본 발명의 실시예에 따른 HMD는 도시된 바와 같이, 시선 추적부(310), 통신부(320), 포비티드 영상 생성부(330), 저장부(340) 및 양안 디스플레이(350)를 포함하여 구성된다.
시선 추적부(310)는 사용자의 시선을 추적하여 시선 방향 정보를 획득하는 eye-tracking 장치이다. 통신부(320)는 외부 기기 또는 외부 네트워크에 연결하여, 3차원 영상을 수신할 수 있다.
저장부(340)에는 3차원 공간 정보가 저장될 수 있다. 또한 저장부(340)에는 전술한 사전 정보들인, 사용자의 양안 거리, 시선 방향에 따른 동공의 3차원 위치 정보, HMD 착용 위치, 사용자의 좌/우 안구와 HMD의 좌/우 접안면 간의 거리가 저장된다.
포비티드 영상 생성부(330)는 시선 추적부(310)를 통해 획득된 시선 방향을 기초로, 통신부(320)나 저장부(340)로부터 입력되는 3차원 영상으로부터 포비티드 영상을 생성하고, 저장부(340)에 저장된 사전 정보들을 기초로 포비티드 영상을 보정한다.
양안 디스플레이(350)는 포비티드 영상 생성부(330)에 의해 생성/보정된 포비티드 영상을 디스플레이한다.
지금까지 안면, 안구 형상, HMD 착용 위치 기반 고도 영상 출력 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는 딥러닝 등을 이용한 안면 스캐닝 기술을 활용하여, 사용자의 3차원 안면부 및 안구 운동 모델 정보를 기반으로, HMD 기구에서 사용자의 특성에 맞는 안구 거리에 따른 안구 추적 솔루션을 적용하여, 사용자의 특성에 맞추어 안구의 위치 및 운동에 따라 디스플레이 되는 영상의 시인성의 향상 및 영상 출력의 효율성을 추구하였다.
이에 의해 사용자 개개인의 특성을 반영하지 못하는 기존의 HMD의 영상 출력 및 안구 추적 시스템을 개선하여, 사용자의 특성에 맞는 보다 시인성 높은 영상 제공 및 효율적인 영상 출력을 통하여 가상증강현실 HMD를 개선할 수 있게 된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (12)

  1. HMD(Head-Mounted Display)를 착용한 사용자의 시선 방향를 추적하는 단계;
    추적된 시선 방향을 기초로, 3D 영상을 생성하는 단계;
    추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하는 단계;
    파악된 동공의 3차원 위치 정보를 기초로, 3D 영상을 보정하는 단계; 및
    보정된 3D 영상을 표시하는 단계;를 포함하는 것을 특징으로 3D 영상 표시 방법.
  2. 청구항 1에 있어서,
    동공의 3차원 위치는,
    안구의 전면에서 공간적 움직임에 의해 변화하는 것을 특징으로 3D 영상 표시 방법.
  3. 청구항 2에 있어서,
    사용자의 3D 얼굴 모델로부터 시선 방향에 따른 동공의 3차원 위치 정보를 취득하여 저장하는 단계;를 더 포함하고,
    파악 단계는,
    저장 단계에서 저장된 시선 방향에 따른 동공의 3차원 위치 정보를 참조하는 것을 특징으로 3D 영상 표시 방법.
  4. 청구항 3에 있어서,
    사용자의 3D 얼굴 모델은,
    사용자의 얼굴 스캔 결과 또는 사진으로부터 딥러닝 모델을 이용하여 생성하는 것을 특징으로 3D 영상 표시 방법.
  5. 청구항 1에 있어서,
    보정 단계는,
    파악된 동공의 3차원 위치 정보와 사용자의 양안 거리를 기초로, 3D 영상을 보정하는 것을 특징으로 3D 영상 표시 방법.
  6. 청구항 5에 있어서,
    사용자의 양안 거리는,
    사용자의 3D 얼굴 모델로부터 계산되는 것을 특징으로 3D 영상 표시 방법.
  7. 청구항 1에 있어서,
    보정 단계는,
    파악된 동공의 3차원 위치 정보와 사용자의 좌우 안구와 HMD의 좌우 접안면 간의 거리를 기초로, 3D 영상을 보정하는 것을 특징으로 3D 영상 표시 방법.
  8. 청구항 7에 있어서,
    사용자의 좌우 안구와 HMD의 좌우 접안면 간의 거리는,
    HMD 착용 위치, HMD의 구조 정보 및 사용자의 3D 얼굴 모델을 기초로 계산되는 것을 특징으로 3D 영상 표시 방법.
  9. 청구항 1에 있어서,
    3D 영상은,
    포비티드 영상인 것을 특징으로 3D 영상 표시 방법.
  10. 3D 영상 표시 장치를 착용한 사용자의 시선 방향를 추적하는 시선 추적부;
    추적된 시선 방향을 기초로 3D 영상을 생성하고, 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하며, 파악된 동공의 3차원 위치 정보를 기초로 3D 영상을 보정하는 3D 영상 생성부;
    보정된 3D 영상을 표시하는 디스플레이;를 포함하는 것을 특징으로 3D 영상 표시 장치.
  11. 사용자의 3D 얼굴 모델로부터 시선 방향에 따른 동공의 3차원 위치 정보를 취득하여 저장하는 단계;
    3D 영상 표시 장치를 착용한 사용자의 시선 방향를 추적하는 단계;
    추적된 시선 방향을 기초로, 3D 영상을 생성하는 단계; 및
    추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하는 단계;
    파악된 동공의 3차원 위치 정보를 기초로, 3D 영상을 보정하는 단계;를 포함하는 것을 특징으로 3D 영상 생성 방법.
  12. 사용자의 3D 얼굴 모델로부터 시선 방향에 따른 동공의 3차원 위치 정보를 취득하여 저장하는 저장부;
    3D 영상 표시 장치를 착용한 사용자의 시선 방향를 추적하는 시선 추적부;
    추적된 시선 방향을 기초로, 3D 영상을 생성하고, 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하며, 파악된 동공의 3차원 위치 정보를 기초로 3D 영상을 보정하는 3D 영상 생성부;를 포함하는 것을 특징으로 3D 영상 생성 장치.
PCT/KR2022/020662 2022-12-16 2022-12-19 안면, 안구 형상, 헤드 마운트 디스플레이 착용 위치 기반 고도 영상 출력 방법 WO2024128371A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0177245 2022-12-16
KR1020220177245A KR102586828B1 (ko) 2022-12-16 2022-12-16 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법

Publications (1)

Publication Number Publication Date
WO2024128371A1 true WO2024128371A1 (ko) 2024-06-20

Family

ID=88291998

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/020662 WO2024128371A1 (ko) 2022-12-16 2022-12-19 안면, 안구 형상, 헤드 마운트 디스플레이 착용 위치 기반 고도 영상 출력 방법

Country Status (2)

Country Link
KR (1) KR102586828B1 (ko)
WO (1) WO2024128371A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2886041A1 (en) * 2013-12-17 2015-06-24 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for calibrating a head-mounted eye tracking device
KR102564479B1 (ko) * 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
KR102092931B1 (ko) * 2017-09-13 2020-03-24 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
US11132056B2 (en) * 2019-12-04 2021-09-28 Facebook Technologies, Llc Predictive eye tracking systems and methods for foveated rendering for electronic displays

Also Published As

Publication number Publication date
KR102586828B1 (ko) 2023-10-10

Similar Documents

Publication Publication Date Title
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
WO2019216491A1 (en) A method of analyzing objects in images recorded by a camera of a head mounted device
US11854171B2 (en) Compensation for deformation in head mounted display systems
CN108596854B (zh) 图像畸变校正方法及装置、计算机可读介质、电子设备
EP3011412A1 (en) Concurrent optimal viewing of virtual objects
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
CN109901290B (zh) 注视区域的确定方法、装置及可穿戴设备
US20230156176A1 (en) Head mounted display apparatus
CN110651467B (zh) 基于非视觉姿势数据的深度数据调整
CN113438464A (zh) 一种裸眼3d显示模式的切换控制方法、介质和系统
CN114371779B (zh) 一种视线深度引导的视觉增强方法
WO2024128371A1 (ko) 안면, 안구 형상, 헤드 마운트 디스플레이 착용 위치 기반 고도 영상 출력 방법
CN116301379A (zh) 3d场景影像全息显示方法、装置、系统、设备及存储介质
CN107608513B (zh) 一种穿戴式设备及数据处理方法
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
CN109963143A (zh) 一种ar眼镜的图像获取方法及系统
EP3800530A1 (en) Methods and systems for a head-mounted device for updating an eye tracking model
CN115202475A (zh) 显示方法、装置、电子设备及计算机可读存储介质
WO2020262738A1 (ko) 투명 oled 디스플레이를 이용한 ar 쇼케이스
US11270673B2 (en) Image generation apparatus, image generation method, and program
JP2595942B2 (ja) 立体画像表示装置
KR20180000417A (ko) 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법
Spandonidis et al. Development of visual sensors and augmented reality based smart glasses for enhancement of business sustainability and wellbeing of the aging workforce
CN109313823B (zh) 信息处理装置、信息处理方法和计算机可读介质
CN112085777A (zh) 六自由度vr眼镜