KR102586828B1 - 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법 - Google Patents

안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법 Download PDF

Info

Publication number
KR102586828B1
KR102586828B1 KR1020220177245A KR20220177245A KR102586828B1 KR 102586828 B1 KR102586828 B1 KR 102586828B1 KR 1020220177245 A KR1020220177245 A KR 1020220177245A KR 20220177245 A KR20220177245 A KR 20220177245A KR 102586828 B1 KR102586828 B1 KR 102586828B1
Authority
KR
South Korea
Prior art keywords
gaze direction
user
position information
image
pupil
Prior art date
Application number
KR1020220177245A
Other languages
English (en)
Inventor
정진수
오현찬
홍성희
김영민
홍지수
김용화
이병효
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020220177245A priority Critical patent/KR102586828B1/ko
Priority to PCT/KR2022/020662 priority patent/WO2024128371A1/ko
Application granted granted Critical
Publication of KR102586828B1 publication Critical patent/KR102586828B1/ko

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

안면, 안구 형상, HMD 착용 위치 기반 고도 영상 출력 방법이 제공된다. 본 발명의 실시예에 따른 3D 영상 표시 방법은, HMD를 착용한 사용자의 시선 방향를 추적하고, 추적된 시선 방향을 기초로, 3D 영상을 생성하며, 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하고, 파악된 동공의 3차원 위치 정보를 기초로 3D 영상을 보정하며, 보정된 3D 영상을 표시한다. 이에 의해, 인체의 실제 특성과 사용자 개개인의 특성을 반영하지 못하는 기존의 HMD의 시선 추적 및 포비티드 영상 생성 방식을 개선하여, 인체와 사용자의 특성에 맞는 보다 시인성 높은 포비티드 영상 제공 및 효율적인 영상 출력을 통하여 AV/VR 서비스 품질을 개선할 수 있게 된다.

Description

안면, 안구 형상, HMD 착용 위치 기반 고도 영상 출력 방법{Advanced image display method based on face, eye shape, and HMD wearing position}
본 발명은 포비티드 영상 생성에 관한 것으로, 더욱 상세하게는 인체의 실제 형상과 사용자의 특성을 반영하여 시인성이 보다 향상된 포비티드 영상을 생성하는 방법에 관한 것이다.
가상현실 영상을 감상하기 위한 HMD(Head-Mounted Display)는 시선 추적(eye-tracking) 방식을 적용하여, 동공 위치에 따라 디스플레이할 포비티드 영상을 구성한다. 포비티드 영상은 사용자의 시선이 향하는 중심 영역은 고해상도 영상으로, 그 밖의 주변 영역은 저해상도 영상으로 구성한 영상이다.
포비티드 영상 생성의 주요 요소인 시선 추적은 현재 도 1에 도시된 바와 같이 사용자의 동공 움직임을 평면 상에서 수행하고 있다. 하지만 동공의 실제 움직임은 평면이 아닌 공간 상에서 이루어진다.
이에 따라 사용자의 동공과 디스플레이까지의 거리는 일정한 것이 아니라, 시선 방향에 따라 달라지게 된다. 따라서 기존의 시선 추적에 의해서는 포비티드 영상의 품질(시인성) 향상에 제한이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 사용자의 3D 얼굴 모델과 HMD의 구조 정보로부터 사용자의 양안 거리, 동공의 3차원 위치 정보, HMD 착용 위치, 안구와 HMD 접안면 간의 거리 정보를 취득하고, 취득된 정보들을 바탕으로 포비티드 영상을 보정하는 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3D 영상 표시 방법은 HMD(Head-Mounted Display)를 착용한 사용자의 시선 방향를 추적하는 단계; 추적된 시선 방향을 기초로, 3D 영상을 생성하는 단계; 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하는 단계; 파악된 동공의 3차원 위치 정보를 기초로, 3D 영상을 보정하는 단계; 및 보정된 3D 영상을 표시하는 단계;를 포함한다.
동공의 3차원 위치는, 안구의 전면에서 공간적 움직임에 의해 변화할 수 있다.
본 발명에 따른 3D 영상 표시 방법은 사용자의 3D 얼굴 모델로부터 시선 방향에 따른 동공의 3차원 위치 정보를 취득하여 저장하는 단계;를 더 포함하고, 파악 단계는, 저장 단계에서 저장된 시선 방향에 따른 동공의 3차원 위치 정보를 참조하는 것일 수 있다.
사용자의 3D 얼굴 모델은, 사용자의 얼굴 스캔 결과 또는 사진으로부터 딥러닝 모델을 이용하여 생성하는 것일 수 있다.
보정 단계는, 파악된 동공의 3차원 위치 정보와 사용자의 양안 거리를 기초로, 3D 영상을 보정하는 것일 수 있다.
사용자의 양안 거리는, 사용자의 3D 얼굴 모델로부터 계산될 수 있다.
보정 단계는, 파악된 동공의 3차원 위치 정보와 사용자의 좌우 안구와 HMD의 좌우 접안면 간의 거리를 기초로, 3D 영상을 보정하는 것일 수 있다.
사용자의 좌우 안구와 HMD의 좌우 접안면 간의 거리는, HMD 착용 위치, HMD의 구조 정보 및 사용자의 3D 얼굴 모델을 기초로 계산될 수 있다.
3D 영상은, 포비티드 영상일 수 있다.
본 발명의 다른 측면에 따르면, 3D 영상 표시 장치를 착용한 사용자의 시선 방향를 추적하는 시선 추적부; 추적된 시선 방향을 기초로 3D 영상을 생성하고, 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하며, 파악된 동공의 3차원 위치 정보를 기초로 3D 영상을 보정하는 3D 영상 생성부; 보정된 3D 영상을 표시하는 디스플레이;를 포함하는 것을 특징으로 3D 영상 표시 장치가 제공된다.
본 발명의 또다른 측면에 따르면, 사용자의 3D 얼굴 모델로부터 시선 방향에 따른 동공의 3차원 위치 정보를 취득하여 저장하는 단계; 3D 영상 표시 장치를 착용한 사용자의 시선 방향를 추적하는 단계; 추적된 시선 방향을 기초로, 3D 영상을 생성하는 단계; 및 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하는 단계; 파악된 동공의 3차원 위치 정보를 기초로, 3D 영상을 보정하는 단계;를 포함하는 것을 특징으로 3D 영상 생성 방법이 제공된다.
본 발명의 또다른 측면에 따르면, 사용자의 3D 얼굴 모델로부터 시선 방향에 따른 동공의 3차원 위치 정보를 취득하여 저장하는 저장부; 3D 영상 표시 장치를 착용한 사용자의 시선 방향를 추적하는 시선 추적부; 추적된 시선 방향을 기초로, 3D 영상을 생성하고, 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하며, 파악된 동공의 3차원 위치 정보를 기초로 3D 영상을 보정하는 3D 영상 생성부;를 포함하는 것을 특징으로 3D 영상 생성 장치가 제공된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 인체의 실제 특성과 사용자 개개인의 특성을 반영하지 못하는 기존의 HMD의 시선 추적 및 포비티드 영상 생성 방식을 개선하여, 인체와 사용자의 특성에 맞는 보다 시인성 높은 포비티드 영상 제공 및 효율적인 영상 출력을 통하여 AV/VR 서비스 품질을 개선할 수 있게 된다.
도 1은 종래의 시선 추적 방법,
도 2 및 도 3은 본 발명의 일 실시예에 따른 포비티드 영상 생성/출력 방법의 설명에 제공되는 흐름도,
도 4는 시선 방향에 따른 동공의 움직임,
도 6은 HMD 착용 위치 추정 방법,
도 7은 포비티드 영상 보정,
도 8은 보정을 통해 시인성이 향상된 포비티드 영상의 생성예,
도 9는 본 발명의 다른 실시예에 따른 HMD의 구성을 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 안면 및 안구 형상 정보 기반 HMD 장착 위치 추정을 통한 고도 영상 출력 방법을 제시한다. 동공의 2차원적 위치를 추적하던 기존의 방식을 개선하고, 사용자의 다양한 특성까지 반영하여 고품질의 포비티드 영상을 생성하기 위한 기술이다.
도 2와 도 3은 본 발명의 일 실시예에 따른 포비티드 영상 생성/출력 방법의 설명에 제공되는 흐름도이다.
고도화된 포비티드 영상을 생성하여 출력하기 위해, 먼저 도 2에 도시된 바와 같이 사용자의 3D 얼굴 모델(3D face model)을 생성한다(S110).
3D 얼굴 모델은 사용자의 얼굴 스캔 결과나 사진으로부터 3D 얼굴 모델을 생성하도록 학습된 딥러닝 모델을 이용하여 생성할 수 있다. 도 3에는 사용자의 사진으로부터 3D 얼굴 모델을 생성한 결과를 예시하였다.
다음 S110단계에서 생성된 사용자의 3D 얼굴 모델로부터 1) 사용자의 양안 거리, 2) 시선 방향에 따른 동공의 3차원 위치 정보를 취득한다(S120). 사용자의 양안 거리는 좌안과 우안 사이의 간격을 말한다.
도 5에 도시된 바와 같이 시선 방향에 따른 동공의 움직임은 평면 상에서 움직임이 아닌 공간 상, 보다 정확하게서는 반구면 상에서의 움직임이다. 즉 동공이 이동함에 따른 동공의 위치는 (x,y) 보다 (x,y,z)로 나타내는 것이 정확하다.
이에 따라 본 발명의 실시예에서는 사용자의 3D 얼굴 모델에서 안구 부분을 추출하여, 시선 방향에 따른 동공의 3차원 위치 정보를 계산하고, 계산 결과를 테이블에 저장한다.
그리고 HMD 착용 위치를 추정하고, 추정된 위치 정보를 저장한다(S130). 이는 HMD가 사용자 얼굴의 어느 위치에 착용될 것인지 추정하는 과정으로, HMD에 마련된 센서를 통해 추정할 수도 있고, 도 6에 도시된 바와 같이 사용자의 3D 얼굴 모델과 가상의 3D HMD 모델을 매칭하여 추정할 수도 있다.
다음 HMD 착용 위치, HMD의 구조 정보(가로, 세로, 깊이 사이즈) 및 사용자의 3D 얼굴 모델을 바탕으로, 사용자의 좌/우 안구와 HMD의 좌/우 접안면 간의 거리를 계산하여 저장한다(S140).
사용자의 좌/우 안구는 구형이므로 거리 계산을 위해서는 한 점을 지정하여야 한다. 이 점은 이를 테면 사용자의 전방으로 최대한 돌출되어 있는 점, 즉 동공이 정면을 향하고 있을 때 안구 상에서 동공이 위치하는 점으로 할 수 있다.
사용자에 따라 '좌측 안구와 HMD의 좌측 접안면 간의 거리'와 '우측 안구와 HMD의 우측 접안면 간의 거리'는 다를 수 있으므로, 양자를 각각 계산하는 것이 좋다.
이에 의해 고도화된 포비티드 영상을 생성하기 위한 사전 정보가 모두 취득되었다. 이후에는 사용자 시선 방향에 따른 포비티드 영상을 생성하고, 위 정보들을 기초로 보정하여 고도화한다.
구체적으로 도 3에 도시된 바와 같이 HMD를 착용한 사용자의 시선 방향를 추적하고(S210), 추적된 시선 방향을 기초로 포비티드 영상을 생성한 다음(S220), S210단계에서 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악한다(S230).
다음 S230단계에서 생성된 포비티드 영상을 아래의 정보들을 기초로 보정한다(S240).
1) 도 2의 S120단계에서 취득된 사용자의 양안 거리
2) S230단계에서 파악된 동공의 3차원 위치 정보
3) 도 2의 S130단계에서 추정된 HMD 착용 위치
4) 도 2의 S140단계에서 계산된 사용자의 좌/우 안구와 HMD의 좌/우 접안면 간의 거리
도 7에는 위 정보들을 반영하여 포비티드 영상을 보정하는 것을 개념적으로 도시하였고, 도 8에는 이에 따른 고도화를 통해 시인성을 향상시킨 포비티드 영상의 생성예를 제시하였다.
이후 S240단계에서 보정된 포비티드 영상을 표시한다(S250).
도 9는 본 발명의 다른 실시예에 따른 HMD의 구성을 도시한 도면이다. 본 발명의 실시예에 따른 HMD는 도시된 바와 같이, 시선 추적부(310), 통신부(320), 포비티드 영상 생성부(330), 저장부(340) 및 양안 디스플레이(350)를 포함하여 구성된다.
시선 추적부(310)는 사용자의 시선을 추적하여 시선 방향 정보를 획득하는 eye-tracking 장치이다. 통신부(320)는 외부 기기 또는 외부 네트워크에 연결하여, 3차원 영상을 수신할 수 있다.
저장부(340)에는 3차원 공간 정보가 저장될 수 있다. 또한 저장부(340)에는 전술한 사전 정보들인, 사용자의 양안 거리, 시선 방향에 따른 동공의 3차원 위치 정보, HMD 착용 위치, 사용자의 좌/우 안구와 HMD의 좌/우 접안면 간의 거리가 저장된다.
포비티드 영상 생성부(330)는 시선 추적부(310)를 통해 획득된 시선 방향을 기초로, 통신부(320)나 저장부(340)로부터 입력되는 3차원 영상으로부터 포비티드 영상을 생성하고, 저장부(340)에 저장된 사전 정보들을 기초로 포비티드 영상을 보정한다.
양안 디스플레이(350)는 포비티드 영상 생성부(330)에 의해 생성/보정된 포비티드 영상을 디스플레이한다.
지금까지 안면, 안구 형상, HMD 착용 위치 기반 고도 영상 출력 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는 딥러닝 등을 이용한 안면 스캐닝 기술을 활용하여, 사용자의 3차원 안면부 및 안구 운동 모델 정보를 기반으로, HMD 기구에서 사용자의 특성에 맞는 안구 거리에 따른 안구 추적 솔루션을 적용하여, 사용자의 특성에 맞추어 안구의 위치 및 운동에 따라 디스플레이 되는 영상의 시인성의 향상 및 영상 출력의 효율성을 추구하였다.
이에 의해 사용자 개개인의 특성을 반영하지 못하는 기존의 HMD의 영상 출력 및 안구 추적 시스템을 개선하여, 사용자의 특성에 맞는 보다 시인성 높은 영상 제공 및 효율적인 영상 출력을 통하여 가상증강현실 HMD를 개선할 수 있게 된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
310 : 시선 추적부
320 : 통신부
330 : 포비티드 영상 생성부
340 : 저장부
350 : 양안 디스플레이

Claims (12)

  1. 사용자의 3D 얼굴 모델로부터 시선 방향에 따른 동공의 3차원 위치 정보를 취득하여 저장하는 단계;
    HMD(Head-Mounted Display)를 착용한 사용자의 시선 방향을 추적하는 단계;
    추적된 시선 방향을 기초로, 3D 영상을 생성하는 단계;
    저장 단계에서 저장된 시선 방향에 따른 동공의 3차원 위치 정보를 참조하여, 추적 단계에서 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하는 단계;
    파악된 동공의 3차원 위치 정보를 기초로, 3D 영상을 보정하는 단계; 및
    보정된 3D 영상을 표시하는 단계;를 포함하는 것을 특징으로 3D 영상 표시 방법.
  2. 청구항 1에 있어서,
    동공의 3차원 위치는,
    안구의 전면에서 공간적 움직임에 의해 변화하는 것을 특징으로 3D 영상 표시 방법.
  3. 삭제
  4. 청구항 1에 있어서,
    사용자의 3D 얼굴 모델은,
    사용자의 얼굴 스캔 결과 또는 사진으로부터 딥러닝 모델을 이용하여 생성하는 것을 특징으로 3D 영상 표시 방법.
  5. 청구항 1에 있어서,
    보정 단계는,
    파악된 동공의 3차원 위치 정보와 사용자의 양안 거리를 기초로, 3D 영상을 보정하는 것을 특징으로 3D 영상 표시 방법.
  6. 청구항 5에 있어서,
    사용자의 양안 거리는,
    사용자의 3D 얼굴 모델로부터 계산되는 것을 특징으로 3D 영상 표시 방법.
  7. 청구항 1에 있어서,
    보정 단계는,
    파악된 동공의 3차원 위치 정보와 사용자의 좌우 안구와 HMD의 좌우 접안면 간의 거리를 기초로, 3D 영상을 보정하는 것을 특징으로 3D 영상 표시 방법.
  8. 청구항 7에 있어서,
    사용자의 좌우 안구와 HMD의 좌우 접안면 간의 거리는,
    HMD 착용 위치, HMD의 구조 정보 및 사용자의 3D 얼굴 모델을 기초로 계산되는 것을 특징으로 3D 영상 표시 방법.
  9. 청구항 1에 있어서,
    3D 영상은,
    포비티드 영상인 것을 특징으로 3D 영상 표시 방법.
  10. 사용자의 3D 얼굴 모델로부터 취득된 시선 방향에 따른 동공의 3차원 위치 정보가 저장되는 저장부;
    3D 영상 표시 장치를 착용한 사용자의 시선 방향을 추적하는 시선 추적부;
    추적된 시선 방향을 기초로 3D 영상을 생성하고, 저장부에 저장된 시선 방향에 따른 동공의 3차원 위치 정보를 참조하여 시선 추적부에서 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하며, 파악된 동공의 3차원 위치 정보를 기초로 3D 영상을 보정하는 3D 영상 생성부;
    보정된 3D 영상을 표시하는 디스플레이;를 포함하는 것을 특징으로 3D 영상 표시 장치.
  11. 사용자의 3D 얼굴 모델로부터 시선 방향에 따른 동공의 3차원 위치 정보를 취득하여 저장하는 단계;
    3D 영상 표시 장치를 착용한 사용자의 시선 방향을 추적하는 단계;
    추적된 시선 방향을 기초로, 3D 영상을 생성하는 단계; 및
    저장 단계에서 저장된 시선 방향에 따른 동공의 3차원 위치 정보를 참조하여, 추적 단계에서 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하는 단계;
    파악된 동공의 3차원 위치 정보를 기초로, 3D 영상을 보정하는 단계;를 포함하는 것을 특징으로 3D 영상 생성 방법.
  12. 사용자의 3D 얼굴 모델로부터 취득된 시선 방향에 따른 동공의 3차원 위치 정보가 저장되는 저장부;
    3D 영상 표시 장치를 착용한 사용자의 시선 방향을 추적하는 시선 추적부;
    추적된 시선 방향을 기초로, 3D 영상을 생성하고, 저장부에 저장된 시선 방향에 따른 동공의 3차원 위치 정보를 참조하여 시선 추적부에서 추적된 시선 방향에 따른 동공의 3차원 위치 정보를 파악하며, 파악된 동공의 3차원 위치 정보를 기초로 3D 영상을 보정하는 3D 영상 생성부;를 포함하는 것을 특징으로 3D 영상 생성 장치.
KR1020220177245A 2022-12-16 2022-12-16 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법 KR102586828B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220177245A KR102586828B1 (ko) 2022-12-16 2022-12-16 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법
PCT/KR2022/020662 WO2024128371A1 (ko) 2022-12-16 2022-12-19 안면, 안구 형상, 헤드 마운트 디스플레이 착용 위치 기반 고도 영상 출력 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220177245A KR102586828B1 (ko) 2022-12-16 2022-12-16 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법

Publications (1)

Publication Number Publication Date
KR102586828B1 true KR102586828B1 (ko) 2023-10-10

Family

ID=88291998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220177245A KR102586828B1 (ko) 2022-12-16 2022-12-16 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법

Country Status (2)

Country Link
KR (1) KR102586828B1 (ko)
WO (1) WO2024128371A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160098235A (ko) * 2013-12-17 2016-08-18 에씰로아 인터내셔날(콩파니에 제네랄 도프티크) 헤드 장착형 안구 추적 장치를 교정하기 위한 방법
KR20180057294A (ko) * 2016-11-22 2018-05-30 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
KR20190030140A (ko) * 2017-09-13 2019-03-21 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
KR20220120571A (ko) * 2019-12-04 2022-08-30 메타 플랫폼즈 테크놀로지스, 엘엘씨 전자 디스플레이들에 대한 포비티드 렌더링을 위한 예측적 눈 추적 시스템들 및 방법들

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200121584A (ko) * 2019-04-16 2020-10-26 한국전자통신연구원 시선 추적 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160098235A (ko) * 2013-12-17 2016-08-18 에씰로아 인터내셔날(콩파니에 제네랄 도프티크) 헤드 장착형 안구 추적 장치를 교정하기 위한 방법
KR20180057294A (ko) * 2016-11-22 2018-05-30 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
KR20190030140A (ko) * 2017-09-13 2019-03-21 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
KR20220120571A (ko) * 2019-12-04 2022-08-30 메타 플랫폼즈 테크놀로지스, 엘엘씨 전자 디스플레이들에 대한 포비티드 렌더링을 위한 예측적 눈 추적 시스템들 및 방법들

Also Published As

Publication number Publication date
WO2024128371A1 (ko) 2024-06-20

Similar Documents

Publication Publication Date Title
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
CN110402425B (zh) 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
CN114945853A (zh) 用于头戴式显示系统中的变形的补偿
CN113568170A (zh) 虚拟图像生成系统及其操作方法
US20190324528A1 (en) Adjusting gaze point based on determined offset adjustment
US11380072B2 (en) Neutral avatars
JP2020003898A (ja) 情報処理装置、情報処理方法、及びプログラム
US20210185293A1 (en) Depth data adjustment based on non-visual pose data
US20230319256A1 (en) Image Display Control Method, Image Display Control Apparatus, and Head-Mounted Display Device
US20200118349A1 (en) Information processing apparatus, information processing method, and program
US20220036779A1 (en) Information processing apparatus, information processing method, and recording medium
CN111712859B (zh) 用于生成视图图像的装置和方法
KR102586828B1 (ko) 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법
TWI694271B (zh) 操作方法、頭戴式裝置及追蹤系統
JP2018088604A (ja) 画像表示装置、画像表示方法、システム
CN111506188A (zh) 用于动态地调整hud的方法和hmd
KR101817952B1 (ko) 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법
CN109963143A (zh) 一种ar眼镜的图像获取方法及系统
US11934571B2 (en) Methods and systems for a head-mounted device for updating an eye tracking model
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
US20230239456A1 (en) Display system with machine learning (ml) based stereoscopic view synthesis over a wide field of view
WO2022138073A1 (ja) 画像生成装置、頭部装着表示装置、画像生成方法、及びプログラム
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium
JP5539486B2 (ja) 情報処理装置及び情報処理方法
US20220232201A1 (en) Image generation system and method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant