KR20210062962A - Pupil tracking based virtual content display device and control method thereof - Google Patents

Pupil tracking based virtual content display device and control method thereof Download PDF

Info

Publication number
KR20210062962A
KR20210062962A KR1020190151253A KR20190151253A KR20210062962A KR 20210062962 A KR20210062962 A KR 20210062962A KR 1020190151253 A KR1020190151253 A KR 1020190151253A KR 20190151253 A KR20190151253 A KR 20190151253A KR 20210062962 A KR20210062962 A KR 20210062962A
Authority
KR
South Korea
Prior art keywords
user
gaze position
region
interest
virtual content
Prior art date
Application number
KR1020190151253A
Other languages
Korean (ko)
Inventor
서석은
이영찬
Original Assignee
유엔젤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유엔젤주식회사 filed Critical 유엔젤주식회사
Priority to KR1020190151253A priority Critical patent/KR20210062962A/en
Publication of KR20210062962A publication Critical patent/KR20210062962A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

The present invention relates to a pupil tracking-based virtual content display device and a control method thereof. The method according to the present invention comprises the steps of: displaying virtual content including a fitting object in a virtual space, after a user wears a head-mounted display (HMD) device; requesting the user to watch the fitting object included in the virtual space; estimating a 3D gaze position of the user in a 3D gaze position tracking algorithm by receiving an image obtained by photographing both eyes of the user gazing at the fitting object; and comparing the estimated 3D gaze position of the user with a 3D content position of the fitting object in the virtual space to calibrate the 3D gaze position tracking algorithm. In accordance with the present invention, accuracy in tracking the 3D gaze position can be increased, and a processing load can be reduced when providing virtual content in real time, while the sensibility of the user can be maintained.

Description

동공 추적 기반 가상 콘텐츠 표시 장치 및 그 제어 방법{Pupil tracking based virtual content display device and control method thereof}Pupil tracking based virtual content display device and control method thereof

본 발명은 가상 콘텐츠 표시 장치 및 그 제어 방법에 관한 것으로, 보다 자세하게는 동공 추적 기반 가상 콘텐츠 표시 장치 및 그 제어 방법에 관한 것이다.The present invention relates to a virtual content display apparatus and a control method thereof, and more particularly, to a pupil tracking-based virtual content display apparatus and a control method thereof.

증강 현실(Augmented Reality, AR)은 가상 현실(Virtual Reality)의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.Augmented reality (AR) is a field of virtual reality and is a computer graphics technique that synthesizes virtual objects or information in a real environment to make them look like objects existing in the original environment. It is also called Mixed Reality (MR) because the real world and the virtual world with additional information are combined in real time and displayed as a single image.

사용자는 HMD(head-mounted display) 장치를 착용하고, 증강 현실이나 가상 현실 콘텐츠를 이용하게 된다. 한편 HMD를 착용한 사용자의 3차원 시선 위치를 추적하여 사용자의 시선 위치에 따른 뷰 조정이나 관심 영역을 파악하는 기술이 개발되고 있다.A user wears a head-mounted display (HMD) device and uses augmented reality or virtual reality content. On the other hand, a technology for tracking a 3D gaze position of a user wearing an HMD to adjust a view according to the gaze position of the user or to identify an area of interest is being developed.

그런데 사용자별로 동공 위치, 동공 크기, 얼굴 크기, 눈의 위치 등이 다르기 때문에 사용자의 3차원 시선 위치를 추적하는데 정확도가 떨어지는 문제점이 있었다. 그리고 가상 콘텐츠를 실시간으로 제공할 때 모든 가상 장면을 동일한 해상도나 선명도로 제공할 경우 처리 부하가 커지는 문제가 있었다.However, since the pupil position, pupil size, face size, eye position, etc. are different for each user, there is a problem in that the accuracy of tracking the user's 3D gaze position is low. In addition, when providing virtual content in real time, there is a problem in that processing load increases when all virtual scenes are provided with the same resolution or clarity.

본 발명은 상기와 같은 상황을 고려하여 창안된 것으로서, 본 발명의 기술적 과제는 동공 추적 기반 가상 콘텐츠 표시 장치 및 그 제어 방법을 제공하는 것이다.The present invention was created in consideration of the above situation, and an object of the present invention is to provide a pupil tracking-based virtual content display device and a control method thereof.

상기한 기술적 과제를 해결하기 위한 본 발명에 따른 동공 추적 기반 가상 콘텐츠 표시 제어 방법은 사용자가 HMD(head-mounted display) 장치를 착용한 후, 가상 공간에 피팅 객체가 포함된 가상 콘텐츠를 표시하는 단계, 상기 가상 공간에 포함된 상기 피팅 객체를 상기 사용자가 주시하도록 요청하는 단계, 상기 피팅 객체를 주시한 사용자의 양측 눈을 촬영한 영상을 입력받아 3차원 시선 위치 추적 알고리즘에서 상기 사용자의 3차원 시선 위치를 추정하는 단계, 그리고 상기 추정된 사용자의 3차원 시선 위치와 상기 가상 공간에서 상기 피팅 객체의 3차원 콘텐츠 위치를 비교하여 상기 3차원 시선 위치 추적 알고리즘을 교정하는 단계를 포함한다.A pupil tracking-based virtual content display control method according to the present invention for solving the above technical problem comprises the steps of displaying virtual content including a fitting object in a virtual space after a user wears a head-mounted display (HMD) device , requesting the user to gaze at the fitting object included in the virtual space, receiving images of both eyes of the user who gazed at the fitting object, and performing a 3D gaze position tracking algorithm of the user estimating the position, and calibrating the 3D gaze position tracking algorithm by comparing the estimated 3D gaze position of the user with the 3D content position of the fitting object in the virtual space.

상기 관심 영역은 상기 3차원 시선 위치를 중심으로 미리 정해진 체적을 가지는 구 또는 직육면체로 정해질 수 있다.The region of interest may be defined as a sphere or a cuboid having a predetermined volume based on the 3D gaze position.

상기 교정된 3차원 시선 위치 추적 알고리즘을 통해 추정되는 사용자의 3차원 시선 위치를 중심으로 정해지는 관심 영역에 표시되는 가상 콘텐츠는 제1 해상도로 처리하여 표시하고, 상기 관심 영역 외의 비관심 영역에 표시되는 가상 콘텐츠는 상기 제1 해상도보다 낮은 제2 해상도로 처리하여 표시할 수 있다.The virtual content displayed in the region of interest determined based on the user's 3D gaze position estimated through the corrected 3D gaze position tracking algorithm is processed and displayed at the first resolution, and displayed in the non-interest region other than the region of interest. The virtual content may be processed and displayed at a second resolution lower than the first resolution.

상기 교정된 3차원 시선 위치 추적 알고리즘을 통해 추정되는 사용자의 3차원 시선 위치를 중심으로 정해지는 관심 영역에 표시되는 가상 콘텐츠는 제1 투명도로 처리하여 표시하고, 상기 관심 영역 외의 비관심 영역에 표시되는 가상 콘텐츠는 상기 제1 투명도보다 높은 제2 투명도로 처리하여 표시할 수 있다.The virtual content displayed in the region of interest determined based on the user's 3D gaze position estimated through the corrected 3D gaze position tracking algorithm is processed and displayed with the first transparency, and displayed in a non-interest region other than the region of interest. The virtual content may be processed and displayed with a second transparency higher than the first transparency.

가상 객체가 상기 관심 영역과 상기 비관심 영역에 걸쳐 있는 경우, 상기 가상 객체를 포함하도록 상기 관심 영역을 확장시킬 수 있다.When the virtual object spans the region of interest and the region of non-interest, the region of interest may be expanded to include the virtual object.

컴퓨터에 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.It may include a computer-readable recording medium in which a program for executing the method is recorded in a computer.

상기한 기술적 과제를 해결하기 위한 본 발명에 따른 동공 추적 기반 가상 콘텐츠 표시 장치는, 가상 콘텐츠를 표시하는 디스플레이부, 사용자의 양측 눈을 촬영하는 눈 촬영부, 그리고 사용자가 HMD(head-mounted display) 장치를 착용한 후, 가상 공간에 피팅 객체가 포함된 가상 콘텐츠를 상기 디스플레이부에 표시하고, 상기 가상 공간에 포함된 상기 피팅 객체를 상기 사용자가 주시하도록 요청하며, 상기 피팅 객체를 주시한 사용자의 양측 눈을 촬영한 영상을 입력받아 3차원 시선 위치 추적 알고리즘에서 상기 사용자의 3차원 시선 위치를 추정하고, 상기 추정된 사용자의 3차원 시선 위치와 상기 가상 공간에서 상기 피팅 객체의 3차원 콘텐츠 위치를 비교하여 상기 3차원 시선 위치 추적 알고리즘을 교정하는 제어부를 포함한다.A pupil tracking-based virtual content display device according to the present invention for solving the above technical problem, a display unit for displaying virtual content, an eye photographing unit for photographing both eyes of a user, and a head-mounted display (HMD) for the user After wearing the device, display virtual content including a fitting object in a virtual space on the display unit, request that the user look at the fitting object included in the virtual space, The three-dimensional gaze position of the user is estimated in a three-dimensional gaze position tracking algorithm by receiving an image of both eyes, and the estimated three-dimensional gaze position of the user and the three-dimensional content position of the fitting object in the virtual space and a control unit for correcting the three-dimensional gaze position tracking algorithm by comparison.

본 발명에 의하면 3차원 시선 위치를 추적하는데 정확도가 향상되고, 가상 콘텐츠를 실시간으로 제공할 때 처리 부하를 감소시키면서도 사용자의 실감성은 유지시킬 수 있는 장점이 있다.According to the present invention, there are advantages in that the accuracy of tracking the 3D gaze position is improved, and the user's sensibility can be maintained while reducing the processing load when providing virtual content in real time.

도 1은 본 발명에 따른 동공 추적 기반 가상 콘텐츠 표시 장치의 구성도이다.
도 2는 사용자의 3차원 시선 위치를 나타낸 모식도이다.
도 3은 본 발명에 따른 동공 추적 기반 가상 콘텐츠 표시 장치의 제어 방법을 설명하기 위한 흐름도이다.1 is a block diagram of a pupil tracking-based virtual content display device according to the present invention.
2 is a schematic diagram illustrating a three-dimensional gaze position of a user.
3 is a flowchart illustrating a method of controlling a pupil tracking-based virtual content display device according to the present invention.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Then, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily implement them.

도 1은 본 발명에 따른 동공 추적 기반 가상 콘텐츠 표시 장치의 구성도이다.1 is a block diagram of a pupil tracking-based virtual content display device according to the present invention.

도 1을 참고하면, 본 발명에 따른 동공 추적 기반 가상 콘텐츠 표시 장치(100)는 마이크(110), 관성 센서(120), 스피커(130), 저장부(140), 외부 촬영부(150), 눈 촬영부(160), 디스플레이부(170), 통신부(180) 및 제어부(190)를 포함할 수 있다.Referring to FIG. 1 , the pupil tracking-based virtual content display device 100 according to the present invention includes a microphone 110 , an inertial sensor 120 , a speaker 130 , a storage unit 140 , an external photographing unit 150 , It may include an eye photographing unit 160 , a display unit 170 , a communication unit 180 , and a control unit 190 .

마이크(110)는 사용자의 음성 정보나 사용자 주변의 소리 정보를 획득하는 기능을 수행한다.The microphone 110 performs a function of acquiring the user's voice information or sound information around the user.

관성 센서(120)는 자이로 센서나 가속도 센서 등을 포함하고, 사용자가 취하는 머리 움직임 정보를 획득하는 기능을 수행한다.The inertial sensor 120 includes a gyro sensor, an acceleration sensor, and the like, and performs a function of acquiring head movement information taken by the user.

스피커(130)는 가상 콘텐츠 실행에 따라 발생하는 효과음 등을 출력할 수 있다.The speaker 130 may output a sound effect generated according to the execution of virtual content.

저장부(140)는 동공 추적 기반 가상 콘텐츠 표시 장치(100)의 동작과 관련된 각종 정보 및 데이터, 프로그램 등을 저장할 수 있다.The storage unit 140 may store various types of information, data, and programs related to the operation of the pupil tracking-based virtual content display device 100 .

외부 촬영부(150)는 사용자의 시점에서 영상을 촬영하는 기능을 수행한다.The external photographing unit 150 performs a function of photographing an image from the user's point of view.

눈 촬영부(160)는 사용자의 양 눈을 촬영하는 기능을 수행한다.The eye photographing unit 160 performs a function of photographing both eyes of the user.

외부 촬영부(150)와 눈 촬영부(160)는 RGB 카메라, 적외선 카메라 등으로 구현할 수 있으며, RGB 카메라와 적외선 카메라 모두를 포함할 수 있다.The external photographing unit 150 and the eye photographing unit 160 may be implemented as an RGB camera, an infrared camera, or the like, and may include both an RGB camera and an infrared camera.

디스플레이부(170)는 가상현실과 증강현실을 기반으로 한 가상 콘텐츠를 화면에 출력하는 기능을 수행한다.The display unit 170 performs a function of outputting virtual content based on virtual reality and augmented reality on the screen.

통신부(180)는 동공 추적 기반 가상 콘텐츠 표시 장치(100)가 통신망을 통해 외부 장치들, 예컨대 다른 사용자가 사용하는 가상 콘텐츠 표시 장치나 가상 콘텐츠를 제공한 외부 서버와 각종 정보 및 데이터를 교환할 수 있도록 지원하는 기능을 수행한다.The communication unit 180 allows the pupil tracking-based virtual content display device 100 to exchange various information and data with external devices through a communication network, for example, a virtual content display device used by another user or an external server that provides virtual content. functions to support it.

제어부(190)는 동공 추적 기반 가상 콘텐츠 표시 장치(100)의 전체적인 동작을 제어하는 기능을 수행한다.The controller 190 controls the overall operation of the pupil tracking-based virtual content display device 100 .

동공 추적 기반 가상 콘텐츠 표시 장치(100)는 HMD(head-mounted display) 장치 등으로 구현할 수 있다.The pupil tracking-based virtual content display device 100 may be implemented as a head-mounted display (HMD) device or the like.

제어부(190)는 사용자가 HMD(head-mounted display) 장치를 착용한 후, 가상 공간에 피팅 객체가 포함된 가상 콘텐츠를 디스플레이부(170)에 표시되게 할 수 있다. 여기서 피팅 객체는 3차원 시선 위치 추적 알고리즘을 교정하기 위해서, 미리 정해진 가상 공간 상의 위치에 표시되는 가상 객체일 수 있다. 예컨대 사용자의 양 눈으로부터 가상 공간에서 10M 만큼 떨어진 것으로 설정된 제1 피팅 객체, 20M 만큼 떨어진 제2 피팅 객체, 30M 만큼 떨어진 것으로 설정된 제3 피팅 객체 등을 순차적으로 가상 공간에 표시되게 할 수 있다.After the user wears the head-mounted display (HMD) device, the controller 190 may display virtual content including a fitting object in the virtual space on the display 170 . Here, the fitting object may be a virtual object displayed at a predetermined location in a virtual space in order to calibrate the 3D gaze position tracking algorithm. For example, the first fitting object set to be 10M apart in the virtual space, the second fitting object set to be separated by 20M, and the third fitting object set to be separated by 30M from both eyes of the user may be sequentially displayed in the virtual space.

제어부(190)는 가상 공간에 포함된 피팅 객체를 사용자가 주시하도록 요청하는 메시지를 화면에 표시되게 하거나, 마이크를 통해 음성으로 출력시킬 수 있다.The controller 190 may display a message requesting the user to look at the fitting object included in the virtual space on the screen or may output the message as voice through a microphone.

그리고 제어부(190)는 피팅 객체를 주시한 사용자의 양측 눈을 촬영한 영상을 입력받아 3차원 시선 위치 추적 알고리즘에서 도 2에 예시한 것과 같이 사용자의 3차원 시선 위치를 추정하고, 추정된 사용자의 3차원 시선 위치와 가상 공간에서 피팅 객체의 3차원 콘텐츠 위치를 비교하여 3차원 시선 위치 추적 알고리즘을 교정할 수 있다.In addition, the controller 190 receives images of both eyes of the user who gazed at the fitting object, estimates the user's 3D gaze position as illustrated in FIG. 2 in the 3D gaze position tracking algorithm, and The 3D gaze position tracking algorithm can be calibrated by comparing the 3D gaze position with the 3D content position of the fitting object in virtual space.

가령 사용자의 양측 눈의 동공 위치를 결정하고, 결정된 사용자의 양측 눈의 동공 위치에 기초하여 사용자의 좌측 눈 시선 방향과 우측 눈 시선 방향을 결정한다. 그리고 양측 눈의 시선 방향의 교점을 3차원 시선 위치로 판단할 수 있다.For example, the pupil positions of both eyes of the user are determined, and the left eye gaze direction and the right eye gaze direction of the user are determined based on the determined pupil positions of both eyes of the user. In addition, the intersection of the gaze directions of both eyes may be determined as a three-dimensional gaze position.

제어부(190)는 앞서 구해진 3차원 시선 위치를 중심으로 미리 정해진 체적을 가지는 관심 영역을 설정할 수 있다. 예컨대 관심 영역을 중심으로 가지는 구 또는 직육면체 등으로 관심 영역을 설정할 수 있다. 물론 실시예에 따라서 타원체, 원형 기둥, 직각 기둥 등의 다양한 형태로 관심 영역을 설정할 수도 있다.The controller 190 may set an ROI having a predetermined volume based on the previously obtained 3D gaze position. For example, the ROI may be set as a sphere or a rectangular parallelepiped having the ROI as a center. Of course, according to an embodiment, the ROI may be set in various shapes such as an ellipsoid, a circular pole, or a right-angled pole.

제어부(190)는 교정된 3차원 시선 위치 추적 알고리즘을 통해 추정되는 사용자의 3차원 시선 위치를 중심으로 정해지는 관심 영역에 표시되는 가상 콘텐츠는 고해상도로 처리하여 표시할 수 있다. 그리고 제어부(190)는 관심 영역 외의 비관심 영역에 표시되는 가상 콘텐츠는 저해상도로 처리하여 표시할 수 있다.The controller 190 may process and display the virtual content displayed in the region of interest determined based on the 3D gaze position of the user estimated through the corrected 3D gaze position tracking algorithm in high resolution. In addition, the controller 190 may process and display virtual content displayed in a non-interested region other than the ROI at a low resolution.

즉 사용자가 주목하는 관심 영역은 고해상도로 처리하고 나머지 영역은 저해상도로 처리함으로써 저사양 GPU로도 고품질의 가상 콘텐츠를 구현할 수 있다.That is, high-quality virtual content can be implemented even with a low-end GPU by processing the region of interest that the user pays attention to in high resolution and processing the remaining regions in low resolution.

한편 제어부(190)는 교정된 3차원 시선 위치 추적 알고리즘을 통해 추정되는 사용자의 3차원 시선 위치를 중심으로 정해지는 관심 영역에 표시되는 가상 콘텐츠는 제1 투명도로 처리하여 표시하고, 관심 영역 외의 비관심 영역에 표시되는 가상 콘텐츠는 제1 투명도보다 높은 제2 투명도로 처리하여 표시할 수도 있다. 예컨대 증강 현실의 경우 관심 영역에 표시되는 가상 객체는 불투명하게 처리하여 주목도를 높이고, 반대로 비관심 영역에 표시되는 가상 객체는 투명하게 처리하여 주목도를 낮추는 것도 가능하다.On the other hand, the controller 190 processes and displays the virtual content displayed in the region of interest determined based on the user's 3D gaze position estimated through the corrected 3D gaze position tracking algorithm with the first transparency, and displays a ratio other than the region of interest. The virtual content displayed in the ROI may be displayed by processing it with a second transparency higher than the first transparency. For example, in the case of augmented reality, it is possible to increase the degree of attention by treating a virtual object displayed in the region of interest as opaque, and conversely, it is possible to lower the level of interest by processing the virtual object displayed in the non-interest region as transparent.

한편 제어부(190)는 가상 객체가 관심 영역과 비관심 영역에 걸쳐 있는 경우, 가상 객체를 포함하도록 관심 영역을 확장시켜서 처리할 수도 있다.Meanwhile, when the virtual object spans the region of interest and the region of non-interest, the controller 190 may expand the region of interest to include the virtual object.

도 3은 본 발명에 따른 동공 추적 기반 가상 콘텐츠 표시 장치의 제어 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a method of controlling a pupil tracking-based virtual content display device according to the present invention.

도 1 및 도 3을 참고하면, 먼저 제어부(190)는 사용자가 HMD(head-mounted display) 장치를 착용한 후, 가상 공간에 피팅 객체가 포함된 가상 콘텐츠를 디스플레이부(170)에 표시되게 할 수 있다(S310). 1 and 3 , first, the controller 190 causes a user to wear a head-mounted display (HMD) device and then to display virtual content including a fitting object in a virtual space on the display unit 170 . can be (S310).

다음으로 제어부(190)는 가상 공간에 포함된 피팅 객체를 사용자가 주시하도록 요청하는 메시지를 화면에 표시되게 하거나, 마이크를 통해 음성으로 출력시킬 수 있다(S320).Next, the controller 190 may display a message requesting the user to look at the fitting object included in the virtual space on the screen or output it as a voice through a microphone ( S320 ).

그리고 제어부(190)는 피팅 객체를 주시한 사용자의 양측 눈을 촬영한 영상을 입력받아 3차원 시선 위치 추적 알고리즘에서 도 2에 예시한 것과 같이 사용자의 3차원 시선 위치를 추정할 수 있다(S330).In addition, the controller 190 may receive an image of both eyes of the user looking at the fitting object, and estimate the user's 3D gaze position in the 3D gaze position tracking algorithm as illustrated in FIG. 2 ( S330 ). .

다음으로 제어부(190)는 추정된 사용자의 3차원 시선 위치와 가상 공간에서 피팅 객체의 3차원 콘텐츠 위치를 비교하여 3차원 시선 위치 추적 알고리즘을 교정할 수 있다(S340).Next, the controller 190 may calibrate the 3D gaze position tracking algorithm by comparing the estimated 3D gaze position of the user with the 3D content position of the fitting object in the virtual space ( S340 ).

마지막으로 제어부(190)는 앞서 구해진 3차원 시선 위치를 중심으로 미리 정해진 체적을 가지는 관심 영역을 설정하고, 관심 영역과 비관심 영역을 구분하여 가상 콘텐츠에 대한 해상도 또는 투명도 등의 처리를 다르게 할 수 있다(S350).Finally, the control unit 190 sets a region of interest having a predetermined volume based on the previously obtained three-dimensional gaze position, and divides the region of interest from the region of interest so that the virtual content may be processed differently, such as resolution or transparency There is (S350).

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices, methods, and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, a person of ordinary skill in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

100: 동공 추적 기반 가상 콘텐츠 표시 장치
110: 마이크
120: 관성 센서
130: 스피커
140: 저장부
150: 외부 촬영부
160: 눈 촬영부
170: 디스플레이부
180: 통신부
190: 제어부100: pupil tracking based virtual content display device
110: microphone
120: inertial sensor
130: speaker
140: storage unit
150: external recording unit
160: eye shooting unit
170: display unit
180: communication department
190: control unit

Claims (11)

사용자가 HMD(head-mounted display) 장치를 착용한 후, 가상 공간에 피팅 객체가 포함된 가상 콘텐츠를 표시하는 단계,
상기 가상 공간에 포함된 상기 피팅 객체를 상기 사용자가 주시하도록 요청하는 단계,
상기 피팅 객체를 주시한 사용자의 양측 눈을 촬영한 영상을 입력받아 3차원 시선 위치 추적 알고리즘에서 상기 사용자의 3차원 시선 위치를 추정하는 단계, 그리고
상기 추정된 사용자의 3차원 시선 위치와 상기 가상 공간에서 상기 피팅 객체의 3차원 콘텐츠 위치를 비교하여 상기 3차원 시선 위치 추적 알고리즘을 교정하는 단계
를 포함하는 동공 추적 기반 가상 콘텐츠 표시 제어 방법.After the user wears a head-mounted display (HMD) device, displaying virtual content including a fitting object in a virtual space;
requesting the user to look at the fitting object included in the virtual space;
estimating the user's 3D gaze position in a 3D gaze position tracking algorithm by receiving images of both eyes of the user who gazed at the fitting object; and
Comparing the estimated 3D gaze position of the user with the 3D content position of the fitting object in the virtual space to calibrate the 3D gaze position tracking algorithm
A pupil tracking-based virtual content display control method comprising a. 제 1 항에서,
상기 관심 영역은 상기 3차원 시선 위치를 중심으로 미리 정해진 체적을 가지는 구 또는 직육면체로 정해지는 동공 추적 기반 가상 콘텐츠 표시 제어 방법.In claim 1,
The ROI is defined as a sphere or a cuboid having a predetermined volume based on the 3D gaze position. 제 1 항에서,
상기 교정된 3차원 시선 위치 추적 알고리즘을 통해 추정되는 사용자의 3차원 시선 위치를 중심으로 정해지는 관심 영역에 표시되는 가상 콘텐츠는 제1 해상도로 처리하여 표시하고, 상기 관심 영역 외의 비관심 영역에 표시되는 가상 콘텐츠는 상기 제1 해상도보다 낮은 제2 해상도로 처리하여 표시하는 동공 추적 기반 가상 콘텐츠 표시 제어 방법.In claim 1,
The virtual content displayed in the region of interest determined based on the user's 3D gaze position estimated through the corrected 3D gaze position tracking algorithm is processed and displayed at the first resolution, and displayed in the non-interest region other than the region of interest. A method for controlling the display of virtual content based on pupil tracking, wherein the virtual content is processed and displayed at a second resolution lower than the first resolution. 제 1 항에서,
상기 교정된 3차원 시선 위치 추적 알고리즘을 통해 추정되는 사용자의 3차원 시선 위치를 중심으로 정해지는 관심 영역에 표시되는 가상 콘텐츠는 제1 투명도로 처리하여 표시하고, 상기 관심 영역 외의 비관심 영역에 표시되는 가상 콘텐츠는 상기 제1 투명도보다 높은 제2 투명도로 처리하여 표시하는 동공 추적 기반 가상 콘텐츠 표시 제어 방법.In claim 1,
The virtual content displayed in the region of interest determined based on the user's 3D gaze position estimated through the corrected 3D gaze position tracking algorithm is processed and displayed with the first transparency, and displayed in a non-interest region other than the region of interest. A virtual content display control method based on pupil tracking in which the virtual content is processed and displayed with a second transparency higher than the first transparency. 제 3 항 또는 제 4 항에서,
가상 객체가 상기 관심 영역과 상기 비관심 영역에 걸쳐 있는 경우, 상기 가상 객체를 포함하도록 상기 관심 영역을 확장시키는 동공 추적 기반 가상 콘텐츠 표시 제어 방법.5. In claim 3 or 4,
When the virtual object spans the region of interest and the region of non-interest, the pupil tracking-based virtual content display control method expands the region of interest to include the virtual object. 컴퓨터에 상기한 제1항 내지 제4항 중 어느 한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium in which a program for executing any one of the methods of any one of claims 1 to 4 is recorded on a computer. 가상 콘텐츠를 표시하는 디스플레이부,
사용자의 양측 눈을 촬영하는 눈 촬영부, 그리고
사용자가 HMD(head-mounted display) 장치를 착용한 후, 가상 공간에 피팅 객체가 포함된 가상 콘텐츠를 상기 디스플레이부에 표시하고, 상기 가상 공간에 포함된 상기 피팅 객체를 상기 사용자가 주시하도록 요청하며, 상기 피팅 객체를 주시한 사용자의 양측 눈을 촬영한 영상을 입력받아 3차원 시선 위치 추적 알고리즘에서 상기 사용자의 3차원 시선 위치를 추정하고, 상기 추정된 사용자의 3차원 시선 위치와 상기 가상 공간에서 상기 피팅 객체의 3차원 콘텐츠 위치를 비교하여 상기 3차원 시선 위치 추적 알고리즘을 교정하는 제어부
를 포함하는 동공 추적 기반 가상 콘텐츠 표시 장치.a display unit for displaying virtual content;
An eye photographing unit for photographing both eyes of the user, and
After a user wears a head-mounted display (HMD) device, displaying virtual content including a fitting object in a virtual space on the display unit, and requesting the user to look at the fitting object included in the virtual space; , receives images of both eyes of the user who gazed at the fitting object, estimates the user's 3D gaze position in a 3D gaze position tracking algorithm, and determines the user's 3D gaze position and the virtual space A control unit for correcting the 3D gaze position tracking algorithm by comparing the 3D content position of the fitting object
A pupil tracking-based virtual content display device comprising a. 제 7 항에서,
상기 관심 영역은 상기 3차원 시선 위치를 중심으로 미리 정해진 체적을 가지는 구 또는 직육면체로 정해지는 동공 추적 기반 가상 콘텐츠 표시 장치.In claim 7,
The region of interest is a pupil tracking-based virtual content display device that is defined as a sphere or a cuboid having a predetermined volume based on the 3D gaze position. 제 7 항에서,
상기 교정된 3차원 시선 위치 추적 알고리즘을 통해 추정되는 사용자의 3차원 시선 위치를 중심으로 정해지는 관심 영역에 표시되는 가상 콘텐츠는 제1 해상도로 처리하여 표시하고, 상기 관심 영역 외의 비관심 영역에 표시되는 가상 콘텐츠는 상기 제1 해상도보다 낮은 제2 해상도로 처리하여 표시하는 동공 추적 기반 가상 콘텐츠 표시 장치.In claim 7,
The virtual content displayed in the region of interest determined based on the user's 3D gaze position estimated through the corrected 3D gaze position tracking algorithm is processed and displayed at the first resolution, and displayed in the non-interest region other than the region of interest. A pupil tracking-based virtual content display device for processing and displaying the virtual content to be processed at a second resolution lower than the first resolution. 제 7 항에서,
상기 교정된 3차원 시선 위치 추적 알고리즘을 통해 추정되는 사용자의 3차원 시선 위치를 중심으로 정해지는 관심 영역에 표시되는 가상 콘텐츠는 제1 투명도로 처리하여 표시하고, 상기 관심 영역 외의 비관심 영역에 표시되는 가상 콘텐츠는 상기 제1 투명도보다 높은 제2 투명도로 처리하여 표시하는 동공 추적 기반 가상 콘텐츠 표시 장치.In claim 7,
The virtual content displayed in the region of interest determined based on the user's 3D gaze position estimated through the corrected 3D gaze position tracking algorithm is processed and displayed with the first transparency, and displayed in a non-interest region other than the region of interest. A pupil tracking-based virtual content display device for processing and displaying the virtual content to be processed with a second transparency higher than the first transparency. 제 9 항 또는 제 10 항에서,
가상 객체가 상기 관심 영역과 상기 비관심 영역에 걸쳐 있는 경우, 상기 가상 객체를 포함하도록 상기 관심 영역을 확장시키는 동공 추적 기반 가상 콘텐츠 표시 장치.11. In claim 9 or 10,
When the virtual object spans the region of interest and the region of non-interest, the pupil tracking-based virtual content display device expands the region of interest to include the virtual object.
KR1020190151253A 2019-11-22 2019-11-22 Pupil tracking based virtual content display device and control method thereof KR20210062962A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190151253A KR20210062962A (en) 2019-11-22 2019-11-22 Pupil tracking based virtual content display device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190151253A KR20210062962A (en) 2019-11-22 2019-11-22 Pupil tracking based virtual content display device and control method thereof

Publications (1)

Publication Number Publication Date
KR20210062962A true KR20210062962A (en) 2021-06-01

Family

ID=76376074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190151253A KR20210062962A (en) 2019-11-22 2019-11-22 Pupil tracking based virtual content display device and control method thereof

Country Status (1)

Country Link
KR (1) KR20210062962A (en)

Similar Documents

Publication Publication Date Title
CN109791433B (en) Prediction type fovea virtual reality system
CN112513712B (en) Mixed reality system with virtual content warping and method of generating virtual content using the same
US9613463B2 (en) Augmented reality extrapolation techniques
US9264702B2 (en) Automatic calibration of scene camera for optical see-through head mounted display
US20190221029A1 (en) Image processing apparatus, image processing method, and storage medium
US20170186219A1 (en) Method for 360-degree panoramic display, display module and mobile terminal
US20190355170A1 (en) Virtual reality content display method and apparatus
CN107209565B (en) Method and system for displaying fixed-size augmented reality objects
CN112384843B (en) Dynamic panel mask
US11244427B2 (en) Image resolution processing method, system, and apparatus, storage medium, and device
KR101788452B1 (en) Apparatus and method for replaying contents using eye tracking of users
CN111095952A (en) 3D audio rendering using volumetric audio rendering and scripted audio detail levels
US20130027389A1 (en) Making a two-dimensional image into three dimensions
KR20160022657A (en) Display apparatus and operating method thereof
US11521346B2 (en) Image processing apparatus, image processing method, and storage medium
CN111275801A (en) Three-dimensional picture rendering method and device
KR101818839B1 (en) Apparatus and method of stereo scopic 3d contents creation and display
US11836842B2 (en) Moving an avatar based on real-world data
KR20210062962A (en) Pupil tracking based virtual content display device and control method thereof
US10339722B2 (en) Display device and control method therefor
KR20180112478A (en) Method and apparatus for processing 3-dimension image
US11423516B2 (en) Gaze enhanced natural motion blur
US11205307B2 (en) Rendering a message within a volumetric space
US11763517B1 (en) Method and device for visualizing sensory perception
US11946744B2 (en) Synchronization of a gyroscope in a virtual-reality environment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application