KR20230089031A - 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법 - Google Patents

포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법 Download PDF

Info

Publication number
KR20230089031A
KR20230089031A KR1020210177357A KR20210177357A KR20230089031A KR 20230089031 A KR20230089031 A KR 20230089031A KR 1020210177357 A KR1020210177357 A KR 1020210177357A KR 20210177357 A KR20210177357 A KR 20210177357A KR 20230089031 A KR20230089031 A KR 20230089031A
Authority
KR
South Korea
Prior art keywords
foveated
peripheral vision
image
image quality
subject
Prior art date
Application number
KR1020210177357A
Other languages
English (en)
Other versions
KR102586644B1 (ko
Inventor
홍지수
홍성희
김영민
정진수
이병효
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210177357A priority Critical patent/KR102586644B1/ko
Priority to US18/013,317 priority patent/US20240119673A1/en
Priority to PCT/KR2021/019022 priority patent/WO2023113059A1/ko
Publication of KR20230089031A publication Critical patent/KR20230089031A/ko
Application granted granted Critical
Publication of KR102586644B1 publication Critical patent/KR102586644B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Holo Graphy (AREA)

Abstract

포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법이 제공된다. 본 발명의 실시예에 따른 포비티드 영상 파라미터 결정을 위한 인지 실험 방법은, 중심시 영역과 주변시 영역으로 구성되는 포비티드 영상을 생성하되, 주변시 영역에 대해서는 영상 품질을 떨어뜨리면서 생성하여 표시하고, 피험자로부터 주변시 영역의 영상 품질에 대한 응답을 입력받으며, 피험자가 입력한 응답을 기초로 주변시 영역의 적정 영상 품질에 대한 정보를 수집한다. 이에 의해, 실시간 재생을 위한 포비티드 홀로그램 생성 알고리즘을 적용함에 있어, 인지 실험을 통해 포비티드 홀로그램에서 중심시 영상과 주변시 영상 간의 경계 및 주변시 영상의 품질 저하 정도 등의 여러 파라미터를 적정하게 결정할 수 있게 된다.

Description

포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법{Cognitive experiment method for periphery region quality change for parameter determination of foveated hologram}
본 발명은 포비티드 홀로그램(foveated hologram) 생성 기술에 관한 것으로, 더욱 상세하게는 포비티드 홀로그램의 파라미터 결정을 위해 주변시 영상 품질 변화에 대한 인지 실험을 하는 방법에 관한 것이다.
기존의 CGH(Computer Generated Hologram)를 생성하는 방법 중 한 가지는 도 1과 같이 대상 물체를 포인트 클라우드 데이터 셋(point cloud data set)으로 표현한 후 Rayleigh-Sommerfeld diffraction integral 식을 적용하는 방법이다.
이때 포인트 클라우드 데이터 셋의 각 포인트의 complex amplitude를
Figure pat00001
라 하고, 각 포인트의 3차원 좌표를
Figure pat00002
라 했을 때, 포인트 클라우드 데이터 셋에 의해 생성되는 complex hologram은
Figure pat00003
이며, 이 때 각 포인트에 대한 impulse response
Figure pat00004
는
Figure pat00005
이다. 이 때
Figure pat00006
이고, px, py는 각각 홀로그램 평면의 x방향, y방향의 픽셀 크기이다. Rayleigh-Sommerfeld diffraction integral을 통한 홀로그램 생성은 대상 물체 표현의 자유도가 높고, 계산되는 complex field 값의 정확도가 매우 높은 장점이 있으나, 2차원 컨볼루션 계산이기 때문에 계산량이 매우 많은 단점이 있다.
CGH를 생성하는 다른 방법은 도 2와 같이 대상 물체를 뎁스 슬라이스 이미지(depth slice image)로 표현하여 이로부터 complex hologram을 계산하는 방법이다.
이 방법은 대상 물체를 여러 개의 평면 슬라이스 이미지로 분할하였기 때문에 각 슬라이스 이미지에 대해서는 complex hologram을 생성할 때 angular spectrum method와 같이 plane-to-plane propagation을 적용할 수 있다. 대상 물체 g(x, y, z)를
Figure pat00007
와 같이 뎁스 슬라이스 이미지들로 나누었다고 할 때, angular spectrum method가 FFT(Fast Fourier Transform)에 의해 구현이 되므로 각 슬라이스 이미지들 gm(x, y)는 적절한 zero-padding이 필요하다. 이 때 zero-padding이 이루어진 슬라이스 이미지를
Figure pat00008
라 하면, 뎁스 슬라이스 이미지들에 의해 생성되는 complex hologram은
Figure pat00009
와 같이 계산할 수 있다. 이 때
Figure pat00010
, 즉 zero-padded slice image의 Fourier transform이며,
Figure pat00011
이다. 이 때 zm은 각 슬라이스 이미지의 홀로그램 평면으로부터의 거리이다. 이 때 각 plane-to-plane propagation은 2D-FFT를 활용할 수 있으므로 Rayleigh-Sommerfeld diffraction integral에 비해 연산량이 확연히 적으나, 물체를 표현하는 슬라이스 이미지의 개수가 늘어날수록 그 개수만큼 2D-FFT를 계산해주어야 하기 ?문에 비효율적이며, 또 대상 물체를 불연속적인 평면들로 표현하게 되어 물체 표현의 정확도가 떨어지는 단점이 있다.
이와 같이 CGH 생성 방식은 일반적으로 굉장히 많은 계산량을 요구하게 되어, 보통 실시간 영상의 재생이 어렵다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 실시간 재생을 위한 포비티드 홀로그램 생성 알고리즘을 적용함에 있어, 포비티드 홀로그램의 주변시 영상의 경계와 품질 저하 정도를 결정하기 위한 인지 실험 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 포비티드 영상 파라미터 결정을 위한 인지 실험 방법은, 포비티드 영상 생성 시스템이, 중심시 영역과 주변시 영역으로 구성되는 포비티드 영상을 생성하되, 주변시 영역에 대해서는 영상 품질을 떨어뜨리면서 생성하는 단계; 디스플레이 시스템이, 생성된 포비티드 영상을 표시하는 단계; 입력 장치가, 피험자로부터 주변시 영역의 영상 품질에 대한 응답을 입력받는 단계; 및 포비티드 영상 생성 시스템이, 입력 장치를 통해 피험자가 입력한 응답을 기초로, 주변시 영역의 적정 영상 품질에 대한 정보를 수집하는 단계;를 포함한다.
또한, 표시 단계는, 주변시 영역의 영상 품질을 임의의 시점에 떨어뜨릴 수 있다.
표시 단계는, 주변시 영역의 영상 품질을 중심시 영역의 영상 품질에서부터 단계적으로 떨어뜨릴 수 있다.
표시 단계는, 피험자의 시선이 중심시 영역에 머무르고 있는지 확인하기 위한 마크를 표시할 수 있다.
마크는, 임의의 시점에 형태가 무작위적으로 변경될 수 있다.
본 발명의 실시예에 따른, 인지 실험 방법은, 피험자로부터 마크의 변경 상태에 대한 응답을 입력받는 단계;를 더 포함하고, 수집 단계는, 변경 상태에 대한 응답이 맞은 경우에만, 피험자가 입력한 응답을 기초로 주변시 영역의 적정 영상 품질에 대한 정보를 수집할 수 있다.
그리고, 수집 단계는, 변경 상태에 대한 응답이 맞지 않은 경우, 피험자가 입력한 응답을 기초로 주변시 영역의 적정 영상 품질에 대한 정보를 수집하지 않을 수 있다.
수집 단계는, 변경 상태에 대한 응답이 정해진 시간 이후에 입력된 경우, 피험자가 입력한 응답을 기초로 주변시 영역의 적정 영상 품질에 대한 정보를 수집하지 않을 수 있다.
그리고, 표시 단계, 입력 단계 및 수집 단계는, 중심시 영역과 주변시 영역 간 경계의 반지름 및 피험자 중 적어도 하나를 바꾸어 가면서, 반복 수행될 수 있다.
한편, 본 발명의 다른 실시예에 따른, 포비티드 영상 파라미터 결정을 위한 인지 실험 시스템은, 중심시 영역과 주변시 영역으로 구성되는 포비티드 영상을 생성하되, 주변시 영역에 대해서는 영상 품질을 떨어뜨리면서 생성하는 포비티드 영상 생성 시스템; 생성된 포비티드 영상을 표시하는 디스플레이 시스템; 피험자로부터 주변시 영역의 영상 품질에 대한 응답을 입력받는 입력 장치; 및 포비티드 영상 생성 시스템은, 입력 장치를 통해 피험자가 입력한 응답을 기초로, 주변시 영역의 적정 영상 품질에 대한 정보를 수집한다.
한편, 본 발명의 다른 실시예에 따른, 포비티드 영상 파라미터 결정을 위한 실험 방법은, 포비티드 영상 시스템이, 중심시 영역과 주변시 영역으로 구성되는 포비티드 영상을 표시하되, 주변시 영역에 대해서는 영상 품질을 떨어뜨리면서 표시하는 단계; 포비티드 영상 시스템이, 피험자로부터 주변시 영역의 영상 품질에 대한 응답을 입력받는 단계; 및 포비티드 영상 시스템이, 피험자가 입력한 응답을 기초로, 주변시 영역의 적정 영상 품질에 대한 정보를 수집하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체에는, 포비티드 영상 시스템이, 중심시 영역과 주변시 영역으로 구성되는 포비티드 영상을 표시하되, 주변시 영역에 대해서는 영상 품질을 떨어뜨리면서 표시하는 단계; 포비티드 영상 시스템이, 피험자로부터 주변시 영역의 영상 품질에 대한 응답을 입력받는 단계; 및 포비티드 영상 시스템이, 피험자가 입력한 응답을 기초로, 주변시 영역의 적정 영상 품질에 대한 정보를 수집하는 단계;를 포함하는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 실험 방법을 수행할 수 있는 프로그램이 기록된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 실시간 재생을 위한 포비티드 홀로그램 생성 알고리즘을 적용함에 있어, 인지 실험을 통해 포비티드 홀로그램에서 중심시 영상과 주변시 영상 간의 경계 및 주변시 영상의 품질 저하 정도 등의 여러 파라미터를 적정하게 결정할 수 있게 된다.
도 1. 포인트 클라우드 데이터 셋을 이용한 홀로그램 생성
도 2. 뎁스 슬라이스 이미지를 이용한 홀로그램 생성
도 3. 포비티드 렌더링의 개념
도 4. 본 발명의 실시예에 따른 포비티드 홀로그램 파라미터 결정을 위한 인지 실험을 수행하기 위한 화면 구성 방법
도 5. 본 발명의 일 실시예에 따른 포비티드 홀로그램 파라미터 결정을 위한 인지 실험을 위한 시스템의 구성도
도 6. 본 발명의 다른 실시예에 따른 포비티드 홀로그램 파라미터 결정을 위한 인지 실험 방법을 수행하는 순서도
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 3은 포비티드 렌더링(foveated rendering)의 개념을 보여준다. 포비티드 렌더링은 인간의 시각 시스템의 특성을 고려하여 영상 렌더링의 계산량을 최적화하는 기법이다. 도 3과 같이, 인간의 시각 시스템의 시선(gaze point)이 중심시 영역(foveal region)으로 갈 수록 visual acuity는 높고, 주변시 영역(periphery region)으로 갈수록 visual acuity가 떨어지는 특성을 보인다.
따라서 인간 시각의 FOV(Field Of View)에 대해 전체적으로 동일한 품질로 영상을 렌더링하는 것보다는 중심시 영역은 높은 품질로 영상을 렌더링하고, 주변시 영역은 인간 시각 시스템이 알아챌 수 없을 정도로 영상 품질을 낮추어 렌더링하는 것이 전체적으로 영상 렌더링을 위한 계산 자원을 효율적으로 사용하는 방법이다.
이와 같은 렌더링 방법을 포비티드 렌더링이라 하며, 특히 NED(Near-Eye Display)와 같이 디스플레이와 사용자의 눈의 상대적 위치가 고정되어 있고, 사용자의 시선 방향(gaze direction)을 알아내기 쉬운 상황에 적용하는 것이 용이하다.
이와 같은 포비티드 렌더링의 개념을 홀로그램 영상의 생성에도 적용이 가능하다. 예를 들어 포인트 클라우드로부터 홀로그램 영상을 생성하는 경우에는 포인트 클라우드 개수 및 컨볼루션 커널(convolution kernel)의 크기가 홀로그램 영상 생성 시간에 영향을 주게 되는데, 주변시 영역은 포인트 클라우드 개수를 적게 한다던지, 아니면 컨볼루션 커널의 크기를 줄이는 것이다.
하지만 이러한 포비티드 홀로그램 생성 방식의 문제는 중심시 영역과 주변시 영역의 경계를 어디로 할 것인가, 또한 주변시 영역에서 영상 품질은 어느 정도까지 떨어뜨려야 하는가를 결정하는 것이 어렵다는 점이다.
이러한 파라미터들은 인간 시각 시스템에 대한 인지 실험을 통해 구할 수밖에 없으며, 또한 대상 홀로그래픽 디스플레이 시스템 및 홀로그램 생성 알고리즘에 따라서 모두 달라지게 된다.
이에 따라 본 발명의 실시예에서는 포비티드 홀로그램 생성 알고리즘을 적용함에 있어, 중심시 영역과 주변시 영역의 경계를 정하고, 또한 주변시 영역에서의 영상 품질을 어느 정도 저하시킬 것인가에 대해 결정할 수 있도록 하는 인지 실험을 하는 방법을 제안한다.
인지 실험에서는, 포비티드 홀로그램 생성 알고리즘을 적용하고자 하는 홀로그래픽 디스플레이를 구성하고, 피험자에게 보여주게 된다. 이때 처음에는 주변시 영역의 홀로그램 영상 품질을 중심시 영역과 동일하게 시작하여, 주변시 영역의 홀로그램 영상 품질을 떨어뜨려가면서 피험자가 영상 품질의 저하를 인지하게 되는 순간을 찾아냄으로써, 주어진 주변시 영역 경계선의 반지름에 대해 어느 정도 주변시 영역의 영상 품질 저하가 일어났을 때 피험자가 인지하는지를 알아낸다.
그리고 이와 같은 실험을 다수의 피험자에게 다양한 반지름의 주변시 영역 경계선에 대해 시행함으로써, 평균적인 경향성을 알아내고 이를 포비티드 홀로그램 생성 알고리즘에 반영한다.
하지만 이와 같은 실험의 문제점은 피험자의 시선을 화면 중심에 고정하도록 강제할 수 없다는 데에 있다. 따라서 본 발명의 실시예에서는 시선을 화면 중앙에 고정시키기 위해 도 4와 같이 화면 중심에 시력 검사를 위해 쓰이는 란돌트 링(Landolt ring)을 배치시키고, 이 란돌트 링의 열린 방향을 상/하/좌/우 네 방향으로 무작위적으로 바꾸어 준다.
피험자에게는 이 란돌트 링의 열린 방향을 방향키(▲/▼/◀/▶) 등을 이용해 지속적으로 맞추도록 태스크를 부여함으로써, 피험자가 지속적으로 화면 중심에 시선을 고정시킬 수 있도록 한다.
도 5는 이와 같은 방법으로 인지 실험을 하기 위한 전체적인 구성을 보여준다. 도 5는 본 발명의 일 실시예에 따른 포비티드 홀로그램의 주변시 영상 파라미터 결정을 위한 인지 실험 시스템의 구성을 도시한 도면이다.
본 발명의 실시예에 따른 인지 실험 시스템은, 도시된 바와 같이, 포비티드 홀로그램 생성 시스템(100), 입력 장치(150) 및 홀로그래픽 디스플레이 시스템(200)을 포함하여 구성된다.
포비티드 홀로그램 생성 시스템(100)은 인지 실험을 위한 포비티드 홀로그램을 생성하여 홀로그래픽 디스플레이 시스템(200)을 통해 표시하는 컴퓨팅 시스템이다.
구체적으로 포비티드 홀로그램 생성 시스템(100)은 도 4에 도시된 바와 같이 중심시 영역에는 란돌트 링이 표시되고, 주변시 영역에는 영상 품질을 점차 떨어지는 홀로그램 영상이 표시되는 포비티드 홀로그램을 생성한다.
입력 장치(150)는 피험자로부터 란돌트 링의 열린 방향, 즉, 란돌트 링의 변화에 대한 응답을 입력받고, 피험자로부터 주변시 영역의 영상 품질 저하를 인지하였는지에 대한 응답을 입력받기 위한 장치이다. 입력 장치(150)는 포비티드 홀로그램 생성 시스템(100)의 입력 수단인 키보드를 통해 구현 가능하다.
인지 실험 과정에서 피험자는 홀로그래픽 디스플레이 시스템(200)을 통해 홀로그램 영상을 관찰하게 된다. 이 때 홀로그래픽 디스플레이 시스템(200)은 일정 거리에 떨어진 가상의 스크린(virtual screen)에 홀로그램 영상을 보여주게 된다. 이 때 가상 스크린의 중심인 중심시 영역에는 란돌트 링 영상을 띄워주고, 란돌트 링의 열린 부분이 상/하/좌/우 네 방향으로 무작위적으로 임의의 시간에 변경되게 된다. 피험자에게는 입력 장치(150)의 네 방향의 방향키를 통해 란돌트 링의 열린 방향이 바뀌는 것을 맞추도록 하며, 입력 장치(150)의 정지 키(stop key)를 통해 주변시 영역의 영상 품질 저하가 느껴질 때 누르도록 한다.
도 6은 이와 같은 실험 시스템을 통해 인지 실험을 진행하는 순서도를 보여준다. 먼저 인지 실험을 하려고 하는 중심시 영역과 주변시 영역 간의 경계선 반지름이 결정되면, 포비티드 홀로그램 생성 시스템(100)은 중심시 영역에는 란돌트 링, 주변시 영역에는 임의의 홀로그램 영상을 생성하여 홀로그래픽 디스플레이 시스템(200)에 표시한다.
그리고 홀로그래픽 디스플레이 시스템(200)은 임의의 시점에 란돌트 링의 열린 방향을 무작위적으로 변경하며, 이와 독립적으로 임의의 시점에 주변시 영역의 홀로그램 영상 품질을 단계적으로 낮추어 나간다(S310).
란돌트 링의 열린 방향이 바뀌면, 홀로그래픽 디스플레이 시스템(200)은 피험자가 사전에 정해진 delay 시간 td 안에 올바른 방향의 방향키를 눌렀는지 체크하며(S320 & S330), 피험자가 성공하였을 경우(S320-YES & S330-YES), flag_F의 값을 FALSE로 설정한 후(S370), S310단계부터 재수행된다.
하지만 피험자가 정해진 시간 내에 올바른 방향키를 누르는 것을 실패하였을 경우(S320-NO or S330-NO), 홀로그래픽 디스플레이 시스템(200)은 실패횟수 카운트 F를 늘려주며, 실패했음을 알려주는 flag_F를 TRUE로 셋팅한다(S340).
이 때 F의 값이 사전에 약속한 Fthreshold를 넘어서지 않았다면(S350-YES), 홀로그래픽 디스플레이 시스템(200)은 S310단계로 회기하여 실험을 계속 진행하지만, 넘어섰다면(S350-NO), 이번 세션에는 피험자가 집중을 하지 못한다고 판단하여 세션 실패를 리포트하고 종료한다(S360). 이 경우 피험자의 실험 결과는 포비티드 홀로그램 파라미터 결정을 위한 정보로써 수집되지 않는다.
또한 홀로그래픽 디스플레이 시스템(200)이 주변시 영역의 영상 품질을 저하시켰을 때에는(S310), 피험자가 정지키를 눌렀는지 체크하여(S380), 정지키를 누르지 않았다면(S380-NO), 피험자가 영상 품질 저하를 느끼지 못했다고 판단하여 실험을 계속 진행한다(S310).
혹은 정지키를 눌렀다고 하더라도, flag_F가 TRUE라면(S380-NO), 홀로그래픽 디스플레이 시스템(200)은 현재 피험자가 시선을 가운데 고정하지 못한 상태라고 판단하여 해당 정지키를 누른 것을 무시하고 실험을 계속 진행한다(S310).
한편, flag_F도 FALSE이고 정지키도 눌렀다면(S380-YES), 홀로그래픽 디스플레이 시스템(200)은 피험자가 시선을 화면 중앙에 고정한 상태에서 주변시의 영상 품질 저하를 느낀 것으로 판단하여 세션을 종료하고, 해당 세션의 파라미터들, 즉 주변시 영역 경계선의 반지름과 주변시 영상 품질 저하 정도 등을 기록하여 리포트한다(S390). 이 경우 피험자의 실험 결과는 포비티드 홀로그램 파라미터 결정을 위한 정보로써 수집된다고 할 수 있다.
이러한 인지 실험을 여러 명의 피험자에게 여러 조건에 대해 시행함으로써, 포비티드 홀로그램 영상 생성 알고리즘을 수행하기 위한 파라미터들을 알아낼 수 있다.
지금까지 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서 제시한 인지 실험을 통해, 포비티드 홀로그램 생성 알고리즘을 적용하는데 있어, 주변시 영역 경계선의 반지름 및 그 반지름에서의 주변시 홀로그램 영상 품질 저하 정도 등 여러 파라미터들을 결정하는데 참조하는 정보들을 수집할 수 있게 된다.
본 발명의 실시예에 제시된 인지 실험 방법은 주로 홀로그램 영상을 대상으로 설명이 되었지만, 꼭 홀로그램 영상 뿐 아니라 일반적 영상이나 라이트 필드(light field) 영상 등, 일반적으로 포비티드 렌더링의 개념이 적용되는 알고리즘의 개발에 모두 적용이 가능하다.
한편, 위 실시예에서 언급한 란돌트 링은 피험자의 시선이 중심시 영역에 머무르고 있는지 확인하기 위한 마크로써 언급한 것이다. 란돌트 링은 동일 기능을 수행할 수 있는 다른 형태나 종류의 마크로 대체될 수 있다.
또한, 위 실시예에서는 포비티드 홀로그램 생성 시스템(100)과 홀로그래픽 디스플레이 시스템(200)을 별개의 시스템으로 구현하였는데, 이들을 통합하여 하나의 시스템으로 구현하는 경우도 본 발명의 범주에 포함될 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 포비티드 홀로그램 생성 시스템
150 : 입력 장치
200 : 홀로그래픽 디스플레이 시스템

Claims (12)

  1. 포비티드 영상 생성 시스템이, 중심시 영역과 주변시 영역으로 구성되는 포비티드 영상을 생성하되, 주변시 영역에 대해서는 영상 품질을 떨어뜨리면서 생성하는 단계;
    디스플레이 시스템이, 생성된 포비티드 영상을 표시하는 단계;
    입력 장치가, 피험자로부터 주변시 영역의 영상 품질에 대한 응답을 입력받는 단계; 및
    포비티드 영상 생성 시스템이, 입력 장치를 통해 피험자가 입력한 응답을 기초로, 주변시 영역의 적정 영상 품질에 대한 정보를 수집하는 단계;를 포함하는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 인지 실험 방법.
  2. 청구항 1에 있어서,
    표시 단계는,
    주변시 영역의 영상 품질을 임의의 시점에 떨어뜨리는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 인지 실험 방법.
  3. 청구항 2에 있어서,
    표시 단계는,
    주변시 영역의 영상 품질을 중심시 영역의 영상 품질에서부터 단계적으로 떨어뜨리는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 인지 실험 방법.
  4. 청구항 1에 있어서,
    표시 단계는,
    피험자의 시선이 중심시 영역에 머무르고 있는지 확인하기 위한 마크를 표시하는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 인지 실험 방법.
  5. 청구항 4에 있어서,
    마크는,
    임의의 시점에 형태가 무작위적으로 변경되는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 인지 실험 방법.
  6. 청구항 5에 있어서,
    피험자로부터 마크의 변경 상태에 대한 응답을 입력받는 단계;를 더 포함하고,
    수집 단계는,
    변경 상태에 대한 응답이 맞은 경우에만, 피험자가 입력한 응답을 기초로 주변시 영역의 적정 영상 품질에 대한 정보를 수집하는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 인지 실험 방법.
  7. 청구항 6에 있어서,
    수집 단계는,
    변경 상태에 대한 응답이 맞지 않은 경우, 피험자가 입력한 응답을 기초로 주변시 영역의 적정 영상 품질에 대한 정보를 수집하지 않는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 인지 실험 방법.
  8. 청구항 6에 있어서,
    수집 단계는,
    변경 상태에 대한 응답이 정해진 시간 이후에 입력된 경우, 피험자가 입력한 응답을 기초로 주변시 영역의 적정 영상 품질에 대한 정보를 수집하지 않는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 인지 실험 방법.
  9. 청구항 1에 있어서,
    표시 단계, 입력 단계 및 수집 단계는,
    중심시 영역과 주변시 영역 간 경계의 반지름 및 피험자 중 적어도 하나를 바꾸어 가면서, 반복 수행되는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 인지 실험 방법.
  10. 중심시 영역과 주변시 영역으로 구성되는 포비티드 영상을 생성하되, 주변시 영역에 대해서는 영상 품질을 떨어뜨리면서 생성하는 포비티드 영상 생성 시스템;
    생성된 포비티드 영상을 표시하는 디스플레이 시스템;
    피험자로부터 주변시 영역의 영상 품질에 대한 응답을 입력받는 입력 장치; 및
    포비티드 영상 생성 시스템은,
    입력 장치를 통해 피험자가 입력한 응답을 기초로, 주변시 영역의 적정 영상 품질에 대한 정보를 수집하는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 인지 실험 시스템.
  11. 포비티드 영상 시스템이, 중심시 영역과 주변시 영역으로 구성되는 포비티드 영상을 표시하되, 주변시 영역에 대해서는 영상 품질을 떨어뜨리면서 표시하는 단계;
    포비티드 영상 시스템이, 피험자로부터 주변시 영역의 영상 품질에 대한 응답을 입력받는 단계; 및
    포비티드 영상 시스템이, 피험자가 입력한 응답을 기초로, 주변시 영역의 적정 영상 품질에 대한 정보를 수집하는 단계;를 포함하는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 실험 방법.
  12. 포비티드 영상 시스템이, 중심시 영역과 주변시 영역으로 구성되는 포비티드 영상을 표시하되, 주변시 영역에 대해서는 영상 품질을 떨어뜨리면서 표시하는 단계;
    포비티드 영상 시스템이, 피험자로부터 주변시 영역의 영상 품질에 대한 응답을 입력받는 단계; 및
    포비티드 영상 시스템이, 피험자가 입력한 응답을 기초로, 주변시 영역의 적정 영상 품질에 대한 정보를 수집하는 단계;를 포함하는 것을 특징으로 하는 포비티드 영상 파라미터 결정을 위한 실험 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020210177357A 2021-12-13 2021-12-13 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법 KR102586644B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210177357A KR102586644B1 (ko) 2021-12-13 2021-12-13 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법
US18/013,317 US20240119673A1 (en) 2021-12-13 2021-12-15 Cognitive experiment method for periphery region quality change for parameter determination of foveated hologram
PCT/KR2021/019022 WO2023113059A1 (ko) 2021-12-13 2021-12-15 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210177357A KR102586644B1 (ko) 2021-12-13 2021-12-13 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법

Publications (2)

Publication Number Publication Date
KR20230089031A true KR20230089031A (ko) 2023-06-20
KR102586644B1 KR102586644B1 (ko) 2023-10-10

Family

ID=86774493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210177357A KR102586644B1 (ko) 2021-12-13 2021-12-13 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법

Country Status (3)

Country Link
US (1) US20240119673A1 (ko)
KR (1) KR102586644B1 (ko)
WO (1) WO2023113059A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0956674A (ja) * 1995-08-21 1997-03-04 Matsushita Electric Ind Co Ltd 視野検査装置
KR20180082253A (ko) * 2017-01-10 2018-07-18 삼성전자주식회사 영상 출력 방법 및 이를 지원하는 전자 장치
KR20210107408A (ko) * 2020-02-24 2021-09-01 삼성전자주식회사 광학 장치 및 이를 포함한 근안 디스플레이 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160016468A (ko) * 2014-08-05 2016-02-15 삼성전자주식회사 리얼 3d 영상 생성 방법 및 그 장치
US11067806B2 (en) * 2019-03-19 2021-07-20 Nvidia Corp. Foveated display for augmented reality
CN114008512B (zh) * 2019-06-23 2024-05-24 鲁姆斯有限公司 具有中央凹光学校正的显示器
BR112022001434A2 (pt) * 2019-07-28 2022-06-07 Google Llc Métodos, sistemas e mídia para renderizar conteúdo de vídeo imersivo com malhas otimizadas

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0956674A (ja) * 1995-08-21 1997-03-04 Matsushita Electric Ind Co Ltd 視野検査装置
KR20180082253A (ko) * 2017-01-10 2018-07-18 삼성전자주식회사 영상 출력 방법 및 이를 지원하는 전자 장치
KR20210107408A (ko) * 2020-02-24 2021-09-01 삼성전자주식회사 광학 장치 및 이를 포함한 근안 디스플레이 장치

Also Published As

Publication number Publication date
US20240119673A1 (en) 2024-04-11
KR102586644B1 (ko) 2023-10-10
WO2023113059A1 (ko) 2023-06-22

Similar Documents

Publication Publication Date Title
EP3674852B1 (en) Method and apparatus with gaze estimation
JP6900516B2 (ja) 注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体
US10694172B2 (en) Managing a display
CN110245612A (zh) 人脸图像的检测方法和装置
CN109544568A (zh) 目标图像分割方法、装置及设备
EP3206087B1 (en) Method and apparatus for processing holographic image
US20170200285A1 (en) Method and apparatus for determining interpupillary distance (ipd)
CN110458441A (zh) 质量检验的审核方法、装置、系统及存储介质
Banitalebi-Dehkordi et al. Benchmark three-dimensional eye-tracking dataset for visual saliency prediction on stereoscopic three-dimensional video
US20150185484A1 (en) Pupil tracking apparatus and method
US11800975B2 (en) Eye fatigue prediction based on calculated blood vessel density score
KR20230089031A (ko) 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법
US11941835B2 (en) Eye information estimate apparatus, eye information estimate method, and program
CN109284002B (zh) 一种用户距离估算方法、装置、设备及存储介质
WO2021081850A1 (zh) 基于vrds 4d医学影像的脊椎疾病识别方法及相关装置
EP3836073B1 (en) Method and apparatus for tracking eye based on eye reconstruction
WO2018193595A1 (ja) 評価プログラム、評価方法および評価装置
CN112528714A (zh) 基于单光源的注视点估计方法、系统、处理器及设备
KR20210004232A (ko) 홀로그래픽 영상 처리 방법 및 장치
CN109587403A (zh) 一种拍摄引导方法和装置
US20240144602A1 (en) Distribution control system, distribution control apparatus, distribution control method, and program
US20210319552A1 (en) Simulating visual field test from structural scans
KR101855105B1 (ko) 헤드 마운트 디스플레이에서의 눈의 초점 위치 분석 시스템 및 그 방법
JP2008257431A (ja) 画像表示装置及び画像表示方法
Lehtiranta Gaze Prediction in VR

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant