KR20200066826A - 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치 - Google Patents

3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치 Download PDF

Info

Publication number
KR20200066826A
KR20200066826A KR1020180153425A KR20180153425A KR20200066826A KR 20200066826 A KR20200066826 A KR 20200066826A KR 1020180153425 A KR1020180153425 A KR 1020180153425A KR 20180153425 A KR20180153425 A KR 20180153425A KR 20200066826 A KR20200066826 A KR 20200066826A
Authority
KR
South Korea
Prior art keywords
image
coordinate system
viewpoints
optical
information
Prior art date
Application number
KR1020180153425A
Other languages
English (en)
Other versions
KR102652943B1 (ko
Inventor
이석
박주용
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180153425A priority Critical patent/KR102652943B1/ko
Priority to US16/446,102 priority patent/US11070782B2/en
Publication of KR20200066826A publication Critical patent/KR20200066826A/ko
Priority to US17/361,936 priority patent/US11711502B2/en
Application granted granted Critical
Publication of KR102652943B1 publication Critical patent/KR102652943B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/312—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being placed behind the display panel, e.g. between backlight and spatial light modulator [SLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)

Abstract

3차원 영상을 출력하기 위한 방법 및 장치가 제공된다. 3차원 영상을 출력하기 위해, 사용자의 시점을 고려한 스테레오 영상이 생성되고, 스테레오 영상이 3차원 영상으로 렌더링된다. 사용자의 시점에 기초하여 스테레오 영상이 생성되므로, 3차원 영상에 나타나는 오브젝트는 사용자의 시점에 따라 사용자에게 보여지는 면이 달라진다.

Description

3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치{METHOD FOR OUTPUTTING A THREE DIMENSIONAL IMAGE AND AN ELECTRONIC DEVICE PERFORMING THE METHOD}
아래의 실시예들은 3차원 영상을 사용자에게 제공하기 위한 방법 및 장치에 관한 것으로, 보다 상세하게는 증강 현실 컨텐츠가 나타나는 3차원 영상을 제공하기 위한 방법 및 장치에 관한 것이다.
사람이 3차원 영상을 인지하는 요인들 중 가장 지배적인 요인은 사용자의 양 눈에 보여지는 영상의 차이이다. 사용자의 양 눈에 서로 다른 영상을 보여주기 위한 방법으로는 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 원하는 영상을 필터링(Filtering)하는 안경 방식과, 패럴렉스 배리어(parallax barrier), 렌티큘러 렌즈(lenticular lens), 또는 방향성 백라이트 유닛(directional BLU) 등 3차원 변환 장치를 이용하여 각 영상을 특정 공간에서만 볼 수 있도록 하는 무안경 방식이 있다. 무안경 방식의 경우, 안경 착용의 불편을 덜 수 있다는 장점이 있다. 3차원 영상은 거울 및 렌즈 등의 광학계를 통해 제공될 수도 있다. 이 경우, 광학계에 의해 빛의 방향이 변경되므로, 3차원 영상을 렌더링할 때 빛의 방향 변화가 고려될 필요가 있다.
일 측면에 따른, 3차원 영상 출력 방법은, 시스템 내의 사용자의 눈 위치 정보를 획득하는 단계, 상기 눈 위치 정보 및 광학계 정보에 기초하여 광학계에 대한 상기 사용자의 가상 시점들을 계산하는 단계, 상기 눈 위치 정보에 기초하여 적어도 두 개의 시점(viewpoint)들을 그래픽 공간 좌표계(graphic space coordinate system) 내에 설정하는 단계, 상기 그래픽 공간 좌표계 내에 설정된 상기 적어도 두 개의 시점들에 기초하여 가상 스크린에 출력될 오브젝트에 대한 스테레오 영상(stereo image)을 생성하는 단계, 상기 가상 시점들 및 상기 스테레오 영상에 기초하여 3차원 영상을 렌더링하는 단계, 및 상기 광학계를 통해 상기 3차원 영상을 상기 사용자에게 출력하는 단계를 포함한다.
상기 스테레오 영상을 생성하는 단계는, 상기 그래픽 공간 좌표계 내에 설정된 상기 적어도 두 개의 시점들의 각각에 대한 절두체(frustum) 정보를 계산하는 단계, 상기 시스템의 자세 정보에 기초하여 출력될 오브젝트 및 상기 오브젝트의 자세(pose)를 결정하는 단계, 상기 오브젝트의 자세를 상기 그래픽 공간 좌표계로 변환함으로써 상기 오브젝트를 상기 그래픽 공간 좌표계 내에 설정하는 단계, 및 상기 절두체 정보 및 상기 그래픽 공간 좌표계 내에 설정된 상기 오브젝트에 기초하여 상기 스테레오 영상을 생성하는 단계를 포함할 수 있다.
상기 3차원 영상 출력 방법은, 상기 눈 위치 정보에 기초하여 상기 가상 스크린을 설정하는 단계를 더 포함하고, 상기 절두체 정보를 계산하는 단계는, 상기 가상 스크린에 기초하여 상기 절두체 정보를 생성하는 단계를 포함할 수 있다.
상기 가상 스크린을 설정하는 단계는, 미리 설정된 제1 눈 위치 및 타겟 눈 위치 간의 차이를 결정하는 단계, 상기 차이에 기초하여 제1 눈 위치에 대해 미리 설정된 제1 가상 스크린 정보에 대한 제1 가중치를 결정하는 단계, 상기 제1 가상 스크린 정보 및 제1 가중치에 기초하여 상기 타겟 눈 위치에 대한 타겟 가상 스크린 정보를 결정하는 단계, 및 상기 타겟 가상 스크린 정보에 기초하여 상기 가상 스크린을 설정하는 단계를 포함할 수 있다.
상기 제1 눈 위치는 상기 시스템 내의 공간에 설정되는 아이 박스(eye box) 내에 미리 설정될 수 있다.
상기 3차원 영상 출력 방법은, 상기 그래픽 공간 좌표계 내에 설정된 상기 적어도 두 개의 시점들을 평탄화(smoothing)하는 단계를 더 포함하고, 상기 절두체 정보를 계산하는 단계는, 상기 평탄화된 적어도 두 개의 시점들에 기초하여 상기 절두체 정보를 계산하는 단계를 포함할 수 있다.
상기 광학계는 상기 3차원 영상을 출력하는 디스플레이 패널을 포함하고, 상기 가상 시점들은 상기 디스플레이 패널의 후면 방향에 위치할 수 있다.
상기 3차원 영상을 렌더링하는 단계는, 상기 가상 시점들에 기초하여 상기 디스플레이 패널 상의 픽셀을 지나는 가상의 광선들을 결정하는 단계, 상기 가상의 광선들 및 광학 레이어 사이의 교점들을 결정하는 단계, 및 상기 교점들 및 상기 광학 레이어의 광학 성분들 사이의 거리들에 기초하여 상기 픽셀에 픽셀 값을 할당하는 단계를 포함할 수 있다.
상기 가상의 광선들을 결정하는 단계는, 상기 광학 레이어 및 상기 디스플레이 패널 사이의 매질의 제1 굴절률, 및 상기 광학 레이어 및 상기 디스플레이 패널을 포함하는 디스플레이 장치의 외부의 매질의 제2 굴절률에 기초하여 상기 가상의 광선들을 결정하는 단계를 포함할 수 있다.
상기 광학계 정보는 상기 광학계에 포함되는 오목 거울 또는 볼록 렌즈의 광학적 특성을 포함할 수 있다.
상기 가상 시점들은 상기 사용자의 좌측 시점 및 우측 시점에 대응할 수 있다.
상기 시스템은 차량이고, 상기 가상 스크린은 상기 차량의 외부에 설정될 수 있다.
상기 광학계는 상기 차량의 앞 유리창(wind shield glass)을 포함할 수 있다.
상기 가상 시점들은 상기 사용자의 좌측 시점 및 우측 시점에 대응할 수 있다.
다른 일 측면에 따른, 3차원 영상을 출력하는 전자 장치는, 3차원 영상을 출력하는 프로그램이 기록된 메모리, 및 상기 프로그램을 수행하는 프로세서를 포함하고, 상기 프로그램은, 시스템 내의 사용자의 눈 위치 정보 및 광학계 정보에 기초하여 광학계에 대한 상기 사용자의 가상 시점들을 계산하는 단계, 상기 눈 위치 정보에 기초하여 적어도 두 개의 시점(viewpoint)들을 상기 시스템의 실제 공간에 대응하는 가상의 공간인 그래픽 공간 좌표계(graphic space coordinate system) 내에 설정하는 단계, 상기 그래픽 공간 좌표계 내에 설정된 상기 적어도 두 개의 시점들에 기초하여 가상 스크린에 출력될 오브젝트에 대한 스테레오 영상(stereo image)을 생성하는 단계, 상기 가상 시점들 및 상기 스테레오 영상에 기초하여 3차원 영상을 렌더링하는 단계, 및 상기 광학계를 통해 상기 3차원 영상을 상기 가상 스크린 상에 출력하는 단계를 수행한다.
상기 스테레오 영상을 생성하는 단계는, 상기 그래픽 공간 좌표계 내에 설정된 상기 적어도 두 개의 시점들의 각각에 대한 절두체(frustum) 정보를 계산하는 단계, 상기 시스템의 자세 정보에 기초하여 출력될 오브젝트 및 상기 오브젝트의 자세(pose)를 결정하는 단계, 상기 오브젝트의 자세를 상기 그래픽 공간 좌표계로 변환함으로써 상기 오브젝트를 상기 그래픽 공간 좌표계 내에 설정하는 단계, 및 상기 절두체 정보 및 상기 그래픽 공간 좌표계 내에 설정된 상기 오브젝트에 기초하여 상기 스테레오 영상을 생성하는 단계를 포함할 수 있다.
상기 전자 장치는, 상기 시스템 내의 상기 사용자의 눈 위치 정보를 생성하는 카메라를 더 포함할 수 있다.
상기 전자 장치는, 상기 렌더링된 3차원 영상을 출력하는 디스플레이 패널을 포함하는 디스플레이 장치를 더 포함할 수 있다.
또 다른 일 측면에 따른, 3차원 영상 출력 방법은, 카메라에 대한 사용자의 눈 위치들을 획득하는 단계, 상기 눈 위치들의 좌표를 디스플레이 패널의 좌표계(coordinate system of display panel)로 변환하는 단계, 상기 디스플레이 패널의 좌표계로 변환된 상기 눈 위치들의 좌표를 그래픽 공간 좌표계(graphic space coordinate system)로 변환함으로써 두 개의 시점(viewpoint)들을 상기 그래픽 공간 좌표계 내에 설정하는 단계, 상기 그래픽 공간 좌표계 내에 설정된 상기 두 개의 시점들에 기초하여 출력될 오브젝트에 대한 스테레오 영상(stereo image)을 생성하는 단계, 상기 디스플레이 패널의 좌표계로 변환된 상기 눈 위치들 및 상기 스테레오 영상에 기초하여 3차원 영상을 렌더링하는 단계, 및 상기 디스플레이 패널을 통해 상기 3차원 영상을 상기 사용자에게 출력하는 단계를 포함한다.
상기 스테레오 영상을 생성하는 단계는, 상기 그래픽 공간 좌표계 내에 설정된 상기 두 개의 시점들의 각각 대한 절두체(frustum) 정보를 계산하는 단계, 출력될 오브젝트 및 상기 오브젝트의 자세(pose)를 결정하는 단계, 상기 오브젝트의 자세를 상기 그래픽 공간 좌표계로 변환함으로써 상기 오브젝트를 상기 그래픽 공간 좌표계 내에 설정하는 단계, 및 상기 절두체 정보 및 상기 그래픽 공간 좌표계 내에 설정된 상기 오브젝트에 기초하여 상기 스테레오 영상을 생성하는 단계를 포함할 수 있다.
도 1은 일 예에 따른 컨텐츠 시각화 시스템을 설명하는 도면이다.
도 2는 일 예에 따른 경로 안내 컨텐츠이다.
도 3은 일 예에 따른 3D 영상을 출력하는 방법의 개략도이다.
도 4는 일 예에 따른 스테레오 영상에 기초하여 3D 영상을 렌더링 및 출력하는 방법의 개략도이다.
도 5 및 도 6은 일 예에 따른 오목 거울을 이용하여 3D 영상을 렌더링하는 과정을 나타낸다.
도 7 및 도 8는 일 예에 따른 볼록 렌즈를 이용하여 3D 영상을 렌더링하는 과정을 나타낸다.
도 9은 일 예에 따른 광선의 방향을 계산하여 시점을 설정하는 과정을 나타낸다.
도 10은 다른 예에 따른 광선의 방향을 계산하여 시점을 설정하는 과정을 나타낸다.
도 11은 일 예에 따른 가상의 광선과 광학 레이어의 교점을 이용하여 시점을 설정하는 과정을 나타낸다.
도 12는 일 예에 따른 교점을 결정하는 과정을 나타낸다.
도 13은 일 실시예는 3D 영상을 출력하는 전자 장치의 구성도이다.
도 14는 일 실시예는 3D 영상을 출력하는 방법의 흐름도이다.
도 15는 일 예에 따른 그래픽 공간 좌표계 내에 설정된 시점에 대한 절두체이다.
도 16은 일 예에 따른 그래픽 공간 좌표계 내에 설정된 오브젝트이다.
도 17은 일 예에 따른 그래픽 공간 좌표계에서 생성된 스테레오 영상을 도시한다.
도 18은 일 예에 따른 가상 시점들 및 스테레오 영상에 기초하여 3D 영상을 렌더링하는 방법의 흐름도이다.
도 19는 일 예에 따른 가상 스크린을 설정하는 방법의 흐름도이다.
도 20은 일 예에 따른 미리 설정된 아이 박스를 도시한다.
도 21은 다른 일 실시예에 따른 3D 영상을 출력하는 방법의 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 예에 따른 컨텐츠 시각화 시스템을 설명하는 도면이다.
컨텐츠 시각화 시스템(100)(컨텐츠 시각화 시스템(100)는 이하에서 시스템(100)으로 약술된다)은 사용자(190)에게 컨텐츠(content)(161)를 제공하는 시스템으로써, 예를 들어, 컨텐츠 시각화 장치(110)가 장착된 기기일 수 있다.
컨텐츠 시각화 장치(110)는 센서(111), 프로세서(112), 및 헤드업 디스플레이(Head-Up Display: HUD)(113)를 포함할 수 있다.
센서(111)는 카메라 및 레이더 등을 포함할 수 있다. 프로세서(112)는 센서(111)를 이용하여 컨텐츠 시각화 시스템(100)의 주변에 존재하는 오브젝트(object)를 검출할 수 있다. 예를 들어, 시스템(100) 및 객체 간의 거리가 측정될 수 있다. 다만, 기재된 실시예로 한정되는 것은 아니고, 센서(111)를 이용하여 프로세서(112)는 시스템(100)의 주위에 존재하는 오브젝트까지의 거리를 계산할 수 있고, 주변에 존재하는 오브젝트까지의 거리를 나타내는 주변 거리 맵을 생성할 수 있다.
프로세서(112)는 검출된 오브젝트에 기초하여 사용자(190)에게 제공할 컨텐츠(161)를 생성할 수 있다. 예를 들어, 컨텐츠 시각화 장치(110)가 차량에 장착된 경우, 컨텐츠 시각화 장치(110)는 사용자(190)에게 운전과 연관된 정보에 기초하여 컨텐츠(161)를 생성할 수 있다. 사용자(190)에게 정보를 제공하기 위해 컨텐츠(161)가 이용될 수 있다. 운전과 연관된 정보(이하, 운행 정보)는, 예를 들어, 경로 안내 정보(route guidance information) 및 주행 관련 정보(driving related information) 등과 같이 운전자에게 유익한 정보일 수 있다. 또한, 프로세서(112)는 센서(111)에 의해 센싱된 주변 정보(예를 들어, 주변의 오브젝트까지의 거리 및 오브젝트를 포함하는 영상 등)를 분석하여, 오브젝트를 모델링하거나, 오브젝트의 위치를 검출하거나, 오브젝트를 인식하는 동작 등을 수행할 수 있다.
HUD(113)는 사용자(190)의 전방에 위치하는 사용자(190)의 가시 영역(visible region)에 컨텐츠(161)를 시각화할 수 있다. 예를 들어, HUD(113)는 사용자(190)의 전방에 위치한 유리창(예를 들어, 차량의 윈드쉴드 글래스(windshield glass))에 컨텐츠(161)를 시각화할 수 있다. HUD(113)는 가상의 프로젝션 평면(150)(가상의 프로젝션 평면은 이하에서 "가상 스크린"으로 명명된다)을 형성할 수 있다. 가상 스크린(150)은 HUD(113)에 의해 생성된 컨텐츠(161)를 포함하는 허상(virtual image)이 표시되는 평면일 수 있다. 사용자(190)는 가상 스크린(150)에 허상이 배치된 것으로 인식할 수 있다. 차량의 외부에 가상 스크린(150)이 형성되도록 설정될 수 있다.
또한, HUD(113)는 가상 스크린(150)에 깊이를 가지는 컨텐츠(161)를 시각화할 수 있다. 예를 들어, 프로세서(112)는 가상 스크린(150)을 기준으로 컨텐츠(161)가 시각화될 수 있는 깊이를 결정할 수 있고, HUD(113)는 결정된 깊이에 기초하여 사용자(190)를 기준으로 가상 스크린(150)으로부터 먼 깊이 또는 가까운 깊이를 가지도록 컨텐츠(161)를 시각화할 수 있다. HUD(113)는 가상 영역(160) 내에 해당하는 깊이를 가지는 컨텐츠(161)를 가상 스크린(150)에 시각화할 수 있다. 여기에서, 프로세서(112)는 HUD(113)의 광학계에 기초하여, 컨텐츠(161)를 3차원(dimensional: D) 그래픽 표현(graphic representation)으로 렌더링할 수 있다. 컨텐츠(161)는 증강 현실(Augmented Reality: AR)을 위한 컨텐츠일 수 있다. 사용자는 실제의 오브젝트와 함께 표현된 컨텐츠(161)를 통해 증강된 현실을 볼 수 있다.
3D 그래픽 표현은 깊이를 가지는 입체적인 그래픽 표현을 나타낼 수 있다. HUD(113)는 컨텐츠(161)가 가지는 깊이에 기초하여, 좌영상(left image) 및 우영상(right image)을 포함하는 가상 스크린(150)을 형성할 수 있고, 가상 스크린(150)을 통해 좌영상을 사용자(190)의 좌안(left eye)에, 우영상을 사용자(190)의 우안(right eye)에 제공할 수 있다. 따라서, 사용자(190)는 입체적으로 렌더링된 컨텐츠(161)의 깊이감을 인식할 수 있다.
일 측면에 따른 HUD(113)는 예를 들어, 화상 생성부(picture generation unit)(114), 폴드 거울(fold mirror)(115) 및 오목 거울(116)을 포함할 수 있다. 다만, HUD(113)의 구성을 기재된 실시예로 한정하는 것은 아니고, 설계에 따라 사용자(190)의 전방에 배치된 유리창으로의 투사를 통해 허상이 맺히는 가상 스크린(150)을 형성하는 다양한 구성요소를 포함할 수도 있다.
본 명세서에서는 컨텐츠 시각화 장치(110)가 차량에 장착된 예시를 중심으로 설명하지만, 이로 한정하는 것은 아니다. 예를 들어, 컨텐츠 시각화 장치(110)는 증강현실 안경(AR glass, Augmented Reality glass) 및 혼합현실(MR, mixed reality) 등과 같이 현실과 가상의 정보를 결합시키는 기술에 적용될 수 있다.
일 예에 따른 컨텐츠 시각화 장치(110)는, 컨텐츠(161)의 깊이를 조절함으로써, HUD(113)에 의해 형성되는 가상 스크린(150)의 위치 변경 없이도, 연속적인 깊이를 표현할 수 있다. 또한, 컨텐츠 시각화 장치(110)는 가상 스크린(150)의 위치를 변경할 필요가 없으므로, HUD(113)에 포함된 구성요소들에 대한 물리적인 조작을 요구하지 않는다. 컨텐츠 시각화 장치(110)가 차량에 장착되는 경우, 컨텐츠 시각화 장치(110)는 운전자의 전방에 3D 컨텐츠(161)를 동적으로 시각화할 수 있다.
도 2는 일 예에 따른 경로 안내 컨텐츠이다.
차량(290)에는 도 1을 참조하여 전술된 컨텐츠 시각화 장치(110)가 장착될 수 있다. 도 2의 상단은 차량(290)과 도로(210)의 관계를 탑뷰로 도시하고, 도 2의 하단은 사용자의 시야(230)를 도시한다.
예를 들어, 도로(210)를 주행하는 차량(290)은 전진하는 상황일 수 있다. 경로 안내 정보는 직진을 지시할 수 있고, 컨텐츠 시각화 장치(110)는 직진을 지시하는 경로 안내 컨텐츠(220)를 시각화할 수 있다. 컨텐츠 시각화 장치(110)는 사용자의 시야(530)에 경로 안내 컨텐츠(520)를 입체적으로 시각화할 수 있다. 예를 들어, 컨텐츠 시각화 장치(110)는 차량(290)의 윈드쉴드 글래스를 통해 허상이 맺히는(focus) 가상 스크린을 형성하고, 가상 스크린을 통해 경로 안내 컨텐츠(220)를 시각화할 수 있다. 안내 컨텐츠(220)는 AR을 위한 컨텐츠일 수 있다.
일 예에 따르면, 컨텐츠 시각화 장치(110)는 경로 안내 정보가 차량(290)의 현재 위치에 대하여 직진을 지시하는 경우에 응답하여, 지시 시작 지점을 차량(290)으로부터 제1 거리만큼 이격된 지점으로 설정하고, 지시 종료 지점을 차량(290)으로부터 제1 거리보다 큰 제2 거리만큼 이격된 지점으로 설정할 수 있다. 예를 들어, 제1 거리는 미소한 길이로 설계(design)될 수 있고, 제2 거리는 사용자가 인식할 수 있는 최대 가시 거리 또는 컨텐츠 시각화 장치(110)에 의해 구현될 수 있는 최대 깊이로 설계될 수 있다. 제1 거리 및 제2 거리에 대한 설계는 기재된 실시예로 한정되지 않는다.
컨텐츠 시각화 장치(110)는 지시 시작 지점 및 지시 종료 지점을 전술한 바와 같이 차량(290)의 이동에 응답하여 동적으로 변경함으로써, 도로 선형에 피팅된 경로 안내 컨텐츠(220)를 제공할 수 있다. 따라서, 컨텐츠 시각화 장치(110)는 도로 선형에 기초하여 보다 직관적으로 생성된 경로 안내 컨텐츠(220)를 사용자에게 제공할 수 있다.
일 측면에 따르면, 운전자가 경로 안내 컨텐츠(220)를 현실의 오브젝트인 것 처럼 느낄 수 있도록, 경로 안내 컨텐츠(220)가 생성될 수 있다. 운전자가 경로 안내 컨텐츠(220)를 바라보는 시점이 변경됨에 따라, 보여지는 경로 안내 컨텐츠(220)의 면(face)이 변화하게 된다면, 운전자는 경로 안내 컨텐츠(220)가 실제의 오브젝트인 것처럼 느낄 수 있다. 예를 들어, 사용자의 시점이 이전보다 우측으로 이동함에 따라, 경로 안내 컨텐츠(220)의 우측 면이 더 드러나게 되는 경우, 사용자는 경로 안내 컨텐츠(220)가 물리적인 공간에 위치한다고 느낄 수 있다. 경로 안내 컨텐츠(220)와 같은 컨텐츠를 사용자에게 현실감 있게 제공하기 위해, 3D 영상을 생성 및 출력하는 방법이 아래에서 도 3, 및 13 내지 도 21을 참조하여 상세히 설명된다.
도 3은 일 예에 따른 3D 영상을 출력하는 방법의 개략도이다.
도 1 및 2를 참조하여 전술된 AR 컨텐츠는, 사용자의 좌안을 위한 좌영상 및 우안을 위한 우영상에 의해 가상 스크린에서 나타난다. 좌영상 및 우영상은 HUD(113)의 디스플레이 패널에 동시에 출력될 수 있고, 렌티큘러 렌즈(lenticular lens)와 같은 광학 레이어를 통해 사용자의 좌안 및 우안에 각각 제공될 수 있다.
일 측면에 따르면, 현실감 있는 AR 컨텐츠가 제공되기 위해서는 1) 3D 영상을 렌더링하는 과정 및 2) AR 컨텐츠에 대한 영상을 렌더링(AR 렌더링)하는 과정이 수행된다.
3D 영상을 렌더링하는 과정은 눈의 위치를 추적하는 단계(310), 광학계에 대한 가상 시점을 계산하는 단계(320) 및 3D 영상을 렌더링하는 단계(390)를 통해 수행된다.
AR 컨텐츠에 대한 영상을 렌더링하는 과정은 눈의 위치를 추적하는 단계(310), 그래픽 공간 좌표계 내에 두 개의 시점들을 생성하는 단계(330), 절단체를 생성하는 단계(340), 시스템을 로컬라이제이션(localization)하는 단계(350), 출력될 오브젝트를 결정하는 단계(360), 오브젝트를 그래픽 공간 좌표계 내에 설정하는 단계(370) 및 오브젝트를 그래픽으로 렌더링함으로써 스테레오 영상을 생성하는 단계(380)를 통해 수행될 수 있다.
AR 컨텐츠에 대한 영상을 렌더링하는 과정을 설명하기 전에, 도 4 내지 도 12를 참조하여 3D 영상을 렌더링하는 방법 및 출력하는 방법이 선행하여 설명된다.
도 4는 일 예에 따른 스테레오 영상에 기초하여 3D 영상을 렌더링 및 출력하는 방법의 개략도이다.
3D 영상 렌더링 시스템(400)은 3D 영상 렌더링 장치(410), 디스플레이 장치(420) 및 광학계(optical system)(430)를 포함한다. 디스플레이 장치(420) 및 광학계(430)가 분리되어 도시되었으나, 광학계(430)는 디스플레이 장치(420)를 포함할 수 있다. 3D 영상 렌더링 시스템(400)은 도 1을 참조하여 전술된 컨텐츠 시각화 장치(110)에 포함될 수 있다.
디스플레이 장치(120)는 디스플레이 패널 및 광학 레이어를 포함할 수 있다. 광학 레이어는 패럴렉스 배리어(parallax barrier), 렌티큘러 렌즈 및 방향성 백라이트 유닛(directional back light unit) 중 어느 하나일 수 있다. 디스플레이 패널은 복수의 픽셀들을 포함할 수 있고, 3D 영상 렌더링 장치(410)는 스테레오 영상에 기초하여 미리 정해진 수의 시점들에 대응하는 픽셀 값들을 복수의 픽셀들에 할당할 수 있다. 예를 들어, 3D 영상 렌더링 장치(410)는 제1 픽셀에는 제1 시점(441)에 대응하는 픽셀 값을 할당하고, 제2 픽셀에는 제2 시점(443)에 대응하는 픽셀 값을 할당할 수 있다. 아래에서 픽셀 값 할당의 대상이 되는 제1 시점(441) 및 제2 시점(443)은 가상 시점(virtual viewpoint)들로 지칭될 수 있다. 예를 들어, 가상 시점들은 단일 사용자를 위한 좌측 시점 및 우측 시점을 포함할 수 있다. 다른 예로, 가상 시점들은 멀티 뷰를 위한 미리 정해진 수의 시점들을 포함할 수 있다. 디스플레이 패널은 3D 영상 렌더링 장치(410)에 의해 할당된 픽셀 값들에 기초하여 패널 영상을 표시할 수 있다.
디스플레이 패널의 픽셀들에는 광원에 의한 빛이 제공될 수 있다. 예를 들어, 광원은 디스플레이 패널의 후면에 위치한 백라이트 유닛이거나, 혹은 광학 레이어의 일례인 방향성 백라이트 유닛일 수 있다. 픽셀들에 빛이 제공됨에 따라, 픽셀의 픽셀 값에 대응하는 빛이 사용자에게 보여질 수 있다. 이 때, 광학 레이어는 사용자에 의해 빛이 보여지는 방향을 제한할 수 있다. 구체적으로, 패럴렉스 배리어는 일정한 간격의 슬릿(slit)을 통해 빛을 제한된 방향으로 출력할 수 있고, 렌티큘러 렌즈는 렌즈의 굴곡을 통해 빛을 제한된 방향으로 출력할 수 있다. 또한, 방향성 백라이트 유닛은 디스플레이 패널에 제한된 방향의 빛을 제공할 수 있다.
예를 들어, 제1 시점(441)에 따른 픽셀 값이 할당된 픽셀에는 제1 시점(441) 방향의 빛이 제공될 수 있고, 제2 시점(443)에 따른 픽셀 값이 할당된 픽셀에는 제2 시점(443) 방향의 빛이 제공될 수 있다. 시청 영역(440)에 위치한 사용자는 제1 시점(441)을 통해 제1 시점(441)에 대응하는 영상을 시청하고, 제2 시점(443)을 통해 제2 시점(443)에 대응하는 영상을 시청할 수 있다. 제1 시점(441)이 오른쪽 눈에 대응하고, 제2 시점(443)이 왼쪽 눈에 대응하는 경우, 사용자는 양쪽 눈을 통해 서로 다른 영상을 동시에 시청함으로써 입체감을 느낄 수 있다.
디스플레이 장치(420)를 통해 출력된 영상은 광학계(430)를 통해 사용자에게 제공될 수 있다. 광학계(430)는 반사 광학계에 해당하는 거울, 혹은 굴절 광학계에 해당하는 렌즈를 포함할 수 있다. 실시예에 따라, 디스플레이 장치(420)는 소형 스크린을 통해 구현될 수 있고, 광학계(430)는 디스플레이 장치(420)에 의해 출력된 영상을 확대할 수 있다. 예를 들어, 디스플레이 장치(420) 및 광학계(430)는 HUD의 일부일 수 있다. 이 경우, 광학계(430)는 오목 거울, 혹은 볼록 렌즈를 포함할 수 있으며, 오목 거울은 반투명한 성질을 가질 수 있다.
3D 영상 렌더링 장치(410)는 디스플레이 패널의 픽셀에 픽셀 값을 할당하기 위해 해당 픽셀을 지나는 빛의 경로를 파악할 수 있다. 아래에서, 디스플레이 패널의 픽셀들을 지나는 빛은 광선으로 지칭될 수 있다. 예를 들어, 제1 픽셀을 지나는 광선이 제1 시점(441)에 제공되는 경우, 3D 영상 렌더링 장치(410)는 제1 픽셀에 제1 시점(441)에 대응하는 픽셀 값을 할당할 수 있다.
3D 영상 렌더링 장치(410)는 디스플레이 장치(420)의 굴절률을 고려할 수 있다. 디스플레이 패널 및 광학 레이어 사이의 매질의 제1 굴절률 및 디스플레이 장치(120)의 외부의 매질의 제2 굴절률은 상이할 수 있다. 예를 들어, 디스플레이 패널 및 광학 레이어 사이에는 디스플레이 패널 및 광학 레이어를 서로 부착시키는 매질이 채워질 수 있고, 디스플레이 장치(420)의 외부에는 공기가 존재할 수 있다. 이 경우, 제1 굴절률은 디스플레이 패널과 광학 레이어 사이에 존재하는 매질에 의해 결정될 수 있고, 제2 굴절률은 공기의 굴절률인 '1'로 결정될 수 있다. 3D 영상 렌더링 장치(410)는 이러한 제1 굴절률 및 제2 굴절률 간의 차이에 따른 광선의 굴절을 고려하여 광선의 경로를 결정할 수 있다.
스넬의 법칙에 따르면, 빛이 굴절률이 서로 다른 매질들의 경계를 통과할 때, 입사각의 사인 값과 반사각의 사인 값은 매질들의 굴절률에 따라 결정된다. 일반적으로 패럴렉스 배리어나 렌티큘러 렌즈의 두께, 및 매질들의 굴절률에 따른 근사치를 이용하여 광선의 방향이 예측될 수 있다. 그러나, 이러한 근사치는 사인 값의 비율이 아닌, 탄젠트 값의 비율이 굴절률의 비율에 반비례하는 연산에 근거하기 때문에, 사인 값이 탄젠트 값으로 근사화될 수 없는 경우 오차가 발생할 수 있다.
예를 들어, 노멀(normal) 방향과 굴절된 방향의 차이가 작은 경우에는 근사치에 따른 오차가 작지만, 노멀 방향과 굴절된 방향의 차이가 큰 경우에는 근사치와 실제 굴절된 방향의 차이가 커져서, 3D 영상에서 아티팩트(artifact)가 관찰될 수 있다. 이러한 근사치에 의한 아티팩트는 디스플레이 장치(420)의 크기가 커질수록 증가할 수 있다. 3D 영상 렌더링 장치(410)는 굴절률에 따른 연산을 디스플레이 패널의 모든 픽셀에 개별적으로 적용함으로써, 아티팩트의 발생을 최소화할 수 있다.
디스플레이 장치(420)에서 출력된 광선의 경로는 광학계(430)에 의해 변경될 수 있다. 예를 들어, 광학계(430)는 오브젝트를 확대하는 방향으로 광선의 경로를 변경시킬 수 있다. 3D 영상 렌더링 장치(410)는 광선에 대한 광학계(430)의 영향을 고려하여 픽셀 값을 할당할 수 있다. 디스플레이 장치(420)에서 출력된 영상의 광학적 상(optical image) 및 실제 시점들(441, 443)을 이용하여 픽셀 값을 할당하기 위해서는 복잡한 연산이 요구된다. 3D 영상 렌더링 장치(410)는 실제 시점들(441, 443)에 관한 광학적 상들을 결정하고, 실제 시점들(441, 443)의 광학적 상과 3D 디스플레이 장치(420) 사이의 위치 관계를 이용하여 픽셀 값을 할당할 수 있다. 이를 통해, 비교적 적은 연산량으로 광선에 대한 광학계(430)의 영향이 반영될 수 있다.
광선들의 방향이 결정된 경우, 3D 영상 렌더링 장치(410)는 디스플레이 패널의 픽셀들에 픽셀 값들을 할당할 수 있다. 예를 들어, 3D 영상 렌더링 장치(410)는 광선들의 방향과 시점들(441, 443)에 대응하는 광학적 상들의 위치를 비교하여, 픽셀에 대응하는 시점을 직접적으로 결정할 수 있다. 아래에서 상세하게 설명하겠으나, 시점들(441, 443)에 대응하는 광학적 상들은 디스플레이 장치(420)의 후면 방향에 위치할 수 있다. 3D 영상 렌더링 장치(410)는 광선들을 3D 디스플레이 장치(420)의 후면 방향으로 연장함으로써 시점들(441, 443)에 대응하는 광학적 상들 중 어느 상에 더 가까운지 여부를 판단할 수 있다. 예를 들어, 디스플레이 장치(420)의 후면 방향으로 연장된 제1 광선이 제1 시점(441)에 대응하는 광학적 상 근처로 향하는 경우, 3D 영상 렌더링 장치(410)는 제1 광선을 출력하는 픽셀에 제1 시점(441)에 대응하는 픽셀 값을 할당할 수 있다.
다른 실시예에 따르면, 3D 영상 렌더링 장치(410)는 시점들(441, 443)을 기준으로 하는 가상의 광선과 광학 성분(optical element) 사이의 거리에 기초하여 픽셀에 대응하는 시점을 간접적으로 결정할 수도 있다. 광학 성분은 패럴렉스 배리어의 슬릿이나 렌티큘러 렌즈의 굴곡과 같이 제한된 방향의 빛을 통과시키는 성분을 지칭할 수 있다. 예를 들어, 3D 영상 렌더링 장치(410)는 특정 픽셀과 시점(441)을 지나는 제1 가상의 광선 및 해당 픽셀과 시점(443)을 지나는 제2 가상의 광선을 결정할 수 있다. 3D 영상 렌더링 장치(410)는 제1 가상의 광선 및 제1 가상의 광선에 인접한 광학 성분 사이의 거리가, 제2 가상의 광선 및 제2 가상의 광선에 인접한 광학 성분 사이의 거리보다 가까운 경우, 해당 픽셀에 시점(441)의 픽셀 값을 할당할 수 있다.
도 5 및 도 6은 일 예에 따른 오목 거울을 이용하여 3D 영상을 렌더링하는 과정을 나타낸다.
도 5를 참조하면, 디스플레이 장치(420)에 의해 오브젝트(510)가 출력될 수 있다. 오브젝트(510)의 위치는 디스플레이 장치(420)의 위치에 대응한다. 오브젝트(510)에 광학적 변환(optical transform)을 적용하여 오브젝트(510)의 광학적 상(530)이 결정될 수 있다. 오브젝트(510)가 오목 거울(520)의 초점(f) 안에 위치하므로, 광학적 상(530)은 확대된 정립 허상일 수 있다. 광학적 변환은 초점(f) 및 굴곡 등을 포함하는 오목 거울(520)의 광학적 특성에 기초하여 수행될 수 있다. 도 5 및 도 6에는 하나의 오목 거울이 도시되어 있으나, 하나의 오목 거울 대신 해당 오목 거울과 유사한 광학적 효과를 발생시키는 다양한 광학계들이 이용될 수 있다.
사용자는 시점(540)에서 광학적 상(530)을 관찰할 수 있다. 디스플레이 장치(420)는 화살표(515) 방향으로 오브젝트(510)의 영상을 출력하지만, 사용자는 화살표(535) 방향으로 광학적 상(530)을 관찰하게 된다. 이에 따라, 디스플레이 패널의 픽셀에 대응하는 시점을 결정함에 있어서 오목 거울(520)에 의한 영향이 고려되어야 한다. 이 때, 3D 영상 렌더링 장치(410)는 디스플레이 패널의 모든 픽셀에 관해 오목 거울(520)에 의한 영향을 고려하는 대신, 시점(540)에 광학적 변환을 적용하고, 광학적 변환이 적용된 시점(도 6의 620 참조) 및 오브젝트(510)의 관계에서 디스플레이 패널에 픽셀을 할당할 수 있다.
도 6을 참조하면, 시점(610)에 관한 광학적 상(620)이 도시되어 있다. 3D 영상 렌더링 장치(410)는 별도의 카메라 등을 통한 시점 추적 기법을 이용하여 시점(610)의 위치를 결정할 수 있고, 시점(610)의 위치에 광학적 변환을 적용하여 광학적 상(620)의 위치를 결정할 수 있다. 광학적 상(620)은, 광학적 상(650)과 유사하게, 오목 거울(640)의 광학적 특성에 따른 광학적 변환을 통해 결정된다. 이에 따라, 시점(610) 및 광학적 상(650) 사이의 광학적 관계와, 광학적 상(620) 및 오브젝트(630) 사이의 광학적 관계는 서로 대응된다. 3D 영상 렌더링 장치(410)는 시점(610) 및 광학적 상(650) 대신, 광학적 상(620) 및 오브젝트(630)를 이용하여 디스플레이 패널의 픽셀에 픽셀을 할당할 수 있다. 이 경우, 3D 영상 렌더링 장치(410)는 디스플레이 패널의 픽셀들에 관해 광학적 변환을 적용하지 않고, 광학적 상(620)을 이용하여 디스플레이 패널의 픽셀에 대응하는 시점을 결정할 수 있다. 따라서, 오목 거울(640)의 영향을 고려하기 위한 연산량이 감소될 수 있다.
도 7 및 도 8는 일 예에 따른 볼록 렌즈를 이용하여 3D 영상을 렌더링하는 과정을 나타낸다.
도 7을 참조하면, 디스플레이 장치(420)에 의해 오브젝트(710)가 출력될 수 있다. 이에 따라, 오브젝트(710)의 위치는 디스플레이 장치(420)의 위치에 대응한다. 오브젝트(710)에 광학적 변환을 적용하여 오브젝트(710)의 광학적 상(730)이 결정될 수 있다. 광학적 변환은 초점(f) 및 굴곡 등을 포함하는 볼록 렌즈(720)의 광학적 특성에 기초하여 수행될 수 있다. 도 7 및 도 8에는 하나의 볼록 렌즈가 도시되어 있으나, 하나의 볼록 렌즈 대신 해당 볼록 렌즈와 유사한 광학적 효과를 발생시키는 다양한 광학계들이 이용될 수 있다.
도 5 및 도 6을 이용하여 전술된 실시예와 유사하게, 3D 영상 렌더링 장치(410)는 디스플레이 패널의 모든 픽셀에 관해 볼록 렌즈(720)에 의한 영향을 고려하는 대신, 시점(740)의 광학적 상(750) 및 오브젝트(710)의 관계에서 디스플레이 패널에 픽셀을 할당할 수 있다. 볼록 렌즈(720)의 경우 광학적 상(730)이 디스플레이 패널의 뒤에 맺힐 수 있다. 이 경우, 사용자가 광학적 상(730)을 관찰하기 어려운 위치에 존재할 수 있다. 이에 따라, 사용자가 광학적 상(730)을 관찰할 수 있도록 추가적인 광학계가 이용될 수 있다.
도 8을 참조하면, 디스플레이 장치(420)에 출력된 오브젝트(810), 볼록 렌즈(820), 광학적 상(830), 거울(840) 및 사용자의 시점(850)이 도시되어 있다. 거울(840)은 사용자가 광학적 상(830)을 관찰할 수 있도록 광학적 상(830)에 의한 광선을 반사시킬 수 있다. 이에 따라, 사용자는 적절한 위치에서 광학적 상(830)을 관찰할 수 있다. 예를 들어, 도 8에 도시된 시스템은 HUD의 일부로 구현될 수 있고, 화살표(855)는 차량의 전방을 가리킬 수 있다. 이 경우, 거울(840)은 반투명한 성질을 가질 수 있다. 예를 들어, 거울(840)은 차량의 윈드쉴드 글래스일 수 있다. 이에 따라, 사용자는 차량의 전방을 주시하면서 광학적 상(830)을 동시에 관찰할 수 있다.
도 9은 일 예에 따른 광선의 방향을 계산하여 시점을 설정하는 과정을 나타낸다.
도 9를 참조하면, 디스플레이 패널(940)의 픽셀들 및 광학 레이어(930)의 광학 성분들을 지나는 광선들이 도시되어 있다. 도 9는 광학 레이어(930)가 디스플레이 패널(940)의 후면에 위치하는 실시예를 도시한다. 광학 레이어(930)는 방향성 백라이트일 수 있다.
3D 영상 렌더링 장치(410)는 디스플레이 패널(940)의 픽셀 및 광학 레이어의 광학 성분들을 지나는 광선들을 결정하고, 광선들의 방향 및 광학적 상들(915, 925)의 위치에 기초하여 디스플레이 패널(940)의 픽셀들에 대응하는 시점들을 결정할 수 있다. 광학적 상들(915, 925)은 가상 시점들에 관한 광학적 변환에 의해 결정될 수 있다. 예를 들어, 광학적 상(915)은 제1 시점에 관한 광학적 변환에 의해 결정될 수 있고, 광학적 상(925)은 제2 시점에 관한 광학적 변환에 의해 결정될 수 있다. 광학적 상들(915, 925)은 광학 레이어(930) 및 디스플레이 패널(940)의 후면 방향에 위치할 수 있다. 미리 정해진 크기의 시청 영역들(910, 920)은 광학적 상들(915, 925)을 포함할 수 있다. 시청 영역들(910, 920)은 광학적 상들(915, 925)의 위치에 기초하여 정의될 수 있다.
3D 영상 렌더링 장치(410)는 기준선들에 기초하여 광선들의 방향 및 광학적 상들(915, 925)의 위치를 비교할 수 있다. 기준선들은 광선들의 굴절 방향에 기초하여 결정된다. 예를 들어, 3D 영상 렌더링 장치(410)는 픽셀들(961, 963, 965)을 지나는 광선들에 기초하여 기준선들(951, 953, 955)을 결정한다. 전술된 바와 같이, 광학 레이어(930)와 디스플레이 패널(940) 사이의 매질의 굴절률, 및 디스플레이 장치(420)의 외부의 매질의 굴절률이 상이하므로, 광선들은 디스플레이 패널(940)을 지나갈 때 굴절률이 더 큰 매질의 방향으로 굴절된다. 광선의 굴절 방향이란 광선이 굴절된 이후에 진행하는 방향을 의미한다. 화살표(10)는 광선의 굴절 방향을 나타내고, 화살표(20)는 광선의 굴절 방향의 반대 방향을 나타낸다. 기준선은 광선의 굴절 방향의 반대 방향으로 진행하는 선으로 결정된다.
3D 영상 렌더링 장치(410)는 기준선들(951, 953, 955) 및 광학적 상들(915, 925)의 위치를 비교할 수 있다. 일 예에 따르면, 3D 영상 렌더링 장치(410)는 시청 영역(910, 920)들에 기초하여 기준선들(951, 953, 955) 및 광학적 상들(915, 925)의 위치를 비교할 수 있다. 보다 구체적으로, 기준선(951)은 시청 영역(910)과 교차하고, 기준선들(953)은 시청 영역(920)을 지난다. 이에 따라, 3D 영상 렌더링 장치(410)는 기준선(953)에 대응하는 픽셀(963)에 광학적 상(915)에 대응하는 시점의 픽셀 값을 할당하고, 기준선들(951, 955)에 대응하는 픽셀들(961, 965)에 광학적 상(925)에 대응하는 시점의 픽셀 값을 할당할 수 있다.
일 측면에 따르면, 하나의 픽셀에 의한 광선들 중에 둘 이상의 광선들이 시청 영역들(910, 920)을 지날 수 있다. 이 경우, 3D 영상 렌더링 장치(410)는 미리 설정된 조건에 따라 시청 영역들(910, 920)을 지나는 둘 이상의 후보 광선들 중에 어느 하나의 후보 광선을 선택할 수 있다. 예를 들어, 3D 영상 렌더링 장치(410)는 시청 영역들(910, 920)을 지나는 둘 이상의 광선들 중에 시청 영역들(910, 920)의 중심에 가까운 하나의 광선을 선택할 수 있다. 시청 영역들(910, 920)의 중심은 시청 영역(910)과 시청 영역(920)의 경계에 존재할 수 있다. 다른 예로, 3D 영상 렌더링 장치(410)는 시청 영역들(910, 920)을 지나는 둘 이상의 광선들 중에 시청 영역들(910, 920) 각각의 중심에 가까운 하나의 광선을 선택할 수 있다. 제1 픽셀을 지나는 제1 광선이 시청 영역(910)의 중심을 지나고, 제1 픽셀을 지나는 제2 광선이 시청 영역(920)을 지나지만 시청 영역(920)의 중심을 벗어난 경우, 3D 영상 렌더링 장치(410)는 제1 광선을 선택할 수 있다.
다른 일 측면에 따르면, 제2 픽셀에 의한 광선 모두가 시청 영역들(910, 920)을 지나지 않을 수 있다. 이 경우, 3D 영상 렌더링 장치(410)는 미리 설정된 조건에 따라 제2 픽셀에 픽셀 값을 할당할 수 있다. 예를 들어, 3D 영상 렌더링 장치(410)는 미리 설정된 범위에서 가장 작은 픽셀 값을 제2 픽셀에 할당할 수 있다. 픽셀 값의 범위는 0 내지 255일 수 있고, 기재된 실시예로 한정되지 않는다. 만일, 제2 픽셀에 의한 광선 모두가 시청 영역들(910, 920)을 지나지 않는 경우, 3D 영상 렌더링 장치(410)는 제2 픽셀에 0의 픽셀 값을 할당할 수 있다. 다른 예로, 3D 영상 렌더링 장치(410)는 시청 영역들(910, 920)의 시점들 중에 제2 픽셀에 의한 광선들에 가장 가까운 시청 영역의 시점을 제2 픽셀에 할당할 수 있다. 일 예에 따르면, 제2 픽셀에 의한 제1 광선 및 제2 광선 모두가 시청 영역(910)을 지나지는 않으나, 제1 광선과 시청 영역(910)의 거리가 제2 광선과 시청 영역(920)의 거리보다 가까운 경우, 3D 영상 렌더링 장치(410)는 시청 영역(910)에 대응하는 시점의 픽셀 값을 제2 픽셀에 할당할 수 있다.
광학적 상들(915, 925)은 좌측 시점 및 우측 시점에 대응할 수 있다. 도 9에서는 가상 시점들이 단일 사용자를 위한 두 개의 시점들에 대응하는 실시예를 설명하였으나, 실시예에 따라 가상 시점들은 멀티 뷰를 위한 미리 설정된 수의 시점들에 대응할 수 있다. 가상 시점들이 멀티 뷰를 위한 미리 설정된 수의 시점들에 대응함에 따라, 3D 영상 렌더링 장치(410)는 디스플레이 패널(940)의 픽셀 및 광학 레이어(930)의 광학 성분들을 지나는 광선들을 결정하고, 광선들의 방향 및 미리 설정된 수의 시점들에 대응하는 광학적 상들의 위치들에 기초하여 픽셀에 픽셀 값을 할당할 수 있다. 미리 설정된 수의 시점들은 사용자의 눈과 달리 고정된 위치들에 존재할 수 있으며, 미리 설정된 수의 시점들의 위치들 각각은 미리 설정된 대표 위치에 의해 특정될 수 있다. 3D 영상 렌더링 장치(410)는 대표 위치들에 기초하여 미리 정해진 수의 시점들에 관한 광학적 상들을 결정할 수 있다.
도 10은 다른 예에 따른 광선의 방향을 계산하여 시점을 설정하는 과정을 나타낸다.
도 10에는 광학 레이어(1030)의 광학 성분들 및 디스플레이 패널(1040)의 픽셀들을 지나는 광선들이 도시되어 있다. 도 10은 광학 레이어(1040)가 디스플레이 패널(1030)의 전면에 위치하는 실시예를 나타낸다. 광학 레이어(1040)는 디스플레이 패널(1030)의 전면에 위치하므로 패럴렉스 배리어 또는 렌티큘러 렌즈일 수 있다.
광학 레이어(1040)가 디스플레이 패널(1030)의 전면에 위치하는 경우에도, 3D 영상 렌더링 장치(410)는, 전술된 도 9의 실시예와 같이 광학 레이어(930)가 디스플레이 패널(940)의 후면에 위치하는 경우에 대해 시점을 설정하는 방식과 유사한 방식으로 시점을 설정할 수 있다. 구체적으로, 3D 영상 렌더링 장치(410)는 광선들의 굴절 방향에 기초하여 기준선들(1051, 1053, 1055)을 결정하고, 기준선들(1051, 1053, 1055) 및 광학적 상들(1015, 1025)의 위치에 기초하여 디스플레이 패널(1030)의 픽셀들에 시점을 설정할 수 있다. 기준선(1055)은 시청 영역(1010)과 교차하고, 기준선들(1051, 1053)은 시청 영역(1020)과 교차한다. 이에 따라, 3D 영상 렌더링 장치(410)는 기준선(1055)에 대응하는 픽셀(1065)에 광학적 상(1015)에 대응하는 시점의 픽셀 값을 할당하고, 기준선들(1051, 1053)에 대응하는 픽셀들(1061, 1063)에 광학적 상(1025)에 대응하는 시점의 픽셀 값을 할당할 수 있다.
도 11은 일 예에 따른 가상의 광선과 광학 레이어의 교점을 이용하여 시점을 설정하는 과정을 나타낸다.
도 11에는 디스플레이 패널(1130)의 픽셀(1135) 및 광학 레이어(1140)를 지나는 가상의 광선들(1151, 1153)이 도시되어 있다.
3D 영상 렌더링 장치(410)는 광학적 상들(1110, 1120)을 기준으로 하는 가상의 광선들(1151, 1153)과 광학 성분 사이의 거리에 기초하여 픽셀에 대응하는 시점을 간접적으로 결정할 수 있다. 픽셀을 통과하는 실제 광선의 경로는 광학 성분의 중심을 통과하지만, 3D 영상 렌더링 장치는 특정한 서브-픽셀과 특정한 후보 시역을 지나는 가상의 후보 광선을 이용할 수 있다.
3D 영상 렌더링 장치(410)는 가상 시점들에 기초하여 광학적 상들(1110, 1120)을 결정하고, 광학적 상들(1110, 1120)에 기초하여 가상의 광선들(1151, 1153)을 결정할 수 있다. 3D 영상 렌더링 장치(410)는 가상의 광선들(1151, 1153)의 굴절 방향의 반대 방향에 광학적 상들(1110, 1120)이 위치하도록, 가상의 광선들(1151, 1153)을 결정할 수 있다. 3D 영상 렌더링 장치(420)는 가상의 광선들(1151, 1153)을 결정하기 위해, 가상의 광선들(1151, 1153)이 굴절된 방향의 반대 방향으로 진행하는 기준선들(1155, 1157)을 이용할 수 있다. 보다 구체적으로, 3D 영상 렌더링 장치(410)는 기준선들(1155, 1157)과 광학적 상들(1110, 1120)이 교차하도록, 가상의 광선들(1151, 1153)을 결정할 수 있다. 3D 영상 렌더링 장치(410)는 디스플레이 패널(1130) 및 광학 레이어(1140) 사이의 매질의 제1 굴절률, 및 디스플레이 패널(1130) 및 광학 레이어(1140)을 포함하는 디스플레이 장치(420)의 외부의 매질의 제2 굴절률을 고려하여 가상의 광선들(1151, 1153)을 결정할 수 있다.
가상의 광선들(1151, 1153)이 결정되면, 3D 영상 렌더링 장치(410)는 가상의 광선들(1151, 1153) 및 광학 레이어(1140) 사이의 교점들(1141, 1143)을 결정할 수 있다. 3D 영상 렌더링 장치(410)는 제1 굴절률 및 상기의 제2 굴절률에 따른 가상의 광선들(1151, 1153)의 입사각 및 굴절각을 고려하여 교점들(1141, 1143)을 결정할 수 있다. 교점들(1141, 1143)을 결정하는 구체적인 과정은 도 12를 참조하여 후술한다.
교점들(1141, 1143)이 결정되면, 3D 영상 렌더링 장치(410)는 교점들(1141, 1143) 및 광학 레이어(1140)의 광학 성분들(1145, 1147) 사이의 거리들(D1, D2)에 기초하여, 픽셀(1135)에 대응하는 시점을 결정할 수 있다. 3D 영상 렌더링 장치(410)는 교점들(1143, 1145) 중에 인접 광학 성분과의 거리가 가장 가까운 교점을 결정하고, 결정된 교점에 대응하는 시점의 픽셀 값을 픽셀(1135)에 할당할 수 있다. 여기서, 인접 광학 성분이란 광학 레이어(1140)의 광학 성분들 중에 교점에 가장 가까운 광학 성분을 의미한다. 예를 들어, 광학 성분(1145)이 교점(1141)의 인접 광학 성분이고, 광학 성분(1147)이 교점(1143)의 인접 광학 성분이다. 교점(1141)과 광학 성분(1145) 사이의 거리(D1)가, 교점(1143)과 광학 성분(1147) 사이의 거리(D2)보다 가까운 경우, 3D 영상 렌더링 장치(410)는 픽셀(1135)에 광학적 상(1110)에 대응하는 시점의 픽셀 값을 할당할 수 있다. 픽셀(1135)이 가상의 광선(1153) 주변의 실제 광선보다는 가상의 광선(1153) 주변의 실제 광선에 의해 관찰될 가능성이 높기 때문이다.
광학적 상들(1110, 1120)은 좌측 시점 및 우측 시점에 대응될 수 있다. 도 11은 가상 시점들이 단일 사용자를 위한 두 개의 시점들에 대응하는 실시예를 도시하였으나, 실시예에 따라 가상 시점들은 멀티 뷰를 위한 미리 설정된 수의 시점들에 대응할 수 있다. 가상 시점들이 멀티 뷰를 위한 미리 설정된 수의 시점들을 포함하는 경우, 3D 영상 렌더링 장치(410)는 미리 설정된 수의 시점들에 대해 조사(project)되는 가상의 광선들을 결정할 수 있고, 결정된 가상의 광선들 각각에 의한 교점 및 교점에 인접한 광학 성분 사이의 거리에 기초하여 픽셀에 미리 설정된 수의 시점들 중 어느 하나에 대응하는 픽셀 값을 할당할 수 있다. 미리 설정된 수의 시점들은 사용자의 눈과 달리 고정된 위치들에 존재할 수 있으며, 미리 정해진 수의 시점들의 위치들 각각은 미리 정해진 대표 위치에 의해 특정될 수 있다. 3D 영상 렌더링 장치(410)는 대표 위치들에 기초하여 미리 설정된 수의 시점들에 관한 광학적 상들을 결정할 수 있다.
도 12는 일 예에 따른 교점을 결정하는 과정을 나타낸다.
도 12에는, r-z 평면 상의 광학적 상(E), 픽셀(P) 및 교점(B)이 도시되어 있다. r축은 광학적 상(E)과 픽셀(P)를 연결하는 직선을 x-y 평면으로 투영한 직선에 해당하는 축으로 정의한다.
전술한 바와 같이, 3D 영상 렌더링 장치(410)는 광학적 상(E)에 기초하여, 픽셀(P) 및 광학 레이어를 지나는 가상의 광선을 결정하고, 가상의 광선과 광학 레이어의 교점(B)을 결정할 수 있다. 광학적 상(E)의 위치는 (xe, ye, ze)로 나타낼 수 있고, 픽셀(P)의 위치는 (xp, yp, zp)로 나타낼 수 있다. 이 경우, r축 상에서 광학적 상(E)과 픽셀(P) 사이의 거리(rr)는 아래의 [수학식 1]과 같이 나타낼 수 있다.
Figure pat00001
또한, 스넬의 법칙에 따라 아래의 [수학식 2]가 성립한다.
Figure pat00002
여기서, ni는 디스플레이 장치와 광학 레이어 사이의 굴절률을 나타내고, nr은 디스플레이 장치의 외부의 굴절률을 나타내고, θi는 입사각을 나타내고, θr는 굴절각을 나타낸다. [수학식 2]에 따라 [수학식 3]이 획득될 수 있고, [수학식 3]을 전개하여 아래의 [수학식 4]를 얻을 수 있다.
Figure pat00003
Figure pat00004
[수학식 4]에서, ri는 r축 상에서 픽셀(P)과 교점(B) 사이의 거리를 나타내고, dr은 z축 상에서 광학적 상(E)과 교점(B) 사이의 거리를 나타내고, di는 z축 상에서 픽셀(P)과 교점(B) 사이의 거리를 나타낸다. [수학식 4]에 기초하여 아래의 [수학식 5]가 획득될 수 있다.
Figure pat00005
여기서, 계수들은 아래와 다음과 같이 정의된다.
Figure pat00006
Figure pat00007
Figure pat00008
Figure pat00009
Figure pat00010
[수학식 5]에 따르면 4개의 해들이 획득될 수 있다. 3D 영상 렌더링 장치(410)는 4개의 해들 중에 가장 작은 양수 해를 최종적인 해로 결정할 수 있다. 한편, x-y의 2차원 평면 상에서, 광학적 상(E)이 투영된 점, 픽셀(P)이 투영된 점 및 교점(B)이 투영된 점은 직선을 이루므로, 교점(B)의 x 좌표 및 y 좌표가 아래와 같이 계산될 수 있다.
Figure pat00011
Figure pat00012
3D 영상 렌더링 장치(410)는 [수학식 1]을 통해 획득된 rr, [수학식 5]를 통해 획득된 ri의 최종적인 해, 광학적 상(E)의 좌표, 픽셀(P)의 좌표를 [수학식 6] 및 [수학식 7]에 적용함으로써, 교점(B)의 x 좌표 및 y 좌표를 획득할 수 있다. 교점(B)의 z 좌표는 픽셀(P)의 z 좌표 및, 디스플레이 패널과 광학 레이어 사이의 거리를 통해 획득될 수 있다.
도 4 내지 도 12를 참조하여 3D 영상을 생성하고, 출력하는 방법이 상세하게 설명되었고, 이하에서 상기의 방법과 결합되어 사용자에게 AR 컨텐츠를 3D 영상으로 제공하는 방법이 상세하게 설명된다.
도 13은 일 실시예는 3D 영상을 출력하는 전자 장치의 구성도이다.
전자 장치(1300)는 통신부(1310), 프로세서(1320), 및 메모리(1330)를 포함한다. 전자 장치(1300)는 도 1을 참조하여 전술된 컨텐츠 시각화 장치(110)에 포함될 수 있다. 도시되지 않았으나, 전자 장치(1300)는 HUD(113)에 대응하는 HUD를 더 포함할 수 있다.
일 실시예에 따르면, 전자 장치(1300)은 차량에 포함될 수 있다. 예를 들어, 전자 장치(1300)는 차량의 ECU(Electronic Control Unit)일 수 있다. 다른 예로, 전자 장치(1300)는 차량의 ECU와 연결될 수 있다. 다른 일 실시예에 따르면, 전자 장치(1300)는 텔레비전(Television) 등과 같은 영상 출력 장치에 포함될 수 있다.
전자 장치(1300)는 라이더(Lidar) 센서, 레이더(Radar) 센서 및 위치 센서 중 적어도 하나를 더 포함할 수 있다. 예를 들어, 위치 센서는 GNSS(Global Navigation Satellite System), GPS(Global Positioning System) 및 IMU(inertial measurement unit)를 포함할 수 있다.
전자 장치(1300)는 사용자의 위치(특히, 눈 위치)를 검출하기 위해, 사용자 이미지를 생성하는 카메라를 포함한다.
통신부(1310)는 전자 장치(1300) 내의 회로망(circuitry)으로 구현될 수 있다. 예를 들어, 통신부(1310)는 내부 버스(internal bus) 및 외부 버스(external bus)를 포함할 수 있다. 다른 예로, 통신부(1310)는 전자 장치(1300)와 외부의 장치를 연결하는 요소일 수 있다. 통신부(1310)는 인터페이스(interface)일 수 있다. 통신부(1310)는 외부의 장치로부터 데이터를 수신하여, 프로세서(1320) 및 메모리(1330)에 데이터를 전송할 수 있다.
전자 장치(1300)가 레이더를 포함하지 않는 경우에는, 통신부(1310)는 레이더로부터 획득된 데이터를 수신할 수 있다.
프로세서(1320)는 통신부(1310)가 수신한 데이터 및 메모리(1330)에 저장된 데이터를 처리한다. "프로세서"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(1320)는 메모리(예를 들어, 메모리(1330))에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(1320)에 의해 유발된 인스트럭션들을 실행한다.
메모리(1330)는 통신부(1310)가 수신한 데이터 및 프로세서(1320)가 처리한 데이터를 저장한다. 예를 들어, 메모리(1330)는 프로그램을 저장할 수 있다. 저장되는 프로그램은 AR 컨텐츠를 3D 영상으로 생성하고, 출력할 수 있도록 코딩되어 프로세서(1320)에 의해 실행 가능한 신텍스(syntax)들의 집합일 수 있다.
일 측면에 따르면, 메모리(1330)는 하나 이상의 휘발성 메모리, 비휘발성 메모리 및 RAM(Random Access Memory), 플래시 메모리, 하드 디스크 드라이브 및 광학 디스크 드라이브를 포함할 수 있다.
메모리(1330)는 전자 장치(1300)를 동작 시키는 명령어 세트(예를 들어, 소프트웨어)를 저장한다. 전자 장치(1300)를 동작 시키는 명령어 세트는 프로세서(1320)에 의해 실행된다.
통신부(1310), 프로세서(1320), 및 메모리(1330)에 대해, 아래에서 도 14 내지 도 21을 참조하여 상세히 설명된다.
도 14는 일 실시예는 3D 영상을 출력하는 방법의 흐름도이다.
아래의 단계들(1405 내지 1455)은 도 13을 참조하여 전술된 전자 장치(1300)에 의해 수행된다.
단계들(1405, 1415, 1420, 1425) 및 단계들(1430, 1435, 1440)은 서로 병렬적으로 수행될 수 있다. 예를 들어, 단계들(1405, 1415, 1420, 1425)을 처리하는 파이프라인 및 단계들(1430, 1435, 1440)을 처리하는 파이프라인은 서로 독립적이고, 서로 다른 주기로 동작할 수 있다. 즉, 파이프라인들이 비-동기적으로 동작할 수 있다.
단계(1405)에서, 전자 장치(1300)는 시스템 내의 사용자의 눈 위치 정보를 획득한다. 시스템은 전자 장치(1300)가 포함되는 장치 및 사용자를 포함할 수 있다. 예를 들어, 시스템은 도 1을 참조하여 전술된 컨텐츠 시각화 시스템(100)일 수 있다. 시스템 내의 사용자는 차량의 운전자일 수 있다. 전자 장치(1300)는 카메라로부터 사용자를 촬영하여 생성된 사용자 이미지를 수신하고, 사용자 이미지에 기초하여 눈 위치 정보를 획득한다. 예를 들어, 획득된 눈 위치는 카메라의 좌표계로 나타날 수 있다.
단계(1410)에서, 전자 장치(1300)는 눈 위치 정보 및 광학계 정보에 기초하여 광학계에 대한 사용자의 가상 시점을 계산한다. 단일 사용자의 경우, 사용자의 두 눈의 위치들에 대한 가상 시점들이 계산된다. 가상 시점은 도 9를 참조하여 전술된 광학적 상들(915, 925), 도 10을 참조하여 전술된 광학적 상들(1015, 1025), 도 11을 참조하여 전술된 광학적 상들(1110, 1120)에 대응한다. 가상 시점들은 사용자의 좌측 시점 및 우측 시점에 대응한다.
광학계는 디스플레이 패널에서 출력된 영상이 사용자의 눈에 비치도록 하기 위해 이용되는 광학 요소들을 포함할 수 있다. 광학계 정보는 광학계에 포함되는 광학 요소들(예를 들어, 오목 거울 또는 볼록 렌즈)의 광학적 특성을 포함할 수 있다.
단계(1415)는 단계(1410)과 독립적이고, 병렬적으로 수행될 수 있다. 단계(1415)에서, 전자 장치(1300)는 눈 위치 정보에 기초하여 두 개의 시점들을 그래픽 공간 좌표계 내에 설정한다. 그래픽 공간은 전자 장치(1300)를 포함하는 시스템의 실제 공간에 대응하는 가상의 공간일 수 있다. 예를 들어, 그래픽 공간 좌표계는 시스템의 좌표계를 기준으로 설정될 수 있다. 시스템의 좌표계는 글로벌 좌표계일 수 있다. 시스템의 좌표는 위치 센서 등을 통해 특정될 수 있다.
단계들(1420, 1425, 1430, 1435, 1440, 1445)을 통해 그래픽 공간 좌표계 내에 설정된 두 개의 시점들에 기초하여 출력될 오브젝트에 대한 스테레오 영상이 생성될 수 있다. 스테레오 영상을 생성하기 위한 상세한 과정은 아래와 같다.
단계(1420)에서, 전자 장치(1300)는 그래픽 공간 좌표계 내에 설정된 적어도 두 개의 시점들을 평탄화(smoothing)한다. 예를 들어, 이전에 설정된 두 개의 시점들과 차이가 심하지 않도록 금번에 설정된 두 개의 시점들이 평탄화될 수 있다.
단계(1425)에서, 전자 장치(1300)는 그래픽 공간 좌표계 내에 설정된 적어도 두 개의 시점들의 각각에 대한 절두체(frustum) 정보를 계산한다. 절두체에 대해 아래에서 도 15를 참조하여 상세히 설명된다.
단계(1430)에서, 전자 장치(1300)는 시스템의 자세(pose) 정보를 결정한다. 예를 들어, 전자 장치(1300)는 GNSS, GPS 및 IMU와 같은 위치 센서를 이용하여 시스템의 자세 정보를 결정할 수 있다.
단계(1435)에서, 전자 장치(1300)는 시스템의 자세 정보에 기초하여 출력될 오브젝트(이하에서 '타겟 오브젝트'로 명명된다) 및 타겟 오브젝트의 자세를 결정한다. 타겟 오브젝트는 AR 컨텐츠로 나타날 수 있다. 예를 들어, 전자 장치(1300)는 레이더를 이용하여 실제 공간에 위치하는 오브젝트를 검출할 수 있고, 검출된 오브젝트에 기초하여, AR 컨텐츠로서 제공될 타겟 오브젝트를 결정할 수 있다. 다른 예로, 전자 장치(1300)는 미리 저장된 지도 정보 및 시스템의 자세 정보에 기초하여 출력될 타겟 오브젝트를 결정할 수 있다. 주행 경로에 대한 정보를 나타내는 타겟 오브젝트(예를 들어, 화살표)가 결정될 수 있다.
타겟 오브젝트의 자세는 시스템 및 실제 공간의 오브젝트에 대한 자세일 수 있다. 타겟 오브젝트의 자세에 따라 사용자에게 보여지는 형태가 달라질 수 있다. 타겟 오브젝트는 AR 컨텐츠로서 제공되어야 하므로, 실제 공간의 오브젝트와의 정합성이 중요하다.
단계(1440)에서, 전자 장치(1300)는 오브젝트의 자세를 그래픽 공간 좌표계로 변환함으로써 오브젝트를 그래픽 공간 좌표계 내에 설정된다. 그래픽 공간 좌표계 내에 설정된 오브젝트에 대해, 아래에서 도 16을 참조하여 상세히 설명된다.
단계(1445)에서, 전자 장치(1300)는 절두체 정보 및 그래픽 공간 좌표계 내에 설정된 오브젝트에 기초하여 스테레오 영상을 생성한다. 스테레오 영상은 좌안을 위한 좌영상 및 우안을 위한 우영상을 포함한다. 스테레오 영상을 생성하는 방법에 대해, 아래에서 도 17을 참조하여 상세히 설명된다.
단계(1450)에서, 전자 장치(1300)는 가상 시점들 및 스테레오 영상에 기초하여 3D 영상을 렌더링한다. 3D 영상을 렌더링하는 방법에 대해, 아래에서 도 18을 참조하여 상세히 설명된다.
단계(1455)에서, 전자 장치(1300)는 광학계를 이용하여 3D 영상을 사용자에게 출력한다. 예를 들어, 전자 장치(1300)는 디스플레이 패턴에 3D 영상을 출력하고, 출력된 3D 영상은 광학계를 통해 가상 스크린 상에 출력된다. 사용자는 3D 영상을 통해 AR 컨텐츠가 가상 스크린 상에 출력되는 것으로 느낄 수 있다.
도 15는 일 예에 따른 그래픽 공간 좌표계 내에 설정된 시점에 대한 절두체이다.
그래픽 공간 좌표계 내에 설정된 제1 시점(1510)에 기초하여 사각뿔의 입체(1520)가 된다. 예를 들어, 제1 시점(151)은 사용자의 좌안 또는 우안에 대응한다. 제1 시점(1510)에 대한 영상을 위해 사각뿔의 입체 내부에 제1 평면(1530) 및 제2 평면(1540)이 설정될 수 있다. 제1 평면(1530) 및 제2 평면(1540)에 기초하여 절두체(1550)가 생성된다.
일 측면에 따르면, 제1 시점(1530) 및 제2 평면(1540) 중 적어도 하나는 가상 스크린에 기초하여 설정될 수 있다. 예를 들어, 가상 스크린이 그래픽 공간 좌표계 내에 설정되어 있는 경우, 가상 스크린과 평행하도록 제2 평면(1540)이 설정될 수 있다.
도 16은 일 예에 따른 그래픽 공간 좌표계 내에 설정된 오브젝트이다.
사용자에게 방향을 지시하는 화살표를 나타내는 오브젝트(1610)가 고려될 수 있다. 오브젝트(1610)는 3D의 형태를 가지는 그래픽 오브젝트일 수 있다. 오브젝트(1610)가 3D의 형태를 가지므로, 사용자의 시점이 달라지는 경우 오브젝트(1610)의 다른 면이 사용자에게 보여질 수 있다. 예를 들어, 사용자의 시전이 x축의 방향으로 변화하는 경우, 오브젝트(1610)의 오른쪽 면이 사용자에게 더 보여지게 된다.
일 측면에 따르면, 그래픽 공간 좌표계 내에는 오브젝트(1610) 이외에 실제의 공간에 존재하는 오브젝트에 대응하는 오브젝트가 추가로 설정될 수 있다. 예를 들어, 시스템이 차량인 경우, 도로 및 다른 차량의 오브젝트들이 그래픽 공간 좌표계 내에 설정될 수 있다. 그래픽 공간 좌표계 내에 다른 오브젝트들이 존재하는 경우, 오브젝트(1610)의 자세가 다른 오브젝트들과의 관계에 기초하여 결정될 수 있다. 예를 들어, 오브젝트(1610)가 도로 오브젝트의 바로 위에 위치하도록 오브젝트(1610)의 자세가 결정될 수 있다.
오브젝트(1610)의 자세가 도 14를 참조하여 전술된 단계(1435)에서 결정되는 것으로 설명되었으나, 실시예에 따라, 단계(1440)에서 오브젝트(1610)의 자세가 결정될 수 있다. 예를 들어, 전자 장치(1440)는 그래픽 공간 좌표계 내의 다른 오브젝트들과의 관계를 고려하여 오브젝트(1610)의 자세를 결정하고, 오브젝트(1610)를 그래픽 공간 좌표계 내에 설정할 수 있다.
도 17은 일 예에 따른 그래픽 공간 좌표계에서 생성된 스테레오 영상을 도시한다.
그래픽 공간 좌표계 내의 절두체(1550) 및 오브젝트(1610)에 기초하여 스테레오 영상의 제1 영상(1710)이 생성된다. 절두체(1550)가 사용자의 좌안에 대응하는 경우, 사용자의 우안에 대응하는 절두체에 의해 스테레오 영상의 제2 영상이 생성될 수 있다. 스테레오 영상은 제1 영상(1710) 및 제2 영상을 포함한다. 제1 영상(1710) 및 제2 영상은 사용자의 시점이 각각 반영된 2D 영상일 수 있다.
제1 영상(1710)은 AR 컨텐츠로서 제공될 오브젝트(1710)만을 포함할 수 있다. 즉, 그래픽 공간 좌표계 내에 실제 공간의 오브젝트가 설정되어 있는 경우에도, 실제 공간의 오브젝트는 제1 영상(1710)에 포함되지 않는다. AR 컨텐츠로서 제공될 오브젝트가 복수 개인 경우, 복수의 오브젝트들이 제1 영상(1710)에 포함될 수 있다.
도 18은 일 예에 따른 가상 시점들 및 스테레오 영상에 기초하여 3D 영상을 렌더링하는 방법의 흐름도이다.
도 14를 참조하여 전술된 단계(1450)는 아래의 단계들(1810 내지 1830)을 포함할 수 있다.
단계(1810)에서, 전자 장치(1300)는 가상 시점들에 기초하여 디스플레이 패널 상의 픽셀을 지나는 후보 광선들을 결정한다.
단계(1820)에서, 전자 장치(1300)는 후보 광선들 및 광학 레이어 사이의 교점들을 결정한다.
단계(1830)에서, 전자 장치(1300)는 교점들 및 광학 레이어의 광학 성분들 사이의 거리에 기초하여 픽셀에 픽셀 값을 할당한다. 그 밖에, 3D 영상을 렌더링 방법에 대서는 전술된 도 9 내지 12의 설명이 적용될 수 있으며, 보다 상세한 설명은 생략한다.
도 19는 일 예에 따른 가상 스크린을 설정하는 방법의 흐름도이다.
도 14를 참조하여 전술된 단계(1405)가 수행된 후, 아래의 단계(1910)가 더 수행될 수 있다. 단계(1910)가 가상 스크린을 설정하기 위해 수행될 수 있다. 단계(1910)는 단계들(1902 내지 1908)을 포함한다.
단계(1902)에서, 전자 장치(1300)는 미리 설정된 제1 눈 위치 및 타겟 눈 위치 간의 차이를 결정한다. 타겟 눈 위치는 단계(1405)에서 획득된 눈 위치이다. 미리 설정된 눈 위치가 복수 개인 경우, 각각의 미리 설정된 눈 위치 및 타겟 눈 위치 간의 차이가 결정된다. 미리 설정된 복수의 눈 위치들에 대해, 아래에서 도 20을 참조하여 상세히 설명된다.
단계(1904)에서, 전자 장치(1300)는 제1 눈 위치 및 타겟 눈 위치 간의 차이에 기초하여 제1 눈 위치에 대해 미리 설정된 제1 가상 스크린 정보에 대한 제1 가중치를 결정한다. 제1 가상 스크린 정보가 복수 개의 파라미터들을 포함하는 경우, 각각의 파라미터에 대한 가중치가 결정될 수 있다. 예를 들어, 파라미터들은 제1 가상 스크린의 위치, 자세 및 크기에 관한 것일 수 있다.
단계(1906)에서, 전자 장치(1300)는 제1 가상 스크린 정보 및 제1 가중치에 기초하여 타겟 눈 위치에 대한 타겟 스크린 정보를 결정한다.
단계(1908)에서, 전자 장치(1300)는 타겟 스크린 정보에 기초하여 가상 스크린을 설정한다.
도 20은 일 예에 따른 미리 설정된 아이 박스를 도시한다.
아이 박스(eye box) 실제 공간 상에 설정되고, 사용자의 눈이 위치할 가능성이 높은 위치에 설정된다. 아이 박스는 평면만을 의미하지 않으며, 3D 공간을 의미할 수 있다. 아이 박스는 도 4를 참조하여 전술된 시청 영역(440)에 대응할 수 있다.
아이 박스 내에 눈 위치들(P1 내지 P7)이 미리 설정될 수 있다. 눈 위치들(P1 내지 P7)의 각각에 대해 스크린 정보가 미리 설정되어 있을 수 있다. 예를 들어, 제1 눈 위치(P1)에 대한 제1 스크린 정보로서 제1 스크린 정보의 위치, 자세 및 크기를 나타내는 파라미터들이 미리 설정되어 있을 수 있다. 예를 들어, 사용자의 눈이 제1 눈 위치(P1)에 있는 경우, 그 위치에서 사용자에게 가상 스크린이 잘 보여지도록, 제1 스크린 정보가 미리 설정된다.
예를 들어, 단계(1405)에서 결정된 눈 위치가 타겟 눈 위치(Pt)인 경우, 눈 위치들(P1 내지 P7)의 각각과 타겟 눈 위치(Pt) 간의 차이들이 계산된다. 계산된 차이들에 기초하여 눈 위치들(P1 내지 P7)의 가상 스크린 정보에 대한 가중치들이 계산된다. 계산된 가중치들에 기초하여 타겟 스크린 정보가 계산된다.
도 21은 다른 일 실시예에 따른 3D 영상을 출력하는 방법의 흐름도이다.
도 1 내지 도 20은 시스템이 차량을 포함하는 경우, 3D 영상을 출력하는 방법에 대한 것이고, 도 21의 방법은 시스템이 텔레비전 또는 모니터와 같은 디스플레이를 포함하는 경우, 3D 영상을 출력하는 방법에 관한 것이다. 도 21의 방법인 경우에도, 도 1 내지 도 20을 참조하여 전술된 내용들이 유사하게 적용될 수 있다. 다만, 도 1 내지 도 20의 실시예는 사용자가 윈드쉴드 글래스를 통해 실제 오브젝트(예를 들어, 장면(scene))과 AR 컨텐츠를 동시에 볼 수 있으나, 도 21의 실시예는 사용자가 실제 오브젝트를 보는 것이 아닌, 디스플레이를 통해 출력되는 영상을 보는 차이가 있다. 디스플레이를 통해 출력되는 영상은 기본 영상과 기본 영상 상에 더 출력되는 AR 컨텐츠를 포함한다.
아래의 단계(2105 내지 2150)는 도 13 내지 도 20을 참조하여 전술된 전자 장치(1300)에 의해 수행될 수 있다.
단계(2105)에서, 전자 장치(1300)는 카메라에 대한 사용자의 눈 위치들을 획득한다. 사용자가 복수인 경우, 복수의 사용자들에 대한 눈 위치들이 획득될 수 있다.
단계(2110)에서, 전자 장치(1300)는 눈 위치들의 좌표를 디스플레이 패널의 좌표계로 변환한다.
단계(2115)에서, 전자 장치(1300)는 디스플레이 패널의 좌표계로 변환된 눈 위치를 그래픽 공간 좌표계로 변환함으로써 두 개의 시점들을 그래픽 공간 좌표계 내에 설정된다.
단계(2120)에서, 전자 장치(1300)는 그래픽 공간 좌표계 내에 설정된 두 개의 시점들을 평탄화한다.
단계(2125)에서, 전자 장치(1300)는 두 개의 시점들의 각각에 대한 절두체 정보를 계산한다.
단계들(2105 내지 2125)은 단계들(2130 내지 2135)과 독립적이고, 병렬적으로 수행될 수 있다.
단계(2130)에서, 전자 장치(1300)는 출력될 오브젝트 및 오브젝트의 자세를 결정한다. 예를 들어, 전자 장치(1300)는 오브젝트는 디스플레이를 통해 출력되는 기본 영상에 기초하여 기본 영상의 장면 또는 기본 오브젝트를 검출하고, 검출된 장면 또는 기본 오브젝트에 기초하여 AR 컨텐츠로서 출력될 오브젝트를 결정한다. 예를 들어, AR 컨텐츠는 기본 영상에 대한 정보를 사용자에게 더 제공할 수 있다.
결정된 오브젝트의 자세가 장면 또는 기본 오브젝트에 기초하여 결정될 수 있다. 예를 들어, 기본 영상이 3D 영상으로 제공되는 경우, AR 컨텐츠가 출력될 깊이가 오브젝트의 자세로서 결정될 수 있다. 다른 예로, 기본 오브젝트와의 위치 관계가 오브젝트의 자세로서 결정될 수 있다.
단계(2135)에서, 전자 장치(1300)는 오브젝트의 자세를 그래픽 공간 좌표계로 변환함으로써 오브젝트를 그래픽 공간 좌표계 내에 설정한다.
단계(2140)에서, 전자 장치(1300)는 그래픽 공간 좌표계 내의 절두체 정보 및 오브젝트에 기초하여 스테레오 영상을 생성한다.
단계(2145)에서, 전자 장치(1300)는 디스플레이 패널의 좌표계로 변환된 눈 위치들 및 스테레오 영상들에 기초하여 3D 영상을 렌더링한다.
단계(2150)에서, 전자 장치(1300)는 디스플레이 패널을 통해 3D 영상을 사용자에게 출력한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
100: 컨텐츠 시각화 시스템
110: 컨텐츠 시각화 장치
400: 3D 영상 렌더링 시스템
410: 3D 영상 렌더링 장치
420: 디스플레이 장치
430: 광학계

Claims (20)

  1. 시스템 내의 사용자의 눈 위치 정보를 획득하는 단계;
    상기 눈 위치 정보 및 광학계 정보에 기초하여 광학계에 대한 상기 사용자의 가상 시점들을 계산하는 단계;
    상기 눈 위치 정보에 기초하여 적어도 두 개의 시점(viewpoint)들을 그래픽 공간 좌표계(graphic space coordinate system) 내에 설정하는 단계;
    상기 그래픽 공간 좌표계 내에 설정된 상기 적어도 두 개의 시점들에 기초하여 가상 스크린에 출력될 오브젝트에 대한 스테레오 영상(stereo image)을 생성하는 단계;
    상기 가상 시점들 및 상기 스테레오 영상에 기초하여 3차원 영상을 렌더링하는 단계; 및
    상기 광학계를 통해 상기 3차원 영상을 상기 사용자에게 출력하는 단계
    를 포함하는,
    3차원 영상 출력 방법.
  2. 제1항에 있어서,
    상기 스테레오 영상을 생성하는 단계는,
    상기 그래픽 공간 좌표계 내에 설정된 상기 적어도 두 개의 시점들의 각각에 대한 절두체(frustum) 정보를 계산하는 단계;
    상기 시스템의 자세 정보에 기초하여 출력될 오브젝트 및 상기 오브젝트의 자세(pose)를 결정하는 단계;
    상기 오브젝트의 자세를 상기 그래픽 공간 좌표계로 변환함으로써 상기 오브젝트를 상기 그래픽 공간 좌표계 내에 설정하는 단계; 및
    상기 절두체 정보 및 상기 그래픽 공간 좌표계 내에 설정된 상기 오브젝트에 기초하여 상기 스테레오 영상을 생성하는 단계
    를 포함하는,
    3차원 영상 출력 방법.
  3. 제2항에 있어서,
    상기 눈 위치 정보에 기초하여 상기 가상 스크린을 설정하는 단계
    를 더 포함하고,
    상기 절두체 정보를 계산하는 단계는,
    상기 가상 스크린에 기초하여 상기 절두체 정보를 생성하는 단계
    를 포함하는,
    3차원 영상 출력 방법.
  4. 제3항에 있어서,
    상기 가상 스크린을 설정하는 단계는,
    미리 설정된 제1 눈 위치 및 타겟 눈 위치 간의 차이를 결정하는 단계;
    상기 차이에 기초하여 제1 눈 위치에 대해 미리 설정된 제1 가상 스크린 정보에 대한 제1 가중치를 결정하는 단계;
    상기 제1 가상 스크린 정보 및 제1 가중치에 기초하여 상기 타겟 눈 위치에 대한 타겟 가상 스크린 정보를 결정하는 단계; 및
    상기 타겟 가상 스크린 정보에 기초하여 상기 가상 스크린을 설정하는 단계
    를 포함하는,
    3차원 영상 출력 방법.
  5. 제4항에 있어서,
    상기 제1 눈 위치는 상기 시스템 내의 공간에 설정되는 아이 박스(eye box) 내에 미리 설정되는,
    3차원 영상 출력 방법.
  6. 제2항에 있어서,
    상기 그래픽 공간 좌표계 내에 설정된 상기 적어도 두 개의 시점들을 평탄화(smoothing)하는 단계
    를 더 포함하고,
    상기 절두체 정보를 계산하는 단계는,
    상기 평탄화된 적어도 두 개의 시점들에 기초하여 상기 절두체 정보를 계산하는 단계
    를 포함하는,
    3차원 영상 출력 방법.
  7. 제1항에 있어서,
    상기 광학계는 상기 3차원 영상을 출력하는 디스플레이 패널을 포함하고,
    상기 가상 시점들은 상기 디스플레이 패널의 후면 방향에 위치하는,
    3차원 영상 출력 방법.
  8. 제7항에 있어서,
    상기 3차원 영상을 렌더링하는 단계는,
    상기 가상 시점들에 기초하여 상기 디스플레이 패널 상의 픽셀을 지나는 가상의 광선들을 결정하는 단계;
    상기 가상의 광선들 및 광학 레이어 사이의 교점들을 결정하는 단계; 및
    상기 교점들 및 상기 광학 레이어의 광학 성분들 사이의 거리들에 기초하여 상기 픽셀에 픽셀 값을 할당하는 단계
    를 포함하는,
    3차원 영상 출력 방법.
  9. 제8항에 있어서,
    상기 가상의 광선들을 결정하는 단계는,
    상기 광학 레이어 및 상기 디스플레이 패널 사이의 매질의 제1 굴절률, 및 상기 광학 레이어 및 상기 디스플레이 패널을 포함하는 디스플레이 장치의 외부의 매질의 제2 굴절률에 기초하여 상기 가상의 광선들을 결정하는 단계
    를 포함하는,
    3차원 영상 출력 방법.
  10. 제1항에 있어서,
    상기 광학계 정보는 상기 광학계에 포함되는 오목 거울 또는 볼록 렌즈의 광학적 특성을 포함하는,
    3차원 영상 출력 방법.
  11. 제1항에 있어서,
    상기 가상 시점들은 상기 사용자의 좌측 시점 및 우측 시점에 대응하는,
    3차원 영상 출력 방법.
  12. 제1항에 있어서,
    상기 시스템은 차량이고,
    상기 가상 스크린은 상기 차량의 외부에 설정되는,
    3차원 영상 출력 방법.
  13. 제12항에 있어서,
    상기 광학계는 상기 차량의 앞 유리창(wind shield glass)을 포함하는,
    3차원 영상 출력 방법.
  14. 제1항 내지 제13항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
  15. 3차원 영상을 출력하는 전자 장치는,
    3차원 영상을 출력하는 프로그램이 기록된 메모리; 및
    상기 프로그램을 수행하는 프로세서
    를 포함하고,
    상기 프로그램은,
    시스템 내의 사용자의 눈 위치 정보 및 광학계 정보에 기초하여 광학계에 대한 상기 사용자의 가상 시점들을 계산하는 단계;
    상기 눈 위치 정보에 기초하여 적어도 두 개의 시점(viewpoint)들을 상기 시스템의 실제 공간에 대응하는 가상의 공간인 그래픽 공간 좌표계(graphic space coordinate system) 내에 설정하는 단계;
    상기 그래픽 공간 좌표계 내에 설정된 상기 적어도 두 개의 시점들에 기초하여 가상 스크린에 출력될 오브젝트에 대한 스테레오 영상(stereo image)을 생성하는 단계;
    상기 가상 시점들 및 상기 스테레오 영상에 기초하여 3차원 영상을 렌더링하는 단계; 및
    상기 광학계를 통해 상기 3차원 영상을 상기 가상 스크린 상에 출력하는 단계
    를 수행하는,
    전자 장치.
  16. 제15항에 있어서,
    상기 스테레오 영상을 생성하는 단계는,
    상기 그래픽 공간 좌표계 내에 설정된 상기 적어도 두 개의 시점들의 각각에 대한 절두체(frustum) 정보를 계산하는 단계;
    상기 시스템의 자세 정보에 기초하여 출력될 오브젝트 및 상기 오브젝트의 자세(pose)를 결정하는 단계;
    상기 오브젝트의 자세를 상기 그래픽 공간 좌표계로 변환함으로써 상기 오브젝트를 상기 그래픽 공간 좌표계 내에 설정하는 단계; 및
    상기 절두체 정보 및 상기 그래픽 공간 좌표계 내에 설정된 상기 오브젝트에 기초하여 상기 스테레오 영상을 생성하는 단계
    를 포함하는,
    전자 장치.
  17. 제15항에 있어서,
    상기 시스템 내의 상기 사용자의 눈 위치 정보를 생성하는 카메라
    를 더 포함하는,
    전자 장치.
  18. 제15항에 있어서,
    상기 렌더링된 3차원 영상을 출력하는 디스플레이 패널을 포함하는 디스플레이 장치
    를 더 포함하는,
    전자 장치.
  19. 카메라에 대한 사용자의 눈 위치들을 획득하는 단계;
    상기 눈 위치들의 좌표를 디스플레이 패널의 좌표계(coordinate system of display panel)로 변환하는 단계;
    상기 디스플레이 패널의 좌표계로 변환된 상기 눈 위치들의 좌표를 그래픽 공간 좌표계(graphic space coordinate system)로 변환함으로써 두 개의 시점(viewpoint)들을 상기 그래픽 공간 좌표계 내에 설정하는 단계;
    상기 그래픽 공간 좌표계 내에 설정된 상기 두 개의 시점들에 기초하여 출력될 오브젝트에 대한 스테레오 영상(stereo image)을 생성하는 단계;
    상기 디스플레이 패널의 좌표계로 변환된 상기 눈 위치들 및 상기 스테레오 영상에 기초하여 3차원 영상을 렌더링하는 단계; 및
    상기 디스플레이 패널을 통해 상기 3차원 영상을 상기 사용자에게 출력하는 단계
    를 포함하는,
    3차원 영상 출력 방법.
  20. 제19항에 있어서,
    상기 스테레오 영상을 생성하는 단계는,
    상기 그래픽 공간 좌표계 내에 설정된 상기 두 개의 시점들의 각각 대한 절두체(frustum) 정보를 계산하는 단계;
    출력될 오브젝트 및 상기 오브젝트의 자세(pose)를 결정하는 단계;
    상기 오브젝트의 자세를 상기 그래픽 공간 좌표계로 변환함으로써 상기 오브젝트를 상기 그래픽 공간 좌표계 내에 설정하는 단계; 및
    상기 절두체 정보 및 상기 그래픽 공간 좌표계 내에 설정된 상기 오브젝트에 기초하여 상기 스테레오 영상을 생성하는 단계
    를 포함하는,
    3차원 영상 출력 방법.
KR1020180153425A 2018-12-03 2018-12-03 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치 KR102652943B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180153425A KR102652943B1 (ko) 2018-12-03 2018-12-03 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치
US16/446,102 US11070782B2 (en) 2018-12-03 2019-06-19 Method of outputting three-dimensional image and electronic device performing the method
US17/361,936 US11711502B2 (en) 2018-12-03 2021-06-29 Method of outputting three-dimensional image and electronic device performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180153425A KR102652943B1 (ko) 2018-12-03 2018-12-03 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20200066826A true KR20200066826A (ko) 2020-06-11
KR102652943B1 KR102652943B1 (ko) 2024-03-29

Family

ID=70849228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180153425A KR102652943B1 (ko) 2018-12-03 2018-12-03 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치

Country Status (2)

Country Link
US (2) US11070782B2 (ko)
KR (1) KR102652943B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4184915A4 (en) * 2020-07-15 2024-01-10 Beijing Ivisual 3D Tech Co Ltd METHOD AND APPARATUS FOR IMPLEMENTING TARGET OBJECT POSITIONING, AND DISPLAY COMPONENT
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023054307A1 (ja) * 2021-09-30 2023-04-06 日本精機株式会社 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180057263A (ko) * 2016-11-22 2018-05-30 삼성전자주식회사 3d 영상 렌더링 방법 및 장치
KR20180120270A (ko) * 2016-04-25 2018-11-05 퀄컴 인코포레이티드 가속된 라이트 필드 디스플레이

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618054B2 (en) * 2000-05-16 2003-09-09 Sun Microsystems, Inc. Dynamic depth-of-field emulation based on eye-tracking
US8494215B2 (en) 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking
US9728006B2 (en) 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
JP5541974B2 (ja) * 2010-06-14 2014-07-09 任天堂株式会社 画像表示プログラム、装置、システムおよび方法
US8704879B1 (en) * 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
JP5874197B2 (ja) * 2011-05-26 2016-03-02 ソニー株式会社 表示装置および方法、並びにプログラム
KR101359660B1 (ko) 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
US8704882B2 (en) * 2011-11-18 2014-04-22 L-3 Communications Corporation Simulated head mounted display system and method
US20150062311A1 (en) * 2012-04-29 2015-03-05 Hewlett-Packard Development Company, L.P. View weighting for multiview displays
KR101409846B1 (ko) 2012-12-18 2014-06-19 전자부품연구원 3차원 증강현실 기반 헤드 업 디스플레이 장치
US20140232746A1 (en) 2013-02-21 2014-08-21 Hyundai Motor Company Three dimensional augmented reality display apparatus and method using eye tracking
WO2015045251A1 (ja) * 2013-09-27 2015-04-02 パナソニックＩｐマネジメント株式会社 裸眼立体視映像装置
US9762895B1 (en) 2014-03-11 2017-09-12 Rockwell Collins, Inc. Dual simultaneous image presentation for a three-dimensional aviation display
DE102014006724B3 (de) 2014-05-08 2015-09-10 Audi Ag Kraftfahrzeug und Anzeige eines dreidimensionalen graphischen Objekts
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
GB2527548A (en) * 2014-06-25 2015-12-30 Sharp Kk Variable barrier pitch correction
US10567464B2 (en) * 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
CA3036787A1 (en) * 2015-09-17 2017-03-23 Lumii, Inc. Multi-view displays and associated systems and methods
US20170161949A1 (en) 2015-12-08 2017-06-08 GM Global Technology Operations LLC Holographic waveguide hud side view display
US20170161950A1 (en) 2015-12-08 2017-06-08 GM Global Technology Operations LLC Augmented reality system and image processing of obscured objects
US10986992B2 (en) 2016-08-17 2021-04-27 Massachusetts Institute Of Technology Dynamic display system and method for customizing a controller in a display system
JP2018061621A (ja) * 2016-10-11 2018-04-19 オプトス ピーエルシー 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム
KR20180046567A (ko) 2016-10-28 2018-05-09 현대자동차주식회사 차량용 헤드 업 디스플레이 제어 장치 및 방법
KR20180046587A (ko) * 2016-10-28 2018-05-09 전자부품연구원 개인별 수면 패턴 및 생체 리듬 분석을 이용하는 운전자 안전 사고 예방 시스템 및 그 작동 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180120270A (ko) * 2016-04-25 2018-11-05 퀄컴 인코포레이티드 가속된 라이트 필드 디스플레이
KR20180057263A (ko) * 2016-11-22 2018-05-30 삼성전자주식회사 3d 영상 렌더링 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4184915A4 (en) * 2020-07-15 2024-01-10 Beijing Ivisual 3D Tech Co Ltd METHOD AND APPARATUS FOR IMPLEMENTING TARGET OBJECT POSITIONING, AND DISPLAY COMPONENT
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status

Also Published As

Publication number Publication date
US11711502B2 (en) 2023-07-25
US20200175750A1 (en) 2020-06-04
US20210329210A1 (en) 2021-10-21
US11070782B2 (en) 2021-07-20
KR102652943B1 (ko) 2024-03-29

Similar Documents

Publication Publication Date Title
KR102397089B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
JP6304628B2 (ja) 表示装置および表示方法
CN109561294B (zh) 用于渲染图像的方法和设备
US11711502B2 (en) Method of outputting three-dimensional image and electronic device performing the method
KR101104503B1 (ko) 화상 표시 장치 및 화상 표시 방법
US9086566B2 (en) Monocular head mounted display
US20150161762A1 (en) Information processing apparatus, information processing method, and program
KR20200067641A (ko) 3차원 증강 현실을 위한 캘리브레이션 방법 및 그 장치
KR102564478B1 (ko) 3d 영상 렌더링 방법 및 장치
CN109462750A (zh) 一种抬头显示系统、信息显示方法、装置及介质
KR20220022340A (ko) 컨텐츠를 시각화하는 장치 및 방법
CN114609782A (zh) 裸眼3d抬头显示装置及裸眼3d抬头显示方法
US20220075183A1 (en) Method and apparatus with crosstalk correction
JP7390558B2 (ja) 虚像表示システム、画像表示方法、ヘッドアップディスプレイ、及び移動体
KR20200072641A (ko) 3차원 증강 현실을 제공하는 헤드 업 디스플레이 장치
KR102655810B1 (ko) 3d 영상 렌더링 방법 및 장치
CN115665400B (zh) 增强现实抬头显示成像方法、装置、设备以及存储介质
KR20180059036A (ko) 3d 디스플레이 장치
WO2021171397A1 (ja) 表示制御装置、表示装置、及び表示制御方法
JP2022108714A (ja) 撮像画像データ補正システム、及びヘッドアップディスプレイ装置
EP3306373A1 (en) Method and device to render 3d content on a head-up display
JP2023093913A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JP2022113292A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
CN116684565A (zh) 显示方法、设备、交通工具及存储介质
Machleidt Physical Aspects (Reflection Modelling)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant