KR20200042166A - 컨텐츠를 시각화하는 장치 및 방법 - Google Patents

컨텐츠를 시각화하는 장치 및 방법 Download PDF

Info

Publication number
KR20200042166A
KR20200042166A KR1020180122382A KR20180122382A KR20200042166A KR 20200042166 A KR20200042166 A KR 20200042166A KR 1020180122382 A KR1020180122382 A KR 1020180122382A KR 20180122382 A KR20180122382 A KR 20180122382A KR 20200042166 A KR20200042166 A KR 20200042166A
Authority
KR
South Korea
Prior art keywords
content
visualizing
visualize
display position
placement space
Prior art date
Application number
KR1020180122382A
Other languages
English (en)
Inventor
이희세
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180122382A priority Critical patent/KR20200042166A/ko
Priority to US16/362,735 priority patent/US11099026B2/en
Priority to CN201910283442.4A priority patent/CN111055853A/zh
Priority to EP19168983.5A priority patent/EP3640598A1/en
Priority to JP2019142154A priority patent/JP7303691B2/ja
Publication of KR20200042166A publication Critical patent/KR20200042166A/ko
Priority to US17/376,662 priority patent/US11656091B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)

Abstract

컨텐츠를 시각화하는 장치 및 방법이 제공된다. 일 실시예에 따른 컨텐츠를 시각화하는 장치는 도로면 및 장애물 등에 기초하여 객체 배치 공간을 생성할 수 있고, 객체 배치 공간 내에서 경로 안내 컨텐츠에 대응하는 그래픽 표현이 시각화되는 표시 위치를 결정할 수 있다.

Description

컨텐츠를 시각화하는 장치 및 방법{DEVICE AND METHOD TO VISUALIZE CONTENT}
이하, 컨텐츠를 시각화하는 기술이 제공된다.
차량 및 기타 운송 수단의 주행을 보조하기 위해 다양한 시각 정보(Visual Information)를 나타내는 증강 현실(AR, Augmented Reality)이 차량에 탑재된 디스플레이 또는 네비게이션(Navigation)을 통해 제공되고 있다. 예를 들어, AR 기반 HUD(Head-Up Display) 장치를 통해 주행 정보를 표시하려는 시도가 이루어지고 있다.
일 실시예에 따른 컨텐츠를 시각화하는 방법은, 추정된 전방 도로 영역에 기초하여 객체 배치 공간을 생성하는 단계; 경로 안내 컨텐츠의 지시 지점(indication point) 및 상기 객체 배치 공간에 기초하여, 상기 경로 안내 컨텐츠에 대한 표시 위치를 결정하는 단계; 및 상기 결정된 표시 위치에 상기 경로 안내 컨텐츠에 대응하는 그래픽 객체를 3차원으로 시각화하는 단계를 포함할 수 있다.
상기 객체 배치 공간을 생성하는 단계는, 사용자의 시야각 및 상기 사용자의 시점(view point)로부터 장애물(obstacle)까지의 거리에 기초하여 상기 객체 배치 공간을 생성하는 단계를 포함할 수 있다.
상기 그래픽 객체를 3차원으로 시각화하는 단계는, 운전자의 좌안에 대응하는 제1 그래픽 표현을 포함하는 좌영상 및 상기 운전자의 우안에 대응하는 제2 그래픽 표현을 포함하는 우영상을 생성하는 단계; 및 서로에 대해 시차(disparity)를 가지도록 상기 좌영상 및 상기 우영상을 제공하는 단계를 포함할 수 있다.
상기 좌영상 및 우영상을 제공하는 단계는, 상기 운전자의 좌안 및 우안의 위치를 추적하는 단계를 더 포함할 수 있다.
상기 표시 위치를 결정하는 단계는, 상기 지시 지점이 상기 객체 배치 공간을 벗어나는 경우에 응답하여, 상기 표시 위치를 상기 객체 배치 공간 내의 위치로 결정하는 단계를 포함할 수 있다.
상기 표시 위치를 결정하는 단계는, 상기 지시 지점의 높이가 상기 객체 배치 공간의 바닥(bottom)보다 낮은 경우에 응답하여, 상기 표시 위치의 높이를 상기 객체 배치 공간의 바닥에 피팅(fitting)하는 단계를 포함할 수 있다.
상기 표시 위치를 결정하는 단계는, 사용자의 시야에 대응하는 공간 및 도로면이 교차하지 않는 경우에 응답하여, 상기 표시 위치의 높이를 상기 객체 배치 공간의 바닥에 피팅하는 단계를 포함할 수 있다.
상기 표시 위치를 결정하는 단계는, 사용자로부터 상기 표시 위치까지의 거리가 상기 객체 배치 공간의 최대 거리보다 먼 경우에 응답하여, 상기 표시 위치를 상기 객체 배치 공간 내로 업데이트하는 단계를 포함할 수 있다.
상기 객체 배치 공간을 생성하는 단계는, 컨텐츠를 시각화하는 장치가 장착된 차량의 차체(body) 및 사용자의 시야각(FOV, field of view)에 기초하여 상기 객체 배치 공간을 생성하는 단계를 포함할 수 있다.
상기 그래픽 객체를 3차원으로 시각화하는 단계는, 사용자의 시야각 및 차량의 차체에 기초하여 컨텐츠 움직임 궤적(content movement trajectory)를 결정하는 단계; 및 컨텐츠를 시각화하는 장치가 상기 지시 지점에 접근하는 경우에 응답하여, 상기 컨텐츠 움직임 궤적에 기초하여 상기 그래픽 객체의 높이를 조정함으로써 상기 그래픽 객체를 시각화 하는 단계를 포함할 수 있다.
상기 객체 배치 공간을 생성하는 단계는, 차량의 주변에 대해 추정된 도로 영역에 기초하여, 상기 도로 영역의 도로면에 상기 객체 배치 공간의 바닥이 피팅되도록 상기 객체 배치 공간을 생성하는 단계를 포함할 수 있다.
상기 객체 배치 공간의 바닥이 피팅되도록 상기 객체 배치 공간을 생성하는 단계는, 상기 도로면 및 시야각에 대응하는 공간이 교차하는 부분부터 최대 거리까지, 상기 객체 배치 공간의 바닥을 상기 도로면에 피팅시키는 단계를 포함할 수 있다.
상기 그래픽 객체를 3차원으로 시각화하는 단계는, 상기 객체 배치 공간에서 상기 그래픽 객체의 아래에 대응하는 영역에 그림자 객체(shadow object)를 시각화하는 단계를 포함할 수 있다.
상기 그림자 객체를 시각화하는 단계는, 상기 그래픽 객체의 아래에서, 그림자 영역의 밝기를 유지하는 단계; 및 상기 그림자 영역의 주변 영역에 대해 상기 그림자 영역보다 높은 밝기의 객체를 시각화하는 단계를 포함할 수 있다.
컨텐츠를 시각화하는 방법은 컨텐츠를 시각화하는 장치가 현재 경로 안내 컨텐츠에 대한 현재 표시 지점에 도달한 경우에 응답하여, 다음 경로 안내 컨텐츠에 대한 다음 표시 위치를 결정하는 단계; 및 상기 다음 표시 위치에 상기 다음 경로 안내 컨텐츠에 대응하는 그래픽 객체를 3차원으로 시각화하는 단계를 포함할 수 있다.
상기 그래픽 객체를 3차원으로 시각화하는 단계는, 상기 객체 배치 공간의 최대 거리로부터 상기 그래픽 객체까지의 거리에 기초하여, 상기 그래픽 객체의 투명도를 결정하는 단계를 포함할 수 있다.
상기 경로 안내 컨텐츠는, 안내 경로(guided path)를 따라 배치된 복수의 포인트 객체들(point objects)을 포함하는 경로 지시선(path indicating line)을 포함하고, 상기 복수의 포인트 객체들의 각각은, 서로에 대해 단위 간격(unit interval)으로 이격될 수 있다.
상기 표시 위치를 결정하는 단계는, 상기 지시 지점 및 상기 표시 위치가 다른 경우에 응답하여, 상기 표시 위치에 대응하는 임시 안내 컨텐츠(temporary)를 획득하는 단계를 포함하고, 상기 그래픽 객체를 3차원으로 시각화하는 단계는, 상기 객체 배치 공간이 상기 지시 지점을 포함할 때까지 상기 임시 안내 컨텐츠에 대응하는 그래픽 객체를 상기 표시 위치에 시각화하는 단계를 포함할 수 있다.
컨텐츠를 시각화하는 방법은 컨텐츠를 시각화하는 장치가 위치한 도로에서, 상기 장치가 주행하고 있는 차로 정보에 대응하는 그래픽 객체 및 상기 장치의 주변에 있는 위험 객체에 대응하는 그래픽 객체를 3차원으로 시각화하는 단계를 더 포함할 수 있다.
상기 그래픽 객체를 3차원으로 시각화하는 단계는, 상기 그래픽 객체를 시각화하던 도중 상기 표시 위치가 변경된 경우에 응답하여, 상기 그래픽 객체를 이전 표시 위치로부터 변경된 표시 위치까지 점진적으로(gradually) 변경하면서 시각화하는 단계를 포함할 수 있다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는, 추정된 전방 도로 영역에 기초하여 객체 배치 공간을 생성하고, 경로 안내 컨텐츠의 지시 지점 및 상기 객체 배치 공간에 기초하여 표시 위치를 결정하는 프로세서; 및 상기 결정된 표시 위치에 상기 경로 안내 컨텐츠에 대응하는 그래픽 객체를 시각화하는 디스플레이를 포함할 수 있다.
도 1은 일 실시예에 따라 시각화된 컨텐츠의 예시를 설명하는 도면이다.
도 2는 일 실시예에 따른 컨텐츠를 시각화하는 장치의 구성을 도시한 블록도이다.
도 3은 일 실시예에 따른 컨텐츠를 시각화하는 장치의 헤드업 디스플레이(HUD, head up display)의 구성을 도시한 블록도이다.
도 4 및 도 5는 일 실시예에 따른 컨텐츠를 시각화하는 방법을 설명하는 흐름도이다.
도 6은 일 실시예에 따른 경로 안내 컨텐츠를 획득하는 방법을 설명하는 흐름도이다.
도 7은 일 실시예에 따른 표시 위치 결정 및 그래픽 객체 시각화를 설명하는 흐름도이다.
도 8 내지 도 10은 일 실시예에 따라 객체 배치 공간 내부로 결정된 표시 위치를 가지는 그래픽 객체를 설명하는 도면이다.
도 11 및 도 12는 일 실시예에 따라 지시 지점이 가려지는 경우 경로 안내 컨텐츠에 대응하는 그래픽 객체의 표시 위치를 결정하는 동작을 설명하는 도면이다.
도 13 및 도 14는 일 실시예에 따른 컨텐츠 움직임 궤적에 기초한 경로 안내 컨텐츠의 시각화를 설명하는 도면이다.
도 15는 일 실시예에 따른 컨텐츠를 시각화하는 장치가 오르막길에 진입 및 진출하는 동안 경로 안내 컨텐츠의 표시 위치를 결정하는 예시를 설명하는 도면이다.
도 16은 일 실시예에 따른 컨텐츠 시각화 방법을 설명하는 흐름도이다.
도 17은 일 실시예에 따른 컨텐츠를 시각화하는 장치가 시야 확보에 따라 경로 안내 컨텐츠의 위치를 변경하고 그래픽 객체를 변형하는 동작을 설명하는 예시이다.
도 18은 일 실시예에 따른 경로 지시선에 대응하는 그래픽 객체를 설명하는 도면이다.
도 19는 일 실시예에 따른 차로 정보의 시각화를 설명하는 도면이다.
도 20은 일 실시예에 따른 경로 안내 컨텐츠를 동적으로 시각화하는 동작을 설명하는 도면이다.
도 21은 일 실시예에 따른 경로 안내 컨텐츠를 정적으로 시각화하는 동작을 설명하는 도면이다.
도 22는 일 실시예에 따라 위험 객체를 경고하는 동작을 설명하는 도면이다.
도 23은 일 실시예에 따라 속도 제한 정보를 제공하는 동작을 설명하는 도면이다.
도 24는 일 실시예에 따라 경로 안내 컨텐츠에 대응하는 그림자 객체를 시각화한 예시를 설명하는 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 특허 출원의 권리범위는 실시예들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 예를 설명하기 위해 사용된 것으로, 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따라 시각화된 컨텐츠의 예시를 설명하는 도면이다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠(121)에 대응하는 그래픽 객체를 시각화할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 객체 배치 공간(110) 내의 임의의 위치에 그래픽 객체를 배치하고, 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 사용자의 좌안에 좌안 영상, 사용자의 우안에 우안 영상을 제공함으로써, 그래픽 객체를 입체적으로 제공할 수 있다. 좌안 영상 및 우안 영상은 서로에 대해 수평축을 따라 깊이에 따른 시차(disparity)만큼 이격된 그래픽 객체를 포함할 수 있다. 따라서 사용자는 입체적으로 렌더링된 그래픽 객체의 깊이감을 인식할 수 있다.
객체 배치 공간(110)은 그래픽 객체가 배치될 수 있는 공간으로서, 3차원 공간을 나타낼 수 있다. 객체 배치 공간(110)은 깊이를 가지는 그래픽 객체가 입체적으로 시각화될 수 있는 공간을 나타낼 수 있다. 객체 배치 공간(110)에 속하는 각 지점의 좌표는 물리적 세계(physical world)의 위치 좌표와 동일하거나 유사한 스케일로 매핑될 수 있다. 객체 배치 공간(110)의 경계(boundary)는 헤드업 디스플레이의 구조에 따라 결정될 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 헤드업 디스플레이의 구조에 따라 결정된 최소 깊이(예를 들어, 최소 거리)로부터 최대 깊이(예를 들어, 최대 거리)까지의 공간 내에서 그래픽 객체를 시각화할 수 있다. 도 1에서 최소 거리는 5m, 최대 거리는 70m로 도시되었으나, 이로 한정하는 것은 아니다.
객체 배치 공간(110)은 사용자의 시야에 대응하는 공간에 기초하여 결정될 수 있다. 객체 배치 공간(110)의 형태 및 크기는 아이 박스(190)(eye box)의 크기 및 헤드업 디스플레이에 의해 제공될 수 있는 시야각(FOV, field of view)에 기초하여 결정될 수 있다. 예를 들어, 객체 배치 공간(110)은, 사각뿔(rectangular cone) 형태로서, 아이 박스(190)로부터 시야각에 대응하여 확장되는 형태의 공간일 수 있다. 아이 박스(190)는 사용자의 두 눈(both eyes)이 위치하는 것으로 설정된 영역을 나타낼 수 있다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는, 윈드 쉴드 글래스(wind shield glass)(180) 너머로 객체 배치 공간(110) 내 표시 위치에, 다양한 종류의 그래픽 표현을 시각화 할 수 있고, 서로 다른 종류의 그래픽 표현은 서로 다른 객체 배치 공간(110)에 시각화 할 수 있도록 구현할 수 있다.
객체 배치 공간(110) 내에 표시 가능한 그래픽 표현의 종류는 예를 들어 경로 안내 컨텐츠(121), 경로 지시선(122), 경고 컨텐츠(123) 및 주행 관련 컨텐츠(124) 등을 포함할 수 있다. 이 외에도 객체 배치 공간(110)내에 표시 가능한 그래픽 표현의 종류는 다양한 형태로 변경 및 실시 가능하다.
사용자는 객체 배치 공간(110) 내 표시 위치에 대응하는 물리적 위치에 해당 그래픽 표현들이 존재한다고 인식할 수 있다. 상술한 바와 같이, 객체 배치 공간(110)의 각 좌표는 물리적 좌표와 일대일로 매핑될 수 있다.
본 명세서에서 표시 위치는 그래픽 객체가 표시되는 지점으로서, 예를 들어, 3차원 공간 내에서 임의의 지점일 수 있다. 표시 위치는 절대적 3차원 좌표 또는 차량을 기준으로 하는 상대적 3차원 좌표를 가질 수 있다. 표시 위치는 컨텐츠를 시각화하는 장치의 동작에 따라, 고정되거나 이동될 수 있다.
경로 안내 정보는 사용자에 의해 설정된 경로에 따른 사용자의 이동을 안내하는 정보를 나타낼 수 있다. 예를 들어, 경로 안내 정보는 사용자가 직진해야 하는 거리(distance), 갈림길에서 방향 전환(turn) 등을 포함할 수 있다. 경로는 출발지로부터 목적지까지 사용자가 통과해야 하는 길(path)을 나타낼 수 있다. 경로 안내 컨텐츠(121)는 목적지까지의 경로를 진행하기 위해 제공되어야 하는 경로 안내 정보가 시각화된 컨텐츠로서, 예를 들어, 사용자가 직진해야 하는 거리를 지시하는 숫자 및 문자, 그리고 갈림길에서 방향 전환(예를 들어, 좌회전 및 우회전 등)을 지시하는 화살표 등을 포함할 수 있다. 경로 지시선(122)은 목적지까지의 경로를 지시하는 선이고, 경로 안내 컨텐츠(121)와 구별되는 형태의 경로 안내 정보로서 시각화될 수 있다. 경고 컨텐츠(123)는 현재 주행환경에서 필요한 경우 사용자에게 주어져야 하는 경고 메시지를 포함할 수 있다.
주행 관련 컨텐츠(124)는 주행과 관련된 컨텐츠를 나타낼 수 있다. 주행 관련 컨텐츠(124)는 예를 들어, 차량의 속도, 가속도, 위치, 연료, 및 정비와 관련된 정보를 나타낼 수 있다. 연료와 관련된 정보는, 가솔린 차의 경우 가솔린의 잔량, 디젤 차의 경우 디젤의 잔량, 수소 차의 경우 수소의 잔량, 전기 차의 경우 충전된 전력 량을 나타낼 수 있다. 정비와 관련된 정보는, 엔진 오일의 상태, 트랜스 미션 오일의 상태, 누적된 주행 거리, 및 타이어의 공기압 등과 같이 차량의 정비 필요 여부를 판단하기 위해 요구되는 정보를 나타낼 수 있다. 다만, 상술한 것들은 단지 예시로서, 이로 한정하는 것은 아니다.
일 실시예로, 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠(121) 및 경로 지시선(122) 등을 사용자로부터 떨어진 위치에 시각화할 수 있다.
컨텐츠를 시각화하는 장치가 탑재된 차량을 운전하는 운전자는 주로 도로(170)에서 차량으로부터 먼 위치를 응시할 가능성이 높다. 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠(121) 또는 경로 지시선(122)과 같은 컨텐츠를 차량으로부터 먼 위치에 시각화함으로써, 사용자의 안구 피로도를 경감시킬 수 있다. 즉, 경로를 지시하는 그래픽 객체를 사용자가 응시하고 있는 깊이와 유사한 깊이에 대응하는 거리에 시각화함으로써, 컨텐츠를 시각화하는 장치는 사용자의 깊이 혼동에 의한 크로스토크(crosstalk)를 감소시킬 수 있다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는 센서(예를 들어, 카메라 센서, GPS, 및 LIDAR 등)를 이용하여, 차량의 위치를 추정할 수 있다. 컨텐츠를 시각화하는 장치는 차량의 위치로부터 운전자의 눈 위치만큼의 오차 간격을 고려하여, 경로 안내 컨텐츠(121)에 대응하는 그래픽 객체를 실제 도로에 정합하여 시각화할 수 있다. HD 맵 데이터가 사용되는 경우, 컨텐츠를 시각화하는 장치는 보다 정확한 위치에 경로 안내 컨텐츠(121)를 정합할 수 있다. 이러한 정합을 통해, 컨텐츠를 시각화하는 장치는 운전자의 심리적 안정감을 개선할 수 있다.
또한, 평범한 주행 상황(normal driving circumstance) 동안 운전자에게 제공되는 일반 정보(general information)와 관련된 주행 관련 컨텐츠(124)는 사용자로부터 일정 거리가 떨어진 제1 위치(예를 들어, 가까운 위치)에 시각화될 수 있다. 운전자에게 알람이 필요하다고 판단할 경우, 컨텐츠를 시각화하는 장치는 주행 관련 컨텐츠(124)의 일부 또는 전부를 제1 위치보다 먼 위치에 시각화함으로써 사용자에게 알람(alarm)을 제공할 수 있다. 예를 들어, 차량의 주행속도가 경고 컨텐츠(123)의 형태로 50m 정도 위치에 시각화 될 수 있다. 알람이 필요한 상황이 해제될 경우, 컨텐츠를 시각화하는 장치는 주행 관련 컨텐츠(124)의 일부 또는 전부를 다시 제1 위치로 이동시킬 수도 있다.
사용자가 주행 동안 자주 응시하게 되는 경로 안내 컨텐츠(121)와 달리, 주행 관련 컨텐츠(124)는 사용자가 필요한 때만 볼 수 있다. 따라서, 사용자가 주행 관련 컨텐츠(124)를 응시하는 빈도가 낮으므로, 주행 관련 컨텐츠(124)가 가까운 위치에 시각화되어도 주행 관련 컨텐츠(124)에 의한 크로스토크 유발 가능성은 낮을 수 있다. 운전 시야 확보를 위해, 주행 관련 컨텐츠(124)는 객체 배치 공간(110)의 구석(corner)(예를 들어, 하단부)에 시각화될 수 있다. 도 1에서 가까운 위치는 5m 내지 17m, 먼 위치는 17m 내지 70m로 도시되었으나, 이로 한정하는 것은 아니다.
참고로, 도 1에 표시된 것과 같이 도로(road)(170)는 하나 이상의 차로(lane)를 포함할 수 있다. 차로 경계선(lane line)(150)은 차로와 차로 사이를 구분하는 경계선을 나타낼 수 있다. 다만, 도로(170) 또는 차로에 차로 경계선(150)이 존재하는 것으로 한정하는 것은 아니다. 주행 차로는 차량이 현재 주행 중인 차로를 나타낼 수 있다. 중앙선(center line)(160)은 차량의 진입 금지를 지시하는 경계선을 나타낼 수 있다.
도 2는 일 실시예에 따른 컨텐츠를 시각화하는 장치의 구성을 도시한 블록도이다.
컨텐츠를 시각화하는 장치(200)는 센서(210), 디스플레이(220), 프로세서(230) 및 메모리(240)를 포함한다.
센서(210)는 컨텐츠의 시각화를 위해 필요한 정보를 센싱할 수 있다. 일 실시예에 따르면, 센서(210)는 사용자의 주변에 위치하는 객체까지의 거리를 측정할 수 있고, 예를 들어, 라이다(LIDAR, Light Detection and Ranging) 및 레이더(RADAR, Radio Detection and Ranging) 등을 포함할 수 있다. 또한, 센서(210)는 컨텐츠를 시각화하는 장치(200)가 장착된 기기의 상태와 관련된 정보를 센싱할 수 있다. 예를 들어, 차량에 장착된 경우, 센서(210)는 차량과 관련된 정보를 센싱할 수 있으며, 차량과 관련된 정보는 차량의 위치 정보, 차량의 위치에 대응하는 도로 정보, 및 차량의 주행 관련 정보 등을 포함할 수 있다. 여기서 주행 관련 정보는 차량의 주행과 관련된 정보로서, 예를 들어, 차량의 속도, 가속도, 위치, 연료, 및 정비와 관련된 정보일 수 있다. 또한, 센서(210)는 차량 내부를 촬영하는 내부 센서를 포함할 수도 있다. 내부 센서는 카메라 센서(예를 들어, 컬러 카메라), 적외선 센서, 깊이 센서, 및 열화상 센서 등일 수 있으나, 이로 한정하는 것은 아니다.
차량의 위치 정보는 차량이 위치하는 현재 좌표일 수 있으며, 현재 차량이 주행 중인 차로 정보까지 지시할 수 있다. 예를 들어, 센서(210)는 GPS(Global Positioning System)를 통해 차량의 2차원 좌표를 획득할 수 있다. 또한, 센서(210)는 차량의 전방에 대한 전방 이미지를 획득할 수 있고, 프로세서(230)가 전방 이미지로부터 도로를 구성하는 복수의 차로들 중 현재 차량이 주행 중인 차로(ego lane)를 결정할 수 있다. 다만, 이로 한정하는 것은 아니고, 프로세서(230)는 센서(210)로부터 수집된 이미지에 기초하여, 현재 차량의 위치를 추정할 수도 있다.
도로 정보는 도로의 폭, 도로를 구성하는 차로(lane)의 개수, 차로의 폭, 중앙선(center line), 방향 전환 지점(turn point), 교통 신호(traffic signal) 및 기타 교통(traffic)과 관련된 정보 중 하나 이상을 포함할 수 있다.
디스플레이(220)는 컨텐츠를 시각화하여 사용자에게 제공할 수 있다. 일 실시예에 따르면 디스플레이(220)는 헤드업 디스플레이일 수 있고, 사용자의 전방에 프로젝션 평면을 형성하여, 프로젝션 평면을 통해 컨텐츠를 사용자에게 제공할 수 있다. 또한, 디스플레이(220)는 사용자의 좌안에 좌영상을 제공하고, 우안에 우영상을 제공할 수 있다. 예를 들어, 프로세서(210)는 운전자의 좌안에 대응하는 제1 그래픽 표현을 포함하는 좌영상 및 운전자의 우안에 대응하는 제2 그래픽 표현을 포함하는 우영상을 생성할 수 있다. 디스플레이(220)는 서로에 대해 시차(disparity)를 가지도록 좌영상 및 우영상을 제공할 수 있다. 디스플레이(220)는, 좌영상에서 컨텐츠가 시각화된 그래픽 객체 및 우영상에서 컨텐츠가 시각화된 그래픽 객체를 서로에 대해 양안 시차(binocular disparity)에 기초하여 이격시킴으로써, 깊이를 가지는 컨텐츠를 사용자에게 입체적인 그래픽 객체로 시각화하여 제공할 수 있다. 예를 들어, 디스플레이(220)는 프로세서(230)에 의해 결정된 표시 위치에 경로 안내 컨텐츠에 대응하는 그래픽 객체를 시각화할 수 있다. 사용자 양안의 위치는 상술한 센서(210)(예를 들어, 내부 센서)에 의해 측정되어 프로세서(230)에 제공될 수 있다. 사용자 양안의 위치는 차량이 이동하는 동안 항상 추적되어 운전자가 머리를 상하좌우로 이동하거나 좌석의 높낮이를 조절하더라도 컨텐츠가 입체적으로 전달될 수 있다.
프로세서(230)는 디스플레이(220)를 통해 시각화되는 컨텐츠를 생성(create), 변형(deform), 및 조정(adjust)할 수 있다. 일 실시예에 따르면 프로세서(230)는 추정된 전방 도로 영역에 기초하여 객체 배치 공간을 생성할 수 있다. 프로세서(230)는 경로 안내 컨텐츠의 지시 지점 및 객체 배치 공간에 기초하여 표시 위치를 결정할 수 있다. 예를 들어, 프로세서(230)는 표시 위치를 고정하거나, 표시 위치를 동적으로 조정할 수도 있다.
경로 안내 컨텐츠의 지시 지점은 해당 경로 안내 컨텐츠에 대응하는 동작을 사용자가 수행해야 하는 지점을 나타낼 수 있다. 예를 들어, 경로 안내 컨텐츠가 갈림길에서 방향 전환(예를 들어, 좌회전(left turn))을 지시하는 컨텐츠인 경우, 지시 지점은 사용자가 방향 전환을 수행해야 하는 지점으로서 갈림길의 입구 지점일 수 있다.
프로세서(230)는 맵 데이터베이스에 포함된 도로 정보에 기초하여 지시 지점을 결정할 수 있다. 예를 들어, 프로세서(230)는 차량에 주어진 경로 안내 정보에 기초하여, 방향 전환(turn)이 수행되어야 하는 방향 전환 영역을 결정할 수 있고, 방향 전환 영역의 진입 지점을 지시 지점으로 결정할 수 있다. 방향 전환 영역은 방향 전환 지점을 포함하는 영역을 나타낼 수 있다.
다만, 프로세서(230)의 동작을 상술한 바로 한정하는 것은 아니고, 프로세서(230)는 아래 도 3 내지 도 24에서 설명된 동작들 중 적어도 하나와 함께 상술한 동작을 수행할 수도 있다. 프로세서(230)의 보다 상세한 동작은 하기 도 3 내지 도 24에서 설명한다.
메모리(240)는 컨텐츠 시각화에 요구되는 정보를 임시적으로 또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(240)는 프로세서(230)에 의해 실행되어 하기 도 3 내지 도 24에 따른 동작을 수행하기 위한 명령어들을 저장할 수 있다. 또한, 메모리(240)는 경로 안내 정보, 주행 관련 컨텐츠, 및 맵 데이터베이스 등을 저장할 수도 있다. 맵 데이터베이스는 맵 데이터를 저장하는 데이터베이스를 나타낼 수 있다. 맵 데이터베이스는 예를 들어, HD(high definition) 맵 데이터를 저장할 수도 있다. HD 맵 데이터는, 예를 들어, 차로 개수, 차로의 폭, 및 중심선의 위치 등과 같은 정밀 데이터(fine data)에 관한 정보를 포함할 수 있다.
일 실시예에 따른 컨텐츠를 시각화하는 장치(200)는 차량용 3차원 헤드업 디스플레이 장치 및 차량의 주행 경로를 지시하는 내비게이션 장치 등으로 구현될 수 있다. 또한, 컨텐츠를 시각화하는 장치(200)는 사용자에게 증강 현실을 제공하도록 구현될 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치(200)는 차량의 본네트 너머의 일정 범위(예를 들어, 차량으로부터 5m 내지 70m)의 깊이로 컨텐츠를 디스플레이할 수 있다. 컨텐츠를 시각화하는 장치(200)는 하기 도 3 내지 도 24에서 설명하는 바와 같이, 사용자의 현재 주시 위치와 유사한 깊이로 컨텐츠를 시각화함으로써, 사용자의 시각적 피로를 경감하고, 보다 정확한 깊이로 컨텐츠를 시각화함으로써 사용자가 운전에 집중하도록 보조할 수 있다.
도 3은 일 실시예에 따른 컨텐츠를 시각화하는 장치의 헤드업 디스플레이(HUD, head up display)의 구성을 도시한 블록도이다.
컨텐츠 시각화 시스템(300)은 사용자(390)에게 컨텐츠(content)(361)를 제공하는 시스템으로써, 예를 들어, 컨텐츠를 시각화하는 장치(310)가 장착된 기기일 수 있다.
컨텐츠를 시각화하는 장치(310)는 센서(311), 프로세서(312), 및 헤드업 디스플레이(313)를 포함할 수 있다.
센서(311)는 전방에 존재하는 객체(object)를 검출할 수 있다. 예를 들어, 센서(311)는 전방에 존재하는 객체까지의 거리(distance)를 측정할 수 있다. 다만, 이로 한정하는 것은 아니고, 센서(311)는 차량의 주위에 존재하는 객체까지의 거리를 측정할 수 있고, 주변에 존재하는 객체까지의 거리를 지시하는 주변 거리 맵을 생성할 수 있다. 또한, 센서(311)는 차량의 전방, 후방, 좌측, 및 우측의 환경을 촬영하여 이미지를 생성할 수 있다.
프로세서(312)는 검출된 객체에 기초하여, 사용자(390)에게 제공할 컨텐츠(361)를 생성할 수 있다. 컨텐츠(361)는 사용자에게 정보를 제공하기 위한 데이터를 나타낼 수 있다. 운전과 연관된 정보(이하, 운행 정보)는, 예를 들어, 경로 안내 정보(route guidance information) 및 주행 관련 정보(driving related information) 등과 같이 운전자(driver)에게 요구되는 정보일 수 있다. 또한, 프로세서(312)는 센서(311)에 의해 센싱된 주변 정보(예를 들어, 주변의 객체까지의 거리 및 객체를 포함하는 영상 등)를 분석하여, 객체를 모델링하거나, 객체의 위치를 검출하거나, 객체를 인식하는 동작 등을 수행할 수 있다.
헤드업 디스플레이(313)는 사용자(390)의 전방에 위치되는 사용자(390)의 가시 영역(visible region)에 컨텐츠(361)를 시각화할 수 있다. 예를 들어, 헤드업 디스플레이(313)는 사용자(390)의 전방에 배치되는 유리창(예를 들어, 차량의 윈드쉴드 글래스(windshield glass))에 컨텐츠(361)를 시각화할 수 있다. 헤드업 디스플레이(313)는 가상의 프로젝션 평면(350)을 형성할 수 있다. 프로젝션 평면(350)은 헤드업 디스플레이(313)에 의해 생성된 컨텐츠(361)를 포함하는 허상(virtual image)이 표시되는 평면을 나타낼 수 있다. 사용자(390)는 프로젝션 평면(350)에 허상이 배치된 것으로 인식할 수 있다.
또한, 헤드업 디스플레이(313)는 프로젝션 평면(350)에 깊이를 가지는 컨텐츠(361)를 시각화할 수 있다. 예를 들어, 프로세서(312)는, 프로젝션 평면(350)을 기준으로 컨텐츠(361)가 시각화될 수 있는 깊이를 결정할 수 있고, 헤드업 디스플레이(313)는 결정된 깊이에 기초하여 사용자(390)를 기준으로 프로젝션 평면(350)으로부터 먼 깊이 또는 가까운 깊이를 가지도록 컨텐츠(361)를 시각화할 수 있다. 헤드업 디스플레이(313)는 가상 영역(360) 내에 해당하는 깊이를 가지는 컨텐츠(361)를 프로젝션 평면(350)에 시각화할 수 있다. 여기서, 프로세서(312)는 헤드업 디스플레이(313)의 광학계에 기초하여, 컨텐츠(361)를 3차원 그래픽 표현(graphic representation)으로 렌더링할 수 있다. 3차원 그래픽 표현은 깊이를 가지는 입체적인 그래픽 표현을 나타낼 수 있고, 아래에서는 그래픽 객체라고 나타낼 수 있다. 헤드업 디스플레이(313)는, 컨텐츠(361)가 가지는 깊이에 기초하여, 좌영상(left image) 및 우영상(right image)을 포함하는 프로젝션 평면(350)을 형성할 수 있고, 프로젝션 평면(350)을 통해 좌영상을 사용자(390)의 좌안(left eye)에, 우영상을 사용자(390)의 우안(right eye)에 제공할 수 있다. 따라서, 사용자(390)는 입체적으로 렌더링된 컨텐츠(361)의 깊이감을 인식할 수 있다.
일 실시예에 따른 헤드업 디스플레이(313)는 예를 들어, 화상 생성부(picture generation unit)(314), 폴드 거울(fold mirror)(315) 및 오목 거울(316)을 포함할 수 있다. 다만, 헤드업 디스플레이(313)의 구성을 이로 한정하는 것은 아니고, 설계에 따라 사용자(390)의 전방에 배치된 유리창으로의 투사를 통해 허상이 맺히는 프로젝션 평면(350)을 형성하는 다양한 구성요소를 포함할 수도 있다.
본 명세서에서는 컨텐츠를 시각화하는 장치(310)가 차량에 장착된 예시를 중심으로 설명하지만, 이로 한정하는 것은 아니다. 예를 들어, 컨텐츠를 시각화하는 장치(310)는 증강현실 안경(AR glass, Augmented Reality glass) 및 혼합현실(MR, mixed reality) 등과 같이 현실과 가상의 정보를 결합시키는 기술에 적용될 수 있다.
일 실시예에 따른 컨텐츠를 시각화하는 장치(310)는, 컨텐츠(361)의 깊이를 조절함으로써, 헤드업 디스플레이(313)에 의해 형성되는 프로젝션 평면(350)의 위치 변경 없이도, 연속적인 깊이를 표현할 수 있다. 또한, 컨텐츠를 시각화하는 장치(310)는, 프로젝션 평면(350)의 위치를 변경할 필요가 없으므로, 헤드업 디스플레이(313)에 포함된 구성요소들에 대한 물리적인 조작을 요구하지 않는다. 컨텐츠를 시각화하는 장치(310)가 차량에 장착된 경우, 컨텐츠를 시각화하는 장치(310)는 운전자의 전방에 3차원 컨텐츠(361)를 동적으로 시각화할 수 있다.
또한, 컨텐츠를 시각화하는 장치(310)는 헤드업 디스플레이(313)를 통해 연속적인 깊이를 표현할 수 있고, 사용자(390)의 전방 수백 m 앞까지의 깊이를 가지는 컨텐츠(361)를 시각화할 수 있다. 다만, 사용자(390)와 깊이를 가지도록 시각화된 컨텐츠(361) 사이에 장애물(예를 들어, 건물 또는 오르막길에 의한 가림 등)이 존재할 경우, 컨텐츠(361)가 깊이감 있게 시각화된 3차원 그래픽 표현과 장애물 간의 중첩(overlap)이 발생할 수 있다. 이러한 중첩은 사용자(390)의 시각 피로를 유발하거나, 사용자(390)에게 부자연스러운 영상을 인지시키는 크로스토크(crosstalk)를 야기할 수 있다.
일 실시예에 따른 컨텐츠를 시각화하는 장치(310)는 보다 자연스럽게 시각화되도록 컨텐츠(361)를 조정할 수 있다. 컨텐츠를 시각화하는 장치(310)의 구체적인 동작은 아래에서 설명한다.
도 4 및 도 5는 일 실시예에 따른 컨텐츠를 시각화하는 방법을 설명하는 흐름도이다.
도 4는 컨텐츠를 시각화하는 방법의 개괄적인 흐름도를 도시한다.
우선, 단계(410)에서 컨텐츠를 시각화하는 장치는 추정된 전방 도로 영역에 기초하여 객체 배치 공간을 생성할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 센서에 의해 센싱된 데이터(예를 들어, 이미지 등)로부터 전방 도로 영역을 추정할 수 있다. 컨텐츠를 시각화하는 장치는 시야각에 대응하는 공간 내에서, 전방 도로 영역에 대응하는 공간을 객체 배치 공간으로 결정할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 사용자의 시야각 및 사용자의 시점(view point)로부터 장애물(obstacle)까지의 거리에 기초하여 객체 배치 공간을 생성할 수 있다. 컨텐츠를 시각화하는 장치는 장치 자신으로부터 장애물 사이의 공간을 객체 배치 공간으로 결정하고, 장애물 너머의 공간을 배제할 수 있다. 따라서, 컨텐츠를 시각화하는 장치는 사용자의 시야가 확보되는 공간까지만을 객체 배치 공간으로 결정할 수 있다.
그리고 단계(420)에서 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠의 지시 지점(indication point) 및 객체 배치 공간에 기초하여, 경로 안내 컨텐츠에 대한 표시 위치를 결정할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 지시 지점이 객체 배치 공간 내에 속하는 경우에 응답하여, 지시 지점을 표시 위치로 결정할 수 있다. 다른 예를 들어, 컨텐츠를 시각화하는 장치는 지시 지점이 객체 배치 공간의 바깥에 속하는 경우에 응답하여, 객체 배치 공간 내에서 지시 지점에 대응하는 지점을 표시 위치로 결정할 수 있다.
본 명세서에서 객체 배치 공간 내에서 지시 지점에 대응하는 지점은, 예를 들어, 사용자의 시선 축(예를 들어, 아이 박스의 중심으로부터 지시 지점을 향하는 축)이 객체 배치 공간의 한계면과 교차하는 지점일 수 있다. 다른 예를 들어, 표시 위치는, 지시 지점을 향하는 시선 축 상에 존재하는 지점들 중 객체 배치 공간 내의 지점일 수 있다. 표시 위치는 지시 지점을 향하는 시선 축 상에 존재하는 지점들 중 객체 배치 공간의 한계면으로부터 마진 거리(margin distance)만큼 가까운 지점일 수 있다. 마진 거리는 객체 배치 공간의 한계로 인해 그래픽 객체의 표현(representation)이 잘리는(cut) 것을 방지하기 위해 설정된 마진을 나타낼 수 있다.
이어서 단계(430)에서 컨텐츠를 시각화하는 장치는 결정된 표시 위치에 경로 안내 컨텐츠에 대응하는 그래픽 객체를 시각화할 수 있다. 따라서, 컨텐츠를 시각화하는 장치는 사용자에 의해 인식될 수 있는 공간인, 객체 배치 공간 내에서만 그래픽 객체를 시각화할 수 있다.
예를 들어, 컨텐츠를 시각화하는 장치는 표시 위치에 경로 안내 컨텐츠에 대응하는 그래픽 객체를 고정(fix)하여 시각화할 수 있다. 여기서, 그래픽 객체의 표시 위치는 임의의 평면 좌표로 고정될 수 있고, 컨텐츠를 시각화하는 장치가 표시 위치에 접근할수록, 컨텐츠를 시각화하는 장치는 그래픽 객체의 깊이를 점진적으로 감소시킬 수 있다. 따라서, 사용자는 표시 위치에 고정된 그래픽 객체에 접근하는 것을 인식할 수 있다. 다만, 이로 한정하는 것은 아니고, 컨텐츠를 시각화하는 장치는 표시 위치를 동적으로 조정함으로써, 장치 자신으로부터 그래픽 객체까지의 상대적 거리를 일정하게 유지하여 시각화할 수도 있다. 또한, 컨텐츠를 시각화하는 장치는 표시 위치를 동적으로 조정함으로써 애니메이션 효과를 줄 수도 있는데, 이러한 시각적 효과의 구현은 아래 도 17, 도 20, 및 도 23에서 상세히 설명한다.
참고로, 본 명세서에서 위치는 절대 좌표 위치를 나타낼 수 있다. 컨텐츠를 시각화하는 장치를 기준으로 하는 상대적 좌표는 상대적 위치라고 나타낼 수 있다.
도 5는 컨텐츠를 시각화하는 방법을 보다 상세하게 설명한 흐름도이다.
우선, 단계(501)에서 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠를 획득할 수 있다. 컨텐츠를 시각화하는 장치는 목적지까지의 경로에 기초하여, 경로 안내 정보를 생성하고, 생성된 경로 안내 정보에 기초하여 경로 안내 컨텐츠를 생성할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는, 경로 안내 정보에 포함된 임의의 지시 지점과의 거리가 임계 거리 미만인 경우에 응답하여, 해당 지시 지점에 대응하는 경로 안내 컨텐츠를 생성할 수 있다.
그리고 단계(510)에서 컨텐츠를 시각화하는 장치는 경로 안내 정보 및 추정된 전방 도로 영역에 기초하여 객체 배치 공간을 생성할 수 있다. 예를 들어 컨텐츠를 시각화하는 장치는 경로 안내 정보로부터 전방 도로가 오르막길(uphill)인 지, 및 내리막길(downhill)인 지 여부를 결정할 수 있다. 오르막길로 결정된 경우에 응답하여, 컨텐츠를 시각화하는 장치는 오르막길과의 도로면 및 객체 배치 공간의 교차면에 기초하여 객체 배치 공간을 제한할 수 있다. 더 나아가 컨텐츠를 시각화하는 장치는 깊이 센서에 의해 검출된 도로면 또는 이미지 데이터로부터 추정된 도로면 등에 기초하여 객체 배치 공간을 제한할 수도 있다. 또한, 컨텐츠를 시각화하는 장치는 경로 안내 정보에 의해 지시되는 안내 경로에 기초하여 장치 자신이 진행할 것으로 예측되는 주행 예정 영역을 결정할 수 있다. 경로 안내 정보가 교차로에서 우회전을 지시하는 경우, 주행 예정 영역은 우회전에 대응하는 영역을 포함할 수 있고, 좌회전에 대응하는 영역을 배제할 수 있다. 컨텐츠를 시각화하는 장치는 시야각에 대응하는 공간 중 전방 도로 영역 중에서 주행 예정 영역에 대응하는 공간을 상술한 객체 배치 공간으로 결정할 수 있다. 따라서, 사용자의 시선이 주로 주행 예정 영역을 향하게 될 것이므로, 컨텐츠를 시각화하는 장치는 사용자의 시선이 포커싱되는 영역을 객체 배치 공간으로 생성할 수 있다. 다만, 이로 한정하는 것은 아니고, 컨텐츠를 시각화하는 장치는 경로 안내 정보와 무관하게 객체 배치 공간을 생성할 수도 있다.
이어서 단계(521)에서 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠의 표시 위치를 결정할 수 있다. 예를 들어, 경로 안내 컨텐츠의 지시 지점이 객체 배치 공간 내인 경우, 컨텐츠를 시각화하는 장치는 해당 지시 지점을 경로 안내 컨텐츠의 표시 위치로 결정할 수 있다. 다른 예를 들어, 컨텐츠를 시각화하는 장치는 지시 지점이 객체 배치 공간을 벗어나는 경우에 응답하여, 표시 위치를 객체 배치 공간 내의 위치로 결정할 수 있다. 이 때, 컨텐츠를 시각화하는 장치는 사용자로부터 표시 위치까지의 거리가 객체 배치 공간의 최대 거리보다 먼 경우에 응답하여, 표시 위치를 객체 배치 공간 내로 업데이트할 수 있다. 컨텐츠를 시각화하는 장치는 표시 위치의 깊이만 조정(예를 들어, 감소)하고 나머지 좌표(예를 들어, 높이 등)를 유지함으로써 객체 배치 공간 내의 위치를 표시 위치로 결정할 수 있다.
그리고 단계(522)에서 컨텐츠를 시각화하는 장치는 컨텐츠 움직임 궤적을 결정할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 사용자의 시야각 및 차량의 차체에 기초하여 컨텐츠 움직임 궤적(content movement trajectory)를 결정할 수 있다. 컨텐츠 움직임 궤적은, 예를 들어, 도로면으로부터 차체의 전방 테두리(front edge)를 거쳐 사용자의 눈에 대응하는 영역(예를 들어, 아이 박스)에 도달하는 궤적을 나타낼 수 있다. 컨텐츠 움직임 궤적은 표시 위치 및 컨텐츠를 시각화하는 장치 간의 거리에 따른 그래픽 객체의 높이를 정의할 수 있다. 컨텐츠 움직임 궤적은 하기 도 14에서 상세히 설명한다.
이어서 단계(530)에서 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠에 대응하는 그래픽 객체를 생성 및 시각화할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 고정된 표시 위치에 그래픽 객체를 시각화하거나, 움직이는 표시 위치를 따라 그래픽 객체를 시각화할 수도 있다. 또한, 컨텐츠를 시각화하는 장치는 컨텐츠 움직임 궤적에 따라 결정된 높이로 그래픽 객체를 시각화할 수 있다. 컨텐츠 움직임 궤적은 사용자의 시야각에 피팅되어 결정된 궤적이므로, 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠에 대한 표시 위치가 근접하여도 안정적으로 그래픽 객체를 사용자에게 제공할 수 있다.
그리고 단계(540)에서 컨텐츠를 시각화하는 장치는 주행 관련 정보에 대응하는 그래픽 객체를 결정 및 시각화할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠 외의 부가적인 정보에 대한 그래픽 객체를 시각화할 수도 있다. 컨텐츠를 시각화하는 장치는 주행 관련 정보에 대응하는 그래픽 객체를 객체 배치 공간에서 사용자에 인접한 구석 공간(예를 들어, 프로젝션 평면의 하단부 등)에 시각화할 수도 있다.
도 6은 일 실시예에 따른 경로 안내 컨텐츠를 획득하는 방법을 설명하는 흐름도이다.
우선, 단계(601)에서 컨텐츠를 시각화하는 장치는 사용자로부터 목적지를 수신할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 사용자 입력에 응답하여, 사용자가 원하는 목적지를 획득할 수 있다. 목적지는 예를 들어, 임의의 지리적 위치일 수 있다.
그리고 단계(602)에서 컨텐츠를 시각화하는 장치는 센서에 기반하여 주변 거리 맵을 생성할 수 있다. 주변 거리 맵은 컨텐츠를 시각화하는 장치를 중심으로 주변에 존재하는 타겟 지점(예를 들어, 장애물 등)까지의 거리를 지시하는 맵일 수 있다. 컨텐츠를 시각화하는 장치는 컬러 이미지, 깊이 이미지, 및 라이다 데이터(LiDAR data, Light Detection and Ranging data) 등에 기초하여 주변 거리 맵을 생성할 수 있다.
이어서 단계(603)에서 컨텐츠를 시각화하는 장치는 수신된 목적지까지의 안내 경로를 산출할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 차량이 주행할 수 있는 차로에 기반하여, 현재 위치로부터 목적지까지의 안내 경로를 결정할 수 있다.
그리고 단계(604)에서 컨텐츠를 시각화하는 장치는 산출된 안내 경로에 따른 경로 안내 컨텐츠를 획득할 수 있다. 예를 들어, 여러 안내 지점들(예를 들어, 갈림길)에서 상술한 단계(603)에서 산출된 안내 경로를 진행하기 위한 지시가 사용자에게 제공될 수 있다. 컨텐츠를 시각화하는 장치는 해당 안내 경로에 따라 복수의 지시 지점들에 대한 경로 안내 컨텐츠들을 획득할 수 있다.
도 7은 일 실시예에 따른 표시 위치 결정 및 그래픽 객체 시각화를 설명하는 흐름도이다.
우선, 단계(721)에서 컨텐츠를 시각화하는 장치는 맵 데이터가 HD 맵인 지 여부를 판단할 수 있다. HD 맵은 상술한 바와 같이, 차로의 개수 등과 같은 정밀한 정보를 포함하는 맵 데이터를 나타낼 수 있다.
그리고 컨텐츠를 시각화하는 장치는 맵 데이터가 HD 맵인 경우에 응답하여, 경로 안내 컨텐츠를 시각화할 표시 위치를 결정할 수 있다. 예를 들어, 단계(722)에서 지시 지점이 객체 배치 공간의 바깥인 지 여부를 결정할 수 있다. 단계(723)에서 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠의 지시 지점이 객체 배치 공간의 바깥인 경우에 응답하여, 경로 안내 컨텐츠의 표시 위치를 객체 배치 공간 내부로 조정할 수 있다. 예를 들어, 상술한 바와 같이, 컨텐츠를 시각화하는 장치는 지시 지점에 대한 시선 축 상에 존재하는 지점들 중 객체 배치 공간 내의 지점을 표시 위치로 결정할 수 있다. 컨텐츠를 시각화하는 장치는 지시 지점이 경로 배치 공간의 안쪽인 경우에 응답하여, 경로 안내 컨텐츠의 지시 지점을 표시 위치로 결정할 수 있다.
이어서 단계(724)에서 컨텐츠를 시각화하는 장치는 맵 데이터가 HD 맵이 아닌 경우에 응답하여, 프로젝션 평면의 가운데를 표시 위치로 결정할 수 있다. 맵 데이터가 SD 맵인 경우 객체 배치 공간을 물리적 세계에 정확하게 피팅하는 것이 어려울 수 있으므로, 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠의 표시 위치를 임의로 결정할 수 있다. 다만, 이로 한정하는 것은 아니고, 맵 데이터와 무관하게 컨텐츠를 시각화하는 장치는 객체 배치 공간 내로 경로 안내 컨텐츠의 표시 위치를 결정할 수도 있다.
그리고 단계(731)에서 컨텐츠를 시각화하는 장치는 경로 지시 컨텐츠의 투명도를 거리에 따라 결정할 수 있다. 경로 지시 컨텐츠는 예를 들어, 경로 지시선으로서 현재 위치로부터 목적지까지의 안내 경로를 지시하는 선을 나타낼 수 있다. 경로 지시 컨텐츠는 예를 들어, 차량의 중심점(center point)이 통과할 것으로 예측되는 지점들의 집합일 수 있다. 예를 들어, 직진 구간에서 경로 지시 컨텐츠는 차로의 중심을 통과하는 지시선일 수 있다. 방향 전환 구간(예를 들어, 우회전 또는 좌회전 구간 등)에서 경로 지시 컨텐츠는 방향 전환 구간의 진입 차로의 중심 및 진출 차로의 중심을 통과하는 곡선 형태의 지시선일 수 있다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는 경로 지시 컨텐츠에서 경로 배치 공간의 경계면에 인접한 부분에 대해 높은 투명도를 할당할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 경로 배치 공간에 인접할수록 경로 지시 컨텐츠의 투명도를 증가시킴으로써 경로 지시 컨텐츠의 종단(end)을 페이드아웃(fade out)시킬 수 있다. 따라서 컨텐츠를 시각화하는 장치는 경로 지시 컨텐츠를 자연스럽게 실제 세계와 융화시킬 수 있다.
이어서 단계(732)에서 컨텐츠를 시각화하는 장치는 그림자 객체를 시각화할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠에 대응하는 그래픽 객체의 하단에 그림자 객체를 표현(represent)함으로써, 해당 그래픽 객체의 현실감을 개선할 수 있다. 그림자 객체의 시각화는 하기 도 24에서 상세히 설명한다.
도 8 내지 도 10은 일 실시예에 따라 객체 배치 공간 내부로 결정된 표시 위치를 가지는 그래픽 객체를 설명하는 도면이다.
도 8은 컨텐츠를 시각화하는 장치가 차량(890)에 탑재된 예시를 도시한 측면도이다.
컨텐츠를 시각화하는 장치는 객체 배치 공간(810) 내에 경로 안내 컨텐츠의 표시 위치를 결정할 수 있다. 일 실시예에 따르면 컨텐츠를 시각화하는 장치는 차량(890)의 주변에 대해 추정된 도로 영역에 기초하여, 도로 영역의 도로면(809)에 객체 배치 공간(810)의 바닥이 피팅되도록 객체 배치 공간(810)을 생성할 수 있다. 컨텐츠를 시각화하는 장치는 도로면(809) 및 시야각에 대응하는 공간이 교차하는 부분부터 최대 거리까지, 객체 배치 공간(810)의 바닥을 도로면(809)에 피팅시킬 수 있다.
컨텐츠를 시각화하는 장치는 객체 배치 공간(810)의 바닥에 경로 안내 컨텐츠에 대응하는 그래픽 객체(820)를 시각화할 수 있다. 객체 배치 공간(810)은 사용자의 시야(811)가 확보된 공간이므로, 사용자는 그래픽 객체(820)를 응시할 수 있다.
도 9는 오르막길을 진행하는 차량(990)에 대한 그래픽 객체의 표시 위치를 설명하는 측면도이다.
예를 들어, 컨텐츠를 시각화하는 장치가 오르막길에 진입하는 경우, 경로 안내 컨텐츠의 지시 지점이 차량(990)을 기준으로 도로면(909)보다 먼 위치일 수 있다. 도로면(909)보다 먼 위치에 시각화된 그래픽 객체(921)는, 그보다 가까운 도로면(909)에 의해 가려지므로 사용자에게 크로스토크를 유발할 수 있다. 수평 거리는 유지하면서 도로면(909)보다 높은 위치에 시각화된 그래픽 객체(922)는 사용자의 시야각을 벗어나므로, 사용자는 해당 그래픽 객체(922)를 관측할 수 없다.
일 실시예에 따른, 컨텐츠를 시각화하는 장치는 도로 정보 및 시야 정보에 기초하여 객체 배치 공간(910)을 생성함으로써, 객체 배치 공간(910)을 도로면(909)에 피팅시킬 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 지시 지점의 높이가 객체 배치 공간(910)의 바닥(bottom)보다 낮은 경우에 응답하여, 표시 위치의 높이를 객체 배치 공간(910)의 바닥에 피팅(fitting)할 수 있다. 컨텐츠를 시각화하는 장치는 객체 배치 공간(910)의 바닥 상에 경로 안내 컨텐츠에 대응하는 그래픽 객체(923)를 시각화할 수 있다. 따라서 컨텐츠를 시각화하는 장치는 오르막길과 같은 장애물에 의해 지시 지점이 가려지더라도, 그 앞의 지점을 표시 위치로 결정함으로써 사용자에게 경로 안내 컨텐츠를 안정적으로 제공할 수 있다.
도 10은 도 9에서 설명된 오르막길에서의 객체 배치 공간을 투시도(perspective view)로 도시한 도면이다. 객체 배치 공간은 차량의 윈드 쉴드 글래스(1090) 너머의 사용자의 시야에 대응하는 공간(1010)으로부터 결정될 수 있다. 시야에 대응하는 공간(1010)은 도 10에 도시된 바와 같이 사각 뿔 형태의 공간일 수 있다.
예를 들어, 컨텐츠를 시각화하는 장치는 시야에 대응하는 공간(1010) 및 도로면(1009)이 교차하는 교차면(1015)(intersection face)을 결정할 수 있다. 교차면(1015)은 예를 들어, 원거리 클리핑 평면(far clipping plane)이라고도 나타낼 수 있다. 컨텐츠를 시각화하는 장치는 교차면(1015)을 객체 배치 공간의 경계면으로 결정할 수 있다. 컨텐츠를 시각화하는 장치는 상술한 바와 같이 결정된 경계면 상에 경로 안내 컨텐츠(1020)의 표시 위치를 결정함으로써, 도로면(1009)에 피팅된 그래픽 객체를 시각화할 수 있다. 또한, 컨텐츠를 시각화하는 장치는 경로 지시선(1030)를 객체 배치 공간의 바닥면(예를 들어, 경계면)에 피팅하여 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 프로젝션 평면에 인접한 공간에 주행 관련 정보(1040)를 시각화할 수 있다.
오르막길에서는 객체 배치 공간(1010)의 경계면이 도로면에 의해 제한됨으로써, 객체가 배치될 수 있는 거리도 감소될 수 있다. 예를 들어, 도 10에서는 객체 배치 공간(1010)의 시각화 가능한 최대 거리가 40m로 감소될 수 있다.
도 11 및 도 12는 일 실시예에 따라 지시 지점이 가려지는 경우 경로 안내 컨텐츠에 대응하는 그래픽 객체의 표시 위치를 결정하는 동작을 설명하는 도면이다.
도 11은 지시 지점에 대한 사용자의 시야가 가려지는 상황을 도시한 조감도이다.
제1 시점(1101)에서 컨텐츠를 시각화하는 장치는 지시 지점에 시각화된 경로 안내 컨텐츠(1121)에 사용자의 시선이 도달할 수 있는지 여부를 판단할 수 있다. 컨텐츠를 시각화하는 장치는 차량(1190)으로부터 지시 지점에 대응하는 경로 안내 컨텐츠(1121) 사이에 장애물(1180)이 존재하는 경우, 시야가 가려진 것으로 결정할 수 있다.
제2 시점(1102)에서 컨텐츠를 시각화하는 장치는 장애물에 기초하여 객체 배치 공간(1110)을 재생성할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 장애물에 의해 가려지는 면을 객체 배치 공간의 경계면으로 결정할 수 있다. 컨텐츠를 시각화하는 장치는 차량(1190)으로부터 지시 지점을 향하는 시선 축을 따라 경계면에 인접한 객체 배치 공간 내부의 지점을 표시 위치로 결정할 수 있다. 컨텐츠를 시각화하는 장치는 결정된 표시 위치에 경로 안내 컨텐츠(1122)에 대응하는 그래픽 객체를 시각화할 수 있다.
제3 시점(1103)에서 컨텐츠를 시각화하는 장치는 지시 지점에 대한 시야가 확보된 경우에 응답하여, 지시 지점에 경로 안내 컨텐츠(1123)에 대응하는 그래픽 객체를 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 차선 변경 지점, 우회로 지점, 및 사거리 진입 지점들과 같이 운전자가 가고자 하는 장소에 미리 그래픽 객체를 배치하여, 해당 장소를 미리 알려줄 수 있다.
도 12는 지시 지점 및 표시 위치가 다른 경우의 시각화 동작을 설명하기 위한 조감도를 도시한다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는 지시 지점 및 표시 위치가 다른 경우에 응답하여, 표시 위치에 대응하는 임시 안내 컨텐츠(temporary)를 획득할 수 있다. 컨텐츠를 시각화하는 장치는 객체 배치 공간이 지시 지점을 포함할 때까지 임시 안내 컨텐츠에 대응하는 그래픽 객체를 표시 위치에 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 임시 안내 컨텐츠에 대응하는 그래픽 객체의 표시 위치를 장치의 이동에 따라 변경함으로써, 해당 장치로부터 그래픽 객체까지의 상대적 거리를 유지할 수 있다.
예를 들어, 제1 시점(1201)에서 차량(1290)으로부터 지시 지점까지의 시야가 확보되지 않을 수 있다. 컨텐츠를 시각화하는 장치는 지시 지점과 표시 위치가 다르므로, 장애물에 의해 제한되는 객체 배치 공간을 생성할 수 있다. 컨텐츠를 시각화하는 장치는 객체 배치 공간 내로 표시 위치를 결정할 수 있다. 도 12에서 차량(1290)은 교차로에서 우회전하여야 하지만, 제1 시점(1201)에서 결정된 표시 위치는 직진 도로이므로, 컨텐츠를 시각화하는 장치는 직진하라는 임시 안내 컨텐츠(1221)를 획득할 수 있다. 컨텐츠를 시각화하는 장치는 임시 안내 컨텐츠(1221)의 표시 위치를 경로 지시선 상의 지점으로 결정할 수 있다. 다만, 이로 한정하는 것은 아니다.
제2 시점(1202)에서도 여전히 차량(1290)으로부터 지시 지점까지의 시야가 확보되지 않을 수 있다. 컨텐츠를 시각화하는 장치는 이전 제1 시점(1201)에서 생성된 임시 안내 컨텐츠를 차량(1290)으로부터의 거리를 유지하면서 시각화할 수 있다.
제3 시점(1203)에서 차량(1290)으로부터 지시 지점까지의 시야가 확보될 수 있다. 다만, 컨텐츠를 시각화하는 장치는 그래픽 객체를 시각화하던 도중 표시 위치가 변경된 경우에 응답하여, 그래픽 객체를 이전 표시 위치로부터 변경된 표시 위치까지 점진적으로(gradually) 변경하면서 시각화할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 이전 표시 위치로부터 다음 표시 위치까지, 임시 안내 컨텐츠(1221)를 점진적으로 이동시킬 수 있다. 또한, 컨텐츠를 시각화하는 장치는 임시 안내 컨텐츠(1221)로부터 중간 컨텐츠(intermediate content)(1222)를 거쳐 경로 안내 컨텐츠(1223)에 대응하는 그래픽 객체로 점진적으로 변형할 수 있다.
본 명세서에서 그래픽 객체의 점진적인 변형, 표시 위치의 점진적인 변경(예를 들어, 이동)은 연속적으로 수행될 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 지정된 프레임 레이트(예를 들어, 30fps, 60fps, 및 120fps 등)로 각 프레임에 따라 점진적으로 변형 또는 이동된 그래픽 객체를 자연스럽게 시각화할 수 있다.
제4 시점(1204)에서 컨텐츠를 시각화하는 장치는 지시 지점에 경로 안내 컨텐츠(1223)에 대응하는 그래픽 객체를 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 차량(1290)이 지시 지점에 도달할 때까지, 경로 안내 컨텐츠(1223)를 지시 지점에 고정하여 시각화할 수 있다. 제4 시점(1204)에서 컨텐츠를 시각화하는 장치는 변형이 완료된 그래픽 객체를 시각화할 수 있다.
도 13 및 도 14는 일 실시예에 따른 컨텐츠 움직임 궤적에 기초한 경로 안내 컨텐츠의 시각화를 설명하는 도면이다.
우선, 도 5의 단계(522)에서 설명한 것처럼 컨텐츠를 시각화하는 장치는 사용자의 시야각 및 차량(1490)의 차체에 기초하여 컨텐츠 움직임 궤적(1419)(content movement trajectory)을 결정할 수 있다.
그리고, 단계(1321)에서 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠가 시야각 및 차체에 의해 가려지는 지 여부를 판단할 수 있다. 예를 들어, 차량(1490)과 지시 지점 간의 거리가 임계 거리 미만인 경우, 차량(1490)의 차체(예를 들어, 본넷)에 의해 경로 안내 컨텐츠가 가려질 수 있다. 컨텐츠를 시각화하는 장치는 지시 지점 및 현재 위치 간의 거리가 임계 거리 미만인 경우, 경로 안내 컨텐츠가 가려진 것으로 결정할 수 있다.
이어서 단계(1322)에서 경로 안내 컨텐츠가 가려지는 경우에 응답하여, 컨텐츠를 시각화하는 장치는 차체 및 컨텐츠 움직임 궤적(1419)에 기초하여 경로 안내 컨텐츠의 높이를 조정할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 해당 장치가 장착된 차량(1490)의 차체(body) 및 사용자의 시야각(FOV, field of view)에 기초하여 객체 배치 공간을 생성할 수 있다. 컨텐츠를 시각화하는 장치는 이렇게 생성된 객체 배치 공간 내에서 그래픽 객체의 자연스러운 높이 변경을 위한 컨텐츠 움직임 궤적(1419)을 추가로 활용할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 해당 장치가 지시 지점에 접근하는 경우에 응답하여, 컨텐츠 움직임 궤적(1419)에 기초하여 그래픽 객체의 높이를 조정함으로써 그래픽 객체를 시각화할 수 있다.
도 14에 도시된 바와 같이, 차량(1490)이 지시 지점에 시각화된 그래픽 객체(1421)에 접근할 수 있고, 컨텐츠를 시각화하는 장치는 접근에 따라 컨텐츠 움직임 궤적(1419)에 기초하여 결정된 높이로 시각화된 그래픽 객체(1422)를 사용자에게 제공할 수 있다. 컨텐츠 움직임 궤적(1419)은 장치로부터 임계 거리 이상인 영역에 대해서는 도로면에 높이가 피팅된 궤적을 나타내고, 임계 거리 미만인 영역에 대해서는 도로면으로부터 차체의 전방 테두리를 거쳐 사용자의 눈에 대응하는 영역에 도달하는 궤적을 나타낼 수 있다.
도 15는 일 실시예에 따른 컨텐츠를 시각화하는 장치가 오르막길에 진입 및 진출하는 동안 경로 안내 컨텐츠의 표시 위치를 결정하는 예시를 설명하는 도면이다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는 표시 지점에 경로 안내 컨텐츠를 시각화한 후, 해당 표시 지점에 장치가 도달할 때까지 표시 위치를 고정할 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 컨텐츠를 시각화하는 장치는 객체 배치 공간 내에 제1 컨텐츠(1521)를 시각화할 수 있고, 제1 컨텐츠(1521)에 도달할 때까지 제1 컨텐츠(1521)의 위치를 유지할 수 있다. 따라서, 사용자는 장치가 제1 컨텐츠(1521)에 접근하는 것으로 인식할 수 있다.
컨텐츠를 시각화하는 장치는 해당 장치가 현재 경로 안내 컨텐츠에 대한 현재 표시 지점에 도달한 경우에 응답하여, 다음 경로 안내 컨텐츠에 대한 다음 표시 위치를 결정할 수 있다. 컨텐츠를 시각화하는 장치는 다음 표시 위치에 다음 경로 안내 컨텐츠에 대응하는 그래픽 객체를 시각화할 수 있다. 예를 들어, 도 15에 도시된 바와 같이 컨텐츠를 시각화하는 장치는 제1 컨텐츠(1521)에 대응하는 지점에 도달한 경우, 제2 컨텐츠(1522)를 시각화할 수 있다.
오르막길에서는 시야가 제한되므로, 제2 컨텐츠(1522)는 차량(1590)에 가까운 위에 시각화될 수 있다. 컨텐츠를 시각화하는 장치는 제2 컨텐츠(1522)에 도달하는 경우에 응답하여 제3 컨텐츠(1523)를 시각화할 수 있다. 도 15에 도시된 바와 같이 오르막길의 진입시에는 시야가 제한되므로 객체 배치 공간이 작게 생성될 수 있다. 오르막길에 진입한 후에는 컨텐츠를 시각화하는 장치는 평지에서와 유사한 거리에 제4 컨텐츠(1524)를 시각화할 수 있다.
일 실시예에 따른 사용자의 시야에 대응하는 공간 및 도로면이 교차하지 않는 경우에 응답하여, 표시 위치의 높이를 객체 배치 공간의 바닥에 피팅할 수 있다. 예를 들어, 도 15에서 차량(1590)이 오르막길로부터 진출할 시, 객체 배치 공간의 바닥면이 도로면으로부터 이격될 수 있다. 즉, 사용자의 시야에 도로면이 보이지 않을 수 있다. 컨텐츠를 시각화하는 장치는 제5 컨텐츠(1525)를 도로면에 피팅하는 대신, 객체 배치 공간의 바닥면에 피팅하여 시각화할 수 있다.
도 15는 오르막길을 설명하였으나, 내리막길에서도 컨텐츠를 시각화하는 장치는 유사한 방식으로 경로 안내 컨텐츠를 시각화할 수 있다. 예를 들어, 오르막길의 진입은 내리막길의 진출에 대응할 수 있고, 오르막길의 진출은 내리막길의 진입에 대응할 수 있다.
도 16은 일 실시예에 따른 컨텐츠 시각화 방법을 설명하는 흐름도이다.
우선, 단계(1621)에서 컨텐츠를 시각화하는 장치는 차량의 속도가 고속인 지 여부를 판단할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 차량의 속도가 임계 속도를 초과하는지 여부를 판단할 수 있다.
그리고 단계(1622)에서 컨텐츠를 시각화하는 장치는 차량의 속도가 고속인 경우에 응답하여, 그래픽 객체를 먼 위치(예를 들어, 제2 위치)에 시각화할 수 있다. 차량의 속도가 고속인 경우, 운전자가 먼 위치를 응시하고 있을 것으로 예상되므로, 컨텐츠를 시각화하는 장치는 운전자의 시선에 대응하는 위치를 표시 위치로 결정할 수 있다. 제2 위치는 예를 들어, 50m일 수 있으나 이로 한정하는 것은 아니다.
이어서 단계(1623)에서 컨텐츠를 시각화하는 장치는 차량의 속도가 고속이 아닌 경우에 응답하여, 그래픽 객체를 가까운 위치(예를 들어, 제1 위치)에 시각화할 수 있다. 차량의 속도가 저속인 경우 운전자가 비교적 가까운 위치를 응시하고 있을 것으로 예상되므로, 컨텐츠를 시각화하는 장치는 운전자의 시선에 대응하는 위치를 표시 위치로 결정할 수 있다. 제1 위치는 예를 들어, 15m일 수 있으나, 이로 한정하는 것은 아니다.
다만, 속도를 2단계로 구분하였으나, 이로 한정하는 것은 아니다. 예를 컨텐츠를 시각화하는 장치는 차량의 속도를 n개의 속도 구간 중 한 속도 구간으로 분류할 수 있고, 분류된 속도 구간에 대응하는 표시 위치에 그래픽 객체를 시각화할 수 있다. 여기서, n은 1이상의 정수일 수 있다.
그리고 단계(1624)에서 컨텐츠를 시각화하는 장치는 차로 변경이 요구되는 지 여부를 결정할 수 있다. 컨텐츠를 시각화하는 장치는 경로 안내 정보에 기초하여, 차로를 변경해야하는지 여부를 결정할 수 있다. 예를 들어, 방향 전환(예를 들어, 좌회전 또는 우회전 등)을 해야 하는데 현재 차량이 방향 전환이 불가능한 차로인 경우, 컨텐츠를 시각화하는 장치는 방향 전환이 가능한 차로로 변경해야 하는 것으로 결정할 수 있다.
이어서 단계(1625)에서 컨텐츠를 시각화하는 장치는 차로 변경이 요구되는 경우에 응답하여, 그래픽 객체를 동적으로 시각화할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 장치로부터 지시 지점까지 그래픽 객체를 이동시키는 연속적인 궤적을 시각화함으로써, 운전자의 액션을 유도할 수 있다.
다만, 그래픽 객체의 동적 시각화를 차로 변경 이벤트로 한정하는 것은 아니다. 컨텐츠를 시각화하는 장치는 사용자의 능동적인 액션이 요구되는 이벤트(예를 들어, 방향 전환, 차로 변경 등)가 검출되는 경우에 응답하여, 경로 안내 컨텐츠에 대응하는 그래픽 객체를 동적으로 시각화할 수 있다. 그래픽 객체의 동적 시각화는, 경로 지시선을 따라 장치의 현재 위치로부터 지시 지점까지 표시 위치를 반복적으로 이동시키면서 연속적으로 시각화하는 동작을 포함할 수 있다. 동적 시각화는 하기 도 20에서 설명한다.
그리고 단계(1626)에서 컨텐츠를 시각화하는 장치는 지시 지점에 근접하는 경우에 응답하여, 그래픽 객체를 지시 지점에 고정하여 시각화할 수 있다. 예를 들어 컨텐츠를 시각화하는 장치는 지시 지점 및 장치의 위치 간의 거리가 지시 요구 거리(indication required distance)보다 작은 경우에 응답하여, 지시 지점에 경로 안내 컨텐츠를 시각화할 수 있다. 지시 지점이 객체 배치 공간 바깥인 경우, 컨텐츠를 시각화하는 장치는 객체 배치 공간 내의 표시 지점을 새로 결정하여 표시 지점에 그래픽 객체를 시각화할 수 있다. 안내 경로에 포함되는 무수히 많은 지시를 한꺼번에 제공할 수는 없으므로, 컨텐츠를 시각화하는 장치는 지시가 요구되는 거리에 근접하면 그에 대응하는 경로 안내 컨텐츠를 제공할 수 있다. 목적지까지 모든 정보가 한번에 많이 제공될 경우, 해당 정보에 대응하는 그래픽 객체들이 운전을 방해할 수 있기 때문이다.
이어서 단계(1628)에서 컨텐츠를 시각화하는 장치는 경로 지시선을 점선으로 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 경로 지시 컨텐츠를 일정한 간격의 점을 표시함으로써, 사용자에게 거리를 인식시킬 수 있다. 경로 지시선의 시각화는 하기 도 18에서 설명한다.
그리고 단계(1629)에서 컨텐츠를 시각화하는 장치는 목적지에 도달하였는지 여부를 결정할 수 있다. 컨텐츠를 시각화하는 장치는 목적지에 도달한 경우 경로 안내와 연관된 동작을 종료할 수 있다. 컨텐츠를 시각화하는 장치는 목적지에 도달하지 못한 경우에 응답하여 단계(510)을 수행할 수 있다.
또한, 일 실시예에 따른 컨텐츠를 시각화하는 장치는 안내 경로를 차량이 벗어나는 경우에 응답하여, 우회로를 산출하고 그에 대응하는 경로 지시선을 시각화할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 운전자의 실수에 의해 안내 경로를 벗어난 경우, 경로 안내 컨텐츠 및 경로 지시 컨텐츠를 이용하여 우회로를 미리 시각화함으로써, 새로운 길을 운전자에게 제시할 수 있다.
도 17은 일 실시예에 따른 컨텐츠를 시각화하는 장치가 시야 확보에 따라 경로 안내 컨텐츠의 위치를 변경하고 그래픽 객체를 변형하는 동작을 설명하는 예시이다.
도 16에서 상술한 단계들(1626, 1627)에서 컨텐츠를 시각화하는 장치는 지시 지점에 근접하는 경우에 응답하여 지시 지점에 경로 안내 컨텐츠에 대응하는 그래픽 객체를 시각화할 수 있다.
제1 시점(1701)에서 컨텐츠를 시각화하는 장치는 지시 지점까지의 거리가 지시 요구 거리 미만인 지 여부를 결정할 수 있다. 또한, 컨텐츠를 시각화하는 장치는 지시 지점이 객체 배치 공간에 포함되는지 여부를 판단할 수 있다. 지시 요구 거리는 예를 들어, 객체 배치 공간의 최대 거리일 수 있으나, 이로 한정하는 것은 아니다. 컨텐츠를 시각화하는 장치는 지시 지점이 객체 배치 공간에 포함되는 것으로 결정된 경우에 응답하여 제1 경로 안내 컨텐츠(1721)를 시각화할 수 있다.
컨텐츠를 시각화하는 장치는 제1 시점(1701)의 제1 경로 안내 컨텐츠(1721)를 이동시킴으로써 제2 시점(1702)에서 제2 경로 안내 컨텐츠(1722)를 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 제2 경로 안내 컨텐츠(1722)를 이동시킴으로써 제3 시점(1703)에서 제3 경로 안내 컨텐츠(1723)를 시각화할 수 있다. 그리고 컨텐츠를 시각화하는 장치는 제4 시점(1704)에서 지시 지점에 제4 경로 안내 컨텐츠(1724)를 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 제1 경로 안내 컨텐츠(1721)로부터 제4 경로 안내 컨텐츠(1724)로 매 프레임마다 그래픽 객체의 형태를 점진적으로 변형할 수 있다. 또한, 컨텐츠를 시각화하는 장치는 경로 지시선을 따라 매 프레임마다 이동된 제1 경로 안내 컨텐츠(1721) 내지 제4 경로 안내 컨텐츠(1724)를 시각화함으로써, 경로 안내 컨텐츠가 변형되면서 이동되는 것을 시각화할 수 있다. 따라서, 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠의 이동을 통해 장치가 진행해야 하는 경로를 사용자에게 유도할 수 있고, 액션이 수행되어야 하는 지점(예를 들어, 방향 전환 지점)을 안내할 수 있다.
도 18은 일 실시예에 따른 경로 지시선에 대응하는 그래픽 객체를 설명하는 도면이다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠로서 경로 지시선(1820)을 시각화할 수 있다. 경로 지시선(1820)을 상술한 바와 같이 차량이 주행해야 하는 안내 경로를 지시하는 선으로서, 예를 들어, 차로의 중심선에 대응할 수 있다. 경로 안내 컨텐츠는, 안내 경로(guided path)를 따라 배치된 복수의 포인트 객체(1821)들(point objects)을 포함하는 경로 지시선(1820)(path indicating line)을 포함할 수 있다. 복수의 포인트 객체(1821)들의 각각은, 서로에 대해 단위 간격(unit interval)으로 이격될 수 있다. 단위 간격은 예를 들어, 1m일 수 있으나, 이로 한정하는 것은 아니다. 예를 들어, 가까운 거리(예를 들어, 차량으로부터 30m 이내의 거리)에 대해서는 단위 간격이 1m로 설정될 수 있고, 먼 거리(예를 들어, 차량으로부터 60m 이상의 거리)에 대해서는 단위 간격이 10m로 설정될 수 있다. 단위 간격은 사용자의 시각적 인지력을 강화할 수 있다.
컨텐츠를 시각화하는 장치는 등간격으로 배치된 포인트 객체(1821)를 통해 사용자에게 주변 장애물까지의 거리 정보를 직관적으로 제공할 수 있다. 포인트 객체(1821)는 도 18에서 원형으로 도시되었으나, 이로 한정하는 것은 아니고, 포인트 객체(1821)의 크기 및 형태는 한정되지 않는다.
또한, 컨텐츠를 시각화하는 장치는 객체 배치 공간의 최대 거리로부터 그래픽 객체까지의 거리에 기초하여, 그래픽 객체의 투명도를 결정할 수 있다. 투명도는 알파 블렌딩(alpha blending)에 기초하여 결정될 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 경로 지시선(1820)에서 장치로부터 먼 일단(1840)(distal end portion)의 투명도를 장치로부터 멀수록 점진적으로 증가시킬 수 있다. 컨텐츠를 시각화하는 장치는 경로 지시선(1820)에서 객체 배치 공간의 경계면에 대응하는 부분을 완전히 투명하게 시각화할 수 있다. 따라서, 컨텐츠를 시각화하는 장치는 경로 지시선(1820)을 자연스럽게 페이드 아웃시킬 수 있다. 또한, 컨텐츠를 시각화하는 장치는 경로 지시선(1820)에서 장치에 가까운 일단(1830)(proximal end portion)의 투명도를 장치로부터 가까울수록 점진적으로 증가시킬 수도 있다.
도 19는 일 실시예에 따른 차로 정보의 시각화를 설명하는 도면이다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는 주행 관련 정보로서 차로 정보에 대응하는 그래픽 객체를 시각화할 수 있다. 예를 들어, 도 19에 도시된 바와 같이 컨텐츠를 시각화하는 장치는 시야각의 하단부에 주행 관련 컨텐츠를 시각화할 수 있다. 상술한 바와 같이 컨텐츠를 시각화하는 장치는 주행 관련 컨텐츠를 프로젝션 평면에 대응하는 표시 위치에 시각화함으로써, 사용자가 주행 중 계기판을 보는 것처럼 주행 관련 정보를 제공할 수 있다. 주행 관련 컨텐츠는 주행에 방해가 되지 않는 크기로 설정될 수 있다. 컨텐츠를 시각화하는 장치는 차량의 상태에 따라 실시간으로 주행 관련 컨텐츠를 업데이트할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 전방 50m에 어린이보호구역이 나타나면 운전자 시선과 유사한 전방 위치에 30Km 속도 제한 표지판의 그래픽 객체를 배치 및 정합 시킬 수 있다. 컨텐츠를 시각화하는 장치는 주행 관련 컨텐츠 중 주요 정보에 대응하는 컨텐츠는 미리 정한 시간 동안 시야 중앙에 시각화하였다가, 하단의 운행 정보 제공 영역으로 이동시킬 수 있다.
도 19에 도시된 예시는, 차량이 4차로에 진입하는 상황을 설명한다.
제1 시점의 차량(1991)은 고속도로에 합류하기 위한 차로를 주행할 수 있다. 제1 시점의 차량(1991)에 대해 컨텐츠를 시각화하는 장치는 제1 시점의 시야 이미지(1901)를 제공할 수 있다. 시야 이미지(1901)는 사용자의 두 눈 중 어느 한쪽의 눈에 의해 인식되는 비전(vision)을 도시한 것으로서, 예를 들어, 차량의 전방에 대한 실제 환경에 컨텐츠를 시각화하는 장치에 의해 시각화되는 그래픽 객체가 오버레이(overlay)된 이미지를 나타낼 수 있다. 제1 시점의 시야 이미지(1901)에 도시된 바와 같이, 컨텐츠를 시각화하는 장치는 차량이 현재 주행 중인 1개 차로를 지시하는 그래픽 객체(1931)를 시각화할 수 있다. 추가적으로 컨텐츠를 시각화하는 장치는 차량의 속도를 지시하는 그래픽 객체(1942) 및 도로 정보를 요약한 요약 컨텐츠에 대응하는 그래픽 객체(1941)를 시각화할 수 있다.
요약 컨텐츠는 도로 정보의 요약에 대응하는 컨텐츠로서, 예를 들어, 도로의 선형, 형태, 차로 개수, 및 속성 등을 나타낼 수 있다. 도 19에 도시된 요약 컨텐츠(1941)는 차량이 주행 중인 차로가 고속도로에 합류 예정인 차로인 것을 나타낼 수 있다.
제2 시점의 차량(1992)은 고속도로에 합류할 수 있는 구간을 주행할 수 있다. 제2 시점의 시야 이미지(1902)에 도시된 바와 같이, 컨텐츠를 시각화하는 장치는 도로의 차로 개수 및 현재 차량이 주행 중인 차로의 위치에 대응하는 그래픽 객체(1932)를 시각화할 수 있다. 예를 들어, 제3 시점에서 그래픽 객체(1932)는 총 5개의 차로들 중 차량이 최우측의 차로를 주행 중이라는 정보를 제공할 수 있다.
제3 시점의 차량(1993)은 고속도로에 합류한 이후의 구간을 주행할 수 있다. 제3 시점의 시야 이미지(1903)에 도시된 바와 같이 컨텐츠를 시각화하는 장치는 차량의 차로 변경에 의해 업데이트된 차로 정보와 연관된 그래픽 객체(1933)를 시각화할 수 있다. 예를 들어, 제3 시점에서 차로 정보는 총 5개의 차로들 중 현재 차량이 주행 중인 차로가 4차로라는 정보를 제공할 수 있다.
제4 시점의 차량(1994)은 합류 구간을 지나친 후의 구간을 주행할 수 있다. 제4 시점의 시야 이미지(1904)에 도시된 바와 같이 컨텐츠를 시각화하는 장치는 합류 차로가 배제됨으로써 업데이트된 차로 정보와 연관된 그래픽 객체(1934)를 시각화할 수 있다. 예를 들어, 제4 시점에서 차로 정보를 총 4개의 차로들 중 현재 차량이 주행 중인 차로가 최우측의 차로라는 정보를 제공할 수 있다.
도 19는 이해를 돕기 위한 예시로서, 차로 정보 및 그에 대응하는 그래픽 객체를 이로 한정하는 것은 아니다.
도 20은 일 실시예에 따른 경로 안내 컨텐츠를 동적으로 시각화하는 동작을 설명하는 도면이다.
일 실시예에 따르면 컨텐츠를 시각화하는 장치는 동적 이벤트를 검출하는 경우에 응답하여, 해당 동적 이벤트에 대응하는 경로 안내 컨텐츠의 그래픽 객체를 동적으로 시각화할 수 있다.
예를 들어, 컨텐츠를 시각화하는 장치는 장치로부터 지시 지점까지 표시 지점을 매 프레임마다 연속적으로 변경하여 시각화되는 그래픽 객체의 위치를 이동시킬 수 있다. 컨텐츠를 시각화하는 장치는 경로 지시선(2080)을 따라 그래픽 객체를 이동시킬 수 있다. 따라서 사용자의 시야에서 그래픽 객체가 경로 지시선(2080)을 따라 전방으로 빠르게 이동됨으로써, 컨텐츠를 시각화하는 장치는 동적 이벤트에 대응하는 사용자의 액션을 유도할 수 있다.
도 20에서 동적 이벤트는 차로 변경 이벤트일 수 있다. 도 20에서 경로 안내 정보는 좌측 차로로 합류하라는 안내를 포함할 수 있고, 현재 차로로부터 차로 변경의 대상이 되는 좌측 차로로 경로 지시선(2080)이 형성될 수 있다. 제1 시점에서 컨텐츠를 시각화하는 장치는 제1 경로 안내 컨텐츠(2021)를 생성하여 경로 지시선(2080)에 대응하는 표시 위치에 시각화할 수 있다. 제2 시점에서 컨텐츠를 시각화하는 장치는 경로 지시선(2080)을 따라 표시 위치를 전진시켜서, 변경된 표시 위치에 제2 경로 안내 컨텐츠(2022)를 시각화할 수 있다. 제3 시점에서 컨텐츠를 시각화하는 장치는 제2 경로 안내 컨텐츠(2022)보다 더 전진된 위치를 표시 위치로 결정할 수 있고, 해당 표시 위치에 제3 경로 안내 컨텐츠(2023)를 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 경로 안내 컨텐츠의 표시 위치가 경로 지시선(2080)을 따라 전방으로 변경되면서 객체 배치 공간의 경계면에 도달하는 경우에 응답하여, 기존 표시 위치를 제거하고 새로운 표시 위치를 결정할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 장치의 위치를 시작 지점으로 경로 안내 컨텐츠에 대응하는 새로운 그래픽 객체를 생성하여, 지시 지점(예를 들어, 객체 배치 공간의 경계면에 대응하는 종료 지점)까지 이동시킬 수 있다.
도 21은 일 실시예에 따른 경로 안내 컨텐츠를 정적으로 시각화하는 동작을 설명하는 도면이다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는 정적 이벤트를 검출하는 경우에 응답하여, 해당 정적 이벤트에 대응하는 경로 안내 컨텐츠의 그래픽 객체를 정적으로 시각화할 수 있다.
예를 들어, 컨텐츠를 시각화하는 장치는 지시 지점에 표시 위치를 고정하여, 그래픽 객체를 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 장치가 표시 위치를 지나칠 때까지, 고정된 표시 위치에 그래픽 객체를 시각화할 수 있다. 사용자는 그래픽 객체가 배치된 위치로 장치가 접근하는 것처럼 인식할 수 있다.
도 21에서 정적 이벤트는 차로 유지 이벤트일 수 있다. 도 21에서 경로 안내 정보는 현재 차로로 주행하라는 안내를 포함할 수 있고, 현재 차로의 중심선을 따라 경로 지시선이 형성될 수 있다. 컨텐츠를 시각화하는 장치는 제1 시점(2101)에서 지시 지점에 직진 주행을 위한 경로 안내 컨텐츠(2121)를 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 제2 시점(2102)에서 장치와 지시 지점 사이의 거리가 줄어든 때에도, 지시 지점에 경로 안내 컨텐츠(2121)를 시각화할 수 있다.
도 22는 일 실시예에 따라 위험 객체를 경고하는 동작을 설명하는 도면이다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는 해당 장치가 위치한 도로에서, 장치가 주행하고 있는 차로 정보에 대응하는 그래픽 객체 및 장치의 주변에 있는 위험 객체에 대응하는 그래픽 객체를 시각화할 수 있다.
예를 들어, 컨텐츠를 시각화하는 장치는 위험 물체가 위험 거리 이내에 존재하는지 여부를 검출할 수 있다. 컨텐츠를 시각화하는 장치는 위험 물체가 위험 거리 이내에 존재하는 경우에 응답하여, 해당 위험 객체의 물리적 좌표에 기초하여 표시 위치를 결정할 수 있다. 예를 들어, 컨텐츠를 시각화하는 장치는 위험 객체에 대해 검출된 바운딩 박스 후면에 대응하는 지점을 표시 위치로 결정할 수 있다. 컨텐츠를 시각화하는 장치는 위험 객체의 후면에 제1 위험 그래픽 객체(2221)를 시각화할 수 있다. 또한, 컨텐츠를 시각화하는 장치는 위험 객체의 후방에 위험 가능성을 나타내는 위험 영역(2222)을 시각화할 수 있다. 위험 영역(2222)은 객체 배치 공간의 바닥면에 피팅될 수 있다. 더 나아가 컨텐츠를 시각화하는 장치는 위험 객체가 존재하는 차로 정보에 대응하는 그래픽 객체(2223)를 시각화할 수 있다.
도 23은 일 실시예에 따라 속도 제한 정보를 제공하는 동작을 설명하는 도면이다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는 주행 관련 이벤트를 검출하는 경우에 응답하여, 검출된 이벤트에 대응하는 그래픽 객체를 시각화할 수 있다. 주행 관련 이벤트에 구간이 지정된 경우, 컨텐츠를 시각화하는 장치는 구간의 시작 지점을 표시 위치로 결정하여 고정할 수 있다. 컨텐츠를 시각화하는 장치는 고정된 표시 위치에 주행 관련 이벤트에 대응하는 그래픽 객체를 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 구간의 시작 지점을 해당 장치가 지나친 경우에 응답하여, 해당 주행 관련 이벤트에 대응하는 주행 관련 컨텐츠에 대응하는 그래픽 객체를 객체 배치 공간의 구석에 추가할 수 있다.
예를 들어, 컨텐츠를 시각화하는 장치는 속도 제한 구간 진입하는 이벤트를 검출하는 경우에 응답하여, 속도 제한 구간에 대응하는 주행 관련 컨텐츠의 그래픽 객체를 시각화할 수 있다. 도 23에서 컨텐츠를 시각화하는 장치는, 속도 제한 구간의 시작 지점을 표시 위치로 결정할 수 있다. 컨텐츠를 시각화하는 장치는 속도 제한 구간의 시작 지점에 속도 제한 컨텐츠(2321)를 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 속도 제한 컨텐츠(2321)의 위치를 고정할 수 있다. 따라서, 차량이 진행함에 따라 컨텐츠를 시각화하는 장치는 확대되어 시각화되는 속도 제한 컨텐츠(2322)를 제공할 수 있다. 컨텐츠를 시각화하는 장치는 속도 제한 구간에 진입한 이후에는 운행 정보 제공 영역(예를 들어, 객체 배치 공간 내에서 하단 영역)에 속도 제한 컨텐츠(2323)를 시각화할 수 있다.
다만, 주행 관련 이벤트를 속도 제한 이벤트로 한정하는 것은 아니고, 설계에 따라 다양한 이벤트가 설정될 수 있다.
도 24는 일 실시예에 따라 경로 안내 컨텐츠에 대응하는 그림자 객체를 시각화한 예시를 설명하는 도면이다.
일 실시예에 따른 컨텐츠를 시각화하는 장치는 객체 배치 공간에서 그래픽 객체(2420)의 아래에 대응하는 영역에 그림자 객체(shadow object)를 시각화할 수 있다. 컨텐츠를 시각화하는 장치는 그래픽 객체(2420)의 아래에서, 그림자 영역(2431)의 밝기를 유지할 수 있다. 컨텐츠를 시각화하는 장치는 그림자 영역(2431)의 주변 영역(2432)에 대해 그림자 영역(2431)보다 높은 밝기의 객체를 시각화할 수 있다. 주변 영역(2432)은 적어도 그림자 영역(2431)을 감싸는 형태의 영역일 수 있다. 주변 영역(2432)은 원형으로 도시되었으나, 이로 한정하는 것은 아니다.
투명 헤드업 디스플레이는 그래픽 객체(2420)의 밝기를 낮추기 어려우므로, 그림자를 표현하는데 제약이 있을 수 있다. 일 실시예에 따른 컨텐츠를 시각화하는 장치는 그림자를 표현하기 위한 그림자 영역(2431) 자체가 아닌 그 주변 영역(2432)의 밝기를 증가시킴으로써, 그림자 영역(2431)의 밝기가 상대적으로 낮아보이는 착시 효과를 통해 그림자를 구현할 수 있다. 도로면(2490)은 일반적으로 어두운 색상이므로, 그림자가 현실감있게 표현될 수 있다. 입체 공간에 표현되는 3차원 객체는 그림자가 있어야, 사용자가 현실감을 느낄 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
200: 컨텐츠를 시각화하는 장치
210: 센서
220: 디스플레이
230: 프로세서
240: 메모리

Claims (22)

  1. 컨텐츠를 시각화하는 방법에 있어서,
    추정된 전방 도로 영역에 기초하여 3차원의 객체 배치 공간을 생성하는 단계;
    경로 안내 컨텐츠의 지시 지점(indication point) 및 상기 객체 배치 공간에 기초하여, 상기 경로 안내 컨텐츠에 대한 표시 위치를 결정하는 단계; 및
    상기 결정된 표시 위치에 상기 경로 안내 컨텐츠에 대응하는 그래픽 객체를 3차원으로 시각화하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  2. 제1항에 있어서,
    상기 객체 배치 공간을 생성하는 단계는,
    사용자의 시야각 및 상기 사용자의 시점(view point)로부터 장애물(obstacle)까지의 거리에 기초하여 상기 객체 배치 공간을 생성하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  3. 제1항에 있어서,
    상기 그래픽 객체를 3차원으로 시각화하는 단계는,
    운전자의 좌안에 대응하는 제1 그래픽 표현을 포함하는 좌영상 및 상기 운전자의 우안에 대응하는 제2 그래픽 표현을 포함하는 우영상을 생성하는 단계; 및
    서로에 대해 시차(disparity)를 가지도록 상기 좌영상 및 상기 우영상을 제공하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  4. 제3항에 있어서,
    상기 좌영상 및 우영상을 제공하는 단계는,
    상기 운전자의 좌안 및 우안의 위치를 추적하는 단계
    를 더 포함하는 컨텐츠를 시각화하는 방법.
  5. 제1항에 있어서,
    상기 표시 위치를 결정하는 단계는,
    상기 지시 지점이 상기 객체 배치 공간을 벗어나는 경우에 응답하여, 상기 표시 위치를 상기 객체 배치 공간 내의 위치로 결정하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  6. 제1항에 있어서,
    상기 표시 위치를 결정하는 단계는,
    상기 지시 지점의 높이가 상기 객체 배치 공간의 바닥(bottom)보다 낮은 경우에 응답하여, 상기 표시 위치의 높이를 상기 객체 배치 공간의 바닥에 피팅(fitting)하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  7. 제1항에 있어서,
    상기 표시 위치를 결정하는 단계는,
    사용자의 시야에 대응하는 공간 및 도로면이 교차하지 않는 경우에 응답하여, 상기 표시 위치의 높이를 상기 객체 배치 공간의 바닥에 피팅하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  8. 제1항에 있어서,
    상기 표시 위치를 결정하는 단계는,
    사용자로부터 상기 표시 위치까지의 거리가 상기 객체 배치 공간의 최대 거리보다 먼 경우에 응답하여, 상기 표시 위치를 상기 객체 배치 공간 내로 업데이트하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  9. 제1항에 있어서,
    상기 객체 배치 공간을 생성하는 단계는,
    컨텐츠를 시각화하는 장치가 장착된 차량의 차체(body) 및 사용자의 시야각(FOV, field of view)에 기초하여 상기 객체 배치 공간을 생성하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  10. 제1항에 있어서,
    상기 그래픽 객체를 3차원으로 시각화하는 단계는,
    사용자의 시야각 및 차량의 차체에 기초하여 컨텐츠 움직임 궤적(content movement trajectory)를 결정하는 단계; 및
    컨텐츠를 시각화하는 장치가 상기 지시 지점에 접근하는 경우에 응답하여, 상기 컨텐츠 움직임 궤적에 기초하여 상기 그래픽 객체의 높이를 조정함으로써 상기 그래픽 객체를 시각화하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  11. 제1항에 있어서,
    상기 객체 배치 공간을 생성하는 단계는,
    차량의 주변에 대해 추정된 도로 영역에 기초하여, 상기 도로 영역의 도로면에 상기 객체 배치 공간의 바닥이 피팅되도록 상기 객체 배치 공간을 생성하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  12. 제11항에 있어서,
    상기 객체 배치 공간의 바닥이 피팅되도록 상기 객체 배치 공간을 생성하는 단계는,
    상기 도로면 및 시야각에 대응하는 공간이 교차하는 부분부터 최대 거리까지, 상기 객체 배치 공간의 바닥을 상기 도로면에 피팅시키는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  13. 제1항에 있어서,
    상기 그래픽 객체를 3차원으로 시각화하는 단계는,
    상기 객체 배치 공간에서 상기 그래픽 객체의 아래에 대응하는 영역에 그림자 객체(shadow object)를 시각화하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  14. 제13항에 있어서,
    상기 그림자 객체를 시각화하는 단계는,
    상기 그래픽 객체의 아래에서, 그림자 영역의 밝기를 유지하는 단계; 및
    상기 그림자 영역의 주변 영역에 대해 상기 그림자 영역보다 높은 밝기의 객체를 시각화하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  15. 제1항에 있어서,
    컨텐츠를 시각화하는 장치가 현재 경로 안내 컨텐츠에 대한 현재 표시 지점에 도달한 경우에 응답하여, 다음 경로 안내 컨텐츠에 대한 다음 표시 위치를 결정하는 단계; 및
    상기 다음 표시 위치에 상기 다음 경로 안내 컨텐츠에 대응하는 그래픽 객체를 시각화하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  16. 제1항에 있어서,
    상기 그래픽 객체를 3차원으로 시각화하는 단계는,
    상기 객체 배치 공간의 최대 거리로부터 상기 그래픽 객체까지의 거리에 기초하여, 상기 그래픽 객체의 투명도를 결정하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  17. 제1항에 있어서,
    상기 경로 안내 컨텐츠는,
    안내 경로(guided path)를 따라 배치된 복수의 포인트 객체들(point objects)을 포함하는 경로 지시선(path indicating line)을 포함하고,
    상기 복수의 포인트 객체들의 각각은,
    서로에 대해 단위 간격(unit interval)으로 이격되는,
    컨텐츠를 시각화하는 방법.
  18. 제1항에 있어서,
    상기 표시 위치를 결정하는 단계는,
    상기 지시 지점 및 상기 표시 위치가 다른 경우에 응답하여, 상기 표시 위치에 대응하는 임시 안내 컨텐츠(temporary)를 획득하는 단계
    를 포함하고,
    상기 그래픽 객체를 3차원으로 시각화하는 단계는,
    상기 객체 배치 공간이 상기 지시 지점을 포함할 때까지 상기 임시 안내 컨텐츠에 대응하는 그래픽 객체를 상기 표시 위치에 시각화하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  19. 제1항에 있어서,
    컨텐츠를 시각화하는 장치가 위치한 도로에서, 상기 장치가 주행하고 있는 차로 정보에 대응하는 그래픽 객체 및 상기 장치의 주변에 있는 위험 객체에 대응하는 그래픽 객체를 시각화하는 단계
    를 더 포함하는 컨텐츠를 시각화하는 방법.
  20. 제1항에 있어서,
    상기 그래픽 객체를 3차원으로 시각화하는 단계는,
    상기 그래픽 객체를 시각화하던 도중 상기 표시 위치가 변경된 경우에 응답하여, 상기 그래픽 객체를 이전 표시 위치로부터 변경된 표시 위치까지 점진적으로(gradually) 변경하면서 시각화하는 단계
    를 포함하는 컨텐츠를 시각화하는 방법.
  21. 제1항 내지 제20항 중 어느 한 항의 방법을 수행하는 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
  22. 컨텐츠를 시각화하는 장치에 있어서,
    추정된 전방 도로 영역에 기초하여 3차원의 객체 배치 공간을 생성하고, 경로 안내 컨텐츠의 지시 지점 및 상기 객체 배치 공간에 기초하여 표시 위치를 결정하는 프로세서; 및
    상기 결정된 표시 위치에 상기 경로 안내 컨텐츠에 대응하는 그래픽 객체를 3차원으로 시각화하는 디스플레이
    를 포함하는 컨텐츠를 시각화하는 장치.
KR1020180122382A 2018-10-15 2018-10-15 컨텐츠를 시각화하는 장치 및 방법 KR20200042166A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020180122382A KR20200042166A (ko) 2018-10-15 2018-10-15 컨텐츠를 시각화하는 장치 및 방법
US16/362,735 US11099026B2 (en) 2018-10-15 2019-03-25 Content visualizing method and apparatus
CN201910283442.4A CN111055853A (zh) 2018-10-15 2019-04-09 内容可视化方法和装置
EP19168983.5A EP3640598A1 (en) 2018-10-15 2019-04-12 Content visualizing method and apparatus
JP2019142154A JP7303691B2 (ja) 2018-10-15 2019-08-01 コンテンツを視覚化する装置及び方法
US17/376,662 US11656091B2 (en) 2018-10-15 2021-07-15 Content visualizing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180122382A KR20200042166A (ko) 2018-10-15 2018-10-15 컨텐츠를 시각화하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20200042166A true KR20200042166A (ko) 2020-04-23

Family

ID=66175268

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180122382A KR20200042166A (ko) 2018-10-15 2018-10-15 컨텐츠를 시각화하는 장치 및 방법

Country Status (5)

Country Link
US (2) US11099026B2 (ko)
EP (1) EP3640598A1 (ko)
JP (1) JP7303691B2 (ko)
KR (1) KR20200042166A (ko)
CN (1) CN111055853A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075514A1 (ko) * 2020-10-08 2022-04-14 네이버랩스 주식회사 헤드업 디스플레이의 제어 방법 및 시스템

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042166A (ko) * 2018-10-15 2020-04-23 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
EP3720751A4 (en) * 2018-10-25 2021-07-14 Samsung Electronics Co., Ltd. AUGMENTED REALITY PROCESS AND APPARATUS FOR DRIVING ASSISTANCE
KR20200117641A (ko) * 2019-04-05 2020-10-14 현대자동차주식회사 경로 안내 장치 및 그 방법
DE102020111250A1 (de) * 2019-04-25 2020-10-29 Aptiv Technologies Limited Grafische benutzerschnittstelle zur anzeige des verhaltens autonomer fahrzeuge
WO2020235305A1 (ja) * 2019-05-17 2020-11-26 株式会社東海理化電機製作所 制御装置および提示システム
JP7476568B2 (ja) * 2019-09-02 2024-05-01 株式会社アイシン 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム
KR102270502B1 (ko) * 2019-10-24 2021-06-30 네이버랩스 주식회사 주행 정보 안내 방법 및 시스템
US11767023B2 (en) * 2019-11-04 2023-09-26 Volvo Car Corporation Displaying next action of an autonomous vehicle
KR20210129976A (ko) 2020-04-21 2021-10-29 현대자동차주식회사 차량의 표시 장치 및 그 방법
KR20210129974A (ko) * 2020-04-21 2021-10-29 현대자동차주식회사 차량의 표시 장치 및 그 방법
KR20210129975A (ko) * 2020-04-21 2021-10-29 현대자동차주식회사 차량의 표시 장치 및 그 방법
FR3110710A1 (fr) * 2020-05-19 2021-11-26 Thales Dispositif électronique de gestion d’affichage d’un écran d’affichage tête haute, système d’affichage, procédé de gestion et produit programme ordinateur associés
CN111896015A (zh) * 2020-07-22 2020-11-06 Oppo广东移动通信有限公司 导航方法、装置、存储介质及电子设备
KR20220022340A (ko) * 2020-08-18 2022-02-25 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
CN112109550A (zh) * 2020-09-08 2020-12-22 中国第一汽车股份有限公司 基于ar-hud的预警信息的显示方法、装置、设备及车辆
KR20220036199A (ko) * 2020-09-15 2022-03-22 현대자동차주식회사 증강현실 기반의 정보 표시 장치
US20220128993A1 (en) * 2020-10-23 2022-04-28 Deere & Company Methods, apparatus, and articles of manufacture to display acquisition paths
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
EP4358524A1 (en) * 2021-07-13 2024-04-24 LG Electronics Inc. Mr service platform for providing mixed reality automotive meta service, and control method therefor
GB2613004A (en) * 2021-11-19 2023-05-24 Wayray Ag System and method
KR102645699B1 (ko) * 2022-06-10 2024-03-12 엘지전자 주식회사 차량의 ar 디스플레이 장치 및 그것의 동작방법

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100721560B1 (ko) * 2005-11-30 2007-05-23 한국전자통신연구원 임의 시점을 가지는 3차원 차량정보 제공 시스템 및 그방법
JPWO2007097037A1 (ja) * 2006-02-27 2009-07-09 株式会社ナビタイムジャパン 地図表示システム、ｐｏｉ検索条件の入力方法およびｐｏｉ案内表示方法ならびに端末装置
JP5161760B2 (ja) * 2008-12-26 2013-03-13 株式会社東芝 車載用表示システム及び表示方法
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US8629903B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8503762B2 (en) 2009-08-26 2013-08-06 Jacob Ben Tzvi Projecting location based elements over a heads up display
US20120050144A1 (en) 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
US8825406B2 (en) * 2010-12-28 2014-09-02 Toyota Jidosha Kabushiki Kaisha Navigation apparatus
US20120224060A1 (en) 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
KR20130027367A (ko) 2011-09-07 2013-03-15 동국대학교 산학협력단 내비게이션 장치 및 경로 표시 방법
KR101316176B1 (ko) 2011-12-14 2013-10-08 현대자동차주식회사 다중도로구간 안내시스템 및 그 안내 방법
KR20150054022A (ko) 2013-11-08 2015-05-20 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선변경 정보 표시 장치 및 방법
JP6524417B2 (ja) * 2014-02-05 2019-06-05 パナソニックＩｐマネジメント株式会社 車両用表示装置および車両用表示装置の表示方法
EP3118047B1 (en) * 2014-03-13 2021-09-15 Panasonic Intellectual Property Management Co., Ltd. Display control device, display device, display control program, display control method, and recording medium
JP2016074410A (ja) 2014-10-07 2016-05-12 株式会社デンソー ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法
JP6642972B2 (ja) 2015-03-26 2020-02-12 修一 田山 車輌用画像表示システム及び方法
JP6223630B2 (ja) * 2015-04-17 2017-11-01 三菱電機株式会社 表示制御装置、表示システム、表示制御方法および表示制御プログラム
KR102330034B1 (ko) 2015-09-04 2021-11-25 현대모비스 주식회사 지능형 차량 제어 방법
JP6448806B2 (ja) * 2015-09-10 2019-01-09 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
US9625264B1 (en) 2016-01-20 2017-04-18 Denso Corporation Systems and methods for displaying route information
KR102463688B1 (ko) 2016-05-26 2022-11-07 현대자동차주식회사 증강현실 헤드업 디스플레이 시스템에서 월드좌표를 활용한 정보 표시 방법
US10769831B2 (en) * 2016-08-29 2020-09-08 Maxell, Ltd. Head up display
WO2018057987A1 (en) 2016-09-23 2018-03-29 Apple Inc. Augmented reality display
KR102552715B1 (ko) 2016-11-07 2023-07-06 현대모비스 주식회사 차량용 헤드업 디스플레이 장치 및 이의 제어 방법
GB201702309D0 (en) 2017-02-13 2017-03-29 Jaguar Land Rover Ltd An apparatus and a method for controlling a head-up display of a vehicle
JP2018159738A (ja) * 2017-03-22 2018-10-11 アイシン・エィ・ダブリュ株式会社 虚像表示装置
KR20200042166A (ko) * 2018-10-15 2020-04-23 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075514A1 (ko) * 2020-10-08 2022-04-14 네이버랩스 주식회사 헤드업 디스플레이의 제어 방법 및 시스템
KR20220046799A (ko) * 2020-10-08 2022-04-15 네이버랩스 주식회사 헤드업 디스플레이의 제어 방법 및 시스템

Also Published As

Publication number Publication date
CN111055853A (zh) 2020-04-24
US20210341305A1 (en) 2021-11-04
US11656091B2 (en) 2023-05-23
EP3640598A1 (en) 2020-04-22
US11099026B2 (en) 2021-08-24
JP7303691B2 (ja) 2023-07-05
JP2020064047A (ja) 2020-04-23
US20200116518A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
KR20200042166A (ko) 컨텐츠를 시각화하는 장치 및 방법
US10852818B2 (en) Information provision device and information provision method
KR102547823B1 (ko) 컨텐츠 시각화 장치 및 방법
US10600250B2 (en) Display system, information presentation system, method for controlling display system, computer-readable recording medium, and mobile body
US11077753B2 (en) Information provision device, information provision method, and recording medium storing information provision program for a vehicle display
KR102306790B1 (ko) 컨텐츠 시각화 장치 및 방법
US9482540B2 (en) Navigation display method and system
JP7113259B2 (ja) 表示システム、表示システムを備える情報提示システム、表示システムの制御方法、プログラム、及び表示システムを備える移動体
JP6459205B2 (ja) 車両用表示システム
US20150178985A1 (en) Virtual three-dimensional instrument cluster with three-dimensional navigation system
CN111788459A (zh) 辅助信息在显示单元上的显现
US10488658B2 (en) Dynamic information system capable of providing reference information according to driving scenarios in real time
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
KR20220022340A (ko) 컨텐츠를 시각화하는 장치 및 방법
JP6448806B2 (ja) 表示制御装置、表示装置及び表示制御方法