KR102204250B1 - Ar 디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 증강 현실 오버레이를 계산하기 위한 방법, 이 방법을 수행하기 위한 장치 및 자동차 그리고 컴퓨터 프로그램 - Google Patents

Ar 디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 증강 현실 오버레이를 계산하기 위한 방법, 이 방법을 수행하기 위한 장치 및 자동차 그리고 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102204250B1
KR102204250B1 KR1020190056386A KR20190056386A KR102204250B1 KR 102204250 B1 KR102204250 B1 KR 102204250B1 KR 1020190056386 A KR1020190056386 A KR 1020190056386A KR 20190056386 A KR20190056386 A KR 20190056386A KR 102204250 B1 KR102204250 B1 KR 102204250B1
Authority
KR
South Korea
Prior art keywords
target object
overlay
icon
driver
calculated
Prior art date
Application number
KR1020190056386A
Other languages
English (en)
Other versions
KR20190130517A (ko
Inventor
아스트리드 카쓰너
노르빈 슈미트
마티아스 헤닝
Original Assignee
폭스바겐 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔게젤샤프트 filed Critical 폭스바겐 악티엔게젤샤프트
Publication of KR20190130517A publication Critical patent/KR20190130517A/ko
Application granted granted Critical
Publication of KR102204250B1 publication Critical patent/KR102204250B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/165—Videos and animations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Optics & Photonics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량(10)의 AR-디스플레이 유닛(20), 특히 헤드 업 디스플레이(HUD) 또는 스마트 안경에 디스플레이를 위한 추가 정보의 AR-오버레이를 계산하기 위한 방법에 관한 것이다. 이 경우 AR-오버레이는 AR-디스플레이 유닛(20) 상에 내비게이션 경로(2009, 2010)를 표시하기 위해 이용된다. 내비게이션 경로(2009, 2010)는 내비게이션 시스템(130)에 의해 미리 정해진다. AR-오버레이는, 다음 방향 전환 위치 또는 지평선에 있는 목표 대상물 또는 목표 대상자(340)에 대한 아이콘(310)이 오버레이 되도록 계산되고, 이 경우 아이콘(310)은, 어떤 목표 대상물 또는 어떤 목표 대상자(340)인지에 관한 정보 외에, 목표 대상물 또는 목표 대상자(340)가 발견될 방향을 지시하는 방향 표시기(315)를 운전자에게 표시하도록 구성된다. 방법은 편성된 승차 공유 서비스와 같은 이동성 서비스에 바람직하게 이용될 수 있다.

Description

AR 디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 증강 현실 오버레이를 계산하기 위한 방법, 이 방법을 수행하기 위한 장치 및 자동차 그리고 컴퓨터 프로그램{METHOD FOR CALCULATING AN AUGMENTED REALITY-OVERLAYING FOR DISPLAYING A NAVIGATION ROUTE ON AR-DISPLAY UNIT, DEVICE FOR CARRYING OUT THE METHOD, AS WELL AS MOTOR VEHICLE AND COMPUTER PROGRAM}
본 제안은 인포테인먼트 시스템으로도 알려진 운전자 정보 시스템의 기술 분야에 관한 것이다. 이러한 시스템은 주로 차량에서 이용된다. 그러나 스마트 안경을 착용한 보행자, 사이클리스트 등도 본 발명을 이용할 수 있다. 상기 제안은 또한 상기 방법을 수행하기 위해 상응하게 설계된 장치 및 자동차 그리고 컴퓨터 프로그램에 관한 것이다.
자동차 산업의 미래 비전은, 운전자에게 몇 가지 장점들을 가능하게 하기 위해, 각 차량의 윈드실드에 가상 요소들을 기록할 수 있는 것이다. 소위 "증강 현실 "기술(AR; Augmented Reality)이 사용된다. 해당하는 독일어 용어 "증강 현실(erweiterten Realitaet)은 그렇게 익숙하지 않다. 실제 환경에 가상 요소들이 추가된다. 이는 여러 장점을 갖는다: 윈드실드 상에 많은 관련 정보가 표시되기 때문에, 윈드실드가 아닌 다른 디스플레이를 내려다보지 않아도 된다. 따라서 운전자는 도로에서 시선을 돌릴 필요가 없다. AR 표시의 특수성은, 실제 환경에서 가상 요소들의 위치적으로 정확한 위치 지정이 가능하다는 것이다. 실제 환경에서 운전자의 시선이 향하는 장소에 가상 요소도 오버레이(overlay) 된다. 이러한 오버레이와 실제 환경은 사용자의 관점에서 "겹쳐질" 수 있으며, 추가 정보가 제공될 수 있고, 예를 들어 내비게이션 경로가 오버레이 될 수 있다. 이로 인해, 추상적인 그래픽의 해석이 이루어지지 않아도 되고, 통상의 인지 습관대로 직관적인 이해가 이루어질 수 있기 때문에, 운전자의 인지 노력은 감소할 수 있다.
현재 헤드-업 디스플레이(HUD)는 차량에서 AR-디스플레이 유닛으로서 사용된다. 이들은 또한, HUD의 이미지가 실제 환경에 더욱 가깝게 나타나는 장점이 있다. 이러한 디스플레이는 실제로 이미지를 윈드실드에 투사하는 투사 유닛이다. 상기 이미지는 운전자의 관점에서 보자면 모듈의 디자인에 따라 차량 앞 수 미터 내지 15미터에 위치한다. 이것은, 오버레이 된 정보가 운전자의 눈의 원근 조절 동작의 부담을 덜 수 있도록 재현된다는 장점을 갖는다.
"이미지"는 다음과 같이 구성된다. 이것은 가상 디스플레이가 아니라 가상 세계로의 일종의 "열쇠 구멍"이다. 가상 환경은 이론적으로 현실 세계 위에 겹쳐 놓이고, 운행 중에 운전자를 지원하고 운전자에게 정보를 주는 가상 물체를 포함한다. HUD의 제한된 디스플레이 영역으로 인해, 이중 일부가 보일 수 있다. 따라서 HUD의 디스플레이 영역을 통해 가상 세계의 일부를 보게 된다. 이러한 가상 환경은 실제 환경을 보완하기 때문에, 이 경우에는 "혼합 현실"이라고도 한다.
추후에 자율 주행을 가능하게 하는 기술에 대한 집중적인 연구도 현재 진행 중이다. 첫 번째 방법은 운전자의 작업을 완전히 덜어주는 것이 아니라, 언제든지 운전자가 차량의 제어를 담당할 수 있도록 하는 것이다. 운전자는 또한 모니터링 기능을 이용한다. 헤드 업 디스플레이와 같은 운전자 정보 시스템 분야의 새로운 기술에 의해, 운전자에게 자신의 차량 주변에서 일어나는 일에 대해 정보를 제공하는 것이 더 양호해질 수 있다.
많은 차량이 여전히 운전자에 의해 제어되고 있는 상황에서 더 높은 자율 수준으로의 추세에 따라, 해당하는 추가 정보가 중기적으로는 이미 수동 운전 차량을 위해 이용될 수 있지만 장기적으로 고도로 자동화된 시스템을 위해서는 사용될 수 없다는 것이 전제될 수 있다. 이 경우 이하에서 자세히 설명된 해결 방법은 수동 제어 및 자동 제어 차량 모두에 이용될 수 있다.
운전자와 차량 간의 상호 작용을 위해, 어떻게 상기 정보가 인간 운전자를 위해 실제 부가 가치를 형성하고 운전자는 제공된 정보를 신속하게 또는 직관적으로 고려할 수 있는지에 대한 의문이 제기된다. 이러한 분야의 하기의 해결 방법들은 선행 기술에 이미 공개되어 있다.
대부분의 차량은 오늘날 운전자를 위한 목적지- 및 도로 안내를 제공하는 내비게이션 시스템을 구비하고 있다. 또한, HUD가 장착된 차량들이 시중에 제공되며, 이 경우 HUD는 차량의 윈드실드에 소정의 정보를 투사하여 운전자가 전방을 주시하는 동안 투사된 정보를 볼 수 있게 한다.
US 2016/03 648 23 A1호에, 승차 공유 서비스를 위한 시스템 및 방법이 공개되어 있다. 거기에, 운전자로부터 카풀 문의가 수신되는 방법이 개시되어 있다. 첫 번째 및 두 번째 사용자에게 묻는 카풀 제안을 컴퓨터가 작성한다. 따라서, 시간은 공간적으로 및 시간적으로 공유된 카풀 문의에 대해 결정된다.
US 2017/03 088 24 A1호에, 합승자를 수송하는 수송 차량 유닛에 지정된 명령을 수신하는데 적합한 방법 및 시스템이 공개되어 있다. 이 경우, 하나의 단계에서 미팅 포인트에 대한 수송 차량의 위치와 거리가 결정되어 디스플레이된다.
WO 2016/132 522 A1호에 카메라를 구비한 내비게이션 장치가 공개되어 있다.
고전적인 내비게이션 디스플레이(종래의 LCD 디스플레이를 포함함)는 일반적으로 개략적인 표시들(예를 들어, 직각으로 연장되는 화살표를 다음번에 우회전 해야하는 것의 표시로서)을 디스플레이 하는 한편, AR 디스플레이 표시들은 훨씬 더 효과적인 방법들을 제공한다. 디스플레이 표시들은 "환경의 일부"로서 표시될 수 있기 때문에, 사용자에게 매우 신속하고 직관적인 해석을 가능하게 한다. 그럼에도 불구하고, 기존의 공개된 방법들은 현재 시점에 어떠한 해결 방법도 공개되지 않은 다양한 문제점도 가지고 있다. 이는 본 발명과 관련해서 파악되었다.
차량 내의 내비게이션 기능은 향후에도 헤드 업 디스플레이(증강된 또는 2D-기동 디스플레이) 상에 표시에 의해 점차 지원될 것이다. 일정한 도로- 및 경로 안내로 사용자를 지원하기 위해 시스템은 내비게이션 경로를 직접 도로로 증강한다.
그러나 또한 다른 상황에서 추가 정보가 요구된다. 향후의 이동성 솔루션(mobility solution)과 관련해서, 차량 사용자는 다른 사람들을 자기 차량에 합승하는 것을 가능하게 하는 것이 고려될 수 있다. 이러한 합승의 중개는 운전자에게 합승자의 문의를 통해, 예를 들어 스마트폰 앱을 통해 이루어질 수 있다. 운전자를 위해 발생되는 상호 작용(합승의 문의와 동의, 내비게이션의 조정, 합승자 픽업)이 바람직하게 또한 추가 정보로서 오버레이 되어야 한다. 그러나 이것은 가급적 부주의 위험이 없이 이루어져야 한다.
따라서, 차량의 경로 안내에 있어서 그리고 인포테인먼트시스템을 통해 운전자에 대한 이와 관련한 피드백에 있어서 추가 개선이 필요하다.
본 발명의 과제는, 특히 향후의 이동성 솔루션과 관련하여 경로 변경 시 운전자의 지원을 개선하는 것이다.
상기 과제는 AR-디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 "증강 현실"-오버레이를 계산하기 위한 청구항 제 1 항에 따른 방법, 방법을 수행하기 위한 청구항 제 10 항에 따른 방법 및 청구항 제 14 항에 따른 자동차와 청구항 제 15 항에 따른 컴퓨터 프로그램에 의해 해결된다.
차량의 종방향 유도 시 운전자를 지원하기 위해 오버레이가 이용된다.
종속 청구항들은 이러한 조치의 하기 기재에 따라 본 발명의 바람직한 개발과 개선을 포함한다.
제안에 따라서 AR-디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 AR-오버레이를 계산하기 위한 방법에서, AR-오버레이는, 다음 방향 전환 위치 또는 지평선에 있는 목표 대상물 또는 목표 대상자의 아이콘이 오버레이 되도록 계산되고, 이 경우 아이콘은, 어떤 목표 대상물 또는 어떤 목표 대상자인지에 관한 정보 외에, 목표 대상물 또는 목표 대상자가 발견될 방향을 지시하는 방향 표시기를 운전자에게 표시하도록 구성된다. 이 방법은 합승자 센터 방식의 새로운 이동성 솔루션에 특히 바람직하게 이용될 수 있다. 다른 사람의 합승, 특히 사람의 픽업 및 이송이 운전자에게 용이해진다. 이 방법은 보통 다른 경우에도, 예를 들어 운전자가 POI(Points of Interest POI)라고도 하는 특정 시설을 찾고 있는 경우에 이용될 수 있다.
방법의 바람직한 조치는, 목표 대상물 또는 목표 대상자에 접근 시 아이콘에 대한 AR-오버레이는, 목표 대상물 또는 목표 대상자가 시야에 있는 경우에, 목표 대상물 또는 목표 대상자의 장소에 아이콘이 오버레이 되도록 계산되는 것이고, 상기 방향 표시기는 목표 대상물 또는 목표 대상자 전방의 바닥을 향한다. 운전자는 이와 같이 구체적인 지원을 받는다. 운전자의 시선은 직접 목표 대상물 또는 목표 대상자로 유도된다. 운전자에게 알려지지 않은 목표 대상자 또는 운전자에게 알려지지 않은 목표 대상물의 더 오랜 검색이 생략되고, 운전자의 주의는 덜 산만해진다.
또한, 바람직하게, 목표 대상물에 더욱 접근 시 그리고 이로 인해 목표 대상물 또는 목표 대상자가 AR-디스플레이 유닛의 오버레이 영역 밖으로 제한적인 이동 시 아이콘에 대한 AR-오버레이는, 오버레이 영역의 가장자리에 아이콘이 표시되도록 계산되고, 방향 표시기는 목표 대상물 또는 목표 대상자를 향한다. 목표 대상자 또는 목표 대상물의 장소에 이미 도달했더라도, 운전자는 추가 지원을 받는다. 따라서, 목표 대상자는 후속 교통에 더 이상 피해를 주지 않으면서 신속하게 픽업될 수 있다. 이는 특히 정차가 거의 불가능한 교통량이 많은 픽업 장소에서 특히 바람직하다.
아이콘의 목표 대상물에 더욱 접근 시 AR-오버레이는, 아이콘이 오버레이 영역의 가장자리로부터 거리 중심 방향으로 비켜서 나타나도록 계산되는 실시예도 이루어질 수 있다. 방향 표시기는 사람이 발견될 수 있는 곳을 가리킨다. 운전자의 시야 범위 내에서 더 중앙에 알림이 위치하고, 운전자가 정지해야 한다는 것을 암시한다.
또한, 아이콘에 대한 AR-오버레이는 차량이 목표 대상물 또는 목표 대상자에 접근하면, 아이콘이 확대되도록 계산되는 것이 바람직할 수 있다. 이것은, 접근 시 목표 대상물이나 목표 대상자도 확대되는 자연스러운 경험에 해당한다.
아이콘이 말풍선 형상을 가지면 특히 바람직하고, 상기 말풍선 형상에서 목표 대상물 또는 목표 대상자의 이미지 또는 픽토그램이 아이콘의 중앙에 삽입되고, 방향 표시기는 가장자리에 말풍선 화살표의 회전에 의해 형성된다. 이러한 말풍선 형상은 대부분의 사람들에 의해 적절하게 해석된다.
바람직한 조치는, 목표 대상물 또는 목표 대상자의 이름 또는 다른 명칭이 아이콘 아래에 오버레이 되도록 아이콘의 표시를 위한 AR-오버레이를 계산하는 것이다.
또한, AR-오버레이가 목표 대상물 또는 목표 대상자까지의 거리 정보도 포함하고, 상기 AR-오버레이는 아이콘 옆에 거리 정보가 오버레이 되도록 계산되면, 바람직하다. 따라서 운전자에게 더 정확하게 정보가 제공된다.
본 발명에 따른 방법을 수행하기 위한 장치에 있어서, 상기 장치는 AR 디스플레이 유닛, 컴퓨팅 유닛 및 내비게이션 시스템을 포함하는 것이 바람직하다. 내비게이션 시스템은 내비게이션 경로를 계산하며, 상기 내비게이션 시스템은, 변화하는 조건, 특히 교통 상황에 적응하기 위해 때대로 내비게이션 경로를 재계산하도록 설계된다. 컴퓨팅 유닛은 AR-오버레이를 계산하기 위한 단계를 수행한다. 이 경우, 컴퓨팅 유닛은, 다음 방향 전환 위치 또는 지평선에 있는 목표 대상물 또는 목표 대상자에 대한 아이콘이 오버레이 되도록, AR-오버레이의 계산을 위해 설계되며, 이 경우 아이콘은 어떤 목표 대상물 또는 어떤 목표 대상자인지에 관한 정보 외에, 목표 대상물 또는 목표 대상자가 발견될 방향을 지시하는 방향 표시기를 운전자에게 표시하도록 구성된다. 본 발명에 따른 방법과 관련하여 전술한 바와 같이, 해결 방법은 합승자 센터 방식의 상업적 이동성 솔루션을 위한 해결 방법에 바람직하다.
이 경우 바람직한 변형예는, 장치에 주변 모니터링 수단이 장착되며, 상기 주변 모니터링 수단에 의해 목표 대상물 또는 목표 대상자의 인식이 이루어진다. 이를 위해, 예를 들어 장치에 하나 이상의 카메라가 설치될 수 있다. 이미지 인식 방법은, 카메라가 제공하는 이미지를 평가하기 위해 이용된다. 대상물 또는 사람 인식을 위한 이미지 평가를 실행할 수 있는 공개된 알고리즘이 있다.
이 장치는 바람직하게, 본 발명에 따른 방법의 해당 방법 단계에 제시된 AR-오버레이의 계산이 상응하게 프로그래밍된 컴퓨팅 유닛으로 수행되도록 설계된다.
또한, 해당하는 방법 단계들을 포함하는 청구항들에 언급된 것과 동일한 장점들이 상응하게 프로그래밍된 컴퓨팅 유닛으로 방법을 수행하기 위한 장치에 적용된다.
장치의 디스플레이 유닛이 헤드 업 디스플레이로서 구현되면, 특히 바람직하다. 헤드 업 디스플레이 대신에 운전자가 착용하는 스마트 안경 또는 모니터가 디스플레이 유닛으로서 장치에서 사용되며, 상기 모니터에 AR-오버레이가 삽입된 카메라 이미지가 디스플레이된다.
전술한 바와 같이, 본 발명은 바람직하게, 디스플레이 유닛이 스마트 안경에 해당하는 경우에도 이용될 수 있다. 그러한 경우에 본 발명에 따른 방법은 보행자, 사이클리스트, 모터사이클 운전자 등에도 적용될 수 있다.
방법을 수행하기 위한 장치는 바람직하게 차량의 부분일 수 있다.
본 발명에 따른 방법을 수행하기 위해 장치의 컴퓨팅 유닛에서 처리되는 컴퓨터 프로그램에 본 발명에 다른 방법과 관련해서 기술된 동일한 장점들이 적용된다. 프로그램은 다운로드에 의해 공급자로부터 장치로 로딩되는 앱으로서 형성될 수 있다.
본 발명의 실시예들은 도면에 도시되며 이하에서 도면을 참고로 설명된다.
도 1은 운행 중에 헤드 업 디스플레이를 이용해서 차량의 운전자의 시야 내로 정보를 오버레이 하는 원리를 도시한 도면;
도 2는 차량의 일반적인 조종석을 도시한 도면;
도 3은 차량의 인포테인먼트 시스템의 블록 회로도를 도시한 도면;
도 4는 본 발명에 따른 방법의 실행 시 다양한 AR-오버레이를 계산하기 위한 프로그램의 흐름도를 도시한 도면;
도 5는 승차 공유 시스템에서 합승자 요청의 수신 시 운전자를 위한 AR-오버레이의 표시를 도시한 도면;
도 6은 합승 문의를 제시한 사람의 합승을 수락한 후에 운전자를 위한 AR-오버레이의 표시를 도시한 도면.
도 7은 합승 문의가 수락되지 않은 경우에 내비게이션 표시를 포함한 운전자를 위한 AR-오버레이의 표시를 도시한 도면.
도 8은 합승 문의가 수락된 경우에 내비게이션 표시를 포함한 운전자를 위한 AR-오버레이의 표시를 도시한 도면.
도 9는 운전자의 시야 내에 이미 합승자가 있는 경우에, 내비게이션 표시를 포함한 운전자를 위한 AR-오버레이의 표시를 도시한 도면.
도 10은 차량이 더 접근함으로써 합승자가 HUD-디스플레이 유닛의 오버레이 범위에서 사라지는 경우에, 2개의 내비게이션 표시를 포함한 운전자를 위한 AR-오버레이의 표시를 도시한 도면.
도 11은 합승 문의가 수락된 경우에, 내비게이션 표시를 포함한 운전자를 위한 대안적인 AR-오버레이의 표시를 도시한 도면.
도 12는 운전자가 정해진 관심 지점에 진입한 경우에, 내비게이션 표시를 포함한 운전자를 위한 AR-오버레이의 표시를 도시한 도면.
본 기재는 본 발명에 따른 공개 내용의 원리를 설명한다. 따라서, 물론 당업자는 여기에 명시적으로 기술되지 않지만, 본 발명에 따른 공개 내용의 원리를 구체화하고 그것의 범위도 보호되어야 하는 다양한 배치들을 고안할 수 있다.
도 1은 헤드 업 디스플레이의 기본적인 동작을 도시한다. 헤드 업 디스플레이(20)는 차량(10) 내에 대시 보드 영역에 있는 계기판 아래/후방에 장착된다. 윈드실드에 투사함으로써 운전자의 시야에 추가 정보가 오버레이 된다. 이러한 추가 정보는 차량(10)의 전방 7-15m의 거리에서 투사 영역(21)에 투사된 것처럼 보인다. 그러나 이러한 투사 영역(21)을 통해 여전히 실제 세계를 볼 수 있다. 오버레이 된 추가 정보는 일종의 가상 환경을 형성한다. 가상 환경은 이론적으로 실제 세계 위에 놓이며, 운행 시 운전자를 지원하고 운전자에게 정보를 제공하는 가상의 대상들을 포함한다. 그러나 이는 단지 윈드실드의 일부에만 투사되므로, 추가 정보는 운전자의 시야 내에 임의로 배치될 수 없다.
도 2는 차량(10)의 조종석을 도시한다. 승용차가 도시된다. 그러나 차량(10)으로서 임의의 다른 차량들도 고려된다. 다른 차량들의 예는 다음과 같다: 버스, 특히 화물차, 농기계, 건설 기계, 철도 차량 등. 본 발명의 이용은 일반적으로 육상 차량, 철도 차량, 선박 및 항공기에서 가능하다.
조종석에 인포테인먼트 시스템의 3개의 디스플레이 유닛이 도면부호로 표시된다. 이는 헤드 업 디스플레이(20) 및 중앙 콘솔에 설치된 터치 감응형 스크린(30)이다. 운행 시 중앙 콘솔은 운전자의 시야 내에 있지 않다. 따라서 운행 중에 추가 정보는 디스플레이 유닛(30)에 오버레이 되지 않는다. 또한, 통상의 계기판(110)도 대시보드 내에 도시되어 있다.
터치 감응형 스크린(30)은 특히 차량(10)의 기능을 조작하는데 이용된다. 예를 들어 이것에 의해, 라디오, 내비게이션 시스템, 저장된 음악곡의 재생 및/또는 에어 컨디셔닝 시스템, 차량(10)의 애플리케이션 또는 다른 전자 장치 또는 다른 편의 기능이 제어될 수 있다. 종합하면 주로 "인포테인먼트 시스템"에 관해 논의된다. 자동차, 특히 승용차에서 인포테인먼트 시스템은 자동차 라디오, 내비게이션 시스템, 스피커폰 장치, 운전자 지원 시스템 및 중앙 조작 유닛의 기타 기능들의 통합을 가리킨다. 용어 인포테인먼트는, 단어 인포메이션과 엔터테인먼트(오락)로 구성된 혼성어이다. 인포테인먼트 시스템의 조작을 위해 주로 터치 감응형 스크린(30; "터치스크린")이 이용되고, 이 경우 이러한 터치스크린(30)은 특히 차량(10)의 운전자에 의해서는 물론 차량(10)의 조수석 합승자에 의해서도 양호하게 인식되어 조작될 수 있다. 스크린(30)의 아래에 또한 기계적 조작 요소들, 예를 들어 버튼, 회전 조절기 또는 이들의 조합, 예컨대 푸시 회전 조절기가 입력 유닛(50) 내에 배치될 수 있다. 일반적으로 인포테인먼트 시스템의 부분들의 스티어링 휠 조작도 가능하다. 이러한 유닛은 별도로 도시되지 않지만, 입력 유닛(50)의 부분으로서 간주된다.
도 3은 인포테인먼트 시스템(200)의 블록 회로도를 개략적으로 도시하고, 인포테인먼트 시스템의 애플리케이션 또는 몇몇 서브 시스템을 예시적으로 도시한다. 조작 장치는 터치 감응형 디스플레이 유닛(30), 컴퓨팅 장치(40), 입력 유닛(50) 및 메모리(60)를 포함한다. 디스플레이 유닛(30)은 가변적인 그래픽 정보를 디스플레이하기 위한 디스플레이 영역과 사용자를 통해 명령을 입력하기 위한 디스플레이 영역 위에 배치된 조작 표면(터치 감응 층) 모두를 포함한다.
디스플레이 유닛(30)은 데이터 라인(70)을 통해 컴퓨팅 장치(40)에 연결된다. 데이터 라인은 저전압 차동 시그널링(Low Voltage Differential Signalling)에 해당하는 LVDS 표준에 따라 설계될 수 있다. 디스플레이 유닛(30)은 데이터 라인(70)을 통해 터치스크린(30)의 디스플레이 영역을 제어하기 위한 제어 데이터를 컴퓨팅 장치(40)로부터 수신한다. 데이터 라인(70)을 통해 입력된 명령의 제어 데이터도 터치스크린(30)으로부터 컴퓨팅 장치(40)로 전송된다. 도면부호 50으로 입력 유닛이 표시된다. 전술한 조작 요소들, 예컨대 버튼, 회전 조절기, 슬라이드 조절기 또는 푸시 회전 조절기가 이에 속하고, 상기 조작 요소들을 이용해서 조작자는 메뉴 탐색을 통해 입력을 수행할 수 있다. 입력이란 일반적으로 선택된 메뉴 옵션의 다이얼링은 물론 파라미터의 변경, 기능의 켜기 및 크기 등을 의미한다.
메모리 장치(60)는 데이터 라인(80)을 통해 컴퓨팅 장치(40)에 연결된다. 메모리(60)에 픽토그램 디렉터리 및/또는 아이콘 디렉터리가 추가 정보의 가능한 오버레이에 대한 픽토그램 및/또는 아이콘과 함께 저장된다.
인포테인먼트-시스템의 다른 부분들 즉 카메라(150), 라디오(140), 내비게이션 장치(130), 전화(120) 및 계기판(110)은 데이터 버스(100)를 통해 인포테인먼트 시스템을 조작하기 위한 장치에 연결된다. 데이터 버스(100)로서 ISO 표준 11898-2에 따른 CAN-버스의 고속 변형이 고려된다. 대안으로서 BroadR-Reach와 같이 예를 들어 이더넷 기술 기반의 버스 시스템의 이용도 고려된다. 광파 가이드를 통해 데이터 전송이 이루어지는 버스 시스템도 이용될 수 있다. 예로서 MOST 버스(Media Oriented System Transport) 또는 D2B 버스(Domestic Digital Bus)를 들 수 있다. 이 경우 또한, 카메라(150)는 종래의 비디오 카메라로서 설계될 수 있는 것이 언급된다. 이러한 경우에 상기 카메라는 인터레이스 기록 모드 50 하프 이미지/초와 동일한 25 풀 이미지/초를 기록한다. 대안으로서 특수 카메라가 사용될 수 있고, 상기 카메라는 물체가 더 빠르게 움직일 때 물체 인식의 정확성을 높이기 위해 초당 더 많은 이미지를 기록한다. 주변 모니터링을 위해 복수의 카메라가 사용될 수 있다. 또한, 주변 모니터링을 실시하거나 확장하기 위해, 보완적으로 또는 대안으로서 전술한 RADAR- 또는 LIDAR-시스템도 사용될 수 있다. 내부 또는 외부 무선 통신을 위해 차량(10)에 통신 모듈(160)이 설치된다. 이러한 모듈은 흔히 온 보드 유닛이라고도 한다. 상기 모듈은, 예를 들어 Long Term Evolution에 해당하는 LTE-표준에 따른 모바일 무선 통신에 대해 설계될 수 있다. 또한, 상기 모듈은, 차량 내 승객의 기기와 통신을 위해서든 또는 차량 대 차량 통신을 위해서든 또는 차량 대 인프라스트럭처 통신 등을 위해서든, Wireless LAN에 해당하는 WLAN-통신에 대해 설계될 수 있다.
AR-디스플레이 유닛(20) 상의 디스플레이 표시를 위한 추가 정보의 AR-오버레이를 계산하기 위한 본 발명에 따른 방법은 이하에서 실시예를 참고로 상세히 설명된다. 대안적인 실시 형태들도 논의된다.
추가 도면들에 대해, 동일한 도면 부호는 도 1 내지 도 3의 기재와 동일한 영역 및 아이콘을 나타낸다.
흐름도 및 AR-오버레이의 복수의 이미지에 의해 "승차 공유 서비스"에서 합승자의 합승 과정이 설명되며, 상기 AR-오버레이는 과정 중에 오버레이 된다.
도 4는 합승자의 합승 개시 시 및 합승자의 픽업 시 다양한 단계들의 AR-오버레이를 계산하기 위한 컴퓨터 프로그램(400)의 흐름도를 도시한다. 프로그램(400)은 컴퓨팅 유닛(40)에서 처리된다. 프로그램 시작은 도면 부호 402로 표시된다. 질의(404)에서, 합승자의 합승 문의가 입력되었는지 여부가 체크된다. 그렇지 않은 경우라면, 프로그램은 다시 단계(422)에서 종료된다. 그러나 합승 문의가 입력되면, 단계(406)에서 아이콘(310) 및 추가 정보를 포함하는 AR-오버레이가 계산되어 디스플레이된다. AR-오버레이의 디스플레이 표시는 도 5에 도시된다. 추가 정보로서 질문 형태의 텍스트가 문의자의 이름(330)과 함께 오버레이 된다. 기타 추가 정보는, 합승하고자 하는 사람이 있을 경우에, 그 사람이 지불할 운임과 픽업을 위한 추가 필요 시간 및 사람을 픽업하기 위해 필요한 우회로의 경로 거리에 관한 것이다. 또한, 운전자에게 조작 옵션을 제공하는 2개의 조작 요소(320)를 더 볼 수 있다. 스티어링 휠 조작 시 체크 표시를 선택하여 OK-버튼을 누름으로써 운전자는 합승 문의를 편안하게 수락할 수 있다. 스티어링 휠 조작 시 X를 선택하여 OK-버튼을 누름으로써 운전자는 합승 문의를 편안하게 거절할 수 있다. 이것은 이러한 승차 공유 서비스에서 출력되는 전형적인 정보이다. 그 아래에 추가 정보가 오버레이 되고, 상기 추가 정보는 교통 표지 식별과 같은 특정한 운전자 보조 시스템으로부터 제공된다.
오늘날의 차량에 일반적으로 다기능 스티어링 휠(MFL)이 장착되고, 상기 스티어링 휠로 인포테인먼트 시스템이 조작될 수 있다. MFL에 의한 기본적인 조작은 하기 버튼에 의해 이루어질 수 있다. 화살표 버튼으로 조작 요소가 선택되고, OK-버튼(작동 버튼)으로 선택된 요소가 수락된다.
프로그램의 추가 실행 시 질의(408)가 뒤따른다. 거기에서 합승 문의가 수락되었는지 여부가 검사된다. 그렇지 않다면, 프로그램은 다시 프로그램 단계(422)에서 종료된다. 문의가 수락되었으면, 프로그램 단계(410)에서 합승 문의의 승낙이 운전자에게 확인되는 AR-오버레이의 계산이 수행된다. 이러한 AR-오버레이의 예는 도 6에 도시된다. 선택 체크 표시만 디스플레이되는 축소된 형태이다. 이와 병행하여, 내비게이션 시스템에서 주행 경로의 재계산이 이루어지고, 합승자의 픽업 장소가 중간 목적지로서 고려된다.
그 후에, 합승자의 픽업 장소로 경로 탐색을 위한 AR-오버레이를 계산하기 위해 프로그램이 변경된다. 프로그램 단계(412)에서, 내비게이션 경로(360) 및 방향 전환 알림(370)과 같은 일반적인 내비게이션 알림 외에 말풍선 형상을 가지며 합승자(남/여)를 알려주는 아이콘(310)을 포함하는 AR-오버레이가 계산된다. 도 7은 이러한 오버레이의 예를 도시한다. 거기에서 실시예는, 이것이 원형 말풍선 형상과 관련되도록 선택되고, 이 경우 면적은 합승자의 이미지로 채워진다. 이는 합승 문의 시 시스템에 의해 인계된 함께 제공된 사진의 섬네일(thumbnail)일 수 있다. AR-오버레이는 주행 조종이 임박한 경우 차량(10)이 새로 계산된 내비게이션 경로(370)에 따라 이동해야 하는 방향으로 방향 표시기(315)로서 말풍선 화살표가 회전되도록, 내비게이션 시스템(130)을 이용해서 계산된다.
이와 달리 도 8에, 차량의 경로 탐색 중에 종래의 AR-오버레이에 어떤 요소들이 표시되는지 도시된다. 따라서 방향 표시기(315)를 포함하는 아이콘(310)은 이 도면에서 빠져 있다.
계속해서, 질의(414)에서, 합승자가 시야 내에 있는 동안 이미 차량이 픽업 장소에 접근했는지 여부에 대한 체크가 이루어진다. 이러한 체크는 온 보드 리소스(onboard resources)로 수행할 수 있다. 차량(10)의 위치는 내비게이션 시스템(130)에 의해 연속적으로 검출된다. 차량(10)의 위치를 분석함으로써, 픽업 장소가 시야 내에 있는지 여부가 미리 결정될 수 있다. 또한, 카메라(150)와 같은 주변 모니터링 수단은 픽업 장소 또는 합승자(340)를 식별하기 위해 사용될 수 있다. 이미 언급했듯이, 이를 위해 안면 인식 알고리즘과 같은 이미지 평가 알고리즘이 이용될 수 있다. 합승자가 시야 범위에 있지 않으면, 프로그램은 단계(412)로 다시 분기하고, 픽업 장소로 경로 탐색 시 추가 경로 탐색 알림이 계산된다.
도 9는 합승자가 시야 내에 있는 상황에 대한 예시적인 AR-오버레이를 도시한다. 아이콘(310)은 인식된 사람의 지점에 직접 위치한다. 이것은 또한, 사람의 그룹 내에서 합승자의 위치를 찾아낼 수 있기 위한 목적을 갖는다. 말풍선이 합승자의 위치에 있는 한, 말풍선 화살표는 아래를 향한다.
프로그램 단계(418)에서, 목표 대상자가 HUD-디스플레이 유닛(20)의 오버레이 영역(21) 밖으로 이동할 정도로 이미 접근이 진행되었는지 여부가 체크된다. 그렇지 않다면, 프로그램은 단계(416)로 다시 분기한다.
그렇다면, 프로그램 단계(420)에서 AR-오버레이는, 픽업 장소에 접근 시, 말풍선이 합승자의 위치로부터 분리되어 차선 중앙을 향해 이동하도록 계산되는데, 그렇지 않으면 말풍선이 디스플레이 영역 외부에 놓일 것이기 때문이다. 그리고 나서 말풍선 화살표 형상의 회전 가능한 방향 표시기(315)는 아래로 향하는 것이 아니라, 합승자의 방향으로 회전된다. 이러한 오버레이에 의해 운전자에게 운전자가 정차해야 한다는 알림이 간접적으로도 제공된다. 이는 경찰, 소방관, 건설 노동자 등과 같은 신호 지시봉을 가진 사람이 운전자에게 지시할 때의 일반적인 수단에 상응한다. 운전자가 정차해야 한다는 것을 운전자에게 알리기 위해, 지시봉도 차량 앞에서 멈춘다. 정차 직전에 합승자의 이름(330)이 오버레이 된다. 이러한 과정은 도 10에 도시된다. 거기에, 합승자(340)가 오버레이 영역(21)으로부터 바로 사라지고, 방향 표시기(315)가 회전되며, 이름(330)이 오버레이 되는 것이 도시된다. 이어서 프로그램이 프로그램 단계(422)에서 종료한다.
도 11은 아이콘(310)의 오버레이를 포함해서 내비게이션 경로(360)의 표시의 다른 형태도 도시한다. 이 경우 내비게이션 경로는 연속 대역으로서 표시되고, 아이콘(310) 외에 거리 정보(350)도 오버레이 되므로, 운전자는 픽업 장소까지 여전히 얼마나 떨어져 있는지에 대한 정보를 받을 수 있다.
도 12는 합승자가 픽업되는 것이 아니라, 운전자가 중간 목적지로서 POI(Point of Interest)에 해당하는 관심 지점을 입력한 경우에, AR-오버레이의 형상을 도시한다. 이 경우에도 아이콘(310)은 말풍선으로 형성된다. 그 아래에 POI의 명칭(330)도 텍스트 형태로 오버레이 된다. 아이콘으로서 말풍선의 이용은 따라서 정적 대상물에도 적용될 수 있다. 이 경우에도 말풍선은, 헤드 업 디스플레이(20)의 디스플레이 영역 내에 POI가 위치하는 한, POI 바로 위에 위치 설정된다. 더 접근하면, 차선 중심 방향으로 전술한 재 위치 설정이 다시 이루질 것이다.
제한된 표현뿐만 아니라 본원에 언급된 모든 예는 이러한 구체적으로 명시된 예에 제한하지 않고 이해되어야 한다. 예를 들어, 당업자는 본 명세서에 도시된 블록 회로도는 예시적인 회로 배치의 구상도 임을 이해할 것이다. 유사하게, 도시된 흐름도, 상태도, 의사 코드 등은 실질적으로 컴퓨터 판독 가능 매체에 저장되어 컴퓨터 또는 프로세서에 의해 실행될 수 있는 프로세스의 재현을 위한 다양한 변형예이다. 특허 청구항에 언급된 대상은 명시적으로 사람이 될 수도 있다.
제안된 방법 및 관련 장치는 하드웨어, 소프트웨어, 펌웨어, 특수 프로세서, 또는 이들의 조합의 다양한 형태로 구현될 수 있음을 이해해야 한다. 특수 프로세서는 ASIC(Application Specific Integrated Circuits), RISC(Reduced Instruction Set Computer) 및/또는 FPGA(Field Programmable Gate Arrays)를 포함할 수 있다. 바람직하게는, 제안된 방법 및 장치는 하드웨어와 소프트웨어의 조합으로서 구현된다. 소프트웨어는 바람직하게는 프로그램 저장 장치에 응용 프로그램으로서 설치된다. 일반적으로, 예를 들어 하나 이상의 중앙 처리 유닛(CPU), RAM(Random Access Memory) 및 하나 이상의 입/출력(I/O) 인터페이스와 같은 하드웨어를 포함하는 컴퓨터 플랫폼을 기반으로 하는 기계가 관련된다. 또한, 컴퓨터 플랫폼에 일반적으로 운영 체제가 설치된다. 여기에 설명된 다양한 프로세스 및 기능들은 운영 체제를 통해 실행되는 부분 또는 응용 프로그램의 일부일 수 있다.
공개 내용은 여기에 설명된 실시예들에 제한되지 않는다. 당업자가 자신의 전문 지식에 기초해서 공개 내용에 관련된 것으로 고려할 다양한 조정 및 수정을 위한 여지가 있다.
본 발명은, 운전자, 조작자 또는 단순히 스마트 안경만을 착용한 사람의 시야에 AR-오버레이가 제공될 수 있으면 항상 적용될 수 있다.
10 차량
20 헤드 업 디스플레이 HUD
21 가상 투사 영역
30 터치 감응형 디스플레이 유닛
40 컴퓨팅 유닛
50 입력 유닛
60 메모리 유닛
70 디스플레이 유닛에 대한 데이터 라인
80 메모리 유닛에 대한 데이터 라인
90 입력 유닛에 대한 데이터 라인
100 데이터 버스
110 계기판
120 전화
130 내비게이션 장치
140 라디오
150 카메라
160 통신 모듈
200 인포테인먼트 시스템
310 아이콘
315 방향 표시기
320 작동 옵션
330 명칭
340 목표 대상자
350 거리 정보
360 내비게이션 경로
370 방향 전환 알림
400 컴퓨터 프로그램
402-422 다양한 프로그램 단계

Claims (15)

  1. 차량(10)의 AR-디스플레이 유닛(20)에 내비게이션 경로(2009, 2010)를 표시하기 위한, 증강 현실-오버레이(augmented reality-overlay)에 해당하는 AR-오버레이를 계산하기 위한 방법으로서, 상기 내비게이션 경로(2009, 2010)는 내비게이션 시스템(130)에 의해 계산되고,
    AR-오버레이는, 다음 방향 전환 위치 또는 지평선에 있는 목표 대상물 또는 목표 대상자(340)에 대한 아이콘(310)이 오버레이 되도록 계산되고, 상기 아이콘(310)은, 어떤 목표 대상물 또는 어떤 목표 대상자(340)인지에 관한 정보 외에, 상기 목표 대상물 또는 상기 목표 대상자(340)가 발견될 방향을 지시하는 방향 표시기(315)를 운전자가 인식할 수 있게 구성되며,
    상기 목표 대상물 또는 상기 목표 대상자(340)에 접근 시, 상기 아이콘(310)에 대한 AR-오버레이는, 상기 목표 대상물 또는 상기 목표 대상자(340)가 시야에 있는 경우에, 상기 목표 대상물 또는 상기 목표 대상자(340)의 장소에 상기 아이콘(310)이 오버레이 되도록 계산되고, 상기 방향 표시기(315)가 상기 목표 대상물 또는 상기 목표 대상자(340) 전방의 바닥을 향하는 것을 특징으로 하는 증강 현실-오버레이에 해당하는 AR-오버레이를 계산하기 위한 방법.
  2. 제 1 항에 있어서, 상기 목표 대상물에 더욱 접근 시 그리고 이로 인해 상기 목표 대상물 또는 상기 목표 대상자(340)가 오버레이 영역(21) 밖으로 제한적인 이동 시, 상기 아이콘(310)에 대한 AR-오버레이는, 상기 오버레이 영역(21)의 가장자리에 상기 아이콘(310)이 표시되도록 계산되고, 상기 방향 표시기(315)가 상기 목표 대상물 또는 상기 목표 대상자(340)를 향하는 것인 방법.
  3. 제 2 항에 있어서, 상기 목표 대상물에 더욱 접근 시, 상기 아이콘(310)에 대한 AR-오버레이는, 상기 아이콘(310)이 상기 오버레이 영역(21)의 가장자리로부터 거리 중심 방향으로 비켜서 나타나도록 계산되는 것인 방법.
  4. 제 2 항에 있어서, 상기 아이콘(310)에 대한 AR-오버레이는, 상기 차량(10)이 상기 목표 대상물 또는 상기 목표 대상자(340)에 접근하면, 상기 아이콘(310)이 확대되도록 계산되는 것인 방법.
  5. 제 1 항 또는 제 2 항에 있어서, 상기 아이콘(310)은 말풍선(speech bubble) 형상을 갖고, 상기 말풍선 형상에서 상기 목표 대상물 또는 상기 목표 대상자(340)의 이미지 또는 픽토그램(pictogram)이 상기 아이콘(310)의 중앙에 삽입되고, 상기 방향 표시기(315)는 가장자리에 방향 화살표로서 형성되는 것인 방법.
  6. 제 5 항에 있어서, 상기 방향 화살표는 말풍선 화살표로서 상기 아이콘(310)의 가장자리에 통합되는 것인 방법.
  7. 제 1 항 또는 제 2 항에 있어서, 상기 아이콘(310)의 표시를 위한 AR-오버레이는, 상기 목표 대상물 또는 상기 목표 대상자(340)의 이름 또는 다른 명칭(330)이 상기 아이콘(310)의 아래에 오버레이 되도록 계산되는 것인 방법.
  8. 제 5 항에 있어서, AR-오버레이는 또한 상기 목표 대상물 또는 상기 목표 대상자(340)까지의 거리 정보를 포함하고, 상기 AR-오버레이는, 상기 아이콘(310) 옆에 상기 거리 정보가 오버레이 되도록 계산되는 것인 방법.
  9. 제 1 항에 따른 방법을 수행하기 위한 장치로서, 증강 현실-오버레이를 위한 AR-디스플레이 유닛(20)을 포함하고, 내비게이션 경로를 계산하는 내비게이션 시스템(130) 및 AR-오버레이를 계산하기 위한 컴퓨팅 유닛(40)을 더 포함하는 장치에 있어서,
    상기 컴퓨팅 유닛(40)은, 다음 방향 전환 위치 또는 지평선에 있는 목표 대상물 또는 목표 대상자(340)에 대한 아이콘(310)이 오버레이 되도록, AR-오버레이의 계산을 위해 설계되고, 상기 아이콘(310)은, 어떤 목표 대상물 또는 어떤 목표 대상자(340)인지에 관한 정보 외에, 상기 목표 대상물 또는 상기 목표 대상자(340)가 발견될 방향을 지시하는 방향 표시기(315)를 운전자가 인식할 수 있게 구성되며,
    상기 컴퓨팅 유닛(40)은, 상기 목표 대상물 또는 상기 목표 대상자(340)에 접근 시, 상기 아이콘(310)에 대한 AR-오버레이를, 상기 목표 대상물 또는 상기 목표 대상자(340)가 시야에 있는 경우에, 상기 목표 대상물 또는 상기 목표 대상자(340)의 장소에 상기 아이콘(310)이 오버레이 되도록 계산하고, 상기 방향 표시기(315)가 상기 목표 대상물 또는 상기 목표 대상자(340) 전방의 바닥을 향하는 것을 특징으로 하는 장치.
  10. 제 9 항에 있어서, 상기 장치에 주변 모니터링 수단(150)이 장착되고, 상기 주변 모니터링 수단(150)에 의해 상기 목표 대상물 또는 상기 목표 대상자(340)의 인식이 이루어지는 것인 장치.
  11. 제 9 항에 있어서, 상기 컴퓨팅 유닛(40)은 또한, 제 2 항에 따른, AR-오버레이의 계산을 수행하도록 설계되는 것인 장치.
  12. 제 9 항 또는 제 10 항에 있어서, 상기 AR-디스플레이 유닛(20)은 헤드 업 디스플레이(HUD) 또는 스마트 안경인 것인 장치.
  13. 제 9 항 또는 제 10 항에 따른 장치를 포함하는 것을 특징으로 하는 자동차(10).
  14. 컴퓨팅 유닛(40)에서 처리 시, AR-디스플레이 유닛(20) 상에 내비게이션 경로(2009, 2010)의 표시를 위한 AR-오버레이를 계산하기 위해 제 1 항 또는 제 2 항에 따른 방법의 단계들을 수행하도록 설계되는 것을 특징으로 하는, 매체에 저장된 컴퓨터 프로그램.
  15. 삭제
KR1020190056386A 2018-05-14 2019-05-14 Ar 디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 증강 현실 오버레이를 계산하기 위한 방법, 이 방법을 수행하기 위한 장치 및 자동차 그리고 컴퓨터 프로그램 KR102204250B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018207440.2 2018-05-14
DE102018207440.2A DE102018207440A1 (de) 2018-05-14 2018-05-14 Verfahren zur Berechnung einer "augmented reality"-Einblendung für die Darstellung einer Navigationsroute auf einer AR-Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm

Publications (2)

Publication Number Publication Date
KR20190130517A KR20190130517A (ko) 2019-11-22
KR102204250B1 true KR102204250B1 (ko) 2021-01-18

Family

ID=66334144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190056386A KR102204250B1 (ko) 2018-05-14 2019-05-14 Ar 디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 증강 현실 오버레이를 계산하기 위한 방법, 이 방법을 수행하기 위한 장치 및 자동차 그리고 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US20210088351A1 (ko)
EP (1) EP3570225A1 (ko)
KR (1) KR102204250B1 (ko)
CN (1) CN110487296A (ko)
DE (1) DE102018207440A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034750A1 (ko) * 2022-08-09 2024-02-15 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 증강현실 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020200047A1 (de) * 2020-01-06 2021-07-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Darstellung von virtuellen Navigationselementen
DE102020001442B4 (de) * 2020-03-05 2022-02-03 Daimler Ag Verfahren zur Darstellung eines einen Bildbereich überlagernden Navigationshinweises und ein Assistenzsystem eines Fahrzeuges
CN111561938A (zh) * 2020-05-28 2020-08-21 北京百度网讯科技有限公司 Ar导航方法和装置
EP3932719B1 (en) 2020-07-03 2024-04-24 Honda Research Institute Europe GmbH Method for assisting a user of an assistance system, assistance system and vehicle comprising such a system
DE102020209514A1 (de) 2020-07-29 2022-02-03 Volkswagen Aktiengesellschaft Verfahren zur Lokalisierung wenigstens eines Ladepunktes
CN112212865B (zh) * 2020-09-23 2023-07-25 北京市商汤科技开发有限公司 Ar场景下的引导方法、装置、计算机设备及存储介质
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
CN115412709B (zh) * 2022-07-26 2023-11-10 广州汽车集团股份有限公司 投影方法、装置、车辆及存储介质
CN114993337B (zh) * 2022-08-08 2022-11-15 泽景(西安)汽车电子有限责任公司 导航动画的显示方法、装置、arhud及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160003636A1 (en) * 2013-03-15 2016-01-07 Honda Motor Co., Ltd. Multi-level navigation monitoring and control

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5155915B2 (ja) * 2009-03-23 2013-03-06 株式会社東芝 車載用表示システム、表示方法及び車両
DE102010003610A1 (de) * 2010-04-01 2011-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren, System und Abgleichmittel zum automatisierten Abgleich von dynamischen Fahrtrouten mit ortsbezogenen Mitfahranfragen
DE102013211028A1 (de) * 2013-06-13 2014-12-18 Robert Bosch Gmbh Verfahren und System zum Auffinden einer oder mehrerer Personen durch ein Fahrzeug
DE102013016249A1 (de) * 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur Darstellung von Navigationshinweisen
DE102013016244A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
US9552559B2 (en) * 2014-05-06 2017-01-24 Elwha Llc System and methods for verifying that one or more directives that direct transport of a second end user does not conflict with one or more obligations to transport a first end user
US20180069165A1 (en) * 2015-02-20 2018-03-08 Hitachi, Ltd. Method of manufacturing magnesium diboride superconducting thin film wire and magnesium diboride superconducting thin film wire
US20160364823A1 (en) * 2015-06-11 2016-12-15 Raymond Cao Systems and methods for on-demand transportation
CN105675008A (zh) * 2016-01-08 2016-06-15 北京乐驾科技有限公司 一种导航显示方法及系统
CN109477967A (zh) * 2016-05-11 2019-03-15 威瑞股份公司 具可变焦平面的抬头显示系统
EP3248824B1 (en) * 2016-05-20 2020-09-16 Ricoh Company, Ltd. Head-up display
US9809165B1 (en) * 2016-07-12 2017-11-07 Honda Motor Co., Ltd. System and method for minimizing driver distraction of a head-up display (HUD) in a vehicle
US11248925B2 (en) * 2016-07-28 2022-02-15 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented road line detection and display system
ES2753131T3 (es) * 2016-12-27 2020-04-07 Volkswagen Ag Sistema de asistencia al conductor, producto de programa informático, secuencia de señales, medio de transporte y procedimiento para la información de un usuario de un medio de transporte
US11118930B2 (en) * 2017-07-14 2021-09-14 Lyft, Inc. Providing information to users of a transportation system using augmented reality elements
US10423834B2 (en) * 2017-08-31 2019-09-24 Uber Technologies, Inc. Augmented reality assisted pickup
JP6909151B2 (ja) * 2017-12-28 2021-07-28 アルパイン株式会社 車載システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160003636A1 (en) * 2013-03-15 2016-01-07 Honda Motor Co., Ltd. Multi-level navigation monitoring and control

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034750A1 (ko) * 2022-08-09 2024-02-15 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 증강현실 장치
WO2024034752A1 (ko) * 2022-08-09 2024-02-15 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 증강현실 장치

Also Published As

Publication number Publication date
CN110487296A (zh) 2019-11-22
KR20190130517A (ko) 2019-11-22
US20210088351A1 (en) 2021-03-25
EP3570225A1 (de) 2019-11-20
DE102018207440A1 (de) 2019-11-14

Similar Documents

Publication Publication Date Title
KR102204250B1 (ko) Ar 디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 증강 현실 오버레이를 계산하기 위한 방법, 이 방법을 수행하기 위한 장치 및 자동차 그리고 컴퓨터 프로그램
US11629972B2 (en) Method for calculating an augmented reality overlay for displaying a navigation route on an AR display unit, device for carrying out the method, motor vehicle and computer program
US11486726B2 (en) Overlaying additional information on a display unit
KR102276096B1 (ko) 디스플레이 유닛 상에 디스플레이하기 위한 부가 정보의 삽입을 계산하기 위한 방법, 상기 방법을 수행하기 위한 장치 그리고 자동차 및 컴퓨터 프로그램
EP3261871B1 (en) Display control apparatus and method
EP2936235B1 (en) System for a vehicle
US9487172B2 (en) Image display device and method thereof
JP4650349B2 (ja) 車両用表示システム
CN110696614B (zh) 经由驾驶员hud和乘客hud控制车辆功能的系统和方法
CN103323019A (zh) 用于在导航设备中显示背景屏幕的方法
JP6825683B1 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及びプログラム
JP2007076381A (ja) 車両用情報表示装置
EP3317755B1 (en) An information system for a vehicle
US11865918B2 (en) Display control device, display control system, and display control method
JP7477470B2 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及びプログラム
US20210354705A1 (en) Method for avoiding a field of view disturbance for an operator of an object, device for carrying out the method as well as vehicle and computer program
CN114882579A (zh) 车载屏幕的控制方法、装置及车辆
KR20150056715A (ko) 헤드업 디스플레이 영상의 출력 장치 및 그 방법
US20220111730A1 (en) Vehicular display apparatus
JP7346801B2 (ja) 車両用表示装置、表示方法及びプログラム
WO2022210172A1 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム
US20240042858A1 (en) Vehicle display system, vehicle display method, and storage medium storing vehicle display program
US20230376123A1 (en) Display system
JP5979915B2 (ja) 車載表示システム
KR20170064604A (ko) 헤드업 디스플레이의 표시 제어 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant