KR20210113661A - 헤드업 디스플레이 시스템 - Google Patents

헤드업 디스플레이 시스템 Download PDF

Info

Publication number
KR20210113661A
KR20210113661A KR1020217025528A KR20217025528A KR20210113661A KR 20210113661 A KR20210113661 A KR 20210113661A KR 1020217025528 A KR1020217025528 A KR 1020217025528A KR 20217025528 A KR20217025528 A KR 20217025528A KR 20210113661 A KR20210113661 A KR 20210113661A
Authority
KR
South Korea
Prior art keywords
road
camera
road course
information
input
Prior art date
Application number
KR1020217025528A
Other languages
English (en)
Inventor
무함메트 쿠르샤트 사리아슬란
Original Assignee
베스텔 일렉트로닉 사나이 베 티카레트 에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 filed Critical 베스텔 일렉트로닉 사나이 베 티카레트 에이에스
Publication of KR20210113661A publication Critical patent/KR20210113661A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3652—Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Image Processing (AREA)

Abstract

헤드업 디스플레이 시스템 및 헤드업 디스플레이 시스템을 포함하는 방법이 운전자에게 비가시적인 일부 로드에 대한 정보를 식별하고 디스플레이 하기 위해 설명되었으며, 상기 차량용 헤드업 디스플레이 시스템(100)에 있어서, 운전자의 시야 내의 프로젝터(104) 및 투명판(105) - 상기 프로젝터(104) 및 상기 투명판(105)은, 상기 투명판(105) 상에 로드 코스(road course)에 대한 정보를 프로젝트하도록 구성됨 - ; 및 프로세서(103);를 포함하되, 상기 프로세서(103)는, 상기 차량의 전방의 로드의 이미지 - 상기 이미지는 카메라(101)에 의해 제공됨 - 를 분석하고, 상기 카메라(101)의 입력에 기초하여 상기 로드 코스를 결정하는 프로세스; 상기 로드를 포함하는, 맵 상의 상기 차량의 위치에 대한 내비게이션 정보 - 상기 내비게이션 정보는 내비게이션 시스템(102)에 의해 제공됨 - 를 분석하고, 상기 내비게이션 시스템(102)의 입력에 기초하여 상기 로드 코스를 결정하는 프로세스; 상기 카메라(101)의 입력에 의해 결정된 상기 로드 코스 및 상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스를 매칭시키는 프로세스; 상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스에서, 상기 카메라(101)에 의해 캡쳐되지 않은 일부 로드 코스를 결정하는 프로세스; 상기 로드 코스에서 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 일부 로드 코스에 대한 그래픽 정보(306)를 산출하는 프로세스; 및 프로젝터(104)를 통하여, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 로드 코스의 끝에서부터, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 일부 로드 코스에 대하여 산출된 상기 그래픽 정보(306)를 프로젝트함으로써, 상기 투명판(105) 상에 전방의 상기 로드의 비가시적인 일부에 대한 그래픽 정보(306)를 제공하는 프로세스;를 수행하도록 구성된, 차량용 헤드업 디스플레이 시스템(100)이 제공된다.

Description

헤드업 디스플레이 시스템
본 발명은 헤드업 디스플레이 시스템(100) 및 운전자에게 비가시적인 일부 로드에 대한 정보를 식별하고 디스플레이 하기 위한 헤드업 디스플레이 시스템(100)을 포함하는 방법에 관련된 것이다.
현재의 내비게이션 시스템은, 일반적으로 별도의 패널을 통해 정보를 표시하거나 헤드업 디스플레이를 사용하는 가시적인 방법으로 방향을 제공한다. 헤드업 디스플레이에 표시되는 정보는 대개 제한적이며 간단한 아이콘, 간결한 텍스트 정보 및/또는 운전자에게 내비게이션 정보를 제공하는 화살표로 구성된다. 운전자가 내비게이션 시스템(102)의 별도 패널에서 내비게이션 정보를 볼 때, 운전자의 집중이 전방 로드의 상황으로부터 잠시라도 벗어나 위험한 상황으로 이어질 수 있다. 따라서, 운전자에게 잠재적으로 위험한 상황 및/또는 다가오는 정확한 로드 코스에 대해 개선된 방식으로 알려주는 것이 바람직할 것이다.
따라서, 본 발명은 선행 기술의 문제점들을 극복하는 개선된 시스템을 제공하는 것을 목적으로 한다.
청구범위에 정의된 발명을 통해 해결하려는 과제를 해결한다.
차량용 헤드업 디스플레이 시스템(100)에 있어서,
운전자의 시야 내의 프로젝터(104) 및 투명판(105) - 상기 프로젝터(104) 및 상기 투명판(105)은, 상기 투명판(105) 상에 로드 코스(road course)에 대한 정보를 프로젝트하도록 구성됨 - ; 및
프로세서(103);를 포함하되, 상기 프로세서(103)는,
상기 차량의 전방의 로드의 이미지 - 상기 이미지는 카메라(101)에 의해 제공됨 - 를 분석하고, 상기 카메라(101)의 입력에 기초하여 상기 로드 코스를 결정하는 프로세스;
상기 로드를 포함하는, 맵 상의 상기 차량의 위치에 대한 내비게이션 정보 - 상기 내비게이션 정보는 내비게이션 시스템(102)에 의해 제공됨 - 를 분석하고, 상기 내비게이션 시스템(102)의 입력에 기초하여 상기 로드 코스를 결정하는 프로세스;
상기 카메라(101)의 입력에 의해 결정된 상기 로드 코스 및 상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스를 매칭시키는 프로세스;
상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스에서, 상기 카메라(101)에 의해 캡쳐되지 않은 일부 로드 코스를 결정하는 프로세스;
상기 로드 코스에서 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 일부 로드 코스에 대한 그래픽 정보(306)를 산출하는 프로세스; 및
프로젝터(104)를 통하여, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 로드 코스의 끝에서부터, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 일부 로드 코스에 대하여 산출된 상기 그래픽 정보(306)를 프로젝트함으로써, 상기 투명판(105) 상에 전방의 상기 로드의 비가시적인 일부에 대한 그래픽 정보(306)를 제공하는 프로세스;를 수행하도록 구성된,
헤드업 디스플레이 시스템(100)이 제공된다.
상기 카메라(101)의 입력에 의해 결정된 상기 로드 코스 및 상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스는, 상기 로드의 노변, 상기 차량에 의해 사용된 로드 레인(road lane)(304), 및/또는 상기 로드의 중앙분리대에 대한 정보를 포함할 수 있다.
프로젝트된 상기 그래픽 정보(306)는, 상기 로드의 노변을 나타내는 연속적인 또는 비연속적인 선, 또는 상기 로드 또는 상기 로드의 로드 레인(304)을 나타내는 스트립의 형태일 수 있다.
프로젝트된 상기 그래픽 정보(306)는 상기 운전자의 시야 내의 가시적인 색상들과 다른 색상으로 표현될 수 있다.
상기 프로세서(103)는, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 일부 로드가 위험 요인을 포함하는지 결정하고, 상기 운전자에게 알람을 제공하는 프로세스;를 수행하도록 더 구성될 수 있다.
상기 위험 요인은 급격한 또는 갑작스러운 선회, 교통 신호, 및/또는 상기 로드의 좁아짐일 수 있다.
상기 알람은 가시적, 촉각 또는 음향 알람일 수 있다.
상기 알람은, 프로젝트된 상기 그래픽 정보(306)의 기설정된 색상 및/또는 경고등에 의해 표시될 수 있다.
시스템(100)은, 상기 차량의 전방의 로드의 상기 이미지를 캡쳐하도록 구성된 상기 카메라(101)을 더 포함할 수 있다.
시스템(100)은, 로드 레인(304)를 포함하는 맵 상에 상기 차량의 위치를 결정하도록 구성된 상기 내비게이션 시스템(102)을 더 포함할 수 있다.
또한, 위에서 설명한 상기 헤드업 디스플레이 시스템(100)을 사용하는 상기 운전자의 시야 내의 전방의 상기 로드의 상기 비가시적인 일부에 대한 상기 그래픽 정보(306)를 제공하기 위한 컴퓨터 구현 방법에 있어서,
상기 차량의 전방의 상기 로드의 상기 이미지 - 상기 이미지는 상기 카메라(101)에 의해 제공됨 - 를 분석하고, 상기 로드 코스를 결정하는 단계;
상기 로드를 포함하는, 상기 맵 상의 상기 차량의 상기 위치에 대한 상기 내비게이션 정보 - 상기 내비게이션 정보는 상기 내비게이션 시스템(102)에 의해 제공됨 - 를 분석하고, 상기 로드 코스를 결정하는 단계;
상기 카메라(101)의 입력에 의해 결정된 상기 로드 코스 및 상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스를 매칭시키는 단계;
상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스에서, 상기 카메라(101)에 의해 캡쳐되지 않은 상기 일부 로드 코스를 결정하는 단계;
전방의 상기 로드의 상기 로드 코스에서 상기 카메라(101)에 의해 캡쳐되지 않은 상기 일부 로드 코스에 대하여, 그래픽 정보(306)를 산출하고, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 로드의 끝에서부터 시작하는 단계;
상기 프로젝터(104)를 통하여, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 로드의 끝에서부터, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 로드의 상기 일부 로드 코스에 대하여 산출된 상기 그래픽 정보(306)를 상기 투명판(105) 상에 프로젝트하는 단계;를 포함하는,
방법이 제공된다.
또한, 프로세싱 시스템(100)을 위한 인스트럭션(instructions)을 포함하는 데이터 캐리어에 있어서, 상기 프로세싱 시스템(100)에 의해 실행될 때, 컴퓨터로 하여금 위에서 설명한 상기 컴퓨터 구현 방법을 수행하도록 하는, 데이터 캐리어가 제공된다.
또한, 프로세싱 시스템(100)에 있어서, 위에서 설명한 상기 데이터 캐리어를 포함하는, 프로세싱 시스템(100)이 제공된다.
상기 프로세싱 시스템(100)은, 주문형 집적회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 또는 범용 컴퓨터일 수 있다.
또한, 위에서 설명한 상기 헤드업 디스플레이 시스템(100) 또는 위에서 설명한 상기 프로세싱 시스템(100)을 포함하는, 차량이 제공된다.
도 1은 본 발명에 따른 헤드업 디스플레이 시스템(100)을 도시한다.
도 2는 본 발명에 따른 방법을 도시한다.
도 3은 본 발명에 따른 시스템(100)이 없을 때 전방의 로드의 전체 코스의 시야를 가로막는 장애물(305)이 포함된 전방의 로드 코스의 운전자의 시야를 보여준다.
도 4는 본 발명에 따른 시스템(100)이 없을 때 전방의 로드의 전체 코스의 시야를 가로막는 장애물(305)이 포함된 전방의 로드 코스의 운전자의 시야를 보여준다. 시스템(100)은 비가시적인 일부 로드에 대한 그래픽 정보(306)를 운전자에게 제공한다.
도 1에 도시된 차량용 시스템(100)이 제공된다. 도 3은 도 1의 시스템(100)이 없을 때의 윈드실드를 통한 차량 운전자의 시야를 도시한다.
도 4는 도 1에 도시된 시스템(100)이 있을 때의 윈드실드를 통한 차량 운전자의 시야를 보여준다. 시스템(100)은, 운전자의 시야 내에, 예를 들면 차량의 윈드실드에 장착되거나 위치한 운전자의 시야 내의 투명판(105)에 프로젝트되는 그랙픽 정보(306)를 산출함으로써, 운전자의 관점으로부터, 즉 운전자의 시야 내에서 비가시적인 로드 또는 트랙의 일부를 가시화한다는 장점을 갖는다.
시스템(100)은 헤드업 디스플레이 시스템(100) 또는 헤드업 디스플레이 시스템(100)에 통합된 시스템(100)으로 간주될 수 있다. 시스템(100)은 프로세서(103)를 통해 카메라(101)에 의해 수신되고 제공되는 입력을 분석한다. 입력은 카메라(101)에 의해 촬영된 적어도 하나의 이미지이다. 카메라(101)는 차량이 주행하는 방향, 즉 대개 차량의 전방의 방향에서 볼 수 있는 시야의 이미지를 캡쳐할 수 있지만, 차량 전방 방향의 역방향으로도 적어도 하나의 이미지를 캡쳐할 수도 있다. 입력은 적어도 하나의 이미지 또는 (연속적인) 일련의 이미지들로 구성될 수 있다. 일련의 이미지들을 캡쳐하는 것은 산출된 그래픽 정보(306)를 지속적으로 업데이트할 수 있도록 한다. 프로세서(103)는, 차량의 전방의 로드에 대해 적어도 하나의 이미지를 분석한 후, 카메라(101)에게 가시적인 로드 코스를 식별하여 운전자에게 일부 로드를 식별한다.
카메라(101)에 의해 수신된 이미지에 대해 객체 인식 분석을 수행하여 로드의 유무와 코스를 확인할 수 있다. 예를 들어, 프로세서(103)는 로드와 로드 주변 사이의 색상 전환, 로드의 좌측 및/또는 우측에 있는 안내 포스트, 레인 선 및/또는 중앙선을 통해 로드를 검출하도록 구성될 수 있다.
카메라(101)는 라이다(LIDAR) 시스템(100) 및/또는 레이더(RADAR) 시스템(100)으로 교체 또는 보완하여 차량과 전방의 로드 사이의 거리, 즉 3차원 공간에서의 로드 코스에 대한 정보를 제공할 수 있다. 카메라(101)는 또한 차량 전방의 로드의 3차원 이미지를 결정하기 위한 스테레오 카메라(101)로 구성되어, 차량과 전방의 로드 사이의 거리, 즉 3차원 공간에서의 로드 코스에 대한 정보를 제공할 수 있다. 차량부터 로드까지의 거리에 대한 지식을 바탕으로, 로드 코스의 3차원적 표현이 결정될 수 있다.
동시에, 시스템(100)은 바람직하게는 맵에서 차량 위치와 관련된 내비게이션 정보 역시 수신하도록 구성되어 있다. 전자메모리에 저장되어, 로드 코스나 트랙에 대한 적어도 2차원 또는 3차원 형태의 위치 데이터를 포함하는 이 맵은 내비게이션 시스템(102)에 저장된 대로 로드 코스에 대한 정보를 제공하므로, 차량이 어느 로드를 주행하고 있으며 이 로드에 어떤 코스가 있는지가 식별될 수 있다.
시스템(100)은 카메라(101)의 입력으로부터 결정된 로드 코스와 내비게이션 시스템(102)의 입력으로부터 결정된 로드 코스를 매칭하도록 더 구성된다. 가시적인 객체를 위치 데이터와 매칭시키는 것은 증강현실 분야에서 알려진 기술이며, 이 작업을 수행하기 위해 적합한 알고리즘이 사용될 수 있다. 예를 들어, 이 작업의 경우 두 입력 모두 분석된 이미지의 공간 기준 시스템(100)과 동일한 공간 기준 시스템(100)으로 변환되며, 공간 기준 시스템(100)은 내비게이션 시스템(102) 또는 제3의 기준 시스템(100)에 의해 제공된다. 내비게이션 시스템(102)의 입력은 애초에 3차원 공간 데이터의 형태로 제공되거나 시스템(100)에 의해 3차원 공간 데이터의 형태로 변환된다.
시스템(100)은, 시스템(100)용 그래픽 정보(306)를 산출하도록 더 구성되며, 그래픽 정보(306)는, 카메라(101)에 의해서 캡쳐되지 않고 내비게이션 시스템(102)의 입력으로부터 결정되는 일부 로드 코스를 표현하는 투명판(105) 상에 프로젝트될 수 있다(도 4 참고). 즉, 시스템(100)은 프로세서(103)를 통해 운전자에게 비가시적인 로드 코스의 표현을 산출하도록 더 구성되며, 이 비가시적인 로드 코스의 표현은 카메라(101)의 시야 내의 투명판(100) 상에 프로젝트될 수 있다. 이러한 방식으로, 운전자의 시야에는 가시적인 로드에 맞춰 비가시적인 일부 로드의 표현이 더해진다.
비가시적인 일부 로드 코스에 대한 그래픽 정보는, 가시적인 로드와 전방의 비가시적인 로드의 표현을 매끄럽게 또는 거의 매끄럽게 연결할 수 있다. 시스템은 또한 비가시적인 일부 로드 중 제한된 부분만 디스플레이 되도록 구성될 수 있다. 즉, 10km, 5km, 3km, 2km, 1km, 500m, 200m 미만의 실제 비가시적인 일부 로드의 길이에 대응되는 길이로 디스플레이 되도록 구성할 수 있다.
카메라(101)의 입력으로부터 결정된 로드 코스 및 내비게이션 시스템(102)으로부터 결정된 로드 코스는, 노변, 차량이 사용하는 로드 레인(304) 및/또는 로드의 중앙선(303)에 대한 정보를 포함할 수 있다. 따라서, 전방의 비가시적인 로드의 표현에도 이러한 정보가 포함될 수 있다.
따라서, 프로젝트된 그래픽 정보(306)는, 노변 또는 로드를 가리키는 스트립 또는 로드 레인(304)을 나타내는 연속적인 또는 비연속적인 선들의 형태일 수 있다.
프로젝트된 그래픽 정보(306)는 운전자의 시야 내에서 가시적인 색상과 다른 색상으로 표현될 수 있다. 이렇게 하면 운전자가 비가시적인 일부 로드를 주변과 비교하여 더 쉽게 식별할 수 있다. 그러나, 중첩된 그래픽 정보(306)로 인해 운전자가 로드에서 주의가 산만해지는 것을 방지하기 위해, 로드와 동일하거나 거의 동일한 색상 및/또는 질감으로 그래픽 정보(306)를 제공하는 것도 고려된다.
프로세서(103)는, 카메라(101)에 의해 캡쳐되지 않은 전방의 일부 로드에 위험 요인이 포함되어 있는지 결정하고 운전자에게 알람을 제공하도록 더 구성될 수 있다.
위험 요인은 급격한 또는 갑작스러운 선회, 교통 신호, 및/또는 로드의 좁아짐일 수 있다. 시스템(100)은 내비게이션 시스템(102)에 의해 제공되는 데이터 입력으로도 위험 요인을 식별할 수 있다. 예를 들어, 시스템(100)은, 선회의 각도가 100°, 90°, 80° 이하와 같이 기설정된 값 아래로 떨어지거나, 비가시적인 로드의 폭이 가시적인 로드의 폭의 90%, 80%, 70% 이하와 같이 기설정된 값 이하로 떨어졌을 때 급격한 또는 갑작스러운 선회 또는 로드의 좁아짐인 것으로 결정하도록 구성될 수 있다.
알람은 가시적, 촉각 또는 음향 알람일 수 있다.
특히, 알람은 프로젝트된 상기 그래픽 정보(306)의 기설정된 색상 및/또는 경고등에 의해 표시될 수 있다. 예를 들어, 프로젝트된 그래픽 정보(306)는 일반적으로 노란색 또는 파란색과 같은 기본 색상으로 표현되며 빨간색과 같은 알람 색상으로 전환되고 추가로 또는 대안적으로 번쩍이기 시작할 수 있다.
시스템(100)은, 차량 전방의 로드의 이미지를 캡쳐하도록 구성된 카메라(101) 및/또는 라이다 또는 레이더와 같은 다른 형태의 이미지 캡쳐 장치를 더 포함할 수 있다.
시스템(100)은 로드 레인(304)을 포함하는 맵 상에서 차량의 위치를 결정하도록 구성된 내비게이션 시스템(102)을 더 포함할 수 있다.
또한, 본 발명은 도 2에 도시된 방법을 제공한다. 구체적으로, 위에서 설명한 헤드업 디스플레이 시스템(100)을 사용하는 상기 운전자의 시야 내의 전방의 로드의 비가시적인 일부에 대한 그래픽 정보(306)를 제공하기 위한 컴퓨터 구현 방법에 있어서,
차량의 전방의 로드의 이미지 - 이미지는 카메라(101)에 의해 제공됨 - 를 분석하고, 카메라(101) 기반 로드 코스를 결정하는 단계(S1);
로드를 포함하는, 맵 상의 차량의 위치에 대한 내비게이션 정보 - 내비게이션 정보는 내비게이션 시스템(102)에 의해 제공됨 - 를 분석하고, 내비게이션 시스템(102) 기반 로드 코스를 결정하는 단계(S2);
카메라(101) 기반 로드 코스 및 내비게이션 시스템(102) 기반 로드 코스를 매칭시키는 단계(S3);
내비게이션 시스템(102) 기반 로드 코스에서, 카메라(101)에 의해 캡쳐되지 않은 일부 로드 코스를 결정하는 단계(S4);
전방의 로드의 로드 코스에서 카메라(101)에 의해 캡쳐되지 않은 일부 로드 코스에 대하여, 헤드업 디스플레이용 그래픽 정보(306)를 산출하고, 카메라(101)에 의해 캡쳐되지 않은 전방의 로드의 끝에서부터 시작하는 단계(S5);
프로젝터(104)를 통하여, 카메라(101)에 의해 캡쳐되지 않은 전방의 로드의 끝에서부터, 카메라(101)에 의해 캡쳐되지 않은 전방의 로드의 일부 로드 코스에 대하여 산출된 그래픽 정보(306)를 프로젝트하는 단계(S6);를 포함하는,
방법을 제공한다.
또한, 본 발명은, 프로세싱 시스템(100)을 위한 인스트럭션(instructions)을 포함하는 데이터 캐리어에 있어서, 프로세싱 시스템(100)에 의해 실행될 때, 위에서 설명한 방법을 수행하도록 하는, 데이터 캐리어를 제공한다.
시스템(100)은 위에서 설명한 데이터 캐리어를 포함할 수 있는 프로세싱 시스템에서 구현될 수 있다.
프로세싱 시스템(100)은 특별히 제한되지 않으며, 주문형 집적회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 또는 범용 컴퓨터일 수 있다.
또한, 본 발명은 위에서 설명한 시스템(100) 또는 위에서 설명한 프로세싱 시스템(100)을 포함하는 차량도 제공한다.
따라서, 헤드업 디스플레이 시스템 및 헤드업 디스플레이 시스템을 포함하는 방법이 운전자에게 비가시적인 일부 로드에 대한 정보를 식별하고 디스플레이 하기 위해 설명되었으며, 상기 차량용 헤드업 디스플레이 시스템(100)에 있어서,
운전자의 시야 내의 프로젝터(104) 및 투명판(105) - 상기 프로젝터(104) 및 상기 투명판(105)은, 상기 투명판(105) 상에 로드 코스(road course)에 대한 정보를 프로젝트하도록 구성됨 - ; 및
프로세서(103);를 포함하되, 상기 프로세서(103)는,
상기 차량의 전방의 로드의 이미지 - 상기 이미지는 카메라(101)에 의해 제공됨 - 를 분석하고, 상기 카메라(101)의 입력에 기초하여 상기 로드 코스를 결정하는 프로세스;
상기 로드를 포함하는, 맵 상의 상기 차량의 위치에 대한 내비게이션 정보 - 상기 내비게이션 정보는 내비게이션 시스템(102)에 의해 제공됨 - 를 분석하고, 상기 내비게이션 시스템(102)의 입력에 기초하여 상기 로드 코스를 결정하는 프로세스;
상기 카메라(101)의 입력에 의해 결정된 상기 로드 코스 및 상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스를 매칭시키는 프로세스;
상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스에서, 상기 카메라(101)에 의해 캡쳐되지 않은 일부 로드 코스를 결정하는 프로세스;
상기 로드 코스에서 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 일부 로드 코스에 대한 그래픽 정보(306)를 산출하는 프로세스; 및
프로젝터(104)를 통하여, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 로드 코스의 끝에서부터, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 일부 로드 코스에 대하여 산출된 상기 그래픽 정보(306)를 프로젝트함으로써, 상기 투명판(105) 상에 전방의 상기 로드의 비가시적인 일부에 대한 그래픽 정보(306)를 제공하는 프로세스;를 수행하도록 구성된,
차량용 헤드업 디스플레이 시스템(100)이 제공된다.
100 (헤드업 디스플레이) 시스템
101 카메라
102 내비게이션 시스템
103 프로세서
104 프로젝터
105 투명판
301 좌측 노변
302 우측 노변
303 중앙선
304 로드 레인
305 장애물
306 그래픽 정보
S1 내지 S6 방법 단계

Claims (15)

  1. 차량용 헤드업 디스플레이 시스템(100)에 있어서,
    운전자의 시야 내의 프로젝터(104) 및 투명판(105) - 상기 프로젝터(104) 및 상기 투명판(105)은, 상기 투명판(105) 상에 로드 코스(road course)에 대한 정보를 프로젝트하도록 구성됨 - ; 및
    프로세서(103);를 포함하되, 상기 프로세서(103)는,
    상기 차량의 전방의 로드의 이미지 - 상기 이미지는 카메라(101)에 의해 제공됨 - 를 분석하고, 상기 카메라(101)의 입력에 기초하여 상기 로드 코스를 결정하는 프로세스;
    상기 로드를 포함하는, 맵 상의 상기 차량의 위치에 대한 내비게이션 정보 - 상기 내비게이션 정보는 내비게이션 시스템(102)에 의해 제공됨 - 를 분석하고, 상기 내비게이션 시스템(102)의 입력에 기초하여 상기 로드 코스를 결정하는 프로세스;
    상기 카메라(101)의 입력에 의해 결정된 상기 로드 코스 및 상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스를 매칭시키는 프로세스;
    상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스에서, 상기 카메라(101)에 의해 캡쳐되지 않은 일부 로드 코스를 결정하는 프로세스;
    상기 로드 코스에서 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 일부 로드 코스에 대한 그래픽 정보(306)를 산출하는 프로세스; 및
    프로젝터(104)를 통하여, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 로드 코스의 끝에서부터, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 일부 로드 코스에 대하여 산출된 상기 그래픽 정보(306)를 프로젝트함으로써, 상기 투명판(105) 상에 전방의 상기 로드의 비가시적인 일부에 대한 그래픽 정보(306)를 제공하는 프로세스;를 수행하도록 구성된,
    헤드업 디스플레이 시스템(100).
  2. 제1항에 있어서,
    상기 카메라(101)의 입력에 의해 결정된 상기 로드 코스 및 상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스는, 상기 로드의 노변, 상기 차량에 의해 사용된 로드 레인(road lane)(304), 및/또는 상기 로드의 중앙분리대에 대한 정보를 포함하는,
    헤드업 디스플레이 시스템(100).
  3. 제2항에 있어서,
    프로젝트된 상기 그래픽 정보(306)는, 상기 로드의 노변을 나타내는 연속적인 또는 비연속적인 선, 또는 상기 로드 또는 상기 로드의 로드 레인(304)을 나타내는 스트립의 형태인,
    헤드업 디스플레이 시스템(100).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    프로젝트된 상기 그래픽 정보(306)는 상기 운전자의 시야 내의 가시적인 색상들과 다른 색상으로 표현된,
    헤드업 디스플레이 시스템(100).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 프로세서(103)는, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 일부 로드가 위험 요인을 포함하는지 결정하고, 상기 운전자에게 알람을 제공하는 프로세스;를 수행하도록 더 구성되는,
    헤드업 디스플레이 시스템(100).
  6. 제5항에 있어서,
    상기 위험 요인은 급격한 또는 갑작스러운 선회, 교통 신호, 및/또는 상기 로드의 좁아짐인,
    헤드업 디스플레이 시스템(100).
  7. 제5항 또는 제6항에 있어서,
    상기 알람은 가시적, 촉각 또는 음향 알람인,
    헤드업 디스플레이 시스템(100).
  8. 제5항 내지 제7항 중 어느 한 항에 있어서,
    상기 알람은, 프로젝트된 상기 그래픽 정보(306)의 기설정된 색상 및/또는 경고등에 의해 표시되는,
    헤드업 디스플레이 시스템(100).
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 차량의 전방의 로드의 상기 이미지를 캡쳐하도록 구성된 상기 카메라(101)을 더 포함하는,
    헤드업 디스플레이 시스템(100).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 내비게이션 시스템(102)을 더 포함하는,
    헤드업 디스플레이 시스템(100).
  11. 제1항 내지 제10항 중 어느 한 항에 따른 상기 헤드업 디스플레이 시스템(100)을 사용하는 상기 운전자의 시야 내의 전방의 상기 로드의 상기 비가시적인 일부에 대한 상기 그래픽 정보(306)를 제공하기 위한 컴퓨터 구현 방법에 있어서,
    상기 차량의 전방의 상기 로드의 상기 이미지 - 상기 이미지는 상기 카메라(101)에 의해 제공됨 - 를 분석하고, 상기 로드 코스를 결정하는 단계;
    상기 로드를 포함하는, 상기 맵 상의 상기 차량의 상기 위치에 대한 상기 내비게이션 정보 - 상기 내비게이션 정보는 상기 내비게이션 시스템(102)에 의해 제공됨 - 를 분석하고, 상기 로드 코스를 결정하는 단계;
    상기 카메라(101)의 입력에 의해 결정된 상기 로드 코스 및 상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스를 매칭시키는 단계;
    상기 내비게이션 시스템(102)의 입력에 의해 결정된 상기 로드 코스에서, 상기 카메라(101)에 의해 캡쳐되지 않은 상기 일부 로드 코스를 결정하는 단계;
    전방의 상기 로드의 상기 로드 코스에서 상기 카메라(101)에 의해 캡쳐되지 않은 상기 일부 로드 코스에 대하여, 헤드업 디스플레이용 그래픽 정보(306)를 산출하고, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 로드의 끝에서부터 시작하는 단계;
    상기 프로젝터(104)를 통하여, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 로드의 끝에서부터, 상기 카메라(101)에 의해 캡쳐되지 않은 전방의 상기 로드의 상기 일부 로드 코스에 대하여 산출된 상기 그래픽 정보(306)를 상기 투명판(105) 상에 프로젝트하는 단계;를 포함하는,
    방법.
  12. 프로세싱 시스템(100)을 위한 인스트럭션(instructions)을 포함하는 데이터 캐리어에 있어서,
    상기 프로세싱 시스템(100)에 의해 실행될 때, 컴퓨터로 하여금 제11항에 따른 상기 컴퓨터 구현 방법을 수행하도록 하는,
    데이터 캐리어.
  13. 프로세싱 시스템(100)에 있어서,
    제12항에 따른 상기 데이터 캐리어를 포함하는,
    프로세싱 시스템(100).
  14. 제13항에 있어서,
    상기 프로세싱 시스템(100)은, 주문형 집적회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 또는 범용 컴퓨터인,
    프로세싱 시스템(100).
  15. 차량에 있어서,
    제1항 내지 제10항 중 어느 한 항에 따른 상기 헤드업 디스플레이 시스템(100) 또는 제13항 또는 제14항에 따른 상기 프로세싱 시스템(100)을 포함하는,
    차량.
KR1020217025528A 2019-01-18 2019-01-18 헤드업 디스플레이 시스템 KR20210113661A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/051229 WO2020147962A1 (en) 2019-01-18 2019-01-18 Head-up display system

Publications (1)

Publication Number Publication Date
KR20210113661A true KR20210113661A (ko) 2021-09-16

Family

ID=65324327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217025528A KR20210113661A (ko) 2019-01-18 2019-01-18 헤드업 디스플레이 시스템

Country Status (6)

Country Link
US (1) US20220065649A1 (ko)
EP (1) EP3911921A1 (ko)
JP (1) JP2022516849A (ko)
KR (1) KR20210113661A (ko)
CN (1) CN113396314A (ko)
WO (1) WO2020147962A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115424435B (zh) * 2022-08-10 2024-01-23 阿里巴巴（中国）有限公司 一种跨link道路识别网络的训练方法、识别跨link道路的方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3591192B2 (ja) * 1996-10-25 2004-11-17 トヨタ自動車株式会社 車両用情報提供装置
DE10131720B4 (de) * 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
JP3968720B2 (ja) * 2004-01-28 2007-08-29 マツダ株式会社 車両用画像表示装置
DE102004048347A1 (de) * 2004-10-01 2006-04-20 Daimlerchrysler Ag Fahrassistenzvorrichtung zur gegenüber dem Sichtfeld des Fahrers eines Kraftfahrzeugs positionsrichtigen Darstellung des weiteren Straßenverlaufs auf einem Fahrzeugdisplay
JP5044889B2 (ja) * 2004-12-08 2012-10-10 日産自動車株式会社 車両走行状況提示装置及び車両走行状況提示方法
JP4973471B2 (ja) * 2007-12-03 2012-07-11 株式会社デンソー 信号機表示報知装置
CN202686359U (zh) * 2011-11-30 2013-01-23 富士重工业株式会社 狭窄道路检测装置
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
EP2826687B1 (en) * 2013-07-16 2019-03-06 Honda Research Institute Europe GmbH Technique for lane assignment in a vehicle
EP2848891B1 (en) * 2013-09-13 2017-03-15 Elektrobit Automotive GmbH Technique for providing travel information
US9365214B2 (en) * 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
US9676386B2 (en) * 2015-06-03 2017-06-13 Ford Global Technologies, Llc System and method for controlling vehicle components based on camera-obtained image information
JP2017068589A (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報端末、及び、情報処理方法
US10444763B2 (en) * 2016-03-21 2019-10-15 Ford Global Technologies, Llc Systems, methods, and devices for fusion of predicted path attributes and drive history
CN109690634A (zh) * 2016-09-23 2019-04-26 苹果公司 增强现实显示器
JP7270327B2 (ja) * 2016-09-28 2023-05-10 損害保険ジャパン株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2018066712A1 (ja) * 2016-10-07 2018-04-12 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
KR20180090610A (ko) * 2017-02-03 2018-08-13 삼성전자주식회사 차선 정보를 출력하는 방법 및 장치.
WO2018211591A1 (ja) * 2017-05-16 2018-11-22 三菱電機株式会社 表示制御装置および表示制御方法
WO2020110580A1 (ja) * 2018-11-30 2020-06-04 株式会社小糸製作所 ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法

Also Published As

Publication number Publication date
US20220065649A1 (en) 2022-03-03
JP2022516849A (ja) 2022-03-03
CN113396314A (zh) 2021-09-14
WO2020147962A1 (en) 2020-07-23
EP3911921A1 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
US10293690B2 (en) Vehicle information projecting system and vehicle information projecting method
US11377025B2 (en) Blocked information displaying method and system for use in autonomous vehicle
US10410423B2 (en) Display control device for controlling stereoscopic display of superimposed display object, display system, display control method and computer readable medium
US20170330463A1 (en) Driving support apparatus and driving support method
DE112018003314B4 (de) Anzeigesystem, Informationsdarstellungssystem, Verfahren zum Steuern eines Anzeigesystems, Programm und Aufzeichnungsmedium für ein Anzeigesystem und mobiler Körper
US20190244515A1 (en) Augmented reality dsrc data visualization
EP2289058B1 (de) Verfahren zur kombinierten ausgabe eines bildes und einer lokalinformation, sowie kraftfahrzeug hierfür
US20230184560A1 (en) Visual interface display method and apparatus, electronic device, and storage medium
US10866416B2 (en) Display control device and display control method
US10488658B2 (en) Dynamic information system capable of providing reference information according to driving scenarios in real time
JP2015210644A (ja) 車両用表示システム
US20230135641A1 (en) Superimposed image display device
EP3859390A1 (en) Method and system for rendering a representation of an evinronment of a vehicle
JP2018097431A (ja) 運転支援装置、運転支援システム及び運転支援方法
WO2017162812A1 (en) Adaptive display for low visibility
CN111601279A (zh) 在车载显示器中显示动态交通态势的方法和车载系统
CN115402322A (zh) 一种路口驾驶辅助方法、系统、电子设备及存储介质
JP2019027996A (ja) 車両用表示方法及び車両用表示装置
CN114298908A (zh) 一种障碍物展示方法、装置、电子设备及存储介质
JP2015011456A (ja) 車両用情報提供装置
KR20210113661A (ko) 헤드업 디스플레이 시스템
KR20170055624A (ko) 헤드업 디스플레이를 이용한 차선 표시장치 및 그 방법
JP2019049513A (ja) 車両走行制御方法及び装置
US20240160204A1 (en) Vehicle control system, head-mounted display device, and vehicle control method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
WITB Written withdrawal of application