KR20220038484A - 윈드스크린 상에 이미지를 디스플레이하기 위한 시스템들 및 방법들 - Google Patents

윈드스크린 상에 이미지를 디스플레이하기 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20220038484A
KR20220038484A KR1020227006762A KR20227006762A KR20220038484A KR 20220038484 A KR20220038484 A KR 20220038484A KR 1020227006762 A KR1020227006762 A KR 1020227006762A KR 20227006762 A KR20227006762 A KR 20227006762A KR 20220038484 A KR20220038484 A KR 20220038484A
Authority
KR
South Korea
Prior art keywords
image
vehicle
windscreen
intensity
ambient light
Prior art date
Application number
KR1020227006762A
Other languages
English (en)
Inventor
기요르기 크사바 무란크시크
티보르 카롤리 켈레시
가보르 타르노이
요제프 골드파르스
Original Assignee
다이나클라우드 케이에프티.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다이나클라우드 케이에프티. filed Critical 다이나클라우드 케이에프티.
Publication of KR20220038484A publication Critical patent/KR20220038484A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/013—Head-up displays characterised by optical features comprising a combiner of particular shape, e.g. curvature
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법은, 광 센서 유닛에 의해, 차량의 윈드스크린에 입사하는 주변 광의 적어도 하나의 물리적 특성을 획득하는 단계; 프로세서 유닛에 의해, 차량의 윈드스크린 상에 디스플레이될 이미지를 생성하는 단계; 차량의 윈드스크린에 입사하는 주변 광의 상기 적어도 하나의 물리적 특성의 결정에 기반하여, 프로세서 유닛에 의해, 각각의 이미지 픽셀의 강도를 주변 광의 상기 적어도 하나의 물리적 특성의 함수로서 개별적으로 조정하는 단계; 및 차량의 윈드스크린에 통합된 투명 디스플레이 모듈에 의해 이미지를 디스플레이하는 단계를 포함한다.

Description

윈드스크린 상에 이미지를 디스플레이하기 위한 시스템들 및 방법들
본 발명은 차량의 윈드스크린(windscreen) 상에 이미지들을 디스플레이하기 위한 시스템들 및 방법들에 관한 것이다. 특히, 본 발명은 차량의 윈드스크린에 통합된 투명 디스플레이 모듈을 사용함으로써 차량의 윈드스크린 상에 이미지들을 디스플레이하기 위한 시스템들 및 방법들에 관한 것이다.
현재, 도로 차량에는 종종, 차량 또는 차량의 주변환경(environment)(예를 들어, 도로 표지판들, 다른 차량들 또는 차량의 주변환경에서의 오브젝트들 등)과 관련된 특정 정보의 제시를 통해 다양한 운전 조건들에서 운전자를 보조하는 헤드-업 디스플레이(head-up display)가 장착된다.
헤드-업 디스플레이(HUD)는, 사용자가 자신의 통상적 시점에서 눈길을 돌릴 필요 없이 사용자에게 시각적 정보를 제시하는 투명 그래픽 디스플레이이다. 오늘날, 헤드-업 디스플레이들은 차량들에 일반적으로 사용되며, 여기서는 투명 표면이 운전자의 전방에 배열되며, 제시될 정보가 광학 시스템을 통해 프로젝터 디바이스로부터 투명 표면에 투사된다. 현재의 HUD들은, 윈드스크린 HUD들과 컴바이너 HUD(combiner HUD)들의 2개의 그룹들로 분류될 수 있다. 윈드스크린 HUD들은 투사 표면으로서 차량의 윈드스크린을 사용하는 반면, 컴바이너 HUD들은 투사 표면으로서 추가의 투명 스크린(소위, 컴바이너 스크린)을 사용한다. 컴바이너 스크린 HUD들은 그들의 낮은 전체 비용들로 인해 도로 차량들에서 보다 일반적이지만, 이들은 투사 표면의 스크린 크기가 더 작다는 특정 단점을 갖는다. 컴바이너 스크린들의 더 작은 투사 표면은, 더 작은 텍스트 및 심볼 크기들 또는 더 적은 정보의 제시를 허용한다.
윈드스크린 HUD들은 그들이 스퓨리어스 이미지(spurious image)를 생성할 수 있다는 단점이 있는데, 이는, 윈드스크린의 두께로 인해, 투사되는 이미지가 한편으로는 윈드스크린의 내부 측에 나타나고, 이것이 또한 다른 한편으로는 약간 오프셋된 포지션에서 윈드스크린의 외부 측에 나타나기 때문이다. 이러한 현상이 도 1에 개략적으로 예시된다. 프로젝터 디바이스(10)가 윈드스크린(20)의 내부 표면에 이미지(12)를 투사하는 경우, 방출되는 광(light)의 대부분이 윈드스크린(20)의 내부 표면으로부터 반사됨으로써, 윈드스크린 상에 이미지의 1차(실제) 뷰(12)가 생성된다. 그러나, 방출되는 광의 소량 부분이 윈드스크린에 들어가 윈드스크린(20)의 외부 표면에서 반사되며, 이는 투사된 이미지의 2차 뷰(13)(스퓨리어스 이미지라 불림)를 산출한다. 이 스퓨리어스 이미지는 차량의 운전자를 방해하고 피곤하게 할 수 있다.
윈드스크린 HUD들의 또 다른 단점은, 낮에, 특히 태양이 윈드스크린에 직접 비치는 경우, 투사된 이미지가 운전자에게 덜 보이거나 아예 보이지 않는다는 점이다. 이러한 현상이 또한 도 1에 개략적으로 예시되어 있다. 햇빛과 같은, 강한 강도의 외부 조명원의 입사 광(30)이 윈드스크린(20)의 외부 표면에 도달하는 경우, 입사 광(30)의 소량 부분만이 반사 광(31)으로서 그 표면으로부터 반사되는 반면, 입사 광(30)의 대부분은 윈드스크린(20)을 통과하며, 이로써, 윈드스크린의 내부 측이 다소 밝게 된다. 윈드스크린의 과도한 밝기로 인해, 투사된 이미지의 상대적인 강도가 크게 감소하며, 이는 운전자가 이미지를 관찰하는 데 어려움을 야기할 수 있다. 윈드스크린의 내부 측에 암흑 필름(darkening film)을 적용함으로써 윈드스크린의 밝기가 감소될 수 있지만, 이러한 암흑 필름의 영구적 사용은 야간 운전에 불리하다(그리고 위험하다).
차량들을 위한 헤드-업 디스플레이 시스템을 다수의 문헌들이 개시하고 있다. 예를 들어, US 2005/0154505 A1 문헌은 전체 윈드실드(windshield)를 디스플레이 영역으로서 사용하는 헤드-업 디스플레이를 설명한다. 헤드-업 디스플레이 시스템은, 비디오 프로젝터, 스크린, 윈드실드 및 프레넬 미러(Fresnel mirror)를 포함한다. 프레넬 미러는, 운전자의 눈들을 통해 운전자가 시각적으로 인식할 수 있도록 스크린으로부터 이미지를 확대시킨다.
현재 사용되는 HUD들에 대한 위에서 언급한 문제들을 고려하여, 주간 동작에서 외부 광의 불리한 효과들을 제거하는 그리고 또한 종래의 차량 윈드스크린 디스플레이 시스템들의 스퓨리어스 이미지들과 같은 불리한 광학적 효과들을 제거하기 위한, 윈드스크린 상에 이미지들을 디스플레이하기 위한 개선된 디스플레이 시스템 및 방법이 필요하다.
따라서, 본 발명의 목적은, 차량의 윈드스크린에 입사하는 주변 광의 하나 이상의 물리적 특성들의 함수로서 이미지 픽셀 강도들을 개별적으로 조정하여, 차량의 윈드스크린 상에 이미지들을 디스플레이하기 위한 디스플레이 시스템 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은, 차량의 윈드스크린에 통합된 투명 디스플레이 모듈을 사용하는, 차량들을 위한 디스플레이 시스템 및 방법을 제공하는 것이며, 여기서 투명 디스플레이 모듈은 투명 픽셀 유닛들 및 투명 픽셀-간(inter-pixel) 구역들을 포함한다.
이들 및 다른 목적들은 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법을 제공함으로써 달성되며, 이 방법은,
- 광 센서 유닛에 의해, 차량의 윈드스크린에 입사하는 주변 광의 적어도 하나의 물리적 특성을 획득하는 단계;
- 프로세서 유닛에 의해, 차량의 윈드스크린 상에 디스플레이될 이미지를 생성하는 단계;
- 차량의 윈드스크린에 입사하는 주변 광의 상기 적어도 하나의 물리적 특성의 결정에 기반하여, 프로세서 유닛에 의해, 각각의 이미지 픽셀의 강도를 주변 광의 상기 적어도 하나의 물리적 특성의 함수로서 개별적으로 조정하는 단계; 및
- 차량의 윈드스크린에 통합된 투명 디스플레이 모듈에 의해 이미지를 디스플레이하는 단계를 포함한다.
위에서의 목적들은 추가로, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법을 제공함으로써 달성되며, 이 방법은,
- 광 센서 유닛에 의해, 차량의 윈드스크린에 입사하는 주변 광의 적어도 하나의 물리적 특성을 획득하는 단계;
- 제1 카메라 디바이스에 의해, 차량 전방의 주변환경의 제1 이미지를 캡처하는 단계;
- 제2 카메라 디바이스에 의해, 사용자, 특히 차량의 운전자의 눈들의 제2 이미지를 캡처하는 단계;
- 제2 이미지에 기반하여, 프로세서 유닛에 의해, 윈드스크린에 대한 동승자(passenger)의 뷰잉 포인트(viewing point)를 결정하는 단계;
- 베이스 이미지를 생성하기 위해, 프로세서 유닛에 의해, 윈드스크린의 표면의 적어도 일부에 제1 이미지를 맵핑하는 단계;
- 프로세서 유닛에 의해, 제1 이미지의 콘텐츠를 분석하는 단계;
- 제1 이미지의 콘텐츠에 기반하여, 이미지 오브젝트를 생성하는 단계;
- 프로세서 유닛에 의해, 이미지 오브젝트를 베이스 이미지에 피팅(fitting) 단계;
- 피팅된 이미지 오브젝트에 기반하여, 프로세서 유닛에 의해, 디스플레이될 제3 이미지를 생성하는 단계;
- 프로세스 유닛에 의해, 윈드스크린에 입사하는 주변 광의 상기 적어도 하나의 물리적 특성의 함수로서 상기 이미지의 각각의 픽셀의 강도를 개별적으로 조정하는 단계; 및
- 차량의 윈드스크린에 통합된 투명 디스플레이 모듈에 의해, 제3 이미지를 디스플레이하는 단계를 포함한다.
마지막으로, 위에서의 목적들은 또한, 차량의 윈드스크린 상에 이미지들을 디스플레이하기 위한 시스템을 제공함으로써 달성되며, 이 시스템은,
- 차량의 윈드스크린에 입사하는 주변 광의 적어도 하나의 물리적 특성을 획득하고 그리고 주변 광 정보를 제공하기 위한 광 센서 유닛;
- 디스플레이될 이미지를 생성하도록 구성되고 그리고 추가로, 주변 광 정보의 함수로서 각각의 이미지 픽셀의 강도를 개별적으로 조정하도록 구성된 프로세서 유닛;
- 차량의 윈드스크린 상에 상기 이미지를 디스플레이하기 위한 투명 윈드스크린 디스플레이 유닛을 포함하며, 상기 디스플레이 유닛은 2개의 투명 보호 층들 및 이들 사이의 투명 디스플레이 모듈을 포함한다.
본 발명은 이제 도면들을 참조로 보다 상세하게 설명될 것이며, 여기서,
도 1은 종래 기술의 윈드스크린 헤드-업 디스플레이들의 적합하지 않은(unfavorable) 광학 현상을 개략적으로 예시한다.
도 2는 본 발명에 따른 디스플레이 시스템의 주요 컴포넌트들을 예시하는 개략적 블록도이다.
도 3a는 본 발명에 따른 시스템들 및 방법들에 사용되는 LCD-타입의 윈드스크린 디스플레이를 통하는 광 투과를 개략적으로 예시한다.
도 3b는 본 발명에 따른 시스템들 및 방법들에 사용되는 LED-타입의 윈드스크린 디스플레이를 통하는 광 투과를 개략적으로 예시한다.
도 4는 본 발명의 제1 방법의 주요 단계들을 도시하는 흐름도이다.
도 5는, 증강 현실을 제시하는 데 사용될 수 있는, 본 발명에 따른 디스플레이 시스템의 특정 실시예의 주요 컴포넌트들을 묘사한다.
도 6은 본 발명에 따른 제2 방법의 주요 단계들을 도시하는 흐름도이다.
본 발명에 따른 디스플레이 시스템(200)의 주요 컴포넌트들이 도 2의 개략적인 블록도에 도시되어 있다. 이에 따라, 디스플레이 시스템(200)은, 차량의 윈드스크린에 입사하는 주변 광의 적어도 하나의 물리적 특성을 획득하기 위한 광 센서 유닛(210)을 포함한다. 시스템의 일 실시예에서, 주변 광 센서 유닛은 평균 주변 광 강도를 측정하도록 적응된 하나 이상의 광 센서들을 포함할 수 있다. 시스템의 다른 실시예에서, 광 센서 유닛은, 차량 전방의 주변환경을 캡처하도록 적응된 카메라를 포함할 수 있고, 그리고 캡처된 이미지를 프로세싱하고 그리고 캡처된 이미지들을 기초로 주변 광의 적어도 하나의 물리적 속성에 대한 프로세싱된 정보를 제공하기 위한 프로세서 수단을 더 포함할 수 있다. 주변 광의 물리적 특성들은, 평균 주변 광 강도, 차량 앞 주변환경의 캡처된 이미지들 내 광 강도 분포, 차량 앞 주변환경의 캡처된 이미지들 내 컬러 분포 등을 포함할 수 있다.
시스템(200)은, 광 센서 유닛(210)으로부터 수신된 주변 광 정보를 프로세싱하고 그리고 투명 윈드스크린 디스플레이 유닛(230)에 의해 디스플레이될 이미지를 생성하도록 구성된 프로세서 유닛(220)을 더 포함한다. 프로세서 유닛(220)에 의해 생성된 이미지는, 차량 전방의 주변환경의 적어도 일부의 실제 뷰, 배경 또는 하나 이상의 이미지 오브젝트들을 포함할 수 있다.
이미지 오브젝트는 차량의 동작 특징(feature)들, 차량의 교통 관련 특징들, 차량 앞의 가시적 또는 비-가시적 오브젝트들 등 중 임의의 하나 이상의 것에 대한 그래픽 표현이다. 예를 들어, 이미지 오브젝트는, 차량의 속도, 차량 엔진의 레볼루션(revolution), 차량의 대시-보드의 지시(indication), 교통 표지판, 신호등, 임의의 타입의 내비게이션 오브젝트, 차량의 주변환경에서의 다른 차량의 뷰, 차량의 주변환경에서의 임의의 종류의 정지 또는 움직이는 오브젝트(부분적 또는 전체적 뷰 또는 이의 윤곽), 시각적 효과, 암흑 또는 백지(blanking) 필드, 차량의 사용자(운전자 또는 동승자)에게 보이지 않는 임의의 종류의 오브젝트(부분적 또는 전체적 뷰 또는 이의 윤곽) 등을 표현할 수 있다.
이미지의 배경은, 디스플레이된 이미지 중, 적어도 하나의 이미지 오브젝트의 이미지 픽셀들 이외의 이미지 픽셀들을 포함하는 구역들로 정의된다. 바람직하게는, 이미지의 배경은 하나 이상의 배경 오브젝트들로 구성된다.
프로세서 유닛(220)은, 이후 상세히 설명되는 바와 같이, 광 센서 유닛(210)으로부터 수신되는 주변 광 정보의 함수로서 각각의 이미지 픽셀의 강도를 개별적으로 조정하는 데 사용된다.
프로세서 유닛(220)에 의해 생성된 이미지는 투명 윈드스크린 디스플레이 유닛(230) 상에 디스플레이된다. 투명 윈드스크린 디스플레이 유닛(230)은 차량의 윈드스크린에 통합되는 투명 디스플레이 모듈을 포함한다. 투명 디스플레이 모듈은 투명 픽셀 유닛들 및 투명 픽셀-간 구역들을 포함한다. 투명 디스플레이 모듈은 LCD 디스플레이 모듈 또는 LED 디스플레이 모듈일 수 있다. LCD 디스플레이 모듈에서, 픽셀 유닛들의 강도는 개별 픽셀 유닛들을 통과하는 역광(backlight)의 양을 제어함으로써 개별적으로 조정된다. LED 디스플레이 모듈에서, 픽셀 유닛들의 강도는 개별 픽셀 유닛들에 속하는 LED들의 강도를 제어함으로써 개별적으로 조정된다.
이미지 자체를 형성하는 이미지 픽셀들의 강도 및 컬러는, 디스플레이될 이미지의 콘텐츠에 기반하여 그리고 또한 윈드스크린에 입사하는 주변 광의 하나 이상의 물리적 특성들의 함수로서 프로세서 유닛(220)에 의해 결정된다.
LCD 타입의 투명 윈드스크린 디스플레이 유닛의 광 투과율은 도 3a에 개략적으로 예시되어 있다. 이러한 타입의 윈드스크린 디스플레이 유닛(230)은 2개의 투명 보호 층들(232)을 포함할 수 있으며, 이들 사이에는 LCD 디스플레이 모듈(234)이 통합되어 있다. 보호 층들(232)은 바람직하게는 유리로 만들어진다.
LCD 디스플레이 모듈(234)은, 컬러 픽셀 유닛들(236), 및 픽셀 유닛들(236) 사이의 픽셀-간 구역들(238)을 포함한다. 본 발명의 맥락 내에서, "픽셀 유닛"이라는 용어는, 디스플레이 모듈의 픽셀들(즉, 하드웨어 측면)에 대해 사용되고, "이미지 픽셀" 또는 "픽셀"이라는 용어는 디스플레이될 이미지의 픽셀들(즉, 이미지 프로세싱 측면)에 대해 사용된다.
도 3a에 도시된 바와 같이, 픽셀-간 구역들(238)은, 입사 광이 (반사 또는 흡수와 같은) 실질적인 손실 없이 윈드스크린 디스플레이 유닛(230)을 통과하도록 허용하여, 윈드스크린 디스플레이 유닛(230)을 통과한 광이 차량 외부로부터 윈드스크린 디스플레이 유닛(230)을 조명하는 입사 광의 강도(IEX)와 실질적으로 동일한 강도(IIN(a))를 갖는다. 이 예에서, 광 강도는 윈드스크린의 전체 외부 또는 내부 표면을 따른 평균 광 강도로서 정의될 수 있다. 이 예에서, 주변 광은 또한, LCD 디스플레이 모듈(234)의 역광으로서 사용된다.
이미지 오브젝트들의 픽셀들 및 이미지 배경의 픽셀들에 대해, 강도는, 윈드스크린 디스플레이 유닛(230)에 의해 디스플레이되는 이미지 오브젝트들과 이미지의 다른 부분들 간에 요구되는 레벨의 강도 콘트라스트(또한 "콘트라스트(contrast)"로 지칭됨)가 윈드스크린에 입사하는 주변 광의 물리적 특성들(예를 들어, 평균 광 강도, 배광(light distribution), 컬러 분포 등)에 관계 없이 언제든지 도달할 수 있도록 상이하게 결정될 수 있다. 예를 들어, 낮에는, 이미지 배경의 픽셀들을 디스플레이하는 픽셀 유닛들에서(IIN(c)로 묘사됨)보다는, 이미지 오브젝트의 픽셀들을 디스플레이하는 픽셀 유닛들에서(IIN(b)로 묘사됨) 더 많은 광이 윈드스크린 디스플레이 유닛(230)을 통과하도록 허용될 수 있으며, 여기서 이미지 오브젝트들 및 배경 오브젝트들의 픽셀들의 광 강도들(IIN(b) 및 IIN(c)) 둘다가, 각각, 주변 광 강도(IEX)의 함수로서 프로세서 유닛(220)에 의해 결정될 수 있다. 또한, 픽셀 강도 레벨들은, 예를 들어, 차량의 주변환경에서 매우 밝은 오브젝트의 뷰가 윈드스크린 디스플레이 유닛(230)에 의해 암흑화되거나 완전히 백지화되는 경우, 이미지 오브젝트 픽셀들이 배경 오브젝트 픽셀들보다 덜 밝도록 결정되는 것이 가능하다.
LED 타입의 투명 윈드스크린 디스플레이 유닛의 광 투과율은 도 3b에 개략적으로 예시되어 있다. 이러한 타입의 윈드스크린 디스플레이 유닛(230)은 2개의 투명 보호 층들(232)을 포함할 수 있으며, 이들 사이에는 LED 디스플레이 모듈(334)이 통합된다. 보호 층들(232)은 바람직하게는 유리로 만들어진다. LED 디스플레이 모듈(334)은, 컬러 픽셀 유닛들(336), 및 픽셀 유닛들(336) 사이의 픽셀-간 구역들(338)을 포함한다.
도 3b에 도시된 바와 같이, 픽셀-간 구역들(338)이 입사 광이 (반사 또는 흡수와 같은) 실질적인 손실 없이 윈드스크린 디스플레이 유닛(230)을 통과하도록 허용하여, 윈드스크린 디스플레이 유닛(230)을 통과한 광이 윈드스크린에 입사하는 주변 광의 강도(IEX)와 실질적으로 동일한 강도(IIN(a))를 갖는다. 이 예에서, 광 강도는 윈드스크린의 전체 외부 또는 내부 표면을 따른 평균 광 강도로서 정의될 수 있다. LED 디스플레이 모듈(334)로, 주변 광의 대부분은 투명한 픽셀-간 구역들(338)을 통과한다.
이미지 오브젝트들의 픽셀들 및 이미지 배경의 픽셀들에 대해, 강도는, 윈드스크린 디스플레이 유닛(230)에 의해 디스플레이되는 이미지 오브젝트들과 이미지의 다른 부분들 간에 요구되는 레벨의 강도 콘트라스트가 윈드스크린에 입사하는 주변 광의 물리적 특성들(예를 들어, 평균 광 강도, 배광, 컬러 분포 등)에 관계 없이 언제든지 도달할 수 있도록 상이하게 결정될 수 있다. 예를 들어, 낮에는, 배경 오브젝트를 디스플레이하는 픽셀 유닛들(IIN(c)로 묘사됨)보다는, 이미지 오브젝트를 디스플레이하는 픽셀 유닛들(IIN(b)로 묘사됨)의 LED들이 더 높은 강도를 갖게 설정되며, 여기서 이미지 오브젝트 픽셀들 및 배경 오브젝트 픽셀들의 광 강도들(IIN(b) 및 IIN(c)) 둘다가, 각각, 입사 주변 광 강도(IEX)의 함수로서 프로세서 유닛(220)에 의해 결정된다. 또한, 픽셀 강도 레벨들은, 예를 들어, 차량의 주변환경에서 매우 밝은 오브젝트의 뷰가 윈드스크린 디스플레이 유닛(230)에 의해 암흑화되거나 완전히 백지화되는 경우, 이미지 오브젝트 픽셀들이 배경 오브젝트 픽셀들보다 덜 밝도록 결정되는 것이 가능하다.
픽셀-간 구역들의 투명도가 일반적으로 투명 디스플레이 모듈의 픽셀 유닛들의 투명도보다 훨씬 높다는 점에 주목된다. 픽셀-간 구역들의 투명도가 윈드스크린의 보호 유리 층들의 투명도와 대략(또는 정확히) 동일한 것이 특히 바람직하다. 투명 디스플레이 모듈의 픽셀 유닛들에 수반되는 전자 컴포넌트들로 인해, 디스플레이 모듈의 픽셀 유닛들의 투명도는 픽셀-간 구역들의 투명도보다 낮거나, 때로는 상당히 낮다. 또한, LCD 타입의 디스플레이 모듈들의 경우, 디스플레이될 이미지에 따라 픽셀 유닛들의 광 강도들을 전자방식으로 조정하는 것을 통해 픽셀 유닛들의 투명도가 심지어 변경(예를 들어, 증가 또는 감소)될 수 있다. LCD-타입 투명 디스플레이 모듈과 달리, LED-타입 디스플레이 모듈의 픽셀 유닛들의 투명도는 대략 일정하며, 픽셀 강도들은 디스플레이될 이미지를 기초로 픽셀 유닛들의 내장(built-in) 광원들, 즉 LED들의 강도에 의해 조정된다. 그러나, 어느 경우든, 윈드스크린 디스플레이 유닛의 전체 투명도는, 픽셀-간 구역들의 투명도 그리고 투명 디스플레이 모듈의 픽셀 유닛들의 (안정적인 또는 조정가능한) 투명도에 의존한다. 자동차들, 트럭들 등과 같은 도로 차량들의 경우, 교통 안전 규정들로 인해 윈드스크린의 최소 투명도는 약 60-70%로 설정되며, 이는 본 발명의 디스플레이 시스템에 사용되는 투명 디스플레이 모듈도 이 요건을 또한 충족해야 함을 의미한다.
위에서 소개된 디스플레이 시스템에 의해 이미지를 디스플레이하는 방법들이 이제 도 4를 참조로 상세히 설명될 것이다.
본 발명에 따른 제1 방법의 제1 단계(400)로서, 차량의 윈드스크린에 입사하는 주변 광의 적어도 하나의 물리적 특성이 포토 검출기(photo detector), 레이더 검출기, 초음파 검출기, 카메라 디바이스 등과 같은 광 센서 유닛에 의해 획득된다.
위에서 언급한 바와 같이, 입사 주변 광의 물리적 특성들은 차량의 주변환경의 평균 주변 광 강도, 카메라로 캡처된 이미지들 내 광 강도 분포, 카메라로 캡처된 이미지들 내 컬러 분포 등을 포함할 수 있다.
그 다음, 단계(410)에서, 차량의 윈드스크린 상에 디스플레이될 이미지는 프로세서 유닛에 의해 생성된다. 이미지의 콘텐츠는 하나 이상의 이미지 오브젝트들 및 하나 이상의 배경 오브젝트들을 포함할 수 있다. 이미지 오브젝트는 다음의 아이템들: 차량의 동작 특징들, 차량의 교통 관련 특징들, 차량 앞의 가시적 또는 비-가시적 오브젝트들 등 중 임의의 하나 이상의 것에 대한 시각적(또는 그래픽) 표현이다. 이미지 오브젝트의 몇 가지 예들이 위에서 언급되었다. 배경 오브젝트는 이미지 오브젝트로 간주될 수 없는 임의의 종류의 이미지 콘텐츠, 즉 차량 또는 차량의 주변환경과 관련된 정보를 보유하지 않는 이미지 콘텐츠로서 정의된다. 배경 오브젝트들은, 디스플레이된 이미지 중, 적어도 하나의 이미지 오브젝트의 이미지 픽셀들 이외의 이미지 픽셀들을 포함하는 구역들을 포함한다. 배경 오브젝트들은 통상적으로 플레인 컬러 필드(plain color field), 컬러 트랜지션 필드(color transition field), 텍스처 필드(textured field) 등을 포함할 수 있다.
차량의 윈드스크린에 입사하는 주변 광의 상기 적어도 하나의 물리적 특성의 결정에 기반하여, 이미지 내의 픽셀들의 강도는, 단계(420)에서, 윈드스크린에 입사하는 주변 광의 상기 적어도 하나의 물리적 속성의 함수로서 각각의 이미지 픽셀에 대한 프로세서 유닛에 의해 개별적으로 조정된다.
적어도 하나의 센서 디바이스 및/또는 측정 디바이스에 의해 획득된 정보는 윈드스크린 상에 디스플레이될 이미지를 생성하기 위해 프로세서 유닛에 의해 프로세싱된다. 위에서 논의된 바와 같이, 생성된 이미지는, 차량 앞 주변환경의 일부의 그래픽(또는 실제 뷰) 표현뿐만 아니라 검출된 또는 측정된 정보를 그래픽 형태로 표현하는 하나 이상의 이미지 오브젝트들, 및 다양한 주변 광 조건들 하에서 이미지 오브젝트들의 콘트라스트를 조율하는 데 사용되는 하나 이상의 배경 오브젝트들을 포함할 수 있다.
방법의 일 실시예에서, 이미지 오브젝트 픽셀들의 강도 및 배경 오브젝트 픽셀들의 강도는, 이미지 오브젝트를 둘러싸는 픽셀-간 구역들 및 배경 오브젝트들의 평균 강도가 픽셀-간 구역들 및 배경 오브젝트들과 관련하여 이미지 오브젝트에 대해 요구되는 레벨의 강도 콘트라스트(C)를 제공하도록 결정된다. 이에 따라, 이미지 오브젝트의 콘트라스트(C)는 (도 3a 및 3b의 표기법들을 사용하여) 다음의 식으로 표현될 수 있다:
Figure pct00001
여기서 IIN(b)는 이미지 오브젝트의 픽셀들의 평균 픽셀 강도이고, IIN(c)는 이미지 오브젝트를 둘러싸는 배경 오브젝트(들)의 픽셀들의 평균 픽셀 강도이고, 그리고 IIN(a)는 이미지 오브젝트를 둘러싸는 픽셀-간 구역들의 평균 광 강도이다.
차량의 윈드스크린 상에 디스플레이될 이미지는, 이미지 내의 임의의 이미지 오브젝트의 콘트라스트(C)가 적어도 500:1, 바람직하게는 적어도 1000:1이도록 생성되는 것이 바람직하다. 이러한 콘트라스트(C)의 범위들로, 차량의 운전자와 같은 뷰잉중인 사용자에 의해 윈드스크린 상의 이미지 오브젝트들이 명확하게 인식될 수 있다.
사용자(예를 들어, 운전자)에 의해 인지되는 픽셀-간 유닛들의 광 강도는, 하루 중 기간(예를 들어, 주간, 야간, 황혼, 새벽), 날씨(예를 들어, 화창함, 흐림, 비옴(rainy), 안개낌 등), 및 차량이 현재 이동하거나 머무르고 있는 주변환경(예를 들어, 반사 또는 밝은 오브젝트들, 그림자들, 터널들 등)의 특정 광학 특성들에 의존할 수 있다는 점이 주목되어야 한다.
이미지 오브젝트들에 대한 요구되는 레벨의 콘트라스트를 유지하기 위해, 이미지의 픽셀 강도들의 다양한 조정들이 예로서 아래 표 1에 지시된 바와 같이 적용될 수 있다.
Figure pct00002
표 1
No. 1-3의 경우들에서는, 뷰잉중인 사람을 위해, 윈드스크린 상에 유용한 정보의 가장 적절한 강도가 달성되도록, 이미지 오브젝트들의 콘트라스트가 조율된다. 이는, 가장 적절한 강도 하에서, 윈드스크린 상에 전체 이미지의 제시로 운전자가 차량을 안전하게 운전할 수 있게 하면서, 이미지 오브젝트가 명확하게 인식가능한 형태로 디스플레이된다는 것을 의미한다.
No. 4의 경우에서, 디스플레이된 이미지는, 임의의 다가오는 차량들이 전혀 없거나 거의 없는 경우, 차량이 시골길을 주행할 때 야간 조건들에 대해 채택되도록 조율된다. 이런 상황에서, 이미지 오브젝트들은 낮은 강도로만 제시되므로, 소위 "루밍(looming)" 디스플레이 모드를 제공한다. 이 경우, LCD-타입 투명 디스플레이 모듈의 경우, 이미지 오브젝트들을 디스플레이하기 위해 요구되는 레벨의 역광을 생성하기 위해, 추가 광원, 예를 들어 LCD-타입 디스플레이 모듈의 주변부에 통합되는 조명 유닛을 사용하는 것이 필요할 수 있다. 확실히, LED-타입 투명 디스플레이 모듈에는 이러한 추가 조명이 필요하지 않다.
No. 5의 경우, 암흑 이미지 오브젝트들이 윈드스크린의 해당 필드들을 암흑화시키기 위해(또는 완전히 백지화시키기 위해) 차량의 윈드스크린 상에 디스플레이될 수 있으며, 여기서 사용자(운전자 또는 동승자)는 다가오는 다른 차량에 의해 방출되는 교란하는 강한 강도의 광을 인지할 수 있다. 이러한 암흑 이미지 오브젝트의 이미지 픽셀들은 디스플레이된 이미지 내에서 제로의 강도를 갖도록 설정된다.
마지막으로, 단계(430)에서, 차량의 윈드스크린에 통합된 투명 디스플레이 모듈에 의해 차량의 윈드스크린 상에 이미지가 디스플레이되고, 여기서 투명 디스플레이 모듈은 투명 픽셀 유닛들 및 투명 픽셀-간 구역들을 포함한다.
방법의 일 실시예에서, 하나 이상의 센서 디바이스들 및/또는 측정 디바이스들은 차량의 외부 환경 및/또는 차량의 적어도 하나의 물리적 특성에 관한 정보를 획득하는 데 사용될 수 있다. 센서 디바이스는, 예를 들면, 포토 검출기, 레이더 검출기, 초음파 검출기, 카메라 디바이스, GPS 포지션 센서 등을 포함할 수 있다. 측정 디바이스는 예를 들어 속도계(speedometer), 회전 속도계(tachometer), 온도계(thermometer) 등일 수 있다. 이 실시예에서, 프로세서 유닛은 추가로, 통합된 투명 디스플레이 모듈을 통해 차량의 윈드스크린 상에 디스플레이될 이미지를 생성하기 위해, 적어도 하나의 센서 디바이스 또는 측정 디바이스의 센서 데이터 및/또는 측정 데이터를 사용한다.
방법의 일 실시예에서, LCD-타입 디스플레이 모듈이 투명 디스플레이 모듈로서 사용된다. 이 실시예에서, 주변 광이 디스플레이 모듈의 역광으로서 사용되거나, 또는 디스플레이 모듈의 주변부에 통합된 광원(예를 들어, LED 유닛)이 디스플레이 모듈을 위한 역광을 생성하기 위해 사용되거나, 또는 주변 광 및 통합된 광원 둘 다가 LCD-타입 디스플레이 모듈에 역광을 제공하기 위해 동시에 사용될 수 있다.
대안적으로, 방법의 다른 실시예에서, LED-타입 디스플레이 모듈이 투명 디스플레이 모듈로서 사용된다. 이 실시예에서, 디스플레이 픽셀 유닛들의 LED 광원들 자체가 이미지를 디스플레이하기 위한 광을 생성하기 때문에, 디스플레이를 동작시키기 위한 역광이 필요하지 않다.
이미지가 모션 픽처(motion picture)로서 디스플레이되는 것이 바람직하다. 특히, 하나 이상의 이미지 오브젝트들이 모션 픽처로서 디스플레이될 수 있는데, 즉, 이미지 오브젝트들의 콘텐츠는 시간에 따라 변할 수 있다. 예를 들어, 이미지 오브젝트가 차량의 속도를 지시하는 속도계의 그래픽 표현을 제시할 수 있거나, 또는 도로 지도 및 다른 내비게이션 정보를 보여주는 내비게이션 스크린이 디스플레이될 수 있다.
이미지 오브젝트가 모션 픽처로서 제시되는 경우, 이미지 오브젝트는, 차량에 관한 감지된 또는 측정된 물리적 특성 또는 환경 정보의 변화들에 응답하여, 실시간으로 디스플레이되는 것이 특히 바람직하다. 예를 들어, 속도계를 나타내는 이미지 오브젝트가 차량의 순간 속도를 나타내기 위해 디스플레이될 수 있거나, 또는 내비게이션 스크린이 도로 지도 및 다른 내비게이션 정보를 실시간으로 지속적으로 업데이트함에 따라 디스플레이될 수 있다.
본 발명의 시스템 및 방법의 바람직한 실시예에서, 증강 현실이 차량의 윈드스크린 상에 디스플레이될 수 있다. 증강 현실(AR) 이미지가 본 발명에 따른 디스플레이 시스템의 특정 실시예를 사용하여 생성될 수 있으며, 이는 디스플레이 시스템의 이 실시예의 주요 컴포넌트들을 묘사하는 도 5를 참조로 아래에서 설명될 것이다.
도 5에 도시된 바와 같이, 시스템(500)은 차량 전방의 주변환경의 이미지들을 캡처하기 위한 제1 카메라 디바이스(510)를 포함한다. 제1 카메라 디바이스(510)의 뷰잉 각도 및 다른 광학 파라미터들(예를 들어, 초점 거리, 해상도 등)은, 차량에 대한 제1 카메라 디바이스(510)의 위치에 의존할 수 있다. 제1 카메라 디바이스(500)의 이미지 품질은, 예를 들어, 렌즈들의 전방에서 사용되는 필터들(예를 들어, UV 필터, 눈부심 방지 코팅 등), 코팅들 및 유리의 재료 품질 등에 의존할 수 있다. 제1 카메라 디바이스(510)는, 종래의 비디오 카메라, 적외선 카메라, 자외선(UV) 카메라, 레이더 카메라 등을 포함할 수 있다.
시스템(500)은 차량에 있는 사용자(예를 들어, 운전자 또는 동승자)의 눈들의 이미지들을 캡처하기 위한 제2 카메라 디바이스(520)를 더 포함한다. 제1 및 제2 카메라 디바이스들(510, 520)은 또한, 프로세서 유닛(220)(도 2에 도시됨)에 커플링되고, 이 프로세서 유닛(220)은 이제 추가로, 미리결정된 기본 좌표계(CSb)에서 사용자의 눈들의 3차원 포지션을 결정하기 위한 제2 카메라 디바이스(520)의 이미지를 프로세싱하도록 구성된다.
시스템(500)에서, 제2 카메라 디바이스(520)의 포지션 및 배향은 기본 좌표계(CSb)에 대해 고정될 수 있고, 그리고 또한, 윈드스크린의 3차원 표면, 보다 구체적으로 통합된 디스플레이 모듈이 기본 좌표계(CSb)에 맵핑되어, 프로세서 유닛(220)이 제2 카메라 디바이스(520)의 이미지들에 기반하여 윈드스크린에 대한 사용자의 눈들의 상대적 포지션을 결정할 수 있다. 추가적으로, 사용자의 뷰잉 방향이 또한, 제2 카메라 디바이스에 의해 캡처되는 이미지를 기초로 프로세서 유닛(220)에 의해 결정될 수 있다. 이러한 파라미터들에 기반하여, 프로세서 유닛(220)은 차량의 윈드스크린을 통해 사용자가 관찰할 수 있는 시야를 재구성할 수 있다. 일단 이 시야가 결정되었다면, 프로세서 유닛(220)은 시야 내의 오브젝트들을 윈드스크린의 3차원 표면에, 또는 사용자(운전자 또는 탑승자) 전방의 그의 적어도 일부에 맵핑할 수 있다. 결과적으로, 사용자(운전자 또는 동승자)가 윈드스크린을 통해 볼 수 있는 맵핑된 주변환경 뷰는, 임의의 이미지 오브젝트를 베이스 이미지의 특정 부분에 피팅하기 위한 베이스 이미지로서의 역할을 할 것이다.
이 실시예에서, 프로세서 유닛(220)은 추가로, 사용자(운전자 또는 동승자)가 차량의 주변환경의 일부인 것처럼 윈드스크린 상에서 연관된 이미지 오브젝트를 볼 수 있도록, 이미지 오브젝트를 베이스 이미지에 피팅하도록 구성된다. 그러한 AR 이미지 오브젝트를 생성하는 기술은 당업계에 잘 알려져 있으므로, 그의 컴퓨터조작(omputational) 세부사항은 본원에서 생략된다. 또한, 이 시스템의 실시예에서, 베이스 이미지 이후로 베이스 이미지 자체를 디스플레이할 필요가 없는데, 즉, 차량의 투명 윈드스크린을 통해, 차량 전방의 주변환경의 뷰를 볼 수 있다는 점이 주목된다. 그러나, 제1 카메라 디바이스에 의해 캡처된 이미지에 기반한 베이스 이미지의 적어도 일부가 바람직하게는 해당 AR 이미지 오브젝트보다 더 낮은 강도로 윈드스크린 디스플레이 유닛에 의해 또한 디스플레이되는 것이 또한 실현가능하다.
시스템(500)의 투명 윈드스크린 디스플레이 유닛(230) 및 광 센서 유닛(210)은 도 2를 참조로 위에서 설명된 바와 동일하다.
AR 이미지들은 바람직하게는, 주행하는 동안 차량의 주변환경에 대한 차량의 포지션의 변화들에 응답하여 실시간으로 제시된다.
위에서 설명된 디스플레이 시스템을 사용하는 본 발명에 따른 제2 방법이 도 6을 참조로 아래에서 소개될 것이다.
방법의 제1 단계(600)로서, 차량의 윈드스크린에 입사하는 주변 광의 적어도 하나의 물리적 특성이 광 센서 유닛에 의해 획득된다. 이 단계는 도 4를 참조하여 위에서 설명된 방법의 단계(400)에 대응한다.
단계(602)에서, 제1 카메라 디바이스에 의해 차량 전방의 주변환경의 제1 이미지가 캡처된다.
그 다음, 단계(604)에서, 제2 카메라 디바이스에 의해 사용자(예를 들어, 운전자 또는 동승자)의 눈들의 제2 이미지가 캡처된다. 제2 캡처된 이미지에 기반하여, 윈드스크린에 대한 사용자의 뷰잉 포인트 및 선택적으로, 또한 사용자의 뷰잉 방향이 프로세서 유닛에 의해, 단계(606)에서, 결정된다.
그런 다음, 단계(608)에서, 제1 카메라 디바이스에 의해 캡처된 주변환경의 제1 이미지가, 윈드스크린의 3차원 표면, 또는 사용자(운전자 또는 동승자)에 가까운 그의 적어도 일부에 맵핑된다. 윈드스크린 표면은 디스플레이 시스템의 미리결정된 기본 좌표계에서 정의될 수 있다. 윈드스크린의 표면에 맵핑된 주변환경의 제1 이미지는 후속 이미지 프로세싱을 위한 기본 이미지로서의 역할을 할 것이다.
그 다음 단계(610)에서, 제1 카메라 디바이스에 의해 캡처된 주변환경의 제1 이미지는 그의 콘텐츠를 분석하기 위해 프로세싱된다. 그런 다음, 단계(612)에서, 주변환경의 제1 이미지의 콘텐츠에 기초하여 적어도 하나의 이미지 오브젝트가 생성되고, 여기서 적어도 하나의 이미지 오브젝트는 윈드스크린 상에 증강 현실 이미지, 즉 제3 이미지를 생성하기 위한 베이스 이미지에 추가될 것이다. 예를 들어, 이미지 오브젝트는, 교차로, 다른 차량, 보행자와 같이, 차량 주변의 교통에 대한 임의의 오브젝트, 자동차 앞 차선의 세그먼트 등을 포함할 수 있다.
그런 다음, 베이스 이미지와 연관된 적어도 하나의 이미지 오브젝트가, 단계(614)에서, 프로세서 유닛에 의해 베이스 이미지에 피팅되어, 사용자(운전자 또는 동승자)가 윈드스크린 상에 있는 적어도 하나의 이미지 오브젝트를 차량 전방의 주변환경의 일부인 것처럼 인식할 수 있다. 적어도 이미지 오브젝트를 베이스 이미지에 피팅하기 위해, 단계(606)에서 이전에 결정되었던, 사용자의 눈들의 포지션이 프로세서 유닛에 의해 사용된다.
그런 다음, 단계(616)에서, 디스플레이될 제3 이미지는 베이스 이미지에 피팅된 적어도 하나의 이미지 오브젝트에 기반하여 프로세서 유닛에 의해 생성된다. 생성된 제3 이미지는 하나 이상의 피팅된 이미지 오브젝트들 및 하나 이상의 배경 오브젝트들을 포함한다.
단계(620)에서, 이미지 픽셀들의 강도는 윈드스크린에 입사하는 주변 광의 적어도 하나의 물리적 특성의 함수로서 프로세서 유닛에 의해 개별적으로 결정된다. 이 단계는 위의 단계(420)와 동일한 방식으로 수행된다. 입사 주변 광의 물리적 특성들은, 차량의 주변환경의 평균 주변 광 강도, 카메라로 캡처된 이미지들 내 광 강도 분포, 카메라로 캡처된 이미지들 내 컬러 분포 중 적어도 하나를 포함할 수 있다.
마지막으로, 단계(630)에서, 제3 이미지는 베이스 이미지를 디스플레이하지 않고 투명 디스플레이 모듈에 의해 윈드스크린 상에 디스플레이된다. 적어도 하나의 이미지 오브젝트와 함께, 적어도 하나의 배경 오브젝트가 또한, 적어도 하나의 이미지 오브젝트의 콘트라스트가 요구되는 범위 내에 있는 방식으로, 생성되고 투명 디스플레이 모듈 상에 디스플레이될 수 있다. 사용자(예를 들어, 운전자 또는 동승자)에 의해 인식되는 주변환경의 뷰에 피팅된 포지션에서 윈드스크린 상에 적어도 하나의 이미지 오브젝트를 디스플레이함으로써, 증강 현실이 차량의 투명 윈드스크린 디스플레이 유닛에 의해 제시될 수 있다.
디스플레이 방법의 특히 바람직한 실시예에서, 피팅된 이미지 오브젝트(들) 및 배경 오브젝트(들)를 포함하는 제3 이미지는 모션 픽처이고, 여기서, 피팅된 이미지 오브젝트(들)의 그래픽 표현은 항상, 차량이 주행하는 동안 실시간으로 주변환경에 대한 사용자 뷰의 변화들을 따른다.
제2 방법의 이미지 오브젝트는 차량의 동작 특징들, 차량의 교통-관련 특징들, 차량 앞의 가시적 또는 비-가시적 오브젝트들 중 적어도 하나의 것에 대한 그래픽 표현일 수 있다. 배경 오브젝트는 플레인 컬러 필드, 컬러 트랜지션 필드, 텍스처 필드 등 중 적어도 하나를 포함할 수 있다.
제2 방법에서, 이미지 오브젝트 픽셀들의 강도 및 배경 오브젝트 픽셀들의 강도는, 이미지 오브젝트를 둘러싸는 픽셀-간 구역들 및 배경 오브젝트들의 평균 강도가 투명 디스플레이 유닛의 픽셀-간 구역들 및 배경 오브젝트들과 관련하여 이미지 오브젝트에 대해 미리설정된 레벨의 콘트라스트를 제공하도록 설정된다. 바람직하게는, 콘트라스트는 적어도 500:1, 보다 바람직하게는 적어도 1000:1가 되도록 설정된다.
본 발명에 따른 디스플레이 시스템의 일 실시예에서, 투명 디스플레이 모듈은 차량의 윈드스크린의 상당 부분에 통합될 수 있으므로, 차량의 운전자와 다른 동승자들이 윈드스크린 디스플레이 유닛을 동시에 사용할 수 있다. 이 경우, 투명 윈드스크린 디스플레이 유닛의 적어도 일부는 한 방향 또는 두 방향으로 휘어질 수 있다. 이에 따라, 통합된 투명 디스플레이 모듈은 윈드스크린의 3차원 표면에 피팅되도록 형상화될 수 있다.
투명 디스플레이 모듈이 한 방향 또는 두 방향으로 휘어진 만곡된 부분을 갖는 경우, 디스플레이 모듈의 만곡된 부분에 제시되어야 하는 이미지의 이 부분은, 사용자(운전자 또는 동승자)가 윈드스크린의 만곡된 부분 상에 나타나는 이미지를 왜곡 없이 인지할 수 있도록, 적절하게 왜곡되어야 한다. 프로세서 유닛에 의해 수행되는 요구되는 이미지 변환은 당업계에 잘 알려져 있으므로, 이에 대한 세부사항은 본원에서 생략된다.
본 발명에 따른 디스플레이 방법의 일 실시예에서, 투명 디스플레이 모듈의 다음의 디스플레이 특성들: 투명도, 채도, 콘트라스트, 컬러 균형 등 중 적어도 하나가 프로세서 유닛에 의해 최적화될 수 있다.

Claims (26)

  1. 차량의 윈드스크린(windscreen) 상에 이미지들을 디스플레이하는 방법으로서,
    - 광 센서 유닛에 의해, 상기 차량의 윈드스크린에 입사하는 주변 광의 적어도 하나의 물리적 특성을 획득하는 단계(600);
    - 제1 카메라 디바이스에 의해, 상기 차량 전방의 주변환경(environment)의 제1 이미지를 캡처하는 단계(602);
    - 제2 카메라 디바이스에 의해, 사용자, 특히 상기 차량의 운전자의 눈들의 제2 이미지를 캡처하는 단계(604);
    - 상기 제2 이미지에 기반하여, 프로세서 유닛에 의해, 상기 윈드스크린에 대한 동승자(passenger)의 뷰잉 포인트(viewing point)를 결정하는 단계(606);
    - 베이스 이미지를 생성하기 위해, 상기 프로세서 유닛에 의해, 상기 윈드스크린의 표면의 적어도 일부에 상기 제1 이미지를 맵핑하는 단계(608);
    - 상기 프로세서 유닛에 의해, 상기 제1 이미지의 콘텐츠를 분석하는 단계(610);
    - 상기 제1 이미지의 콘텐츠에 기반하여, 적어도 하나의 이미지 오브젝트를 생성하는 단계(612);
    - 상기 프로세서 유닛에 의해, 상기 적어도 하나의 이미지 오브젝트를 상기 베이스 이미지에 피팅(fitting) 단계(614);
    - 상기 피팅된 이미지 오브젝트에 기반하여, 상기 프로세서 유닛에 의해, 디스플레이될 제3 이미지를 생성하는 단계(616);
    - 상기 프로세서 유닛에 의해, 상기 윈드스크린에 입사하는 주변 광의 상기 적어도 하나의 물리적 특성의 함수로서 상기 제3 이미지의 각각의 픽셀의 강도를 개별적으로 조정하는 단계(620); 및
    - 상기 차량의 윈드스크린에 통합된 투명 디스플레이 모듈에 의해, 상기 제3 이미지를 디스플레이하는 단계(630)
    를 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  2. 제1항에 있어서,
    상기 광 센서 유닛은 포토 검출기(photo detector), 레이더 검출기, 초음파 검출기, 카메라 디바이스 중 적어도 하나를 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  3. 제1항 또는 제2항에 있어서,
    입사 주변 광의 물리적 특성들은, 상기 차량의 주변환경의 평균 주변 광 강도, 카메라로 캡처된 이미지들 내 광 강도 분포, 카메라로 캡처된 이미지들 내 컬러 분포 중 적어도 하나를 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제3 이미지는 하나 이상의 배경 오브젝트들을 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    이미지 오브젝트는 상기 차량의 동작 특징(feature)들, 상기 차량의 교통 관련 특징들, 상기 차량 앞의 가시적 또는 비-가시적 오브젝트들 중 적어도 하나의 것에 대한 그래픽 표현인, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 배경 오브젝트는 플레인 컬러 필드(plain color field), 컬러 트랜지션 필드(color transition field), 텍스처 필드(textured field) 등 중 적어도 하나를 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    이미지 오브젝트 픽셀들의 강도 및 배경 오브젝트 픽셀들의 강도는, 상기 이미지 오브젝트를 둘러싸는 픽셀-간 구역들 및 배경 오브젝트들의 평균 강도가 투명 디스플레이 유닛의 픽셀-간 구역들 및 배경 오브젝트들과 관련하여 상기 이미지 오브젝트에 대해 미리설정된 레벨의 콘트라스트(contrast)를 제공하도록 설정되는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  8. 제7항에 있어서,
    상기 콘트라스트는 적어도 500:1, 바람직하게는 적어도 1000:1가 되도록 설정되는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    - 적어도 하나의 센서 디바이스들 또는 측정 디바이스에 의해, 상기 차량의 외부 환경 및/또는 상기 차량의 적어도 하나의 물리적 특성에 관한 정보를 획득하는 단계;
    - 상기 프로세서 유닛에 의해, 상기 획득된 정보를 표현하는 이미지 오브젝트를 생성하는 단계;
    - 상기 투명 디스플레이 모듈에 의해, 상기 이미지 오브젝트를 포함하는 이미지를 디스플레이하는 단계
    를 더 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  10. 제9항에 있어서,
    - 상기 센서 디바이스는 포토 검출기, 레이더 검출기, 초음파 검출기, 카메라 디바이스, GPS 포지션 센서 중 적어도 하나를 포함하고; 그리고
    - 상기 측정 디바이스는 속도계(speedometer), 회전 속도계(tachometer), 온도계(thermometer) 중 적어도 하나를 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  11. 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법으로서,
    - 광 센서 유닛에 의해, 상기 차량의 윈드스크린에 입사하는 주변 광의 적어도 하나의 물리적 특성을 획득하는 단계(400);
    - 프로세서 유닛에 의해, 상기 차량의 윈드스크린 상에 디스플레이될 이미지를 생성하는 단계(410);
    - 상기 차량의 윈드스크린에 입사하는 주변 광의 상기 적어도 하나의 물리적 특성의 결정에 기반하여, 상기 프로세서 유닛에 의해, 각각의 이미지 픽셀의 강도를 주변 광의 상기 적어도 하나의 물리적 특성의 함수로서 개별적으로 조정하는 단계(420); 및
    - 상기 차량의 윈드스크린에 통합된 투명 디스플레이 모듈에 의해, 상기 이미지를 디스플레이하는 단계(430)
    를 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  12. 제11항에 있어서,
    상기 광 센서 유닛은 포토 검출기, 레이더 검출기, 초음파 검출기, 카메라 디바이스 중 적어도 하나를 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  13. 제11항 또는 제12항에 있어서,
    입사 주변 광의 물리적 특성들은, 상기 차량의 주변환경의 평균 주변 광 강도, 카메라로 캡처된 이미지들 내 광 강도 분포, 카메라로 캡처된 이미지들 내 컬러 분포 중 적어도 하나를 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 제3 이미지는 하나 이상의 배경 오브젝트들을 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서,
    이미지 오브젝트는 상기 차량의 동작 특징들, 상기 차량의 교통 관련 특징들, 상기 차량 앞의 가시적 또는 비-가시적 오브젝트들 중 적어도 하나의 것에 대한 그래픽 표현인, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  16. 제11항 내지 제15항 중 어느 한 항에 있어서,
    상기 배경 오브젝트는 플레인 컬러 필드, 컬러 트랜지션 필드, 텍스처 필드 등 중 적어도 하나를 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  17. 제11항 내지 제16항 중 어느 한 항에 있어서,
    이미지 오브젝트 픽셀들의 강도 및 배경 오브젝트 픽셀들의 강도는, 이미지 오브젝트를 둘러싸는 픽셀-간 구역들 및 배경 오브젝트들의 평균 강도가 상기 투명 디스플레이 유닛의 픽셀-간 구역들 및 배경 오브젝트들과 관련하여 상기 이미지 오브젝트에 대해 미리설정된 레벨의 콘트라스트를 제공하도록 설정되는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  18. 제17항에 있어서,
    상기 콘트라스트는 적어도 500:1, 바람직하게는 적어도 1000:1가 되도록 설정되는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  19. 제11항 내지 제18항 중 어느 한 항에 있어서,
    - 적어도 하나의 센서 디바이스들 또는 측정 디바이스에 의해, 상기 차량의 외부 환경 및/또는 상기 차량의 적어도 하나의 물리적 특성에 관한 정보를 획득하는 단계;
    - 상기 프로세서 유닛에 의해, 상기 획득된 정보를 표현하는 이미지 오브젝트를 생성하는 단계;
    - 상기 투명 디스플레이 모듈에 의해, 상기 이미지 오브젝트를 포함하는 이미지를 디스플레이하는 단계
    를 더 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  20. 제19항에 있어서,
    - 상기 센서 디바이스는 포토 검출기, 레이더 검출기, 초음파 검출기, 카메라 디바이스, GPS 포지션 센서 중 적어도 하나를 포함하고; 그리고
    - 상기 측정 디바이스는 속도계, 회전 속도계, 온도계 중 적어도 하나를 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  21. 제1항 내지 제20항 중 어느 한 항에 따른 방법들 중 임의의 방법을 수행하기 위한, 차량의 윈드스크린 상에 이미지들을 디스플레이하기 위한 시스템으로서,
    - 상기 차량의 윈드스크린에 입사하는 주변 광의 적어도 하나의 물리적 특성을 획득하고 그리고 주변 광 정보를 제공하기 위한 광 센서 유닛(210);
    - 디스플레이될 이미지를 생성하도록 구성되고 그리고 추가로, 상기 주변 광 정보의 함수로서 각각의 이미지 픽셀의 강도를 개별적으로 조정하도록 구성된 프로세서 유닛(220);
    - 상기 차량의 윈드스크린 상에 상기 이미지를 디스플레이하기 위한 투명 윈드스크린 디스플레이 유닛(230)
    을 포함하며, 상기 디스플레이 유닛은 2개의 투명 보호 층들 및 상기 2개의 투명 보호 층들 사이의 투명 디스플레이 모듈을 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하기 위한 시스템.
  22. 제21항에 있어서,
    상기 투명 디스플레이 모듈은 LCD-타입 디스플레이 모듈(234) 및 LED-타입 디스플레이 모듈(334) 중 하나인, 차량의 윈드스크린 상에 이미지들을 디스플레이하기 위한 시스템.
  23. 제22항에 있어서,
    상기 LCD-타입 디스플레이 모듈(234)의 주변부에 광원이 통합되는, 차량의 윈드스크린 상에 이미지들을 디스플레이하기 위한 시스템.
  24. 제21항 내지 제23항 중 어느 한 항에 있어서,
    상기 투명 윈드스크린 디스플레이 유닛(230)은 한 방향 또는 두 방향으로 휘어진, 차량의 윈드스크린 상에 이미지들을 디스플레이하기 위한 시스템.
  25. 제1항 내지 제20항 중 어느 한 항에 있어서,
    - 투명 윈드스크린 디스플레이 유닛은 한 방향 또는 두 방향을 따라 구부러진 적어도 하나의 만곡된 부분을 포함하고, 그리고
    - 상기 이미지를 디스플레이하는 단계는, 상기 사용자가 상기 이미지의 일부를 왜곡없이 인지할 수 있도록, 상기 투명 윈드스크린 유닛의 만곡된 부분 상에 상기 이미지의 일부를 왜곡된 형태로 디스플레이하는 단계를 포함하는, 차량의 윈드스크린 상에 이미지들을 디스플레이하는 방법.
  26. 프로세서 디바이스에 의해 실행될 때, 상기 프로세서 디바이스로 하여금, 제1항 내지 제20항 및 제25항 중 어느 한 항에 따른 방법의 단계들을 수행하게 하는 명령들을 포함하는, 컴퓨터 프로그램 제품.
KR1020227006762A 2019-07-30 2020-07-30 윈드스크린 상에 이미지를 디스플레이하기 위한 시스템들 및 방법들 KR20220038484A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19462003.5A EP3771937A1 (en) 2019-07-30 2019-07-30 Systems and methods for displaying image on windscreen
EP19462003.5 2019-07-30
PCT/EP2020/071553 WO2021019034A1 (en) 2019-07-30 2020-07-30 Systems and methods for displaying image on windscreen

Publications (1)

Publication Number Publication Date
KR20220038484A true KR20220038484A (ko) 2022-03-28

Family

ID=67688715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227006762A KR20220038484A (ko) 2019-07-30 2020-07-30 윈드스크린 상에 이미지를 디스플레이하기 위한 시스템들 및 방법들

Country Status (6)

Country Link
US (1) US20220269073A1 (ko)
EP (1) EP3771937A1 (ko)
JP (1) JP2022542611A (ko)
KR (1) KR20220038484A (ko)
CN (1) CN114730085A (ko)
WO (1) WO2021019034A1 (ko)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69624774T2 (de) * 1995-12-05 2003-03-27 Matsushita Electric Ind Co Ltd Hintergrundbeleuchtete Farbanzeige
US6864927B1 (en) * 1996-12-31 2005-03-08 Micron Technology, Inc. Head up display with adjustable transparency screen
US7561966B2 (en) 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
DE102008043828A1 (de) * 2008-11-18 2010-05-20 Robert Bosch Gmbh Verfahren und Steuergerät zum Bestimmen von lichttechnischen Parametern eines projizierbaren Zeichens
US9028123B2 (en) * 2010-04-16 2015-05-12 Flex Lighting Ii, Llc Display illumination device with a film-based lightguide having stacked incident surfaces
US9429757B1 (en) * 2013-11-09 2016-08-30 Jonathan Peeri System for providing projected information combined with outside scenery
DE102015202846B4 (de) * 2014-02-19 2020-06-25 Magna Electronics, Inc. Fahrzeugsichtsystem mit Anzeige
DE102014005976A1 (de) * 2014-04-24 2014-09-25 Daimler Ag Anordnung und Verfahren zur Darstellung von optischen Informationen auf einer transparenten Anzeigefläche
US10539791B2 (en) * 2014-09-02 2020-01-21 Ostendo Technologies, Inc. Split exit pupil multiple virtual image heads-up display systems and methods
US10086762B2 (en) * 2014-12-10 2018-10-02 Lg Electronics Inc. Vehicle display device and vehicle comprising same
FR3069656A1 (fr) * 2017-07-31 2019-02-01 Valeo Comfort And Driving Assistance Dispositif de generation d'images et afficheur tete haute associe

Also Published As

Publication number Publication date
EP3771937A1 (en) 2021-02-03
JP2022542611A (ja) 2022-10-05
CN114730085A (zh) 2022-07-08
US20220269073A1 (en) 2022-08-25
WO2021019034A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
CN108196366B (zh) 一种调节显示亮度的方法和装置
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
US9598013B2 (en) Device and method for displaying head-up display (HUD) information
JP6643969B2 (ja) 車両用表示装置
US20100066925A1 (en) Head Up Display
US8716644B2 (en) Glare reduction apparatus
JP6409337B2 (ja) 表示装置
US11011137B2 (en) Display device, display control method, and storage medium for reducing visibility of double-images in head-up displays
JPWO2018167966A1 (ja) Ａｒ表示装置及びａｒ表示方法
JP6695062B2 (ja) 表示システム、制御装置、制御方法、プログラム、及び移動体
CN109996052B (zh) 一种车载显示装置、车载显示方法、存储介质及车辆
CN107315256A (zh) 一种裸眼ar‑hud的实现方法
US20090231720A1 (en) Heads up display
US11012670B2 (en) Luminance control device, imaging control device, electronic mirror control device, head-up display device, on-vehicle display device, on-vehicle imaging device, and electronic mirror
JP2022104965A (ja) ヘッドアップディスプレイ装置
JP6023421B2 (ja) 車両用表示システム
EP3590752B1 (en) Head-up display device and onboard display system
JP6780960B2 (ja) 画像表示装置
US20030226966A1 (en) Method and system for displaying an image
CN110751919B (zh) 透明显示系统及其操作方法
Biswas et al. 47.3: Invited Paper: World Fixed Augmented‐Reality HUD for Smart Notifications
US20220269073A1 (en) Systems and methods for displaying image on windscreen
JP6947873B2 (ja) Ａｒ表示装置、ａｒ表示方法、およびプログラム
JP2023533991A (ja) 凸レンズ／凹面鏡に基づくヘッドブラインドゾーン透視仮想表示装置及び方法
US10432891B2 (en) Vehicle head-up display system