KR20120106776A - 카메라 기반 레인센서와 오염센서, 운전자 인식 및 피로 감지를 위한 헤드업 디스플레이의 광학 부재 이용 - Google Patents

Abstract

본 발명은 헤드업 디스플레이 발생장치가 있는 차량에 관한 것으로, 영상센서 (6)과 포커싱장치 (8)를 포함하는 카메라가 광학 또는 기계적 부재 (5)를 통해 정적 또는 동적으로 헤드업 디스플레이의 광선 경로에 들어오게 된다. 포커싱장치 (8)은 윈드실드 (3)의 외면 영역 (7)이 영상 센서 (6)에 투영되도록 배치되어 있다. 차량은 특히 영상센서의 데이터 분석을 기반으로 운전자 인식, 피로 감지, 레인/오물 감지 보조 기능 중 최소 한 기능을 구비할 수 있다.

Description

카메라 기반 레인센서와 오염센서, 운전자 인식 및 피로 감지를 위한 헤드업 디스플레이의 광학 부재 이용 {USE OF THE OPTICAL ELEMENTS OF A HEAD-UP DISPLAY FOR THE CAMERA-BASED RAIN AND DIRT SENSOR SYSTEM, DRIVER IDENTIFICATION OR FATIGUE DETECTION}

본 발명은 헤드업 디스플레이의 발생 장치, 즉 윈드실드를 통해 운전자의 시야에 정보를 투영하기 위한 장치가 장착된 차량에 관한 것이다.

운전자의 눈에 정보를 투영하기 위해 헤드업 디스플레이가 사용된다. 이로써 계기(속도계, 내비게이션 디스플레이)를 보거나 추가적으로 시간 집중적인 피로한 눈의 조절(눈의 굴절력의 동적 적응)이 생략되는 경우도 있다. 운전자 눈에 들어오는 헤드업 디스플레이의 프로젝션 광선 경로는 대부분의 경우 지정된 시야 범위(Eyebox) 및 운전자의 위치와 키에 맞게 적응형으로 조정된다.

DE 10 2004 031 311 A1에서는 사용자의 동공이 투영될 수 있는 영상 센서 매트릭스를 가지는 투영면에 정보를 표시하기 위한 광학 장치를 제시하고 있다.

본 발명의 기본적인 발상은 포커싱장치와 영상센서를 포함한 추가 카메라를 정적 또는 동적으로 헤드업 디스플레이의 광선 경로에 도입하는 것이다. 포커싱장치로는 예컨대 렌즈를 사용할 수 있다. 영상센서로는 CMOS나 CCD-Chip이 사용된다.

헤드업 디스플레이의 광학 시스템에 카메라 도입은 빔 스플리터를 통해 이루어지거나 쵸퍼 휠 등에 있는 기계식으로 삽입된 카메라를 통해서도 이루어질 수 있다. 리플렉스 카메라에 필적하는 폴딩 미러 커플링도 생각할 수 있을 것이다. 헤드업 디스플레이 프로젝션의 어떤 범위를 사용할 필요가 없을 때 카메라는 광선 경로에 정적으로 있을 수 있을 것이다. 이 카메라는 휴대전화 카메라에 해당할 수 있다.

발명의 주요 장점은 커다란 구조적 추가 경비 없이 카메라용 헤드업 디스플레이의 광학 요소를 이용함으로써 뛰어난 새 기능을 구현할 수 있다는 데 있다. 이는 다음에서 더 상세히 설명하도록 한다.

카메라를 광선 경로에 가져옴으로써 카메라 기반 레인센서가 구현될 수 있다. 발명에 따르면 카메라 포커싱장치는 윈드실드의 외부 영역이 영상 센서에 초점을 맞춰 표시되게끔 배치된다. 윈드실드 외부에 표시된 영역은 헤드업 디스플레이의 가상 광 경로가 지나는 영역에 해당한다.

특히 헤드업 디스플레이의 광학 시스템을 이용함으로써 비를 감지하도록 윈드실드에서 상대적으로 큰 센서 면적을 얻게 된다. 카메라 영상 분석을 통해 윈드실드에 있는 비나 오염입자를 확실히 감지할 수 있다.

종래의 레인 센서는 윈드실드의 상부 영역에 장착되어 차량 운전자가 바라보는 윈드실드 부분이 아닌 영역을 관찰했다. 센서 시야를 벗어나 있으면 운전자의 시야에 있는 국부적인 물(예를 들어 웅덩이에서 튄 물)이나 오염물질을 센서가 감지하지 못할 수 있었다. 종래의 레인센서는 그 크기가 약 2.5 cm²로 센서 면적이 비교적 작아서 확실하고 신속한 비 감지도 제한적이었다. 이러한 레인센서는 풋프린트에 있는 틈새를 통해 외부에서 보이기 때문에 차량 디자인을 해치기도 한다. 기존의 레인 센서는 단독 센서로 좁은 차량 영역에서 설치 장소와 추가 통신선, 전원선 및 윈드실드 풋프린트 부분을 필요로 했다. 양산 차량의 기존 레인센서는 때로는 민감하고 제대로 닦이지 않아 차량 운전자를 짜증나게 하기도 한다.

종래의 광전자 레인센서나 카메라 기반 레인센서에 비해 본 발명에 따른 레인센서는 헤드업 디스플레이의 광학 부재로 많은 장점을 제공한다. 센서 면적이 운전자 시야에 있고 센서는 운전자의 눈에 띄지 않는 위치에 있다. 운전자에게 중요한 부위에 있는 비나 오염물질은 곧바로 감지된다. 센서면은 기존 레인센서 시스템에 비해 상대적으로 크다. 현재 사용되고 있는 약 2.5 cm²의 센서 면적에 비해 프로젝션을 위한 헤드업 디스플레이에서는 약 300 cm²의 윈도우 면적을 감지한다.

외부에서는 센서가 보이지 않기 때문에 제시된 해결책은 디자인 면에서도 확실한 이점을 제공한다. 카메라 전자장치는 헤드업 디스플레이의 전자장치에 통합될 수 있어서 비용과 공간도 절약된다. 윈드실드에서 시야가 넓은 카메라 기반 레인 센서는 더 높은 해상도로 기존 레인센서의 문제(예를 들어 이슬비)를 해결할 수 있고 마른 오염물질의 감지와 같은 다른 많은 기능도 가능하다.

또 다른 장점은 윈도우 세척 시스템의 세척 결과를 평가할 수 있다는 것이다. 헤드업 디스플레이에서 카메라 기반 레인센서는 위를 향하고 있어서 다른 교통 관련 기기를 통한 간섭 요인이 차단된다.

발명에서는 카메라를 이용한 운전자 시야의 동시 관찰로 윈드실드에서 레인 감지와 오염 감지를 조합하는 방식을 선호한다. 이를 위해 예를 들어 수렴 광선 경로에 부분 삽입된 평행 평면판의 굴절 작용 원리에 따라 작동하는 이중초점 포커싱장치가 있다. 이 장치로 두 렌즈면에 도달할 수 있다. 윈드실드에 있는 풋프린트 면의 부분은 첫 번째 렌즈면에서 빗방울을 감지하고 앞유리 와이퍼를 제어하는 데 사용할 수 있다. 두 번째 렌즈면은 운전자의 시야 영역이다. 영상 센서는 첫 번째 부분 영역에서 윈드실드 외면의 초점 영상을 제공하고 두 번째 부분 영역에서는 운전자의 시야 영역의 초점 영상을 제공한다. 후자의 경우 윈드실드는 거울 기능을 한다. 헤드업 디스플레이의 광선 경로는 반대 방향으로 사용된다. 영상 센서의 두 번째 부분 영역은 운전자의 시야 범위(Eyebox)에서 광선을 수신하고 포커싱장치의 배치로 운전자의 눈과 얼굴 부분이 카메라 영상에서 감지 및 확인될 수 있다. 운전자 확인은 여러 점에서 장점으로 입증될 수 있다. (예를 들어 점화 허가, 이모빌라이저, 어린이 보호장치, 안전 및 편의 기능의 개별화)

운전자 확인 시스템은 추가로 변조된 광원으로 지원 받을 수도 있다. 이는 실내 조명의 전압 변조로 이루어질 수 있다. 이로써 자동차 시동 전에 신속하고 확실하게 운전자 인식이 가능하다.

운전자 눈 부위의 관찰은 피로 감지를 위해 사용될 수도 있다. 차선 감지 기능과 결합해서 차선 이탈 원인인 피로를 감지하고 운전자에게 적절한 알림(진동, 음향 신호, 실내 조명의 광펄스 등)을 통해 위험 상황을 완화시킬 수 있다.

헤드업 디스플레이는 윈도우에 광 패턴을 투영할 수 있고 이 광 패턴은 선호 실시예에서 예를 들어 비 감지에 사용될 수 있다. 마찬가지로 윈드실드 위 공간이 헤드업 디스플레이어로 조명되는 장점이 있다. 추가 조명이 필요하면 IR 조명으로 제작할 수 있다. 비나 오염의 감지 개선을 위한 윈도우 부분의 조명은 필요한 경우 헤드업 디스플레이를 통해 클록으로 이루어질 수 있다. 헤드업 디스플레이의 투영된 조명 일부는 일반적으로 윈도우에서 위로 분리된다. 이 윈도우 조명에 운전자가 방해 받지 않도록 IR 조명의 추가 연결을 생각할 수도 있다.

비 감지장치는 헤드업 디스플레이의 비가시 파장 범위(예: 적외선)에서 면적 전체를 비추는 주기적인 광신호로 조명될 수 있다.

마찬가지로 적외선 빛을 통한 시야 범위(Eyebox)의 조명을 생각할 수 있다(예를 들어 추가 헤드업 디스플레이를 통한 IR 광원의 중복 필드 투영으로). 그렇게 해서 주행 중 주기적으로 운전자의 눈을 관찰할 수 있게 된다.

본 발명에서 선호하는 실시 예에서는 광학 부재나 기계적 부재와 영상센서 사이의 광선 경로에 적어도 부분적으로 한 편광 필터가 장착되어 있다.

카메라 시스템에 주위(윈드실드를 통해 위에서)의 광속선이 들어오는 것을 방지하여 눈 관찰을 최적화하기 위해 차량 내부에서 윈드실드를 통해 반사되는 것이 아니라 광속선이 흡수되는 편광 필터를 장착할 수 있다.

비 감지를 위해 윈드실드의 외면에 조명이 있는 경우에는 조명의 선호하는 편광 방향을 사용하지 않을 시 기울어진 윈드실드에 매우 작은 부분의 광속선만 눈 부위로 반사된다. 헤드업 디스플레이에서 광원을 의도적으로 방지하는 조명을 위해 편광 방향을 사용하면 반사 부분이 더 적어진다. 빛의 많은 부분은 윈드실드를 통과한다. 빗방울이나 오염을 통해 전체 반사된 빛은 비나 오염 감지에 도움이 된다.

카메라로 눈 부위와 윈드실드 내면을 동시에 관찰할 때 두 영역의 영상과 반대되는 편광 방향의 두 부분 영역이 있는 편광 필터를 이용하여 두 영역의 조명이 이루어지는 방법이 선호된다(영상 센서에서는 반대 편광 방향의 두 부분 영역을 가지는 추가 편광 필터를 이용해서 이루어진다).

심도 영역이 윈드실드 객체 평면과 아이박스 객체 평면으로 확장하는 카메라가 제안된다. 이 때, 지정된 영상 영역(비 감지를 위한 윈드실드 영역과 Eyebox)에 있어 편광 필터 작용이 바뀌도록 렌즈와 민감한 영상 센서면 사이에 편광 필터가 있다. 물체 인식을 위한 확실한 알고리즘을 개발하기 위해, 반대로 편광된 빛으로 레인 센서를 조명함으로써 최소 두 개의 상이한 객체 평면을 구분하는 데 도움이 될 수 있다. 두 개의 물체 인식 과정이 빠른 인식 속도로 설계될 필요가 없기 때문에 하나 또는 그 이상의 편광 필터의 동적 삽입도 생각할 수 있다.

마찬가지로 아이박스 광속선을 위해 선호하는 반대 편광으로 방향을 설정하거나 설정하지 않는 가시광선을 통해 비 감지를 위해 지정된 윈드실드 면의 조명을 생각할 수 있다.

필요한 카메라는 주변 조도를 결정하는 데 사용할 수 있고 헤드업 디스플레이, 에어컨, 차량 조명을 위한 주요 센서 정보를 제공할 수 있다.

센서는 사람과 차량 간 통신 인터페이스 등의 추가 기능도 담당할 수 있다. 예를 들어 헤드업 디스플레이의 윈드실드 풋프린트에 코드가 새겨진 카드를 올려놓거나 카메라에서 지문을 분석해서 차량을 열 수도 있다. 카메라가 윈드실드 외면에 초점을 맞춤으로써 이러한 기능이 가능하다.

본 발명에서 선호하는 디자인의 차량은 영상 센서 데이터 분석을 기반으로 운전자 인식, 피로 감지, 레인/오염 감지 보조 기능 중 최소 하나를 구비한다.

다음에서는 실시예와 도면을 설명한다.

도 1은 헤드업 디스플레이의 광선 경로를 나타낸다.
도 2는 빔 스플리터를 통한 영상 센서에서 영상 시 광선 경로를 추가로 나타낸다.

도 1에서는 헤드업 디스플레이의 발생 장치가 장착된 차량을 나타내고 있다. 발광기라고도 하는 광원 (4)는 운전자가 윈드실드 전방 영역에서 표시 (1)로 인지하는 전자기 광선을 발생시킨다. 오목거울(편광경 또는 자유 형태 거울) (2)를 통해 광선이 퍼지고 윈드실드 (3)으로 기울어진다. 윈드실드 (3)에는 대부분의 광선이 차량 내부로 반사되고 운전자의 눈 부위 (9)에 부딪힌다. 운전자는 윈드실드 영역에 가상 영상 (1)을 보게 된다.

도 1에 표시된, 광원 (4)와 편광경 (2) 사이의 영역 (5)는 편광이나 광분할을 위한 추가 광학 요소나 기계 요소 (5)의 장착 위치이다.

도 2에서는 거기 표시된 영역 내에서 도 1에 따른 헤드업 디스플레이의 광선 경로에 빔 스플리터가 추가 광학 요소 (5)로 삽입되어 있다. 빔 스플리터 아래에는 포커싱장치 (8)과 영상 센서 (6)이 장착되어 있다. 헤드업 디스플레이의 가상 광선 경로의 범위에서 윈드실드 (3)에 있는 빗방울 (7)은 포커싱장치 (8)에 의해 빔 스플리터 (5)와 헤드업 디스플레이의 편광경 (2)를 통해 영상 센서 (6)에 투영된다. 빗방울 (7)은 윈드실드 (3)에서 차량 내부로 반사되지 않는 헤드업 디스플레이의 전자기 광선의 작은 일부에서 조명된다. 포커싱장치 (8)은 이 실시예에서 헤드업 디스플레이의 가상 광선이 지나는 윈드실드 (3) 외면 영역 (7)이 영상 센서 (6)에 맞춰 투영되도록 설치되어 있다.

카메라 (6,8)의 영상 데이터에서는 윈드실드 (3)에 빗방울 (7)이나 오염 입자가 있으면 감지하고 와이퍼의 조작이나 윈도우 워셔 프로그램의 조작을 위한 신호를 생성할 수 있다.

이 때, 비나 오염 입자가 감지된 윈드실드의 영역이 운전자 시야에 있더라도 레인 센서가 외부에서 안 보인다는 장점이 있다.

1. 가상 영상
2. 오목거울
3. 윈드실드
4. 광원
5. 광분할이나 편광을 위한 광학/기계적 부재
6. 영상센서
7. 헤드업 디스플레이의 가상 광선 경로 영역에서 윈드실드에 있는 빗방
울
8. 포커싱장치
9. 눈 부위

Claims (6)

1. 헤드업 디스플레이의 발생을 위한 장치 (2,3,4)가 있는 차량, 이 때, 영상 센서 (6)과 포커싱장치 (8)를 포함하는 카메라가 광학 요소나 기계 요소 (5)를 통해 정적 또는 동적으로 헤드업 디스플레이의 광선 경로에 들어오며 포커싱장치 (8)은 윈드실드 (3)의 외면 영역 (7)이 영상 센서 (6)에서 투영되도록 배치되어 있는 것을 특징으로 하는.
   차량.
   
2. 제1항에 있어서,
   포커싱장치 (8)이 운전자의 눈 부위 (9)가 영상센서 (6)의 첫 번째 부분 영역에서 투영되고 윈드실드 (3)의 외면 영역 (7)은 영상센서 (6)의 두 번째 부분 영역에서 포커싱되어 투영되는 이중 초점 투영을 가능하도록 하는,
   차량.
   
3. 제1항 또는 제2항에 있어서,
   운전자의 눈 부위 (9)나 윈드실드 (3) 외면의 영상센서 (6)에서 투영된 영역의 조명이 적외선 파장 범위로 지정되어 있고 영상 센서 (6)이 적외선 파장 범위에서 감지할 수 있는 것을 특징으로 하는,
   차량.
   
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   편광 필터가 광학 또는 기계적 부재 (5)와 영상센서 (6) 사이의 광선 경로에 일부 장착되어 있는 것을 특징으로 하는,
   차량.
   
5. 제2항에 있어서,
   두 영역 (7, 9)의 조명이 반대 편광 방향을 가지는 두 부분 영역이 있는 한 편광 필터를 이용해서 이루어지고 영상센서 (6)에 두 영역 (7, 9)의 투영은 편광 방향이 반대인 두 부분 영역이 있는 또 다른 추가 편광 필터를 이용해서 이루어지는 것을 특징으로 하는,
   차량.
   
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   영상센서 (6)의 데이터 분석을 기반으로 운전자 인식, 피로 감지, 레인/오물 감지 보조 기능 중 최소 한 기능을 가지는 것을 특징으로 하는,
   차량.

Images