KR101745261B1 - 선바이저 제어장치 및 방법 - Google Patents

선바이저 제어장치 및 방법 Download PDF

Info

Publication number
KR101745261B1
KR101745261B1 KR1020160048232A KR20160048232A KR101745261B1 KR 101745261 B1 KR101745261 B1 KR 101745261B1 KR 1020160048232 A KR1020160048232 A KR 1020160048232A KR 20160048232 A KR20160048232 A KR 20160048232A KR 101745261 B1 KR101745261 B1 KR 101745261B1
Authority
KR
South Korea
Prior art keywords
camera
face
light
sun visor
image
Prior art date
Application number
KR1020160048232A
Other languages
English (en)
Inventor
이석범
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160048232A priority Critical patent/KR101745261B1/ko
Application granted granted Critical
Publication of KR101745261B1 publication Critical patent/KR101745261B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J3/00—Antiglare equipment associated with windows or windscreens; Sun visors for vehicles
    • B60J3/02—Antiglare equipment associated with windows or windscreens; Sun visors for vehicles adjustable in position
    • B60J3/0204—Sun visors
    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • G06T5/008—Local, e.g. shadow enhancement
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

본 발명은 선바이저 제어장치 및 방법에 관한 것으로, 차량 내 탑승자의 영상을 취득하는 카메라, 상기 카메라를 통해 취득한 영상에서 얼굴 영상을 검출하는 영상 처리부, 상기 차량 내 장착된 선바이저를 조정하는 구동부, 및 상기 얼굴 영상의 분석을 통해 산출된 탑승자 얼굴로 유입되는 유입광에 대한 유입광 정보에 근거하여 상기 선바이저를 제어하는 제어부를 포함한다.

Description

선바이저 제어장치 및 방법 {SUN VISOR CONTROL APPARATUS AND METHOD}
본 발명은 선바이저 제어장치에 관한 것으로, 더욱 상세하게는 운전자상태감시시스템(DSM)의 카메라에 의해 촬영된 영상을 분석하여 선바이저를 제어하는 선바이저 제어장치 및 방법에 관한 것이다.
일반적으로, 차량에는 운전자의 시야 확보와 운전자 환경의 편의를 증대시키기 위해 차량 내부로 유입되는 광을 차단하는 선바이저(sun visor)가 장착된다. 선바이저는 선셰이드(sunshade) 또는 선 실드(sun shield)라고도 한다.
차량 운행 중 차량의 윈드 실드 글라스(wind shield glass) 또는 윈도우(window)를 통해 입사되는 광이 운전자의 눈을 부시게 하여 시계성을 저하시켜 안전 운전을 방해하거나 차량 내 설치된 디스플레이 장치에 반사되어 디스플레이 장치의 가독성을 감소시키므로, 운전자는 선바이저를 수동으로 조작하여 차량 내부로 유입되는 광을 차단한다.
운전자가 운전 중 선바이저 또는 디스플레이 장치를 조작하는 경우, 안전 운전을 방해한다. 이에, 종래에는 자동 제어를 위해 모터를 장착하여 선바이저, 셰이드 및 투명 디스플레이를 이용한 셰이드 등이 개발되고 있다.
이러한 종래의 선바이저 제어장치는 GPS(global positioning system), 조도 센서 및 전방 카메라를 이용하여 광원의 위치 및 광량을 추정하여 선바이저를 제어한다. 그러나, 도 1에 도시된 바와 같이 전방 카메라를 이용하는 경우 광원 측정이 전방에 국한되고, GPS를 이용하는 경우 맵(map)과 추정된 태양의 위치를 사용하므로, 차량의 거동에 따라 실제 입사광의 변화를 정확하게 추정할 수 없다. 따라서, 광원의 위치 및 광량의 추정이 부정확하다.
또한, 종래기술은 운전자 얼굴에 실제로 입사되는 광을 직접 계측하지 않고 간접적으로 측정하므로, 운전자 얼굴에 실제로 입사되는 광과 오차가 발생한다.
또한, 종래에는 GPS 및 카메라 등의 하드웨어 추가로 원가 상승과 태양광 이외의 광원에 대한 측정이 불가능하다.
또한, 종래에는 태양광 광원 위치 추정을 위한 복잡한 수식 연산이 가능한 전자제어장치(ECU)를 요구하므로, 원가를 증가시킨다.
하는 방식을 제시하고 있으나, 얼굴에 실제 입사되는 광을 직접 계측하지 않고 간접적으로 측정한다.
US 20110098894 A1
본 발명은 운전자상태감시시스템(DSM)의 카메라를 이용하여 차량 탑승자의 얼굴로 입사되는 유입광의 방향 및/또는 광량을 추정하여 선바이저의 위치를 조정하는 선바이저 제어장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예에 따르면, 선바이저 제어장치는 차량 내 탑승자의 영상을 취득하는 카메라, 상기 카메라를 통해 취득한 영상에서 얼굴 영상을 검출하는 영상 처리부, 상기 차량 내 장착된 선바이저를 조정하는 구동부 및 상기 얼굴 영상의 분석을 통해 산출된 탑승자 얼굴로 유입되는 유입광에 대한 정보에 근거하여 상기 선바이저를 제어하는 제어부를 포함하는 것을 특징으로 한다.
상기 카메라는 운전자상태감시시스템의 카메라인 것을 특징으로 한다.
상기 카메라는 가시광 카메라, 적외선, 카메라, 단안 카메라, 스테레오 카메라 및 3차원 카메라 중 어느 하나인 것을 특징으로 한다.
상기 유입광에 대한 정보는 유입광의 방향 및 광량 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
상기 제어부는 상기 얼굴 영상과 기설정된 기저 벡터를 이용하여 유입광의 방향 계수를 연산하고, 연산된 방향 계수를 이용하여 유입광의 방향을 추정하는 것을 특징으로 한다.
상기 제어부는 상기 얼굴 영상 내 그림자 영역을 이용하여 탑승자의 얼굴 위치를 추정하는 것을 특징으로 하는 선바이저 제어장치.
상기 제어부는 상기 유입광의 방향 및 탑승자의 얼굴 위치에 근거하여 상기 선바이저를 제어하는 것을 특징으로 한다.
상기 제어부는 카메라 특성 곡선을 이용하여 탑승자 얼굴에 유입되는 유입광의 광량을 산출하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 선바이저 제어방법은 카메라를 통해 차량 내 탑승자의 얼굴 영상을 획득하는 단계, 상기 얼굴 영상을 분석하여 탑승자 얼굴로 입사되는 유입광 정보를 산출하는 단계, 및 상기 유입광 정보에 근거하여 선바이저를 제어하는 단계를 포함하는 것을 특징으로 한다.
상기 유입광 정보를 산출하는 단계는, 상기 얼굴 영상과 기설정된 기저 벡터를 이용하여 유입광의 방향 계수를 연산하는 단계, 및 상기 유입광의 방향 계수를 이용하여 유입광의 방향을 추정하는 단계를 포함하는 것을 특징으로 한다.
상기 유입광 정보를 산출하는 단계 이후, 상기 얼굴 영상 내 그림자 영역을 이용하여 탑승자의 얼굴 위치를 추정하는 단계를 더 포함하는 것을 특징으로 한다.
상기 선바이저를 제어하는 단계는 상기 유입광의 방향 및 상기 탑승자의 얼굴 위치에 근거하여 선바이저를 제어하는 것을 특징으로 한다.
상기 유입광 정보를 산출하는 단계는 카메라 특성 곡선을 이용하여 탑승자 얼굴에 유입되는 유입광의 광량을 산출하는 것을 특징으로 한다.
상기 선바이저를 제어하는 단계는 상기 선바이저의 위치, 각도 및 길이 중 어느 하나 이상을 조정하는 것을 특징으로 한다.
본 발명은 운전자상태감시시스템(DSM)의 카메라를 이용하여 차량 탑승자의 얼굴로 입사되는 유입광의 방향 및/또는 광량을 추정하여 선바이저의 위치를 조정할 수 있어, GPS 등을 이용한 탑승자 얼굴로 입사되는 광을 간접적으로 측정 방식에 비하여 정확도 및 실시간성을 향상시킬 수 있다.
또한, 본 발명에 따르면, GPS 및 조도 센서 등과 같은 별도의 센서 추가가 필요하지 않으므로, 원가 절감 효과를 기대할 수 있다.
또한, 본 발명에 따르면, 태양광 이외에도 차량 탑승자 얼굴에 입사되는 모든 광원에 대한 측정이 가능하므로 활용 가능성이 높다.
도 1은 종래기술에 따른 전방 카메라를 통한 광원 검출을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 선바이저 제어장치의 블록구성도.
도 3은 본 발명의 제1실시예에 따른 선바이저 제어방법을 도시한 흐름도.
도 4는 도 4에 도시된 유입광 방향을 추정하는 과정(S120)을 도시한 흐름도.
도 5는 본 발명과 관련된 유입광 방향별 얼굴 영상을 도시한 도면.
도 6a는 본 발명과 관련된 고유얼굴 기저 벡터를 도시한 도면.
도 6b는 본 발명과 관련된 픽셀 영역 기저 벡터를 도시한 도면.
도 7은 본 발명의 제2실시예에 따른 선바이저 제어방법을 도시한 흐름도.
도 8은 도 7에 도시된 얼굴 위치를 추정하는 과정(S230)을 도시한 흐름도.
도 9는 도 7에 도시된 선바이저 제어과정(S240)을 도시한 흐름도.
도 10은 도 9의 선바이저 제어과정에 따른 선바이저 제어를 도시한 도면.
도 11은 본 발명의 제3실시예에 따른 선바이저 제어방법을 도시한 흐름도.
본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 발명은 차량 내 탑승자(특히, 운전자)의 시계성 향상을 위해 운전자상태감시시스템(Driver State Monitoring, DSM)의 카메라를 이용하여 탑승자 얼굴로 유입되는 유입광의 방향 및/또는 광량(세기)를 직접 측정하고 그 측정된 유입광의 방향 및/또는 광량에 따라 선바이저의 위치를 조정하여 광의 유입을 차단하는 것이다.
본 발명에서는 설명의 이해를 돕기 위해 차량 내 탑승자가 운전자인 경우를 예로 들어 설명하나, 이에 한정되지 않고 각 좌석에 착석한 탑승자에게 입사되는 유입광을 제어하도록 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 선바이저 제어장치를 도시한 블록구성도이다.
선바이저 제어장치(100)는 카메라(110), 영상 처리부(120), 저장부(130), 제어부(140), 구동부(150) 및 선바이저(160)를 포함한다.
카메라(110)는 차량 내 각 좌석의 전방에 설치되어 각 좌석에 착석한 탑승자(예: 운전자)의 영상을 촬영한다. 다시 말해서, 차량 내에는 적어도 하나 이상의 카메라(110)가 설치될 수 있다.
카메라(110)는 운전자상태감시시스템(DSM) 등에 사용되는 카메라로 구현될 수 있다. 예컨대, 카메라(110)는 가시광 카메라, 적외선 카메라, 단안 카메라, 스테레오 카메라 및 3차원 카메라 중 어느 하나로 구현된다. 여기서, 3차원 카메라는 스테레오 카메라와 깊이 카메라(depth camera)로 구성되는 카메라이다.
영상 처리부(120)는 카메라(110)를 통해 취득한 영상에 대해 영상 처리를 수행한다. 영상 처리부(120)는 영상 내 노이즈를 제거하거나 색보정 등을 수행한다.
영상 처리부(120)는 카메라(110)를 통해 취득한 영상에서 얼굴 영역을 검출한다. 즉, 영상 처리부(120)는 운전자 영상에서 운전자의 얼굴 영상을 추출한다.
저장부(130)는 선바이저 제어장치(100)의 동작을 제어하기 위한 프로그램, 영상 처리 프로그램, 선바이저 제어장치(100)의 입/출력 데이터, 카메라 특성 곡선, 및 기설정된 데이터 등을 저장하고 있다.
저장부(130)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), 롬(Read Only Memory, ROM), 웹 스토리지(web storage) 등의 저장매체 중 어느 하나 이상의 저장매체로 구현될 수 있다.
제어부(140)는 영상 처리부(120)로부터 출력되는 얼굴 영상을 이용하여 운전자 얼굴로 유입되는 유입광의 방향 및/또는 광량을 추정한다. 그리고, 제어부(140)는 추정된 유입광의 방향 및/또는 광량에 근거하여 선바이저(160)를 제어한다.
제어부(140)는 유입광의 방향 및/또는 광량에 근거하여 차량 내 장착된 선바이저(160)들 중 어느 하나 이상의 선바이저를 제어대상으로 선정한다. 제어부(140)는 선정된 선바이저의 제어명령을 구동부(150)에 전송한다.
구동부(150)는 제어부(140)의 제어에 따라 선바이저(160)의 위치, 길이, 및/또는 각도 등을 조정한다. 구동부(150)는 모터 또는 액추에이터와 같은 구동장치를 포함할 수 있다.
선바이저(160)는 차량 내 하나 이상 설치되어 차량 내부로 유입되는 광을 차단한다. 선바이저(160)는 플라스틱 또는 투명 디스플레이 등으로 구현될 수 있다.
도 3은 본 발명의 제1실시예에 따른 선바이저 제어방법을 도시한 흐름도이다.
선바이저 제어장치(100)의 제어부(140)는 카메라(110)를 통해 차량 내 운전자의 영상을 획득한다(S110). 카메라(110)는 운전자를 향하도록 설치되어 제어부(140)의 제어에 따라 운전자(탑승자)를 촬영한다.
제어부(140)는 획득한 영상을 이용하여 운전자의 얼굴로 입사되는 유입광의 방향을 추정한다(S120). 즉, 제어부(140)는 카메라(110)을 통해 획득한 영상을 이용하여 운전자 얼굴로 입사되는 유입광의 방향을 측정한다.
제어부(140)는 추정된 유입광의 방향에 근거하여 선바이저(160)를 제어한다(S130). 제어부(140)는 구동부(150)를 제어하여 선바이저의 위치를 조정하여 운전자 얼굴로 입사되는 유입광을 차단한다.
도 4는 도 3에 도시된 유입광 방향을 추정하는 과정(S120)을 도시한 흐름도이고, 도 5는 본 발명과 관련된 유입광 방향별 얼굴 영상을 도시한 도면이며, 도 6a는 본 발명과 관련된 고유얼굴 기저 벡터를 도시한 도면이고, 도 6b는 본 발명과 관련된 픽셀 영역 기저 벡터를 도시한 도면이다.
제어부(140)는 카메라(110)을 통해 획득한 운전자 영상 내에서 얼굴 영역을 검출한다(S121). 영상 처리부(120)는 영상 처리를 통해 획득한 운전자 영상으로부터 얼굴 영상을 검출한다. 여기서, 얼굴 영상은 운전자의 얼굴 영역에 대한 정보만을 가지고 있다.
제어부(140)는 검출한 얼굴 영상과 기저 벡터를 이용하여 유입광 방향 계수를 연산한다(S123). 여기서, 검출한 얼굴 영상 f은 다음 [수학식 1]과 같이 기저 벡터(basis vector) fi와 방향 계수 wi로 표현할 수 있다.
Figure 112016038004512-pat00001
기저 벡터 fi는 도 5에 도시된 유입광 방향별 영상을 이용하여 선정된다. 기저 벡터 fi는 얼굴 영역의 전체 픽셀을 이용하는 고유얼굴(eigenface) 기저 벡터(도 6a 참조) 또는 미리 선정한 다수의 픽셀 영역을 이용하는 픽셀 영역 기저 벡터(도 6b 참조)로 구현될 수 있다.
검출된 얼굴 영상 f은 기저 벡터 fi와 방향 계수 wi를 이용하여 구한 근사 얼굴 영상 간의 오차(error)가 발생한다. 이 오차는 [수학식 2]와 같이 나타낼 수 있다.
Figure 112016038004512-pat00002
제어부(140)는 [수학식 2]의 오차(error)가 최소화될 때의 방향 계수를 방향 계수 wi로 산출한다.
제어부(140)는 추정된 방향 계수를 이용하여 유입광의 방향을 추정(측정)한다(S125).
도 7은 본 발명의 제2실시예에 따른 선바이저 제어방법을 도시한 흐름도이다.
선바이저 제어장치(100)의 제어부(140)는 카메라(110)를 통해 운전자의 영상을 획득한다(S210). 여기서, 카메라(110)는 단안 카메라로 구현된다.
제어부(140)는 획득한 영상을 이용하여 운전자 얼굴로 입사되는 유입광의 방향을 추정한다(S220). 제어부(140)는 영상 처리부(120)를 통해 획득한 영상에서 얼굴 영상을 검출한다. 그리고, 제어부(140)는 검출된 얼굴 영상과 기저 벡터를 이용하여 유입광 방향 계수를 연산하여 유입광의 방향을 추정한다.
제어부(140)는 획득한 영상을 이용하여 운전자의 얼굴 위치를 추정한다(S230). 제어부(140)는 획득한 영상 내 얼굴 영역의 그림자를 이용하여 운전자의 얼굴 위치를 측정한다.
제어부(140)는 추정된 유입광 방향 및 얼굴 위치에 근거하여 선바이저(160)를 제어한다(S240). 제어부(140)는 구동부(150)를 통해 선바이저((160)의 위치를 조정하여 운전자 얼굴로 입사되는 유입광을 제어할 수 있다.
본 실시예에 따르면, 탑승자의 얼굴 위치 정보를 활용하는 경우 유입광 제어의 초기값을 선정하여 빠른 응답성을 가질 수 있다.
도 8은 도 7에 도시된 얼굴 위치를 추정하는 과정(S230)을 도시한 흐름도이다.
제어부(140)는 획득한 영상 내 얼굴 영역에 그림자 영역이 존재하는지를 확인한다(S231). 영상 처리부(120)는 제어부(140)의 제어에 따라 카메라(110)를 통해 획득한 영상에서 얼굴 영역(얼굴 영상)을 검출하고, 그 검출된 얼굴 영역 내 그림자 영역이 존재하는지를 확인한다.
제어부(140)는 얼굴 영역 내 그림자 영역이 존재하면 그림자 영역을 이용하여 얼굴 위치를 추정한다(S233). 본 실시예에서는 단안 카메라를 각도 센서로 활용하므로, 그림자 위치 방향 벡터
Figure 112016038004512-pat00003
는 [수학식 3]과 같이 나타낼 수 있다.
Figure 112016038004512-pat00004
여기서, C0는 카메라의 원점(중심점)이고, Sf는 얼굴 영역 내 그림자의 경계점이다.
또한, 제어부(140)는 유입광의 방향
Figure 112016038004512-pat00005
및 선바이저(160)의 위치
Figure 112016038004512-pat00006
를 이용하여 운전자 얼굴의 3차원 위치
Figure 112016038004512-pat00007
를 구할 수 있다. 운전자 얼굴의 3차원 위치
Figure 112016038004512-pat00008
는 [수학식 4]와 같이 나타내고, 유입광 방향
Figure 112016038004512-pat00009
는 [수학식 5]와 같다.
Figure 112016038004512-pat00010
Figure 112016038004512-pat00011
여기서, k는 상수이다.
한편, 제어부(140)는 얼굴 영역 내 그림자 영역이 존재하지 않으면, 저장부(130)에 저장된 평균 얼굴 치수를 이용하여 운전자의 얼굴 위치를 추정한다(S235). 예를 들어, 얼굴 정보 중 눈 끝점을 이용하는 경우, 제어부(140)는 얼굴 영상의 눈 끝점 간의 길이와 평균 눈 끝점 간의 길이를 이용하여 구할 수 있다.
제어부(140)는 [수학식 6]을 이용하여 운전자의 얼굴 위치 Z를 추정한다.
Figure 112016038004512-pat00012
여기서, X는 평균 얼굴 특징 길이, x는 측정된 얼굴 영상의 얼굴 특징 길이, FL은 카메라의 초점거리이다.
상기한 실시예에서는 단안 카메라를 이용하는 경우를 설명하고 있으나, 이에 한정되지 않고 3차원 카메라를 이용하는 경우 운전자 얼굴의 3차원 위치를 측정하도록 구현할 수 있다.
도 9는 도 7에 도시된 선바이저 제어과정(S240)을 도시한 흐름도이고, 도 10은 도 9의 선바이저 제어과정에 따른 선바이저 제어를 도시한 도면이다.
제어부(140)는 유입광 방향이 측정되면 측정된 유입광 방향에 따라 차량 내 구비된 선바이저들 중 조정할 선바이저(160)를 선정한다(S241). 예를 들어, 제어부(140)는 유입광 방향를 토대로 운전석 선바이저 또는 조수석 선바이저를 선정한다.
제어부(140)는 선바이저(160)의 위치 조정을 위한 제어 초기값을 선정한다(S243). 다시 말해서, 제어부(140)는 운전자의 시계성 저하 방지를 위한 목적 그림자 영역을 목표치(제어 초기값)로 선정한다.
제어부(140)는 구동부(150)를 작동시켜 선바이저(160)를 제어한다(S245). 제어부(140)는 카메라(110)를 통해 촬영된 영상 내 얼굴 영역에 존재하는 그림자 영역이 목표치에 도달하도록 선바이저(160)의 위치, 각도 및/또는 길이 등을 조정한다.
예를 들어, 도 10에 도시된 바와 같이, 제어부(140)는 카메라(110)를 통해 촬영된 영상 내 얼굴 영역에 존재하는 그림자 영역과 목적 그림자 영역 간의 오차를 구하고, 그 구한 오차에 근거하여 선바이저(160)를 제어한다. 즉, 제어부(140)는 운전자 얼굴로 유입되는 유입광을 제어한다.
도 11은 본 발명의 제3실시예에 따른 선바이저 제어방법을 도시한 흐름도이다. 본 실시예에서는 차량 탑승자의 얼굴에 입사되는 광량을 측정하고 그 측정된 광량에 근거하여 선바이저를 제어하는 것을 설명한다.
선바이저 제어장치(100)의 제어부(140)는 카메라(110)을 통해 영상을 획득한다(S310). 여기서, 카메라(110)는 적외선 카메라로 구현될 수 있다.
제어부(140)는 획득한 영상으로부터 운전자 얼굴에 입사되는 유입광의 광량을 산출한다(S320). 제어부(140)는 얼굴 영상의 각 픽셀값에 보정계수를 적용하여 운전자 얼굴에 실제로 입사되는 광량을 산출한다. 여기서, 보정계수는 광의 얼굴 반사율을 의미한다.
카메라 픽셀값(digit) B은 [수학식 7]과 같이 픽셀에 입사되는 광량 E1과 노출 시간 texp의 관계를 나타내는 카메라 특성 곡선 f(E1×texp)에 의해 결정된다.
Figure 112016038004512-pat00013
여기서, B는 영상의 각 픽셀값, E1은 각 픽셀에 입사되는 광량, texp는 노출 시간이다.
따라서, 광량 E1은 카메라 특성 곡선의 역함수
Figure 112016038004512-pat00014
로 구할 수 있다.
운전자 얼굴에 실제로 입사되는 광량 E0은 얼굴 영상 내 광량 E1과 비례적 관계를 가지므로, 본 실시예에서는 얼굴 영상 내 광량 E1을 산출함으로 운전자 얼굴에 입사되는 광량을 추정할 수 있다.
제어부(140)는 주행 환경(예: 낮 또는 밤 등)에 따른 광분포를 고려하여 유입광의 광량을 가시광대역 광량을 변환한다(S330). 카메라(110)가 가시광 카메라가 아닌 적외선 카메라인 경우, 실제 운전에 영향을 주는 산출된 광량을 가시광대역의 광량으로 변환해야 한다. 예를 들어, 적외선 카메라의 IR(적외선) 대역이 850±50nm인 경우, 주간 태양광에 대해서 보정계수 20을 곱한다. 전체 태양광 중 5% 광량만 카메라(110)가 취득한다.
제어부(140)는 변환된 광량에 근거하여 선바이저(160)를 제어한다(S340). 제어부(140)는 구동부(150)를 작동시켜 선바이저(160)의 위치, 각도 및/또는 길이 등을 조절한다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.
110: 카메라
120: 영상 처리부
130: 저장부
140: 제어부
150: 구동부
160: 선바이저

Claims (14)

  1. 차량 내 탑승자의 영상을 취득하는 카메라,
    상기 카메라를 통해 취득한 영상에서 얼굴 영상을 검출하는 영상 처리부,
    상기 차량 내 장착된 선바이저를 조정하는 구동부, 및
    상기 얼굴 영상의 분석을 통해 산출된 탑승자 얼굴로 유입되는 유입광에 대한 유입광 정보에 근거하여 상기 선바이저를 제어하는 제어부를 포함하되,
    상기 제어부는 기저 벡터와 방향 계수를 이용하여 구하는 근사 얼굴 영상과 상기 얼굴 영상 간의 오차가 최소화될 때의 방향계수를 유입광 방향 계수로 산출하고 상기 유입광 방향 계수를 이용하여 상기 유입광의 방향을 추정하는 것을 특징으로 하는 선바이저 제어장치.
  2. 제1항에 있어서,
    상기 카메라는,
    운전자상태감시시스템의 카메라인 것을 특징으로 하는 선바이저 제어장치.
  3. 제1항에 있어서,
    상기 카메라는,
    가시광 카메라, 적외선, 카메라, 단안 카메라, 스테레오 카메라 및 3차원 카메라 중 어느 하나인 것을 특징으로 하는 선바이저 제어장치.
  4. 제1항에 있어서,
    상기 유입광에 대한 정보는,
    유입광의 방향 및 광량 중 어느 하나 이상을 포함하는 것을 특징으로 하는 선바이저 제어장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 제어부는,
    상기 얼굴 영상 내 그림자 영역을 이용하여 탑승자의 얼굴 위치를 추정하는 것을 특징으로 하는 선바이저 제어장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 유입광의 방향 및 탑승자의 얼굴 위치에 근거하여 상기 선바이저를 제어하는 것을 특징으로 하는 선바이저 제어장치.
  8. 제1항에 있어서,
    상기 제어부는,
    카메라 특성 곡선을 이용하여 탑승자 얼굴에 유입되는 유입광의 광량을 산출하는 것을 특징으로 하는 선바이저 제어장치.
  9. 카메라를 통해 차량 내 탑승자의 얼굴 영상을 획득하는 단계,
    상기 얼굴 영상을 분석하여 탑승자 얼굴로 입사되는 유입광 정보를 산출하는 단계, 및
    상기 유입광 정보에 근거하여 선바이저를 제어하는 단계를 포함하되,
    상기 유입광 정보를 산출하는 단계는,
    기저 벡터와 방향 계수를 이용하여 구하는 근사 얼굴 영상과 상기 얼굴 영상 간의 오차가 최소화될 때의 방향 계수를 유입광 방향 계수로 산출하는 단계, 및
    상기 유입광 방향 계수를 이용하여 유입광의 방향을 추정하는 단계를 포함하는 것을 특징으로 하는 선바이저 제어방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 유입광 정보를 산출하는 단계 이후,
    상기 얼굴 영상 내 그림자 영역을 이용하여 탑승자의 얼굴 위치를 추정하는 단계를 더 포함하는 것을 특징으로 하는 선바이저 제어방법.
  12. 제11항에 있어서,
    상기 선바이저를 제어하는 단계는,
    상기 유입광의 방향 및 상기 탑승자의 얼굴 위치에 근거하여 선바이저를 제어하는 것을 특징으로 하는 선바이저 제어방법.
  13. 제9항에 있어서,
    상기 유입광 정보를 산출하는 단계는,
    카메라 특성 곡선을 이용하여 탑승자 얼굴에 유입되는 유입광의 광량을 산출하는 것을 특징으로 하는 선바이저 제어방법.
  14. 제9항에 있어서,
    상기 선바이저를 제어하는 단계는,
    상기 선바이저의 위치, 각도 및 길이 중 어느 하나 이상을 조정하는 것을 특징으로 하는 선바이저 제어방법.
KR1020160048232A 2016-04-20 2016-04-20 선바이저 제어장치 및 방법 KR101745261B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160048232A KR101745261B1 (ko) 2016-04-20 2016-04-20 선바이저 제어장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160048232A KR101745261B1 (ko) 2016-04-20 2016-04-20 선바이저 제어장치 및 방법

Publications (1)

Publication Number Publication Date
KR101745261B1 true KR101745261B1 (ko) 2017-06-20

Family

ID=59281195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160048232A KR101745261B1 (ko) 2016-04-20 2016-04-20 선바이저 제어장치 및 방법

Country Status (1)

Country Link
KR (1) KR101745261B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11644420B2 (en) 2020-10-22 2023-05-09 Ford Global Technologies, Llc Occupant light exposure detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251926A (ja) * 2005-03-08 2006-09-21 Nissan Motor Co Ltd 直射光検出装置
JP2009255740A (ja) * 2008-04-16 2009-11-05 Toyota Motor Corp 車両用撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251926A (ja) * 2005-03-08 2006-09-21 Nissan Motor Co Ltd 直射光検出装置
JP2009255740A (ja) * 2008-04-16 2009-11-05 Toyota Motor Corp 車両用撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11644420B2 (en) 2020-10-22 2023-05-09 Ford Global Technologies, Llc Occupant light exposure detection

Similar Documents

Publication Publication Date Title
EP3621850B1 (en) Shutterless far infrared (fir) camera for automotive safety and driving systems
US9536173B2 (en) Method and device for image-based visibility range estimation
JP2000019259A (ja) 環境認識装置
US20130141520A1 (en) Lane tracking system
CN108460734A (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
EP2723060A1 (en) Vehicle-mounted camera device
US10511793B2 (en) Techniques for correcting fixed pattern noise in shutterless FIR cameras
US9398227B2 (en) System and method for estimating daytime visibility
US10699386B2 (en) Techniques for scene-based nonuniformity correction in shutterless FIR cameras
WO2011158306A1 (ja) 路面反射率分類のためのシステム
TWI749030B (zh) 駕駛輔助系統及駕駛輔助方法
KR20150079004A (ko) 차량용 표시 장치 및 그 제어 방법
US11544918B2 (en) Vehicle to infrastructure system and method with long wave infrared capability
KR101745261B1 (ko) 선바이저 제어장치 및 방법
KR20210005605A (ko) 카메라 고유 파라미터에 대한 온라인 평가
JP2011033594A (ja) 車両用距離算出装置
US20180061008A1 (en) Imaging system and method
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
US11252344B2 (en) Method and system for generating multiple synchronized thermal video streams for automotive safety and driving systems
JP2023548127A (ja) 雨、侵入光および汚れがある場合のカメラの画像の補正
US20210256278A1 (en) Method for Detecting Light Conditions in a Vehicle
JP2018074191A (ja) 車載映像表示システム、車載映像表示方法、およびプログラム
KR20170134893A (ko) 태양의 상대적 위치를 추정하는 운전보조 시스템 및 태양의 상대적인 위치를 추정하는 방법
JP6808753B2 (ja) 画像補正装置および画像補正方法
JP7472780B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant