KR102559163B1 - 개인 맞춤형 능동 편의 시스템 - Google Patents

Abstract

본 발명은 능동 편의 시스템에 대한 것으로서, 특히 융합 센서를 이용하여 탑승자 상태 및 차량 내부 상태에 따라 개인 맞춤형으로 편의를 제공하는 개인 맞춤형 능동 편의 시스템에 관한 것이다. 본 발명은 열적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈을 포함하는 융합 센서 모듈을 이용하여 탑승자 정보와 차량 실내 정보를 보다 정확하게 획득할 수 있다. 또한, 본 발명은 융합 센서 모듈을 이용하여 탑승자 및 상황에 따라 상이한 탑승자 정보와 차량 실내 정보를 정확하게 획득함으로써, 개인 맞춤형 편의를 능동적으로 제공할 수 있다.

Description

개인 맞춤형 능동 편의 시스템{ACTIVITY CONVENIENCE SYSTEM FOR PERSONALIZED CUSTOM}

본 발명은 능동 편의 시스템에 대한 것으로서, 특히 융합 센서를 이용하여 탑승자 상태 및 차량 내부 상태에 따라 개인 맞춤형으로 편의를 제공하는 개인 맞춤형 능동 편의 시스템에 관한 것이다.

자동차, 즉, 차량은 사람이나 화물을 운반하는 등에 사용되는 이동수단을 의미한다. 이러한 차량에는 이동하는데 필요한 동력원 외에도 탑승자가 착석하는 시트와 탑승자가 쾌적한 환경에서 주행할 수 있도록하는 공조 시스템 등을 구비한다.

기존에는 차량의 공조 시스템과 시트를 탑승자가 수동으로 조작해야 했으나, 최근에는 탑승자가 주행에만 신경쓸 수 있도록 공조 시스템과 시트를 자동으로 제어하는 기술이 적용되고 있다. 하지만, 이러한 공조 시스템과 시트는 탑승자의 개별적인 특성이 워낙 복잡하고 다양하기 때문에, 탑승자가 설정한 값을 저장하여 설정 하거나 탑승자가 선택할 수 있는 모드를 제공하는 수준의 편의서비스를 제공하는 수준이 머물러 있으며, 탑승자마다 자동으로 최적의 편의를 제공하는데에는 한계가 있다.

대한민국 공개특허공보 제10-2012-0046909호(2012.05.11. 공개)

본 발명의 목적은 탑승자에 따라 능동적으로 맞춤동작하는 편의 시스템을 제공하는 것이다.

상술한 목적을 달성하기 위해서, 본 발명은 열적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈을 포함하는 융합 센서 모듈과, 상기 융합 센서 모듈에서 획득된 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 융합하는 이미지 융합 모듈, 상기 이미지 융합 모듈에서 융합된 이미지를 처리하여 차량 실내 온도 정보와 탑승자 정보를 생성하는 이미지 처리 모듈, 상기 이미지 처리 모듈에서 생성된 차량 실내 온도 정보와 탑승자 정보를 기반으로 탑승자의 상태와 탑승자의 패턴 및 차량 실내 온도를 판단하는 어플리케이션 모듈, 및 상기 어플리케이션 모듈에서 판단된 결과에 따라 차량을 제어하는 차량 제어 모듈을 포함하는 개인 맞춤형 능동 편의 시스템을 제공한다.

상기 어플리케이션 모듈은, 상기 이미지 처리 모듈에서 탑승자를 검출하여 자세를 판단하는 탑승자 자세 판단 모듈과, 상기 탑승자의 행동패턴을 누적시켜 정상적인 행동패턴과 비정상적인 행동패턴을 판단하는 탑승자 행동 패턴 판단 모듈, 상기 탑승자의 체온을 검출하는 탑승자 체온 판단 모듈, 차량에 동승자가 있는지 판단하는 동승자 탑승 판단 모듈, 상기 탑승자가 수동으로 조절한 공조 조절 패턴을 판단하는 공조 조절 패턴 판단 모듈, 상기 탑승자가 수동으로 조절한 시트 조절 패턴을 판단하는 시트 조절 패턴 판단 모듈, 및 탑승자의 급격한 스티어링휠 조향을 판단하는 주행 패턴 판단 모듈을 포함한다.

상기 이미지 처리 모듈은, 상기 병합 이미지 테이블 생성 모듈에서 생성된 병합 이미지의 시간의 흐름에 따른 다수개의 병합 이미지 테이블을 생성하는 병합 이미지 테이블 생성 모듈, 상기 병합 이미지 테이블 생성 모듈에서 생성된 다수개의 병합 이미지 테이블을 기반으로 변화된 픽셀 영역을 추출하여 변환 테이블을 생성하는 변환 테이블 생성 모듈, 상기 변환 테이블의 픽셀 데이터를 평균연산하는 데이터 평균연산 모듈, 및 상기 평균연산된 변환 테이블을 병합 이미지 테이블에 옵셋 적용하는 옵셋 적용 모듈을 포함한다.

상기 차량 제어 모듈은, 상기 탑승자 체온 판단 모듈에서 판단된 탑승자 체온과 차량 실내 온도 및 동승자 체온 중 적어도 어느 하나를 기반으로 차량 공조를 제어하는 공조 제어 모듈과, 상기 탑승자 자세 판단 모듈에서 판단된 탑승자의 자세와 탑승자의 체형 및 상기 탑승자 행동 패턴 판단 모듈에서 판단된 탑승자의 행동패턴을 기반으로 차량의 시트를 제어하는 시트 제어 모듈을 포함한다.

상기 차량 제어 모듈은, 상기 탑승자가 스티어링 휠을 손으로 잡고 있는 것을 판단하고, 상기 탑승자의 머리가 주행방향을 향하고 있는지 판단하며, 상기 탑승자가 외부자극에 반응을 하는지 판단하여 상기 탑승자의 주의를 환기시키는 DWD 경고 모듈을 포함한다.

본 발명은 열적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈을 포함하는 융합 센서 모듈을 이용하여 탑승자 정보와 차량 실내 정보를 보다 정확하게 획득할 수 있다.

또한, 본 발명은 융합 센서 모듈을 이용하여 탑승자 및 상황에 따라 상이한 탑승자 정보와 차량 실내 정보를 정확하게 획득함으로써, 개인 맞춤형 편의를 능동적으로 제공할 수 있다.

도 1은 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 블록도.
도 2는 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 융합 센서 모듈의 사시도.
도 3은 본 발명에 따른 병합 이미지 테이블의 예시도.
도 4는 본 발명에 따른 초기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도.
도 5 내지 도 7은 본 발명에 따른 연산처리 영역을 설명하기 위한 개념도.
도 8 및 도 9는 본 발명에 따른 후기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도.
도 10은 본 발명에 따른 데이터 평균연산 모듈을 설명하기 위한 개념도.
도 11 및 도 12는 본 발명에 따른 옵셋 적용 모듈을 설명하기 위한 개념도.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.

도 1은 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 블록도이다.

본 발명에 따른 개인 맞춤형 능동 편의 시스템은 도 1에 도시된 바와 같이, 융합 센서 모듈(100)과, 융합 센서 모듈(100)에서 획득된 이미지를 병합하여 병합 이미지를 생성하는 이미지 융합 모듈(200), 이미지 융합 모듈(200)에서 병합된 병합 이미지를 처리하여 차량 실내 온도 정보와 탑승자 정보를 생성하는 이미지 처리 모듈(300), 이미지 처리 모듈(300)에서 생성된 차량 실내 온도 정보와 탑승자 정보를 기반으로 탑승자의 상태와 탑승자의 패턴 및 차량 실내 온도를 판단하는 어플리케이션 모듈(400), 및 어플리케이션 모듈(400)에서 판단된 결과에 따라 차량을 제어하는 차량 제어 모듈(500)을 포함한다. 여기서, 탑승자 정보는 탑승자 자세 정보와 탑승자 행동 패턴 정보 및 탑승자 체온 정보를 포함한다. 또한, 동승자가 있을 경우, 탑승자 정보는 동승자 자세 정보와 동승자 행동 패턴 정보 및 동승자 체온 정보를 포함할 수 있다.

도 2는 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 융합 센서 모듈의 사시도이다.

융합 센서 모듈(100)은 차량 내의 열과 빛을 획득하여 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 생성하도록 한다. 이를 위해서, 융합 센서 모듈(100)은 도 2에 도시된 바와 같이, 차량 내 온도 정보를 획득하는 열 적외선 센서 모듈(110)과, 차량 내 RGB 정보를 획득하는 RGB 센서 모듈(120), 및 차량 내 깊이 정보를 획득하는 깊이(3D-Depth) 센서 모듈(130)을 포함한다.

열 적외선 센서 모듈(110)은 차량 내에 열적외선을 조사하여 온도 정보를 획득한다. 여기서 획득되는 온도 정보는 탑승자 체온 정보와 차량 실내 온도 정보를 포함한다. 또한, 동승자가 있을 경우 동승자 체온 정보도 포함한다.

RGB 센서 모듈(120)은 차량 내 RGB 정보를 획득한다. 이에 따라, RGB 정보는 탑승자 및 실내 밝기 정보를 포함한다.

깊이 센서 모듈(130)은 차량 내 깊이 정보를 획득하며, 깊이 정보는 탑승자 상태 정보와 탑승자 체형 정보 및 탑승자 자세 정보를 포함한다.

이미지 융합 모듈(200)은 열 적외선 센서 모듈(110)에서 획득된 열 적외선 이미지 생성 모듈(210)과, RGB 센서 모듈(120) RGB 이미지 생성 모듈(220), 깊이 이미지 생성 모듈(230), 및 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 병합하는 이미지 병합 모듈(240)을 포함한다.

열 적외선 이미지 생성 모듈(210)은 열 적외선 센서 모듈(110)에서 획득된 온도 정보를 기반으로 열적외선 이미지를 생성한다. 이는 열 적외선 센서 모듈(110)에서 획득된 열적외선 정보를 디지털화하여 수행할 수 있다.

RGB 이미지 생성 모듈(220)은 RGB 센서 모듈(120)에서 획득된 RGB 정보를 디지털화하여 RGB 이미지를 생성한다.

깊이 이미지 생성 모듈(230)은 깊이 센서 모듈(130)에서 획득된 깊이 정보를 기반으로 깊이 이미지를 생성한다. 여기서, 깊이 이미지 생성 모듈(230) 역시 깊이 센서 모듈(130)에서 획득된 깊이 정보를 디지털화하여 수행한다.

이미지 병합 모듈(240)은 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 병합한다.

이미지 처리 모듈(300)은 이미지 병합 모듈(240)에서 생성된 병합 이미지를 처리한다. 이러한 이미지 처리 모듈(300)은 병합 이미지 테이블 생성 모듈(310)과 변환 테이블 생성 모듈(320), 연산처리 영역 확장 모듈(326), 데이터 평균연산 모듈(330), 및 옵셋 적용 모듈(340)을 포함한다.

도 3은 본 발명에 따른 병합 이미지 테이블의 예시도이다.

병합 이미지 테이블 생성 모듈(310)은 병합 이미지 생성 모듈에서 생성된 병합 이미지를 기반으로 형성된 병합 이미지 테이블을 생성한다. 여기서, 병합 이미지 테이블은 이미지 병합 모듈(240)에서 병합된 병합 이미지에서 온도 정보와 RGB 정보 및 깊이 정보를 디지털화한 것으로서, 본 실시예는 도 3에 도시된 바와 같이, 병합 이미지 테이블의 픽셀에는 가로, 세로 위치에 따른 위치 정보가 표시되어 있으며, 해당 픽셀에는 병합된 온도 정보와 RGB 정보 및 깊이 정보가 포함된다. 또한, 하나의 병합 이미지 테이블에 가로로 32개의 픽셀이 구비되고 세로로 32개의 픽셀이 구비된 총 1024픽셀(pixel)이 포함되는 것을 예시한다. 하지만, 본 발명은 이에 한정되는 것은 아니며, 하나의 병합 이미지 테이블에 포함되는 픽셀의 개수는 필요에 따라 1024픽셀 미만이거나 1024픽셀을 초과할 수 있다. 또한, 병합 이미지 테이블 생성 모듈(310)은 시간의 흐름에 따라 다수개의 병합 이미지 테이블을 생성하며, 생성된 다수개의 병합 이미지 테이블은 후술될 변환 테이블 생성 모듈(320)에 전달된다. 여기서, 본 실시예는 설명의 편의상 병합 이미지 테이블 생성 모듈(310)에서 생성되는 연속된 4개의 병합 이미지 테이블, 즉, 제1 병합 이미지 테이블과 제2 병합 이미지 테이블, 제3 병합 이미지 테이블 및 제4 병합 이미지 테이블을 예시한다.

변환 테이블 생성 모듈(320)은 시간에 따라 생성된 병합 이미지 테이블들을 서로 비교한다. 여기서, 변환 테이블 생성 모듈(320)은 제1 병합 이미지 테이블과 제2 병합 이미지 테이블을 비교하는 초기 병합 이미지 테이블 비교 모듈(321)과, 초기 병합 이미지 테이블 비교 모듈(321)에서 연산처리 영역을 지정하는 연산처리 영역 지정 모듈(322), 연산처리 영역 지정 모듈(322)에서 지정된 연산처리 영역으로 초기 변환 테이블을 생성하는 초기 변환 테이블 생성 모듈(323), 초기 변환 테이블을 기반으로 제2 병합 이미지 테이블 이후로 생성되는 병합 이미지 테이블들을 비교하여 변환 데이터를 추출하는 후기 병합 이미지 테이블 비교 모듈(324)과, 후기 병합 이미지 테이블 비교 모듈(324)에서 추출된 변환 데이터로 후기 변환 테이블을 생성하는 후기 변환 테이블 생성 모듈(325)을 포함한다.

도 4는 본 발명에 따른 초기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도이다.

초기 병합 이미지 테이블 비교 모듈(321)은 도 4에 도시된 바와 같이, 제1 병합 이미지 테이블(T1)과 제2 병합 이미지 테이블(T2)을 비교하되, 제1 병합 이미지 테이블(T1)의 1024픽셀과 제2 병합 이미지 테이블(T2)의 1024픽셀을 모두 비교한다. 또한, 초기 병합 이미지 테이블 비교 모듈(321)은 제1 병합 이미지 테이블(T1)과 제2 병합 이미지 테이블(T2)을 비교하고, 제1 병합 이미지 테이블(T1)과 대비하여 제2 병합 이미지 테이블(T2)에서 변화된 픽셀, 즉, 변환 데이터가 있는지 판단한다. 여기서, 본 발명은 병합 이미지 테이블들 만을 비교하여 변환 데이터를 추출하고, 이를 기반으로 공조기를 제어할 수 있다. 하지만, 후술될 연산처리 영역 지정 모듈(322)을 통해 보다 빠르게 병합 이미지 변화를 탐지한다.

도 5 내지 도 7은 본 발명에 따른 연산처리 영역을 설명하기 위한 개념도이다.

연산처리 영역 지정 모듈(322)은 초기 병합 이미지 테이블 비교 모듈(321)에서 변환 데이터가 있는 것으로 판단하면, 도 5 내지 도 7에 도시된 바와 같이, 해당 영역을 연산처리 영역(CS)으로 지정하고 추출한다. 즉, 도 5에 도시된 바와 같이, 제1 병합 이미지 테이블과 제2 병합 이미지 테이블을 비교하여 변환 데이터가 있는 영역을 연산처리 영역(CS)으로 지정하고, 도 6에 도시된 바와 같이 이를 추출한다. 또한, 도 7에 도시된 바와 같이, 추출된 변환 데이터를 확정한다. 이러한 연산처리 영역(CS)은 모든 변환 데이터와 모든 변환 데이터 사이에 위치한 비변환 데이터를 포함하는 사각형상으로 형성되거나, 모든 변환 데이터만을 포함하는 형상으로 형성될 수 있다. 여기서, 사각형상으로 형성될 경우, 도 6에 도시된 바와 같이, 변환 데이터의 가장 가장자리에 위치한 픽셀을 수직, 수평하게 연장하여 모든 변환 데이터와 변환 데이터 사이에 위치하는 비변환 데이터까지 포함되는 사각형상인 연산처리 영역을 형성한다.

초기 변환 테이블 생성 모듈(323)은 연산처리 영역 지정 모듈(322)에서 추출된 연산처리 영역으로 초기 변환 테이블인 제1 변환 테이블을 생성한다.

도 8 및 도 9는 본 발명에 따른 후기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도이다.

후기 병합 이미지 테이블 비교 모듈(324)은 도 8에 도시된 바와 같이, 제N 변환 테이블과, 제2 병합 이미지 테이블 이후에 생성되는 병합 이미지 테이블, 즉, 제N+2 병합 이미지 테이블(여기서, N은 자연수)을 비교한다. 즉, 초기 변환 테이블 생성 모듈(323)에서 생성된 제1 변환 테이블과 제3 병합 이미지 테이블(T3)을 비교하고, 제1 변환 테이블과 제3 병합 이미지 테이블(T3)을 비교하여 생성된 제2 변환 테이블을 제4 병합 이미지 테이블과 비교한다. 여기서, 제2 변환 테이블은 제1 변환 테이블과 동일하게 변환 데이터를 연산처리 영역(CS)으로 지정하여 추출한 것이다. 즉, 본 발명은 제1 변환 테이블은 제1 병합 이미지 테이블과 제2 병합 이미지 테이블의 전체 영역을 비교하여 생성하나, 도 9에 도시된 바와 같이, 제2 변환 테이블부터는 병합 이미지 테이블의 전체 영역을 비교하지 않고 변화된 영역만을 비교한다.

후기 변환 테이블 생성 모듈(325)은 제N+1 변환 테이블을 생성한다. 즉, 초기 변환 테이블 생성 모듈(323)은 제1 병합 이미지 테이블과 제2 병합 이미지 테이블, 즉, 초기 병합 이미지 테이블을 서로 비교하여 제1 변환 테이블을 생성하고, 후기 변환 테이블 생성 모듈(325)은 변환 테이블과 병합 이미지 테이블을 비교하여 변환 테이블을 생성한다. 예를 들어, 후기 변환 테이블 생성 모듈(325)은 제1 변환 테이블과 제3 병합 이미지 테이블을 비교하여 제2 변환 테이블을 생성하고, 제2 변환 테이블과 제4 병합 이미지 테이블을 비교하여 제3 변환 테이블을 생성한다.

여기서, 본 발명은 고정된 연산처리 영역으로 열 감지를 수행할 경우, 연산처리 영역 이외의 영역에서 발생되는 병합 이미지 변화를 감지할 수 없는 문제점을 해결하기 위해서 연산처리 영역 확장을 수행할 수 있다. 또한, 이를 위해서, 본 발명은 연산처리 영역 확장 모듈(326)을 포함할 수 있다.

연산처리 영역 확장 모듈(326)은 연산처리 영역으로 지정된 영역을 확장시킨다. 연산처리 영역은 병합 이미지에서 변화가 일어나는 영역이며, 변화가 발생될 경우 연산처리 영역, 즉, 변화되는 영역에서 주변으로 서서히 넓어지며 일어나게 된다. 따라서, 본 발명은 연산처리 영역 주변으로 소정픽셀의 영역을 확장하여 연산처리 영역을 확장하며, 여기서 소정픽셀은 예를 들어, 3픽셀일 수 있다. 하지만, 본 발명은 이에 한정되는 것은 아니며, 소정픽셀은 3픽셀 미만이거나, 3픽셀을 초과할 수 있다. 또한, 만약 1024픽셀 중 연산처리 영역 주변으로 남은 픽셀이 3픽셀 미만일 경우, 남은 픽셀만을 확장영역으로 지정한다.

도 10은 본 발명에 따른 데이터 평균연산 모듈을 설명하기 위한 개념도이다.

데이터 평균연산 모듈(330)은 변환 테이블을 평균연산하여 최종 변환 테이블을 확정한다. 이는 도 10에 도시된 바와 같이, 변환 테이블에서 중복되는 픽셀에 한하여 픽셀 데이터 평균을 구한다.

도 11 및 도 12는 본 발명에 따른 옵셋 적용 모듈을 설명하기 위한 개념도이다.

옵셋 적용 모듈(340)은 최종 변환 테이블 확정 후 도 11에 도시된 연산처리 영역(CS)만큼 1024픽셀의 병합 이미지 테이블에 도 12에 도시된 바와 같이 옵셋을 적용하여 보정한 후 연산 처리를 수행한다. 여기서, 옵셋 적용 모듈(340)에서 생성된 테이블이 어플리케이션 모듈(400)에 출력될 최종 데이터가 된다. 예를 들어, 어플리케이션 모듈(400)은 수신한 최종 데이터를 기반으로 차량 내의 열 분포 변화를 파악하고, 온도가 높아지는 영역은 냉각시키는 등 차량 내를 쾌적하게 유지하도록 할 수 있다. 이때, 옵셋 적용 모듈(340)에서 생성된 테이블의 출력은 캔 버스(CAN BUS)를 통해 전송될 수 있다.

어플리케이션 모듈(400)은 이미지 처리 모듈에서 처리된 이미지의 변화에 따라 탑승자의 자세와 행동패턴, 체온, 시트 조절 패턴, 시동 패턴, 공조 조절 패턴, 동승자 탑승, 차량 내 온도, 주행 환경을 판단한다. 이에 따라, 어플리케이션 모듈(400)은 탑승자 자세 판단 모듈(410)과, 탑승자 행동 패턴 판단 모듈(420), 탑승자 체온 판단 모듈(430), 동승자 탑승 판단 모듈(440), 공조 조절 패턴 판단 모듈(450), 시트 조절 패턴 판단 모듈(460), 주행 패턴 판단 모듈(470), 및 시동 패턴 판단 모듈(480)을 포함한다.

탑승자 자세 판단 모듈(410)은 이미지 처리 모듈에서 처리된 이미지에서 탑승자를 검출하고, 검출된 탑승자의 자세를 판단한다. 이는 인공지능 학습에 의해 수행될 수 있다. 또한, 탑승자 자세 판단 모듈(410)에서 판단된 탑승자의 자세는 후술될 시트 제어 모듈(520)과 DWD 경고 모듈(530)에서 이용된다.

탑승자 행동 패턴 판단 모듈(420)은 이미지 처리 모듈에서 처리된 이미지에서 탑승자를 검출하고, 검출된 탑승자의 움직임 변화를 연속적으로 감지하여 행동패턴을 판단한다. 여기서, 탑승자 행동 패턴 판단 모듈(420)은 검출된 탑승자의 움직임 변화를 연속적으로 감지하여 행동패턴을 판단하되, 이를 누적시켜 탑승자의 정상적인 행동패턴과 비정상적인 행동패턴을 구분한다. 이는 비율이 높은 탑승자 행동패턴을 정상적인 행동패턴으로 판단함으로써 수행할 수 있다. 물론, 탑승자 행동 패턴 판단 모듈(420)은 해당 탑승자가 이전 탑승자와 동일한 탑승자인지 체형 등을 통해 판단해야 한다. 또한, 탑승자 행동 패턴 판단 모듈(420)에서 판단된 탑승자 행동패턴은 후술될 시트 제어 모듈(520)과 DWD 경고 모듈(530)에 이용된다.

탑승자 체온 판단 모듈(430)은 이미지 처리 모듈에서 처리된 이미지에서 탑승자를 검출하고, 탑승자의 체온을 판단한다. 이는 전술된 옵셋 적용 모듈(340)에서 옵셋을 적용하여 보정한 후 온도 연산 처리를 수행하여 판단할 수 있다. 탑승자 체온 판단 모듈(430)에서 판단된 탑승자 체온은 후술될 공조 제어 모듈(510)에서 이용된다. 한편, 탑승자 체온 판단 모듈(430)은 탑승자의 체온 뿐만 아니라 차량의 실내 온도도 판단한다. 더욱이, 탑승자 체온 판단 모듈(430)은 동승자 탑승 판단 모듈(440)에서 동승자를 검출하면, 동승자의 체온도 판단할 수 있다.

동승자 탑승 판단 모듈(440)은 이미지 처리 모듈에서 처리된 이미지에서 동승자를 검출한다. 옵셋 적용된 이미지에서 열적외선과 RGB 및 깊이 정보를 기반으로 검출할 수 있다. 즉, 전술된 정보를 통해 동승자의 아웃라인, 즉, 경계를 판단하여 동승자 탑승 여부를 판단할 수 있다.

공조 조절 패턴 판단 모듈(450)은 탑승자가 수동으로 공조 조절한 패턴을 판단한다. 또한, 공조 조절 패턴 판단 모듈(450)은 시간과 온도 및 세기를 평균값하고 탑승자에게 바람이 직분사 되는지 간접분사되는 패턴도 판단한다. 이는 탑승자의 체온 및 차량 실내 온도를 기반으로 자동으로 차량 공조 시스템을 작동시키더라도 탑승자에게 맞지 않을 수 있기 때문이다. 따라서, 본 발명은 탑승자가 수동으로 조절한 패턴을 판단하여 추후 공조 시스템 작동 시 이를 반영한다.

시트 조절 패턴 판단 모듈(460)은 공조 조절 패턴 판단 모듈(450)과 유사하게, 탑승자가 수동으로 시트를 조절한 패턴을 판단한다. 즉, 탑승자의 체형에 맞춰 시트가 자동으로 조절되더라도 탑승자가 불편할 수 있다. 이 경우, 탑승자는 자동 조절된 시트를 수동으로 조절하는데, 시트 조절 패턴 판단 모듈(460)은 이러한 시트 조절 패턴을 판단하여 추후 해당 탑승자의 시트를 조절할 때 이를 적용하여 해당 탑승자에게 최적화된 상태로 시트를 조절한다.

주행 패턴 판단 모듈(470)은 탑승자의 차량 주행 패턴을 판단한다. 이는 후술될 DWD 경고 모듈(530)이 DWD 경고 수행 여부를 결정하는데 이용된다. 특정 탑승자의 경우 차량 주행 패턴이 특이할 수 있다. 이는 예를 들어, 급격한 스티어링휠 조향을 수반하는 난폭운전이 포함될 수 있으며, 급격한 스티어링휠 조향은 소정시간 내에 소정각도 이상의 스티어링휠 조향이 기준횟수 이상 수행되는 것으로 판단할 수 있다. 주행 패턴 판단 모듈(470)은 해당 경우를 판단하여 해당 탑승자의 주행 패턴에 적용하여 DWD 경고 모듈(530)에서 핸들조작 DWD 판단 시 이를 반영하도록 한다.

시동 패턴 판단 모듈(480)은 시동 패턴을 판단하여 탑승자가 탑승하는 시간을 예측하여 공조, 시트 등을 자동으로 미리 조절할 수 있다.

차량 제어 모듈(500)은 어플리케이션 모듈(400)을 통해 판단된 탑승자의 자세와 행동패턴, 체온, 시트 조절 패턴, 시동 패턴, 공조 조절 패턴, 동승자 탑승, 차량 내 온도, 주행 환경을 기반으로 차량의 공조와 시트를 제어하며, DWD 경고를 수행한다. 이를 위해서, 차량 제어 모듈(500)은 공조 제어 모듈(510)과 시트 제어 모듈(520), 및 DWD 경고 모듈(530)을 포함한다.

공조 제어 모듈(510)은 탑승자 체온 판단 모듈(430)에서 판단된 탑승자 체온(동승자 체온 및 차량 실내 온도 포함)과, 공조 조절 패턴 판단 모듈(450)에서 판단된 공조 조절 패턴을 기반으로 차량의 공조 시스템을 제어한다.

시트 제어 모듈(520)은 탑승자 자세 판단 모듈(410)에서 판단된 탑승자 자세(탑승자 체형 포함)와 탑승자 행동 패턴 판단 모듈(420)에서 판단된 탑승자 행동패턴을 기반으로 차량의 시트를 제어한다. 여기서, 탑승자 행동패턴에 따른 차량 시트 자동 조절은 탑승자가 특정 행동, 예를 들어, 한쪽팔을 팔걸이 또는 차량 도어에 걸쳐서 주행하는 행동을 반영하여 시트를 조절하거나, 탑승자 자세 판단 모듈(410)에서 판단된 탑승자의 착석 자세를 판단하여 수행할 수 있다.

DWD 경고 모듈(530)은 탑승자의 시각적 DWD와 물리적 DWD를 판단하여 탑승자의 주의를 환기시킨다. 여기서, 각각의 판단 항목에 따른 운전 중 주의분산 요소 및 레벨은 아래의 표 1과 같다.

DWD 단계	판단 우선순위			설 명
	1. 시각적 주의분산	2. 물리적 주의분산	3.주의분산 누적시간
레벨0	없음	없음	-	운전에 집중 중인 상태
레벨1	2초 이내	2초 이내	-	손을 이용한 간단한 행위, 라디오 조작(Adjusting the radio), 뚜껑 없는 음료수 섭취(Drinking from open container)
레벨2		2초 이상	12초 이내	손을 이용한 조금은 복잡한 행위, 휴대폰을 들고 통화(Talking/listing to a hand-held device), 고정된 물체를 향해 움직이는 행동(Reaching for non-moving object), 음식물 섭취(Eating) 등
레벨3			12초 이상	여러 단계로 수행하는 행위가 지속되고 있는 중, 미디어 컨트롤러 조작(Inserting and / or retrieving CD), 화장(Applying makeup) 등
레벨4	2초 이상	2초 이내	-	장시간 정면 응시를 하지 않는 상황, 무엇인가를 읽는 중(Reading), 외부 물체를 쳐다보는 상황(Looking at external object) 등
레벨5		2초 이상	-	몸을 이용한 복잡한 행위가 지속 되고있는 중, 벌레를 쫓는 중(Insect in vechicle), 움직이는 물체를 향해 움직이는 행동(Reaching for a moving object) 등
레벨6	운전자의 상체 움직임과 시야, 그리고 핸들 조향각 패턴 등을 분석하여 일반적이지 않은 운전불가상태(수면)로 전방 주시 및 운전대 조작이 불가능하지만 경고를 통해 다시 정상으로 복귀할 수 있는 단계
레벨7	운전자의 자세가 완전히 무너지고 핸들을 조작할 수 없는 상태가 되었으며 경고에도 반응하지 않는 심각한 상태(혼절이나 심장마비 등) 운전이 불가능하며 운전 상태로 회복이 불가능하다고 판단되는 상태
요 소	설 명				예 시
시각적 주의분산	운전 중 운전자가 차량 내에서 2차 과제를 수행하기 위해서 도로상황 전방을 지속적으로 주시하지 않는 행동				공조기, 편의장치, 내비게이션, 스마트폰 조작 등으로 인한 시선이동
물리적 주의분산	운전 중 운전자가 차량 내에서 2차 과제를 수행하기 위해서 한 손 혹은 두 손을 모두 이용하여 안전운전에 방해가 되는 행동				음식섭취, 차내장치 조작, 지갑이나 가방에서 무언가를 꺼내는 행위 등

이를 토대로 표 1을 살펴보면, 레벨 0은 탑승자가 핸들을 조작하고 있어 핸들조작에 문제가 없고, 주행방향을 응시하는 등 머리움직임에 문제가 없는 경우로서 운전에 집중 중인 상태인 것을 의미한다. 따라서, 레벨 0은 정상적인 주행상태이므로 경고가 필요없다. 레벨 1 내지 레벨 5의 경우 조건에 해당하면 탑승자에게 경고하여 주의를 환기시키며, 레벨 6 및 레벨 7의 경우 탑승자가 차량을 제어할 수 있는 상황이 아니므로 자율주행에 의해 차량을 갓길 등 보다 안전한 지역으로 이동시킨다. 여기서, 탑승자에 대한 경고는 시트/스티어링 휠 진동, 클러스터 경고등, AVN(오디오/비디오/내비게이션, 내비게이션 통합 모듈) 소리 경고 등을 통해 수행할 수 있다. 또한, 표 1에서 주의분산 누적시간은 시각적 주의분산 시간과 물리적 주의분산 시간을 합산한 시간을 의미한다.

한편, 본 발명은 차량 내에 구비된 어플리케이션 모듈(400)을 통해 판단을 수행하는 것을 예시하였으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, 본 발명에서 영상 데이터는 스마트기기 앱을 통해 클라우드 서버로 전송하고, 인공지능 학습엔진으로 개인화 학습 후, 학습된 값을 다시 스마트기기 앱을 통해 어플리케이션 모듈(400)에 전송하여 시간이 흐를수록 학습에 의해 더욱 정확성이 높아지도록 할 수 있다.

이상에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 융합 센서 모듈 110: 열 적외선 센서 모듈
120: RGB 센서 모듈 130: 깊이 센서 모듈
200: 이미지 융합 모듈
210: 열 적외선 이미지 생성 모듈
220: RGB 이미지 생성 모듈 230: 깊이 이미지 생성 모듈
240: 이미지 융합 모듈 300: 이미지 처리 모듈
310: 병합 이미지 테이블 생성 모듈
320: 변환 테이블 생성 모듈
321: 초기 병합 이미지 테이블 비교 모듈
322: 연산처리 영역 지정 모듈
323: 초기 변환 테이블 생성 모듈
324: 후기 병합 이미지 테이블 비교 모듈
325: 후기 변환 테이블 생성 모듈 326: 연산처리 영역 확장 모듈
330: 데이터 평균연산 모듈 340: 옵셋 적용 모듈
400: 어플리케이션 모듈 410: 탑승자 자세 판단 모듈
420: 탑승자 행동 패턴 판단 모듈 430: 탑승자 체온 판단 모듈
440: 동승자 탑승 판단 모듈 450: 공조 조절 패턴 판단 모듈
460: 시트 조절 패턴 판단 모듈 470: 주행 패턴 판단 모듈
480: 시동 패턴 판단 모듈 500: 차량 제어 모듈
510: 공조 제어 모듈 520: 시트 제어 모듈
530: DWD 경고 모듈

Claims (5)

1. 열적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈을 포함하는 융합 센서 모듈과,
   상기 융합 센서 모듈에서 획득된 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 융합하는 이미지 융합 모듈,
   상기 이미지 융합 모듈에서 융합된 이미지를 처리하여 차량 실내 온도 정보와 탑승자 정보를 생성하는 이미지 처리 모듈,
   상기 이미지 처리 모듈에서 생성된 차량 실내 온도 정보와 탑승자 정보를 기반으로 탑승자의 상태와 탑승자의 패턴 및 차량 실내 온도를 판단하는 어플리케이션 모듈, 및
   상기 어플리케이션 모듈에서 판단된 결과에 따라 차량을 제어하는 차량 제어 모듈을 포함하며,
   상기 이미지 처리 모듈은, 상기 이미지 융합 모듈에서 생성된 병합 이미지의 시간의 흐름에 따른 다수개의 병합 이미지 테이블을 생성하는 병합 이미지 테이블 생성 모듈,
   상기 병합 이미지 테이블 생성 모듈에서 생성된 다수개의 병합 이미지 테이블을 기반으로 변화된 픽셀 영역을 추출하여 변환 테이블을 생성하는 변환 테이블 생성 모듈, 상기 변환 테이블의 픽셀 데이터를 평균연산하는 데이터 평균연산 모듈, 및 상기 평균연산된 변환 테이블을 병합 이미지 테이블에 옵셋 적용하는 옵셋 적용 모듈을 포함하고,
   상기 병합 이미지 테이블은 제1 병합 이미지 테이블 내지 제N 병합 이미지 테이블을 포함하고, 상기 변환 테이블은 제1 변환 테이블 내지 제N 변환 테이블을 포함하며, 상기 변환 테이블 생성 모듈은, 상기 다수개의 병합 이미지 테이블 중 제1 병합 이미지 테이블과 제2 병합 이미지 테이블을 비교하는 초기 병합 이미지 테이블 비교 모듈, 상기 제1 병합 이미지 테이블과 상기 제2 병합 이미지 테이블에서 상이한 픽셀 영역을 연산처리 영역으로 지정하는 연산처리 영역 지정 모듈, 상기 연산처리 영역으로 제1 변환 테이블을 생성하는 초기 변환 테이블 생성 모듈, 제N 변환 테이블과, 제N+2 병합 이미지 테이블에서 상기 제N 변환 테이블과 동일한 영역을 비교하는 후기 병합 이미지 테이블 비교 모듈, 상기 제N 변환 테이블과 상기 제N+2 병합 이미지 테이블에서 상이한 픽셀 영역을 제N+1 변환 테이블로 생성하는 후기 변환 테이블 생성 모듈을 포함하며, 상기 연산처리 영역 지정 모듈에서 지정된 연산처리 영역의 가장자리를 소정 픽셀만큼 확장하는 연산처리 영역 확장 모듈을 포함하고, 상기 연산처리 영역 지정 모듈은 연산처리 영역 주변으로 남은 픽셀이 소정픽셀 미만일 경우 남은 픽셀만을 확장영역으로 지정하는 개인 맞춤형 능동 편의 시스템.
2. 제1항에 있어서,
   상기 어플리케이션 모듈은,
   상기 이미지 처리 모듈에서 탑승자를 검출하여 자세를 판단하는 탑승자 자세 판단 모듈과, 상기 탑승자의 행동패턴을 누적시켜 정상적인 행동패턴과 비정상적인 행동패턴을 판단하는 탑승자 행동 패턴 판단 모듈, 상기 탑승자의 체온을 검출하는 탑승자 체온 판단 모듈, 차량에 동승자가 있는지 판단하는 동승자 탑승 판단 모듈, 상기 탑승자가 수동으로 조절한 공조 조절 패턴을 판단하는 공조 조절 패턴 판단 모듈, 상기 탑승자가 수동으로 조절한 시트 조절 패턴을 판단하는 시트 조절 패턴 판단 모듈, 및 탑승자의 급격한 스티어링휠 조향을 판단하는 주행 패턴 판단 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.
3. 삭제
4. 제2항에 있어서,
   상기 차량 제어 모듈은,
   상기 탑승자 체온 판단 모듈에서 판단된 탑승자 체온과 차량 실내 온도 및 동승자 체온 중 적어도 어느 하나를 기반으로 차량 공조를 제어하는 공조 제어 모듈과,
   상기 탑승자 자세 판단 모듈에서 판단된 탑승자의 자세와 탑승자의 체형 및 상기 탑승자 행동 패턴 판단 모듈에서 판단된 탑승자의 행동패턴을 기반으로 차량의 시트를 제어하는 시트 제어 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.
5. 제1항에 있어서,
   상기 차량 제어 모듈은,
   상기 탑승자가 스티어링 휠을 손으로 잡고 있는 것을 판단하고, 상기 탑승자의 머리가 주행방향을 향하고 있는지 판단하며, 상기 탑승자가 외부자극에 반응을 하는지 판단하여 상기 탑승자의 주의를 환기시키는 DWD 경고 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.

Images