KR102238760B1 - 비전 센서를 갖는 차량 정보 장치 - Google Patents

비전 센서를 갖는 차량 정보 장치 Download PDF

Info

Publication number
KR102238760B1
KR102238760B1 KR1020180173172A KR20180173172A KR102238760B1 KR 102238760 B1 KR102238760 B1 KR 102238760B1 KR 1020180173172 A KR1020180173172 A KR 1020180173172A KR 20180173172 A KR20180173172 A KR 20180173172A KR 102238760 B1 KR102238760 B1 KR 102238760B1
Authority
KR
South Korea
Prior art keywords
vision sensor
vehicle
operation unit
control unit
information device
Prior art date
Application number
KR1020180173172A
Other languages
English (en)
Other versions
KR20200082515A (ko
Inventor
김성주
김상량
경동혁
박상호
유현식
Original Assignee
에이치엔티 일렉트로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이치엔티 일렉트로닉스(주) filed Critical 에이치엔티 일렉트로닉스(주)
Priority to KR1020180173172A priority Critical patent/KR102238760B1/ko
Publication of KR20200082515A publication Critical patent/KR20200082515A/ko
Priority to KR1020210043320A priority patent/KR102444360B1/ko
Application granted granted Critical
Publication of KR102238760B1 publication Critical patent/KR102238760B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01544—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01566—Devices for warning or indicating mode of inhibition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 예시적인 실시예에 따른 비전 센서를 갖는 차량 정보 장치는, 차량에 구비되는 비전 센서; 및 상기 비전 센서가 획득한 데이터를 분석하는 제어부;를 포함하되, 상기 제어부는 상기 비전 센서의 감지범위에 있는 물체를 판단할 수 있다.

Description

비전 센서를 갖는 차량 정보 장치{VEHICLE INFORMATION DEVICE HAVING VISION SENSOR}
본 발명의 일실시예는 비전 센서를 갖는 차량 정보 장치에 관한 것이다.
비전 센서를 활용하여 각종 동작이나 제스처 등을 감지하는 기술이 개발되었고, 이 기술을 활용해서 여러 목적을 달성하기 위한 연구가 계속되고 있다.
본 발명의 일 측면은, 차량 상황의 모니터링 효율성을 개선할 수 있는 비전 센서를 갖는 차량 정보 장치를 제공할 수 있다.
본 발명의 예시적인 실시예에 따른 비전 센서를 갖는 차량 정보 장치는, 차량에 구비되는 비전 센서; 및 상기 비전 센서가 획득한 데이터를 분석하는 제어부;를 포함하되, 상기 제어부는 상기 비전 센서의 감지범위에 있는 물체를 판단할 수 있다.
이때, 상기 제어부는, 상기 물체가 생물인지 무생물인지 판단할 수 있다.
또한, 상기 제어부는 상기 생물이 성인인지 아동인지 판단할 수 있다.
또한, 상기 제어부에 연결되는 출력부를 더 포함하되, 상기 제어부는 상기 물체가 생물로 판단되면 상기 출력부에 안전벨트 미착용 경고가 출력되도록 하는 명령신호를 생성할 수 있다.
또한, 카메라를 더 포함하되, 상기 제어부는, 상기 비전 센서가 획득한 데이터를 분석하는 제1 연산부; 상기 카메라의 촬영영상을 분석하는 제2 연산부; 및 상기 제1 연산부 및 상기 제2 연산부의 연산결과를 통합하는 제3 연산부;를 포함할 수 있다.
또한, 상기 차량에 관한 사항 중 적어도 일부를 제어하는 메인 서버를 더 포함하고, 상기 제어부는 상기 메인 서버에 판단결과를 통보하고, 상기 판단결과에 상기 물체를 생물로 판단한 정보가 포함되면, 상기 메인 서버는 안전벨트 미착용 경고 기능을 활성화하고, 상기 판단결과에 상기 물체를 무생물로 판단한 정보가 포함되면, 상기 메인 서버는 안전벨트 미착용 경고 기능을 비활성화할 수 있다.
또한, 상기 차량에 관한 사항 중 적어도 일부를 제어하는 메인 서버를 더 포함하고, 상기 제어부는 상기 메인 서버에 판단결과를 통보하고, 상기 판단결과에 상기 물체를 아동으로 판단한 정보가 포함되면, 상기 메인 서버는 상기 차량의 도어락, 윈도우락 중 적어도 하나가 활성화되도록 제어신호를 발생시킬 수 있다.
또한, 상기 비전 센서는 상기 차량의 천장에 위치되는 제1 비전 센서를 포함할 수 있다.
또한, 상기 비전 센서는 상기 차량의 좌석 시트 상부에 위치되는 제2 비전 센서를 포함할 수 있다.
또한, 상기 물체의 열화상을 촬영하는 열화상 카메라를 더 포함할 수 있다.
또한, 상기 제어부는, 상기 물체의 열분포 결과를 분석하여 상기 물체의 상태를 결정할 수 있다.
본 발명의 일실시예에 따르면, 차량 상황의 모니터링 효율성이 개선될 수 있다는 유용한 효과를 제공한다.
도 1은 본 발명의 일실시예에 따른 비전 센서를 갖는 차량 정보 장치를 개략적으로 예시한 블록도이고,
도 2는 본 발명의 일실시예에 따른 비전 센서의 차량 내 배치위치를 설명하기 위한 도면이고,
도 3은 본 발명의 일실시예에 따른 비전 센서의 위치 및 감지범위를 설명하기 위한 도면이고,
도 4는 본 발명의 다른 실시예에 따른 비전 센서의 위치 및 감지범위를 설명하기 위한 도면이고,
도 5는 도 4의 실시예를 다른 각도에서 바라본 모습을 개략적으로 예시한 도면이고,
도 6은 도 5에 예시된 실시예의 변형예이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면들과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공될 수 있다. 명세서 전문에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다
본 명세서에서 사용된 용어들은 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 단계는 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 각 구성들의 세부 크기, 형태, 두께, 곡률 등은 기술적 내용의 효과적인 설명을 위해 과장되거나 도식화된 것으로서, 허용 오차 등에 의해 그 형태가 변형될 수 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 구성 및 작용효과를 더욱 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 비전 센서를 갖는 차량 정보 장치를 개략적으로 예시한 블록도이고, 도 2는 본 발명의 일실시예에 따른 비전 센서의 차량 내 배치위치를 설명하기 위한 도면이고, 도 3은 본 발명의 일실시예에 따른 비전 센서의 위치 및 감지범위를 설명하기 위한 도면이고, 도 4는 본 발명의 다른 실시예에 따른 비전 센서의 위치 및 감지범위를 설명하기 위한 도면이고, 도 5는 도 4의 실시예를 다른 각도에서 바라본 모습을 개략적으로 예시한 도면이고, 도 6은 도 5에 예시된 실시예의 변형예이다.
도면을 참조하면, 본 발명의 일실시예에 따른 차량 정보 장치(1000)는, 비전 센서(110) 및 제어부(200)를 포함하여 물체(OBJ)를 판단할 수 있다.
여기서, 물체(OBJ)를 판단한다는 것은, 물체(OBJ)가 물건인지, 사람인지, 동물인지 등을 판단하는 것을 의미할 수 있다.
더 나아가, 해당 물체(OBJ)가 수행하는 동작이, 미리 정해진 소정의 동작에 해당하는지를 파악하는 것을 의미할 수도 있다.
일실시예에서, 비전 센서(110)는 움직임이 발생된 물체(OBJ)의 적어도 일부를 감지하여 적어도 하나의 이벤트 신호를 생성하는 기능을 수행하는 장치일 수 있다.
일실시예에서, 비전 센서(110)는 복수의 센싱 엘리먼트들을 포함할 수 있으며, 각각의 센싱 엘리먼트는 미리 정해진 이벤트의 발생을 감지하여 이벤트 신호를 출력할 수 있다.
일실시예에서, 비전 센서(110)는 이벤트 기반 비전 센서 및 프레임 기반 비전 센서 중 적어도 하나를 포함할 수 있다. 여기서, 이벤트 기반 비전 센서는, 물체(OBJ)로부터 수신되는 빛이 변화하는 이벤트에 응답하여 시간 비동기적으로 이벤트 신호를 생성할 수 있다. 일실시예에서, 이벤트 기반 비전 센서는 동적 비전 센서(Dynamic Vision Sensor; DVS)를 포함할 수 있다. 동적 비전 센서는 빛의 변화에만 반응하며, 동적 비전 센서를 활용하면 움직이는 사물의 윤곽선을 검출할 수 있다. 이에 따라, 상대적으로 적은 양의 데이터를 처리해도 소정의 목적을 구현할 수 있으므로, 상대적으로 적은 자원(Resource)를 사용해도 상대적으로 신속하게 대상을 검출할 수 있다.
한편, 동적 비전 센서 자체를 미리 정해진 방법으로 이동시키거나 진동시키는 방식으로 정지되어 있는 물체(OBJ)의 윤곽선을 파악할 수도 있다.
일실시예에서, 프레임 기반 비전 센서는 기 설정된 초당 프레임 수에 따라 시간 동기적으로 물체(OBJ)를 촬영하는 센서일 수 있으며, CMOS 이미지 센서(CMOS Image Sensor; CIS)를 포함할 수 있다.
상술한 이벤트 기반 비전 센서는 빛이 변화한 이벤트를 감지한 센싱 엘리먼트의 어드레스 또는 센싱 엘리먼트의 어드레스 및 시간 정보만을 활용해도 되므로, 연산량이 감소될 수 있으며, 전력소모가 감소될 수 있다는 점에서 프레임 기반 비전 센서에 비하여 유리함을 가질 수 있다.
일실시예에서, 비전 센서(110)는 감지범위 (예컨대, 시야(Field Of View; FOV)) 내에 위치하는 물체(OBJ)의 정보를 취득하여 제어부(200)에 제공할 수 있다. 그리고, 제어부(200)는 비전 센서(110)로부터 제공받은 데이터를 분석하여 물체(OBJ)가 물건인지, 성인인지, 아동인지 등을 판단할 수 있다.
일실시예에서, 비전 센서(110)의 감지범위에는 차량 내부에 배치되는 각각의 좌석들이 포함될 수 있다.
일실시예에서, 한 개의 비전 센서(110)의 감지범위에 복수의 좌석들이 포함될 수 있다, 예컨대, 도 5에 예시된 바와 같이, 제6 비전 센서(110-6)의 감지범위에 제3 시트(SEAT3) 및 제4 시트(SEAT4)가 포함되도록 할 수 있다.
다른 실시예에서, 좌석들 각각에 대해 개별적으로 매칭되는 비전 센서들이 구비될 수도 있다. 예컨대, 도 6에 예시된 바와 같이, 제8-1 비전 센서(110-8-1)의 감지범위에 제3 시트(SEAT3)가 포함되고 및 제8-2 비전 센서(110-8-2)의 감지범위에 제4 시트(SEAT4)가 포함되도록 할 수 있다.
일실시예에서, 제어부(200)는, 비전 센서(110)로부터 제공받은 정보를 분석하여 특정 좌석에 위치된 물체(OBJ)가 물건이라고 판단할 수 있다. 이때, 대상 물체(OBJ)가 물건인지의 여부를 판단하기 위하여, 물체(OBJ) 윤곽선이 변형되는지, 물체(OBJ) 윤곽선이 움직이는지 등의 사항을 판별할 수 있다. 일실시예에서, 대상 물체(OBJ)의 윤곽선 및 윤곽선의 시간 비동기적인 변형이나 이동이 생물의 것이 아닌 것으로 판단될 경우, 해당 대상 물체(OBJ)가 물건인 것으로 판단할 수 있다. 다만, 대상 물체(OBJ)가 스스로 움직일 수 있는 장난감 인형일 수도 있을 것인데, 이 경우에는 물건이 아닌 것으로 오판할 가능성도 있다. 이러한 오판 가능성을 감소시키기 위해서 빅데이터 기반 인공지능을 활용할 수 있다. 다른 한편으로, 영상 촬영용 일반 카메라(120)를 활용하거나, 열화상 카메라(140)를 활용하여 판단 오류 발생률을 낮출 수도 있다.
일실시예에서, 제어부(200)는 안전벨트 모듈(2100)과 연동할 수 있으며, 특히, 대상 물체(OBJ)가 물건인 경우 안전벨트 미착용 경고가 출력되지 않도록 제어부와 안전벨트 모듈(2100)이 연동될 수 있다.
최근, 안전벨트 체결 여부를 감지해서 경고를 출력하는 안전벨트 모듈이 널리 보급되어 활용되고 있다. 일 예로써, 안전벨트 모듈은 좌석에 구비되는 무게 감지 센서 및 안전벨트 착용구에 구비되는 안전벨트 체결여부 감지 센서를 포함할 수 있다. 이에 따라, 소정의 기준 중량 이상의 물체(OBJ)가 좌석에 위치된 상태에서 안전벨트가 체결되지 않으면 경고음 등을 출력하고, 그 반대의 경우에는 안전벨트가 체결되지 않아도 경고음 등을 출력하지 않는다.
한편, 사람은 아니지만 사람으로 인식될 수 있을 정도의 중량을 갖는 물건이 좌석에 놓여 있는 경우에, 단순히 중량 감지 결과에 따라 안전벨트 미착용 경고가 출력되는 문제가 발생될 수 있다. 게다가, 이 경우 좌석에 놓여진 물건이 안전벨트 체결이 불가능한 물건이라면, 운전하는 내내 경고음이 출력되는 문제가 발생될 수 있다.
그러나, 본 발명의 일실시예에 따르면, 좌석에 놓여진 물체(OBJ)가 물건인지를 판단할 수 있고, 따라서, 대상 물체(OBJ)가 물건이라면 중량 센서의 감지 결과에도 불구하고 안전벨트 경고음 등이 출력되지 않도록 할 수 있다.
일실시예에서, 사람의 눈, 코, 입, 귀, 얼굴, 머리, 목, 어깨, 팔, 가슴, 배 등의 형상 및 움직임에 대한 정보가 저장된 메모리부(300)가 구비될 수 있다. 여기서, 사람에 대한 각각의 정보를 성인과 아동, 더 나아가 유아로 구분하여 데이터베이스화 할 수 있다.
이에 따라, 제어부(200)는 메모리부(300)에 저장된 정보를 활용하여, 대상 물체(OBJ)가 사람인가의 여부를 판단할 수 있고, 더 나아가, 그 사람이 성인인지, 아동인지, 유아인지를 구분할 수도 있다.
이에 따라, 대상 물체(OBJ)가 사람인 경우 안전벨트 모듈(2100)과 연동하여 안전벨트 미착용시 경고음, 시각적 경고 메세지 등이 출력되도록 할 수 있다.
또한, 식별된 사람이 눈을 감고 있는지, 숨을 쉬고 있는지 등을 판단할 수도 있고, 출력부(400)를 통해서 그 판단 결과를 시각정보 또는 음향정보로 출력할 수 있다.
일실시예에서, 제어부는 감지된 물체(OBJ)가 생물로 판단되면 출력부(400)에 안전벨트 미착용 경고가 출력되도록 하는 명령신호를 생성할 수 있다. 이때, 이 명령신호는 제어부(200)에서 출력부(400)로 전송될 수 있다.
일실시예에서, 출력부(400)는 차량에 원래 장착되어 있던 스피커 내지 디스플레이로 구현될 수 있다.
다른 실시예에서, 차량의 기본 장착 스피커 또는 디스플레이가 아니라도, 비전 센서(110)의 감지결과에 따른 적절한 경고 등이 가능하도록 추가로 구비되는 스피커나 디스플레이로 출력부가 구현될 수도 있다.
일실시예에서, 대상 물체(OBJ)가 사람은 아니지만 물건도 아닌 것으로 판단되는 경우가 발생될 수 있다. 예컨대, 대상 물체(OBJ)가 개나 고양이 등의 동물인 경우가 그러하다.
일실시예에서, 대상 물체(OBJ)가 사람이 아니라면 물건이라고 판단하도록 알고리즘을 구성할 수도 있는데, 이 경우, 대상 물체(OBJ)가 동물인 경우에도 물건이라고 오판할 가능성이 있다. 이러한 문제를 해결하기 위하여, 보편적인 애완동물들에 대한 눈, 코, 입, 귀, 얼굴, 머리, 목, 어깨, 팔, 가슴, 배 등 형상 및 움직임에 대한 정보도 메모리부(300)에 저장되도록 할 수 있다.
다른 실시예에서, 사람이나 동물이 아닌 경우에 물건으로 판단하는 것이 아니라, 물건 자체의 특성을 메모리부(300)에 저장하고, 이렇게 메모리부(300)에 저장된 데이터를 활용해서 대상 물체(OBJ)가 물건인지를 판단하도록 할 수도 있다.
본 발명의 일실시예에 따른 차량 정보 장치(1000)는 카메라(120), 동작 감지 센서(130), 열화상 카메라(140) 중 적어도 하나를 더 포함할 수 있고, 제어부(200)는 복수의 연산부를 포함할 수 있다. 예컨대, 제1 연산부는 비전 센서(110)가 획득한 데이터를 분석하는 기능을 수행하고, 제2 연산부는 카메라, 동작 감지 센서, 열화상 카메라 중 어느 하나가 획득한 데이터를 분석하는 기능을 수행할 수 있다. 또한, 제1 연산부 및 제2 연산부의 연산 결과를 통합하는 제3 연산부가 더 구비될 수도 있다.
일실시예에서, 제1 연산부의 분석 결과, 소정의 좌석에서 움직이는 물체(OBJ)가 사람인 것으로 판단된 경우, 제2 연산부는 카메라가 촬영한 영상을 처리하여 운전자에게 시각 정보로 표시하거나 음향 정보로 표시할 수 있다.
일실시예에서, 제1 연산부의 분석 결과, 소정의 좌석에서 움직이는 물체(OBJ)가 아동인 것으로 판단된 경우, 제2 연산부는 열화상 카메라가 촬영한 영상을 처리하고, 제3 연산부는 제1 연산부의 처리결과 및 제2 연산부의 처리 결과를 연동하여 해당 아동의 체온분포 및 호흡 등을 분석해서 이상 징후가 있는지를 판단할 수 있다.
본 발명의 일실시예에 따른 차량 정보 장치(1000)는, 차량에 관한 사항 중 적어도 일부를 제어하는 메인 서버(500)를 더 포함할 수 있다. 일실시예에서, 메인 서버(500)는 차량에 기본 장착되는 적어도 하나의 ECU를 포함할 수 있다. 일실시예에서, 메인 서버(500)는 차량용 유틸리티(2000)에 연결되어 상호작용을 할 수 있다. 여기서 차량용 유틸리티(2000)에는 안전벨트 모듈(2100), 도어락 모듈(2200), 윈도우락 모듈(2300), 스피커 모듈(2400), 디스플레이 모듈(2500), 촬영 모듈(2600) 등이 포함될 수 있다.
일실시예에서, 제어부(200)는 메인 서버(500)에 판단결과를 통보할 수 있으며, 메인 서버(500)는 판단 결과에 따라 미리 정해진 조치들이 취해질 수 있도록 상술한 차량용 유틸리티(2000)를 제어할 수 있다.
예컨대, 제어부(200)로부터 제공받은 판단결과에, 대상 물체(OBJ)를 생물로 판단한 정보가 포함되면, 메인 서버(500)는 안전벨트 모듈(2100)을 제어하여 안전벨트 미착용 경고 기능을 활성화하고, 판단결과에, 대상 물체(OBJ)를 무생물로 판단한 정보가 포함되면, 메인 서버(500)는 안전벨트 미착용 경고 기능을 비활성화 할 수 있다.
또한, 제어부(200)로부터 제공받은 판단결과에, 대상 물체(OBJ)를 아동으로 판단한 정보가 포함되면, 메인 서버(500)는 차량의 도어락, 윈도우락 중 적어도 하나가 활성화되도록 제어신호를 발생시킬 수 있다. 여기서, 도어락이 활성화되면, 해당 아동이 도어 오픈 손잡이를 조작하더라도 해당 도어가 오픈되지 않을 수 있다. 또한, 윈도우락이 활성화되면, 해당 아동이 윈도우 내림 버튼을 조작하더라도 윈도우가 내려가지 않을 수 있다.
일실시예에서, 비전 센서(110)는 차량의 좌석 시트 상부에 위치될 수 있다. 예컨대, 도 2에서 제1 비전 센서 내지 제4 비전 센서(110-1, 110-2, 110-3, 110-4)가 좌석 시트 상부에 위치한 비전 센서이다. 한편, 제2 비전 센서(110-2)는 헤드레스트에 설치된 경우를 예시하고 있다. 그리고, 도 3을 참조하면, 제2 좌석 시트(SEAT2) 상부에 제1 비전 센서(110-1)가 배치되되, 제1 비전 센서(110-1)의 감지범위가 제4 좌석 시트(SEAT4)를 포함하는 실시예가 이해될 수 있을 것이다.
일실시예에서, 비전 센서는 차량의 천장 부분에 위치될 수 있다. 도 2에서 제2 디스플레이부(DP2)는 여닫이식 표시장치인데, 제5 비전 센서(110-5)는 제2 디스플레이부의 화면이 열린 상태에서 데이터 획득이 가능하고, 제6 비전 센서(110-6)는 제2 디스플레이부(DP2)의 화면 개폐 여부와 무관하게 데이터 획득이 가능하다. 한편, 도 5 및 도 6을 참조하면 차량의 천장 부분에 위치된 비전 센서(110-6, 110-8-1, 110-8-2)들이 좌석 시트들을 감시범위에 포함하는 방식이 이해될 수 있을 것이다.
일실시예에서, 비전 센서는 차량의 운전석 전면에 위치되는 센터페시아 등에 배치될 수 있으며, 도 2에서는 표시화면(DP1) 주변에 제7 비전 센서(110-7)가 구비된 실시예가 예시되어 있다.
일실시예에서, 복수의 비전 센서들 전체의 획득 데이터를 하나의 제어부(200)가 통합해서 분석할 수 있다.
다른 실시예에서, 제어부가 복수로 구비되고, 각각의 제어부가 하나 이상의 비전 센서들의 획득 데이터를 분석하도록 할 수도 있다.
또한, 비전 센서들 중 적어도 일부를 차량용 ECU에 연결하고, 이 ECU가 상술한 제어부의 역할을 수행하도록 할 수도 있다.
일실시예에서, 비전 센서는 후석 승객 알림(Rear Occupant Alert)기능 구현에 활용될 수 있다. 즉, 차량 내 사각지대에 아동이 잠들어 있는 상태라면, 해당 좌석이 감지범위에 있는 비전 센서의 획득 데이터를 분석함으로써, 해당 아동의 미세한 움직임을 판별할 수 있다. 이에 따라, 운전자 등이 해당 아동을 방치한 상태로 차량을 이탈하는 경우 경고음이나 경고문자 등이 관련자에게 전달되도록 할 수 있다. 한편, 종래에는 초음파 센서를 통해서 ROA 기능을 구현하는 기술도 소개된 바 있으나, 아동이 깊이 잠들어서 움직이지 않는 경우 초음파 센서가 감지하지 못하는 경우가 발생할 수도 있고, 반대로, 초음파 센서가 거리만을 감지하도록 설정된 경우, 소정 좌석에 짐이 놓여 있는 경우에도 경고음이 발생되는 문제가 발생될 수도 있다. 초음파 센서를 활용한 ROA 기능에 있어서 이러한 한계점이나 문제점들이 본 발명의 일실시예에 의하여 해결되거나 보완될 수 있다.
일실시예에서, 비전 센서가 획득한 데이터를 통해서, 차량 내부의 소정 위치에 움직임이나 물체(OBJ)가 감지되면, 상황에 따라 필요로 하는 추가적인 확인 절차가 수행되도록 할 수 있다. 예컨대, 열화상 카메라(140)를 작동시켜서 사각지대에 있는 물체(OBJ)가 사람인지 물건인지 판단하는 등의 조치를 취할 수 있다.
한편, 비전 센서의 감지범위가 차량 외부를 포함할 수도 있다. 이 경우, 비전 센서가 긴급제동 보조, 주차보조 등에 활용될 수도 있다.
일실시예에서, 감지정보 획득부(100)는 비전 센서(110), 카메라(120), 동작 감지 센서(130), 열화상 카메라(140) 등을 의미할 수 있다.
1000: 차량 정보 장치
100 : 감지정보 획득부
110 : 비전 센서
120 : 카메라
130 : 동작 감지 센서
140 : 열화상 카메라
200 : 제어부
300 : 메모리부
400 : 출력부
500 : 메인 서버
2000: 차량용 유틸리티
2100 : 안전벨트 모듈
2200 : 도어락 모듈
2300 : 윈도우락 모듈
2400 : 스피커 모듈
2500 : 디스플레이 모듈
2600 : 촬영 모듈 (내부용, 외부용)

Claims (11)

  1. 카메라, 동작 감지 센서, 열화상 카메라 중 적어도 하나;
    차량에 구비되는 비전 센서; 및
    상기 비전 센서가 획득한 데이터를 분석하는 제어부;를 포함하되,
    상기 비전 센서는, 물체로부터 수신되는 빛이 변화하는 이벤트에 응답하여 시간 비동기적으로 이벤트 신호를 생성하며, 빛이 변화한 이벤트를 감지한 센싱 엘리먼트의 어드레스 및 시간정보를 활용해서 상기 물체의 윤곽선을 검출하는 동적 비전 센서이고,
    상기 제어부는 상기 비전 센서의 감지범위에 있는 물체를 판단하되,
    상기 비전 센서가 획득한 데이터를 분석하는 제1 연산부;
    상기 카메라, 상기 동작 감지 센서, 상기 열화상 카메라 중 어느 하나가 획득한 데이터를 분석하는 제2 연산부; 및
    상기 제1 연산부 및 상기 제2 연산부의 연산결과를 통합하는 제3 연산부;를 포함하며,
    상기 제어부는, 상기 물체의 윤곽선의 시간 비동기적인 변형이 생물 윤곽선의 변형인가의 여부를 분석해서 상기 물체가 생물인지 무생물인지 판단하고,
    상기 제어부는, 상기 생물이 성인인지 아동인지 분석해서, 상기 생물이 아동인 것으로 판단된 경우에는, 상기 제3 연산부가 상기 아동의 체온분포 및 호흡을 분석해서 이상 징후가 있는지를 판단하는 것을 특징으로 하는 비전 센서를 갖는 차량 정보 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 제어부에 연결되는 출력부를 더 포함하되,
    상기 제어부는 상기 물체가 생물로 판단되면 상기 출력부에 안전벨트 미착용 경고가 출력되도록 하는 명령신호를 생성하는 비전 센서를 갖는 차량 정보 장치.
  5. 청구항 1에 있어서,
    상기 제어부는,
    상기 비전 센서가 획득한 데이터를 분석하는 제1 연산부;
    상기 카메라의 촬영영상을 분석하는 제2 연산부; 및
    상기 제1 연산부 및 상기 제2 연산부의 연산결과를 통합하는 제3 연산부;
    를 포함하되, 상기 제3 연산부는,
    상기 제1 연산부에 의하여 상기 물체 윤곽선의 변경이 검출된 경우라고 할지라도 상기 제2 연산부의 분석 결과를 취합해서 상기 물체가 생물인지 무생물인지의 여부를 판단하는 비전 센서를 갖는 차량 정보 장치.
  6. 청구항 1에 있어서,
    상기 차량에 관한 사항 중 적어도 일부를 제어하는 메인 서버를 더 포함하고,
    상기 제어부는 상기 메인 서버에 판단결과를 통보하고,
    상기 판단결과에 상기 물체를 생물로 판단한 정보가 포함되면, 상기 메인 서버는 안전벨트 미착용 경고 기능을 활성화하고,
    상기 판단결과에 상기 물체를 무생물로 판단한 정보가 포함되면, 상기 메인 서버는 안전벨트 미착용 경고 기능을 비활성화하는 비전 센서를 갖는 차량 정보 장치.
  7. 청구항 1에 있어서,
    상기 차량에 관한 사항 중 적어도 일부를 제어하는 메인 서버를 더 포함하고,
    상기 제어부는 상기 메인 서버에 판단결과를 통보하고,
    상기 판단결과에 상기 물체를 아동으로 판단한 정보가 포함되면,
    상기 메인 서버는 상기 차량의 도어락, 윈도우락 중 적어도 하나가 활성화되도록 제어신호를 발생시키는 비전 센서를 갖는 차량 정보 장치.
  8. 청구항 1에 있어서,
    상기 비전 센서는 상기 차량의 천장에 위치되는 제1 비전 센서를 포함하는 비전 센서를 갖는 차량 정보 장치.
  9. 청구항 1에 있어서,
    상기 비전 센서는 상기 차량의 좌석 시트 상부에 위치되는 제2 비전 센서를 포함하는 비전 센서를 갖는 차량 정보 장치.
  10. 삭제
  11. 청구항 1에 있어서,
    상기 제어부는, 상기 물체의 열분포 결과를 분석하여 상기 물체의 상태를 결정하는 비전 센서를 갖는 차량 정보 장치.
KR1020180173172A 2018-12-28 2018-12-28 비전 센서를 갖는 차량 정보 장치 KR102238760B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180173172A KR102238760B1 (ko) 2018-12-28 2018-12-28 비전 센서를 갖는 차량 정보 장치
KR1020210043320A KR102444360B1 (ko) 2018-12-28 2021-04-02 비전 센서를 갖는 차량 정보 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180173172A KR102238760B1 (ko) 2018-12-28 2018-12-28 비전 센서를 갖는 차량 정보 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210043320A Division KR102444360B1 (ko) 2018-12-28 2021-04-02 비전 센서를 갖는 차량 정보 장치

Publications (2)

Publication Number Publication Date
KR20200082515A KR20200082515A (ko) 2020-07-08
KR102238760B1 true KR102238760B1 (ko) 2021-05-06

Family

ID=71600574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180173172A KR102238760B1 (ko) 2018-12-28 2018-12-28 비전 센서를 갖는 차량 정보 장치

Country Status (1)

Country Link
KR (1) KR102238760B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113997898B (zh) * 2021-11-30 2022-10-14 浙江极氪智能科技有限公司 生命体探测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004351979A (ja) * 2003-05-27 2004-12-16 Nissan Motor Co Ltd 車両用侵入者警報装置
JP2008105498A (ja) * 2006-10-24 2008-05-08 Takata Corp エアバッグ制御システム、エアバッグ制御方法、エアバッグ制御装置、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100063394A (ko) * 2008-12-03 2010-06-11 한국전자통신연구원 차량에 탑승한 유아의 안전을 위한 제어 시스템 및 방법
US10198660B2 (en) * 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004351979A (ja) * 2003-05-27 2004-12-16 Nissan Motor Co Ltd 車両用侵入者警報装置
JP2008105498A (ja) * 2006-10-24 2008-05-08 Takata Corp エアバッグ制御システム、エアバッグ制御方法、エアバッグ制御装置、及びプログラム

Also Published As

Publication number Publication date
KR20200082515A (ko) 2020-07-08

Similar Documents

Publication Publication Date Title
US10759437B2 (en) System and method for responding to driver state
US20180194281A1 (en) System and method for vehicle control integrating health priority alerts of vehicle occupants
US20100322507A1 (en) System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions
JP2018512334A (ja) 車内カメラによる乗員の寸法及び姿勢の検出
JP2007033439A (ja) 自動車の安全に対する人間顔面特徴認識の適用
CN103839046A (zh) 驾驶人注意力自动识别系统及其识别方法
EP3871204A1 (en) A drowsiness detection system
US20180232588A1 (en) Driver state monitoring device
CN112220480B (zh) 基于毫米波雷达和相机融合的驾驶员状态检测系统及车辆
CN108482381A (zh) 车辆控制系统、车辆和车辆控制方法
KR102238760B1 (ko) 비전 센서를 갖는 차량 정보 장치
US20240096116A1 (en) Devices and methods for detecting drowsiness of drivers of vehicles
CN103569084B (zh) 驾驶侦测装置及其方法
JP4297155B2 (ja) 車載警告装置
KR102444360B1 (ko) 비전 센서를 갖는 차량 정보 장치
CN114537411A (zh) 一种基于ai监测的智能座舱系统及其监测方法
Gulhane et al. Intelligent fatigue detection and automatic vehicle control system
Kavitha et al. Driver drowsiness detection using face expression recognition
KR20220082500A (ko) 운전자 및 차량 외, 내부의 직, 간접적인 영향 분석을 통한 졸음운전 방지 시스템
JP2022057088A5 (ko)
Nair et al. Driver assistant system using Haar cascade and convolution neural networks (CNN)
Tu et al. Dual viewpoint passenger state classification using 3D CNNs
Manu et al. A Novel Approach to Detect Driver Drowsiness and Alcohol Intoxication using Haar Algorithm with Raspberry Pi
JP7412514B1 (ja) キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム
Sharara et al. An Embedded Real-Time Driver Monitoring System based on AI and Computer Vision

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right