KR20190014884A - 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법 - Google Patents

운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법 Download PDF

Info

Publication number
KR20190014884A
KR20190014884A KR1020170098967A KR20170098967A KR20190014884A KR 20190014884 A KR20190014884 A KR 20190014884A KR 1020170098967 A KR1020170098967 A KR 1020170098967A KR 20170098967 A KR20170098967 A KR 20170098967A KR 20190014884 A KR20190014884 A KR 20190014884A
Authority
KR
South Korea
Prior art keywords
vehicle
event
obd
pattern information
information
Prior art date
Application number
KR1020170098967A
Other languages
English (en)
Other versions
KR102051020B1 (ko
Inventor
양진영
박재형
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020170098967A priority Critical patent/KR102051020B1/ko
Publication of KR20190014884A publication Critical patent/KR20190014884A/ko
Application granted granted Critical
Publication of KR102051020B1 publication Critical patent/KR102051020B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 이벤트 및 OBD(On Board Diagnostics) 데이터를 이용하여 안전 불이행을 판단하고, 판단 결과에 따른 탑승자의 운전패턴정보를 카운팅하는 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법에 관한 것으로, 도로 교통 상에서 발생하는 안전 불이행(또는 위반 행위) 및 탑승자(운전자)의 운전패턴정보를 파악하여 사고 대책 및 예방에 활용할 수 있다.

Description

운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법{VEHICLE VIDEO MONITORING SYSTEM FOR UTILIZING DRIVING PATTERN AND THE METHOD THEREOF}
본 발명은 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 이벤트 및 OBD(On Board Diagnostics) 데이터를 이용하여 안전 불이행을 판단하고, 판단 결과에 따른 탑승자의 운전패턴정보를 카운팅하는 기술에 관한 것이다.
최근에는 차량용 블랙박스(black­box)에 다양한 ADAS(Advanced Driver Assistance System, 첨단 운전자 지원 시스템) 기술이 접목되어 블랙박스의 가치를 높이고 있다. 현재 블랙박스에서 많이 사용되는 ADAS 기술은 차선이탈감지(Lane Departure Warning; LDW), 전방추돌감지(Forward Collision Warning; FCW), 전방차량출발알림(Forward Vehicle Start Alarm; FVSA) 등이 있다. 또한, 대부분의 차량용 블랙박스에는 적용되지 않지만, 차량에 적용되는 ADAS 기능으로는 사각지대감지(Blind Spot Detection; BSD), 보행자 감지(Pedestrian Detection), 교통신호 감지(Traffic Signal Detection) 등이 있다.
이 때, ADAS 기술은 차량에 적용되어 교통사고를 예방하고, 사고발생을 줄이는데 그 목적이 있다. 경찰청 교통사고 통계 자료에 의하면, 법규위반내용별 교통사고 발생건수는 안전운전 불이행이 약 56%를 차지하여 가장 높고, 그 다음으로 신호위반, 안전거리 미확보, 중앙선침범이 각각 11~12%, 9~10%, 5~6%를 차지한다. 과속은 0.3% 정도의 사고 발생 건수이지만 치사율 측면에서 보면, 100 건당 33.7명이 사망하는 높은 치사율을 보인다. 안전운전 불이행을 다시 원인 별로 세분해보면 졸음운전, 급제동 등 운전미숙, 휴대전화 문자 발송, 통화, DMB 시청 등이 각각 36.7%, 18.3%, 10%, 5%, 3.3%를 차지한다.
이에 따른 국내 도로교통공단은 11종의 위험운전행동을 정의하였으며, 위험운전행동에 대한 교통사고를 예방 방법으로 디지털운행기록계(Digital TachoGragh; DTG)를 사용하였다. 예를 들면, 국내 도로교통공단에서 제시하는 방법은 디지털운행기록계를 차량에 장착하여 운전 중 위험운전행동을 감지 및 기록하고, 이를 운행기록분석 시스템으로 전송하며, 시스템 상의 통계 데이터를 기반으로 운전자의 운전습관을 개선할 수 있는 다양한 방법을 운전자(또는 탑승자)에게 제공한다.
다만, DTG는 OBD(On Board Diagnostics)를 통해 획득할 수 있는 차량 정보(속도 및 거리 등) 및 GPS(Global Positioning System)를 통한 위치 정보를 저장하는 제품으로, 운행기록분석 시스템은 DTG에 저장된 정보를 기반으로 11종의 위험운전행동을 감지할 수 있으나, 교통사고 원인 중 신호위반, 안전거리 미확보 및 중앙선침범 등은 감지할 수 없다는 한계가 존재하였다.
더욱이, 안전운전을 위한 종래 기술인 차량용 블랙박스(이하, '차량용 영상 모니터링 시스템'이라 칭함)는 ADAS 기술과, 디지털운행기록계 및 운행기록분석 시스템이 서로 독립적으로 동작한다는 한계가 존재하였다.
즉, 이러한 종래 기술의 한계를 극복하기 위해, 11종의 위험운전행동뿐만 아니라, 신호위반, 안전거리 미확보 및 중앙선침범 등의 교통사고 원인을 감지하며, 사고 대책 및 예방을 위한 운전자(이하, '탑승자'라 칭함)의 운전 습관을 패턴화하는 기술이 요구된다.
한국공개특허 제10­2017­0002166호(2017.01.06 공개), "차량 운전 보조 방법 및 차량"
본 발명의 목적은 도로 교통 상에서 발생하는 안전 불이행(또는 위반 행위) 및 탑승자(운전자)의 운전패턴정보를 파악하여 사고 대책 및 예방에 활용할 수 있는 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명의 목적은 종래 기술인 차량용 블랙박스에 적용되는 ADAS 기술을 통해 교통사고 원인인 안전거리 미확보, 방향지시등 미점등 및 중앙선 침범을 감지하고, 이를 새로운 운전패턴정보에 추가할 수 있는 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명의 목적은 ADAS 기술을 활용하여 탑승자의 위험한 운전 습관에 대한 다양한 운전패턴정보를 획득할 수 있는 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법을 제공하고자 한다.
본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 차량의 주변을 촬영하여 생성된 영상 정보로부터 이벤트의 발생 여부를 감지하는 이벤트 감지부, 이벤트 발생 시, 차량 조작 동작에 따른 OBD(On Board Diagnostics) 데이터를 수집하는 OBD 수집부 및 상기 이벤트 및 상기 OBD 데이터에 기초하여 안전 불이행을 판단하고, 판단 결과에 따른 탑승자의 운전패턴정보를 카운팅하는 패턴 관리부를 포함한다.
상기 이벤트 감지부는 상기 영상 정보를 기반으로 차선이탈감지(Lane Departure Warning; LDW), 전방추돌감지(Forward Collision Warning; FCW), 전방차량출발알림(Forward Vehicle Start Alarm; FVSA), 사각지대감지(Blind Spot Detection; BSD), 보행자 감지(Pedestrian Detection) 및 교통신호감지(Traffic Signal Detection) 중 적어도 어느 하나 이상의 상기 이벤트의 발생 여부를 감지할 수 있다.
상기 OBD 수집부는 이벤트 발생 시, 방향지시등 및 기어포지션 등의 상기 차량 조작 동작에 의해 차량 내 OBD 단자로부터 상기 OBD 데이터를 수집할 수 있다.
상기 패턴 관리부는 이벤트 발생 시, 상기 OBD 수집부로부터 수집되는 상기 OBD 데이터에 기초하여 이벤트의 해결 유무를 감지하며, 기 설정된 시간 내에 상기 발생된 이벤트가 해결되지 않은 경우, 상기 안전 불이행을 판단할 수 있다.
상기 패턴 관리부는 상기 안전 불이행으로 판단하는 경우, 상기 이벤트에 따른 상기 OBD 데이터를 기반으로 상기 탑승자의 운전패턴정보를 획득하고, 상기 획득된 운전패턴정보의 횟수 및 패턴을 카운팅할 수 있다.
상기 패턴 관리부는 상기 OBD 데이터, 이벤트 종류, 차량의 위치, 발생 시각 및 날씨 정보 중 적어도 어느 하나 이상의 데이터에 기반하여 탑승자의 운전 습관을 패턴화하여 상기 운전패턴정보를 획득할 수 있다.
또한, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 이벤트의 종류, 상기 OBD 데이터 및 상기 운전패턴정보와, 상기 안전 불이행의 판단 시점에서의 차량의 위치 및 발생 시각을 저장하는 저장부 및 상기 판단된 위험 행위에 따른 출력 정보를 제공하며, 상기 위험 행위 및 상기 탑승자의 운전패턴정보를 외부로 전송하는 제어부를 더 포함할 수 있다.
상기 제어부는 상기 저장부에 저장된 상기 탑승자의 운전패턴정보를 기반으로 상기 영상 정보 및 상기 OBD 데이터에 따른 상기 안전 불이행을 미리 감지하여 상기 출력 정보를 제공할 수 있다.
본 발명의 실시예에 따른 차량용 영상 모니터링 시스템의 동작 방법에 있어서, 차량의 주변을 촬영하여 생성된 영상 정보로부터 이벤트의 발생 여부를 감지하는 단계, 이벤트 발생 시, 차량 조작 동작에 따른 OBD(On Board Diagnostics) 데이터를 수집하는 단계 및 상기 이벤트 및 상기 OBD 데이터에 기초하여 안전 불이행을 판단하고, 판단 결과에 따른 탑승자의 운전패턴정보를 카운팅하는 단계를 포함한다.
상기 안전 불이행을 판단하고, 탑승자의 운전패턴정보를 카운팅하는 단계는 이벤트 발생 시, 상기 OBD 데이터에 기초하여 이벤트의 해결 유무를 감지하며, 기 설정된 시간 내에 상기 발생된 이벤트가 해결되지 않은 경우, 상기 안전 불이행을 판단할 수 있다.
상기 안전 불이행을 판단하고, 탑승자의 운전패턴정보를 카운팅하는 단계는 상기 안전 불이행으로 판단하는 경우, 상기 이벤트에 따른 상기 OBD 데이터를 기반으로 상기 탑승자의 운전패턴정보를 획득하고, 상기 획득된 운전패턴정보의 횟수 및 패턴을 카운팅할 수 있다.
또한, 본 발명의 실시예에 따른 차량용 영상 모니터링 방법은 상기 판단된 안전 불이행에 따른 출력 정보를 제공하고, 상기 판단된 위험 행위 및 상기 탑승자의 운전패턴정보를 외부로 전송하는 단계를 더 포함할 수 있다.
또한, 본 발명의 실시예에 따른 차량용 영상 모니터링 방법은 상기 발생된 이벤트의 종류, 상기 OBD 데이터 및 상기 운전패턴정보와, 상기 안전 불이행의 판단 시점에서의 차량의 위치 및 발생 시각을 저장하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 도로 교통 상에서 발생하는 안전 불이행(또는 위반 행위) 및 탑승자(운전자)의 운전패턴정보를 파악하여 사고 대책 및 예방에 활용할 수 있다.
또한, 본 발명의 실시예에 따르면, 종래 기술인 차량용 블랙박스에 적용되는 ADAS 기술을 통해 교통사고 원인인 안전거리 미확보, 방향지시등 미점등 및 중앙선 침범을 감지하고, 이를 새로운 운전패턴정보에 추가할 수 있다.
또한, 본 발명의 실시예에 따르면, 차량용 영상 모니터링 시스템에 적용된 ADAS 기술을 활용하여 탑승자의 위험한 운전 습관에 대한 다양한 운전패턴정보를 획득할 수 있다.
도 1은 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템의 구성을 설명하기 위해 도시한 것이다.
도 2a 내지 도 2c는 이벤트의 예를 도시한 것이다.
도 3 내지 도 7은 본 발명의 실시예에 따른 이벤트 알고리즘의 순서도를 도시한 것이다.
도 8은 차량용 영상 모니터링 시스템, 단말기, 외부 서버 및 차량 기기 간의 작용관계를 개념적으로 설명하기 위해 도시한 것이다.
도 9는 본 발명의 실시예에 따른 차량용 영상 모니터링 방법의 흐름도를 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템의 구성을 설명하기 위해 도시한 것이다.
도 1을 참조하면, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템(100)은 이벤트 발생에 따른 OBD 데이터를 감지하여 안전 불이행 여부를 판단하고, 탑승자의 운전패턴정보를 카운팅(counting)한다. 이 때, 차량용 영상 모니터링 시스템(100)은 차량 내 블랙박스(Black­Box)일 수 있으며, 블랙박스에 연결되거나 포함된 것일 수 있다.
이에 따른, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템(100)은 이벤트 감지부(110), OBD 수집부(120) 및 패턴 관리부(130)를 포함한다.
이벤트 감지부(110)는 차량의 주변을 촬영하여 생성된 영상 정보로부터 이벤트의 발생 여부를 감지한다.
예를 들면, 이벤트 감지부(110)는 차량의 전방, 후방 및 측방에 위치한 적어도 하나 이상의 카메라(111)로부터 촬영되어 생성된 영상 정보를 수신할 수 있다. 이 때, 카메라(111)는 차량의 전방을 촬영하는 전방카메라, 차량의 후방을 촬영하는 후방카메라, 그리고 차량의 좌측방향과 우측방향을 각각 촬영하는 측방카메라로부터 차량 전방향 주변에 대한 촬상을 이행하고, 그에 따른 영상 정보를 생성할 수 있는 기기로서, 카메라 또는 카메라 센서의 종류, 개수 및 위치는 한정되지 않는다.
나아가, 카메라(111)로 촬영된 영상은 미리 설정된 해상도로 처리되며, 이벤트 감지부(110)는 처리된 영상 정보로부터 차량의 전방, 후방 및 측방 중 적어도 어느 하나 이상의 위치에서 발생하는 이벤트를 감지할 수 있다. 또한, 영상 정보는 날짜, 시간 및 차량의 위치 정보를 포함할 수 있다.
이 때, 이벤트 감지부(110)는 레이더(RADAR), 라이더(LIDAR) 및 카메라 중 적어도 어느 하나를 이용하여 영상 정보를 생성할 수 있으므로, 기기의 종류에 한정되지 않는다.
즉, 이벤트 감지부(110)는 영상 정보, 또는 영상 정보와 차량의 위치 정보를 기반으로 차선이탈감지(Lane Departure Warning; LDW), 전방추돌감지(Forward Collision Warning; FCW), 전방차량출발알림(Forward Vehicle Start Alarm; FVSA), 사각지대감지(Blind Spot Detection; BSD), 보행자 감지(Pedestrian Detection) 및 교통신호감지(Traffic Signal Detection) 중 적어도 어느 하나 이상의 이벤트를 감지할 수 있다.
이하에서는 도 2a 내지 도 2c를 참고하여 이벤트의 발생 및 종류에 대해 상세히 설명하고자 한다.
도 2a 내지 도 2c는 이벤트의 예를 도시한 것이다.
보다 구체적으로, 도 2a는 전방추돌감지(Forward Collision Warning; FCW)의 이벤트 예를 도시한 것이고, 도 2b는 사각지대감지(Blind Spot Detection; BSD)의 이벤트 예를 도시한 것이며, 도 2c는 차선이탈감지(Lane Departure Warning; LDW)의 이벤트 예를 도시한 것이다.
본 발명의 실시예에 따른 차량용 영상 모니터링 시스템(100)은 차량의 전방, 후방 및 측방 중 적어도 어느 하나 이상의 위치에 설치된 카메라(111)로부터 생성된 영상 정보에 FCW 알고리즘, BSD 알고리즘 및 LDW 알고리즘을 적용하여 전방추돌감지, 사각지대감지 및 차선이탈감지 등의 이벤트를 감지할 수 있다.
일 실시 예로, 도 2a를 참조하면, 차량용 영상 모니터링 시스템(100)의 이벤트 감지부(110)는 뒷 차량(B)을 기준으로, 차량(B)의 전방에 설치된 카메라(111)로부터 생성된 영상 정보를 기반으로 앞 차량(A)를 감지한다. 이후, 이벤트 감지부(110)는 앞 차량(A)과 차량(B) 간의 속도를 감안하여 충돌소요시간(Time to collision; TTC)을 추정하며, 추정된 충돌소요시간이 일정 값보다 작게 감지되는 경우, 전방추돌감지(FCW)의 이벤트 발생을 감지할 수 있다.
일 실시 예로, 도 2b를 참조하면, 차량용 영상 모니터링 시스템(100)의 이벤트 감지부(110)는 앞 차량(A)을 기준으로, 차량의 측방 및 후방에 설치된 카메라(111)로부터 생성된 영상 정보를 기반으로 차량(A) 사각지대 내에 뒷 차량(B) 유무를 파악한다. 이후, 이벤트 감지부(110)는 뒷 차량(B)이 차량(A)의 사각지대 범위 안에 위치하는 경우, 사각지대감지(BSD)의 이벤트 발생을 감지할 수 있다.
일 실시 예로, 도 2c를 참조하면, 차량용 영상 모니터링 시스템(100)의 이벤트 감지부(110)는 차량(A)의 전방 및 측방에 설치된 카메라(111)로부터 생성된 영상 정보를 기반으로 주행 중인 차량(A)의 차선을 감지한다. 이후, 이벤트 감지부(110)는 차량(A)의 좌측 또는 우측 차선으로의 근접을 감지하여 차선이탈감지(LDW)의 이벤트 발생을 감지할 수 있다.
다시 도 1을 참조하면, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템(100)의 OBD 수집부(120)는 이벤트 발생 시, 이벤트 발생과 관련된 차량 조작 동작에 따른 OBD(On Board Diagnostics) 데이터를 수집한다.
예를 들면, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템(100)은 이벤트 감지부(110)로부터 수신된 이벤트의 발생 이후, OBD 수집부(120)로부터 수신되는 OBD 데이터를 이용하여 이벤트의 위험 및 위험 강도를 감지하고, 이벤트 발생에 따른 탑승자의 대처를 유도하며, 안전 불이행에 대한 대처 방안을 모색할 수 있다.
OBD 수집부(120)는 이벤트 발생 시, 방향지시등 및 기어포지션 등의 차량 조작 동작에 의해 차량 내 OBD(On­Board Diagnostics) 단자로부터 OBD 데이터를 수집할 수 있다.
예를 들면, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템(100)은 복수의 핀 배열 형태와 통신 방식을 포함하는 커넥터(connector)를 이용하여 차량 내 OBD 단자에 연결될 수 있으며, OBD 수집부(120)는 원하는 차량의 조작 정보를 OBD 단자에서 발생하는 OBD 데이터를 통해 수집할 수 있다.
이 때, 본 발명에서는 차량 조작 동작으로, 방향지시등 및 기어포지션에 대한 동작을 중점적으로 설명하나, 차량의 조작 동작은 이에 한정되지 않으며, 차량 내 운전석 및 조수석 안전벨트 착용 여부, 창문 조작 및 램프 조작 등의 다양한 동작을 포함할 수 있다. 즉, 본 발명에서 설명하고자 하는 차량 조작 동작은 차량의 고장 진단과 관련된 표준 PID(Parameter ID)를 제외한 비표준 PID를 획득하기 위한 모션(motion)일 수 있다.
실시예에 따라서, 본 발명의 차량용 영상 모니터링 시스템(100)은 CAN(Controller Area Network) 통신을 통해 차량 내부 ECU(Electronic Control Unit)로부터 차량 내 OBD 데이터를 수집하는 CAN 트랜스시버(CAN transceiver)를 포함할 수 있다.
패턴 관리부(130)는 이벤트 및 OBD 데이터에 기초하여 안전 불이행을 판단하고, 판단 결과에 따른 탑승자의 운전패턴정보를 카운팅한다.
패턴 관리부(130)는 이벤트 발생 시, OBD 수집부(120)로부터 수집되는 OBD 데이터에 기초하여 이벤트의 해결 유무를 감지하며, 기 설정된 시간 내에 발생된 이벤트가 해결되지 않은 경우, 안전 불이행을 판단할 수 있다.
일 실시 예로, 패턴 관리부(130)는 이벤트 감지부(110)에 의한 전방추돌감지(FCW)의 이벤트 발생 시, OBD 수집부(120)로부터 수집되는 OBD 데이터로부터 차량의 감속 또는 정지를 감지하여 전방추돌감지 이벤트의 해결 유무를 판단할 수 있다. 예를 들어, 전방추돌감지 이벤트 발생 시, 기 설정한 시간 내에 차량의 감속 또는 정지의 동작이 발생하지 않거나 영상 정보에 따른 앞 차량의 이동이 없는 경우, 패턴 관리부(130)는 전방추돌감지 이벤트에 대한 안전 불이행을 판단할 수 있다.
일 실시 예로, 패턴 관리부(130)는 이벤트 감지부(110)에 의한 사각지대감지(BSD)의 이벤트 발생 시, OBD 데이터에 따른 차량의 방향지시등 변경을 감지하여 사각지대감지 이벤트의 해결 유무를 판단할 수 있다. 예를 들어, 차량의 좌측 사각지대에 뒷 차량이 존재하는 좌측 사각지대감지 이벤트가 발생하는 경우, OBD 데이터에 따른 차량의 좌측 방향지시등이 점등되면, 패턴 관리부(130)는 사각지대감지 이벤트에 대한 안전 불이행을 판단할 수 있다. 다만, 좌측 사각지대감지 이벤트가 발생할 때, 차량의 우측 방향지시등이 점등되면 패턴 관리부(130)는 안전 이행을 판단한다.
일 실시 예로, 패턴 관리부(130)는 이벤트 감지부(110)에 의한 차선이탈감지(LDW)의 이벤트 발생 시, OBD 데이터에 따른 차량의 방향지시등 변경을 감지하여 차선이탈감지 이벤트의 해결 유무를 판단할 수 있다. 예를 들어, 차량이 좌측 차선에 근접하는 좌측 차선이탈감지 이벤트가 발생하는 경우, OBD 데이터에 따른 차량의 좌측 방향지시등이 점등되면, 패턴 관리부(130)는 안전 이행을 판단할 수 있다. 다만, 좌측 차선이탈감지 이벤트가 발생될 때, 차량의 우측 방향지시등이 점등되거나, 방향지시등이 미점등되는 경우, 패턴 관리부(130)는 차선이탈감지 이벤트에 대한 안전 불이행을 판단한다.
이후, 패턴 관리부(130)는 안전 불이행을 판단한 경우, 이벤트에 따른 OBD 데이터를 기반으로 탑승자의 운전패턴정보를 획득하고, 획득된 운전패턴정보의 횟수 및 패턴을 카운팅할 수 있다.
예를 들면, 패턴 관리부(130)는 안전 불이행에 따른 차선이탈감지(Lane Departure Warning; LDW), 전방추돌감지(Forward Collision Warning; FCW), 전방차량출발알림(Forward Vehicle Start Alarm; FVSA), 사각지대감지(Blind Spot Detection; BSD), 보행자 감지(Pedestrian Detection) 및 교통신호감지(Traffic Signal Detection) 중 어느 하나의 이벤트 종류를 획득할 수 있다. 이후, 패턴 관리부(130)는 획득된 이벤트 종류에서의 탑승자의 운전패턴정보를 획득할 수 있다.
실시예에 따라서, 좌측 차선에 대한 차선이탈감지(LDW) 이벤트에 대한 안전 불이행이 판단된 경우, 패턴 관리부(130)는 수집부(120)로부터 수집된 OBD 데이터를 기반으로 탑승자(또는 운전자)가 우측 방향지시등, 좌측 방향지시등 또는 미점등의 대처 행동을 판단할 수 있다. 이에 따라서, 패턴 관리부(130)는 차선이탈감지 이벤트 발생에 따른 좌측 차선, 우측 차선 및 중앙선 중 어느 차선에 대한 이탈감지 이벤트가 발생하였는지를 판단하며, 방향지시등의 점등 또는 미점등에 따른 탑승자의 대처 행동을 패턴화할 수 있다.
즉, 패턴 관리부(130)는 차선이탈감지(Lane Departure Warning; LDW), 전방추돌감지(Forward Collision Warning; FCW), 전방차량출발알림(Forward Vehicle Start Alarm; FVSA), 사각지대감지(Blind Spot Detection; BSD), 보행자 감지(Pedestrian Detection) 및 교통신호감지(Traffic Signal Detection) 중 어느 하나의 이벤트에 따른 탑승자의 대처 행동을 그룹화 및 패턴화할 수 있다.
또한, 패턴 관리부(130)는 카운팅되는 탑승자의 운전패턴정보에 기반하여 안전 불이행에 대한 저위험, 보통, 고위험의 등급을 적용할 수 있으며, 이벤트 종류 및 OBD 데이터에 기반한 탑승자의 운전패턴정보에 차량의 위치, 발생 시각, 날씨 정보 및 도로 정보 중 적어도 어느 하나 이상의 부가적인 정보를 추가하여 패턴화할 수도 있다. 이 때, 도로 정보는 고속국도, 일반국도, 지방도/군도, 특별시도/광역시도/시도, 직선 도로, 곡선 도로, 유턴 도로 등을 포함할 수 있다.
이후, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템(100)의 제어부(150)는 이벤트 감지부(110), OBD 수집부(120) 및 패턴 관리부(130)에 의해 수집된 이벤트의 종류, OBD 데이터 및 운전패턴정보와, 안전 불이행의 판단 시점에서의 차량의 위치, 발생 시각, 날씨 정보 및 도로 정보를 메모리 모듈의 저장부(140)에 저장할 수 있다.
또한, 저장부(140)는 차량의 차대번호(Vehicle Identification Number: VIN) 별로 이벤트 종류, OBD 데이터 및 운전패턴정보와, 안전 불이행의 판단 시점에서의 차량의 위치, 발생 시각, 날씨 정보 및 도로 정보를 포함시켜 저장할 수 있다. 또한, 해당 이벤트의 발생횟수를 알 수 있는 카운터 정보도 업데이트할 수 있으므로, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템(100)은 탑승자의 차량 운전에 따라 발생된 이벤트 종류, OBD 데이터 및 운전패턴정보를 이용하여 사고 대책 및 예방에 관련된 다양한 응용과 통계서비스를 사용자(탑승자, 차량 관리자, 보험사 등)에게 제공할 수 있다. 실시예에 따라서, 저장부(140) 내 데이터는 탑승자(운전자)별 안전 불이행/안전 이행 발생건수, 차대번호별 안전 불이행/안전 이행 발생건수, 날짜별, 위치별, 시각별 그리고 도로 구간별 발생건수 형태로 관리될 수 있다.
이에 따라서, 차량용 영상 모니터링 시스템(100)은 카운팅되는 탑승자의 운전패턴정보에 기반하여 탑승자의 운전 습관을 파악할 수 있으며, 특정 시각, 특정 위치 및 특정 도로 상황에 따른 빈도수 높은 안전 불이행을 미리 예측하여 탑승자에게 출력 정보를 제공할 수 있다.
예를 들면, 제어부(150)는 탑승자 별로 안전 불이행에 대한 발생 빈도수가 높은 특정 시각, 특정 위치 및 특정 도로 상황을 미리 예측하고, 수신되는 이벤트 및 OBD 데이터로부터 특정 위치 및 특정 도로 상황을 감지하여 탑승자에게 안전 서비스(출력 정보)를 제공할 수 있다.
실시예에 따르면, 제어부(150)는 차량 내 모니터링 모듈, 오디오 모듈, 스피커 모듈 또는 부저 등의 출력 모듈(160)을 통해 경고음, LED(Light Emitting Diode)를 이용한 경고등, 불빛 및 진동과, 안전 불이행에 대한 수치, 값, 퍼센트, 영상, 그림, 그래프, 메시지 및 음성 중 적어도 어느 하나를 포함하는 출력 정보를 출력할 수 있다. 이 때, 디스플레이 모듈은 차량 내 AVN(Audio Video Navigation) 장치 또는 네비게이션 장치에 포함된 출력 모듈(160)일 수 있다.
또 다른 예로, 제어부(150)는 카운팅되는 탑승자의 운전패턴정보, 이벤트 종류 및 OBD 데이터와, 안전 불이행의 판단 시점에서의 차량의 위치 및 발생 시각에 관련된 출력 정보를 탑승자가 소지하는 단말기(미도시) 또는 외부 서버로 전송할 수 있다. 이 때, 외부 서버는 공공기관(병원, 경찰서 등), 보험회사, 차량 정비소 및 차량회사 중 적어도 어느 하나일 수 있으며, 단말기는 탑승자가 소지하는 PC, 이동통신단말기, 스마트폰, 노트패드, PDA, 태블릿 PC 와 같이 유무선 통신 모듈이 탑재된 전자 장치일 수 있다.
도 3 내지 도 7은 본 발명의 실시예에 따른 이벤트 알고리즘의 순서도를 도시한 것이다.
도 3은 전방추돌감지(FCW) 이벤트 발생에 따른 전방추돌감지 알고리즘의 순서도를 도시한 것으로, 단계 310에서 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 차량의 전방에 설치된 카메라로부터 생성된 영상 정보를 기반으로 앞 차량과의 간격을 감지할 수 있다. 이후, 차량용 영상 모니터링 시스템은 앞 차량과의 충돌소요시간(Time to collision; TTC)을 추정하며, 추정된 충돌소요시간이 일정 값보다 작게 감지되는 경우, 전방추돌감지(FCW)의 이벤트 발생을 감지하여 탑승자에게 전방추돌위험에 따른 출력 정보를 제공한다(단계 330).
이후, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 단계 320에서 기 설정된 시간 내에 발생된 이벤트의 해결 유무를 감지한다.
예를 들면, 차량용 영상 모니터링 시스템은 단계 320에서 앞 차량과의 충돌소요시간이 점차 크게 감지되거나, OBD 데이터에 따른 차량의 감속 및 정지를 감지하는 경우, 이벤트가 해결되었음을 판단할 수 있다. 다만, 단계 320에서 전방추돌감지 이벤트가 약 3초(다만, 시간은 이에 한정되지 않는다.)의 시간 동안 유지되어 발생되는 경우, 차량용 영상 모니터링 시스템은 앞 차량과의 안전거리를 확보하지 못한 것으로 판단하여 단계 340에서 안전거리 미확보 위반 판단에 따른 운전패턴정보를 카운팅하고, 이벤트 종류, OBD 데이터, 안전 불이행 판단 및 운전패턴정보를 저장한다.
도 4는 차선이탈감지(LDW) 이벤트 발생에 따른 차선이탈감지 알고리즘의 순서도를 도시한 것으로, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 차량의 전방 및 측방에 설치된 카메라로부터 생성된 영상 정보를 기반으로 주행 중인 차량의 차선을 감지할 수 있다. 이후, 단계 410에서 차량의 좌측 또는 우측 차선으로의 근접을 감지하여 차선이탈감지(LDW)의 이벤트 발생을 감지한다.
이후, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 단계 420에서 OBD 데이터에 따른 차량의 방향지시등 변경을 감지하여 차선이탈감지 이벤트의 해결 유무를 판단할 수 있다.
예를 들어, 차량용 영상 모니터링 시스템은 차선이탈감지 이벤트가 발생했을 때, 해당 방향으로 방향지시등이 점등되는 경우, 이벤트가 해결되었음을 판단할 수 있다. 다만, 단계 430에서 해당 방향으로 방향지시등이 점등되지 않는 경우, 탑승자에게 알람과 함께 위험한 방향전환 이벤트 발생에 따른 출력 정보를 제공한다(단계 430). 또한, 단계 430과 동시에 단계 440에서 방향전환 위반 판단에 따른 운전패턴정보를 카운팅하고, 이벤트 종류, OBD 데이터, 안전 불이행 판단 및 운전패턴정보를 저장한다.
도 5는 중앙선 침범의 차선이탈감지(LDW) 이벤트 발생에 따른 차선이탈감지 알고리즘의 순서도를 도시한 것으로, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 도 4에 도시된 바와 같이 단계 510에서 차량의 좌측 또는 우측 차선으로의 근접을 감지하여 차선이탈감지(LDW)의 이벤트 발생을 감지한다.
이후, 단계 520에서 중앙선 침범(노란이중선 또는 노란실선) 유무를 판단한다. 예를 들어, 차량용 영상 모니터링 시스템은 중앙선 침범의 차선이탈감지 이벤트가 발생했을 때, 반대 방향으로 방향지시등이 점등되거나, 차량 바퀴 및 핸들이 조작되는 경우, 중앙선 침범에 대한 이벤트가 해결되었음을 판단할 수 있다. 다만, 단계 520에서 판단된 중앙선 침범의 차선이탈감지 이벤트가 해결되지 않은 경우, 탑승자에게 알람과 함께 중앙선 침범의 이벤트 발생에 따른 출력 정보를 제공한다(단계 530). 또한, 단계 530과 동시에 단계 540에서 중앙선 침범 위반 판단에 따른 운전패턴정보를 카운팅하고, 이벤트 종류, OBD 데이터, 안전 불이행 판단 및 운전패턴정보를 저장한다.
실시예에 따라서, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 단계 510에서 차선이탈감지 이벤트의 발생이 중앙선 침범에 해당하는 경우, 단계 530을 통해 탑승자에게 알람과 함께 중앙선 침범 이벤트 발생에 따른 출력 정보를 제공할 수 있다.
도 6은 사각지대감지(BSD) 이벤트 발생에 따른 사각지대감지 알고리즘의 순서도를 도시한 것으로, 단계 610에서 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 차량의 측방 및 후방에 설치된 카메라로부터 생성된 영상 정보를 기반으로 차량의 사각지대에 접근한 차량의 존재 유무를 감지하고, 단계 620을 통해 탑승자에게 후방 차량의 사각지대 접근에 따른 출력 정보를 제공한다.
단계 630에서 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 차량의 사각지대 내 위치한 후방 차량에 따른 사각지대감지 이벤트 발생 시, OBD 데이터로부터 차량의 방향지시등 변경을 감지하여 사각지대감지 이벤트의 해결 유무를 판단할 수 있다. 이 때, 차량용 영상 모니터링 시스템은 차량의 방향지시등이 해당 사각지대 방향으로 점등되는 경우, 방향전환 이벤트 발생에 따른 출력 정보를 제공한다(단계 620).
이후, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 단계 640에서 사각지대감지 이벤트가 발생하고, 해당 방향으로의 방향지시등이 점등되었으며, 그에 따른 탑승에게 출력 정보를 제공하였음에도 해당 방향으로 차선이탈감지(LDW) 이벤트가 발생하는 경우, 단계 650에서 위험한 방향전환 이벤트가 발생하였음을 판단하여 운전패턴정보를 카운팅하고, 이벤트 종류, OBD 데이터, 안전 불이행 판단 및 운전패턴정보를 저장한다.
도 7은 안전 불이행에 따른 처리 알고리즘의 순서도를 도시한 것으로, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 단계 710에서 차량 내 OBD 데이터로부터 차량의 시동 켜짐을 감지하고, 시작시각을 기록한다(단계 720).
이후, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 단계 730에서 차선이탈감지(Lane Departure Warning; LDW), 전방추돌감지(Forward Collision Warning; FCW), 전방차량출발알림(Forward Vehicle Start Alarm; FVSA), 사각지대감지(Blind Spot Detection; BSD), 보행자 감지(Pedestrian Detection) 및 교통신호감지(Traffic Signal Detection) 중 어느 하나의 이벤트에 따른 안전 불이행을 판단하고, 단계 740에서 판단된 결과에 따른 탑승자의 운전패턴정보를 카운팅한다. 이 때, 차량용 영상 모니터링 시스템은 저장부에 저장되는 정보를 단말기 또는 외부 서버로 전송할 수 있다.
본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 차량의 주행 동안 단계 730 및 단계 740의 동작을 반복하며, 차량의 시동 꺼짐(단계 750)에 따른 종료시각을 기록한다(단계 760). 이에 따라서, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템은 운행거리, 운행시간, 운행 중 안전 불이행 발생 정보 및 운전패턴정보 카운팅 중 적어도 어느 하나 이상을 저장할 수 있다.
도 8은 차량용 영상 모니터링 시스템, 단말기, 외부 서버 및 차량 기기 간의 작용관계를 개념적으로 설명하기 위해 도시한 것이다.
도 8을 참조하면, 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템(810), 탑승자가 소지하는 단말기(820), 외부 서버(830) 및 차량 기기(840)는 LoRa, LTE­M, NB IoT, LPWAN, Wi­Fi/BT 등의 연결 네트워크를 통해 데이터를 송수신할 수 있다.
이 때, 차량용 영상 모니터링 시스템(810)은 차량 기기(840) 내에 포함된 것일 수 있으며, 차량 기기(840)는 블랙박스(Black­Box), AVN(Audio Video Navigation) 장치 또는 네비게이션 장치일 수 있다.
또한, 단말기(820)는 탑승자가 소지하는 PC, 이동통신단말기, 스마트폰, 노트패드, PDA, 태블릿 PC 와 같이 유무선 통신 모듈이 탑재된 전자 장치일 수 있으며, 외부 서버(830)는 공공기관(병원, 경찰서 등), 보험회사, 차량 정비소, 차량회사, 운행기록분석 시스템 및 보험사 가입자 위험운전행동 분석 시스템 중 적어도 어느 하나일 수 있다.
도 8에서 본 발명의 실시예에 따른 차량용 영상 모니터링 시스템(810)은 도 1 내지 도 7에서 전술한 바와 같이, 이벤트 발생에 따른 OBD 데이터를 감지하여 안전 불이행 여부를 판단하고, 판단 결과에 따른 탑승자의 운전패턴정보를 카운팅한다. 이 때, 차량용 영상 모니터링 시스템(810)은 이벤트 종류, OBD 데이터 및 운전패턴정보와, 안전 불이행 발생에 따른 차량의 위치, 발생 시각, 날씨 정보 및 도로 정보를 저장하며, 탑승자의 운전패턴정보의 발생횟수 및 패턴을 알 수 있는 카운터 정보를 업데이트할 수 있다.
이를 위해, 차량용 영상 모니터링 시스템(810)은 차량의 시동 온(On)/오프(Off) 시각과 운행거리를 기록하며, 차량 운행 중 발생된 안전 불이행에 따른 운전패턴정보의 카운터가 증가되는 경우, 차량의 차대번호(Vehicle Identification Number: VIN, 또는 VID(Vehicle ID)), 운행시작시각, 운행종료시각, 운행거리, 이벤트 또는 안전 불이행 발생 건수, 발생 종류, 차량의 위치, 시각 및 도로 정보 형태로 데이터를 변환하여 SD Card 또는 메모리 모듈에 저장할 수 있다.
이후, 차량용 영상 모니터링 시스템(810)은 저장되어 유지되는 데이터를 이미 설정된 전송 네트워크를 통해 단말기(820), 외부 서버(830) 또는 차량 기기(840) 등에 전송할 수 있다. 이 때, 차량용 영상 모니터링 시스템(810)은 운행에 따른 탑승자의 운전패턴정보에 대한 카운터를 초기화할 수 있다.
즉, 차량용 영상 모니터링 시스템(810)은 ADAS 기술을 활용한 안전 불이행을 판단하고, 탑승자의 운전패턴정보를 카운팅하며, 저장되어 유지되는 데이터를 외부 서버(830)로 전송하거나 직접 탑승자가 소지하는 단말기(820)로 전송함으로써, 탑승자의 위험한 운전 습관을 줄이고, 나아가 자동차 사고를 감소시키는 효과를 제공할 수 있다.
외부 서버(830)는 차량용 영상 모니터링 시스템(810)으로부터 수신된 이벤트 종류, OBD 데이터, 운전패턴정보, 차량 위치, 발생 시각 및 도로 정보 등의 데이터를 가공하여 다양한 응용과 통계서비스로 사용할 수 있다. 예를 들어, 외부 서버(830)는 탑승자별 위험운전 발생건수, 차대번호별 발생건수, 날짜별, 위치별, 시각별 그리고 도로 구간별 발생건수 형태로 관리하여 탑승자의 안전 불이행을 미리 예측하여 출력 정보를 제공할 수 있으며, 보험처리 또는 차량점검 등의 서비스에 적용할 수도 있다.
또한, 도 8에서의 단말기(820) 또는 차량 기기(840)는 디스플레이 모듈을 포함할 수 있다. 이 때, 디스플레이 모듈은 이벤트 종류, OBD 데이터, 안전 불이행 및 운전패턴정보에 대한 수치, 값, 퍼센트, 영상, 그림, 그래프, 메시지 및 음성 중 적어도 어느 하나의 출력 정보를 디스플레이할 수 있다. 또한, 디스플레이 모듈은 햅틱(haptic) 접촉 또는 택틸(tactile) 접촉에 기초하여 사용자(또는 탑승자)로부터의 입력을 받아들이는 터치­감지 표면, 센서 또는 센서 집합에 기초하여 기능과 관련된 적어도 하나 이상의 아이템을 포함하는 또 다른 화면을 표시할 수 있다.
즉, 디스플레이 모듈은 안전 불이행 및 운전패턴정보에 관련된 서비스를 디스플레이할 수 있으며, 사용자 인터페이스를 제공할 수 있다.
도 9는 본 발명의 실시예에 따른 차량용 영상 모니터링 방법의 흐름도를 도시한 것이다.
도 9에 도시된 방법은 도 1에 도시된 차량용 영상 모니터링 시스템에 의해 수행될 수 있다.
도 9를 참조하면, 단계 910에서 차량의 주변을 촬영하여 생성된 영상 정보로부터 이벤트의 발생 여부를 감지한다.
예를 들면, 단계 910은 차량의 전방, 후방 및 측방에 위치한 적어도 하나 이상의 카메라로부터 촬영되어 생성된 영상 정보를 수신하고, 영상 정보, 또는 영상 정보와 차량의 위치 정보를 기반으로 차선이탈감지(Lane Departure Warning; LDW), 전방추돌감지(Forward Collision Warning; FCW), 전방차량출발알림(Forward Vehicle Start Alarm; FVSA), 사각지대감지(Blind Spot Detection; BSD), 보행자 감지(Pedestrian Detection) 및 교통신호감지(Traffic Signal Detection) 중 적어도 어느 하나 이상의 이벤트를 감지하는 단계일 수 있다.
단계 910을 통해 이벤트를 감지한 경우, 단계 920에서 이벤트 발생과 관련된 차량 조작 동작에 따른 OBD(On Board Diagnostics) 데이터를 수집한다.
예를 들면, 단계 910은 방향지시등 및 기어포지션 등의 차량 조작 동작에 의해 차량 내 OBD(On­Board Diagnostics) 단자로부터 OBD 데이터를 수집하는 단계일 수 있다. 이 때, 이 때, 본 발명에서는 차량 조작 동작으로, 방향지시등 및 기어포지션에 대한 동작을 중점적으로 설명하나, 차량 조작 동작은 이에 한정되지 않으며, 차량 내 운전석 및 조수석 안전벨트 착용 여부, 창문 조작 및 램프 조작 등의 다양한 동작을 포함할 수 있다. 즉, 본 발명에서 설명하고자 하는 차량 조작 동작은 차량의 고장 진단과 관련된 표준 PID(Parameter ID)를 제외한 비표준 PID를 획득하기 위한 모션(motion)일 수 있다.
단계 930에서 이벤트 및 OBD 데이터에 기초하여 안전 불이행을 판단하고, 판단 결과에 따른 탑승자의 운전패턴정보를 카운팅한다.
예를 들면, 단계 930은 이벤트 발생 시, OBD 데이터에 기초하여 이벤트의 해결 유무를 감지하고, 기 설정된 시간 내에 발생된 이벤트가 해결되지 않은 경우, 안전 불이행을 판단할 수 있다. 이후, 단계 930은 안전 불이행으로 판단하는 경우, 이벤트에 따른 OBD 데이터를 기반으로 탑승자의 운전패턴정보를 획득하고, 획득된 운전패턴정보의 횟수 및 패턴을 카운팅하는 단계일 수 있다.
단계 930 이후, 본 발명의 실시예에 따른 차량용 영상 모니터링 방법은 판단된 안전 불이행에 따른 출력 정보를 제공하고, 판단된 위험 행위 및 탑승자의 운전패턴정보를 외부로 전송하는 단계(미도시)를 더 포함할 수 있다.
또한, 단계 930 이후, 본 발명의 실시예에 따른 차량용 영상 모니터링 방법은 발생된 이벤트의 종류, OBD 데이터 및 운전패턴정보와, 안전 불이행의 판단 시점에서의 차량의 위치 및 발생 시각을 저장하는 단계(미도시)를 더 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD­ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기­광 매체(magneto­optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100, 810: 차량용 영상 모니터링 시스템
820: 단말기
830: 외부 서버
840: 차량 기기

Claims (14)

  1. 차량의 주변을 촬영하여 생성된 영상 정보로부터 이벤트의 발생 여부를 감지하는 이벤트 감지부;
    이벤트 발생 시, 이벤트 발생과 관련된 차량 조작 동작에 따른 OBD(On Board Diagnostics) 데이터를 수집하는 OBD 수집부; 및
    상기 이벤트 및 상기 OBD 데이터에 기초하여 안전 불이행을 판단하고, 판단 결과에 따른 탑승자의 운전패턴정보를 카운팅하는 패턴 관리부
    를 포함하는 차량용 영상 모니터링 시스템.
  2. 제1항에 있어서,
    상기 이벤트 감지부는
    상기 영상 정보를 기반으로 차선이탈감지(Lane Departure Warning; LDW), 전방추돌감지(Forward Collision Warning; FCW), 전방차량출발알림(Forward Vehicle Start Alarm; FVSA), 사각지대감지(Blind Spot Detection; BSD), 보행자 감지(Pedestrian Detection) 및 교통신호감지(Traffic Signal Detection) 중 적어도 어느 하나 이상의 상기 이벤트의 발생 여부를 감지하는 차량용 영상 모니터링 시스템.
  3. 제1항에 있어서,
    상기 OBD 수집부는
    이벤트 발생 시, 방향지시등 및 기어포지션 등의 상기 차량 조작 동작에 의해 차량 내 OBD 단자로부터 상기 OBD 데이터를 수집하는 차량용 영상 모니터링 시스템.
  4. 제1항에 있어서,
    상기 패턴 관리부는
    이벤트 발생 시, 상기 OBD 수집부로부터 수집되는 상기 OBD 데이터에 기초하여 이벤트의 해결 유무를 감지하며, 기 설정된 시간 내에 상기 발생된 이벤트가 해결되지 않은 경우, 상기 안전 불이행을 판단하는 차량용 영상 모니터링 시스템.
  5. 제4항에 있어서,
    상기 패턴 관리부는
    상기 안전 불이행으로 판단하는 경우, 상기 이벤트에 따른 상기 OBD 데이터를 기반으로 상기 탑승자의 운전패턴정보를 획득하고, 상기 획득된 운전패턴정보의 횟수 및 패턴을 카운팅하는 차량용 영상 모니터링 시스템.
  6. 제5항에 있어서,
    상기 패턴 관리부는
    상기 OBD 데이터, 이벤트 종류, 차량의 위치, 발생 시각 및 날씨 정보 중 적어도 어느 하나 이상의 데이터에 기반하여 탑승자의 운전 습관을 패턴화하여 상기 운전패턴정보를 획득하는 차량용 영상 모니터링 시스템.
  7. 제1항에 있어서,
    이벤트의 종류, 상기 OBD 데이터 및 상기 운전패턴정보와, 상기 안전 불이행의 판단 시점에서의 차량의 위치 및 발생 시각을 저장하는 저장부; 및
    상기 판단된 위험 행위에 따른 출력 정보를 제공하며, 상기 위험 행위 및 상기 탑승자의 운전패턴정보를 외부로 전송하는 제어부
    를 더 포함하는 차량용 영상 모니터링 시스템.
  8. 제7항에 있어서,
    상기 제어부는
    상기 저장부에 저장된 상기 탑승자의 운전패턴정보를 기반으로 상기 영상 정보 및 상기 OBD 데이터에 따른 상기 안전 불이행을 미리 감지하여 상기 출력 정보를 제공하는 차량용 영상 모니터링 시스템.
  9. 차량용 영상 모니터링 시스템의 동작 방법에 있어서,
    차량의 주변을 촬영하여 생성된 영상 정보로부터 이벤트의 발생 여부를 감지하는 단계;
    이벤트 발생 시, 이벤트 발생과 관련된 차량 조작 동작에 따른 OBD(On Board Diagnostics) 데이터를 수집하는 단계; 및
    상기 이벤트 및 상기 OBD 데이터에 기초하여 안전 불이행을 판단하고, 판단 결과에 따른 탑승자의 운전패턴정보를 카운팅하는 단계
    를 포함하는 차량용 영상 모니터링 방법.
  10. 제9항에 있어서,
    상기 판단된 안전 불이행에 따른 출력 정보를 제공하고, 상기 판단된 위험 행위 및 상기 탑승자의 운전패턴정보를 외부로 전송하는 단계
    를 더 포함하는 차량용 영상 모니터링 방법.
  11. 제9항에 있어서,
    상기 발생된 이벤트의 종류, 상기 OBD 데이터 및 상기 운전패턴정보와, 상기 안전 불이행의 판단 시점에서의 차량의 위치 및 발생 시각을 저장하는 단계
    를 더 포함하는 차량용 영상 모니터링 방법.
  12. 제9항에 있어서,
    상기 안전 불이행을 판단하고, 탑승자의 운전패턴정보를 카운팅하는 단계는
    이벤트 발생 시, 상기 OBD 데이터에 기초하여 이벤트의 해결 유무를 감지하며, 기 설정된 시간 내에 상기 발생된 이벤트가 해결되지 않은 경우, 상기 안전 불이행을 판단하는 차량용 영상 모니터링 방법.
  13. 제12항에 있어서,
    상기 안전 불이행을 판단하고, 탑승자의 운전패턴정보를 카운팅하는 단계는
    상기 안전 불이행으로 판단하는 경우, 상기 이벤트에 따른 상기 OBD 데이터를 기반으로 상기 탑승자의 운전패턴정보를 획득하고, 상기 획득된 운전패턴정보의 횟수 및 패턴을 카운팅하는 차량용 영상 모니터링 방법.
  14. 제9항 내지 제13항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
KR1020170098967A 2017-08-04 2017-08-04 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법 KR102051020B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170098967A KR102051020B1 (ko) 2017-08-04 2017-08-04 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170098967A KR102051020B1 (ko) 2017-08-04 2017-08-04 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190014884A true KR20190014884A (ko) 2019-02-13
KR102051020B1 KR102051020B1 (ko) 2019-12-03

Family

ID=65366639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170098967A KR102051020B1 (ko) 2017-08-04 2017-08-04 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102051020B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210034464A (ko) * 2019-09-20 2021-03-30 김응주 빅데이터 기술 기반 차량의 안전 운행 제어 시스템 및 그 방법
KR102283398B1 (ko) * 2020-10-30 2021-07-30 최광주 Ai 기반 복합 adas 룸미러
US12119957B2 (en) 2021-11-26 2024-10-15 Samsung Electronics Co., Ltd. Electronic device for controlling external device based on occupant monitoring system, and method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070521A (ja) * 2009-09-28 2011-04-07 Fuji Heavy Ind Ltd 運転支援装置
KR20170002166A (ko) 2015-06-29 2017-01-06 엘지전자 주식회사 차량 운전 보조 방법 및 차량
KR20170017647A (ko) * 2015-08-07 2017-02-15 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR20170035035A (ko) * 2015-09-22 2017-03-30 홍정표 졸음운전 방지 장치 및 방법
KR20170079096A (ko) * 2015-12-30 2017-07-10 주식회사 앤커넥트 지능형 차량용 블랙박스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070521A (ja) * 2009-09-28 2011-04-07 Fuji Heavy Ind Ltd 運転支援装置
KR20170002166A (ko) 2015-06-29 2017-01-06 엘지전자 주식회사 차량 운전 보조 방법 및 차량
KR20170017647A (ko) * 2015-08-07 2017-02-15 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR20170035035A (ko) * 2015-09-22 2017-03-30 홍정표 졸음운전 방지 장치 및 방법
KR20170079096A (ko) * 2015-12-30 2017-07-10 주식회사 앤커넥트 지능형 차량용 블랙박스

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210034464A (ko) * 2019-09-20 2021-03-30 김응주 빅데이터 기술 기반 차량의 안전 운행 제어 시스템 및 그 방법
KR102283398B1 (ko) * 2020-10-30 2021-07-30 최광주 Ai 기반 복합 adas 룸미러
US12119957B2 (en) 2021-11-26 2024-10-15 Samsung Electronics Co., Ltd. Electronic device for controlling external device based on occupant monitoring system, and method thereof

Also Published As

Publication number Publication date
KR102051020B1 (ko) 2019-12-03

Similar Documents

Publication Publication Date Title
US11756414B2 (en) Systems and methods for intra-vehicle pedestrian and infrastructure communication
CN107608388B (zh) 自主警车
CN105292036B (zh) 边界检测系统
US9852636B2 (en) Traffic event data source identification, data collection and data storage
KR101921168B1 (ko) 교통 위반 관리 시스템
US12030476B2 (en) Safe driving support system based on mobile IoT agent and method for processing thereof
US20140078291A1 (en) Driver Assisting System and Method for a Motor Vehicle
US20150317523A1 (en) Vehicle-related video processing system
JP2009069885A (ja) 状態判定装置およびプログラム
KR20190014884A (ko) 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법
CN112542052A (zh) 用于警告未受保护的交通参与者的方法
CN112614342A (zh) 一种道路异常事件的预警方法、车载设备及路侧设备
US20180047283A1 (en) Systems and methods for assigning responsibility during traffic incidents
US20220103994A1 (en) Inconsistency-determining apparatus for vehicle accident
KR20210020463A (ko) 블랙박스 영상을 이용하여 교통 법규 위반 차량을 자동으로 신고하는 장치 및 방법
JP2024045531A (ja) 情報処理装置、サーバ装置、情報処理方法、及びプログラム
KR20170080869A (ko) 차량 사고 방지 장치 및 방법
KR101832217B1 (ko) 스마트카 컨버전 시스템
EP4261717A2 (en) Systems and methods for communicating with third parties external to autonomous vehicles
JP2017224075A (ja) 出庫支援装置、出庫支援方法及び出庫支援システム
JP2020101986A (ja) 安全運転支援装置、端末装置、安全運転支援システム、安全運転支援方法、処理実行方法、およびコンピュータプログラム
KR101572478B1 (ko) 지능형 차량용 블랙박스 시스템 및 그 제공방법
KR20230069165A (ko) 도로 교통에서 물체를 검출하고 분류하는 방법
KR20050014907A (ko) 차량의 운행상태 검출을 위한 블랙박스 및 이를 이용한차량용 운행 안전 관리 시스템
JP6974059B2 (ja) 車載器および運転支援装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant