KR101643089B1 - 멀티센서를 이용한 주행 이벤트 분류 및 주행 정보 시각화 - Google Patents

멀티센서를 이용한 주행 이벤트 분류 및 주행 정보 시각화 Download PDF

Info

Publication number
KR101643089B1
KR101643089B1 KR1020150035947A KR20150035947A KR101643089B1 KR 101643089 B1 KR101643089 B1 KR 101643089B1 KR 1020150035947 A KR1020150035947 A KR 1020150035947A KR 20150035947 A KR20150035947 A KR 20150035947A KR 101643089 B1 KR101643089 B1 KR 101643089B1
Authority
KR
South Korea
Prior art keywords
information
event
image
traveling
driving
Prior art date
Application number
KR1020150035947A
Other languages
English (en)
Inventor
이상철
이현규
허유정
박보규
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020150035947A priority Critical patent/KR101643089B1/ko
Application granted granted Critical
Publication of KR101643089B1 publication Critical patent/KR101643089B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 블랙박스 내 3축 가속도 센서와 카메라를 이용하여 주행 이벤트를 분류하고 GPS 정보와 융합을 통하여 주행 정보의 시각화 인터페이스를 제안한다. 주행 이벤트 분류를 위해 영상 안정화와 3축 가속도 정보를 이용하여 다차원 특징 벡터를 구성하고, 베이지안 분류기를 통해 직진, 좌회전, 우회전, 정지, 과속방지턱의 5가지 주행 이벤트를 분류하며, GPS에서는 측정할 수 없는 차선변경 이벤트를 추정한다. 분류된 주행 이벤트와 블랙박스로부터 획득한 GPS 정보를 융합하여 전체 주행정보에 대한 시각화 지도를 생성하고, 이를 통해 사용자 친화적인 주행 정보 시각화 인터페이스를 제공할 수 있다.

Description

멀티센서를 이용한 주행 이벤트 분류 및 주행 정보 시각화{DRIVING EVENT CLASSIFICATION USING MULTIPLE SENSORS}
아래의 설명은 블랙박스 기술에 관한 것으로, 주행 이벤트와 주행 정보를 제공하는 방법에 관한 것이다.
최근 자동차와 그 주변 장치들의 성능이 크게 향상되면서 차량 관련 사고들의 감지에 대한 연구가 활발히 진행되고 있다. 특히, 자동차의 사고 시 중요한 참고자료가 되는 블랙박스에 대한 관심이 크게 증가되고 있다. 블랙박스는 앞만 보이는 1채널 블랙박스부터 뒷면과 좌, 우까지 볼 수 있는 4채널 블랙박스의 보급도 크게 증가하였으며, GPS 및 3축 가속도 등 여러 센서가 내장되어 있어, 사고 시 주행상황 파악에 도움을 준다.
이러한 블랙박스의 보급화와 더불어 차량사고나 난폭운전 등을 예방하기 위해 블랙박스의 3축 가속도를 이용하여 운전자의 주행 패턴을 추정하는 연구들이 많이 진행되고 있다. 3축 가속도의 X, Y 축 신호를 FFT와 거리척도를 이용하여 운전패턴 및 인식을 분류하는 방법이 제안되었고, 뛰어난 휴대성과 다양한 종류의 센서들이 내장된 스마트 폰을 이용하여 3축 가속도 센서 데이터를 수집하고 DTW(Dynamic Time Warping)을 통해 운전패턴을 분류하는 방법이 연구되었다. 또한, 무선 블랙박스와 3축 가속도, GPS 정보를 이용하여 운전패턴을 파악하고, 사고 감지 시 모바일로 짧은 메시지를 전송하는 방법에 대한 연구도 진행되었다.
하지만, 차량의 주행 이벤트를 추정하는 기술들은 많이 진행되었지만, 그에 비해 전체 주행 이벤트를 요약하여 효율적으로 표현하는 연구는 아직 초기 단계이다. 사고 후 블랙박스의 내용을 요약하여 빠르게 파악하여 사고의 원인 분석을 효율적으로 하는 기술이 요구된다.
일 실시예에 따른 주행 정보 제공 시스템은 블랙박스의 GPS 정보, 3축 가속도 센서 데이터, 영상 안정화 파라미터를 이용하여 베이지안 분류기를 통해 주행 이벤트를 분류하는 방법을 제공한다.
일 실시예에 따른 주행 정보 제공 시스템은 주행 이벤트를 GPS와 융합하여 시각화 지도로 재구성하여 주행 이벤트를 직관적으로 이해하는 방법을 제공한다.
일 실시예에 따른 주행 정보를 제공하는 방법은, 3축 가속도 센서와 영상정보를 이용하여 다차원의 특징 벡터를 구성하는 단계; 상기 다차원의 특징 벡터를 베이지안 분류기를 통하여 주행 이벤트로 분류하는 단계; 및 상기 분류된 주행 이벤트와 GPS 정보를 융합하여 전체 주행정보에 대한 시각화 지도를 생성하여 출력하는 단계를 포함할 수 있다.
일측에 따르면, 상기 주행 정보 제공 방법은, 상기 분류된 주행 이벤트와 상기 GPS 정보를 통하여 주행정보의 시각화 인터페이스를 제공하는 단계를 더 포함할 수 있다.
또 다른 일측에 따르면, 상기 3축 가속도 센서와 상기 영상정보를 이용하여 다차원의 특징 벡터를 구성하는 단계는, 상기 3축 가속도 센서의 정보외에 상기 영상 정보에 영상 안정화 기술을 적용하여 상기 영상의 수직, 회전 변환에 대한 특징을 추출하는 단계를 포함하고, 상기 영상 안정화 기술은, 영역별 수직 히스토그램 및 선형 회귀분석 모델을 활용하여 상기 영상의 흔들림을 보정하는 것을 포함할 수 있다.
또 다른 일측에 따르면, 상기 다차원의 특징 벡터를 상기 베이지안 분류기를 통하여 주행 이벤트로 분류하는 단계는, 상기 베이지안 분류기를 통하여 차선 변경 이벤트를 추정하고, 차선 변경을 포함하는 차체의 상하좌우이동 및 과속방지턱을 포함하는 불균일 노면으로 분류하는 단계를 포함할 수 있다.
또 다른 일측에 따르면, 상기 분류된 주행 이벤트와 GPS 정보를 융합하여 전체 주행정보에 대한 시각화 지도를 생성하여 출력하는 단계는, 상기 GPS 신호와 상기 베이지안 분류기를 통하여 획득한 주행 이벤트를 지도에 선으로 시각화하는 단계를 포함할 수 있다.
일 실시예에 따른 주행 정보를 제공하는 시스템은, 3축 가속도 센서와 영상정보를 이용하여 다차원의 특징 벡터를 구성하는 특징 벡터부; 상기 다차원의 특징 벡터를 베이지안 분류기를 통하여 주행 이벤트로 분류하는 분류부; 및 상기 분류된 주행 이벤트와 GPS 정보를 융합하여 전체 주행정보에 대한 시각화 지도를 생성하여 출력하는 디스플레이부를 포함할 수 있다.
일 실시예에 따른 주행 정보 제공 시스템은 주행 이벤트 분류를 위하여 영상 안정화와 3축 가속도 정보를 이용하여 다차원 특징 벡터를 구성하고, 베이지안 분류기를 통해 직진, 좌회전, 우회전, 정지 및 과속방지턱의 5가지 주행 이벤트를 분류하여 차선변경 이벤트를 추정할 수 있다.
일 실시예에 따른 주행 정보 제공 시스템은 블랙박스로부터 획득한 GPS사용자 정보를 융합하여 전체 주행정보에 대한 시각화 지도를 생성함으로써 친화적인 주행 정보 시각화 인터페이스를 제공할 수 있다.
도 1은 일 실시예에 따른 주행 정보 제공 시스템의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 주행 정보 제공 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 주행 정보 제공 시스템의 주행 정보 제공 방법을 나타낸 흐름도이다.
도 4는 일 실시예에 따른 주행 정보 제공 시스템의 영상 안정화 파라미터 표준편차 값을 나타낸 그래프이다.
도 5는 일 실시예에 따른 주행 정보 제공 시스템에서 각 주행 이벤트에 대해 특징공간으로 변환시킨 전체 데이터의 대표 값을 나타낸 도면이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 일 실시예에 따른 주행 정보 제공 시스템의 동작을 설명하기 위한 도면이다.
주행 정보 제공 시스템(100)은 단말(110)을 통하여 동작될 수 있으며, 단말(110)은 주행 정보 기능을 제공할 수 있다. 이때, 단말(110)은 GPS(120)와의 통신을 수행할 수 있으며, GPS 정보를 송수신할 수 있다. 단말(110)은 복수의 센서들이 장착되어 있을 수 있으며, 예를 들면, 3축 가속도 센서를 통하여 정지, 주행, 차선 변경, 과속 방지턱 등을 판단할 수 있고, GPS 정보를 수신하기 위한 GPS 모듈 장착되어 있을 수 있다.
GPS(Global Positioning System)(120)는 지구 위치측정 체계로서, 어느 지점의 위도, 경도, 고도 등을 수치를 통하여 신뢰성있는 위치정보를 제공하는 지구 전역에 사용 가능한 위성기반 항법시스템이다. GPS(120) 위성은 단말(110)의 위치를 제공해줄 수 있다.
단말(110)은 PC, 노트북, 스마트폰(smart phone), 태블릿(tablet), 웨어러블 컴퓨터(wearable computer) 등의 주행 정보를 제공할 수 있는 기기로서 주행 정보 제공 시스템과 관련된 웹/모바일 사이트의 접속 또는 서비스 전용 어플리케이션의 설치 및 실행이 가능한 모든 단말 장치를 의미할 수 있다. 이때, 단말(110)은 웹/모바일 사이트 또는 전용 어플리케이션의 제어 하에 서비스 화면 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다.
주행 정보 제공 시스템(100)은 블랙박스 기능을 제공하는 주행 정보 제공 플랫폼 상에 구현될 수 있으며, 블랙박스 기능을 이용하는 클라이언트(client)인 단말(110)을 대상으로 블랙박스에서 주행 정보를 제공하는 환경을 제공할 수 있다.
주행 정보 제공 시스템(100)은 블랙박스 기능을 제공하는 주행 정보 서버(미도시)의 플랫폼에 포함되는 형태로 구현될 수 있고, 이에 한정되는 것은 아니며 주행 정보 서버와 별개의 시스템으로 구축되어 주행 정보 서버와의 연동을 통해 주행 정보를 제공하는 형태로 구현되는 것 또한 가능하다. 그리고, 주행 정보 제공 시스템(100)은 적어도 일부의 구성 요소가 단말(110) 상에 설치되는 어플리케이션 형태로 구현되거나, 혹은 클라이언트-서버 환경에서 서비스를 제공하는 플랫폼에 포함되는 형태로 구현되는 것 또한 가능하다.
도 2는 일 실시예에 따른 주행 정보 제공 시스템의 내부 구성을 설명하기 위한 블록도이다.
본 실시예에 따른 주행 정보 제공 시스템(200)은 프로세서(210), 버스(220), 네트워크 인터페이스(230), 메모리(240) 및 데이터베이스(250)를 포함할 수 있다. 메모리(240)는 운영체제(241) 및 서비스 제공 루틴(242)를 포함할 수 있다. 프로세서(210)는 특징 벡터부(211), 분류부(212) 및 디스플레이부(313), 탐색부(314)를 포함할 수 있다. 다른 실시예들에서 주행 정보 제공 시스템(200)은 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 주행 정보 제공 시스템(200)은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.
메모리(240)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(240)에는 운영체제(241)와 서비스 제공 루틴(242)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(240)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(230)를 통해 메모리(240)에 로딩될 수도 있다.
버스(220)는 주행 정보 제공 시스템(200)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(220)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(230)는 주행 정보 제공 시스템(200)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(230)는, 이더넷 카드와 같은 네트워크 인터페이스 카드, 광학 송수신기, 무선 주파수 송수신기, 혹은 정보를 송수신할 수 있는 임의의 다른 타입의 디바이스일 수 있다. 이러한 네트워크 인터페이스들의 다른 예들은 모바일 컴퓨팅 디바이스들 및 USB 내의 블루투스(Bluetooth), 3G 및 WiFi 등을 포함하는 무선기기일 수 있다. 일부 예들에서, 컴퓨팅 디바이스는, 서버, 모바일 폰, 혹은 다른 네트워크화된 컴퓨팅 디바이스와 같은 외부 디바이스와 무선으로 통신하기 위해 네트워크 인터페이스(230)를 사용할 수 있다. 네트워크 인터페이스(230)는 주행 정보 제공 시스템(200)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
데이터베이스(250)는 주행 정보를 제공하기 위하여 필요한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 도 2에서 주행 정보 제공 시스템(200)의 내부에 데이터베이스(250)를 구축하여 포함하는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 시스템 구현 방식이나 환경 등에 따라 생략될 수 있고 혹은 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.
프로세서(210)는 기본적인 산술, 로직 및 주행 정보 제공 시스템(200)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(240) 또는 네트워크 인터페이스(230)에 의해, 그리고 버스(220)를 통해 프로세서(210)로 제공될 수 있다. 프로세서(210)는 특징 벡터부(211), 분류부(212) 및 디스플레이부(213)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(240)와 같은 기록 장치에 저장될 수 있다.
특징 벡터부(211)는 3축 가속도 센서와 영상 정보를 이용하여 다차원의 특징 벡터를 구성할 수 있다. 특징 벡터부(211)는 3축 가속도 센서의 정보외에 영상 정보에 영상 안정화 기술을 적용하여 영상의 수직, 회전 변환에 대한 특징을 추출할 수 있으며, 영역별 수직 히스토그램 및 선형 회귀분석 모델을 활용하여 영상의 흔들림을 보정할 수 있다.
분류부(212)는 다차원의 특징 벡터를 베이지안 분류기를 통하여 주행 이벤트로 분류할 수 있다. 분류부(212)는 베이지안 분류기를 통하여 차선 변경을 포함하는 차체의 좌우 이동 및 과속방지턱을 포함하는 불균일 노면 등으로 분류할 수 있다. 예를 들면, 분류부(212)는 차선 변경 이벤트를 추정할 수 있고, 직진, 좌회전, 우회전, 정지 및 과속방지턱 등으로 분류할 수 있다.
디스플레이부(213)는 분류된 주행 이벤트와 GPS 정보를 융합하여 전체 주행정보에 대한 시각화 지도를 생성할 수 있다. 디스플레이부(213)는 GPS 신호와 베이지안 분류기를 통하여 획득한 주행 이벤트를 지도에 선으로 시각화할 수 있다.
도 3은 일 실시예에 따른 주행 정보 제공 시스템의 주행 정보 제공 방법을 나타낸 흐름도이다.
주행 정보 제공 시스템은 블랙박스에서 수행될 수 있으며, 도 3에서는 블랙박스를 예를 들어 주행 정보를 제공하는 방법을 설명하기로 한다. 주행 정보 제공 시스템은 블랙박스로부터 GPS 정보(311), 영상 정보(312) 및 3축 가속도 센서 값을 획득할 수 있다. 이때, 주행 정보 제공 시스템은 영상 정보에 영상 안정화 기술을 적용시킴으로써 영상의 수직, 회전 변환에 대한 특징을 추출할 수 있게 된다(320). 주행 정보 제공 시스템은 영상 및 센서 데이터를 획득하여 3축 가속도 센서와 영상 안정화 파라미터 값으로 특징 벡터를 생성할 수 있다(330). 주행 정보 제공 시스템은 생성한 특징 벡터로 베이지안 분류기를 사용하여 주행 이벤트를 추정할 수 있고(340), 시각화 지도를 생성할 수 있다(350).
주행 정보 제공 시스템은 아래의 방법에 의하여 주행 이벤트의 추정할 수 있다. 주행 정보 제공 시스템은 샘플 데이터를 수집할 수 있다. 가속도 센서 데이터는 미세한 흔들림에도 민감하게 반응하여 주행 시에 수치가 하나의 값으로 고정되지 않고 진동하며, 연속적인 시계열 데이터의 특징을 보인다. 이러한 특징을 이용하여 시공간상의 모든 시점에 대한 3축 가속도 센서의 특징 벡터를 일정 구간 w에 대해 다음과 같이 정의할 수 있다.
Figure 112015025373718-pat00001
g는 3축 가속도의 각 축(FB, LR, VER)의 값이며, FB는 x축, LR은 y축, VER은 z축에 해당한다. w는 임의의 구간 크기, t는 해당 시간에서의 인덱스, i는 임의 구간에서의 시간의 인덱스이다. N은 샘플 데이터 수를 의미한다. 진동으로 인해 수치가 연속적으로 변화하는 3축 가속도의 신호는 평균과 표준 편차를 이용해 특징화할 수 있다.
블랙박스의 가속도 센서의 샘플링 간격으로는 주행 이벤트 분류에 필요한 샘플 데이터의 수가 충분하지 못하여 정확한 분류가 어려운 문제가 있으므로 선형 보간법 식을 사용하여 샘플링 주파수를 동기화할 수 있다.
Figure 112015025373718-pat00002
Figure 112015025373718-pat00003
는 실측 데이터
Figure 112015025373718-pat00004
와
Figure 112015025373718-pat00005
사이의 임의 시간에 대한 선형보간 값이며, a와 b는 실측 데이터의 시간 인덱스이다.
Figure 112015025373718-pat00006
이며,
Figure 112015025373718-pat00007
,
Figure 112015025373718-pat00008
로 각각
Figure 112015025373718-pat00009
에서
Figure 112015025373718-pat00010
와
Figure 112015025373718-pat00011
까지의 시간차이다. 선형 보간을 통하여 부족한 샘플의 수를 해결하고, 모든 구간에서 가속도계의 특징
Figure 112015025373718-pat00012
,
Figure 112015025373718-pat00013
를 추출할 수 있다.
주행 정보 제공 시스템은 영상 안정화 파라미터를 추출할 수 있다. 노면 상태에 따라 발생하는 차체의 흔들림은 차량 내 탑재된 블랙박스의 영상을 통해 파악할 수 있다. 영상 흔들림을 추정하기 위하여 3축 가속도 외에 영상 안정화 기술을 적용하여 영상의 수직, 회전 변환에 대한 특징을 추출할 수 있따. 주행 정보 제공 시스템에서 사용하는 영상 안정화 기술은 영상에 대해 영역별 수직 히스토그램 및 선형 회귀분석 모델을 활용하여 영상 내 흔들림을 보정할 수 있다.
영역별 수직 히스토그램은 입력 프레임에 대해 컬러 공간 변환 및 이진화를 통한 전처리 후, p 개의 특징화 영상으로 변환하며, 특징화 영상별로 등간격의 하위영역 r로 분할한다. 분할된 모든 하위영역별로 추출된 히스토그램은 다음 프레임에서의 하위영역의 히스토그램과 비교를 통해 하위영역별 수직 매칭 파라미터를 추출한다. 매칭 파라미터의 선형 회귀 분석을 통해 수직변환과 회전변환에 대한 안정화 파라미터를 최종 추출하며, 선형 회귀분석을 위한 근사식은 OLS(Ordinary Least Square)를 사용하여 다음과 같이 정의한다.
Figure 112015025373718-pat00014
Figure 112015025373718-pat00015
는 근사된 선형 회귀모델의 계수 값을 갖는 벡터이며,
Figure 112015025373718-pat00016
와
Figure 112015025373718-pat00017
는 각각 수직 이동 변환과 회전 변환을 근사하는 파라미터이다. 흔들림을 보정하기 위해 영상의 수직 및 회전 변환에 대한 파라미터값의 표준편차
Figure 112015025373718-pat00018
,
Figure 112015025373718-pat00019
를 특징으로 사용한다.
도 4는 영상 안정화 파라미터의 표준편차 값을 나타낸 그래프이며, 수직과 회전의 격차가 커 가독성을 위해 로그스케일로 표기하였다. 이때, 각각의 주행정보는(좌회전(L), 우회(R), 직진(F), 정지(S), 과속방지턱(SB)의 영상 안정화 파라미터 표준 편차(
Figure 112015025373718-pat00020
,
Figure 112015025373718-pat00021
)로 표기하였다. 이때, 수직 흔들림에 대한 영상 안정화 파라미터로 큰 차이를 보이지 않는, L, R, F의 주행구간과는 달리, S 및 SB의 주행구간에는 명확한 차이를 보인다. 영상의 변화가 매우 적은 S의 수직 및 회전변환 파라미터가 모두 0인 반면, 수직으로 큰 흔들림이 발생하는 SB에서는 수직 파라미터의 값이 높게 측정되었다.
도 5는 각 주행 이벤트에 대한 특징곤간 대표 값을 나타낸 것으로, 기호는 각 주행 이벤트(L, R, F, S, SB)로 좌회전, 우회전, 직진, 정지 및 과속방지턱을 나타내고, 각각의 색상은 특징공간(
Figure 112015025373718-pat00022
)의 각 축을 나타낸 것이다. 일정구간 w는 학습데이터의 전체 영역이다. 각 차원의 특징에 따라 특정 이벤트 판별에 적합한 특징 공간을 형성할 수 있다. 예를 들면,
Figure 112015025373718-pat00023
은 (L, R, SB) 및 그 외(F, S)의 이벤트 판별에,
Figure 112015025373718-pat00024
는 및 (S, SB)의 이벤트 판별에
Figure 112015025373718-pat00025
는 S와 그 외의 이벤트 판별에 적절한 투영공간을 보인다.
주행 이벤트 분류를 위한 베이지안 분류기는 기본적인 베이지안 추론을 전제로 할 수 있으며, 각 샘플 데이터는 n 차원의 특징 벡터를 가지고 있으며 이벤트별 사후 확률을 측정하여 전체 샘플 데이터에 대해 분류를 수행하게 된다. 각 특징은 특징의 평균 m과 표준편차 s로 표기한다. 분류를 위한 베이지안 수식은 다음과 같다.
Figure 112015025373718-pat00026
Figure 112015025373718-pat00027
는 각 주행 이벤트에 대한 학습 데이터의 평균 및 표준편차로 구성되며, i는 분류할 주행 이벤트 {L, R, F, S, SB}의 클래스로 나타낸다. 사전확률
Figure 112015025373718-pat00028
는 15개의 영상에서 획득된 총 데이터 량에 각 이벤트가 차지하는 비율이다. 5개의 분류기준은 같은 베이지안 추론식을 갖기 때문에 최종적으로 다음과 같은 분류기로 정의할 수 있다.
Figure 112015025373718-pat00029
Figure 112015025373718-pat00030
는 최대 사후 확률 값을 가진 추정된 주행 이벤트를 의미할 수 있다.
주행 정보 제공 시스템은 베이지안 분류기로 분류한 주행 이벤트가 차선 변경 및 노면 불량으로 인한 흔들림으로 직진을 좌, 우회전으로 분류하는 오류가 발생할 수 있다. 이러한 오분류가 발생하는 직진 구간에
Figure 112015025373718-pat00031
는 보통의 직진 구간에서의 값보다 높게 나타나는 경향을 보인다. 하지만 일반적인 좌, 우회전에서 나타나는
Figure 112015025373718-pat00032
보다는 낮은 특성을 보이기 때문에, 직진 구간의 분류 결과가 좌회전 또는 우회전으로 분류된 샘플에 대해서는 다음과 같은 임계값 보정을 통하여 오분류 보정을 실시할 수 있다.
Figure 112015025373718-pat00033
정지의 안정화 파라미터 값이 수직, 회전 모두 0으로 베이지안 분류기를 통한 분류가 불가능하여, 다음과 같은 샘플의 안정화 파라미터 값을 통해 정지 이벤트를 추정할 수 있다.
Figure 112015025373718-pat00034
주행 정보 제공 시스템은 주행 이벤트 재구성을 위하여 블랙 박스의 GPS 신호와 베이지안 분류기를 통하여 획득한 주행 이벤트를 지도에 선으로 시각화할 수 있다. GPS 정보는 가속도 센서 데이터와의 샘플링 주파수 동기화를 위하여 식(3)을 이용한 선형 보간을 수행할 수 있다. GPS 신호는 지도에 표현하기 위하여 월드좌표계에서 다음과 같은 식을 통하여 지도 좌표계로 변환할 수 있다.
Figure 112015025373718-pat00035
Figure 112015025373718-pat00036
은 GPS 실측 데이터이며,
Figure 112015025373718-pat00037
는 임의의 추가 간격,
Figure 112015025373718-pat00038
는 지도에 좌표를 생성하는 간격이다. x, y는 변환된 지도 좌표이다. GPS 좌표는 소수점 밑 6자리까지 표현되므로, 정수형 지도좌표로의 변환을 위해 106배 스케일할 수 있다.
일 실시예에 따른 주행 정보 제공 시스템은 3축 가속도 센서와 영상 안정화 파라미터를 이용한 특징 벡터를 생성하여 베이지안 분류기를 통해 총 5가지의 주행 이벤트에 대해 분류할 수 있고, 주행 이벤트를 GPS 정보와 융합하여 1개의 선으로 표현된 시각화 지도로 재구성할 수 있다. 재구성된 지도는 블랙박스에 담긴 주행 이벤트를 요약하여 단시간에 영상의 전체적인 동선 및 특징 이벤트 발생지를 파악하기 용이하다. 또한, 주행 정보 제공 시스템은 GPS로는 파악할 수 없는 직진 구간 내에서의 차선변경과 같은 이벤트도 추정할 수 있다. 이와 같이 다양한 주행 정보에 대한 데이터 수집을 통하여 블랙박스 내의 센서와 주행 정보 제공 시스템의 기술을 이용하여 노면 불량, 출동 등의 추가적인 이벤트 분류와 난폭, 졸음 운전 등 운전자의 운전 패턴도 분류할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (6)

  1. 주행 정보를 제공하는 방법에 있어서,
    3축 가속도 센서와 영상정보를 이용하여 다차원의 특징 벡터를 구성하는 단계;
    상기 다차원의 특징 벡터를 베이지안 분류기를 통하여 주행 이벤트로 분류하는 단계; 및
    상기 분류된 주행 이벤트와 GPS 정보를 융합하여 전체 주행정보에 대한 시각화 지도를 생성하여 출력하는 단계
    를 포함하고,
    상기 3축 가속도 센서와 상기 영상정보를 이용하여 다차원의 특징 벡터를 구성하는 단계는,
    상기 3축 가속도 센서의 정보외에 상기 영상정보에 영상 안정화 기술을 적용하여 영상의 수직, 회전 변환에 대한 특징을 추출하는 단계
    를 포함하고,
    상기 영상 안정화 기술은,
    영역별 수직 히스토그램 및 선형 회귀분석 모델을 활용하여 상기 영상의 흔들림을 보정하는 것
    을 특징으로 하는 주행 정보 제공 방법.
  2. 제1항에 있어서,
    상기 분류된 주행 이벤트와 상기 GPS 정보를 통하여 주행정보의 시각화 인터페이스를 제공하는 단계
    를 더 포함하는 주행 정보 제공 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 다차원의 특징 벡터를 상기 베이지안 분류기를 통하여 주행 이벤트로 분류하는 단계는,
    상기 베이지안 분류기를 통하여 차선 변경 이벤트를 추정하고, 차선 변경을 포함하는 차체의 상하좌우이동 및 과속방지턱을 포함하는 불균일 노면으로 분류하는 단계
    를 포함하는 주행 정보 제공 방법.
  5. 제1항에 있어서,
    상기 분류된 주행 이벤트와 GPS 정보를 융합하여 전체 주행정보에 대한 시각화 지도를 생성하여 출력하는 단계는,
    상기 GPS 정보와 상기 베이지안 분류기를 통하여 획득한 주행 이벤트를 지도에 선으로 시각화하는 단계
    를 포함하는 주행 정보 제공 방법.
  6. 주행 정보를 제공하는 시스템에 있어서,
    3축 가속도 센서와 영상정보를 이용하여 다차원의 특징 벡터를 구성하는 특징 벡터부;
    상기 다차원의 특징 벡터를 베이지안 분류기를 통하여 주행 이벤트로 분류하는 분류부; 및
    상기 분류된 주행 이벤트와 GPS 정보를 융합하여 전체 주행정보에 대한 시각화 지도를 생성하여 출력하는 디스플레이부
    를 포함하고,
    상기 특징 벡터부는,
    상기 3축 가속도 센서의 정보외에 상기 영상정보에 영상 안정화 기술을 적용하여 영상의 수직, 회전 변환에 대한 특징을 추출하는 것
    을 포함하고,
    상기 영상 안정화 기술은,
    영역별 수직 히스토그램 및 선형 회귀분석 모델을 활용하여 상기 영상의 흔들림을 보정하는 것
    을 특징으로 하는 주행 정보 제공 시스템.
KR1020150035947A 2015-03-16 2015-03-16 멀티센서를 이용한 주행 이벤트 분류 및 주행 정보 시각화 KR101643089B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150035947A KR101643089B1 (ko) 2015-03-16 2015-03-16 멀티센서를 이용한 주행 이벤트 분류 및 주행 정보 시각화

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150035947A KR101643089B1 (ko) 2015-03-16 2015-03-16 멀티센서를 이용한 주행 이벤트 분류 및 주행 정보 시각화

Publications (1)

Publication Number Publication Date
KR101643089B1 true KR101643089B1 (ko) 2016-07-28

Family

ID=56681780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150035947A KR101643089B1 (ko) 2015-03-16 2015-03-16 멀티센서를 이용한 주행 이벤트 분류 및 주행 정보 시각화

Country Status (1)

Country Link
KR (1) KR101643089B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376664A (zh) * 2018-10-29 2019-02-22 百度在线网络技术（北京）有限公司 机器学习训练方法、装置、服务器和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080025685A (ko) * 2005-07-01 2008-03-21 사이당 호징 니혼지도샤 겐 규쇼 드라이빙 리코더
KR20140067604A (ko) * 2012-11-27 2014-06-05 경기대학교 산학협력단 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR101416899B1 (ko) * 2013-03-07 2014-07-08 (주)디텍씨큐리티 블랙박스 정보 영상 변환 장치 및 방법
KR20140132979A (ko) * 2013-05-09 2014-11-19 현대자동차주식회사 도로의 노면 상태 감지시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080025685A (ko) * 2005-07-01 2008-03-21 사이당 호징 니혼지도샤 겐 규쇼 드라이빙 리코더
KR20140067604A (ko) * 2012-11-27 2014-06-05 경기대학교 산학협력단 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR101416899B1 (ko) * 2013-03-07 2014-07-08 (주)디텍씨큐리티 블랙박스 정보 영상 변환 장치 및 방법
KR20140132979A (ko) * 2013-05-09 2014-11-19 현대자동차주식회사 도로의 노면 상태 감지시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376664A (zh) * 2018-10-29 2019-02-22 百度在线网络技术（北京）有限公司 机器学习训练方法、装置、服务器和介质

Similar Documents

Publication Publication Date Title
US10417816B2 (en) System and method for digital environment reconstruction
Sattar et al. Road surface monitoring using smartphone sensors: A review
US10540554B2 (en) Real-time detection of traffic situation
EP3441909B1 (en) Lane detection method and apparatus
US10043084B2 (en) Hierarchical context-aware extremity detection
US10810754B2 (en) Simultaneous localization and mapping constraints in generative adversarial networks for monocular depth estimation
JP7367938B2 (ja) デバイスメッセージフレームワーク
CN110088762B (zh) 用傅立叶风扇进行的对象检测和分类
EP3443482B1 (en) Classifying entities in digital maps using discrete non-trace positioning data
KR20180074568A (ko) 차선 정보를 추정하는 방법 및 전자 장치
CN111127584A (zh) 建立视觉地图的方法和装置、电子设备和存储介质
EP4211594A1 (en) Mobile device and system for identifying and/or classifying occupants of a vehicle and corresponding method thereof
JP5895728B2 (ja) 車群管理装置
US11113583B2 (en) Object detection apparatus, object detection method, computer program product, and moving object
KR101643089B1 (ko) 멀티센서를 이용한 주행 이벤트 분류 및 주행 정보 시각화
KR102115566B1 (ko) 드론 포렌식 기반의 이동 정보 표시 장치 및 방법
CN112651535A (zh) 局部路径规划方法、装置、存储介质、电子设备及车辆
Pȩszor et al. Optical flow for collision avoidance in autonomous cars
Liu et al. 1 MobileUTDrive: A portable device platform for in-vehicle driving data collection
JP7429246B2 (ja) 対象を識別する方法とシステム
CN116503789B (zh) 融合轨迹和尺度的公交下车客流检测方法、系统及设备
EP4357872A1 (en) Information-generating method, information-generating device, and program
WO2020073270A1 (en) Snapshot image of traffic scenario
WO2020073271A1 (en) Snapshot image of traffic scenario
WO2020073268A1 (en) Snapshot image to train roadmodel

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant