KR102074902B1 - 차량용 영상 기록시스템의 제어장치 및 방법 - Google Patents

차량용 영상 기록시스템의 제어장치 및 방법 Download PDF

Info

Publication number
KR102074902B1
KR102074902B1 KR1020180142821A KR20180142821A KR102074902B1 KR 102074902 B1 KR102074902 B1 KR 102074902B1 KR 1020180142821 A KR1020180142821 A KR 1020180142821A KR 20180142821 A KR20180142821 A KR 20180142821A KR 102074902 B1 KR102074902 B1 KR 102074902B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
driving state
state information
event information
Prior art date
Application number
KR1020180142821A
Other languages
English (en)
Inventor
김종옥
Original Assignee
(주)큐알온텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)큐알온텍 filed Critical (주)큐알온텍
Priority to KR1020180142821A priority Critical patent/KR102074902B1/ko
Application granted granted Critical
Publication of KR102074902B1 publication Critical patent/KR102074902B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/02—Registering or indicating driving, working, idle, or waiting time only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

본 기술은 차량용 영상 기록시스템의 제어장치 및 제어방법이 개시된다. 본 발명의 구체적인 예에 따르면, 상시 또는 간헐적으로 공급되는 자료에 대해 모사된 결과를 모델로 구축하고 이 후 입력되는 감지 신호에 대해 구축된 모델을 이용하여 학습을 수행하며 학습 결과에 따라 주행 상태정보 및 이벤트 정보를 예측함에 따라, 주행 상태정보에 의해 실시간으로 차량 제어가 가능하여 차량의 안정성을 더욱 확보할 수 있고, 이벤트 정보에 의해 고해상도의 주행 도로의 고해상도 영상 획득이 가능하여 사고에 대한 원인 규명을 실시간으로 수행할 수 있고, 도출된 주행 상태정보 및 이벤트 정보에 도로의 환경 정보에 따라 가중치를 부여함에 따라, 주행 상태정보 및 이벤트 정보에 대한 정확성을 더욱 확보할 수 있다.

Description

차량용 영상 기록시스템의 제어장치 및 방법{APPARATUS FOR CONTROLLING VIDEO RECORDING SYSTEM USING VEHICLE AND METHOD THEREOF}
본 발명은 차량용 영상 기록시스템의 제어장치 및 방법에 관한 것으로서, 보다 상세하게는 기 구축된 모델을 이용한 학습을 통해 차량 및 카메라, 스피커, 및 메모리를 제어할 수 있는 기술에 관한 것이다.
차량 등의 운행 중에는 신호위반이나 중앙선 침범, 충돌 및 접촉사고 등으로 인한 사고로 막대한 물적, 인적 피해가 발생시 목격자가 없는 경우, 사고 발생시 증명할 자료가 없고, 사고에 대한 확실한 상황파악이 불가능한 경우에 피해자가 가해자로 바뀌거나 상대방 과실임에도 불구하고 쌍방과실로 불이익을 당하는 사례들이 늘고 있다.
이러한 문제들을 해결하고자 근래에는 차량에도 블랙박스를 장착하는 사례가 늘고 있으며, 세계적으로도 차량용 블랙박스의 표준화를 준비하고 있는 실정이다.
국내에서는 블랙박스의 표준으로 KSR 5078를 규격화하고 있으며, 미국의 경우는 HVEDR를 규격화하여 실시하고 있다.
차량의 블랙박스의 경우, 다양한 기술들이 축적되어 있지만 기본적으로는 외부 충격을 어떠한 방식으로 감지할 것인지, 충격이나 기타 주변상황을 어떻게 촬영하고 기록하고 관리할 것인지가 기본 기능으로 탑재되어 있다.
외부로부터의 충격을 감지하는 방식으로는 주로 Gravity 센서, 자이로 센서 또는 충격센서를 이용하는 경우가 대표적이며, 이를 X,Y축 또는 X,Y,Z축으로 구분하여 각 방향에서의 충격을 감지하여 분석하고 있다.
그러나, 센서가 인식하는 물리량은 외부로부터의 충격만 있는 것이 아니라 오프로드나 과속방지턱 또는 예측되지 않은 장애물에 의한 주행에서도 발생할 수 있으나 센서 자체가 이러한 것들까지 인식하여 사고로 판단할 수 없어 충격 감지에 대한 오동작의 문제가 자주 발생된다.
1. 한국등록특허 제 10-1088797(발명의 명칭: 학습에 의해 충격 오작동을 방지하는 블랙박스 어플리케이션이 내장된 휴대폰 및 그 방법)
본 발명은 실시간으로 차량 제어가 가능하여 차량의 안정성을 근본적으로 확보할 수 있고, 사고에 대한 원인 규명을 실시간으로 수행할 수 있는 차량용 영상 기록시스템의 제어장치 및 제어방법을 제공하는 것을 일 목적으로 한다.
또한 본 발명은 도출된 주행 상태정보 및 이벤트 정보에 대한 정확성을 더욱 확보할 수 있는 차량용 영상 기록시스템의 제어장치 및 제어방법을 제공하는 것을 다른 목적으로 한다.
전술한 목적을 달성하기 위해 제안된 본 발명의 일 측면은
다수의 카메라 및 마이크를 통해 수집된 영상 및 오디오를 처리하여 메모리에 기록하고 경고 메시지를 스피커를 통해 탑승자에게 전달하는 차량용 영상 기록 시스템에 있어서,
상기 차량용 영상 기록시스템은,
차량의 소정 위치에 마련된 다수의 센서로부터 제공된 감지 신호를 토대로 고해상도의 영상을 획득하기 위해 다수의 카메라의 영상 프레임, 화각 및 위치를 제어하는 이벤트 정보를 생성하고, 캔 통신 등을 통해 제공받은 차량 상태 정보를 토대로 차량을 제어하는 주행 상태정보를 생성하는 제어장치를 포함하고,
상기 제어장치는, 상시 또는 간헐적으로 수집되는 자료에 대해 기 정해진 분석 알고리즘을 토대로 분석한 다음 모사하여 차량을 제어하는 주행 상태정보와 다수의 카메라를 제어하는 이벤트 정보를 생성하고 생성된 주행 상태정보 및 이벤트 정보를 수집된 자료에 매칭시켜 저장하는 모델 구축부; 차량의 소정 위치에 마련된 다수의 센서로부터 제공된 감지 신호를 수신하는 수신부; 구축된 모델을 이용하여 수신된 감지 신호에 대해 학습 수행하고 학습 결과로 주행 상태정보 및 이벤트 정보를 도출하며 도출된 주행 상태정보 및 이벤트 정보를 차량 및 영상 기록 시스템에 각각 전달하는 학습 수행부를 더 포함하는 것을 일 특징으로 한다.
바람직하게 상기 자료는, 마이크로부터 제공된 오디오정보(MIC), GPS 수신기로부터 제공된 GPS 위치정보(GPS), 차량의 소정 위치에 마련된 다수의 충격센서로부터 제공된 충격 감지정보(G), 기 저장된 지도정보(MAP)와, 캔 통신 등을 통해 제공받은 차량상태정보(OBU: On Board Unit), 차량의 소정 위치에 마련된 레이더 센서 및 라이더센서와 카메라를 통해 수집된 영상으로부터 제공된 ADAS(Advanced Driver Assistance System)정보, 및 주행 중인 도로의 신호등 및 교통량 등을 포함하는 교통정보 중 적어도 하나로 구비될 수 있다.
바람직하게 상기 주행 상태정보는, 차량의 제동 제어, 시동 제어, 전조등 제어, 핸들 제어, 차속 제어 중 적어도 하나로 구비될 수 있고, 상기 이벤트 정보는 다수의 카메라의 위치, 화각 및 영상프레임 제어, 스피커의 동작 제어, 및 메모리의 영상 및 음성 저장 제어 중 적어도 하나로 구비될 수 있으며, 상기 이벤트 정보는, 차량 상태 정보와 연동하여 생성되도록 구비될 수 있다.
바람직하게 상기 제어장치는, 수신된 주행 상태정보 및 이벤트 정보 각각에 대해 외부로부터 제공되는 환경 정보에 따라 가중치를 생성하고, 가중치가 부여된 주행 상태정보 및 이벤트 정보로 차량 및 카메라를 제어하는 가중치 생성부를 더 포함할 수 있다.
본 발명의 다른 양태에 따른 차량용 영상 기록시스템의 제어 방법은,
차량의 소정 위치에 마련된 다수의 센서로부터 제공된 감지 신호를 토대로 고해상도의 영상을 획득하기 위해 다수의 카메라의 영상 프레임, 화각 및 위치를 제어하는 이벤트 정보를 생성하고, 캔 통신 등을 통해 제공받은 차량 상태 정보를 토대로 차량을 제어하는 주행 상태정보를 생성하도록 구비된 차량용 영상 기록시스템의 제어 방법에 있어서,
차량용 영상 기록시스템의 제어방법은,
상시 또는 간헐적으로 수집되는 자료에 대해 기 정해진 분석 알고리즘을 토대로 분석한 다음 모사하여 차량을 제어하는 주행 상태정보와 다수의 카메라를 제어하는 이벤트 정보를 생성하고 생성된 주행 상태정보 및 이벤트 정보를 수집된 자료에 매칭시켜 저장하는 모델 구축단계; 차량의 소정 위치에 마련된 다수의 센서로부터 제공된 감지 신호를 수신하는 수신단계; 구축된 모델을 이용하여 수신된 감지 신호에 대해 학습 수행하고 학습 결과로 주행 상태정보 및 이벤트 정보를 도출하며 도출된 주행 상태정보 및 이벤트 정보를 차량 및 영상 기록 시스템에 각각 전달하는 학습단계를 포함하고, 수신된 주행 상태정보 및 이벤트 정보 각각에 대해 외부로부터 제공되는 환경 정보에 따라 가중치를 생성하고, 가중치가 부여된 주행 상태정보 및 이벤트 정보로 차량 및 카메라를 제어하는 가중치 생성단계를 더 포함하는 것을 특징으로 한다.
전술한 바와 같은 구성의 본 발명에 의하면, 상시 또는 간헐적으로 공급되는 자료에 대한 모사 결과에 대해 모델을 구축한 다음 구축된 모델을 이용하여 수신된 감지 신호에 대해 학습을 수행하며, 학습 결과에 따라 주행 상태정보 및 이벤트 정보를 도출함에 따라, 실시간으로 차량 제어가 가능하여 차량의 안정성을 근본적으로 확보할 수 있고, 주행 중인 도로의 고해상도 영상 획득이 가능하여 사고에 대한 원인 규명을 실시간으로 수행할 수 있다.
또한, 도출된 주행 상태정보 및 이벤트 정보에 도로의 환경 정보에 따라 가중치를 부여함에 따라 도출된 주행 상태정보 및 이벤트 정보에 대한 정확성을 더욱 확보할 수 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 실시 예에 따른 차량용 영상 기록 시스템의 구성도이다.
도 2는 본 실시 예의 시스템의 제어장치의 세부적인 구성도이다.
도 3은 본 다른 실시 예의 시스템의 동작 과정을 설명하는 전체 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
본 실시 예는 복잡한 교통 상황에 대해 실시간으로 대처하기 위해 주어진 상태 및 행동 공간 그리고, 팩터(factor) 값을 테이블 값으로 저장하여 모델을 구축한 다음 구축된 모델을 이용하여 자신과 환경과의 상호관계와 이에 따른 강화(향상) 신호를 통하여 적절한 행동을 획득하는 다양한 기계 학습법이 필요하다.
이러한 기계 학습법은 복잡한 물리적 현상을 인과적 규칙에 의거하여 수학적 방정식으로 모사할 수 있으므로, 시스템들의 미래 상태를 예측하고, 평가하기 위한 결정적 예측 도구이다.
이에 본 실시 예는 수집된 다양한 감지 신호에 대한 모사를 통해 기 구축된 모델을 이용하여 수신된 감지 신호에 대한 학습을 수행하고 학습 결과에 따라 주행 상태 정보 및 이벤트 정보를 생성하도록 구성된다, 여기서, 주행 상태정보는 차량의 주행과 연관된 제어들, 예를 들어 차량의 제동 제어, 핸들 제어, 속도 제어, 및 전조등 제어 등이고, 이벤트 정보는 차량의 영상 기록 시스템과 연관된 제어들, 일 례로 다수의 카메라, 메모리, 및 스피커 제어 등이다.
이하에서는, 도면을 참조하여 본 발명의 기술적 특징을 상세히 설명한다.
도 1은 본 실시 예가 적용되는 차량용 영상 기록시스템의 구성을 보인 도면으로서, 도 1에 도시된 바와 같이 본 실시 예의 차량용 영상 기록시스템은 다수의 카메라 및 마이크를 통해 수집된 영상 및 오디오를 처리하여 메모리에 기록하고 경고 메시지를 스피커를 통해 탑승자에게 전달하는 제어장치(100)를 포함한다.
또한 제어장치(100)는 차량의 소정 위치에 마련된 다수의 센서로부터 제공된 감지 신호를 토대로 고해상도의 영상을 획득하기 위해 다수의 카메라의 영상 프레임, 화각 및 위치를 제어하는 이벤트 정보를 생성하고, 캔 통신 등을 통해 제공받은 차량 상태 정보를 토대로 차량을 제어하는 주행 상태정보를 생성하도록 구비될 수 있다.
본 실시 예의 도 1에 도시된 제어장치(100)는 카메라, 스피커, 및 메모리와 차량을 제어하기 위한 실시 예로 본 실시 예와 관련된 구성요소들만 이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
여기서 제어장치(100)는 마이크로부터 제공된 오디오정보(MIC), GPS 수신기로부터 제공된 GPS 위치정보(GPS), 차량의 소정 위치에 마련된 다수의 충격센서로부터 제공된 충격 감지정보(G), 기 저장된 지도정보(MAP)와, 캔 통신 등을 통해 제공받은 차량상태정보(OBU: On Board Unit), 차량의 소정 위치에 마련된 레이더 센서 및 라이더센서와 카메라를 통해 수집된 영상으로부터 제공된 ADAS(Advanced Driver Assistance System)정보, 및 주행 중인 도로의 신호등 및 교통량 등을 포함하는 교통정보 등을 포함하는 자료를 상시 또는 간헐적으로 수신한다.
이에 제어장치(100)는 상기 또는 간헐적으로 수신한 자료들을 토대로 모델을 구축한 다음 외부로부터 공급되는 감지 신호에 대해 구축된 모델을 이용하여 학습을 수행한 후 차량을 제어하기 위한 주행 상태정보와 카메라, 스피커 및 메모리를 제어하기 위한 이벤트 정보를 생성하도록 구비될 수 있다.
이에 도 2는 도 1에 도시된 제어 장치(100)의 세부적인 구성을 보인 도면으로서, 도 2에 도시된 바와 같이, 제어 장치(100)는 모델 구축부(110), 수신부(120), 학습 수행부(130), 및 가중치 생성부(140)를 포함할 수 있다.
모델 구축부(110)는 오디오정보(MIC), GPS 위치정보(GPS), 충격 감지정보(G), 지도정보(MAP)와, 차량상태정보(OBU: On Board Unit), ADAS(Advanced Driver Assistance System)정보, 및 교통정보를 수신한다.
또한, 본 실시 예에서 오디오정보(MIC), GPS 위치정보(GPS), 충격 감지정보(G), 지도정보(MAP)와, 차량상태정보(OBU: On Board Unit), ADAS(Advanced Driver Assistance System)정보, 및 교통 정보 중 충격 감지정보(G), 오디오정보(MIC), 및 ADAS(Advanced Driver Assistance System)정보를 일례로 설명하고 있으며 이에 한정하지 아니한다.
이에 모델 구축부(110)는 수신된 오디오정보(MIC), GPS 위치정보(GPS), 충격 감지정보(G), 지도정보(MAP), 차량상태정보(OBU: On Board Unit), ADAS(Advanced Driver Assistance System)정보, 교통정보 등을 제공받아 모델을 구축한다.
모델을 구축하기 위해 우선 모델 구축부(110)는 오디오 (MIC), GPS 위치정보(GPS), 충격 감지정보(G), 지도정보(MAP), 차량상태정보(OBU: On Board Unit), ADAS(Advanced Driver Assistance System)정보, 및 교통정보 등을 포함하는 입력 자료를 수집하여 저장한 다음 기 정해진 알고리즘을 통해 각각 분석한다.
모델 구축부(110)는 획득된 자료에 대해 주파수 성분 분석, 시간에 따른 변화율 분석 신호 처리를 수행할 수 있고, 이러한 주파수 성분 및 시간 변화율 분석 신호 처리는 노이즈 제거, 푸리에, 라플라스, 옥타브 밴드 레벨(Octave Band Levels), 샤프니스, 러프니스, 엔벨로프, 기저크기, 토날리티, 변동강도(Fluctuation Strength), 댐핑(Damping), 고유진동수(Natural Frequency) 분석 등의 알고리즘을 토대로 수행된다.
예를 들어, 모델 구축부(110)는 3차원 X, Y, 및 Z 축 각각에 대한 모든 충격 신호와 모든 X, Y, 및 Z 축 충격 신호값에 대해 러프니스 및 엔벨로프 분석을 수행하여 X, Y, 및 Z 축 충격 신호값 별 차체의 충격 위치와 충격 크기를 도출한다.
여기서 도출된 X, Y, 및 Z 축 충격 신호값에 대해 기 정해진 러프니스 및 엔벨로프 분석을 통해 충격 위치 및 충격 크기를 도출하는 일련의 과정은 널리 알려진 공지의 기술이다.
그리고 모델 구축부(110)는 차체의 충격 위치로 카메라의 위치 및 화각을 제어하는 이벤트 정보를 모사하고 모사된 카메라 위치 및 화각을 포함하는 이벤트 정보를 X, Y, 및 Z 축 충격 신호값에 매칭시켜 저장한다.
여기서 이벤트 정보는 차체의 충격 위치 및 충격 크기에 따라 카메라의 화각 및 위치 조정값, 주차 중 이동하는 물체에 대해 화면의 프레임을 설정하는 일련의 과정은 본 출원인에 의해 기 출원된 바 있으므로 이에 대한 구체적인 설명은 생략한다.
한편, 모델 구축부(110)는 마이크를 통해 제공받은 모든 오디오(MIC)에 대해 음폭 및 고유 진동수의 분석 결과에 식별 코드를 부여하고 식별 코드에 매칭시켜 음폭 및 고유 진동수를 저장할 수 있다.
또한, 모델 구축부(110)는 카메라, 레이더, 및 라이더 센서로부터 상시 또는수집된 간헐적으로 제공받은 모든 감지 신호값에 대해 R-CNN(Region Convolutional Neural Network) 계열 딥러닝 모델과 Grid 기반 딥러닝 모델을 이용하여 주행도로의 보행자검출, 전방차량검출, 차선검출, 이동물체감지 등을 모사하고, 모사 결과에 따른 주행도로의 보행자검출, 전방차량검출, 차선검출, 이동물체감지 등을 포함하는 ADAS 정보의 오브젝트를 감시 신호값에 매칭시켜 저장한다.
이 후 수신부(120)는 오디오정보(MIC), GPS 위치정보(GPS), 충격 감지정보(G), 지도정보(MAP), 차량상태정보(OBU: On Board Unit), ADAS(Advanced Driver Assistance System)정보, 교통정보 중 적어도 하나의 감지 신호를 수신하여 정형화 및 노이즈 성분을 제거한 다음 학습 수행부(130)로 전달한다.
이에 학습 수행부(130)는 수신부(120)의 감지 신호에 대해 구축된 모델을 토대로 학습을 수행하며 학습 결과에 따라 주행 상태정보 및 이벤트 정보를 예측하고 예측된 주행 상태정보 및 이벤트 정보를 도출한다. 상기 이벤트 정보는, 차량 상태 정보와 연동하여 생성될 수 있다.
한편, 제어장치(100)는 학습 수행부(130)에서 도출된 주행 상태정보 및 이벤트 정보에 대해 외부로부터 공급되는 환경 정보에 따라 가중치를 도출하고 도출된 가중치를 주행 상태정보 및 이벤트 정보에 부여하는 가중치 생성부(140)를 더 포함할 수 있다.
그리고 제어장치(100)의 가중치 생성부(120)는 예측된 주행 상태정보 및 이벤트 정보 각각에 대해 외부로부터 공급되는 환경 정보에 따라 가중치를 생성하고 생성된 가중치를 수신된 주행 상태정보 및 이벤트 정보에 반영한다.
여기서, 가중치는 주행 상태정보 및 이벤트 정보와 환경 정보 간의 상관도를 통계학적 분석을 통해 도출되며, 도출된 상관도에 따라 가중치를 생성하고 생성된 가중치를 주행 상태정보 및 이벤트 정보에 각각 부여한다.
예를 들어 차량 제동 제어에 대한 주행 상태정보는 주행 도로의 날씨에 따라 제동 거리가 결정되므로 가중치 생성부(140)는 결정된 제동 거리를 기초로 차량 제동 제어를 수행하기 위해 주행 상태정보의 가중치를 결정하고, 결정된 가중치를 수신된 주행 상태정보에 부여한다.
이에 본 실시 예는 상시 또는 간헐적으로 수집된 복수의 자료를 토대로 모델을 구축하고, 수신된 감지 신호에 대해 기 구축된 모델을 토대로 학습을 수행하여 주행 상태정보 및 이벤트 정보를 도출한다.
이에 학습 결과 및 가중치를 토대로 주행 상태정보에 의해 차량은 제동 제어, 핸들 제어, 속도 제어, 및 전조등 제어가 수행되고, 카메라, 스피커, 및 메모리는 가중치가 부여된 이벤트 정보에 의거 조정된다.
따라서, 차량은 수신된 감지 신호에 따라 도출된 주행 상태정보에 의거 제동 제어, 전조등 제어, 핸들 제어, 속도 제어, 시동 제어 등을 수행하고 카메라는 이벤트 정보에 의해 카메라의 영상 프레임, 화각 및 위치를 조정한 다음 카메라를 통해 수신된 영상을 메모리에 저장하고 스피커를 통해 경고 메시지를 출력한다
예를 들어, 수신부(120)로부터 제공된 X, Y, 및 Z 축 충격 신호값은 학습 수행부(130)로 전달하고, 이에 학습 수행부(130)는 입력된 X, Y, 및 Z 축 충격 신호값에 대해 모델 구축부(110)의 모델을 이용하여 학습을 수행하고, 수신된 X, Y, 및 Z 축 충격 신호값에 대한 이벤트 정보를 독출하며, 독출된 이벤트 정보에 외부 환경 정보에 따라 생성된 가중치를 부여한 다음 다수의 카메라로 전달하고, 카메라는 수신된 이벤트 정보에 따라 영상 프레임, 화각 및 위치를 조정한다.
이 후 카메라를 통해 수신된 영상은 이벤트 정보에 의해 메모리에 저장되고, 이벤트 정보에 경고 메시지가 포함된 경우 스피커는 경고 메시지를 출력한다. 이에 이에 본 실시 예는 실시간으로 고해상도의 영상을 획득함에 따라 사고의 규명 시간을 단축할 수 있다.
한편, 학습 수행부(130)는 수신부(120)를 통해 입력된 오디오의 음폭 및 고유 진동수와 매칭되는 승객 식별이 실시간으로 가능하다.
한편, 학습 수행부(130)는 수신부(120)의 감시 신호값에 대해 구축된 모델을 이용하여 학습 수행하고 학습 결과에 따라 수신된 감시 신호값과 매칭되는 ADAS 정보의 오브젝트를 독출한다. 도출된 ADAS 정보의 오브젝트에 따라 차량 및 카메라, 스피커, 메모리가 제어된다. 예를 들어, 독출된 오브젝트가 보행자 검출인 경우 학습 수행부(130)는 차량의 제동 제어를 수행하기 위한 주행 상태정보와 카메라의 위치 및 화각 조정, 및 경고 메시지 생성 등 이벤트 정보를 생성한다. 그리고 생성된 차량의 주행 상태정보에 따라 차량은 제동 제어되고 카메라는 이벤트 정보에 의거 위치 및 화각을 조정한다. 이 후 카메라를 통해 수집된 영상은 메모리에 기록된다.
본 실시 예는 독출된 오브젝트가 보행자 검출을 예를 들어 설명하고 있으나 보행자검출, 전방차량검출, 차선검출, 이동물체감지 등을 포함하는 모든 ADAS 정보의 오브젝트에 대해 차량 및 전장품을 실시간으로 제어할 수 있으며, 이에 한정하지 아니한다.
본 실시 형태에서는 모델 구축부(110), 학습 수행부(130)이 차량의 영상 기록시스템 내에 탑재되는 경우를 일 례로 설명하고 있으나, 이들의 구성 중 하나 또는 복수의 구성이 다른 부재나 관리 장치에 의거 실행되어도 되고 하나의 장치로서 통합 구성될 수 있다.
이에 본 실시 예에 의거, 상시 또는 간헐적으로 공급되는 자료에 대해 모사된 결과를 모델로 구축하고 이 후 입력되는 감지 신호에 대해 구축된 모델을 이용하여 학습을 수행하며 학습 결과에 따라 주행 상태정보 및 이벤트 정보를 예측함에 따라, 주행 상태정보에 의해 실시간으로 차량 제어가 가능하여 차량의 안정성을 더욱 확보할 수 있고, 이벤트 정보에 의해 고해상도의 주행 도로의 고해상도 영상 획득이 가능하여 사고에 대한 원인 규명을 실시간으로 수행할 수 있다.
또한 본 실시 예에 의하면, 도출된 주행 상태정보 및 이벤트 정보에 도로의 환경 정보에 따라 가중치를 부여함에 따라, 주행 상태정보 및 이벤트 정보에 대한 정확성을 더욱 확보할 수 있다.
본 실시 예에서 주행 상태정보 및 이벤트 정보 각각은 차량 및 카메라, 스피커 등으로 전달하는 것을 일 례로 설명하고 있으나 이는 예시적인 것으로서, 본 실시 예에 따라 당해 기술 분야에서 적용 가능한 다양한 유, 무선 통신 기술이 추가적으로 이용될 수 있다.
도 3은 본 발명의 다른 실시 예에 따른 차량용 영상 기록시스템의 제어 과정을 보인 전체 흐름도로서, 도 3을 참조하면, 차량용 영상 기록시스템의 제어방법은, 모델 구축단계(S10), 수신단계(S20), 학습 수행단계(S30), 가중치 생성단계(S40)를 포함하며, 각 단계 별 기능은 상술한 모델 구축부(110), 수신부(120), 학습 수행부(130), 및 가중치 생성부(140)에 대응되므로 이하에서의 기능에 대한 중복 설명은 생략한다.
모델 구축단계(S10)는 상시 또는 간헐적으로 수집되는 자료 각각에 대해 기 정해진 분석 알고리즘을 이용하여 분석하고 분석 결과를 토대로 주행 상태정보 및 이벤트 정보를 도출하여 도출된 주행 상태정보 및 이벤트 정보를 수집된 자료와 매칭시켜 저장하며, 전술한 모델 구축부(110)의 모델 구축 기능을 수행한다.
수신단계(S20)는 차량의 소정 위치 설치된 다수의 센서들로부터 감지 신호값을 수신하여 학습 수행부(130)로 전달하며, 전술한 수신부(120)의 감지 신호 수신 기능을 수행한다.
그리고 학습단계(S30)는 수신된 감지 신호값에 대해 기 구축된 모델을 토대로 학습을 수행하여 주행 상태정보 및 이벤트 정보를 도출하고 도출된 주행 상태정보 및 이벤트 정보를 가중치 생성부(140)로 전달하며, 전술한 학습 수행부(130)의 기능을 수행한다.
한편, 가중치 생성단계(S40)는 수신된 주행 상태정보 및 이벤트 정보에 대해 외부로부터 제공된 환경 정보에 따라 생성된 가중치를 부여한 다음 주행 상태정보 및 이벤트 정보로 차량 및 카메라, 스피커, 및 메모리 등을 제어하고, 전술한 가중치 생성부(140)의 기능을 수행한다.
상시 또는 간헐적으로 공급되는 자료에 대해 모사된 결과를 모델로 구축하고 이 후 입력되는 감지 신호에 대해 구축된 모델을 이용하여 학습을 수행하며 학습 결과에 따라 주행 상태정보 및 이벤트 정보를 예측함에 따라, 주행 상태정보에 의해 실시간으로 차량 제어가 가능하여 차량의 안정성을 더욱 확보할 수 있고, 이벤트 정보에 의해 고해상도의 주행 도로의 고해상도 영상 획득이 가능하여 사고에 대한 원인 규명을 실시간으로 수행할 수 있고, 도출된 주행 상태정보 및 이벤트 정보에 도로의 환경 정보에 따라 가중치를 부여함에 따라, 주행 상태정보 및 이벤트 정보에 대한 정확성을 더욱 확보 차량용 영상 기록시스템의 제어 장치 및 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 차량용 영상 기록시스템의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims (7)

  1. 다수의 카메라 및 마이크를 통해 수집된 영상 및 오디오를 처리하여 메모리에 기록하고 경고 메시지를 스피커를 통해 탑승자에게 전달하는 차량용 영상 기록 시스템에 있어서,
    상기 차량용 영상 기록시스템은,
    차량의 소정 위치에 마련된 다수의 센서로부터 제공된 감지 신호를 토대로 고해상도의 영상을 획득하기 위해 다수의 카메라의 영상 프레임, 화각 및 위치를 제어하는 이벤트 정보를 생성하고, 캔 통신 등을 통해 제공받은 차량 상태 정보를 토대로 차량을 제어하는 주행 상태정보를 생성하는 제어장치를 포함하고,
    상기 제어장치는,
    상시 또는 간헐적으로 수집되는 자료에 대해 기 정해진 분석 알고리즘을 토대로 분석한 다음 모사하여 차량을 제어하는 주행 상태정보와 다수의 카메라를 제어하는 이벤트 정보를 생성하고 생성된 주행 상태정보 및 이벤트 정보를 수집된 자료에 매칭시켜 저장하는 모델 구축부;
    차량의 소정 위치에 마련된 다수의 센서로부터 제공된 감지 신호를 수신하는 수신부; 및
    구축된 모델을 이용하여 수신된 감지 신호에 대해 학습 수행하고 학습 결과로 주행 상태정보 및 이벤트 정보를 도출하며 도출된 주행 상태정보 및 이벤트 정보를 차량 및 영상 기록 시스템에 각각 전달하는 학습 수행부를 더 포함하는 것을 특징으로 하는 차량용 영상 기록시스템의 제어장치.
  2. 제1항에 있어서, 상기 자료는,
    마이크로부터 제공된 오디오정보(MIC), GPS 수신기로부터 제공된 GPS 위치정보(GPS), 차량의 소정 위치에 마련된 다수의 충격센서로부터 제공된 충격 감지정보(G), 기 저장된 지도정보(MAP)와, 캔 통신 등을 통해 제공받은 차량상태정보(OBU: On Board Unit), 차량의 소정 위치에 마련된 레이더 센서 및 라이더 센서와 카메라를 통해 수집된 영상으로부터 제공된 ADAS(Advanced Driver Assistance System)정보, 및 주행 중인 도로의 신호등 및 교통량을 포함하는 교통정보 중 적어도 하나로 구비되는 것을 특징으로 하는 차량용 영상 기록시스템의 제어장치.
  3. 제2항에 있어서, 상기 주행 상태정보는,
    차량의 제동 제어, 시동 제어, 전조등 제어, 핸들 제어, 차속 제어 중 적어도 하나로 구비되는 것을 특징으로 하는 차량용 영상 기록시스템의 제어장치.
  4. 제2항에 있어서, 상기 이벤트 정보는
    다수의 카메라의 위치, 화각 및 영상프레임 제어, 스피커의 동작 제어, 및 메모리의 영상 및 음성 저장 제어 중 적어도 하나로 구비되는 것을 특징으로 하는 차량용 영상 기록시스템의 제어장치.
  5. 제1항에 있어서, 상기 제어장치는,
    수신된 주행 상태정보 및 이벤트 정보 각각에 대해 외부로부터 제공되는 환경 정보에 따라 가중치를 생성하고, 가중치가 부여된 주행 상태정보 및 이벤트 정보로 차량 및 카메라를 제어하는 가중치 생성부를 더 포함하는 것을 특징으로 하는 차량용 영상 기록시스템의 제어장치.
  6. 차량의 소정 위치에 마련된 다수의 센서로부터 제공된 감지 신호를 토대로 고해상도의 영상을 획득하기 위해 다수의 카메라의 영상 프레임, 화각 및 위치를 제어하는 이벤트 정보를 생성하고, 캔 통신 등을 통해 제공받은 차량 상태 정보를 토대로 차량을 제어하는 주행 상태정보를 생성하도록 구비된 차량용 영상 기록시스템의 제어 방법에 있어서,
    차량용 영상 기록시스템의 제어 방법은,
    상시 또는 간헐적으로 수집되는 자료에 대해 기 정해진 분석 알고리즘을 토대로 분석한 다음 모사하여 차량을 제어하는 주행 상태정보와 다수의 카메라를 제어하는 이벤트 정보를 생성하고 생성된 주행 상태정보 및 이벤트 정보를 수집된 자료에 매칭시켜 저장하는 모델 구축단계;
    차량의 소정 위치에 마련된 다수의 센서로부터 제공된 감지 신호를 수신하는 수신단계;
    구축된 모델을 이용하여 수신된 감지 신호에 대해 학습 수행하고 학습 결과로 주행 상태정보 및 이벤트 정보를 도출하며 도출된 주행 상태정보 및 이벤트 정보를 차량 및 영상 기록 시스템에 각각 전달하는 학습단계를 포함하는 것을 특징으로 하는 차량용 영상 기록시스템의 제어방법.
  7. 제6항에 있어서, 상기 차량용 영상 기록시스템의 제어방법은
    수신된 주행 상태정보 및 이벤트 정보 각각에 대해 외부로부터 제공되는 환경 정보에 따라 가중치를 생성하고, 가중치가 부여된 주행 상태정보 및 이벤트 정보로 차량 및 카메라를 제어하는 가중치 생성단계를 더 포함하는 것을 특징으로 하는 차량용 영상 기록시스템의 제어방법.

KR1020180142821A 2018-11-19 2018-11-19 차량용 영상 기록시스템의 제어장치 및 방법 KR102074902B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180142821A KR102074902B1 (ko) 2018-11-19 2018-11-19 차량용 영상 기록시스템의 제어장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180142821A KR102074902B1 (ko) 2018-11-19 2018-11-19 차량용 영상 기록시스템의 제어장치 및 방법

Publications (1)

Publication Number Publication Date
KR102074902B1 true KR102074902B1 (ko) 2020-02-07

Family

ID=69570352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180142821A KR102074902B1 (ko) 2018-11-19 2018-11-19 차량용 영상 기록시스템의 제어장치 및 방법

Country Status (1)

Country Link
KR (1) KR102074902B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101088797B1 (ko) 2010-05-07 2011-12-01 주식회사 마인드웨어코퍼레이션즈 학습에 의해 충격 오동작을 방지하는 블랙박스 어플리케이션이 내장된 휴대폰 및 그 방법
KR20150066308A (ko) * 2013-12-06 2015-06-16 한국전자통신연구원 운전자 운행 상태 판단 장치 및 그 방법
KR20180031892A (ko) * 2016-09-20 2018-03-29 (주) 큐알온텍 자율 주행 차량의 제어 장치 및 방법
KR20180049358A (ko) * 2016-10-31 2018-05-11 (주) 큐알온텍 차량용 사고영상 기록시스템의 제어 장치 및 방법
KR20180113447A (ko) * 2017-04-06 2018-10-16 삼성전자주식회사 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101088797B1 (ko) 2010-05-07 2011-12-01 주식회사 마인드웨어코퍼레이션즈 학습에 의해 충격 오동작을 방지하는 블랙박스 어플리케이션이 내장된 휴대폰 및 그 방법
KR20150066308A (ko) * 2013-12-06 2015-06-16 한국전자통신연구원 운전자 운행 상태 판단 장치 및 그 방법
KR20180031892A (ko) * 2016-09-20 2018-03-29 (주) 큐알온텍 자율 주행 차량의 제어 장치 및 방법
KR20180049358A (ko) * 2016-10-31 2018-05-11 (주) 큐알온텍 차량용 사고영상 기록시스템의 제어 장치 및 방법
KR20180113447A (ko) * 2017-04-06 2018-10-16 삼성전자주식회사 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체

Similar Documents

Publication Publication Date Title
RU2017120682A (ru) Способ и система обучения для предотвращения столкновений с использованием звуковых данных
CN109215433A (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
US11755918B2 (en) Fast CNN classification of multi-frame semantic signals
CN107031622A (zh) 用于碰撞避免的训练算法
CN112740188A (zh) 使用偏差进行基于日志的模拟
CN109671006A (zh) 交通事故处理方法、装置及存储介质
JP2020053046A (ja) 交通情報を表示するための運転者支援システム及び方法
CN106114622A (zh) 由行人检测系统控制的放手方向盘
US10913455B2 (en) Method for the improved detection of objects by a driver assistance system
CN112740061A (zh) 用于改善在借助LiDAR环境地图的情况下的雷达仪的物体识别的方法和设备
WO2023064693A1 (en) Verifying reproducibility for a vehicle controller
WO2022005478A1 (en) Systems and methods for detecting projection attacks on object identification systems
CN106864457B (zh) 一种数据处理方法及装置
US11327878B2 (en) Method for rating a software component of an SiL environment
JP5233711B2 (ja) 走行状態記録装置
KR102074902B1 (ko) 차량용 영상 기록시스템의 제어장치 및 방법
WO2021010396A1 (ja) 走行記憶システム、潜在事故責任決定装置、走行記憶方法、潜在事故責任決定方法、映像記録システム、自動運転システム、および映像記録方法
EP4082856A2 (en) E2e learning-based evaluator for an autonomous driving vehicle
JPWO2020085223A1 (ja) 情報処理方法、情報処理装置、情報処理プログラム及び情報処理システム
CN115907250A (zh) 用于调整自主驾驶车辆的运动规划器的基于学习的评论器
CN115470835A (zh) 用于调谐在机器学习算法内使用的机器学习分类器的超声波系统和方法
JP7284951B2 (ja) 監視支援装置、監視支援プログラム、および記憶媒体
JP2021024520A (ja) 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム
US20220189221A1 (en) Information recording device, information recording method, and program for recording information
EP4357872A1 (en) Information-generating method, information-generating device, and program

Legal Events

Date Code Title Description
GRNT Written decision to grant