KR102211496B1 - 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법 - Google Patents

주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법 Download PDF

Info

Publication number
KR102211496B1
KR102211496B1 KR1020140057653A KR20140057653A KR102211496B1 KR 102211496 B1 KR102211496 B1 KR 102211496B1 KR 1020140057653 A KR1020140057653 A KR 1020140057653A KR 20140057653 A KR20140057653 A KR 20140057653A KR 102211496 B1 KR102211496 B1 KR 102211496B1
Authority
KR
South Korea
Prior art keywords
event
image
unit
vehicle
video
Prior art date
Application number
KR1020140057653A
Other languages
English (en)
Other versions
KR20150130717A (ko
Inventor
장정훈
김용식
Original Assignee
주식회사 인텔리빅스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인텔리빅스 filed Critical 주식회사 인텔리빅스
Priority to KR1020140057653A priority Critical patent/KR102211496B1/ko
Publication of KR20150130717A publication Critical patent/KR20150130717A/ko
Application granted granted Critical
Publication of KR102211496B1 publication Critical patent/KR102211496B1/ko

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법에 관한 것으로서, 차량의 전방, 후방, 좌측 및 우측에 설치되어 차량 외부의 전방, 후방, 좌측 및 우측 각 방향의 촬영이 가능한 초광각카메라부, 차량의 외부의 충격으로 인해 발생하는 진동이나 충격을 감지하는 감지센서부, 상기 차량의 전방, 후방, 좌측 및 우측에 설치된 초광각 카메라부로부터 입력된 영상을 합성 후 보정처리 하여 어라운드뷰 방식으로 영상을 생성하는 어라운드뷰 영상생성부, 상기 어라운드뷰 영상생성부에 생성된 영상을 녹화하는 영상녹화부, 상기 보정처리된 어라운드뷰 방식으로 생성된 영상에서 이동하는 객체를 검출하고 추적하는 영상감지부, 상기 영상감지부에서 검출하여 추적된 객체가 사전 정의된 움직임에 해당하거나 센서부에서 정보가 감지되면 이벤트로 판단하는 이벤트감지부, 상기 영상녹화부에 의해 녹화된 영상과 이벤트 감지부에서 이벤트로 판단된 이벤트정보를 데이터베이스부에 저장하고, 자동차 시동과 동시에 데이터베이스부에 저장된 이벤트 정보가 있는 경우 이벤트발생정보를 표시부에 디스플레이하는 제어부, 상기 영상녹화부에서 녹화된 영상 및 이벤트감지부에서 이벤트로 판단된 이벤트정보를 저장하는 데이터베이스부 및 상기 데이터베이스부에 저장된 이벤트정보가 있는 경우 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 이벤트발생정보를 표시하거나 이벤트가 발생한 차량 위치별 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 이벤트발생정보를 표시하는 표시부를 포함한다.

Description

주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법{Event detection system of blackbox for vehicle and method for event detection}
본 발명은 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법에 관한 것으로서, 더욱 상세하게는 주차시 차량의 전방, 후방, 좌측 및 우측의 각 방향에서 촬영된 영상을 어라운드뷰 영상으로 생성하고, 생성된 어라운드뷰 영상에서 사전 정의된 이벤트를 감지하여 연속 영상의 녹화하여 저장하는 것 외에 이벤트정보만을 별도로 저장하게 함으로써 녹화된 연속 영상 자동 삭제시에도 이벤트 정보를 포함하는 이벤트 영상 등이 삭제되는 것을 방지하고 또한 저장된 이벤트정보가 있는 경우 자동차 시동과 동시에 이벤트발생정보를 운전자에게 확인하게 함으로써 주차시 발생한 이벤트 여부를 실시간으로 알려줄 수 있도록 하는 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법에 관한 것이다.
기존 교통 사고의 발생시 사고 원인 규명은 주로 목격자의 진술에 의하거나 경찰관의 경험적 판단에 의해 처리되는 경우가 있었으며, 이와 같은 교통 사고 원인 규명 방식은 주관적 판단이 개입되므로 과실 여부의 판단이 명확하지 않아 종종 가해자와 피해자가 뒤바뀌는 문제점이 있었다. 이와 같은 문제점을 해결하기 위해 교통 사고 혹은 도난 사고가 발생된 경우 사고 당시의 차량 상태를 파악할 수 있고, 사고 원인을 정확히 분석할 수 있는 차량용 블랙박스의 필요성이 점차 증가하고 있으며, 차량용 블랙박스의 장착 의무화 제도의 도입이 추진되고 있다.
이러한 차량용 블랙박스는 차량 내부 또는 외부 상황 영상을 저장하기 위해 차량의 내, 외부에 설치된 카메라와 영상 정보를 저장하는 메모리로 구성되어 있는데, 기존의 차량용 블랙박스는 차량의 운행 및 주차 중 전 구간을 연속적으로 녹화하는 상시녹화와 일정 충격을 받았을 때만 녹화할 수 있는 충격녹화 등의 방식으로 제어될 수 있다
이와 같은 기존의 상시 녹화 방식은 이벤트 발생과는 무관한 연속 영상도 함께 저장하는 방식이므로, 주행 중 발생하는 추돌 사고 등과 같은 이벤트에 대해서는 운전자가 이벤트 발생시 차량에 있으므로 이벤트 영상의 녹화 여부 및 이벤트 발생 시점 등을 확인할 수 있으나, 주차시와 같은 운전자 부재시 발생한 타인의 차량에 의한 접촉 사고 등과 같은 이벤트에 대해서는 운전자가 직접 본인의 차량에 긁힌 흔적을 확인하지 않는 한 주차시 발생한 이벤트의 발생 여부를 인지하지 못하게 되고 결국 차량용 블랙박스 장치에 해당 이벤트 영상이 녹화되었음에도 불구하고 확인도 하지 않고 지나가는 경우가 대부분이었다. 특히, 기존의 차량용 블랙박스의 메모리의 저장용량은 매우 제한적이며, 이러한 메모리의 저장 용량의 한계로 상시 녹화 중 메모리의 최대 저장 용량의 한계에 다다르면 신규 영상을 저장하기 위해 기저장된 영상을 삭제하여 저장하는 시스템을 채택하고 있는 것이 일반적이어서, 운전자가 추후 차량의 긁힘 등을 확인하여 관련된 사고 관련 이벤트 영상을 확인하고자 하여도 이미 이벤트 영상이 삭제되어 있는 문제가 있었다.
한편, 카메라와 영상 기술 등과 관련하여 대한민국 등록특허공보 제10-0966288호 '주변 영상 생성 방법 및 장치'에서는 차량의 전방, 후방, 좌측 및 우측에 설치된 카메라를 통해 촬상된 영상들을 합성하여 차량의 주변 영상을 어라운드 뷰 방식으로 생성하는 방법 및 장치에 대해서 기술하고는 있으나 어라운드뷰 방식에 의해 생성되어 더욱 용량이 커진 고해상도의 영상을 기존 제한된 차량용 블랙박스 메모리에 어떠한 방식으로 저장할지에 대한 해결 방안이 전혀 기재되어 있지 않는 문제점이 있으며, 또한 대한민국 등록특허공보 제10-0883632호 '고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법'에서는 고해상도 카메라로부터 입력된 고해상도 영상을 실시간으로 분석하여 이동체의 감지/추적 및 이벤트 감지를 수행하고, 이를 바탕으로 상기 고해상도 영상으로부터 특정 객체들의 디지털 PTZ 영상을 생성하여 효과적인 영상 감시를 수행할 수 있는 시스템 및 그 방법을 제안하고 있으나 이러한 우수한 기술이 차량용 블랙박스 시스템에 적용되지 않는 문제점이 있었다.
대한민국 공개특허공보 제10-2007-0110809호(2007.11.20) 대한민국 등록특허공보 제10-0966288호(2010.06.18) 대한민국 등록특허공보 제10-0883632호(2009.02.06)
상기한 문제점을 해결하기 위한 본 발명은 주차시 차량의 전방, 후방, 좌측 및 우측 각 방향에서 촬영된 영상을 어라운드뷰 영상으로 생성하고, 생성된 어라운드뷰 영상에서 사전 정의된 이벤트를 감지하여 연속 영상의 녹화하여 저장하는 것 외에 이벤트정보만을 별도로 저장하게 함으로써 녹화된 연속 영상 자동 삭제시에도 이벤트 정보를 포함하는 이벤트 영상 등이 삭제되는 것을 방지함으로써 기존의 대용량 영상 녹화로 인한 이벤트 영상이 녹화되었음에도 확인하지 못하는 문제점을 개선하기 위한 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법을 제공하는데 그 목적이 있다.
또한, 저장된 이벤트정보가 있는 경우 자동차 시동과 동시에 이벤트발생정보를 운전자에게 확인하게 함으로써 주차시 발생한 이벤트 여부를 실시간으로 알려줄 수 있도록 하여 저장된 이벤트를 운전자가 반드시 확인할 수 있도록 함으로서 운전자의 부주의로 인한 이벤트의 발생 여부를 인지하지 못하고 지나가는 것을 방지하기 위한 블랙박스의 주차시 이벤트 감지시스템 및 그 이벤트 감지방법을 제공하는데 또 다른 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 일실시예에 따르면, 차량의 전방, 후방, 좌측 및 우측에 설치되어 차량 외부의 전방, 후방, 좌측 및 우측 각 방향의 촬영이 가능한 초광각카메라부, 차량의 외부의 충격으로 인해 발생하는 진동이나 충격을 감지하는 감지센서부, 상기 차량의 전방, 후방, 좌측 및 우측에 설치된 초광각 카메라부로부터 입력된 영상을 합성 후 보정처리 하여 어라운드뷰 방식으로 영상을 생성하는 어라운드뷰 영상생성부, 상기 어라운드뷰 영상생성부에 생성된 영상을 녹화하는 영상녹화부, 상기 보정처리된 어라운드뷰 방식으로 생성된 영상에서 이동하는 객체를 검출하고 추적하는 영상감지부, 상기 영상감지부에서 검출하여 추적된 객체가 사전 정의된 움직임에 해당하거나 센서부에서 정보가 감지되면 이벤트로 판단하는 이벤트감지부, 상기 영상녹화부에 의해 녹화된 영상과 이벤트 감지부에서 이벤트로 판단된 이벤트정보를 데이터베이스부에 저장하고, 자동차 시동과 동시에 데이터베이스부에 저장된 이벤트 정보가 있는 경우 이벤트발생정보를 표시부에 디스플레이하는 제어부, 상기 영상녹화부에서 녹화된 영상 및 이벤트감지부에서 이벤트로 판단된 이벤트정보를 저장하는 데이터베이스부 및 상기 데이터베이스부에 저장된 이벤트정보가 있는 경우 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 이벤트발생정보를 표시하거나 이벤트가 발생한 차량 위치별 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 이벤트발생정보를 표시하는 표시부를 포함하는 것을 특징으로 한다.
한편, 전술한 목적을 달성하기 위한 본 발명의 또 다른 일시예에 따르면, 차량의 전방, 후방, 좌측 및 우측에 각각 설치된 초광각카메라를 이용하여 차량 외부의 전방위를 촬영하는 단계, 상기 각 초광각카메라에서 촬영된 영상을 합성하고 왜곡된 영상을 보정하여 어라운드뷰 영상을 생성하는 단계, 상기 생성된 어라운드뷰 영상을 연속적으로 녹화하여 데이터베이스부에 저장하는 단계, 상기 생성된 어라운드뷰 영상에서 이동하는 객체를 검출하고 추적하는 단계, 상기 검출되어 추적 중인 객체가 사전 정의된 움직임에 해당하거나 진동 또는 충격 정보가 감지센서부에서 감지되는 경우 이벤트 발생으로 판단하는 단계, 상기 이벤트가 감지되면 이벤트정보를 데이터베이스부에 저장하는 단계, 상기 데이터베이스부에 저장된 이벤트정보가 있는 경우 차량의 시동과 동시에 표시부에 이벤트발생정보를 표시되는 단계 및 상기 표시된 이벤트발생정보를 확인 후 해당 이벤트발생정보를 삭제하거나 저장을 유지하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면 차량의 전방, 후방, 좌측 및 우측 각 방향에서 촬영된 영상을 어라운드뷰 영상으로 생성하고, 생성된 어라운드뷰 영상에서 사전 정의된 이벤트를 감지하여 객체를 검출하고 추적함으로써 보다 정확한 이벤트를 감지할 수 있을 뿐만 아니라 객체 추적시에도 객체의 정확한 색, 크기, 속도, 비율 등과 같은 속성 정보가 영상에 포함될 수 있도록 하는 효과가 있다.
또한, 상기 검출된 객체가 사전 정의된 움직임에 의해 이벤트 발생으로 판단되면, 이벤트정보만을 별도로 저장하게 함으로써 녹화된 연속 영상 자동 삭제시에도 이벤트 정보를 포함하는 이벤트 영상 등이 삭제되는 것을 방지함으로써 기존의 대용량 영상 녹화로 인한 이벤트 영상이 녹화되었음에도 확인하지 못하는 문제점을 개선하는 효과가 있다.
또한, 저장된 이벤트정보가 있는 경우 자동차 시동과 동시에 이벤트발생정보를 운전자에게 확인하게 함으로써 주차시 발생한 이벤트 여부를 실시간으로 알려줄 수 있도록 하여 저장된 이벤트를 운전자가 반드시 확인할 수 있도록 함으로서 운전자의 부주의로 인한 이벤트의 발생 여부를 인지하지 못하고 지나가는 것을 방지할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 주차시 차량용 블랙박스의 이벤트 감지시스템의 전체적인 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 주차시 차량용 블랙박스의 이벤트 감지시스템의 전체적인 구성을 나타낸 세부 구성도이다.
도3은 본 발명의 실시예에 따른 주차시 차량용 블랙박스의 이벤트 감지방법을 설명하기 위한 흐름도이다.
도 1은 본 발명의 실시예에 따른 주차시 차량용 블랙박스의 이벤트 감지시스템의 전체적인 구성을 나타낸 도면이며, 도 2는 본 발명의 실시예에 따른 주차시 차량용 블랙박스의 이벤트 감지시스템의 전체적인 구성을 나타낸 세부 구성도이며, 도3은 본 발명의 실시예에 따른 주차시 차량용 블랙박스의 이벤트 감지방법을 설명하기 위한 흐름도이다.
이하에서는, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위한 것이지, 이로 인해 본 발명의 기술적 사상 및 범주가 한정되는 것을 의미하는 것은 아니다.
도 1 및 도 2를 참조하면, 본 발명에 따른 주차시 차량용 블랙박스의 이벤트 감지시스템은 초광각카메라부(10), 감지센서부(20), 어라운드뷰 생성부(30), , 영상녹화부(40), 영상감지부(50), 이벤트감지부(60), 제어부(70), 테이터베이스부(80), 및 표시부(90)를 포함한다. 또한, 스마트기기(200)와 이동통신망으로 연결이 가능하도록 통신모듈을 포함한 통신부(100)를 더 포함할 수 있다.
먼저 본 발명에 따른 바람직한 일시시예에 따른 초광각카메라부(10)는 4개 초광각카메라(10a, 10b, 10c, 10d)를 사용하게 되는데, 초광각카메라는 광각 렌즈보다 성질이 강해 피사체의 원근감을 극도로 왜곡시킬 수 있는 최소 120°이상의 화각을 가진 초광각렌즈가 부착된 카메라를 통칭한다. 일반적으로 초광각 렌즈는 울트라 와이드 앵글 렌즈(ultra wide angle lens)라고도 하며, 이러한 초광각 렌즈가 부착된 카메라로 피사체를 촬영하게 되면 중앙부가 돌출되어 보이는 영상으로 촬영이 되게 되는데 어안레즈가 대표적이라고 할 수 있다.
본 발명에서 부착된 초광각카메라(10a, 10b, 10c, 10d)는 차량(C)의 전방, 후방, 좌측 및 우측에 각각 설치되어 차량(C) 외부의 전방, 후방, 좌측 및 우측 각 방향 촬영이 가능한 총 4개의 초광각카메라부(10)로 구성된다. 본 발명에 총 4개의 초광각카메라(10a, 10b, 10c, 10d)를 이용하여 차량(C)의 외부를 촬영하는 것은 이벤트 감지를 위해 보다 정확한 객체의 검출 및 추적을 하고, 객체의 움직임을 전확하게 판단하여 사전 정의된 이벤트가 발행하였는지를 판단하기 위한 것이다. 본 발명에 따라 차량(C)의 전방, 후방, 좌측 및 우측 설치된 초광각카메라(10a, 10b, 10c, 10d)는 최소 120°이상의 화각을 가진 초광각렌즈를 포함하고 있으므로 차량(C)의 외부 360° 전범위에 대해 촬영이 가능한 특징이 있는 것이다.
또한, 차량(C)에는 초광각카메라부(10) 외에 외부의 충격으로 인해 발생하는 진동이나 충격을 감지하는 감지센서부(20)를 포함한다. 감지센서부(20)는 외부의 충격에 의해 발생하는 진동이나 충격을 감지하게 되고 후술하는 이벤트감지부(50)에서 이를 이벤트 발생으로 판단하여 해당 이벤트정보를 데이터베이스부(80)에 저장하게 된다. 이때 저장되는 이벤트정보는 이벤트 발생시간, 진동이 감지된 차량의 발생위치, 진동 감지시 영상에서 검출된 객체의 메타데이터와 이벤트가 발생한 시점으로부터 전후 소정시간 동안 녹화된 영상 또는 이벤트가 발생한 시점으로부터 전후 소정 시간의 영상프레임 정보 등을 포함한다.
한편, 어라운드뷰 영상생성부(30)은 차량(C)의 전방, 후방, 좌측 및 우측에 설치된 초광각카메라(10a, 10b, 10c, 10d)로부터 입력된 각각의 영상을 실시간으로 매칭하여 하나의 화면에 디스플레이 되도록 각 영상을 합성하게 되며, 초광각렌즈의 특성상 왜곡(Lens Distortion)된 영상을 보정처리 하여 어라운드뷰 방식으로 영상을 생성한다. 통상 각 초광각카메라(10a, 10b, 10c, 10d)로부터 입력된 영상은 상하좌우 120°이상의 배경이 촬영되나 하나의 영상으로 합성시에는 최초 설정해 놓은 각 매칭 포인트에 따라 중복되는 영역을 삭제하여 편집되기 때문에 각 각 초광각카메라(10a, 10b, 10c, 10d)로부터 입력되는 영상의 일부 프레임은 삭제되게 된다. 본 발명의 구성에 포함하는 어라운드뷰 영상을 생성하는 방법은 이미 다양한 기술이 제안되어 있는 등 공지기술에 해당하여 본 명세서에서 구체적인 기술은 생략한다.
이때 차량(C)에 최초 설치된 전방, 후방, 좌측 및 우측에 설치된 각각의 초광각카메라(10a, 10b, 10c, 10d) 중 어느 하나라도 차량의 충격 등으로 위치 등에 변경이 생기는 경우 최초 설치시 설정해 놓은 초광각 카메라(10a, 10b, 10c, 10d)의 촬영 각도에 변동이 발생하게 되게 되는데, 이러한 경우 촬영 각도가 변경된 초광각카메라(10a, 10b, 10c, 10d)에서 입력된 영상과 기타에서 촬영된 초광각 카메라(10a, 10b, 10c, 10d)에서 입력된 영상을 합성시 매칭 포인트가 달라 어라운드뷰 영상생성부(30)에서 영상 합성시 부정확한 영상이 합성되어 객체의 검출 및 추적이나 이벤트 판단에 있어서 오류 등이 발생할 수 있는 문제점이 있다.
따라서 본 발명은 어라운드뷰 영상생성부(30)가 전방, 후방, 좌측 및 우측에 설치된 각 초광각 카메라(10a, 10b, 10c, 10d)로부터 입력된 영상의 합성시 초광각 카메라(10a, 10b, 10c, 10d) 중 어느 하나가 최초 설치시와 다른 위치 변동으로 인해 다른 각도 입력된 영상을 포함한 경우 해당 초광각 카메라(10a, 10b, 10c, 10d)의 영상 각도를 최초 설치시와 동일한 각도로 영상을 회전하거나 이동하여 어라운드뷰 영상생성부(30)에 입력되도록 하여 정확한 하나의 영상을 합성할 수 있도록 하는 어라운드뷰 보정부(31)를 포함하게 되는데, 어라운드뷰 보정부(31)에서는 각 전방, 후방, 좌측 및 우측에 설치된 각 초광각 카메라(10a, 10b, 10c, 10d)에서 입력되는 영상 중 인접되는 영상 간에 중복되는 픽셀이 많으므로 다른 각도 입력된 영상을 회전하거나 이동하여 어라운드뷰 보정부(31)에서 회전하거나 이동된 영상이 입력되어도 하나의 영상으로 합성하는데에는 문제가 없게 되는 것이다.
영상녹화부(40)는 어라운드뷰 영상생성부(30)로부터 생성된 영상을 녹화하는 연속적으로 녹화하여 데이터베이스부(80)에 저장한다. 영상녹화부(40)에서 녹화되어 저장된 영상이 데이터베이스부(80)의 저장용량을 초과하여 연속 저장된 어라운드뷰 영상을 삭제하여야 하는 경우 제어부(70)는 저장된 이벤트정보를 포함하고 있는 영상 또는 영상프레임은 삭제되지 않도록 제어한다. 이때 이벤트정보는 이벤트 발생시간, 차량발생위치, 객체의 메타데이터와 이벤트가 발생한 시점으로부터 전후 소정시간 동안 녹화된 영상 또는 이벤트가 발생한 시점으로부터 전후 소정시간의 영상프레임 정보를 포함한다. 이벤트정보는 중 이벤트 발생시간, 이벤트가 발생한 차량의 위치, 메타데이터는 사용자가 이벤트의 검색을 위해 저장되는 정보이며, 특히, 데이터베이스부(80)에 저장된 이벤트정보 중 이벤트가 발생한 시점으로부터 전후 소정시간 동안 녹화된 영상 또는 이벤트가 발생한 시점으로부터 전후 소정시간의 영상프레임 정보는 제어부(70)에서 데이터베이스부(80)의 저장용량을 초과하여 연속 저장된 어라운드뷰 영상을 삭제하여야 하는 경우 삭제되지 않는 영상 또는 영상 프레임에 해당하는 정보이다.
영상감지부(50)는 어라운드뷰 영상생성부(30)에서 생성된 어라운드뷰 영상에서 이동하는 객체를 검출하고 추적하는 영상감지부(50)을 포함한다. 영상감지부(50)는 어라운드뷰 영상생성부(30)에서 생성된 어라운드뷰 영상을 실시간으로 분석하여 영상 내의 사람이나 자동차 등과 같은 이동하는 관심 객체를 검출하여 추적한다. 이때 어라운드뷰 영상에서 이동하는 객체 검출 시 주기적으로 업데이트 되는 배경 모델을 만든 후 전경 영역을 검출하고 노이즈 모션들을 제거합니다. 이를 통해 검출된 모션들을 지속적으로 추적하여 객체를 검출하여 오감지을 최소화하여 이벤트 판단의 정확성을 증가시킬 수 있다.
이베트감지부(60)는 영상감지부(50)에서 추출한 객체의 추적 결과를 바탕으로 사전 정의된 움직임에 해당하는 경우 이벤트가 발생하였음을 판단하여, 해당 객체에 대한 이벤트정보를 데이터베이스부(80)에 저장한다. 이때 이벤트정보는 이벤트 발생시간, 이벤트가 발생한 차량의 위치, 객체의 메타데이터와 이벤트가 발생한 시점으로부터 전후 소정시간 동안 녹화된 영상 또는 이벤트가 발생한 시점으로부터 전후 소정시간의 영상프레임 정보를 포함하게 된다. 또한, 이벤트감지부(60)에서는 어라운드뷰 영상에서 사전 정의된 움직임에 해당하는 이벤트 발생뿐만 아니라 외부의 충격으로 인해 발생하는 진동이나 충격을 감지하는 감지센서부(20)에서 입력되는 정보도 이벤트로 판단하게 함으로써 차량(C)의 진동이나 충격과 영상을 동시에 이벤트로 감지하여 보다 정확한 이벤트를 감지할 수 있는 효과가 있는 것이다. 사전 정의된 이벤트란 차량(C)의 주차시 좌측 또는 우측에 주차된 차량이 이동하거나 또는 차량(C) 주변에서 수 초간 사람이 머무르는 등의 객체의 특정 움직임을 의미한다. 본 발명에 따라 영상 중에서 객체를 검출하여 추적하고, 추적된 객체가 이벤트임을 판단하는 기술은 다양한 공지 기술이 존재하여 본 명세서에서 구체적인 기술은 생략한다.
제어부(70)는 영상녹화부(40)에 의해 녹화된 영상과 이벤트감지부(60)에서 이벤트로 판단된 이벤트정보를 데이터베이스부(80)에 저장한다. 또한, 제어부(70)는 영상녹화부(40)에 의해 녹화된 연속 영상 중에서 이벤트감지부(60)에서 이벤트로 판단된 이벤트정보를 포함하고 있는 해당 영상 또는 영상프레임을 편집하여 분리 저장하며, 데이터베이스부(80)의 저장용량이 초과하여 연속 저장된 어라운드뷰 영상을 삭제하여야 하는 경우 저장된 이벤트정보를 포함하고 있는 영상 또는 영상프레임은 삭제하지 않도록 제어하여 운전자가 이벤트가 발생된 영상을 확인하지 않는 한 삭제하지 못하도록 함으로써 운전자의 차량(C)에서 발생한 이벤트를 반드시 확인될 수 있도록 하는 효과가 있다. 또한, 제어부(70)는 무선이동통신망으로 연결이 가능한 통신부(100)를 이용하여 운전자가 보유한 스마트기기(200)에 이벤트발생정보를 전송할 수도 있다.
데이터베이스부(80)는 영상녹화부(40)에서 녹화된 영상 및 이벤트감지부(60)에서 이벤트로 판단된 이벤트정보를 저장하게 되는데, 이때 저장되는 이벤트정보는 이벤트 발생시간, 이벤트가 발생한 차량의 위치, 객체의 메타데이터와 이벤트가 발생한 시점으로부터 전후 소정시간 동안 녹화된 영상 또는 이벤트가 발생한 시점으로부터 전후 소정시간의 영상프레임 정보를 포함하게 된다.
표시부(90)는 데이터베이스부(80)에 저장된 이벤트정보가 있는 경우 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 이벤트발생정보를 표시하거나 이벤트가 발생한 차량 위치별 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 이벤트발생정보를 표시한다. 이때 이베트발생정보를 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 이벤트발생정보를 표시하거나 이벤트가 발생한 차량 위치별 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 이벤트발생정보를 표시하는 것은 운전자가 선택할 수 있도록 표시할 수도 있다.
도 3은 본 발명의 실시예에 따른 주차시 차량용 블랙박스의 이벤트 감지방법을 설명하기 위한 흐름도이다.
도 3을 참조하며, 우성 차량(C)의 전방, 후방, 좌측 및 우측에 설치된 초광각카메라(10a, 10b, 10c, 10d)를 이용하여 차량 외부의 360°전방위를 촬영한다(S100). 초광각카메라(10a, 10b, 10c, 10d)에서 촬영된 영상은 어라운드뷰 영상생성부(30)에서 영상을 합성하고 왜곡된 영상을 보정하여 어라운드뷰 영상을 생성하게 된다(S110). 어라운드뷰 영상생성부(30)에서 생성된 어라운드뷰 영상은 영상녹화부(40)에 의해서 연속 영상으로 녹화되어 데이터베이스부(80)에 실시간으로 저장된다(S120). 이때 녹화되어 저장된 연속 영상 중에서 이벤트감지부(60)에서 이벤트로 판단된 이벤트정보를 포함하고 있는 이벤트 영상 또는 영상프레임을 편집하여 분리 저장하여 데이터베이스부의 저장용량이 초과하여 연속 저장된 어라운드뷰 영상을 삭제하여야 하는 경우 저장된 이벤트정보를 포함하고 있는 영상 또는 영상프레임이 삭제되지 않도록 제어하는 것을 특징으로 한다.
또한, 영상감지부(50)에서는 어라운드뷰 영상생성부(30)에서 생성되어 취득한 어라운드뷰 영상에서 이동하는 개체를 검출하고 추적한다(S130). 이벤트감지부(60)에서는 검출된어 추적인 객체가 사전 정의된 움직임에 해당하거나 차량(C)로부터 진동 또는 충격 정보가 감지센서부에서 감지되는 경우 이벤트 발생으로 판단하고(S140), 제어부(70)에서는 해당 이벤트정보를 데이터베이스부(80)에 저장한다(S150). 이때 저장되는 이벤트정보는 이벤트 발생시간, 차량발생위치, 객체의 메타데이터와 이벤트가 발생한 시점으로부터 전후 소정시간 동안 녹화된 영상 또는 이벤트가 발생한 시점으로부터 전후 소정시간의 영상프레임 정보를 포함한다. 이벤트정보는 중 이벤트 발생시간, 이벤트가 발생한 차량의 위치, 메타데이터는 사용자가 이벤트의 검색을 위해 저장되는 정보이며, 특히, 데이터베이스부(80)에 저장된 이벤트정보 중 이벤트가 발생한 시점으로부터 전후 소정시간 동안 녹화된 영상 또는 이벤트가 발생한 시점으로부터 전후 소정시간의 영상프레임 정보는 제어부(70)에서 데이터베이스부(80)의 저장용량을 초과하여 연속 저장된 어라운드뷰 영상을 삭제하여야 하는 경우 삭제되지 않는 영상 또는 영상 프레임에 영상 또는 영상 프레임에 해당하는 정보이다.
그리고, 운전자가 차량(C)의 시동을 거는 경우 제어부(70)는 데이터베이스부에 저장된 이벤트정보가 있는 경우 차량의 시동과 동시에 표시부(90)에 이벤트발생정보를 디스플레이한다(S160). 이때 표시부(90)에 디스플레이되는 이벤트발생정보는 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 표시되거나 차량 위치별 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 표시될 수 있다. 또한, 이벤트 영상의 썸네일이미지/비디오 요약리스트 또는 차량 위치별 이벤트 영상의 썸네일이미지/비디오 요약리스트를 선택할 수 있는 화면으로 표시할 수 있다.
또한, 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 표시되거나 차량 위치별 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 표시된 이벤트발생정보는 터치스크린 기능을 구비한 표시부(90)에서 확인하여 이베트정보를 삭제하거나 저장을 유지할 수 있게 된다(S170). 그리고 삭제되지 않은 이벤트정보는 다음번 시동시에도 표시부(90)를 통해 이벤트발생정보를 디스플레이하여 운전자가 반드시 행당 이벤트를 확인할 수 있도록 하는 것을 특징으로 한다.
이상에서 설명된 본 발명의 실시예는 예시적인 것에 불과하며, 본 발명이 속한 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 특별한 형태로 한정되는 것이 아닌 것으로 이해되어야 한다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.
10 : 초광각카메라부 20 : 감지센서부
30 : 어라운드뷰 영상생성부 31 : 어라운드뷰 보정부
40 : 영상녹화부 50 : 영상감지부
60 : 이벤트감지부 70 : 제어부
80 : 데이터베이스부 90 : 표시부
100 : 통신부 200 : 스마트기기

Claims (8)

  1. 차량의 전방, 후방, 좌측 및 우측에 설치되어 차량 외부의 전방, 후방, 좌측 및 우측 각 방향의 촬영이 가능하며 120°이상의 화각을 가진 초광각렌즈가 부착된초광각카메라부;
    차량의 외부의 충격으로 인해 발생하는 진동이나 충격을 감지하는 감지센서부;
    상기 차량의 전방, 후방, 좌측 및 우측에 설치된 초광각 카메라부로부터 입력된 영상을 합성 후 보정처리 하여 어라운드뷰 방식으로 영상을 생성하는 어라운드뷰 영상생성부;
    상기 어라운드뷰 영상생성부에 생성된 영상을 녹화하는 영상녹화부;
    상기 보정처리된 어라운드뷰 방식으로 생성된 영상에서 이동하는 객체를 검출하고 추적하는 영상감지부;
    상기 영상감지부에서 검출하여 추적된 객체가 사전 정의된 움직임에 해당하거나 센서부에서 정보가 감지되면 이벤트로 판단하는 이벤트감지부;
    상기 영상녹화부에 의해 녹화된 영상과 이벤트 감지부에서 이벤트로 판단된 이벤트정보를 데이터베이스부에 저장하고, 자동차 시동과 동시에 데이터베이스부에 저장된 이벤트 정보가 있는 경우 이벤트발생정보를 표시부에 디스플레이하는 제어부;
    상기 영상녹화부에서 녹화된 영상 및 이벤트감지부에서 이벤트로 판단된 이벤트정보를 저장하는 데이터베이스부; 및
    상기 데이터베이스부에 저장된 이벤트정보가 있는 경우 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 이벤트발생정보를 표시하거나 이벤트가 발생한 차량 위치별 이벤트 영상의 썸네일이미지 또는 비디오 요약재생으로 이벤트발생정보를 표시하는 표시부를 포함하며,
    상기 어라운드뷰 영상생성부가 전방, 후방, 좌측 및 우측에 설치된 각 초광각 카메라로부터 입력된 영상의 합성시 초광각 카메라 중 어느 하나가 최초 설치시와 다른 위치 변동으로 인해 다른 각도 입력된 영상을 포함한 경우 해당 초광각 카메라의 입력된 영상 각도를 최초 설치시와 동일한 각도로 영상을 회전하거나 이동하여 어라운드뷰 영상생성부에 입력되도록 하는 어라운드뷰 보정부를 더 포함하고,
    상기 이벤트정보는 이벤트 발생시간, 이벤트가 발생한 차량의 위치, 객체의 메타데이터와 이벤트가 발생한 시점으로부터 전후 소정시간 동안 녹화된 영상 또는 이벤트가 발생한 시점으로부터 전후 소정시간의 영상프레임 정보를 포함하는 것을 특징으로 하는 주차시 차량용 블랙박스의 이벤트 감지시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 제어부는 영상녹화부에 의해 녹화된 연속 영상 중에서 이벤트감지부에서 이벤트로 판단된 이벤트정보를 포함하고 있는 이벤트 영상 또는 영상프레임을 편집하여 분리 저장하며, 데이터베이스부의 저장용량이 초과하여 연속 저장된 어라운드뷰 영상을 삭제하여야 하는 경우 저장된 이벤트정보를 포함하고 있는 영상 또는 영상프레임은 삭제되지 않도록 제어하는 것을 특징으로 하는 주차시 차량용 블랙박스의 이벤트 감지시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
KR1020140057653A 2014-05-14 2014-05-14 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법 KR102211496B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140057653A KR102211496B1 (ko) 2014-05-14 2014-05-14 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140057653A KR102211496B1 (ko) 2014-05-14 2014-05-14 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법

Publications (2)

Publication Number Publication Date
KR20150130717A KR20150130717A (ko) 2015-11-24
KR102211496B1 true KR102211496B1 (ko) 2021-02-03

Family

ID=54844963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140057653A KR102211496B1 (ko) 2014-05-14 2014-05-14 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법

Country Status (1)

Country Link
KR (1) KR102211496B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102637949B1 (ko) 2018-08-14 2024-02-20 주식회사 케이티 썸네일을 관리하는 서버, 방법, 썸네일을 이용하는 단말
JP6683235B1 (ja) 2018-11-14 2020-04-15 株式会社Ｊｖｃケンウッド 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム
JP6669240B1 (ja) 2018-12-19 2020-03-18 株式会社Ｊｖｃケンウッド 記録制御装置、記録制御システム、記録制御方法、および記録制御プログラム
KR102150967B1 (ko) * 2019-03-26 2020-09-02 (주)헥스하이브 전방위 촬영이 가능한 자동차용 보안 시스템
KR102315541B1 (ko) * 2020-02-28 2021-10-21 주식회사 미소전자통신 시동시 이벤트영상이 출력되는 블랙박스
KR102459993B1 (ko) * 2020-12-30 2022-10-28 아진산업(주) 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템
KR102468307B1 (ko) * 2021-02-06 2022-11-17 주식회사 엠에이치엔씨티 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 및 이벤트 학습방법
KR102368173B1 (ko) * 2021-07-14 2022-03-02 주식회사 미소전자통신 후방에 트윈카메라가 적용되는 블랙박스 시스템
KR102543308B1 (ko) * 2022-08-12 2023-06-14 주식회사 디티지코리아 차량용 3.5d 파노라마 어라운드뷰 생성방법
KR102552071B1 (ko) * 2023-01-17 2023-07-06 에이포시스템주식회사 감시용 카메라에 의해 촬영되는 영상을 네트워크를 통해 관리자단말에 전송하는 촬영영상 전송장치 및 그 촬영영상 전송방법
CN117278697B (zh) * 2023-11-21 2024-03-15 中汽传媒(天津)有限公司 一种用于汽车碰撞全景视频采集的系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246503A (ja) * 2008-03-28 2009-10-22 Denso It Laboratory Inc ドライブ映像要約装置
JP2013235395A (ja) * 2012-05-08 2013-11-21 Yupiteru Corp 表示制御システム、表示制御方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3268325B2 (ja) * 1993-01-19 2002-03-25 アイシン精機株式会社 車上認識対象画像デ−タの前処理方法
KR20070110809A (ko) 2007-06-04 2007-11-20 염동환 차량용 블랙박스
KR20090063064A (ko) * 2008-06-05 2009-06-17 박노춘 차량 운행정보 기록장치 및 운용방법 및 프로그램을 기록한기록매체
KR100883632B1 (ko) 2008-08-13 2009-02-12 주식회사 일리시스 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
KR100966288B1 (ko) 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
KR20120056977A (ko) * 2010-11-26 2012-06-05 주식회사 이미지넥스트 차량 탑재형 블랙박스 시스템 및 그 시스템에서 생성된 주변 영상을 이용한 정보제공방법
KR101735684B1 (ko) * 2010-12-14 2017-05-15 한국전자통신연구원 차량용 영상 기록 및 제공 장치와 이를 이용한 지역 정보 획득 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246503A (ja) * 2008-03-28 2009-10-22 Denso It Laboratory Inc ドライブ映像要約装置
JP2013235395A (ja) * 2012-05-08 2013-11-21 Yupiteru Corp 表示制御システム、表示制御方法及びプログラム

Also Published As

Publication number Publication date
KR20150130717A (ko) 2015-11-24

Similar Documents

Publication Publication Date Title
KR102211496B1 (ko) 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법
US11265508B2 (en) Recording control device, recording control system, recording control method, and recording control program
US8228364B2 (en) Omnidirectional camera for use in police car event recording
US20070269188A1 (en) Image correction method for drive recorder, drive recorder, and drive recorder system
KR102613071B1 (ko) 음향센서 및 가속도센서에 기초하여 차량의 충격을 감지하는 방법 및 장치
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
CN111369708A (zh) 车辆行驶的信息记录方法及装置
US20190054880A1 (en) Method And System For Detecting An Incident , Accident And/Or Scam Of A Vehicle
KR101580567B1 (ko) 이벤트 영상 촬영 녹화 장치, 이벤트 영상 제공 방법
US20190228241A1 (en) Method of operating an in-vehicle camera
CN101408423A (zh) 影像撷取装置角度侦测方法及其车辆碰撞警示系统
JP5261752B2 (ja) ドライブレコーダ
CN116778371A (zh) 异常事件检测方法、装置、设备、车辆及存储介质
CN109685937B (zh) 事故记录方法、系统及车辆
KR20160099837A (ko) 보안기능이 강화된 고속자동회전 ip카메라 일체형 차량용 블랙박스
KR101582534B1 (ko) 이벤트 영상 촬영 녹화 장치 및 그 방법
JP4557712B2 (ja) 運転支援システム
JP2020109572A (ja) 撮像情報記憶装置、撮像情報記憶方法及びプログラム
KR102459993B1 (ko) 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템
KR100909675B1 (ko) 실시간 감시장치가 구비된 차량 및 이를 이용한 감시방법
KR101593751B1 (ko) 데이터 저장 방법, 장치 및 컴퓨터 프로그램 제품
KR101438563B1 (ko) 차량용 블랙박스의 연속 영상촬영 장치
JP7283124B2 (ja) 記録再生制御装置、再生制御装置、記録再生制御方法およびプログラム
US20240104881A1 (en) Image sensor device, method and computer program
KR20180049358A (ko) 차량용 사고영상 기록시스템의 제어 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant