KR20220126963A - 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템 - Google Patents

차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템 Download PDF

Info

Publication number
KR20220126963A
KR20220126963A KR1020210031346A KR20210031346A KR20220126963A KR 20220126963 A KR20220126963 A KR 20220126963A KR 1020210031346 A KR1020210031346 A KR 1020210031346A KR 20210031346 A KR20210031346 A KR 20210031346A KR 20220126963 A KR20220126963 A KR 20220126963A
Authority
KR
South Korea
Prior art keywords
vehicle
event
event data
monitoring
based sensor
Prior art date
Application number
KR1020210031346A
Other languages
English (en)
Inventor
카즈유키 하마다
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020210031346A priority Critical patent/KR20220126963A/ko
Publication of KR20220126963A publication Critical patent/KR20220126963A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1004—Alarm systems characterised by the type of sensor, e.g. current sensing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/20—Communication devices for vehicle anti-theft devices
    • B60R2325/205—Mobile phones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

본 발명은 차량 주변을 모니터링하여 차량의 보안성능을 향상시키기 위한 모니터링 시스템에 관한 것으로, 정해진 이벤트를 기반으로 작동하는 이벤트 기반 센서(event based sensor)의 출력 데이타를 이용하여 낮은 조도의 환경에서도 차량 주변을 효과적으로 모니터링하도록 한, 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템을 제공하는데 목적이 있다.

Description

차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템 {Periphery monitoring system using event based sensor of vehicle}
본 발명은 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템에 관한 것으로, 상세하게는 차량 주변을 모니터링하여 차량의 보안성능을 향상시키기 위한 모니터링 시스템에 관한 것이다.
최근 차량에는 차량의 보안을 위한 다양한 장치가 설치되고 있으며, 그 대표적인 예로서 차량에 탑재한 카메라를 이용하여 차량 주변을 감시하는 시스템이 있다.
차량 주변을 감시하는 용도의 카메라는 장시간 녹화를 하는 경우 전력 소비량이 증가하는 문제가 있기 때문에 불필요한 촬영을 회피하기 위하여, 차량에 침입자가 발생하는 등의 이상을 감지하면 차량 탑재 카메라가 촬영을 시작하도록 하는 기술(일본공개특허 특개2005-141451호)이 개시된바 있다.
그런데 일본공개특허 특개2005-141451호의 경우, 카메라가 촬영을 시작하기 위해서는 차량의 이상을 감지하기 위한 센서가 별도로 구비되어야 하며, 야간 등과 같이 노출이 부족한 저조도 환경에서의 카메라 촬영을 위하여 별도의 조명을 구비하거나 또는 적외선 카메라를 사용해야 한다.
일본공개특허 특개2005-141451호 일본공개특허 특개2007-334859호
본 발명은 상기와 같은 점을 감안하여 안출한 것으로서, 정해진 이벤트를 기반으로 작동하는 이벤트 기반 센서(event based sensor)의 출력 데이타를 이용하여 낮은 조도의 환경에서도 차량 주변을 효과적으로 모니터링하도록 한, 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템을 제공하는데 목적이 있다.
이에 본 발명은: 차량에 장착되어 차량 주변에서 감지되는 휘도의 변화를 트리거로 하여 작동하며, 휘도의 변화량이 정해진 역치를 초과한 화소의 2차원 좌표 정보와 시간 정보를 감지하여 이벤트 데이타로서 출력하는, 이벤트 기반 센서; 상기 이벤트 기반 센서로부터 받은 이벤트 데이타들을 기초로 차량 주변의 감시대상이 차량에 접근하고 있는 것으로 판단되면 차량 주변 감시대상에 대한 이벤트 데이타를 저장하는, 주변 감시부;를 포함하는 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템을 제공한다.
상기 주변 감시부는, 감시대상이 차량에 접근하지 않는 것으로 판단하면 감시대상의 이벤트 데이타를 저장하지 않는 것을 특징으로 한다.
또한 상기 주변 감시부는, 이벤트 데이타의 옵티컬 플로우(optical flow)를 추정하며, 상기 옵티컬 플로우의 방향 정보를 기초로 감시대상의 이동방향을 판단하는 것을 특징으로 한다.
바람직하게, 상기 주변 감시부는, 옵티컬 플로우의 방향 및 크기를 기초로 이벤트 데이타들의 옵티컬 플로우를 클러스터링하고, 클러스터링한 옵티컬 플로우의 방향 정보를 기초로 감시대상의 이동방향을 판단하는 것을 특징으로 한다.
이때 상기 주변 감시부는, 감시대상의 이동방향을 기초로 감시대상이 정지 상태의 차량에 접근하고 있는지 여부를 판단하는 것을 특징으로 한다.
또한 상기 주변 감시부는, 저장한 이벤트 데이타들을 이용하여 프레임 이미지를 생성하는 것을 특징으로 한다.
상기한 과제의 해결 수단에 의하면 본 발명은 다음과 같은 주된 효과를 제공한다.
첫째, 이벤트 기반 센서가 휘도의 변화를 트리거(trigger)로서 작동하여 차량에 접근하는 감시대상을 감지하고, 차량에 접근하는 감시대상에 대한 이벤트 데이타만 저장함으로써, 차량 주변 감시를 위한 소비전력 및 저장데이타량을 저감할 수 있다.
둘째, 달빛 정도의 저조도 환경에서도 차량의 주변을 모니터링할 수 있으며, 따라서 야간에도 별도의 외부 조명 없이 차량의 보안성능을 향상시킬 수 있다.
셋째, 차량에 접근하는 감시대상의 감지와 촬영을 동일한 이벤트 기반 센서를 이용하여 장시간 동안 지속할 수 있으며, 그에 따른 시스템의 간소화가 가능하다.
넷째, 이벤트 기반 센서가 운전자가 승차하지 않은 상태의 차량 주변에서 이동 중인 이동체를 감시대상으로서 검출하므로 차량 주변의 이동체를 효과적으로 감시할 수 있다.
도 1은 본 발명에 따른 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템의 구성을 나타낸 도면
도 2는 본 발명에 따른 이벤트 기반 센서의 출력 데이타를 일반 카메라의 출력 데이타와 비교하여 나타낸 도면
도 3은 본 발명에 따른 감시대상의 휘도 변화량을 기초로 데이타를 출력하는 이벤트 기반 센서의 동작 원리를 설명하기 위한 도면
도 4는 본 발명에 따른 이벤트 기반 센서의 장착 위치를 나타낸 예시도
도 5는 본 발명에 따른 이벤트 기반 센서가 출력한 이벤트 데이타를 통합하여 생성한 프레임 이미지의 일례를 나타낸 도면
도 6 및 도 7은 일반 카메라로 촬영한 프레임 이미지와 이벤트 데이타를 통합하여 생성한 프레임 이미지를 비교하여 나타낸 도면
도 8은 본 발명에 따른 주변 감시부에 저장된 이벤트 데이타가 동일한 시간 간격으로 발생한 경우를 가정하고 도시한 도면
도 9는 본 발명에 따른 이벤트 데이타를 통합하여 생성한 프레임 이미지들을 시간순으로 배치한 예시도
도 10은 본 발명에 따른 이벤트 데이타로 생성한 프레임 이미지와 일반 카메라로 촬영한 프레임 이미지를 비교하여 나타낸 도면
도 11은 본 발명에 따른 모니터링 시스템의 주변 감시 방법을 나타낸 도면
도 12는 일반적인 옵티컬 플로우의 추정 방법을 나타낸 개념도
도 13은 본 발명에 따른 모니터링 시스템의 이벤트 데이타 처리 방법을 설명하기 위한 개념도
이하 본 발명의 실시예를 첨부된 도면을 참조하여 설명하기로 한다. 첨부된 도면에 표현된 사항들은 본 발명의 실시예를 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 차량에 장착한 이벤트 기반 센서를 이용하여 차량 주변의 소정 영역을 감시하는 모니터링 시스템에 관한 것으로, 사전에 정해진 이벤트를 기반으로 작동하는 이벤트 기반 센서의 출력 데이타(즉, 이벤트 데이타)를 이용하여 차량 주변 감시대상을 모니터링함으로써 전력소비를 최소화하면서 낮은 조도(예를 들어, 0.08Lx 이상)의 환경에서도 별도의 외부 조명 없이 차량 주변을 효과적으로 감시할 수 있도록 한다.
도 1에 도시된 바와 같이, 본 발명에 따른 모니터링 시스템은 차량에 장착된 이벤트 기반 센서(10)와 주변 감시부(20)를 포함하여 구성된다.
이벤트 기반 센서(10)는, 휘도의 변화를 트리거(trigger)로 하여 작동하는 센서이며, 운전자가 탑승하지 않은 차량의 정지 상태에서 차량 주변의 소정 영역에 대한 실시간 휘도를 검출하며, 휘도의 변화량이 사전에 정해진 역치를 초과한 화소의 2차원 좌표 정보와 시간 정보를 검출 데이터(즉, 이벤트 데이타)로서 출력한다.
상기 이벤트 기반 센서(10)를 장착한 차량이 이동하고 있는 경우, 정지 상태의 차량 주변 물체 및 사람에 대한 이벤트 데이타를 생성 출력하는 것도 가능하다.
이벤트 기반 센서(10)는, 차량 주변에 존재하는 감시대상에서 휘도 변화량이 정해진 역치를 초과하는 화소를 감지하게 되면, 그 화소의 2차원 좌표 정보와 시간 정보를 주변 감시부(20)에 전송한다.
이벤트 기반 센서(10)가 출력하는 이벤트 데이타[x, y, t]는, 도 2에 보듯이 평면 좌표(x,y) 정보와 시간(t) 정보의 조합으로 구성되며, 연속된 프레임 이미지가 아니라 각 좌표의 이벤트(즉, 휘도 변화)에 따른 시계열 데이타로 구성된다.
도 3에 도시된 바와 같이, 이벤트 데이타[x, y, t]는 감시대상에 대한 화소의 휘도 변화량이 정해진 역치를 초과하는 경우에만 생성 출력된다.
이벤트 기반 센서(10)는, 소정의 이벤트(즉, 휘도 변화량이 정해진 역치를 초과하는 경우)가 발생한 화소에 대해서만 이벤트 데이타를 출력하므로 상대적으로 데이터량이 적으며, 이벤트가 미발생하는 경우 미작동하므로 소비전력이 거의 제로(zero)이다.
또한 이벤트 기반 센서(10)는, 10,000fps 정도의 고속 동작이 가능하며, 140dB 이상의 하이 다이나믹 레인지(high dynamic range)를 가진다.
도 4에 도시된 바와 같이 이벤트 기반 센서(10)는, 적어도 차량의 전후좌우에 각각 장착되며, FOV(Field Of View)를 확보하기 위하여 차량의 상부에 설치된다. 예를 들어, 이벤트 기반 센서(10)를 일반적인 어라운드 뷰 모니터링(AVM: Around View Monitoring) 시스템에서 이용하는 카메라보다 높은 위치에 설치함으로써 적어도 AVM 시스템의 카메라와 동등 수준의 FOV 또는 그보다 넓은 FOV를 확보할 수 있도록 설치하는 것이 바람직하다.
주변 감시부(20)는, 이벤트 기반 센서(10)로부터 입력받은 이벤트 데이타를 통합하여 프레임 이미지를 생성하고 출력할 수 있다. 이러한 주변 감시부(20)는, 차량에 구비되어 있는 제어유닛과 메모리 및 표시장치 등을 포함하여 구성될 수 있다.
도 5는 이벤트 기반 센서가 출력한 이벤트 데이타를 통합하여 생성한 프레임 이미지의 일례를 나타낸 것이다. 도시된 바와 같이, 이벤트 데이타로부터 생성한 프레임 이미지는 노면의 문자 및 사이니지(signage)를 인식 가능한 수준으로 생성된다.
도 6 및 도 7은 일반 카메라로 촬영한 프레임 이미지와 이벤트 데이타를 통합하여 생성한 프레임 이미지를 비교하여 나타낸 것이다. 도 6에 하측 이미지는 이벤트 기반 센서를 장착한 차량이 이동하고 있는 상태에서 정지 상태에 있는 차량 주변 물체를 나타낸 것이고, 도 7에 하측 이미지는 이벤트 기반 센서를 장착한 차량이 정지한 상태에서 차량 주변에 이동하고 있는 사람을 나타낸 것이다.
도 6 및 도 7에 보듯이, 이벤트 데이타로 생성한 프레임 이미지로도 차량 주위를 충분히 감시할 수 있으며, 야간과 같이 낮은 조도의 환경의 경우 일반 카메라의 프레임 이미지 대비 이벤트 데이타를 통해 생성한 프레임 이미지가 오히려 차량 주위를 감시함에 있어 유리할 수 있다.
이벤트 기반 센서(10)가 출력한 이벤트 데이타(즉, 화소의 좌표 정보와 시간 정보)를 이용하여 프레임 이미지를 생성 표시하기 위해서는, 이벤트 데이타의 통합 처리 과정이 필요하다.
주변 감시부(20)는, 이벤트 기반 센서(10)로부터 받은 이벤트 데이타 중 감시대상이 차량에 접근하고 있는 경우에만 이벤트 데이타를 선택적으로 저장한다. 그리고 주변 감시부(20)는 소정의 프레임 주파수에 대응하는 이벤트 데이타를 통합함으로써 프레임 이미지를 생성한다. 다시 말해 주변 감시부(20)는, 프레임 이미지의 생성을 위하여, 저장한 이벤트 데이타들을 프레임 주파수를 기준으로 통합한다.
또한 주변 감시부(20)는, 감시대상의 단시간의 변화를 포착하기 위하여 프레임 이미지를 복수로 생성하는 것도 가능하다. 이 경우 이벤트 데이타를 통합하는 시간축을 변경하여 복수의 프레임 이미지를 생성할 수 있다.
도 8은 주변 감시부에 저장된 이벤트 데이타가 동일한 시간 간격으로 발생한 경우를 가정하고 도시한 것이다. 도시된 바와 같이, 기본적으로 프레임 주파수에 대응하는 이벤트 데이타들을 통합하여 제1 및 제2의 프레임 이미지(①,②)를 각각 생성하며, 상기 제1 및 제2의 프레임 이미지(①,②)를 생성한 시간축을 변경하면 도 9에 도시된 바와 같이 상기 제1 및 제2의 프레임 이미지(①,②)를 생성할 때 사용한 이벤트 데이타들을 이용하여 제3 내지 제5의 프레임 이미지(④',⑤',⑥')를 더 생성할 수 있다.
도 9는 이벤트 데이타를 통합하여 생성한 프레임 이미지들을 시간순으로 배열한 것이다.
또한 이벤트 데이타를 이용하여 도 10에 도시된 바와 같은 고화질의 프레임 이미지를 생성하는 것도 가능하며, 고화질의 프레임 이미지가 필요한 경우에만 선택적으로 고화질의 프레임 이미지를 생성할 수 있다. 고화질 프레임 이미지의 생성은 공지된 기술을 통해 구현할 수 있으며, 그에 대한 상세한 설명은 생략하도록 한다.
도 10에서 좌측 이미지는 이벤트 데이타로 생성한 일반 화질의 프레임 이미지이고, 중앙 이미지는 이벤트 데이타로 생성한 고화질의 프레임 이미지이고, 우측 이미지는 일반 카메라로 촬영한 프레임 이미지이다.
한편 도 11에 도시된 바와 같이 주변 감시부(20)는, 이벤트 기반 센서(10)로부터 차량 주변 감시대상에 대한 이벤트 데이타들을 취득하고(S100), 취득한 이벤트 데이타들을 기초로 차량 주변 감시대상이 차량에 접근하고 있는지를 판단하며(S400), 판단 결과 상기 감시대상이 차량에 접근하고 있는 것으로 판별되면 상기 감시대상에 대한 이벤트 데이타를 저장하고(S500), 저장한 이벤트 데이타의 통합을 통하여 프레임 이미지를 생성하여(S600) 저장하며 필요에 따라(예를 들어, 사용자 요청에 따라) 출력 표시한다.
주변 감시부(20)는, 이벤트 기반 센서(10)에서 이벤트 데이타를 취득하면 감시대상이 차량에 접근하고 있는지를 판별하기 위하여 각 이벤트 데이타의 옵티컬 플로우(optical flow)를 추정한다.
상기 옵티컬 플로우는 이벤트 데이타의 위치 정보(즉, 좌표 정보)의 시간에 따른 변화를 기초로 추정할 수 있다. 다시 말해, 옵티컬 플로우는 이벤트 데이타의 시간에 따른 위치 변화를 기초로 추정할 수 있다.
도 12를 참조하면, 일반적으로 옵티컬 플로우는 가상 프레임 내에 좌표값을 가지는 특징점(feature point)의 시간에 따른 변화를 기초로 추정한다. 이러한 옵티컬 플로우의 추정 시에는, 미세 시간 동안 물체의 이동량은 대단히 작고, 중심 화소의 근방에 위치한 화소는 중심 화소와 동일한 움직임을 가지며, 화소의 움직임은 시간적/공간적으로 매끄럽다는 조건을 전제로 한다. 또한 상기 특징점은 물체의 형태나 크기 및 위치, 조도와 휘도가 변해도 쉽게 식별이 가능한 점이다.
따라서, 이벤트 데이타의 좌표 정보가 나타내는 점을 특징점이라고 정하면, 특징점의 시간에 따른 위치 변화를 기초로 이벤트 데이타의 옵티컬 플로우를 추정할 수 있다.
주변 감시부(20)는 이와 같이 일반적인 옵티컬 플로우 검출 방법을 이용할 수 있다. 예를 들어, 주변 감시부(20)는 루카스 카나데(Lucas-Kanade) 방법 등의 공지된 기술을 이용하여 각 이벤트 데이타의 옵티컬 플로우를 추정할 수 있다. 옵티컬 플로우를 추정하는 방법은 공지의 기술이므로, 이에 대한 더 상세한 설명은 생략하도록 한다.
상기와 같이 추정한 옵티컬 플로우는 도 13에 보듯이 소정의 방향과 크기를 가지므로, 상기 옵티컬 플로우를 기초로 감시대상의 이동방향을 검출함으로써 감시대상이 차량에 접근하고 있는지 여부를 판단할 수 있다. 주변 감시부(20)는, 감시대상의 이동방향을 기초로 감시대상이 정지 상태의 차량에 접근하고 있는지 여부를 판단할 수 있다.
옵티컬 플로우를 기초로 감시대상의 이동방향을 검출하기 위하여, 주변 감시부(20)는 이벤트 데이타들의 옵티컬 플로우를 클러스터링(clustering)한다(S300). 이때, 주변 감시부(20)는 옵티컬 플로우의 방향과 크기를 기초로 옵티컬 플로우들을 클러스터링한다.
예를 들어, 주변 감시부(20)는 방향 및 크기가 동일하다고 판단되는 옵티컬 플로우들을 분류하여 클러스터링할 수 있다. 주변 감시부(20)는, 옵티컬 플로우들의 크기 및 방향의 차이가 정해진 차이값(margin) 이내이면 옵티컬 플로우가 동일하다고 판단할 수 있다.
주변 감시부(20)는, 클러스터링한 옵티컬 플로우들의 방향 정보를 기초로 감시대상의 이동방향을 검출할 수 있으며, 감시대상의 이동방향을 기초로 차량에 대한 접근 여부를 판별할 수 있다(S400).
또한 주변 감시부(20)는, 옵티컬 플로우의 방향과 크기를 기초로 이벤트 데이타들을 클러스터링하여 감시대상의 외형을 추출할 수 있다. 이벤트 데이타는 주로 감시대상의 엣지(edge) 부위에서 검출되므로 감시대상의 외형을 용이하게 검출할 수 있다.
주변 감시부(20)는, 도 13에 보듯이 옵티컬 플로우의 방향과 크기를 기초로 동일한 옵티컬 플로우를 가진다고 판단되는 이벤트 데이타들을 분류하여 클러스터링하고, 이렇게 클러스터링한 이벤트 데이타들을 기초로 감시대상의 외형을 추정하여 결정할 수 있으며, 또한 상기 클러스터링한 이벤트 데이타들을 기초로 외형을 추정한 감시대상의 이동속도와 이동방향을 산출할 수 있다.
주변 감시부(20)는 이벤트 데이타들을 클러스터링하는 처리를 통하여 감시대상의 외형을 추출하면서 프레임 이미지를 생성할 수 있다.
이때 주변 감시부(20)는 일반적인 클러스터링 기술을 이용할 수 있으며, 데이타를 클러스터링하는 방법은 공지의 기술이므로, 여기서 이에 대한 상세한 설명은 생략하도록 한다.
주변 감시부(20)는, 감시대상의 이벤트 데이타를 통해 추정한 옵티컬 플로우를 기초로 감시대상이 차량에 접근하고 있는 것으로 판별되면 감시대상에 대한 이벤트 데이타를 저장하고, 감시대상이 차량에 접근하고 있지 않은 것(예를 들어, 차량에서 멀어지고 있는 경우)으로 판별되면 감시대상에 대한 이벤트 데이타를 저장하지 않는다.
주변 감시부(20)는, 이벤트 데이타를 저장하는 경우, 이벤트 데이타를 저장하면서 이벤트 데이타들을 이용하여 프레임 이미지를 생성할 수도 있다.
또한 주변 감시부(20)는, 감시대상이 차량에 접근하는 것으로 판별되는 경우, 실내등을 점등하거나 경고음을 발생시키는 등을 통해 차량 보안에 이용 가능하며, 또한 차량 소유주에게 경보를 발송할 수도 있다. 예를 들어, 주변 감시부(20)는 감시대상이 차량의 일정 반경 이내에 근접하게 되면 차량 실내등을 점등하거나 차량 소유주에게 경보를 발송할 수 있다.
이와 같이 구성되는 본 발명의 모니터링 시스템은 다음과 같이 활용할 수 있다.
첫째, 이벤트 데이타를 통해 프레임 이미지를 생성할 수 있으므로 기존의 어라운드 뷰 모니터링(AVM) 시스템 대신 이용하는 것이 가능하다. 예를 들어 후진 주차를 하는 경우 상기 모니터링 시스템을 통해 빠른 속도로 접근하는 감시대상을 즉시 검출하여 충돌을 회피하도록 할 수 있다.
둘째, 대략 120fps 정도로 작동하는 일반 카메라보다 고속 응답이 가능한 이벤트 기반 센서를 이용하므로 고속으로 차량에 접근하는 감시대상도 검지 가능하며, 그에 따른 차량의 안전성 증대를 도모할 수 있다. 예를 들어 차량의 브레이크 제어기와 연계하여 브레이크를 자동으로 작동시킴으로써 차량의 안정성을 증대시킬 수 있다.
셋째, 감시대상의 접근을 감지하는 경우 자동차 키 팝(key FOB)을 검지하는 파워를 증가시켜 검지 범위를 넓힘으로써 감시대상이 차량 소유주인지 여부를 빠르게 판별하는 것도 가능하다. 이때 감시대상의 접근을 감지하는 경우에만 키 팝 검지 작동을 실행하므로 불필요한 전력 소비를 방지할 수 있다.
이상으로 본 발명의 실시예에 대해 상세히 설명하였는바, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 또한 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 실시예일뿐이므로 본 발명의 권리범위는 상술한 실시예에 한정되지 않으며, 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 또한 본 발명의 권리범위에 포함된다.
10 : 이벤트 기반 센서
20 : 주변 감시부

Claims (6)

  1. 차량에 장착되어 차량 주변에서 감지되는 휘도의 변화를 트리거로 하여 작동하며, 휘도의 변화량이 정해진 역치를 초과한 화소의 2차원 좌표 정보와 시간 정보를 감지하여 이벤트 데이타로서 출력하는, 이벤트 기반 센서;
    상기 이벤트 기반 센서로부터 받은 이벤트 데이타들을 기초로 차량 주변의 감시대상이 차량에 접근하고 있는 것으로 판단되면 차량 주변 감시대상에 대한 이벤트 데이타를 저장하는, 주변 감시부;
    를 포함하는 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템.
  2. 청구항 1에 있어서,
    상기 주변 감시부는, 감시대상이 차량에 접근하지 않는 것으로 판단하면 감시대상의 이벤트 데이타를 저장하지 않는 것을 특징으로 하는 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템.
  3. 청구항 1에 있어서,
    상기 주변 감시부는, 이벤트 데이타의 옵티컬 플로우(optical flow)를 추정하고, 상기 옵티컬 플로우의 방향 정보를 기초로 감시대상의 이동방향을 판단하는 것을 특징으로 하는 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템.
  4. 청구항 3에 있어서,
    상기 주변 감시부는, 옵티컬 플로우의 방향 및 크기를 기초로 이벤트 데이타들의 옵티컬 플로우를 클러스터링하고, 클러스터링한 옵티컬 플로우의 방향 정보를 기초로 감시대상의 이동방향을 판단하는 것을 특징으로 하는 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템.
  5. 청구항 3 또는 4에 있어서,
    상기 주변 감시부는, 감시대상의 이동방향을 기초로 감시대상이 정지 상태의 차량에 접근하고 있는지 여부를 판단하는 것을 특징으로 하는 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템.
  6. 청구항 1에 있어서,
    상기 주변 감시부는, 저장한 이벤트 데이타들을 이용하여 프레임 이미지를 생성하는 것을 특징으로 하는 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템.
KR1020210031346A 2021-03-10 2021-03-10 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템 KR20220126963A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210031346A KR20220126963A (ko) 2021-03-10 2021-03-10 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210031346A KR20220126963A (ko) 2021-03-10 2021-03-10 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템

Publications (1)

Publication Number Publication Date
KR20220126963A true KR20220126963A (ko) 2022-09-19

Family

ID=83460947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210031346A KR20220126963A (ko) 2021-03-10 2021-03-10 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR20220126963A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141451A (ja) 2003-11-06 2005-06-02 Denso Corp 車両監視システム
JP2007334859A (ja) 2006-05-17 2007-12-27 Denso It Laboratory Inc 物体検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141451A (ja) 2003-11-06 2005-06-02 Denso Corp 車両監視システム
JP2007334859A (ja) 2006-05-17 2007-12-27 Denso It Laboratory Inc 物体検出装置

Similar Documents

Publication Publication Date Title
US10523904B2 (en) Vehicle data recording system
EP2578464B1 (en) Video-based warning system for a vehicle
US6859148B2 (en) Blind spot warning system for an automotive vehicle
US11798290B2 (en) Obstacle detection and notification for motorcycles
EP2182730B1 (en) Monitor and vehicle periphery monitor
JP7424140B2 (ja) センサ装置、信号処理方法
KR101083885B1 (ko) 지능형 운전 보조 시스템들
US9001204B2 (en) Vehicle peripheral monitoring device
JP2008276308A (ja) 動画像処理装置、動画像処理システムおよびナビゲーション装置
US11361574B2 (en) System and method for monitoring for driver presence and position using a driver facing camera
KR20160021553A (ko) 차량의 경적음 출력 제어 장치 및 방법
US20140118131A1 (en) Monitoring and warning system for vehicles
JP2007207274A (ja) 発進報知装置
US11039078B2 (en) Method and device for predictable exposure control of at least one first vehicle camera
JP3984863B2 (ja) 発進報知装置
JP4930432B2 (ja) 車両用周辺監視装置
KR20220126963A (ko) 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템
KR102471006B1 (ko) 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법
JP2008276307A (ja) 動画像処理装置、動画像処理システムおよびナビゲーション装置
JP4585191B2 (ja) ノーズビューシステム
JP2020136731A (ja) 異常検出システム、移動体、異常検出方法、及びプログラム
KR102644145B1 (ko) 차량의 운행정보를 반영한 차량용 실시간 avm 시스템 및 그 방법
WO2022239481A1 (ja) 撮影装置、及びプログラム
GB2615766A (en) A collision avoidance system for a vehicle
JP2022025280A (ja) 赤外線撮像装置、及び赤外線撮像システム

Legal Events

Date Code Title Description
A201 Request for examination