KR102459993B1 - 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템 - Google Patents

어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템 Download PDF

Info

Publication number
KR102459993B1
KR102459993B1 KR1020200187608A KR20200187608A KR102459993B1 KR 102459993 B1 KR102459993 B1 KR 102459993B1 KR 1020200187608 A KR1020200187608 A KR 1020200187608A KR 20200187608 A KR20200187608 A KR 20200187608A KR 102459993 B1 KR102459993 B1 KR 102459993B1
Authority
KR
South Korea
Prior art keywords
event
image
avm
camera
black box
Prior art date
Application number
KR1020200187608A
Other languages
English (en)
Other versions
KR20220095761A (ko
Inventor
김병익
나경진
정명환
Original Assignee
아진산업(주)
오토아이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주), 오토아이티(주) filed Critical 아진산업(주)
Priority to KR1020200187608A priority Critical patent/KR102459993B1/ko
Publication of KR20220095761A publication Critical patent/KR20220095761A/ko
Application granted granted Critical
Publication of KR102459993B1 publication Critical patent/KR102459993B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 AVM 영상을 이용한 블랙박스 시스템에 관한 것으로, 차량에 분산 설치되되, 차량 주변을 촬영한 복수의 주변 영상을 획득 및 출력하는 복수 개의 촬영장치; AVM(Around View Monitoring) 영상으로부터 이벤트 발생을 감지하기 위한 이벤트 감지 영역을 설정하는 이벤트 감지 영역 설정부; 상기 차량의 엔진 정지 시점에, 상기 복수 개의 촬영장치로부터 출력되는 주변 영상들을 이용해 AVM 영상을 생성하고, 생성된 AVM 영상을 기준 배경 영상으로 저장하고, 상기 차량의 엔진 정지 이후, 상기 복수 개의 촬영장치로부터 실시간 출력되는 주변 영상을 이용해 AVM 영상을 생성하는 AVM 영상 생성부; 실시간 생성된 AVM 영상과 저장된 기준 배경 영상을 비교하고, 두 영상의 변화 감지시 상기 이벤트 감지 영역에 대한 이벤트 발생을 판단하는 이벤트 감지부; 및 상기 이벤트 감지 영역 내 이벤트 발생으로 판단되면, 이벤트 발생 영역에 설치된 촬영장치가 녹화를 진행하도록 제어하는 제어부;를 포함할 수 있다.

Description

어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템 {BLACK BOX SYSTEM BY USING AROUND VIEW MONITORING IMAGE}
본 발명은 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템에 관한 것으로, 특히, 복수 개의 카메라로부터 획득한 어라운드 뷰 영상을 이용하여 차량 주변의 변화를 감지함으로써 차량 주변을 인지할 수 있는 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템에 관한 것이다.
차량용 블랙박스는 차량 내부 또는 외부 상황 영상을 저장하기 위해 차량의 내, 외부에 설치된 카메라와 영상 정보를 저장하는 메모리로 구성되어 있는데, 기존의 차량용 블랙박스는 차량의 운행 및 주차 중 전 구간을 연속적으로 녹화하는 상시녹화, 일정 충격을 받았을 때만 녹화할 수 있는 충격녹화 등의 방식으로 제어될 수 있다.
이와 같은 기존의 상시녹화 방식은 이벤트 발생과는 무관한 연속 영상도 함께 저장하는 방식이므로, 주차시와 같은 운전자 부재시 발생한 타인의 차량에 의한 접촉 사고 등과 같은 이벤트에 대해서는 운전자가 직접 본인의 차량에 긁힌 흔적을 확인하지 않는 한 주차시 발생한 이벤트의 발생 여부를 인지하지 못하게 되고, 결국 차량용 블랙박스 장치에 해당 이벤트 영상이 녹화되었음에도 불구하고 확인도 하지 않고 지나가는 경우가 대부분이다.
또한, 기존의 차량용 블랙박스의 메모리 저장 용량은 매우 제한적이며, 이러한 메모리의 저장 용량의 한계로 상시녹화 중 메모리의 최대 저장 용량의 한계에 이르면 신규 영상을 저장하기 위해 기저장된 영상을 순차적으로 삭제하여 저장하는 시스템을 채택하고 있는 것이 일반적이다.
이로써 운전자가 추후 차량의 긁힘 등을 확인하여 관련된 사고 관련 이벤트 영상을 확인하고자 하여도 이미 이벤트 영상이 삭제된 상태가 되는 문제가 있다.
그리고, 충격녹화 방식은 블랙박스 내 G센서의 충격량 감지를 이용하여 큰 충격을 감지할 경우 기동하여 영상을 녹화하는 방법으로, 충격량이 일정량 이상일 때만 녹화를 수행함으로 충격량이 적은 문콕, 차량 긁힘 등의 경우에는 녹화를 하지 못하는 문제점이 있다.
그리고, 기존의 차량용 블랙박스는 영상 내 모션을 감지하여 녹화하는 방식도 있는데, 이 경우, 바람에 의한 나무의 흔들림, 빛의 방향 변화 등도 움직임으로 감지하여 모두 녹화를 실행함으로 불필요한 녹화가 많아 녹화 영상의 양이 방대하고, 이로 인해 이전 사고 기록이 삭제되는 문제점이 있다.
국내공개특허 1020120060175호(공개일자: 2012.06.05)
이에 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명은, 복수 개의 카메라로부터 촬영된 영상들로부터 차량 주변의 어라운드 뷰 모니터링 영상을 생성하고, 생성되는 어라운드 뷰 모니터링 영상을 이용하여 주차시 차량 외부에 발생하는 이벤트를 감지하되, 별도의 센서를 구비하지 않고도 문콕, 차량 긁힘 등 적은 충격으로 인한 경미한 사고를 감지하여 해당 사고 영상을 녹화할 수 있는 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템을 제공하고자 한다.
또한, 본 발명은, 복수 개의 카메라를 통해 획득한 어라운드 뷰 영상에 대한 차영상으로부터 영상의 변화를 검출함으로써 이벤트 발생을 검지하고 이벤트 발생이 검지된 위치의 카메라만 녹화를 수행함으로써 녹화 용량을 최소화할 수 있으므로 상시녹화에 따른 저장공간 부족의 문제를 해결할 수 있는 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템을 제공하고자 한다.
또한, 본 발명은, 차량 내, 외부에 장착된 복수 개의 카메라를 통해 획득되는 영상의 변화를 검출하는 것에 의해 주차시 발생된 이벤트를 검지함으로써 놓치기 쉬운 경미한 접촉사고, 차량 훼손 등의 사고발생에 대한 인지율을 높일 수 있는 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명은, 차량에 분산 설치되되, 차량 주변을 촬영한 복수의 주변 영상을 획득 및 출력하는 복수 개의 촬영장치; AVM(Around View Monitoring) 영상으로부터 이벤트 발생을 감지하기 위한 이벤트 감지 영역을 설정하는 이벤트 감지 영역 설정부; 상기 차량의 엔진 정지 시점에, 상기 복수 개의 촬영장치로부터 출력되는 주변 영상들을 이용해 AVM 영상을 생성하고, 생성된 AVM 영상을 기준 배경 영상으로 저장하고, 상기 차량의 엔진 정지 이후, 상기 복수 개의 촬영장치로부터 실시간 출력되는 주변 영상을 이용해 AVM 영상을 생성하는 AVM 영상 생성부; 실시간 생성된 AVM 영상과 저장된 기준 배경 영상을 비교하고, 두 영상의 변화 감지시 상기 이벤트 감지 영역에 대한 이벤트 발생을 판단하는 이벤트 감지부; 및 상기 이벤트 감지 영역 내 이벤트 발생으로 판단되면, 이벤트 발생 영역에 설치된 촬영장치가 녹화를 진행하도록 제어하는 제어부;를 포함하는 AVM 영상을 이용한 블랙박스 시스템을 제공한다.
상기 복수 개의 촬영장치는, AVM 영상을 획득하는 n(n은 4이상의 자연수)개의 카메라 및 블랙박스 영상을 획득하는 m(m은 2이상의 자연수)개의 카메라 중 적어도 어느 하나 또는 그 조합인 것을 특징으로 한다.
상기 이벤트 감지 영역 설정부는, AVM 영상 내 차량의 외부 테두리로부터 지정된 일정 거리에 해당하는 영역을 이벤트 감지 영역으로 설정하되, 각 카메라별로 CM 단위로 설정값을 입력 받아 설정되는 것을 특징으로 한다.
상기 이벤트 감지부는, 상기 기준 배경 영상과 현재 AVM 영상의 차이를 계산한 후, 노이즈 제거를 통해 두 영상의 변화가 확인되면, 상기 이벤트 감지 영역 내 이벤트 발생인지 확인하고, 상기 이벤트 감지 영역 내 이벤트 발생이 확인되면, 상기 이벤트 발생 위치를 확인하고 이벤트 발생 위치 정보를 생성하는 것을 특징으로 한다.
상기 블랙박스 시스템은, 생성된 AVM 영상을 표출하는 표시부;를 더 포함하며, 상기 제어부는, 상기 이벤트 발생 위치 정보에 기초하여 상기 이벤트 발생 위치에 대응하는 카메라의 녹화를 수행하여 이벤트 영상을 생성하도록 제어하되, 생성된 이벤트 영상을 적어도 이벤트 발생 시각을 포함하는 이벤트 정보와 매칭시켜 저장하고, 차량의 엔진 시동시 저장된 이벤트 정보를 상기 표시부에 표출하도록 제어하되, 상기 이벤트 정보와 매칭된 이벤트 영상 보기가 요청되면, 저장된 이벤트 영상을 상기 표시부에 재생시키는 것을 특징으로 한다.
본 발명은, 복수 개의 카메라를 통해 촬영된 영상들을 합성하여 어라운드 뷰 모니터링 영상을 생성하고, 생성된 어라운드 뷰 모니터링 영상에서 영상의 변화를 검출하여 이벤트 발생을 감지함으로써, 차량 주차시 차량에 발생하는 적은 충격에 의한 경미한 사고를 감지하고 감지된 이벤트에 대한 사고 발생 상황만을 녹화할 수 있어, 별도의 센서를 구비하지 않고도 정밀한 사고 감지가 가능할 뿐만 아니라, 효율적인 영상 녹화가 가능하게 할 수 있다.
또한, 본 발명은, 차량 외부에 대한 이벤트 발생시에만 녹화를 수행하되, 이벤트 발생 위치에 해당하는 카메라만 영상 녹화를 수행함으로써 저장용량을 최소화할 수 있다.
또한, 본 발명은, 녹화된 이벤트 영상을 저장하되, 저장 용량의 초과시 녹화 영상의 자동 삭제시에도 이벤트 영상은 삭제되지 않도록 함으로써 운전자가 확인하지 못하고 삭제되는 것을 방지하고, 운전자로 하여금 신속하게 사고 상황을 인지하고 처리가 가능하게 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 모니터링 영상에서 이벤트 감지 영역을 설명하기 위한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템의 각 부의 처리 결과 영상의 일 예를 도시한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 이벤트 발생 위치를 특정하기 위해 이벤트 감지 영역울 복수 개의 영역으로 구획하여 분할한 예를 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템에서 4채널 카메라를 구비한 경우, 카메라의 위치 및 분할된 영역별 동작 카메라를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템에서 6채널 카메라를 구비한 경우, 카메라의 위치 및 분할된 영역별 동작 카메라를 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템에서 8채널 카메라를 구비한 경우, 카메라의 위치 및 분할된 영역별 동작 카메라를 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용하여 차량 외부에 발생한 이벤트를 감지하는 방법을 설명하기 위해 제공되는 흐름도이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
어라운드 뷰 모니터링(Around View Monitoring; AVM)은, 차량에 분산 설치된 복수 개의 카메라가 촬영한 차량 주변의 영상들을 합성하여 차량의 위에서 내려다본 탑뷰(Top View) 영상, 즉, 어라운드 뷰 모니터링 영상을 생성하고, 생성된 어라운드 뷰 모니터링 영상 영상을 차량의 전방 영상과 함께 모니터에 표시함으로써 운전자가 모니터의 영상을 통해 차량 주변의 상항, 즉, 차량의 전방뿐만 아니라 좌측, 우측 및 후방의 상황을 인지한 상태에서 운전을 할 수 있게 해준다. 본 발명에서는, 어라운드 뷰 모니터링 영상을 어라운드 뷰 영상, AVM 영상으로 지칭하거나, 이를 혼용하여 사용할 수 있다.
본 발명은, 복수 개의 카메라로 획득된 영상들을 합성하여 어라운드 뷰 모니터링 영상을 생성하고, 생성된 어라운드 뷰 모니터링 영상과 미리 생성된 기준 배경 영상을 비교하고, 두 영상의 변화를 검출함으로써 이벤트 발생을 감지하고 녹화를 진행할 수 있는 블랙박스 시스템을 제공하고자 한다.
따라서, 본 발명은 실시간 생성되는 AVM 영상에 대한 실시간 변화를 검출함으로써 운전자 부재시에도 차량에 발생하는 이벤트를 실시간으로 감지할 수 있게 된다.
이하 본 발명에 대해서 도면을 참조하여 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템의 구성을 설명하기 위한 블록도이다.
도 1을 참고하면, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템(100)은, 복수 개의 AVM 카메라(110)와, 복수 개의 블랙박스 카메라(120)와, 이벤트 감지 영역 설정부(130)와, AVM 영상 생성부(140), 이벤트 감지부(150), 저장부(160), 표시부(170) 및 제어부(180)를 포함하여 구현될 수 있다. 이하에서는 설명의 편이를 위해, 복수 개의 AVM 카메라(110)와, 복수 개의 블랙박스 카메라(120) 각각은 4개의 카메라를 이용하는 경우에 한해 설명하기로 한다.
복수 개의 AVM 카메라(110) 각각은 차량의 전방, 후방, 좌측 및 우측을 포함하는 사방면에 분산 설치되고, 설치된 차량 주위 환경을 각각 촬상하여 전방 이미지, 후방 이미지, 좌측 이미지 및 우측 이미지를 포함하는 복수의 이미지들을 생성하되, 광각 렌즈, 어안 렌즈 등과 같이 화각이 큰 렌즈를 구비하고, 이러한 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영 및 제공하도록 한다.
마찬가지로, 복수 개의 블랙박스 카메라(120) 각각은, 차량의 전방, 후방, 좌측 및 우측을 포함하는 사방면에 분산 설치되고, 설치된 차량 주위 환경을 각각 촬상하여 전방 이미지, 후방 이미지, 좌측 이미지 및 우측 이미지를 포함하는 복수의 이미지들을 생성하되, 광각 렌즈, 어안 렌즈 등과 같이 화각이 큰 렌즈를 구비하고, 이러한 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영하여 제공하도록 한다.
일반적으로, AVM 카메라와 블랙박스 카메라를 비교했을 때, AVM 카메라는 상대적으로 높은 수평화각을 가지며 블랙박스 카메라는 상대적으로 낮은 수평화각을 가지도록 구성될 수 있다.
이러한 복수 개의 AVM 카메라(110) 및 복수 개의 블랙박스 카메라(120)는, 4개, 6개, 8개의 카메라로 구성될 수 있으며, 차량의 상부 구조의 정면, 후면 및 양 측면 중 카메라 개수에 따라 분산 설치될 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 복수 개의 카메라가 4채널 카메라인 경우, 차량의 전방, 후방, 우측, 좌측에 AVM 카메라가 분산 설치되거나 블랙박스 카메라가 분산 설치될 수 있다.
또한, 본 발명의 일 실시예에 따른 복수 개의 카메라가 6채널 카메라인 경우, 차량의 전방, 후방, 우측, 좌측에 4개의 AVM 카메라가 각각 분산 설치되고, 전방, 후방에 2개의 블랙박스 카메라가 각각 설치될 수 있다.
또한, 본 발명의 일 실시예에 따른 복수 개의 카메라가 8채널 카메라를 구비한 경우, 차량의 전방, 후방, 우측, 좌측에 4개의 AVM 카메라 및 4개의 블랙박스 카메라가 각각 분산 설치될 수 있다.
카메라가 설치되는 위치를 보다 상세하게 설명하면, 전방에 설치된 카메라는 윈드실드 안쪽 또는 바깥쪽 유리면에 장착되거나, 보닛(bonnet)과 번호판 위쪽 라디에이터 그릴 또는 앰블럼 부근 중 카메라 화각을 보장하도록 적절한 위치에 설치될 수 있으며, 예를 들면, 차량의 보닛 중심에 설치될 수 있다.
또한, 차량의 측면, 즉, 좌측 및 우측에 설치된 카메라는 각각 차량의 양 사이드 미러를 둘러싸는 케이스 외부의 가장 자리 또는 아래 쪽에 위치하도록 설치되건, 사이드 미러를 둘러싸는 케이스 내에 설치될 수 있으며, 또는, 양측 프런트 도어, 리어 도어 또는 휀더(fender) 외측 일 영역에 설치될 수 있다. 이때, 차량의 외부 및 주변을 촬영할 수 있도록 적절한 위치에 설치될 수 있다.
또한, 후방에 설치된 카메라는, 후면 윈드실드 안쪽 또는 바깥쪽 유리면에 장착되거나, 트렁크 또는 테일 게이트 스위치 부근, 또는 후방 번호판 또는 범퍼 위쪽의 중앙에 설치될 수 있다.
위에서 설명한 카메라의 설치 위치는 바람직한 예에 대해 설명한 것으로 반드시 카메라가 해당 위치에 정확하게 설치되어야 하는 것은 아니며 적절하게 변형할 수 있다.
또한, 카메라의 높이와 각도에 의해 촬영되는 영상의 스케일, 화질 등이 상이하기 때문에 일정한 범위의 차량 주변까지 촬영될 수 있도록 전방 및 후방에 설치된 카메라의 높이는 서로 동일하게 하는 것이 바람직하며, 마찬가지로 좌측 및 우측에 설치된 카메라의 높이도 서로 동일하게 하는 것이 바람직하다.
이와 같이 카메라의 설치 높이를 동일하게 함으로써 차량 주변의 AVM 영상 생성시 중복 영역에서 차선 폭의 넓이가 동일하게 표현되지 않고 주변 사물의 크기가 이질적으로 나타나는 현상을 최소화시킬 수 있다.
또한, 좌측 및 우측에 설치된 카메라는 지면 방향의 수직선을 기준으로 화각이 170°이상이 촬영될 수 있도록 설치하는 것이 바람직하다.
여기서, 각 카메라의 설치 위치는 차량의 종류에 따라 상이할 수 있고, 차량의 디자인에 의해 설치 상의 제약이 발생할 수도 있으므로, AVM 영상을 생성할 수 있는 적절한 위치를 찾아 설치하면 된다.
일반적으로 광각 카메라는 렌즈 주변부의 광량이 부족하여 화질의 저하가 발생하고, 렌즈의 중심부보다 주변부에 왜곡이 많이 발생할 수 있다. 또한, 카메라를 통해 촬영된 영상을 시점 변환할 때 주변부의 영상은 화질이 심하게 저하된다. 따라서 카메라 렌즈의 중심부 영역에 형성된 영상을 사용하기 위해 전방 및 후방에 설치된 카메라는 광축이 지평선과 평행하도록, 좌측 및 우측에 설치된 카메라는 광축이 지면과 수직이 되도록 설치될 수 있다.
이러한 복수 개의 AVM 카메라 및 블랙박스 카메라(110, 120)는 HD급 혹은 FULL-HD급 영상을 출력하는 고화질 카메라로 구성될 수 있다.
이벤트 감지 영역 설정부(130)는, 생성된 AVM 영상 내에서 차량의 주변 인접 영역을 차량 외부에 발생한 이벤트를 감지하기 위한 이벤트 감지 영역으로 설정하되, 사용자 입력 조작에 의해 AVM 영상에서 보이는 차량의 외부 테두리로부터 일정 거리만큼 cm단위로 지정하여 설정할 수 있다.
이러한 이벤트 감지 영역 설정은, 일 실시예에 따르면, 본 발명에 따른 AVM을 이용한 블랙박스 시스템(100)의 최초 실행시, 제어부(180)의 제어에 따라 이벤트 감지 영역을 설정할 수 있도록 구현된 사용자 인터페이스 화면이 표시부(170)에 표출되고, 이에 대한 설정값이 사용자 입력 조작에 의해 입력되면 이를 반영하여 설정되고, 이후 필요에 따라 환경 설정 사용자 인터페이스 화면을 통해 수정할 수 있도록 구현될 수 있다.
AVM 영상 생성부(140)는, 복수 개의 AVM 카메라(110) 및 복수 개의 블랙박스 카메라(120) 각각이 제공하는 영상을 카메라 별로 식별하고, 영상 각각에 대응되는 카메라를 매칭하고, 이들 매칭 정보를 저장하도록 한다.
그리고, AVM 영상 생성부(140)는, 복수 개의 AVM 카메라(110) 및 복수 개의 블랙박스 카메라(120) 각각이 실시간으로 차량 주변을 촬영하여 제공하는 영상을 합성하여 AVM 영상을 생성한다. 이때, AVM 영상 생성부(140)는, 카메라의 위치 정보에 기초하여 해당 영상을 각 위치에 맞도록 합성한다.
여기서, AVM 영상은, 복수 개의 AVM 카메라(110)로부터 촬영된 차량 주변의 영상들을 합성하여 생성된 영상으로, 차량 주변에 분산 설치된 카메라(110)로부터 정면 영상, 후면 영상, 양 측면 영상을 합성하되, 왜곡된 영상을 보정처리하여 어라운드 뷰 방식으로 생성된 영상이다. 본 발명의 구성에 포함되는 AVM 영상을 생성하는 방법은 렌즈 왜곡 등을 보정하는 작업 등이 필요할 수 있는데, 이미 다양한 기술이 제안되어 있는 등 공지기술에 해당하여 구체적인 기술 설명은 생략하도록 한다.
그리고, AVM 영상 생성부(140)는, 주차시, 차량의 시동이 꺼지면, 차량의 시동이 꺼지기 직전에 복수 개의 카메라를 통해 촬영한 영상들을 합성하여 AVM 영상을 생성하고 이를 기준 배경 영상으로 저장한다. 이후, 기준 배경 영상은 이벤트 발생을 감지하기 위한 비교 영상으로 이용된다. 이때, 기준 배경 영상은, 시동이 꺼지기 직전에 생성된 이후, 주기적으로 영상의 업데이트를 진행하여 새롭게 생성된다. 이러한 기준 배경 영상의 업데이트는 조명 변화 등을 반영함으로써 주변 변화에 강인하게 하기 위함이며, 업데이트 방법은, GMM(Gaussian Mixture Model), ViBe(Universal Background subtraction algorithm) 방법과 같은 방법을 이용할 수 있다. 이러한 기술은 공지된 기술이므로 상세한 설명은 생략하도록 한다.
이벤트 감지부(150)는, 주차시 차량의 시동을 끄기 직전에 촬영하여 생성된 기준 배경 영상과 실시간 촬영된 현재 AVM 영상의 차이를 계산한 후 노이즈를 제거한 차영상을 생성한다.
여기서, 일 실시예에 따르면, 노이즈 제거는 모폴로지(morphology) 처리 기법을 이용할 수 있으며, 이는 영상에서 객체의 형태 및 구조에 대해 분석하고 처리하는 기법으로, 객체의 모양을 단순화시키거나 잡음을 제거하기 위한 전처리 과정에서 사용되는 기법으로, 이는 일반적으로 알려진 공지된 기술이므로 자세한 설명은 생략한다.
그리고, 이벤트 감지부(150)는, 생성된 차영상으로부터 영상의 변화를 검출하여 이벤트 발생을 감지하고, 감지된 이벤트의 발생 위치를 판단한다. 여기서, 이벤트 발생 위치를 보다 정확하게 판단하기 위해서, 이벤트 감지부(150)는, 차영상을 다수의 영역으로 구획하여 분할하고 분할된 영역으로부터 이벤트 발생 위치를 검출할 수 있다. 예를 들면, 본 발명의 일 실시예에 따르면, 생성된 차영상을 9개의 영역으로 구획하여 분할하고 각 영역별로 해당 영역을 촬영하는 카메라를 매칭하여 관리할 수 있다.
즉, 이벤트 감지부(150)는, 복수 개의 구획된 분할 영역 중 이벤트 발생 위치를 판단하고, 판단된 이벤트 발생 위치 정보를 제어부(180)로 출력한다.
제어부(180)는 AVM 영상을 이용한 이벤트 발생 감지를 위한 각 부의 기능을 제어할 수 있다.
구체적으로, 제어부(180)는, 전달된 이벤트 발생 위치 정보를 이용하여 해당 위치와 매칭된 카메라를 검색하고, 해당 카메라의 녹화를 실행하도록 제어한다. 이때, 제어부(180)는, 녹화된 이벤트 영상을 저장부(160)에 저장하는데, 녹화된 이벤트 영상과 이벤트 발생 시각, 이벤트 영상의 썸네일 이미지 등을 포함하는 이벤트 정보를 생성하여 매칭한 후 함께 저장한다.
그리고, 제어부(180)는, 차량의 시동이 켜질 때, 이벤트 정보가 표시부(170)에 표출되도록 제어할 수 있다. 여기서, 이벤트 정보가 복수 개일 경우, 제어부(180)는, 시간 순서로 정렬된 리스트 형태로 표시부(170)에 표출되도록 제어할 수 있으며, 사용자 조작에 의해 이벤트 정보가 선택되면 제어부(180)는 선택된 이벤트 정보와 매칭된 이벤트 영상을 저장부(160)로부터 호출하여 표시부(170)에 재생시킬 있다. 이를 통해 운전자는 주차된 동안 발생된 이벤트에 대한 신속한 인지가 가능하고, 이에 대한 확인 및 대응이 가능하게 된다.
저장부(160)는, 녹화된 이벤트 영상, 녹화된 이벤트 영상과 매칭된 이벤트 정보, 이벤트 감지부(150)에서 구획된 분할 영역별 매칭된 카메라 위치 정보 등이 저장되며, 또한, 제어부(180)의 처리 또는 제어를 위한 프로그램 등 본 발명의 블랙박스 시스템(100) 전반의 동작을 실행하기 위한 다양한 데이터를 저장할 수 있다.
표시부(170)는, 생성된 AVM 영상, 이벤트 정보 및 이벤트 영상이 표출되는 디스플레이 기기로, 각 부에서 처리되는 정보를 표시할 수 있다. 예를 들면, 표시부(170)는 차량이 저속 운행 중일 때는 실시간으로 생성된 AVM 영상을 표출시키고, 엔진이 정지된 이후 시동이 다시 켜질 때는 저장된 이벤트 정보를 표출시킬 수 있다. 그리고, 표시부(170)는, 이벤트 정보가 선택되면 해당 이벤트 영상을 재생할 수 있다. 이때, 재생되는 이벤트 영상은 이벤트 발생 위치에 대한 부분 영상과 함께 차량 전면에 대한 탑뷰 영상을 함께 재생할 수 있다. 이를 통해 운전자가 이벤트 발생 대상에 대한 정보를 획득할 수 있도록 한다.
이러한 표시부(170)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다. 또한, 표시부(170)는, 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다.
통신부는, 도시하지는 않았지만, 제어부(180)의 제어에 의해 생성된 이벤트 정보를 기 등록된 사용자 단말로 송신할 수 있다. 이를 통해 운전자에게 이벤트 발생을 실시간으로 통지할 수 있고, 이에 대한 운전자의 신속한 확인 및 대응이 가능하게 된다.
이러한 통신부는, 본 발명에 따른 블랙박스 시스템(100)과 사용자 단말을 연결하는 네트워크일 수 있으며, 네트워크는, 무선 통신을 구축하기 위한 것으로서, 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTEA(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등을 적용할 수 있다. 그러나 이에 한정되는 것은 아니며, 무선 통신 기술의 발전에 따라 다양하게 응용 실시할 수 있다. 한편, 상기 네트워크에는 장거리의 전송을 위한 중계기를 포함할 수 있다.
상술한 바와 같이, 본 발명은, 차량의 주차시 획득한 기준 배경 영상과, 실시간 생성되는 현재 AVM 영상을 비교하여 영상차 발생시 이벤트 발생으로 판단하여 이벤트를 감지함으로써 일반적인 블랙박스로는 감지하기 어려운 적은 충격의 문콕이나 차량 긁힘 등의 사고를 감지할 수 있고, 또한, 감지된 이벤트 발생 위치에 대응하는 카메라만 녹화를 수행함으로써 효율적인 저장공간 관리가 가능하고, 엔진 시동시 이벤트 정보를 표출시킴으로써 운전자가 이벤트 발생을 인지하고 차량 훼손 여부를 신속하게 확인할 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 모니터링 영상에서 이벤트 감지 영역을 설명하기 위한 개략도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따르면, 이벤트 감지 영역 설정부(130)에서 AVM 영상(200)의 전체 화면 내 이벤트 감지 영역(230)이 설정되는데, 사용자의 조작에 의해 차량 주변 영역(220) 중 차량 인접 영역, 즉, 카메라 앵글로부터 보이는 차량(210) 외부 테두리로부터 일정 거리를 cm 단위로 지정하고, 지정된 일정 거리로 이어지는 영역을 이벤트 감지 영역(220)으로 설정할 수 있다.
이러한 이벤트 감지 영역(220)은, 차량(210)을 중심으로 형성된 차량의 인근 영역을 기준으로, 이벤트 발생 원인인 객체의 진입 및 진출을 감지하는 영역이다.
도 2에서는, 이벤트 감지 영역(210)이 사각 형태로 설정되었으나, 이에 한정되는 것은 아니며, 차량(210)을 중심으로 한 반경으로 설정될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템의 각 부의 처리 결과 영상의 일 예를 도시한 예시도이다.
도 3을 참조하면, 본 발명의 AVM 영상을 이용한 블랙박스 시스템(100)의 AVM 영상 생성부(140)는, 실시간으로 복수 개의 AVM 카메라(110)로부터 촬영된 영상들을 합성하여 AVM 영상을 생성한다.
일 실시예에 따라 차량의 우측에 객체가 진입한 경우, AVM 영상 생성부(140)에서는, 차량(310)의 우측 이벤트 감지 영역(330)에 객체(10)가 진입한 AVM 영상(300)이 생성된다.
그러면, 이벤트 감지부(150)는, 미리 생성된 기준 배경 영상과 현재 생성된 AVM 영상의 차이를 계산(310)한 후 노이즈를 제거하여 차영상(320)을 생성한다. 여기서, 기준 배경 영상은 차량의 주차시 마지막으로 촬영을 통해 생성된 AVM 영상이며, 노이즈 제거는 모폴로지 처리 기법을 이용하되, 이는 노이즈 처리를 위한 공지된 하나의 기법을 사용한 것일 뿐 본 발명은 이에 한정되는 것은 아니다.
그리고, 이벤트 감지부(150)는, 생성된 차영상(320)으로부터 기준 배경 영상과 현재 AVM 영상 간 영상 변화를 검출하고, 영상 변화가 검출되면 이벤트 발생으로 판단하며 그렇지 않을 경우 실시간 생성되는 AVM 영상에 대한 영상 처리를 계속 수행한다.
이벤트 감지부(150)는, 이벤트 발생으로 판단될 경우, 해당 영상(330)을 복수 개의 분할영역으로 구획하고, 구획된 분할 영역 중 이벤트 발생 위치를 판단한다.
도 3에 따르면, 분할 영역 중 ⑥, ⑨ 영역에 걸쳐 객체(40)가 위치하므로, 이벤트 감지부(150)는, ⑥, ⑨ 영역을 이벤트 발생 위치로 판단하고, 판단된 이벤트 발생 위치 정보를 제어부(180)로 전달한다.
그러면, 제어부(180)는, 이벤트 발생 위치 정보와 매칭되는 카메라 정보를 조회하고 해당 카메라가 녹화를 수행하도록 제어할 수 있다.
따라서 상술한 바와 같이 본 발명에 따른 AVM 영상을 이용한 블랙박스 시스템에 따르면, 운전자의 부재시 적은 충격량으로 감지하기 어려운 경미한 사고와 같은 이벤트를 AVM 영상 분석을 통해 감지할 수 있을 뿐만 아니라, 이벤트 발생시에만 이벤트 발생 위치의 카메라가 녹화를 실행하여 저장함으로써 이벤트 발생과 무관한 불필요한 녹화를 수행할 필요가 없어 효율적인 블랙박스 기능을 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 이벤트 발생 위치를 특정하기 위해 이벤트 감지 영역을 복수 개의 영역으로 구획하여 분할한 예를 설명하기 위한 예시도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따르면, AVM 영상(400)의 이벤트 감지 영역(430)을 차량(410)을 중심으로 9개의 영역으로 구획하여 분할하고, 각 영역을 차량(410) 전방 부분부터 차례로 1, 2, 3, 중간 부분도 차례로 4, 5, 6, 후미 부분도 차례로 7, 8, 9로 지정한다.
이를 통해 이벤트 감지부(150)는, 이벤트 감지 영역(430)에서 객체가 위치하는 영역을 검출함으로써 이벤트 발생 위치를 특정할 수 있다.
따라서, 각 영역 중 특정된 이벤트 발생 위치에 따라 영역 1에서 이벤트 발생이 감지되면, 정면 및 좌측면 영상을 촬영하는 카메라의 녹화를 제어하고, 영역 2에서 이벤트 발생이 감지되면, 정면을 촬영하는 카메라의 녹화를 제어하고, 영역 3에서 이벤트 발생이 감지되면, 정면 및 우측면을 촬영하는 카메라의 녹화를 제어하고, 영역 4에서 이벤트 발생이 감지되면, 좌측면을 촬영하는 카메라의 녹화를 제어하고, 영역 6에서 이벤트 발생이 감지되면, 우측면을 촬영하는 카메라의 녹화를 제어하고, 영역 7에서 이벤트 발생이 감지되면, 후면 및 좌측면을 촬영하는 카메라의 녹화를 제어하고, 영역 8에서 이벤트 발생이 감지되면, 후면을 촬영하는 카메라의 녹화를 제어하고, 영역 9에서 이벤트 발생이 감지되면, 후면 및 우측면을 촬영하는 카메라의 녹화를 제어한다.
도 5는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템에서 4채널 카메라를 구비한 경우, 카메라의 위치 및 분할된 영역별 동작 카메라를 설명하기 위한 예시도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따르면, 복수 개의 카메라가 4채널 카메라인 경우, 4채널 AVM 카메라로 구현될 수 있다.
구체적으로, 본 발명의 복수 개의 카메라가 4채널 AVM 카메라로 구현될 경우, 정면 AVM 카메라(C1)는 차량(510)의 전면부(프론트윈드실드) 유리 또는 룸미러에 설치될 수 있고, 후면 AVM 카메라(C2)는 차량(510)의 후면부(리어윈드실드)의 유리에 고정 설치될 수 있고, 양 측면 AVM 카메라(C3, C4)는 차량(510)의 양 사이드미러 또는 양 앞문에 고정 설치될 수 있다. 본 발명에서 AVM 카메라의 설치 위치는 하나의 예시일 뿐 이에 한정되는 것은 아니며 정면의 경우 차량의 보닛, 엠블램, 라디에이터 그릴 중 하나를 선택하여 설치될 수 있으며, 후면의 경우, 트렁크 도어의 테일게이트에 설치될 수 있고, 차량의 주변 영상을 촬영할 수 있는 적절한 위치에 설치될 수 있다. 이러한 AVM 카메라의 화각은 140도 내지 180도 일 수 있으면, 필요한 범위 내에서 선택될 수 있다.
구획된 영역별로 매칭된 카메라를 설명하면, 영역 1에서 이벤트 감지시 정면과 좌측면 AVM 카메라(C1, C3)의 녹화를 실행하며, 영역 2에서 이벤트 감지시 정면 AVM 카메라(C1)의 녹화를 실행하며, 영역 3에서 이벤트 감지시 정면과 우측면 AVM 카메라(C1, C4)의 녹화를 실행하며, 영역 4에서 이벤트 감지시 좌측면 AVM 카메라(C3)의 녹화를 실행하며, 영역 6에서 이벤트 감지시 우측면 AVM 카메라(C4)의 녹화를 실행하며, 영역 7에서 이벤트 감지시 후면과 좌측면 AVM 카메라(C2, C3)의 녹화를 실행하며, 영역 8에서 이벤트 감지시 후면 AVM 카메라(C2)의 녹화를 실행하며, 영역 9에서 이벤트 검출시 후면과 우측면 AVM 카메라(C2, C4)의 녹화를 실행하도록 구현될 수 있다.
도 6은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템에서 6채널 카메라를 구비한 경우, 카메라의 위치 및 분할된 영역별 동작 카메라를 설명하기 위한 예시도이다.
본 발명의 일 실시예에 따르면, 복수 개의 카메라가 6채널 카메라인 경우, 2채널 블랙박스 카메라와 4채널 AVM 카메라의 조합으로 구현될 수 있다.
또한, 본 발명의 일 실시예에 따르면, AVM 카메라 및 블랙박스 카메라의 설치 위치는 설계에 따라 차량(610)에 적절하게 분산 설치되도록 구현될 수 있다. 예를 들어, 정면 블랙박스 카메라(C1)는 차량(610)의 전면부(프론트윈드실드) 유리 또는 룸미러에 설치될 수 있고, 후면 블랙박스 카메라(C2)는 차량(610)의 후면부(리어윈드실드)의 유리에 고정 설치될 수 있다. 그리고, 양 측면 AVM 카메라(C3, C4)는 차량(610)의 양 사이드미러 또는 양 앞문에 고정 설치될 수 있으며, 정면 AVM 카메라(C5)의 경우 차량의 보닛, 엠블램, 라디에이터 그릴 중 하나를 선택하여 설치될 수 있으며, 후면 AVM 카메라(C6)의 경우, 트렁크 도어의 테일게이트에 설치될 수 있다. 본 발명에서 AVM 및 블랙박스 카메라의 설치 위치는 하나의 예시일 뿐 이에 한정되는 것은 아니며, 차량의 주변 영상을 촬영할 수 있는 적절한 위치에 설치될 수 있다. 이러한 AVM 및 블랙박스 카메라의 화각은 140도 내지 180도 일 수 있으면, 필요한 범위 내에서 적절하게 선택될 수 있다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 6채널 카메라는, 정면 및 후면 블랙박스 카메라(C1, C2)와, 정면, 후면 및 양 측면의 AVM 카메라(C5, C6, C3, C4)로 구현된다.
이때, 구획된 영역별로 매칭된 카메라를 설명하면, 영역 1에서 이벤트 발생시 정면과 좌측면 AVM 카메라(C5, C3) 및 정면 블랙박스 카메라(C1)의 녹화가 실행되며, 영역 2에서 이벤트 발생시 정면 AVM 카메라(C5) 및 정면 블랙박스 카메라(C1)의 녹화가 실행되며, 영역 3에서 이벤트 발생시 정면과 우측면 AVM 카메라(C5, C4) 및 정면 블랙박스 카메라(C1)의 녹화가 실행되며, 영역 4에서 이벤트 발생시 좌측면 AVM 카메라(C4)의 녹화가 실행되며, 영역 6에서 이벤트 발생시 우측면 AVM 카메라(C4)의 녹화가 실행되며, 영역 7에서 이벤트 발생시 후면과 좌측면 AVM 카메라(C6, C3) 및 후면 블랙박스 카메라(C2)의 녹화가 실행되며, 영역 8에서 이벤트 발생시 후면 AVM 카메라(C6) 및 후면 블랙박스 카메라(C2)의 녹화가 실행되며, 영역 9에서 이벤트 발생시 후면과 우측면 AVM 카메라(C6, C4) 및 후면 블랙박스 카메라(C2)의 녹화가 실행된다.
한편, 본 발명의 일 실시예에 있어서, 이벤트 발생 위치에 해당하는 영역의 촬영 카메라가 AVM 카메라와 블랙박스 카메라가 모두 존재하면, 블랙박스 카메라만 영상 녹화를 실행하고, AVM 카메라 또는 블랙박스 카메라 중 하나만 존재하면 해당 카메라가 영상 녹화를 실행하도록 구현될 수 있다.
예를 들면, 영역 1, 영역 2 및 영역 3에서 이벤트 발생시 정면 블랙박스 카메라(C1)만 녹화를 실행하고, 영역 4에서 이벤트 발생시 블랙박스 카메라가 존재하지 않고 AVM 카메라(C3)만 존재하므로 AVM 카메라(C3)가 녹화를 실행하고, 영역 6에서 이벤트 발생시 영역 4와 마찬가지로, AVM 카메라(C4)만 존재하므로 AVM 카메라(C4)가 녹화를 실행하고, 영역 7, 영역 8 및 영역 9에서 이벤트 발생시 후면 블랙박스 카메라(C2)만 녹화를 실행할 수 있다.
도 7은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템에서 8채널 카메라를 구비한 경우, 카메라의 위치 및 분할된 영역별 동작 카메라를 설명하기 위한 예시도이다.
본 발명의 일 실시예에 따르면, 복수 개의 카메라가 8채널 카메라인 경우, 4채널 블랙박스 시스템과 4채널 AVM 카메라의 조합으로 구현될 수 있다.
또한, 본 발명의 일 실시예에 따르면, AVM 카메라 및 블랙박스 카메라의 설치 위치는 설계에 따라 차량(710)에 적절하게 분산 설치되도록 구현될 수 있다. 예를 들어, 정면 블랙박스 카메라(C1)는 차량(710)의 전면부(프론트윈드실드) 유리 또는 룸미러에 설치될 수 있고, 후면 블랙박스 카메라(C2)는 차량(710)의 후면부(리어윈드실드)의 유리에 고정 설치될 수 있다. 그리고, 정면 AVM 카메라(C5)의 경우 차량의 보닛, 엠블램, 라디에이터 그릴 중 하나를 선택하여 설치될 수 있으며, 후면 AVM 카메라(C6)의 경우, 트렁크 도어의 테일게이트에 설치될 수 있다. 그리고, 양 측면 AVM 및 블랙박스 카메라(C3, C4, C7, C8)는 차량(710)의 양 사이드미러 또는 양 앞문에 고정 설치될 수 있다. 본 발명에서 AVM 및 블랙박스 카메라의 설치 위치는 하나의 예시일 뿐 이에 한정되는 것은 아니며, 차량의 주변 영상을 촬영할 수 있는 적절한 위치에 설치될 수 있다. 이러한 AVM 및 블랙박스 카메라의 화각은 140도 내지 180도 일 수 있으면, 필요한 범위 내에서 적절하게 선택될 수 있다.
구체적으로, 도 7을 참조하면, 본 발명의 복수 개의 카메라는, 정면, 후면 및 양 측면에 설치된 4채널 AVM 카메라(C5, C6, C7, C8)와 정면, 후면 및 양 측면에 설치된 4채널 블랙박스 카메라(C1, C2, C3, C4)로 구현될 수 있다.
이때, 구획된 영역별로 매칭된 카메라를 설명하면, 영역 1에서 이벤트 발생시 정면과 좌측면의 AVM 카메라(C5, C7) 및 블랙박스 카메라(C1, C3)의 녹화가 실행되며, 영역 2에서 이벤트 발생시 정면의 AVM 카메라(C5) 및 블랙박스 카메라(C1)의 녹화가 실행되며, 영역 3에서 이벤트 발생시 정면과 우측면의 AVM 카메라(C5, C8) 및 블랙박스 카메라(C1, C4)의 녹화가 실행되며, 영역 4에서 이벤트 발생시 좌측면의 AVM 카메라(C7) 및 블랙박스 카메라(C3)의 녹화가 실행되며, 영역 6에서 이벤트 발생시 우측면의 AVM 카메라(C8) 및 블랙박스 카메라(C4)의 녹화가 실행되며, 영역 7에서 이벤트 발생시 후면과 좌측면의 AVM 카메라(C6, C7) 및 블랙박스 카메라(C2, C3)의 녹화가 실행되며, 영역 8에서 이벤트 발생시 후면의 AVM 카메라(C6) 및 블랙박스 카메라(C2)의 녹화가 실행되며, 영역 9에서 이벤트 발생시 후면과 우측면의 AVM 카메라(C6, C8) 및 블랙박스 카메라(C2, C4)의 녹화가 실행된다.
한편, 본 발명의 일 실시예에 있어서, 이벤트 발생 위치에 해당하는 영역의 촬영 카메라가 AVM 카메라와 블랙박스 카메라 모두 존재하면, 블랙박스 카메라만 영상 녹화를 실행하도록 구현될 수 있다.
예를 들면, 영역 1, 영역 2 및 영역 3에서 이벤트 발생시 정면 블랙박스 카메라(C1)만 녹화를 실행하고, 영역 4에서 이벤트 발생시 블랙박스 카메라(C3)가 녹화를 실행하고, 영역 6에서 이벤트 발생시 블랙박스 카메라(C4)가 녹화를 실행하고, 영역 7, 영역 8 및 영역 9에서 이벤트 발생시 후면 블랙박스 카메라(C2)만 녹화를 실행할 수 있다.
도 5 내지 도 7에서 차량에 카메라가 분산 설치된 예를 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 복수 개의 카메라가 필요한 설계에 따라 적절한 개수 및 위치로 분산 설치될 수 있으며 설치된 위치에 따라 촬영된 영상은 공지된 영상 보정 및 합성 기술을 통해 AVM 영상을 생성할 수 있다.
도 8은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 영상을 이용하여 주차시 차량 외부에 발생한 이벤트를 감지하는 방법을 설명하기 위해 제공되는 흐름도이다. 본 발명의 일 실시예에 따른 AVM 영상을 이용한 블랙박스 시스템은, AVM 영상을 이용한 이벤트 감지를 수행하는 프로세서를 제어부에 구비하며, 프로세서를 통해 사용자 조작이 가능한 사용자 인터페이스 화면을 구현하고 사용자 조작에 따른 입력값을 받아 처리할 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 AVM 영상을 이용한 블랙박스 시스템은, 먼저, 이벤트 감지 영역 설정부에서 AVM 영상 내 차량의 주변 인접 영역 중 차량의 외부 테두리로부터 일정 거리만큼 지정하여 이벤트 감지 영역으로 설정한다(S810).
일 실시예에 따르면, 본 발명에 따른 AVM 영상을 이용한 블랙박스 시스템의 최초 실행시, 제어부의 제어에 따라 이벤트 감지 영역을 설정할 수 있도록 구현된 사용자 인터페이스 화면이 표시부에 표출되고, 이에 대한 설정값이 입력되면 이를 반영하여 이벤트 감지 영역이 설정되고, 이후 필요에 따라 환경 설정 사용자 인터페이스 화면을 통해 수정할 수 있도록 구현될 수 있다.
이후, 차량의 주차시, 엔진이 정지되면(S820), AVM 영상 생성부에서, 엔진이 정지되는 시점에 복수 개의 카메라를 통해 촬영한 영상들을 합성하여 AVM 영상을 생성하고, 생성된 AVM 영상을 이벤트 감지를 위한 기준 배경 영상으로 설정하고 이를 저장한다(S830).
그리고, 실시간으로 복수 개의 카메라가 차량 주변을 촬영하고, AVM 영상 생성부에서, 촬영된 영상들을 합성하여 현재 AVM 영상을 생성한다(S840).
그런 다음, 이벤트 감지부에서, 기준 배경 영상과 현재 AVM 영상의 차이를 계산하고 노이즈를 제거하여 차영상을 생성하고(S850), 두 영상의 변화 여부를 확인한다(S860).
판단 결과, 두 영상의 변화가 있으면(S860, Y), 이벤트 발생으로 판단하고(S870), 이벤트 발생 위치 정보를 제어부로 전달한다.
그러면, 제어부에서, 전달된 이벤트 발생 위치 정보에 기초하여 해당 위치를 촬영하는 카메라가 녹화를 수행하고 이를 저장하도록 제어한다(S880). 이때, 제어부는 이벤트가 발생된 위치의 카메라가 촬영하는 이벤트 영상을 이벤트 정보와 매칭시키고 이를 저장부에 저장한다. 저장된 이벤트 영상은 사용자의 삭제 요청이 입력되기 전까지 저장되도록 구현될 수 있다. 여기서, 이벤트 정보는, 이벤트 발생 시각, 이벤트 영상의 썸네일 이미지 등을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 이벤트 영상의 녹화는, 이벤트가 발생된 시점부터 설정된 시간 동안 이루어지거나, 실시간 생성되는 현재 AVM 영상과 기준 배경 영상의 변화가 발생되지 않는 시점 이후 일정 시간 동안 이루어지도록 구현될 수 있다.
한편, 판단 결과, 두 영상의 변화가 없으면(S860, N), 실시간 촬영된 영상을 합성해 AVM 영상을 생성하는 과정(S840)으로 복귀하고, 생성된 현재 AVM 영상과 주차시 생성되어 저장된 기준 배경 영상을 비교하는 이후 과정들을 계속해서 수행한다.
상술한 바와 같이 본 발명은, 운전자의 부재시 발생하는 이벤트를 영상 분석을 통해 감지함으로써, 적은 충격으로 인해 놓칠 수 있는 이벤트 발생을 감지할 수 있을 뿐만 아니라, 이벤트 감지시에만 녹화를 수행하되, 이벤트 발생 위치를 파악하고 해당 위치에 대한 영상 녹화를 수행함으로써, 불필요한 녹화를 줄여 효율적인 영상 저장이 가능하게 한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (5)

  1. 차량에 분산 설치되며, 차량 주변을 촬영하여 제1 수평 화각을 가지는 복수 개의 주변 영상을 획득 및 출력하는 복수 개의 AVM(Around View Monitoring) 카메라;
    차량에 분산 설치되며, 차량 주변을 촬영하여 제1 수평 화각 보다 낮은 제2 수평 화각을 가지는 복수의 주변 영상을 획득 및 출력하는 복수 개의 블랙박스 카메라;
    AVM 영상으로부터 이벤트 발생을 감지하기 위한 이벤트 감지 영역을 설정하는 이벤트 감지 영역 설정부;
    상기 차량의 엔진 정지 시점에, 상기 복수 개의 AVM 카메라로부터 출력되는 주변 영상들을 이용해 AVM 영상을 생성하고, 생성된 AVM 영상을 기준 배경 영상으로 저장하고, 상기 차량의 엔진 정지 이후, 상기 복수 개의 AVM 카메라로부터 실시간 출력되는 주변 영상을 이용해 AVM 영상을 생성하는 AVM 영상 생성부;
    실시간 생성된 AVM 영상과 저장된 기준 배경 영상을 비교하고, 두 영상의 변화 감지시 상기 이벤트 감지 영역에 대한 이벤트 발생을 판단하는 이벤트 감지부; 및
    상기 이벤트 감지 영역 내 이벤트 발생으로 판단되면, 이벤트 발생 영역의 영상을 획득하여 녹화 진행하는 제어부;를 포함하며,
    상기 제어부는
    이벤트 발생 영역에 블랙박스 카메라가 존재하는 경우에는 블랙박스 카메라를 우선 이용하여 영상 녹화를 실행하되, AVM 카메라만이 존재하는 경우에는 AVM 카메라를 이용하여 영상 녹화를 실행하는 것을 특징으로 하는 AVM 영상을 이용한 블랙박스 시스템.
  2. 제1항에 있어서,
    상기 복수 개의 촬영장치는, AVM 영상을 획득하는 n(n은 4이상의 자연수)개의 카메라 및 블랙박스 영상을 획득하는 m(m은 2이상의 자연수)개의 카메라 중 적어도 어느 하나 또는 그 조합인 것을 특징으로 하는 AVM 영상을 이용한 블랙박스 시스템.
  3. 제2항에 있어서,
    상기 이벤트 감지 영역 설정부는, AVM 영상 내 차량의 외부 테두리로부터 지정된 일정 거리에 해당하는 영역을 이벤트 감지 영역으로 설정하되, 각 카메라별로 CM 단위로 설정값을 입력받아 설정되는 것을 특징으로 하는 AVM 영상을 이용한 블랙박스 시스템.
  4. 제1항에 있어서,
    상기 이벤트 감지부는, 상기 기준 배경 영상과 현재 AVM 영상의 차이를 계산한 후, 노이즈 제거를 통해 두 영상의 변화가 확인되면, 상기 이벤트 감지 영역 내 이벤트 발생인지 확인하고, 상기 이벤트 감지 영역 내 이벤트 발생으로 확인되면, 상기 이벤트 발생 위치를 확인하고 이벤트 발생 위치 정보를 생성하는 것을 특징으로 하는 AVM 영상을 이용한 블랙박스 시스템.
  5. 제4항에 있어서,
    상기 블랙박스 시스템은, 생성된 AVM 영상을 표출하는 표시부;를 더 포함하며,
    상기 제어부는, 상기 이벤트 발생 위치 정보에 기초하여 상기 이벤트 발생 위치에 대응하는 카메라의 녹화를 수행하여 이벤트 영상을 생성하도록 제어하되, 생성된 이벤트 영상을 적어도 이벤트 발생 시각을 포함하는 이벤트 정보와 매칭시켜 저장하고, 차량의 엔진 시동시 저장된 이벤트 정보를 상기 표시부에 표출하도록 제어하되, 상기 이벤트 정보와 매칭된 이벤트 영상 보기가 요청되면, 저장된 이벤트 영상을 상기 표시부에 재생시키는 것을 특징으로 하는 AVM 영상을 이용한 블랙박스 시스템.
KR1020200187608A 2020-12-30 2020-12-30 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템 KR102459993B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200187608A KR102459993B1 (ko) 2020-12-30 2020-12-30 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200187608A KR102459993B1 (ko) 2020-12-30 2020-12-30 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템

Publications (2)

Publication Number Publication Date
KR20220095761A KR20220095761A (ko) 2022-07-07
KR102459993B1 true KR102459993B1 (ko) 2022-10-28

Family

ID=82398971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200187608A KR102459993B1 (ko) 2020-12-30 2020-12-30 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템

Country Status (1)

Country Link
KR (1) KR102459993B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120060175A (ko) 2012-01-13 2012-06-11 한상관 분유 또는 요쿠르트 또는 연유 생산용 우유원유 가공방법과 우유와 사람이 먹는 모든 음료와 모든 식품과 모든 음식을 가공하는 공법과 바닷물을 먹을 수 있게 가공하는 공법과 민물을 바닷물로 제조하는 공법과 민물 또는 상수도 및 하수 또는 폐수 또는 민물 또는 바닷물을 정수하는 공법과 소금 생산용 해수를 제조하는 공법과 술을 제조하는 공법과 간장이나 고추장이나 된장과 같은 유동성 식품과 모든 기름과 식초와 음료 같은 식품을 제조하는 공법과 친환경 음식물 쓰레기 처리공법과 가스생산공법과 여기에 적용되는 정수장치
KR101747214B1 (ko) * 2012-03-12 2017-06-15 한화테크윈 주식회사 다채널 영상 분석 방법 및 시스템
KR102211496B1 (ko) * 2014-05-14 2021-02-03 주식회사 인텔리빅스 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법
KR102094405B1 (ko) * 2018-06-29 2020-04-13 주식회사 대성엘텍 영상을 이용한 사고 유무 판단 방법 및 장치

Also Published As

Publication number Publication date
KR20220095761A (ko) 2022-07-07

Similar Documents

Publication Publication Date Title
US20210092349A1 (en) Exposure coordination for multiple cameras
JP6705533B2 (ja) センサ装置、パラメータ設定方法
JP6683280B1 (ja) センサ装置、信号処理方法
JP7024782B2 (ja) 画像処理装置と画像処理方法および撮像装置
WO2018123360A1 (en) Image processing device, image processing method, and image processing system
KR102211496B1 (ko) 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법
JP2021509238A (ja) ダイナミックレンジを拡大するための複数の動作モード
US11265508B2 (en) Recording control device, recording control system, recording control method, and recording control program
JP6705534B2 (ja) センサ装置、信号処理方法
US20200167996A1 (en) Periphery monitoring device
CN108399777A (zh) 一种辅助驾驶方法、装置及电子设备
US10937319B2 (en) Information provision system, server, and mobile terminal
CN106203272A (zh) 确定可移动对象的移动的方法和装置
CN103426213B (zh) 一种行车记录仪及具有行车记录仪的车辆
WO2020080139A1 (ja) センサ装置、パラメータ設定方法
CN110728770A (zh) 一种车辆行驶监控方法、装置、系统及电子设备
WO2020080141A1 (ja) センサ装置、信号処理方法
KR102459993B1 (ko) 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템
WO2024024148A1 (ja) 車載監視装置、情報処理装置および車載監視システム
JP2020150295A (ja) 車両防犯装置
JP7500527B2 (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
WO2022073461A1 (zh) 泊车过程展示方法、装置及车辆
KR20230174941A (ko) 도난방지기능을 갖는 대시캠 및 대시캠에 대한 도난방지시스템
JP2023046953A (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
JP2020109572A (ja) 撮像情報記憶装置、撮像情報記憶方法及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant