KR102497614B1 - 적응형 범용 감시 시스템 및 그 구동방법 - Google Patents

적응형 범용 감시 시스템 및 그 구동방법 Download PDF

Info

Publication number
KR102497614B1
KR102497614B1 KR1020220072791A KR20220072791A KR102497614B1 KR 102497614 B1 KR102497614 B1 KR 102497614B1 KR 1020220072791 A KR1020220072791 A KR 1020220072791A KR 20220072791 A KR20220072791 A KR 20220072791A KR 102497614 B1 KR102497614 B1 KR 102497614B1
Authority
KR
South Korea
Prior art keywords
image
camera module
surveillance
unit
vehicle
Prior art date
Application number
KR1020220072791A
Other languages
English (en)
Inventor
장승환
Original Assignee
장승환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 장승환 filed Critical 장승환
Priority to KR1020220072791A priority Critical patent/KR102497614B1/ko
Application granted granted Critical
Publication of KR102497614B1 publication Critical patent/KR102497614B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/15—Output devices or features thereof
    • B60K2370/157—Acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/16—Type of information
    • B60K2370/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

본 발명은 범용 감시 시스템 및 그 구동방법을 개시한다. 보다 상세하게는, 본 발명은 승용차 또는 화물차 등, 다양한 차종의 차량에 탑재되어 전후좌우 방향에 대한 실시간 감시 기능을 제공하는 적응형 범용 감시 시스템 및 그 구동방법에 관한 것이다.
본 발명의 실시예에 따르면, 차량에 하나 이상의 카메라를 설치하고, 설치초기 단계별 복수의 설정영상을 생성 및 분석하여 최적 설정을 도출하고, 설치 이후 카메라의 실시간 영상 분석을 통해 등장하는 객체를 식별 및 추적하여 경고를 운전자에게 제공함으로써 보다 안전하게 주행할 수 있도록 하는 효과가 있다.

Description

적응형 범용 감시 시스템 및 그 구동방법{ADAPTIVE UNIVERAL MONITORING SYSTEM AND DRIVING METHOD THREROF}
본 발명은 범용 감시 시스템 및 그 구동방법에 관한 것으로, 승용차 또는 화물차 등, 다양한 차종의 차량에 탑재되어 전후좌우 방향에 대한 실시간 감시 기능을 제공하는 적응형 범용 감시 시스템 및 그 구동방법에 관한 것이다.
일반적으로, 승용차, 화물차, 승합차 등 다양한 종류의 차량에는 건물 내부로 진입하거나 주차 시도시, 후방뿐만 아니라 차량의 좌우 방향에서 진행하고자 하는 방향이나 장소를 운전자가 즉시 확인할 수 있도록 하는 룸미러, 백미러 등의 시야확보 수단이 설치되어 있다.
그러나, 이러한 룸미러 등은 대체로 시야범위가 좁고, 운전자와의 사이에 동승자 등의 시야 장애요소가 존재하면 가려짐에 따라 운전자가 볼 수 없으므로 설치 위치에 제약이 있고, 복수의 미러가 서로 다른 위치에 설치되어 있으므로 한 눈으로 여러 방향을 감시할 수 없어 각 방향으로 고개를 돌려 확인해야 함에 따라, 감시가 용이하지 않으며 어느 하나의 미러를 통해 그 방향을 감시하는 도중 다른 방향의 감시가 소홀하게 됨으로써 오히려 예기치 못한 사고 발생의 원인이 되기도 한다.
이에, 현재에는 차량에 설치되는 거울을 대체하거나, 이와 더불어 설치되어 감시영역을 확장해주는 카메라를 이용한 영상 감시 시스템이 널리 배포되고 있다. 이러한 영상 감시 시스템은, 미러 대신 혹은 미러와 별도로 하나 이상의 카메라를 차량에 설치하고, 운전석과 인접하여 CCTV(Closed Circuit Television) 방식의 모니터를 설치함으로써, 카메라가 실시간으로 촬영하는 전후좌우 각 방향에 대하여 모니터에 표시함으로써, 운전자가 원하는 방향을 한눈에 감시할 수 있도록 한 것이다.
전술한 영상 감시 시스템의 카메라는 기존 백미러 등에 비하여 카메라의 설치위치가 비교적 자유로우며, 광학적 렌즈를 통해 일반적인 미러보다도 넓은 시야를 확보할 수 있을 뿐만 아니라, 운전석 가까이에 배치되는 모니터를 통해 각 방향을 감시할 수 있으므로, 시선을 전방에 두고 각 방향을 확인할 수 있어 주차뿐만 아니라, 안전한 주행에 도움이 된다.
아울러, 최근의 영상 감시 시스템은 주행중 전후방의 교통상황을 감시함과 더불어, VCR(video cassette recorder)이나 DVR(digital video recorder) 등의 영상 기록수단을 탑재하여 영상을 녹화할 수 있으며 녹화를 통해 나중에 교통사고 발생 원인을 분석하는데 중요한 단서를 제공할 수 있다. 또한, 부가적으로 영상콘텐츠 상영이나 TV시청 등 편의 장치로도 활용이 가능하다는 장점이 있다.
그러나, 종래의 영상 감시 시스템은, 카메라가 촬영한 영상을 단지 원 영상 그대로 모니터에 표시해 줄 뿐임에 따라 운전자가 영상 내 작게 등장한 객체를 인지하지 못한 경우 접촉사고로 이어질 수 있는 가능성은 여전히 존재하고 있다.
또한, 영상 감시 시스템은 감시 기능, 특히 시야는 차량 내 설치된 카메라의 성능에 크게 좌우됨에 따라, 카메라의 시야각이 좁은 경우 감시해야 될 대상이 영상 내 포착되지 않아 예기치 못한 사고가 발생할 수 있다는 한계가 있다.
특히, 종래의 영상 감시 시스템은 설치되는 차량의 외관, 크기 등에 따라, 카메라가 설치되는 위치가 달라지게 됨에 따라 가장 일반적인 승용차를 기준으로 설계된다. 이에, 일반 승용차에 맞추어 출하된 시스템을 다른 차종, 일례로서 승합차 등에 설치하는 경우, 시스템 설계시 의도한 범위 및 각도의 영상을 제대로 표시할 수 없으며, 이에 설치되는 차종 또는 메이커에 따라 적합하게 설정된 별도의 시스템을 각각 준비하여 해당 차량에 맞게 설치해야만 하는 문제점이 있다.
공개특허공보 제10-2017-0074128호(공개일자: 2017.06.29.)
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로, 본 발명은 별도의 설계, 설정변경 없이도 차종에 관계없이 다양한 차량에 탑재가 가능하고, 최적의 성능을 보장하는, 적응형 범용 차량 감시 시스템을 제공하는 데 과제가 있다.
전술한 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 적응형 범용 감시 시스템은, 주변영역을 촬영하여 감시 이미지를 생성하는 하나 이상의 카메라 모듈, 상기 감시 이미지를 전송받아 인공지능 알고리즘을 통해 상기 감시 이미지 내 등장하는 하나 이상의 객체를 식별 및 추적하고, 상기 객체의 위치에 따라 위험상황 발생 여부를 판단하여 경고신호를 출력하는 제어장치 및, 상기 카메라 모듈에 의해 촬영된 하나 이상의 가공된 감시 이미지를 분할된 하나의 화면상에 표시하고, 상기 경고신호 발생시 영상 또는 음향으로 출력하는 모니터를 포함할 수 있다.
상기 제어장치는, 상기 카메라 모듈로부터 상기 감시 이미지를 실시간으로 수신하는 입력부 및, 상기 입력부가 수신한 감시 이미지를 전처리 하는 전처리부를 포함할 수 있다.
상기 제어장치는, 상기 객체의 위치에 따라 경고신호를 발생시키는 경고발생 모듈을 포함하고, 상기 경고발생 모듈은, 전처리된 감시 이미지로부터 위험영역을 설정하는 영역 설정부, 전처리된 감시 이미지에 포함되는 복수의 외곽선의 형태 및 경로 변화에 따라 배경 및 하나 이상의 객체를 각각 분리하는 이미지 분리부, 분리된 객체가 이루는 외곽선을 기준으로 ROI를 설정하는 객체 식별부 및, 일정 시간 동안 상기 ROI의 크기 및 경로 변화에 따라 상기 경고신호를 생성하는 경고 발생부를 포함할 수 있다.
상기 경고발생 모듈은, 현재 영상 내에서 일정 시간 동안 상기 ROI의 이동경로를 추적하고, 이후 ROI의 예상경로를 산출하는 예측부를 더 포함하고, 상기 경고 발생부는, 일정 시간 경과 이후, 상기 예상경로에 따라 상기 ROI가 위험영역 진입 가능성이 임계치를 벗어나면 상기 경고신호를 생성할 수 있다.
상기 제어장치는, 상기 감시 이미지의 특성에 따라 상기 임계치를 보정하는 보정모듈을 더 포함하고, 상기 보정모듈은, 상기 카메라 모듈로부터 입력되는 원 감시 이미지로부터 현재 주변상황정보를 생성하는 상황 판단부, 상기 주변상황정보에 대응하여 암영영역에 대한 위험 정도를 산출하는 위험 산출부 및, 상기 위험 정도에 대응하여 기설정된 임계치를 보정하는 임계치 보정부를 포함할 수 있다.
상기 제어장치는, 사용자로부터 상기 카메라 모듈이 설치되는 차량의 차종을 입력받아, 차량을 특정하고, 상기 카메라 모듈의 설치정보에 반영하는 적응부를 더 포함할 수 있다.
상기 적응부는, 상기 카메라 모듈이 차량을 제외한 타 장소에 설치된 것으로 입력되면, 상기 카메라 모듈이 설치되는 장소정보를 더 입력받아, 해당 장소에 대한 장소특성을 추정하고, 카메라 설치정보에 반영할 수 있다.
또한, 전술한 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 적응형 범용 감시 시스템의 구동 방법은, (a) 주변영역을 촬영하여 감시 이미지를 생성하는 단계, (b) 상기 감시 이미지를 전송받아 인공지능 알고리즘을 통해 상기 감시 이미지 내 등장하는 하나 이상의 객체를 식별 및 추적하는 단계, (c) 촬영된 하나 이상의 감시 이미지를 가공하여 분할된 하나의 화면상에 표시하는 단계 및, (d) 상기 객체의 위치에 따라 위험상황 발생 여부를 판단하여 경고신호를 출력하는 단계를 포함할 수 있다.
상기 (b) 단계는, (b1) 상기 감시 이미지를 실시간으로 수신하고, 수신한 감시 이미지를 전처리 하는 단계, (b2) 전처리된 감시 이미지로부터 위험영역을 설정하는 단계, (b3) 전처리된 감시 이미지에 포함되는 복수의 외곽선의 형태 및 경로 변화에 따라 배경 및 하나 이상의 객체를 각각 분리하는 단계, (b4) 분리된 객체가 이루는 외곽선을 기준으로 ROI를 설정하는 단계 및, (b5) 일정 시간 동안 상기 ROI의 크기 및 경로 변화를 판단하는 단계를 포함할 수 있다.
상기 (b) 단계는, (c5) 현재 영상 내에서 일정 시간 동안 상기 ROI의 이동경로를 추적하고, 이후 ROI의 예상경로를 산출하는 단계 및, (c6) 일정 시간 경과 이후, 상기 예상경로에 따라 상기 ROI가 위험영역 진입 가능성이 임계치를 벗어나는지 판단하는 단계를 더 포함할 수 있다.
상기 (a) 단계 이전에, (a1) 카메라 모듈로부터 입력되는 원 감시 이미지로부터 현재 주변상황정보를 생성하는 단계, (a2) 상기 주변상황정보에 대응하여 암영영역에 대한 위험 정도를 산출하는 단계 및, (a3) 상기 위험 정도에 대응하여 기설정된 임계치를 보정하는 단계를 포함할 수 있다.
상기 (a) 단계 이전에, (a4) 사용자로부터 카메라 모듈이 설치되는 차량의 차종을 입력받아, 차량을 특정하고, 상기 카메라 모듈의 설치정보에 반영하는 단계를 더 포함할 수 있다.
상기 (a4) 단계 이후, (a5) 상기 카메라 모듈이 차량을 제외한 타 장소에 설치된 것으로 입력되면, 상기 카메라 모듈이 설치되는 장소정보를 더 입력받는 단계 및, (a6) 해당 장소에 대한 장소특성을 추정하고, 카메라 모듈의 설치정보에 반영하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 차량에 하나 이상의 카메라를 설치하고, 설치초기 단계별 복수의 설정영상을 생성 및 분석하여 최적 설정을 도출하고, 설치 이후 카메라의 실시간 영상 분석을 통해 등장하는 객체를 식별 및 추적하여 경고를 운전자에게 제공함으로써 보다 안전하게 주행할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 설치 형태 및 작동 방식을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 적응형 범용 감시 시스템에 탑재되는 제어장치의 구조를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 구동방법을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 적응형 범용 감시 시스템에 포함되는 카메라 모듈의 외관을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 적응형 범용 감시 시스템에 포함되는 모니터의 외관 및 화면을 나타낸 도면이다.
설명에 앞서, 명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부(Unit)", "...모듈(Module)", "...시스템(System)" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 또한, "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용된다.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현될 수 있거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "...부(Unit)", "...모듈(Module)" 및 "...시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 시스템에서 구현하는 각 기능은 모듈단위의 프로그램으로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.
이하의 설명에서, 본 발명의 실시예에 따른 "적응형 범용 감시 시스템"은 "감시 시스템" 또는 "시스템"으로 약식 표기될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 적응형 범용 감시 시스템 및 그 구동방법을 설명한다.
도 1은 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 설치 형태 및 작동 방식을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 적응형 범용 감시 시스템(100)은, 주변영역을 촬영하여 감시 이미지를 생성하는 하나 이상의 카메라 모듈(200), 감시 이미지를 전송받아 인공지능 알고리즘을 통해 감시 이미지 내 등장하는 하나 이상의 객체를 식별 및 추적하고, 객체의 위치에 따라 위험상황 발생 여부를 판단하여 경고신호를 출력하는 제어장치(300) 및, 카메라 모듈(200)에 의해 촬영된 하나 이상의 가공된 감시 이미지를 분할된 하나의 화면상에 표시하고, 상기 경고신호를 영상 또는 음향으로 출력하는 모니터(400)를 포함할 수 있다.
카메라 모듈(200)은 승용차, 화물차 등, 다양한 차종의 차량의 전방 및/또는 후방에 설치되어 차량(10)의 전방(A1) 및/또는 후방(A2)을 촬영할 수 있다. 이러한 카메라 모듈(200)은 복수개가 설치될 수 있고, 차량이 운행중이거나 주차상태에서 주변상황을 실시간으로 촬영하여 감시 이미지를 생성할 수 있고, 생성된 감시 이미지를 차량(10) 내 탑재된 제어장치(300)에 전송할 수 있다.
또한, 도시되어 있지는 않지만 카메라 모듈(200)은 사용자의 의도에 따라 차량의 좌우 방향을 더 촬영할 수 있도록 복수개가 더 설치될 수도 있다.
제어장치(300)는, 차량 내부에서 카메라 모듈(200)과 전기적으로 연결되어 카메라 모듈(200)이 촬영한 감시 이미지를 실시간으로 수신하고, 이미지를 분석하여 모니터(400)에 표시하고, 차량(10)의 전후방(A1, A2)에 위치하는 보행자 등의 객체(obj)를 식별 및 그 이동경로에 따라 위험발생 여부를 판단하여 경고를 발생시킬 수 있다.
특히, 본 발명의 실시예에 따르면, 제어장치(300)는 주변상황을 실시간을 촬영한 감시 이미지를 인공지능 알고리즘을 통해 분석하여, 감시 이미지 내에서 지형, 고정 사물 등의 배경과, 이동하는 객체(obj)인 보행자 등을 분리, 식별할 수 있고, 식별된 객체에 ROI를 설정하여 모니터(400)에 제공함으로써, 사용자가 보행자를 보다 용이하게 확인할 수 있도록 함으로써, 현재 상황에 따라 신속하게 대처할 수 있도록 한다.
아울러, 제어장치(300)는, 카메라 모듈(200)의 촬영 범위, 차종에 따른 설치위치 등과 같은 장치특성에 따라, 카메라 모듈(200)을 적응적(adaptive)으로 제어하거나, 카메라에 의해 발생하는 암영영역을 식별하여 감시범위를 보정하는 등의 기능을 더 제공할 수 있으며, 이와 관련된 상세한 설명은 후술한다.
이러한 제어장치(300)는 카메라 모듈(200) 또는 후술하는 모니터(400) 중, 어느 하나에 내장되는 형태이거나, 또는 별도의 장치로서 차량 내 설치되는 형태로 구현될 수 있다.
또한, 제어장치(300)는 공지의 블랙박스(black box)의 기능을 더 탑재할 수 있고, 경고 제공 기능과 더불어 블랙박스를 대체하여 차량의 전후방향(A1, A2)를 일정기간 촬영한 감시 이미지를 동영상 파일 형태로 저장할 수 있다.
또한, 제어장치(300)가 제공하는 객체 식별 및 추적, 경고신호와 관련된 다양한 기능 등은 공지의 마이크로 프로세서 등에 의해 실행 가능한 컴퓨터 프로그램으로 구현되고, 읽고 쓰기가 가능한 기록매체에 기록되어 하드웨어 장치에 탑재될 수 있다.
모니터(400)는 차량(10) 내부, 특히 운전석에서 바라볼 수 있는 위치, 일례로서 차량의 계기판 부근, 또는 운전석과 동승석 사이 등에 고정 설치될 수 있고, 제어장치(300)와 전기적으로 연결되며, 공지의 LCD, OLED 등의 평판표시장치가 탑재되어 제어장치(300)가 제공하는 감시 이미지를 실시간으로 화면상에 표시할 수 있다.
특히, 본 발명의 실시예에 따르면, 모니터(400)는 제어장치(300)에 의해 경고신호가 발생한 경우, 화면상에 경고문구를 출력할 수 있고, 동시에 내장된 스피커 등을 통해 음향으로 경고신호를 출력할 수 있다.
전술한 구조에 따라, 본 발명의 실시예에 따른 적응형 범용 감시 시스템은 차종에 관계없이 차량에 설치되어 주변상황을 촬영하고, 보행자 등의 위험요소 발생시 이에 대한 경고를 출력함으로써, 사용자(운전자)가 현재 상황을 신속하게 인식하여 대체할 수 있도록 함으로써, 예기치 못한 사고를 미연에 방지할 수 있는 효과가 있다.
이하, 도면을 참조하여 전술한 기능을 구현하기 위한 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 구조를 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 구조를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 실시예에 따른 적응형 범용 감시 시스템(100)은, 설치된 장소, 예를 들어 차량의 전후방으로 설치되어 주변영역을 실시간으로 촬영하는 하나 이상의 카메라 모듈(200), 이와 전기적으로 연결되어 카메라 모듈(200)이 촬영한 감시 이미지를 입력받아, 이를 전처리 및 분석하여 경고를 생성하거나, 감지 이미지를 보정하여 촬영영역(1)을 확장하고 암영영역(5)을 최소화하는 제어장치(300) 및, 제어장치(300)에 의해 분석된 감시 이미지를 화면상에 출력하거나, 경고신호를 출력하는 모니터(400)를 포함할 수 있다.
전술한 바와 같이, 본 발명의 실시예에 따른 카메라 모듈(200)은 차량의 전, 후방에 대한 주변영역을 촬영하여 그 장치특성에 따라 촬영 가능한 영역인 촬영영역(1)에 대한 감시 이미지를 실시간으로 생성할 수 있고, 촬영한 감시 이미지는 실시간으로 제어장치(300)에 전송할 수 있다.
제어장치(300)는 카메라 모듈(200)로부터 제공되는 감시 이미지를 인공지능 알고리즘을 통해 분석하여, 촬영영역(1)에 등장하는 배경 및 보행자와 같은 객체를 분리 식별하고, 특히 집중 감시가 필요한 이동하는 객체에 대하여 ROI를 설정함과 더불어 실시간으로 추적하고, 이를 모니터(400)를 통해 표시함으로써 운전석에 탑승한 사용자가 즉시 주변상황을 확인할 수 있도록 한다.
또한, 본 발명의 실시예에 따른 제어장치(300)는 감시 이미지 분석에 따라 이동하는 ROI의 현재 위치 및 이동 경로에 따라 예상되는 위치가 위험영역이라 판단하면 경고신호를 발생하여 사용자에게 알려 줄 수 있으며, 이를 위한 기술적 수단으로서 경고발생 모듈(330)을 탑재할 수 있다.
뿐만 아니라, 제어장치(300)는 전술한 운전자를 위한 경고 기능 이외에도 감시 기능의 성능을 향상시키는 인공지능 기술에 기반한 특유의 기능을 더 포함할 수 있다.
상세하게는, 카메라 모듈(200)은 그 설치 위치, 설치 방향 및, 카메라 성능에 따른 촬영 가능 거리 및 상하좌우 범위 등에 따라, 생성하는 감시 이미지에 포함되는 촬영영역(1)의 범위가 달라질 수 있다. 이러한 이유로 상황에 따라 감시가 요구되는 범위이나 촬영영역(1)에는 다소 벗어난 암영영역(5)이 존재할 수 있으며, 본 발명의 실시예에 따른 시스템(100)은 전술한 한계를 극복하기 위한 기술적 구성으로서 보정모듈(340)을 탑재할 수 있다.
이러한 보정모듈(340)은 제어장치(300)가 카메라 모듈(200)로부터 장치정보를 추출하고, 사용자로부터 카메라 모듈(200)의 설치높이 등에 대한 정보를 입력받아 이를 고려하여 촬영영역(1)을 확장하는 동시에 암영영역(5)을 최소화할 수 있다.
모니터(400)는 제어장치(300)로부터 분석된 감시 이미지를 실시간으로 전송받아 화면상에 표시할 수 있으며, 이미지 내에 객체가 등장하거나 위험상황이 예측되면, ROI를 표시할 수 있고, 경고문자 및 경고음을 출력할 수 있다.
또한, 화면 분할 기능을 통해 둘 이상의 카메라 모듈(200)에 의해 동시에 촬영된 둘 이상의 감시 이미지를 하나의 화면에 동시에 표시할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 제어장치의 구조를 상세히 설명한다.
도 3은 본 발명의 실시예에 따른 적응형 범용 감시 시스템에 탑재되는 제어장치의 구조를 나타낸 도면이다.
도 3을 참조하면, 본 발명의 실시예에 따른 적응형 범용 감시 시스템에 탑재되는 제어장치(300)는, 카메라 모듈(200)로부터 상기 감시 이미지를 실시간으로 수신하는 입력부(310), 입력부(310)가 수신한 감시 이미지를 전처리 하는 전처리부(320), 객체의 위치에 따라 경고신호를 발생시키는 경고발생 모듈(330), 감시 이미지의 특징에 따라 이미지 보정을 수행하는 보정모듈(340), 사용자로부터 카메라 모듈(200)이 설치되는 차량의 차종을 입력받아, 차량을 특정하고, 카메라 모듈(200)을 자동 설정하는 적응부(350)를 포함할 수 있다.
입력부(310)는 하나 이상의 카메라 모듈(200)과 유선 또는 무선으로 연결되어 카메라 모듈(200)로부터 출력되는 하나 이상의 감시 이미지를 실시간으로 수신할 수 있다.
이러한 입력부(310)와 카메라 모듈(200)간의 연결은 다양한 유무선 프로토콜이 이용될 수 있고, 복수의 입력포트를 구비하여 다채널을 지원함에 따라 둘 이상의 카메라 모듈(200)로부터 전송되는 감시 이미지를 지연 및 오류 없이 실시간으로 전처리부(320)에 전달할 수 있다.
전처리부(320)는, 입력부(310)로부터 하나 이상의 채널을 통해 입력되는 각 감시 이미지에 대한 전처리 절차를 수행할 수 있다. 본 발명의 일 실시예에 따르면, 전처리 과정은 감시 이미지를 구성하는 데이터를 인공지능 알고리즘에 입력할 수 있도록 데이터로 변환하는 과정으로서, 노이즈 제거 및 이진화 과정 등의 공지의 영상처리 기법을 적용하여 감지 이미지를 변환할 수 있다.
경고발생 모듈(330)은, 전처리된 감지 이미지를 인공지능 알고리즘에 입력하여 객체를 식별 및 추적하고 객체의 현재 위치 또는 이동 경로에 의해 예측되는 위치에 따른 경고신호를 생성할 수 있다.
전술한 기능을 구현하기 위해, 경고발생 모듈(330)은, 전처리된 감시 이미지로부터 위험영역을 설정하는 영역 설정부(331), 전처리된 감시 이미지에 포함되는 복수의 외곽선의 형태 및 경로 변화에 따라 배경 및 하나 이상의 객체를 각각 분리하는 이미지 분리부(332), 분리된 객체가 이루는 외곽선을 기준으로 ROI를 설정하는 객체 식별부(333), 일정 시간 동안 ROI의 크기 및 경로 변화에 따라 경고신호를 생성하는 경고 발생부(334) 및, 현재 영상 내에서 일정 시간 동안 ROI의 이동경로를 추적하고, 이후 ROI의 예상경로를 산출하는 예측부(335)를 포함할 수 있다.
영역 설정부(331)는 감시 이미지에서 객체가 인접했을 때 차량과의 충돌 가능성이 높은 위험영역 및 기타 영역을 구분 및 설정할 수 있다. 일반적으로 위험영역은 감지 이미지에서 차량의 위치에 해당하는 하단영역일 수 있고, 영역 설정부(331)는 해당 영역을 위험영역으로 설정하고, 나머지 타 영역을 일반영역으로 선정할 수 있다.
이미지 분리부(332)는 전처리된 감시 이미지에 포함되는 외곽선의 형태 및 시간경과에 따라 변경되는 이동 경로에 따라, 배경과 객체를 분리할 수 있다. 감시 이미지에서 보행자와 같은 이동 가능한 객체의 경우 외곽선이 폐곡선을 이룰 수 있고, 머리, 팔, 다리 등 사람의 형상을 특정할 수 있는 형태를 갖게 되며, 고정된 사물 또는 배경은 외곽선이 직선이거나 이어지지 않을 수 있다. 또한 보행자로 추정되는 객체 및 객체가 이루는 폐곡선은 시간의 흐름에 따라 그 좌표가 변경되게 된다. 이러한 특징을 통해 이미지 분리부(332)는 배경과 객체를 분리할 수 있다.
또한, 객체 식별부(333)는 YOLOV3와 같은 공지의 인공지능 알고리즘을 통해 분리된 객체에 대하여, 높은 정확도로 사람, 개, 자전거 등과 같은 이동 객체인지를 식별할 수 있고, 이에 대한 ROI를 설정할 수 있으며 실시간으로 추적할 수 있다.
경고 발생부(334)는 추적중인 ROI가 상기에 설정한 위험영역으로 진입하는 경우, 이에 대한 경고신호를 생성할 수 있고, 모니터(400)에 경고신호를 전송하여 출력을 요청할 수 있다.
예측부(335)는 ROI를 식별 및 추적 중, 일정시간이 경과하고 ROI의 이때 그 이동 경로에 따라 이후의 예상경로를 추정할 수 있고, 예상경로에 따라 상기 ROI가 위험영역 진입 가능성이 임계치를 벗어나면 경고신호를 생성할 수 있고, 모니터(400)에 경고신호의 출력을 요청할 수 있다.
또한, 경고 발생부(334)는 위험영역과는 별도로 암영영역이 위험영역과 중첩될 경우, 사용자에 대한 알림신호를 생성하고, 모니터에 알림신호를 출력하도록 요청할 수 있다.
보정모듈(340)은 제어장치(300)에 의한 분석 결과를 향상시키기 위한 것으로, 현재 차량의 주변상황에 따라 이미지 보정을 수행할 수 있다.
전술한 기능을 구현하기 위해, 보정모듈(340)은 카메라 모듈(200)로부터 입력되는 원 감시 이미지로부터 현재 주변상황정보를 생성하는 상황 판단부(341), 주변상황정보에 대응하여 암영영역에 대한 위험 정도를 산출하는 위험 산출부(343) 및, 위험 정도에 대응하여 기설정된 임계치를 보정하는 임계치 보정부(345)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 감시 이미지의 분석을 통해 차량에 접근하거나 접근할 것으로 예측되는 객체에 대하여 경고신호를 제공하는 것 이외에도, 카메라의 암영영역에 따라 감지 이미지에 검출되지 않는 객체가 발생할 가능성에 대하여 사용자에 주의를 제공하는 것을 특징으로 한다.
상세하게는, 상황 판단부(341)는 경고발생 모듈(330)과는 별도로 입력부(310)로부터 전처리되지 않은 원 감시 이미지를 입력받아 분석하여 수 있고, 이를 통해 현재상황, 예를 들어 차량이 현재 위치한 장소가 주차장인지, 창고인지 또는 실외인지를 판단할 수 있다. 또한, 원 감시 이미지를 통해 차량 주변이 밝은지 어두운지 등의 주변환경에 대한 정보를 획득할 수 있고, 상황 판단부(341)는 이러한 정보를 통해 현재 차량의 주변상황정보를 도출할 수 있다.
산출부(343)는 도출한 주변상황정보에 기초하여 감시 이미지에 존재하는 암영영역에 대한 위험 정도를 산출할 수 있다. 현재 차량이 위치한 장소가 주차장이거나 주변의 밝기가 어두운 경우, 암영영역의 범위가 실외보다 다소 확장될 수 있고, 차량의 측면 등에서 검출되지 않는 객체가 존재 가능성이 높다고 할 수 있다. 이에, 산출부(343)는 주변상황정보에 따라 암영영역에 대한 위험정도를 산출할 수 있다.
임계치 보정부(345)는 산출된 위험정도를 반영하여 경고신호를 생성하는 기준이 되는 임계치를 보정할 수 있다. 암영영역이 확장되거나, 감지 이미지에 등장하지 않는 객체가 존재할 가능성이 높아질 경우, 임계치 보정부(345)는 임계치가 다소 엄격하게 적용되도록 경고 발생부(334)에 설정된 임계치를 보정함으로써, 일반적인 상황보다 경고신호를 보다 신속하게 발생시킴으로써 사고 발생 가능성을 낮추도록 한다.
적응부(350)는, 사용자로부터 카메라 모듈(200)이 설치되는 차량의 차종을 입력받아, 차량을 특정하고, 카메라 모듈(200)에 대한 정보를 자동 설정할 수 있다. 일반적으로 차량에서 카메라 모듈(200)이 설치될 수 있는 위치는 한정되어 있다. 예를 들어, 하나의 카메라 모듈(200)을 차량의 후방에 설치한다고 가정할 때, 대부분 번호판의 상단에 설치되게 된다. 이에 따라, 하나의 카메라 모듈(200)을 설치할 때, 차종을 특정할 수 있다면 차량에서 카메라의 높이, 방향 등을 자동으로 판단할 수 있으며, 적응부(350)는 차량에 대한 정보를 입력받아 카메라 모듈(200)의 설치 위치를 추정할 수 있다. 설정된 정보는 이후 감시 이미지를 분석하는 데 활용될 수 있다.
또한, 적응부(350)는, 카메라 모듈(200)이 차량을 제외한 타 장소에 설치된 것으로 입력되면, 카메라 모듈(200)이 설치되는 장소정보를 더 입력받아, 해당 장소에 대한 장소특성을 추정하고, 카메라 설치정보에 반영함으로써, 감시 이미지 분석시 활용할 수 있도록 한다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 구동방법을 상세히 설명한다. 이하의 설명에서 각 단계별 실행주체는 별도의 기재가 없는 한 전술한 본 발명의 적응형 범용 감시 시스템의 제어장치 및 그 제어장치를 구성하는 구성부가 된다.
도 4는 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 구동방법을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 구동방법은, 주변영역을 촬영하여 감시 이미지를 생성하는 단계(S100), 감시 이미지를 전송받아 인공지능 알고리즘을 통해 감시 이미지 내 등장하는 하나 이상의 객체를 식별 및 추적하는 단계(S110), 촬영된 하나 이상의 감시 이미지를 가공하여 분할된 하나의 화면상에 표시하는 단계(S120) 및 객체의 위치에 따라 위험상황 발생 여부를 판단하여 경고신호를 출력하는 단계(S130)를 포함할 수 있다.
주변영역을 촬영하여 감시 이미지를 생성하는 단계(S100)는, 하나 이상의 카메라 모듈이 설치된 차량 또는 장소에서 주변영역을 실시간으로 촬영하여 감시 이미지를 생성하는 단계이다. 그리고, 카메라 모듈은 생성한 감시 이미지를 제어장치에 전송한다.
다음으로, 감시 이미지를 전송받아 인공지능 알고리즘을 통해 감시 이미지 내 등장하는 하나 이상의 객체를 식별 및 추적하는 단계(S110)에서는, 제어장치가 전처리부를 통해 감시 이미지를 실시간으로 수신 및, 수신한 감시 이미지를 전처리하고, 경고발생 모듈에 의한 영상처리절차를 거쳐 객체 추적을 수행한다.
다음으로, 촬영된 하나 이상의 감시 이미지를 가공하여 분할된 하나의 화면상에 표시하는 단계(S120)로서, 경고발생 모듈은 전처리된 감시 이미지로부터 위험영역을 설정, 전처리된 감시 이미지에 포함되는 복수의 외곽선의 형태 및 경로 변화에 따라 배경 및 하나 이상의 객체를 각각 분리하고, 분리된 객체가 이루는 외곽선을 기준으로 ROI를 설정 및, 일정 시간 동안 상기 ROI의 크기 및 경로 변화를 판단한다.
다음으로, 객체의 위치에 따라 위험상황 발생 여부를 판단하여 경고신호를 출력하는 단계(S130)에서는, 경고발생 모듈이, 경고발생 모듈은 현재 영상 내에서 일정 시간 동안 ROI의 이동경로를 추적하고, 이후 ROI의 예상경로를 산출하고, 일정 시간 경과 이후 상기 예상경로에 따라 상기 ROI가 위험영역 진입 가능성이 임계치를 벗어나는지 판단하여 임계치를 벗어난 경우 경고신호를 생성한다.
한편, 본 발명의 일 실시예에 따르면, 제어장치는, 주변상황에 따라 경고신호를 발생시키는 기준이 되는 임계치에 대한 보정을 수행할 수 있다.
상세하게는, 보정모듈은 카메라 모듈로부터 입력되는 원 감시 이미지로부터 현재 주변상황정보를 생성하고, 생성한 주변상황정보에 대응하여 암영영역에 대한 위험 정도를 산출하며, 위험 정도에 대응하여 기설정된 임계치를 보정함으로써, 사고 발생 가능성을 낮출 수 있다.
또한, 본 발명의 일 실시예에 따르면, 시스템은 카메라 모듈에 대한 적응적 제어를 통해 분석 기능을 개선할 수 있다.
이를 위한 절차로서, 전술한 S100 단계 이전에, 적응부는 사용자로부터 카메라 모듈이 설치되는 차량의 차종을 입력받아 차량을 특정하고, 카메라 모듈의 설치정보에 반영하는 단계를 더 수행할 있다. 이를 위해, 적응부는 카메라 모듈이 차량을 제외한 타 장소에 설치된 것으로 입력되면, 카메라 모듈이 설치되는 장소정보를 더 입력받고, 카메라 모듈의 설치정보에 반영하고 촬영 가능 범위를 갱신함으로써, 이후 카메라 모듈의 최대촬영 범위까지 감시 범위를 확장할 수 있게 된다.
이하, 본 발명의 실시예에 따른 적응형 범용 감시 시스템에 포함되는 카메라 모듈 및 모니터의 예시를 통해 본 발명의 기술적 사상을 상세히 설명한다.
도 5는 본 발명의 실시예에 따른 적응형 범용 감시 시스템에 포함되는 카메라 모듈의 외관을 나타낸 도면이다.
도 5를 참조하면, 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 카메라 모듈(200)은, CMOS, CCD 등의 센서를 탑재하고 향하는 방향을 촬영하는 렌즈부(210), 렌즈부(210)가 형성되고, 내부에 센서 및 기판이 실장되는 카메라 몸체(220), 렌즈부(210)를 둘러싸는 형태로 복수개가 카메라 몸체(220)에 형성되는 LED부(230) 및, 카메라 몸체(220)의 양측에 회전 가능하도록 결합되고, 상하로 차량 등에 고정 결합될 수 있는 상하 거치대(240, 250)을 포함할 수 있다.
렌즈부(210)는 전방으로 향하는 방향을 촬영할 수 있는 광학렌즈 및 센서를 포함하고 있으며, 렌즈 및 센서 성능에 따른 해상도의 감시 이미지를 생성할 수 있다.
카메라 몸체(220)는 소정의 내부 공간을 갖는 사각의 박스 형태일 수 있고, 전면으로 렌즈부(210)가 노출되어 있고, 내부로 센서가 본딩되는 기판이 실장될 수 있다. 또한, 양측면은 거치대(240, 250)에 의해 회전 가능하도록 결합되어 촬영 방향이 결정된다.
LED부(230)는 렌즈부(210)를 둘러싸는 형태로 복수개가 카메라 몸체(220)의 전면으로 형성될 수 있고, 감시 이미지 촬영시 주변의 부족한 광량을 보충하기 위해 발광할 수 있다.
이러한 LED부(230)는 야간 촬영을 위해 적외선 LED가 이용될 수 있으며, 설계자의 의도에 따라 8개 내지 15개가 탑재될 수 있다.
상하 거치대(240, 250)는 각각 두 다리가 카메라 몸체(220)의 양측면에 회전 가능하도록 결합될 수 있고, 설치되는 차량의 형태에 따라 적절한 각도로 조절되어 고정 결합될 수 있다.
특히, 상하 거치대(240, 250) 중, 어느 하나에는 설치되는 차량의 주행시 탈락없이 안정적으로 고정되도록 나사가 삽입되는 복수의 나사홀이 형성될 수 있고, 그 개수 및 형태를 설계자의 의도에 따라 결정될 수 있다.
도 6은 본 발명의 실시예에 따른 적응형 범용 감시 시스템에 포함되는 모니터의 외관 및 화면을 나타낸 도면이다.
도 6을 참조하면, 본 발명의 실시예에 따른 적응형 범용 감시 시스템의 모니터(400)는 차량 내부의 앞측, 운전석과 인접하여 설치될 수 있고, 평판표시장치 및 이를 둘러싸는 베젤로 구성될 수 있으며, 내부로 배선을 통해 제어장치와 연결되거나, 혹은 제어장치가 내부에 탑재되는 구조일 수 있다.
모니터(400)의 전면으로는 평판표시장치에 의한 화면(410)이 표시될 수 있고, 화면(410)의 하단으로는 터치패널 또는 버튼 방식의 조작부(420)가 형성되어 있어 사용자의 조작에 따라 선택된 기능을 실행할 수 있다.
또한, 본 발명의 실시예에 따르면, 평판표시장치는 화면(410)은 터치패널로 이루어져 있어, 전술한 조작부(420)의 일부 또는 전부의 기능을 대체할 수 있고, 사용자가 화면(410)상에 표시되는 배경(bg) 또는 객체(obj1, obj2) 등을 터치하여 분할된 복수의 화면에서 어느 하나를 선택 및 확대할 수 있도록 하거나, 그 터치영역(tc)에 대한 포커싱 또는 ROI 설정 등을 기능을 제공할 수 있다.
일례로서, 사용자는 화면(410)상에서 이동객체가 아닌 고정객체인 사물(bo)을 터치할 수 있고, 이에 대한 ROI를 설정하여 차량의 이동에 따라 위험영역에 사물(bo)이 접근하는 경우 경고를 발생하도록 설정할 수 있다.
또한, 본 발명의 실시예에 따른 시스템은 배경(bg)을 제외한 둘 이상의 객체(obj1, obj2)를 식별 및 추적할 수 있고, 화면(410)상에 각각 ROI1, ROI2를 설정 및 표시함으로써, 사용자가 차량과 이동객체와의 거리, 이동객체의 이동경로를 쉽게 식별할 수 있도록 한다.
또한, 도시하지는 않았으나, 본 발명의 실시예에 따른 적응형 범용 감시 시스템은, 차량에 한정되는 것이 아닌, 사용자의 의도에 따라 주차장, 창고 등 고정된 위치에 설치되어 주변상황을 감시하고 사고 발생을 방지하는 모니터링 시스템으로 활용될 수 있다.
상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.
10 : 차량 100 : 적응형 범용 감시 시스템
200 : 카메라 모듈 210 : 렌즈부
220 : 카메라 몸체 230 : LED부
240 : 적외선 광원부 240, 245 : 거치대
300 : 제어장치 310 : 입력부
320 : 전처리부 330 : 경고발생 모듈
340 : 보정모듈 350 : 적응부
400 : 모니터 410 : 화면부
420 : 조작부

Claims (13)

  1. 주변영역을 촬영하여 감시 이미지를 생성하는 하나 이상의 카메라 모듈;
    상기 감시 이미지를 전송받아 인공지능 알고리즘을 통해 상기 감시 이미지 내 등장하는 하나 이상의 객체를 식별 및 추적하고, 상기 객체의 위치에 따라 위험상황 발생 여부를 판단하여 경고신호를 출력하는 제어장치; 및
    상기 카메라 모듈에 의해 촬영된 하나 이상의 가공된 감시 이미지를 분할된 하나의 화면상에 표시하고, 상기 경고신호 발생시 영상 또는 음향으로 출력하는 모니터를 포함하고,
    상기 제어장치는,
    상기 카메라 모듈로부터 상기 감시 이미지를 실시간으로 수신하는 입력부;,
    상기 입력부가 수신한 감시 이미지를 전처리 하는 전처리부; 및
    상기 객체의 위치에 따라 경고신호를 발생시키는 경고발생 모듈을 포함하고,
    상기 경고발생 모듈은,
    전처리된 감시 이미지로부터 위험영역을 설정하는 영역 설정부;
    전처리된 감시 이미지에 포함되는 복수의 외곽선의 형태 및 경로 변화에 따라 배경 및 하나 이상의 객체를 각각 분리하는 이미지 분리부;
    분리된 객체가 이루는 외곽선을 기준으로 ROI를 설정하는 객체 식별부; 및
    일정 시간 동안 상기 ROI의 크기 및 경로 변화에 따라 상기 경고신호를 생성하는 경고 발생부
    를 포함하는 적응형 범용 감시 시스템.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 경고발생 모듈은,
    현재 영상 내에서 일정 시간 동안 상기 ROI의 이동경로를 추적하고, 이후 ROI의 예상경로를 산출하는 예측부를 더 포함하고,
    상기 경고 발생부는,
    일정 시간 경과 이후, 상기 예상경로에 따라 상기 ROI가 위험영역 진입 가능성이 임계치를 벗어나면 상기 경고신호를 생성하는 것인, 적응형 범용 감시 시스템.
  5. 제 4 항에 있어서,
    상기 제어장치는, 상기 감시 이미지의 특성에 따라 상기 임계치를 보정하는 보정모듈을 더 포함하고,
    상기 보정모듈은,
    상기 카메라 모듈로부터 입력되는 원 감시 이미지로부터 현재 주변상황정보를 생성하는 상황 판단부;
    상기 주변상황정보에 대응하여 암영영역에 대한 위험 정도를 산출하는 위험 산출부; 및
    상기 위험 정도에 대응하여 기설정된 임계치를 보정하는 임계치 보정부
    를 포함하는 적응형 범용 감시 시스템.
  6. 제 5 항에 있어서,
    상기 제어장치는,
    사용자로부터 상기 카메라 모듈이 설치되는 차량의 차종을 입력받아, 차량을 특정하고, 상기 카메라 모듈의 설치정보에 반영하는 적응부
    를 더 포함하는 적응형 범용 감시 시스템.
  7. 제 6 항에 있어서,
    상기 적응부는,
    상기 카메라 모듈이 차량을 제외한 타 장소에 설치된 것으로 입력되면, 상기 카메라 모듈이 설치되는 장소정보를 더 입력받아, 해당 장소에 대한 장소특성을 추정하고, 카메라 설치정보에 반영하는 것인, 적응형 범용 감시 시스템.
  8. 청구항 1에 기재된 적응형 범용 감시 시스템의 구동 방법으로서,
    (a) 주변영역을 촬영하여 감시 이미지를 생성하는 단계;
    (b) 상기 감시 이미지를 전송받아 인공지능 알고리즘을 통해 상기 감시 이미지 내 등장하는 하나 이상의 객체를 식별 및 추적하는 단계;
    (c) 촬영된 하나 이상의 감시 이미지를 가공하여 분할된 하나의 화면상에 표시하는 단계; 및
    (d) 상기 객체의 위치에 따라 위험상황 발생 여부를 판단하여 경고신호를 출력하는 단계를 포함하고,
    상기 (b) 단계는,
    (b1) 상기 감시 이미지를 실시간으로 수신하고, 수신한 감시 이미지를 전처리 하는 단계;
    (b2) 전처리된 감시 이미지로부터 위험영역을 설정하는 단계;
    (b3) 전처리된 감시 이미지에 포함되는 복수의 외곽선의 형태 및 경로 변화에 따라 배경 및 하나 이상의 객체를 각각 분리하는 단계;
    (b4) 분리된 객체가 이루는 외곽선을 기준으로 ROI를 설정하는 단계; 및
    (b5) 일정 시간 동안 상기 ROI의 크기 및 경로 변화를 판단하는 단계
    를 포함하는 적응형 범용 감시 시스템의 구동방법.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 (b) 단계는,
    (c5) 현재 영상 내에서 일정 시간 동안 상기 ROI의 이동경로를 추적하고, 이후 ROI의 예상경로를 산출하는 단계; 및
    (c6) 일정 시간 경과 이후, 상기 예상경로에 따라 상기 ROI가 위험영역 진입 가능성이 임계치를 벗어나는지 판단하는 단계
    를 더 포함하는 적응형 범용 감시 시스템의 구동방법.
  11. 제 10 항에 있어서,
    상기 (a) 단계 이전에,
    (a1) 카메라 모듈로부터 입력되는 원 감시 이미지로부터 현재 주변상황정보를 생성하는 단계;
    (a2) 상기 주변상황정보에 대응하여 암영영역에 대한 위험 정도를 산출하는 단계; 및
    (a3) 상기 위험 정도에 대응하여 기설정된 임계치를 보정하는 단계
    를 포함하는 적응형 범용 감시 시스템의 구동방법.
  12. 제 10 항에 있어서,
    상기 (a) 단계 이전에,
    (a4) 사용자로부터 카메라 모듈이 설치되는 차량의 차종을 입력받아, 차량을 특정하고, 상기 카메라 모듈의 설치정보에 반영하는 단계
    를 더 포함하는 적응형 범용 감시 시스템의 구동방법.
  13. 제 12 항에 있어서,
    상기 (a4) 단계 이후,
    (a5) 상기 카메라 모듈이 차량을 제외한 타 장소에 설치된 것으로 입력되면, 상기 카메라 모듈이 설치되는 장소정보를 더 입력받는 단계; 및
    (a6) 해당 장소에 대한 장소특성을 추정하고, 카메라 모듈의 설치정보에 반영하는 단계
    를 더 포함하는 적응형 범용 감시 시스템의 구동방법.
KR1020220072791A 2022-06-15 2022-06-15 적응형 범용 감시 시스템 및 그 구동방법 KR102497614B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220072791A KR102497614B1 (ko) 2022-06-15 2022-06-15 적응형 범용 감시 시스템 및 그 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220072791A KR102497614B1 (ko) 2022-06-15 2022-06-15 적응형 범용 감시 시스템 및 그 구동방법

Publications (1)

Publication Number Publication Date
KR102497614B1 true KR102497614B1 (ko) 2023-02-09

Family

ID=85224709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220072791A KR102497614B1 (ko) 2022-06-15 2022-06-15 적응형 범용 감시 시스템 및 그 구동방법

Country Status (1)

Country Link
KR (1) KR102497614B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519261B1 (ko) * 2013-12-17 2015-05-11 현대자동차주식회사 차량의 모니터링 방법 및 자동 제동 장치
KR20160074107A (ko) * 2014-12-18 2016-06-28 현대모비스 주식회사 차량 및 그 제어 방법
KR20170041417A (ko) * 2015-10-07 2017-04-17 엘지전자 주식회사 차량 및 그 제어방법
KR20170074128A (ko) 2015-12-21 2017-06-29 에스엘 주식회사 차량용 감시 장치 및 차량용 이동 객체 감지 방법
KR20210152741A (ko) * 2020-06-09 2021-12-16 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519261B1 (ko) * 2013-12-17 2015-05-11 현대자동차주식회사 차량의 모니터링 방법 및 자동 제동 장치
KR20160074107A (ko) * 2014-12-18 2016-06-28 현대모비스 주식회사 차량 및 그 제어 방법
KR20170041417A (ko) * 2015-10-07 2017-04-17 엘지전자 주식회사 차량 및 그 제어방법
KR20170074128A (ko) 2015-12-21 2017-06-29 에스엘 주식회사 차량용 감시 장치 및 차량용 이동 객체 감지 방법
KR20210152741A (ko) * 2020-06-09 2021-12-16 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법

Similar Documents

Publication Publication Date Title
US10116873B1 (en) System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
US9460601B2 (en) Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US7784943B2 (en) Eyelid detecting apparatus, eyelid detecting method and program thereof
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
CN109153359B (zh) 一种汽车盲区的监测方法及系统
JP5093611B2 (ja) 車両周辺確認装置
US20070115138A1 (en) Onboard imaging apparatus
WO2010050012A1 (ja) 車載用カメラモジュール
JP3559083B2 (ja) 運転支援装置
US11582425B2 (en) Driver monitoring system using camera with adjustable mirror
JP2008227646A (ja) 障害物検知装置
US10821895B2 (en) Apparatus and method for checking the playback of a video sequence of a mirror replacement camera
KR101729486B1 (ko) Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템
JP2005222424A (ja) 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
JP2006341713A (ja) ヘッドライト照射方向変更システム、及びヘッドライト照射方向変更方法
US9524644B2 (en) Notification control method and notification control device
KR100775369B1 (ko) 차선이탈 및 후측방 접근차량 통합경보장치
WO2019159344A1 (ja) 運転支援装置および映像表示方法
KR102497614B1 (ko) 적응형 범용 감시 시스템 및 그 구동방법
US20200238914A1 (en) Vehicle side view mirror with electronic blind spot display
KR100882689B1 (ko) 차량의 측후방 모니터링 시스템 및 그 제어방법
CN112243089B (zh) 摄像头hdr图像效果开关控制方法、装置、后视镜、车辆及存储介质
US10688929B2 (en) Driving assistance system and method of enhancing a driver's vision
JP2008028478A (ja) 障害物検出システム、及び障害物検出方法
US20110242318A1 (en) System and method for monitoring blind spots of vehicles

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant