KR101472300B1 - 다중 영상을 이용한 사건/사고 예방 방법 및 시스템 - Google Patents

Abstract

본 발명은 방향별 객체 인식을 통해 객체간의 사건/사고와 관련된 상황 발생을 예측하여 이를 경고해주기 위한 것으로, 본 발명에 의하면, 제어 장치가, 방향별 복수의 관찰 섹터가 설정된 하나 이상의 영상 촬영부로부터 영상을 수신하는 단계; 상기 하나 이상의 영상 촬영부로부터 방향별 복수의 관찰 섹터에 해당하는 영상 각각에서 적어도 하나 이상의 객체를 인식하는 단계; 상기 인식된 객체의 행동 패턴, 객체의 이동 속도 또는 이동 방향을 포함하는 특징 값을 생성하는 단계; 상기 특징 값을 통해 사건/사고와 관련된 상황 발생을 예측하는 단계; 및 상기 상황 발생이 예측되면, 상기 인식된 객체에게 상기 상황 발생을 알리는 단계를 포함하는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 방법 및 이를 구현하기 위한 시스템이 제공된다.

Description

다중 영상을 이용한 사건/사고 예방 방법 및 시스템{METHOD AND SYSTEM FOR PREVENTING ACCIDENT USING MULTIPLE PICTURES}

본 발명은 다중 영상을 이용한 사건/사고 예방 방법 및 시스템에 관한 것으로, 보다 상세하게는 방향별 객체 인식을 통해 객체간의 사건/사고와 관련된 특정 상황의 발생을 예측하여 이를 경고해줄 수 있는 다중 영상을 이용한 사건/사고 예방 방법 및 시스템에 관한 것이다.

일반적으로 교차로, 보호구역, 횡단보도, 골목길 등과 같은 영역에서는 사건/사고가 빈번하게 발생된다. 이와 같이, 사건/사고가 빈번하게 발생되는 영역, 즉 주의를 요하는 영역에는 사건/사고 예방을 위해 주로 안전판이나 경광등이 설치된다.

또한, 보행자가 드문 곳에서는 사건/사고 발생을 예방하기 위해 야간에 점등된 상태를 유지하는 가로등 대신에 신호등과 연계하여 운전자가 용이하게 보행자를 인지할 수 있고, 보행자의 횡단을 도울 목적으로 보행 신호와 함께 점등되어 횡단보도를 비추는 횡단보도용 조명등이 설치된다.

본 출원인은 특허등록 제10-1052803호의 "카메라를 이용한 지능형 조명제어 및 사건/사고 관리시스템"을 제안한 바 있는데, 이러한 사건/사고 관리 시스템은 카메라, 복수의 LED 램프를 포함한 조명등을 사용하고, 카메라에 의해 촬영된 영상에 대한 분석을 통해 초기 상황을 인지한다. 그리고 나서, 실시간으로 카메라에 의해 촬영된 영상의 분석을 통해 객체를 인식하며, 인식된 객체의 패턴을 기반으로 영역별로 해당 LED 조명등의 세기를 제어함으로써, 상황에 따라 사건/사고가 빈번하게 발생되는 영역을 자동으로 조명한다. 이를 통해, 야간의 어두운 환경에서 복수의 분할된 LED 램프를 이용하여 원격지 운영자 또는 먼거리 운전자 등이 관찰 대상자 또는 횡단보도 내 보행자를 용이하게 인지할 수 있도록 한다.

그러나, 상기와 같은 종래기술은 단순히 객체 패턴의 인식을 이용하여 조명등을 통해 상황을 알려주는 기능만 기재되어 있을 뿐, 서로 다른 방향에서 동일한 영역에 접근하는 객체들간에 발생될 수 있는 사건/사고와 관련된 특정 상황을 미리 예측할 수 없는 단점이 있다.

따라서, 보이지 않는 전방의 상황을 실시간으로 알려주거나, 특정 영역에서 자신에게 일어날 가능성이 있는 사건/사고를 미리 예측하여 알려줄 수 있는 시스템이 절실히 요구된다.

본 발명의 목적은, 방향별 복수의 관찰 섹터에 대한 영상의 분석을 통해 방향별 객체의 특징 값을 분석하고, 분석된 특징 값을 통해 객체간의 사건/사고와 관련된 특정 상황 발생을 예측할 수 있는 다중 영상을 이용한 사건/사고 예방 방법 및 시스템을 제공하는 데 있다.

본 발명의 다른 목적은, 사건/사고와 관련된 특정 상황 발생이 예측됨에 따라 이를 방향별 객체에게 경고해줌으로써, 사건/사고를 미연에 방지할 수 있는 다중 영상을 이용한 사건/사고 예방 방법 및 시스템을 제공하는 데 있다.

본 발명의 또 다른 목적은, 방향별 객체의 이동 속도를 기반으로 하여 경고 알림 순위를 설정한 후 설정된 경고 알림 순위에 따라 순차적으로 상황 발생을 경고해 줄 수 있는 다중 영상을 이용한 사건/사고 예방 방법 및 시스템을 제공하는 데 있다.

본 발명의 또 다른 목적은, 상황 발생이 예측됨에 따라 관찰 섹터와 매핑된 조명등, 음성부, 경고용 센서부 등을 통해 객체에게 경고해줄 수 있는 다중 영상을 이용한 사건/사고 예방 방법 및 시스템을 제공하는 데 있다.

상기한 본 발명의 목적들은, 제어 장치가, 방향별 복수의 관찰 섹터가 설정된 하나 이상의 영상 촬영부로부터 영상을 수신하는 단계; 상기 하나 이상의 영상 촬영부로부터 방향별 복수의 관찰 섹터에 해당하는 영상 각각에서 적어도 하나 이상의 객체를 인식하는 단계; 상기 인식된 객체의 행동 패턴, 객체의 이동 속도 또는 이동 방향을 포함하는 특징 값을 생성하는 단계; 상기 특징 값을 통해 사건/사고와 관련된 상황 발생을 예측하는 단계; 및 상기 상황 발생이 예측되면, 상기 인식된 객체에게 상기 상황 발생을 알리는 단계를 포함하는 다중 영상을 이용한 사건/사고 예방 방법에 의해 달성될 수 있다.

또한 본 발명에 따르면, 상기 상황 발생을 예측하는 단계는, 상기 특징 값을 기반으로 특정 구역에 대한 상기 인식된 객체의 도착 예정 시간값을 산출하는 단계; 및 상기 도착 예정 시간값을 통해 상기 특정 구역에서의 상황 발생을 예측하는 단계를 포함하는 것을 특징으로 한다.

또한 본 발명에 따르면, 상기 도착 예정 시간값을 산출하는 단계는, 상기 인식된 객체에 대한 학습 정보와 상기 특징 값을 통해 상기 도착 예정 시간값을 산출하는 것을 특징으로 한다.

또한 본 발명에 따르면, 상기 객체를 인식하는 단계에서 방향별로 적어도 둘 이상의 객체가 인식되면, 상기 상황 발생을 예측하는 단계는 방향별로 인식된 객체 각각의 도착 예정 시간값을 통해 상기 특정 구역에서의 충돌 사고 발생을 예측하는 것을 특징으로 한다.

또한 본 발명에 따르면, 상기 상황 발생을 알리는 단계는, 상기 방향별로 인식된 객체 각각의 도착 예정 시간값을 통해 방향별로 상기 상황 발생을 알리는 것을 특징으로 한다.

또한 본 발명에 따르면, 상기 상황 발생을 알리는 단계는, 상기 방향별로 인식된 객체 각각의 도착 예정 시간값을 토대로 상기 방향별로 인식된 객체 각각에 경고 알림 순위를 부여하는 단계; 및 상기 경고 알림 순위에 따라 상기 상황 발생을 알리는 단계를 포함하는 것을 특징으로 한다.

또한 본 발명에 따르면, 상기 상황 발생을 예측하는 단계는, 속도 제한 구역에서 객체가 인식될 경우 상기 객체의 이동 속도를 기반으로 상기 상황 발생을 예측하는 것을 특징으로 한다.

또한 본 발명에 따르면, 상기 상황 발생을 예측하는 단계는, 인식된 객체의 행동 패턴과 이동 방향을 통해 상기 인식된 객체의 다음 이동 방향을 예측하며, 상기 방법은, 상기 예측된 다음 이동 방향을 토대로 적어도 하나 이상의 조명을 제어하는 단계를 더 포함하는 것을 특징으로 한다.

또한 상기한 본 발명의 목적들은, 방향별로 설정된 다수의 관찰 섹터를 촬영하여 상기 다수의 관찰 섹터에 대응하는 영상을 획득하는 복수의 영상 촬영부; 다수의 관찰 섹터에 광을 조사하는 복수의 LED 램프 패널로 구성되며, 전체 또는 일부의 LED 램프의 구동을 통해 전체 또는 일부 관찰 섹터에 광을 조사하여 상황 발생을 알리는 조명부; 음성 또는 경고음을 출력하여 상황 발생을 알리는 복수의 음성부; 경광등 또는 비상벨을 이용하여 상황 발생을 알리는 경고용 센서부; 상기 관찰 섹터와 매핑되는 복수의 영상 촬영부의 좌표값, 조명부, 복수의 음성부 및 복수의 경고용 센서부의 영역별 위치가 저장된 메모리; 상기 영상 촬영부, 상기 조명부, 복수의 음성부 및 복수의 경고용 센서부와 유선 또는 무선 네트워크로 연결되어 상기 영상 촬영부로부터 제공받은 방향별 관찰 섹터의 영상 분석을 통해 객체를 인식하고, 상기 인식된 방향별 객체의 행동 패턴과 객체 인식 결과값을 이용하여 상황 발생이 예측되는 영역의 상기 인식된 객체별 도착 예상 시간을 결정하여 상황 발생을 예측하며, 상기 상황 발생이 예측됨에 따라 상기 메모리의 검색을 통해 상기 상황 발생이 예측되는 영역에 해당하는 상기 조명부, 복수의 음성부 및 복수의 경고용 센서부 중 적어도 하나 이상을 제어하여 상기 인식된 객체에게 상황 발생을 알려주는 제어 장치; 및 상기 유무선 네트워크를 통해 상기 제어 장치와 연결된 상기 조명부, 복수의 음성부 및 복수의 경고용 센서부의 상태 설정, 상태 표출 및 상태 관리를 수행하는 시스템 관리부를 포함하는 다중 영상을 이용한 사건/사고 예방 시스템에 의해 달성될 수 있다.

또한 본 발명에 따르면, 상기 제어 장치는, 상황 발생 시 상기 시스템 관리부에 상황 발생 영상 및 상황 발생 위치 정보 중 적어도 하나 이상을 전송하여 표출시키는 것을 특징으로 한다.

또한 본 발명에 따르면, 상기 제어 장치는, 상기 방향별 관찰 섹터에 영상의 분석을 통해 객체 인식을 수행하며, 상기 인식된 방향별 객체에 대한 행동 패턴과 객체 인식 결과값을 생성하는 지능형 영상 인식 모듈; 상기 객체 인식 결과값을 이용하여 상기 상황 발생이 예측되는 영역에 대한 상기 객체 각각의 도착 예정 시간을 생성하는 제어 모듈; 상기 제어 모듈에서 생성된 도착 예정 시간을 통해 상기 인식된 방향별 객체간의 상황 발생을 예측하는 상황 예측 모듈; 및 상기 상황 발생이 예측되는 영역 또는 상기 방향별 관찰 섹터에서 사고가 발생 시 객체의 위치 및 객체를 촬영한 데이터를 저장하기 위한 저장 모듈을 포함하며, 상기 제어 모듈은 상기 상황 발생이 예측됨에 따라 상기 조명부, 복수의 음성부 및 복수의 경고용 센서부 중 적어도 하나 이상을 제어하여 상기 인식된 객체에게 상황 발생을 알려주는 것을 특징으로 한다.

또한 본 발명에 따르면, 상기 복수의 음성부는, 상기 시스템 관리부와 유무선 네트워크로 연결되어 상기 시스템 관리부로부터 제공받은 목격자 또는 신고자와의 양방향 통화 음성 또는 재난 상황을 알리기 위한 안내 방송을 송출하는 것을 특징으로 한다.

본 발명의 다중 영상을 이용한 사건/사고 예방 방법 및 시스템에 의하면, 방향별 복수의 관찰 섹터에 대한 영상의 분석을 통한 방향별 객체의 특징 값을 기반으로 객체간의 충돌 발생을 예측하고, 이를 객체들에게 알려줌으로써, 객체간의 충돌과 같은 사건/사고를 미연에 방지할 수 있는 이점이 있다.

또한, 본 발명의 다중 영상을 이용한 사건/사고 예방 방법 및 시스템에 의하면, 방향별 객체의 특징 값을 통해 객체의 다음 방향을 예측할 수 있기 때문에 객체의 향후 행동에 대한 필요한 서비스, 예컨대 조명 점등과 같은 서비스를 제공할 수 있는 이점도 있다.

도 1은 본 발명의 실시예에 따른 다중 영상을 이용한 사건/사고 예방 시스템을 도시한 상세 블록 구성도,
도 2는 본 발명의 실시예에 적용되는 관찰 섹터를 설명하기 위한 도면,
도 3은 본 발명의 실시예에 따른 영상 촬영부에 의해 촬영된 영상을 이용한 사건/사고 예방 시스템의 동작을 순서대로 도시한 플로우 차트,
도 4는 본 발명의 실시예에 따른 사건/사고 예방 시스템이 교차로에 적용된 경우를 설명하기 위한 예시도,
도 5는 본 발명의 실시예에 따른 사건/사고 예방 시스템이 보호구역에 적용된 경우를 설명하기 위한 예시도.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 보다 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 다중 영상을 이용한 사건/사고 예방 시스템을 도시한 상세 블록 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 사건/사고 예방 시스템은 복수의 영상 촬영부(100), 조명부(110), 복수의 음성부(120), 복수의 경고용 센서부(130), 제어 장치(150) 및 시스템 관리부(170)를 포함할 수 있다.

영상 촬영부(100)는 방향별로 설정된 다수의 관찰 섹터를 촬영하여 관찰 섹터에 대응하는 영상을 획득하고, 획득한 영상을 제어 장치(150)에 제공할 수 있다. 이러한 영상 촬영부(100)는 유선 또는 무선 네트워크를 통해 촬영된 영상을 제어 장치(150)에 제공한다. 다시 말해서, 영상 촬영부(100)는 도 2에 도시된 바와 같이, 방향별로 촬영한 영상을 다수의 관찰 섹터(Z1, Z2, ... Zn)로 분할하여 관찰 섹터별 영상을 획득할 수 있다.

관찰 섹터의 설정을 위하여 영상 촬영부(100)가 획득한 영상의 해당 감시섹터에 복수의 관심영역(ROI: Region of Interest)과 관찰대상 객체의 행동 방향을 추가 설정하고, 상기 관찰 섹터의 원근감을 고려하여 관찰 섹터별로 복수의 세부 관심영역(ROI)의 형태 조절, 행동 패턴, 좌표값을 설정한 다음, 상기 설정된 복수의 세부 관심영역(ROI)과 관찰 섹터(또는 관찰 섹터의 가상의 실세계 좌표), 복수의 LED 램프 패널로 된 조명부(110), 복수의 음성부(120), 복수의 경고용 센서부(130), 영상처리를 위한 영상 촬영부(100)의 좌표를 상호 매핑시킨 후, 상기 관찰 섹터와 매핑되는 영상 촬영부(100)의 좌표값, 조명부(110), 복수의 음성부(120), 복수의 경고용 센서부(130)의 영역별 위치를 메모리(도시되지 않음)에 저장하는 것이다

조명부(110)는 다수의 관찰 섹터에 광을 조사하는 복수의 LED 램프 패널로 구성되며, 제어 장치(150)의 제어에 의해 전체 또는 일부의 LED 램프가 구동되어 전체 또는 일부 관찰 섹터에 광을 선택적으로 조사할 수 있다.

복수의 음성부(120)는 제어 장치(150)에 의해 동작하여 자동으로 음성을 출력하거나 경고음을 송출할 수 있다. 구체적으로, 음성부(120)는 스피커, 마이크, 음성 관리 장치로 구성되어 사건/사고와 관련된 특정 상황의 발생(예컨대, 충돌)이 예측됨에 따라 영상 촬영부(100)가 촬영하는 방향별로 자동 음성 안내 서비스(TTS) 또는 경고음을 제공할 수 있다.

또한 복수의 음성부(120)는 유무선 네트워크를 통해 연결된 시스템 관리부(170)의 제어에 따라 특정 상황 외의 상황, 예컨대 목격자 또는 신고자와의 양방향 통화, 재난 상황 알림 등의 방송을 제공할 수 있다. 구체적으로, 복수의 음성부(120)는 시스템 관리부(170)의 운영자가 요청한 안내 방송, 예컨대 목격자 또는 신고자와의 양방향 통화 음성, 재난 상황을 알리기 위한 안내 방송 등을 송출할 수 있다.

복수의 경고용 센서부(130)는 사건/사고와 관련된 특정 상황의 발생(예컨대, 충돌)이 예측됨에 따라 상황 발생이 예측되는 영역에 이를 알려줄 수 있다. 본 발명의 실시예에서 경고용 센서부(130)는 경광등, 비상벨 등을 들 수 있으나, 이에 한정되지는 않는다.

제어 장치(150)는 방향별 관찰 섹터의 영상 분석을 통해 객체를 인식하고, 인식된 방향별 객체의 행동 패턴과 객체 인식 결과값을 이용하여 상황 발생이 예측되는 영역, 예컨대 교차 구역의 도착 예정 시간값을 객체별로 산출할 수 있다.

또한, 제어 장치(150)는 객체별 교차 구역의 도착 예정 시간값을 이용하여 교차 구역의 객체별 도착 우선 순위를 선정하고, 객체별 도착 우선 순위를 통해 상황 발생을 예측할 수 있다.

상황 발생이 예측됨에 따라, 제어 장치(150)는 상황 발생이 예측되는 영역에 설치된 음성부(120)를 제어하여 자동 음성 안내 서비스 또는 경고음이 송출되도록 하거나 경고용 센서부(130)를 통해 상황 발생을 객체에게 알려줄 수 있다.

한편, 제어 장치(150)는 상황 발생이 예측됨에 따라 상황 발생 예측 시간을 기반으로 기 설정된 시간 내의 정보를 저장할 수 있다. 구체적으로, 제어 장치(150)는 상황 발생 예측 시간 전후 일정 시간에 해당하는 관찰 섹터(예컨대, 횡단보도 상)의 사건/사고 발생 시 즉각적으로 상황 정보{예컨대, 객체(사람이나 차량)의 위치나 촬영한 데이터 등}를 저장할 수 있다.

또한, 제어 장치(150)는 상황 발생 시 유무선 네트워크를 통해 연결된 시스템 관리부(170)에 상황 발생에 따른 정보를 전송하여 즉각적으로 표출시킬 수 있다. 구체적으로, 제어 장치(150)는 사고 발생 시 시스템 관리부(170)에 사고 영상, 사고 위치 정보, 기타 사건사고 정보 등을 포함한 사고 데이터를 전송하여 즉각적으로 표출시킬 수 있다.

상술한 바와 같은 제어 장치(150)는 입력 모듈(152), 지능형 영상 인식 모듈(154), 제어 모듈(156), 상황 예측 모듈(158), 저장 모듈(160) 및 네트워크 전송 모듈(162)을 포함할 수 있다.

입력 모듈(152)은 사건/사고 예방에 필요한 다양한 형태의 데이터, 예컨대 영상 촬영부(100)에 의해 촬영된 영상, 경고용 센서부(130)를 통해 입력되는 센싱 신호 등을 입력받을 수 있다. 이렇게 입력받은 데이터는 제어 장치(150) 내의 각 구성 부재에 제공될 수 있다.

지능형 영상 인식 모듈(154)은 입력 모듈(152)을 통해 제공받은 방향별 관찰 섹터 내 영상 분석을 통해 객체(예컨대, 사람이나 차량 등) 인식을 수행할 수 있다.

또한, 지능형 영상 인식 모듈(154)은 입력 모듈(152)을 통해 제공받은 방향별 교차 구역 영상을 머지(merge)하여 제어 모듈(156)에 제공할 수 있다.

지능형 영상 인식 모듈(154)은 인식된 객체에 대한 행동 패턴과 객체 인식 결과값을 생성할 수 있다. 여기에서, 객체 인식 결과값은 객체의 속도, 이동 방향 등을 들 수 있다.

제어 모듈(156)은 지능형 영상 인식 모듈(154)로부터 제공받은 객체 인식 결과값을 이용하여 특정 구역(예컨대, 가상의 교착 구역)에 대한 객체의 도착 예정 시간, 도착 우선 순위 등을 생성할 수 있다. 또한, 제어 모듈(156)은 객체의 도착 예정 시간 및 도착 우선 순위 등을 상황 예측 모듈(158)에 제공할 수 있다.

제어 모듈(156)은 객체간의 중복 인식을 방지하기 위해 인식된 객체 각각에 고유 번호를 부여하여 관리할 수 있다.

제어 모듈(156)은 영상 촬영부(100)의 방향별 관찰 섹터(또는 관찰 섹터의 가상의 실세계 좌표), 복수의 LED 램프 패널로된 조명부(110), 방향별로 경고 안내 방송이 가능한 복수의 음성부(120), 복수의 경고용 센서부(130) 및 영상 촬영부(100)의 좌표를 상호 매핑시킨 매핑 데이터를 메모리(미도시됨)에 저장하여 관리할 수 있다.

제어 모듈(156)은 상황 발생이 예측될 때 객체에게 상황 발생을 알리기 위해 조명부(110), 음성부(120), 경고용 센서부(130) 등을 제어할 수 있다.

한편, 특정 구역(예컨대, 어린이 보호 구역 등)에서 기 설정된 속도 이상의 속도로 이동하는 객체가 인식될 때, 제어 모듈(156)은 특정 구역의 음성부(120)를 통해 자동으로 경고 안내 방송을 송출할 수 있다.

또한, 제어 모듈(156)은 상황 발생이 예측됨에 따라 매핑 데이터와 객체가 인식된 방향별 정보를 통해 방향별로 조명부(110), 음성부(120), 경고용 센서부(130) 등을 제어하여 객체가 특정 관찰 섹터에 들어올 때에 맞춰서 상황 발생을 알려줄 수 있다.

상황 예측 모듈(158)은 제어 모듈(156)로부터 제공받은 정보를 통해 객체간의 충돌 사고, 객체의 방향 예측 등과 같은 상황 발생을 예측하여 상황 제어 모듈(156)에 알려줄 수 있다. 이에 따라, 제어 모듈(156)은 매핑 데이터와 객체가 인식된 방향별 정보를 통해 조명부(110), 음성부(120), 경고용 센서부(130) 등을 제어하여 상황 발생을 객체에게 경고해줄 수 있다.

저장 모듈(160)은 관찰 구역에서 발생하는 소정의 사건/사고 결과에 대응되는 객체(또는 객체 행동 패턴)값을 저장하는 것으로, 관찰구역(예컨대, 횡단보도 상)의 사건/사고 발생 시 즉각적으로 상황 정보{예컨대, 객체(사람이나 차량)의 위치나 촬영한 데이터 등}를 저장한다.

구체적인 동작은, 상기 제어 장치(150)의 제어하에, 상기 이동 객체 간의 학습된 행동 패턴의 불일치성을 판단한 시간 기준으로 전/후 몇 분간의 영상, 예컨대 이전 2~3분 및 이후 10~15분간의 영상을 저장하고, 상기 관찰영역(Z1 ~ Zn)에 위치하는 이동 객체의 정지 또는 학습된 행동 패턴이 아닌 현상에 대하여 전/후 몇 분간의 영상을 저장하는 방식으로 이루어진다. 그리고, 사용자에 의하여 시간 영역 및 객체의 움직임 감지 시 중 적어도 어느 하나 이상을 포함하는 다양한 환경설정을 저장한다. 별도의 운영 PC 또는 물리적 저장장치를 현장에 설치하지 않아도 유/무선 네트워크 또는 스마트폰, PC 등으로 사건/사고 저장 데이터를 백업할 수 있는 저장장치를 사용할 수 있으며, 상기 저장되는 저장 공간은 PC의 저장장치 외에도 이동식 디스크(USB, SD 등)를 활용할 수 있다.

네트워크 전송 모듈(162)은 저장 모듈(160)에 저장된 데이터를 자가망 또는 임대망을 이용하여 원격지로 전송할 수 있다. 구체적으로, 네트워크 전송 모듈(162)은 유무선 통신망을 통해 외부의 서버(도시되지 않음), 또는 시스템 관리부(170)에 전송할 수 있다.

시스템 관리부(170)는 제어 장치(150)와의 유무선 네트워크를 통해 제어 장치(150)의 각 구성의 상태 설정, 상태 표출, 상태 관리 등을 수행할 수 있다. 구체적으로, 시스템 관리부(170)는 영상 촬영부(100)의 제어를 통해 실시간 영상 표출, 영상 저장, 상태 관리, 영상 상태 설정 등을 수행할 수 있을 뿐만 아니라 음성부(120)의 제어를 통해 양방향 통화, 음성 조정, 상태 관리 등을 수행할 수 있으며, 조명부(110)의 제어를 통해 조명 광도 등을 조정할 수 있다.

상기와 같은 구성을 갖는 제어 장치(150)가 사건/사고 예방을 위해 동작하는 과정에 대해 도 3을 참조하여 설명한다.

도 3은 본 발명의 실시예에 따른 영상 촬영부(100)에 의해 촬영된 영상을 이용한 사건/사고 예방 시스템의 동작을 순서대로 도시한 플로우 차트이다.

도 3에 도시된 방법은 예를 들어, 전술한 도 1의 제어 장치(150)에 의해 수행될 수 있다. 도시된 플로우 차트에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

도 3에 도시된 바와 같이, 제어 모듈(156)은 하나 이상의 영상 촬영부(100)에 방향별 관찰 섹터를 설정하고, 각 관찰 섹터에 가상의 실세계 좌표를 부여한다(S202).

그런 다음, 제어 모듈(156)은 다수의 관찰 섹터(또는 관찰 섹터의 가상의 실세계 좌표), 가상으로 분할된 조명부(110), 복수의 음성부(120), 경고용 센서부(130) 및 영상 처리를 위한 영상 촬영부(100)의 좌표를 상호간에 매핑한다. 구체적으로, 매핑 데이터는 다수의 관찰 섹터(Z1, Z2, ... Zn)와, 가상으로 분할된 복수의 음성부(음성부 1군, 2군, ... N군), 가상으로 분할된 경고용 센서부(경고용 센서부 1군, 2군, ... N군) 및 영상처리를 위한 영상 촬영부(100)의 좌표(Xn, Yn)를 상호간에 매핑하여 생성될 수 있다(S204). 제어 모듈(156)은 이렇게 생성된 매핑 데이터를 메모리(미도시됨)에 저장한다(S206).

그리고 나서, 지능형 영상 인식 모듈(154)은 매핑 데이터의 방향별 관찰 섹터에 대한 영상을 영상 촬영부(100)로부터 수신하고(S208), 수신한 영상의 분석을 통해 방향별 객체를 검지하여 인식한 후(S210), 인식된 방향별 객체의 행동 패턴 및 객체 인식 결과값(예컨대, 객체의 이동 방향, 이동 속도)을 생성하여 제어 모듈(156)에 출력한다(S212).

객체 인식과 객체 인식 결과값을 생성하는 방법은 관찰 섹터에서 이루어지는 이동 또는 정지 객체에 대한 영상분석 계산량의 최소화를 위하여 사람, 차량의 주행방향을 포함한 행동 패턴을 미리 설정하고, 영상 촬영부(100)를 통해 실시간으로 촬영된 영상분석을 위해 이동 객체에 대한 관심영역(ROI)을 설정하며, 관심영역을 관찰 섹터별로 설정한 후 영상 촬영부(100)로부터 실시간 영상을 차례로 입력받은 N장의 영상에서 특정 행동 패턴을 배제시킨 관심영역으로 초기 배경 모델을 구성할 수 있다.

초기 배경 모델을 구성한 후 N+1번째부터는 입력 영상 간의 차이로 획득된 이동 객체와 이동 객체의 그림자가 포함된 전격 영역을 분리하고, 배경 영상과 전격 영역의 차이점을 분석하여 전격 영역의 그림자를 제거하고, 그림자 영역의 제거와 배경 영상의 모델링 후에 영상분석의 계산량 최소화를 위하여 영상을 블록화하며, 영상 블록화 이후, 분할영역 내부의 구멍(hole)을 제거하기 위한 확장과 침식의 모폴로지 연산을 차례로 수행하며, 모폴로지 연산 이후, 영역분할을 위한 레이블링을 수행한다.

그런 다음, MER(최소인접사각형) 계산을 수행한 후 초기 배경모델을 구성한 배경 영상에서 영상을 블록화한 완료된 N번째 이동 객체 영역 및 실세계 좌표값과 N+1번째 입력영상에 검지된 블록화된 객체 영역과 실세계 좌표값 간의 변화 및 거리 환산으로 이동 객체에 대한 행동 패턴 및 속도를 인식하여 객체의 인식 결과값이 생성될 수 있다.

상술한 바와 같이, 초기 배경 모델 구성 및 영상 블록화를 통해 객체 인식 및 객체 인식 결과값을 생성하는 것으로 예를 들어 설명하였지만, 이에 한정되지는 않는다.

제어 모듈(156)은 방향별 객체의 행동 패턴 및 객체 인식 결과값을 이용하여 특정 구역, 예컨대 교차 구역에 대한 각 객체의 도착 예정 시간값을 산출한다. 구체적으로, 제어 모듈(156)은 객체의 행동 패턴, 객체 인식 결과 및 가상의 학습된 정보를 매핑하여 객체를 분석하고, 분석된 정보를 통해 방향별 교차 구역에 대한 방향별 객체의 도착 예정 시간값을 산출한다. 예를 들어, 제어 모듈(156)은 제1 방향에서 자동차가 교차 구역으로 접근하고, 제2 방향에서 어린이가 교차 구역으로 접근하는 경우 제1 및 제2 방향의 자동차 및 어린이에 대한 가상의 학습된 정보(예컨대, 해당 방향에서의 자동차의 평균 이동 속도, 어린이의 평균 이동 속도)와 객체의 행동 패턴을 통해 자동차와 어린이가 교차 구역까지 도달하는 도착 예정 시간값을 산출할 수 있다.

그런 다음, 상황 예측 모듈(158)은 방향별 객체의 도착 예정 시간값을 통해 교차 구역에서 특정 상황의 발생 여부를 판단한다(S214). 구체적으로, 상황 예측 모듈(158)은 방향별 객체의 도착 예정 시간값의 비교를 통해 방향별 객체의 도착 우선 순위를 선정하고, 선정된 객체의 도착 우선 순위의 비교를 통해 도착 우선 순위가 동일한 객체의 존재 여부를 통해 상황 발생 여부를 판단할 수 있다.

단계 S214의 판단 결과, 상황 발생이 예측되면 제어 모듈(156)은 객체 인식 결과값, 행동 패턴 및 매핑 데이터를 통해 조명부(110), 복수의 음성부(120), 복수의 경고용 센서부(130) 등을 제어하여 방향별 객체에게 상황 발생을 경고해준다(S216). 구체적으로, 제어 모듈(156)은 객체의 이동 속도 및 이동 방향을 고려하여 특정 관찰 섹터에 들어오는 시간을 예측하며, 예측된 시간에 도달하면 특정 관찰 섹터에 매핑되어 있는 조명부(110), 음성부(120), 경고용 센서부(130) 등을 제어하여 조명부(110)를 점등시키거나, 자동 음성 안내 서비스 또는 경고음을 제공하거나, 경광등을 점멸시켜 상황 발생을 특정 관찰 섹터에 도달한 객체에게 경고해줄 수 있다.

한편, 제어 모듈(156)은 영상 촬영부(100)로부터 입력되는 영상을 통해 특정 관찰 섹터에 객체가 들어오는 것을 감지하며, 객체가 감지됨에 따라 특정 관찰 섹터에 매핑되어 있는 조명부(110), 음성부(120), 경고용 센서부(130) 등을 제어하여 조명부(110)를 점등시키거나, 자동 음성 안내 서비스 또는 경고음을 제공하거나, 경광등을 점멸시켜 상황 발생을 특정 관찰 섹터에 도달한 객체에게 경고해줄 수도 있다.

또한, 제어 모듈(156)이 방향별 객체에게 상황 발생을 경고해 줄 때, 객체의 도착 예정 시간값 또는 객체의 종류에 의거하여 경고 알림 순위를 설정하여 상황 발생을 경고해줄 수 있다. 구체적으로, 제어 모듈(156)은 객체별 도착 예정 시간값 간의 비교를 통해 도착 예정 시간값이 작은 객체에 대해 높은 경고 알림 순위를 부여하거나 객체의 종류에 따라 경고 알림 순위를 부여하며, 경고 알림 순위에 따라 방향별 객체에게 상황 발생을 순차적으로 경고해줄 수 있다.

한편, 상황 발생을 경고한 다음, 제어 장치(150)는 영상 촬영부(100)에 의해 촬영된 방향별 영상을 저장 모듈(160)에 저장한다(S218). 구체적으로, 상황 발생을 경고한 후 관찰 섹터에서 발생하는 소정의 사건/사고 결과에 대응되는 값을 저장한다. 즉, 교차 구역에서의 사건/사고 발생 시까지의 상황 정보(예컨대, 객체(사람이나 차량)의 위치나 촬영한 데이터 등)를 저장한다.

구체적인 동작은, 상기 제어 장치(150)의 제어 하에 상황이 발생한 시간 기준으로 전/후 몇 분간의 영상과, 상기 관찰영역(Z1 ~ Zn)에 위치하는 이동 객체의 이동 전/후 몇 분간의 영상 등을 저장하는 방식으로 이루어진다. 그렇게 하여, 관찰 섹터 내 소정의 사건/사고 결과값을 저장하게 된다.

단계 S214의 판단 결과, 상황 발생이 예측되지 않으면, 제어 장치(150)는 단계 S208로 진행하여 이후 단계를 수행한다.

상술한 바와 같은 사건/사고 예방 시스템이 교차로가 존재하는 도로에 적용된 경우에 대해 도 4를 참조하여 설명하면 아래와 같다.

먼저, 도 4에 도시된 바와 같이, 교차로에 설치된 영상 촬영부(100)는 A 및 B 방향에 대한 관찰 섹터별 영상을 획득하여 제어 장치(150)에 제공한다. 제어 장치(150)는 관찰 섹터별 영상을 분석하여 A 및 B 방향의 특정 관찰 섹터(Z4)에서 승용차와 버스의 객체를 검지하여 인식한다.

그런 다음, 제어 장치(150)는 A 및 B 방향의 객체에 대한 객체 인식값, 예컨대 승용차와 버스의 이동 속도를 산출하고, 산출된 이동 속도를 기반으로 승용차 및 버스에 대한 교차로 도착 예정 시간값을 산출한다.

그리고 나서, 제어 장치(150)는 도착 예정 시간값을 통해 승용차 및 버스간의 특정 상황의 발생을 예측한다. 구체적으로, 제어 장치(150)는 기 설정된 범위 안에서 도착 예정 시간값이 동일한 경우 상황 발생을 예측할 수 있다.

이에 따라, 제어 장치(150)는 도착 예정 시간값 이전, 예컨대 임의의 관찰 섹터에 승용차 및 버스가 들어올 때 특정 상황의 발생을 경고해줄 수 있다.

한편, 상술한 바와 같은 사건/사고 예방 시스템이 보호 구역에 해당하는 도로에 적용된 경우에 대해 도 5를 참조하여 설명하면 아래와 같다.

먼저, 도 5에 도시된 바와 같이, 보호 구역 상에 설치된 영상 촬영부(100)는 임의의 방향에 대한 관찰 섹터별 영상을 획득하여 제어 장치(150)에 제공한다. 제어 장치(150)는 관찰 섹터별 영상을 분석하여 임의의 방향의 특정 관찰 섹터(Z4)에서 승용차와 같은 객체를 검지하여 인식한다.

그런 다음, 제어 장치(150)는 임의의 방향에서 인식된 객체에 대한 객체 인식값, 예컨대 승용차의 이동 속도를 산출하고, 산출된 이동 속도를 기반으로 상황 발생을 예측한다. 다시 말해서, 제어 장치(150)는 승용차가 기 설정된 값 이상의 이동 속도로 주행하는 경우 상황 발생을 예측할 수 있다.

상황 발생이 예측됨에 따라, 제어 장치(150)는 조명부(110), 복수의 음성부(120), 복수의 경고용 센서부(130) 등을 통해 승용차에게 상황 발생을 경고해줄 수 있다.

또한, 상술한 바와 같은 사건/사고 예방 시스템에서 제어 장치(150)는 객체의 인식 결과값과 행동 패턴을 기반으로 객체의 다음 이동 방향을 통해 상황 발생을 예측하고, 예측된 상황 발생에 고려하여 다음 이동 방향에 존재하는 조명부(110)를 점등시킬 수도 있다.

한편, 상술한 바와 같은 사건/사고 예방 방법 및 시스템은 인도, 교차로, 횡단보도, 사각지대, 골목길 등에도 동일하게 적용될 수 있다.

100 : 영상 촬영부 110 : 조명부
120 : 음성부 130 : 경고용 센서부
150 : 제어 장치 152 : 입력 모듈
154 : 지능형 영상 인식 모듈 156 : 제어 모듈
158 : 상황 예측 모듈 160 : 저장 모듈
162 : 네트워크 전송 모듈 170 : 시스템 관리부

Claims (12)

1. 제어 장치가, 방향별 복수의 관찰 섹터가 설정된 하나 이상의 영상 촬영부로부터 영상을 수신하는 단계;
   상기 하나 이상의 영상 촬영부로부터 방향별 복수의 관찰 섹터에 해당하는 영상 각각에서 적어도 하나 이상의 객체를 인식하는 단계;
   상기 인식된 객체의 행동 패턴, 객체의 이동 속도 또는 이동 방향을 포함하는 특징 값을 생성하는 단계;
   상기 특징 값을 통해 사건/사고와 관련된 상황 발생을 예측하는 단계; 및
   상기 상황 발생이 예측되면, 상기 인식된 객체에게 상기 상황 발생을 알리는 단계를 포함하는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 방법.
   
2. 제1항에 있어서,
   상기 상황 발생을 예측하는 단계는,
   상기 특징 값을 기반으로 특정 구역에 대한 상기 인식된 객체의 도착 예정 시간값을 산출하는 단계; 및
   상기 도착 예정 시간값을 통해 상기 특정 구역에서의 상황 발생을 예측하는 단계를 포함하는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 방법.
   
3. 제2항에 있어서,
   상기 도착 예정 시간값을 산출하는 단계는,
   상기 인식된 객체에 대한 학습 정보와 상기 특징 값을 통해 상기 도착 예정 시간값을 산출하는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 방법.
   
4. 제2항에 있어서,
   상기 객체를 인식하는 단계에서 방향별로 적어도 둘 이상의 객체가 인식되면,
   상기 상황 발생을 예측하는 단계는 방향별로 인식된 객체 각각의 도착 예정 시간값을 통해 상기 특정 구역에서의 충돌 사고 발생을 예측하는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 방법.
   
5. 제4항에 있어서,
   상기 상황 발생을 알리는 단계는,
   상기 방향별로 인식된 객체 각각의 도착 예정 시간값을 통해 방향별로 상기 상황 발생을 알리는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 방법.
   
6. 제4항에 있어서,
   상기 상황 발생을 알리는 단계는,
   상기 방향별로 인식된 객체 각각의 도착 예정 시간값을 토대로 상기 방향별로 인식된 객체 각각에 경고 알림 순위를 부여하는 단계; 및
   상기 경고 알림 순위에 따라 상기 상황 발생을 알리는 단계를 포함하는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 방법.
   
7. 제1항에 있어서,
   상기 상황 발생을 예측하는 단계는, 속도 제한 구역에서 객체가 인식될 경우 상기 객체의 이동 속도를 기반으로 상기 상황 발생을 예측하는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 방법.
   
8. 제1항에 있어서,
   상기 상황 발생을 예측하는 단계는, 인식된 객체의 행동 패턴과 이동 방향을 통해 상기 인식된 객체의 다음 이동 방향을 예측하며,
   상기 방법은, 상기 예측된 다음 이동 방향을 토대로 적어도 하나 이상의 조명을 제어하는 단계를 더 포함하는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 방법.
   
9. 방향별로 설정된 다수의 관찰 섹터를 촬영하여 상기 다수의 관찰 섹터에 대응하는 영상을 획득하는 복수의 영상 촬영부;
   다수의 관찰 섹터에 광을 조사하는 복수의 LED 램프 패널로 구성되며, 전체 또는 일부의 LED 램프의 구동을 통해 전체 또는 일부 관찰 섹터에 광을 조사하여 상황 발생을 알리는 조명부;
   음성 또는 경고음을 출력하여 상황 발생을 알리는 복수의 음성부;
   경광등 또는 비상벨을 이용하여 상황 발생을 알리는 경고용 센서부;
   상기 관찰 섹터와 매핑되는 복수의 영상 촬영부의 좌표값, 조명부, 복수의 음성부 및 복수의 경고용 센서부의 영역별 위치가 저장된 메모리;
   상기 영상 촬영부, 상기 조명부, 복수의 음성부 및 복수의 경고용 센서부와 유선 또는 무선 네트워크로 연결되어 상기 영상 촬영부로부터 제공받은 방향별 관찰 섹터의 영상 분석을 통해 객체를 인식하고, 상기 인식된 방향별 객체의 행동 패턴과 객체 인식 결과값을 이용하여 상황 발생이 예측되는 영역의 상기 인식된 객체별 도착 예상 시간을 결정하여 상황 발생을 예측하며, 상기 상황 발생이 예측됨에 따라 상기 메모리의 검색을 통해 상기 상황 발생이 예측되는 영역에 해당하는 상기 조명부, 복수의 음성부 및 복수의 경고용 센서부 중 적어도 하나 이상을 제어하여 상기 인식된 객체에게 상황 발생을 알려주는 제어 장치; 및
   상기 유무선 네트워크를 통해 상기 제어 장치와 연결된 상기 조명부, 복수의 음성부 및 복수의 경고용 센서부의 상태 설정, 상태 표출 및 상태 관리를 수행하는 시스템 관리부를 포함하는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 시스템.
   
10. 제9항에 있어서,
    상기 제어 장치는, 상황 발생 시 상기 시스템 관리부에 상황 발생 영상 및 상황 발생 위치 정보 중 적어도 하나 이상을 전송하여 표출시키는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 시스템.
    
11. 제9항에 있어서,
    상기 제어 장치는,
    상기 방향별 관찰 섹터에 영상의 분석을 통해 객체 인식을 수행하며, 상기 인식된 방향별 객체에 대한 행동 패턴과 객체 인식 결과값을 생성하는 지능형 영상 인식 모듈;
    상기 객체 인식 결과값을 이용하여 상기 상황 발생이 예측되는 영역에 대한 상기 객체 각각의 도착 예정 시간을 생성하는 제어 모듈;
    상기 제어 모듈에서 생성된 도착 예정 시간을 통해 상기 인식된 방향별 객체간의 상황 발생을 예측하는 상황 예측 모듈; 및
    상기 상황 발생이 예측되는 영역 또는 상기 방향별 관찰 섹터에서 사고가 발생 시 객체의 위치 및 객체를 촬영한 데이터를 저장하기 위한 저장 모듈을 포함하며,
    상기 제어 모듈은 상기 상황 발생이 예측됨에 따라 상기 조명부, 복수의 음성부 및 복수의 경고용 센서부 중 적어도 하나 이상을 제어하여 상기 인식된 객체에게 상황 발생을 알려주는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 시스템.
    
12. 제9항에 있어서,
    상기 복수의 음성부는 상기 시스템 관리부와 유무선 네트워크로 연결되어 상기 시스템 관리부로부터 제공받은 목격자 또는 신고자와의 양방향 통화 음성 또는 재난 상황을 알리기 위한 안내 방송을 송출하는 것을 특징으로 하는 다중 영상을 이용한 사건/사고 예방 시스템.
    

Images