KR101052803B1 - 카메라를 이용한 지능형 조명제어 및 사건/사고 관리시스템 - Google Patents

Abstract

본 발명은 지능형 조명 제어를 위한 원근감을 고려하여 설정한 다수의 관찰섹터(및/또는, 관찰섹터의 가상의 실세계좌표), 가상으로 분할된 복수의 LED 램프패널로 된 다수의 LED조명등 및, 영상처리를 위한 카메라의 좌표를 매핑하는 단계, 상기 매핑된 관찰섹터 내 해당 관찰섹터와 상황 정보(또는, 객체나 객체의 행동 패턴) 상호 간의 초기 관계를 정의하는 초기 상황인지를 수행하는 단계, 상기 초기의 상황 인지를 수행한 이후에 실시간으로 관찰섹터 내(또는 주변의) 객체(또는, 객체의 패턴)을 인식하고 인식결과 값으로 리스트를 생성하는 단계, 상기 생성된 리스트에 따라 관찰구역 영역별로 해당 LED조명등의 세기(또는, 조도 밝기나 온, 오프 상태)를 제어하는 단계 및, 상기 제어시 관찰구역에서 발생하는 소정의 사건/사고 결과에 대응되는 결과 값을 생성하여 저장하는 카메라를 이용한 지능형 조명제어 및 사건/사고 관리 시스템에 관한 것으로, 카메라와 복수의 LED램프를 포함한 조명등을 사용하고, 이를 이용한 지능형 영상분석으로 관찰구역 및 횡단보도 등에 효과적으로 상황에 따라 전체 또는 집중관찰 영역을 자동으로 조명할 수 있는 지능형 조명을 제공함과 동시에 사건/사고에 대한 향후 증거확보를 효율적으로 할 수 있도록 한다.

Description

카메라를 이용한 지능형 조명제어 및 사건/사고 관리시스템{Intelligent Lighting Control System and accident management system using camera}

본 발명은 카메라를 이용한 지능형 조명제어 및 사건/사고 관리시스템에 관한 것으로, 더욱 상세하게는 야간 어두운 환경에서 복수의 분할된 LED램프를 이용하여 원격지 운영자 또는 먼거리 운전자 등이 관찰 대상자 또는 횡단보도 내 보행자를 용이하게 인지하도록 하고, LED램프를 이용 관찰대상자의 정확한 식별과 횡단보도 내 보행자의 안전을 도모하는 사건/사고 예방용과 관찰섹터 내 사건/사고 결과를 저장하는 카메라를 이용한 지능형 조명제어 및 사건/사고 관리시스템에 관한 것이다.

통상의 횡단보도용 조명등은 지면에 고정되게 설치되는 기둥에 신호등에 연계되어 발광하는 조명램프로 구성되어 있어서, 상기 횡단보도 조명등에서 발광된 빛이 횡단보도를 비추나 일부 영역에서는 충분히 조명되지 못하거나, 또는 분산되어 운전자의 눈을 눈부시게 하는 문제점이 있다.

그래서, 보행자가 드문 곳에서는 야간에 점등된 상태를 유지하는 가로등 대신에, 신호등과 연계하여, 운전자가 용이하게 보행자를 인지할 수 있고, 보행자의 횡단을 도울 목적으로 보행신호와 함께 점등되어 횡단보도를 비추는 횡단보도용 조명등이 설치된다.

한편, 종래기술 등록특허 10-0927868등에 따른 LED램프를 이용한 하나의 광원 또는 복수의 광원을 이용한 조명장치는 비추고자 하는 관찰구역에 대해(특정시간대 설정 또는 조도센서를 이용하여 야간에 항상 켜짐) 관찰대상자 또는 사용자가 없음에도 상시 켜짐으로서 에너지효율성이 떨어지는 문제점이 있다.

또한, 신호등에 연계되어 횡단보도용 조명등이 횡단보도의 전체영역을 고르게 조명하는 종래기술은 관찰대상 또는 횡단보도 내 보행자를 용이하게 인지하는 부분적 예방만 있으며, 향후 관찰구역 및 보행자 등에 사건/사고 발생 시 증거에 대한 활용도는 없는 실정이다.

본 발명은 상기와 같은 문제점을 해결하기 위해 개발된 것으로, 카메라와 복수의 LED램프를 포함한 조명등을 사용하고, 이를 이용한 지능형 영상분석으로 관찰구역 및 횡단보도 등에 효과적으로 상황에 따라 전체 또는 집중관찰 영역을 자동으로 조명할 수 있는 지능형 조명을 제공함과 동시에 사건/사고에 대한 향후 증거확보를 효율적으로 할 수 있도록 하는 카메라를 이용한 지능형 조명제어 및 사건/사고 관리 시스템을 제공하는데 그 목적이 있다.

이러한 목적을 달성하기 위한 본 발명에 따른 카메라를 이용한 지능형 조명제어 및 사건/사고 관리 시스템은,

지능형 조명 제어를 위한 원근감을 고려하여 설정한 다수의 관찰섹터(및/또는, 관찰섹터의 가상의 실세계좌표)와, LED 조명등을 분할한 복수의 LED 램프패널 및, 영상처리를 위한 카메라의 좌표를 매핑하는 단계, 상기 매핑된 관찰섹터 내 관찰영역과 상황 정보(또는, 객체나 객체의 행동 패턴) 상호 간의 초기 관계를 정의하는 초기 상황 인지를 수행하는 단계, 상기 초기 상황 인지를 수행한 이후에 실시간으로 상기 관찰섹터 내(또는 주변의) 변화되는 이동 또는 정지 객체(또는, 객체의 패턴)를 인식하고 인식결과 값을 생성하는 단계, 상기 생성된 인식결과 값에 따라 관찰섹터 별로, 매핑된 LED 램프패널의 세기(또는, 조도 밝기나 온, 오프 상태)를 제어하는 단계 및, 상기 제어시, 관찰섹터에서 발생하는 소정의 사건/사고 결과에 대응되는 결과 값을 생성하여 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게, 상기 LED 램프패널의 세기(또는, 조도 밝기나 온, 오프 상태)를 제어하는 단계는 상기 이동 객체의 수(1+N), 행동패턴(상행/하행 등), 밀집도, 이동객체의 속도 중 적어도 어느 하나 이상을 포함하는 복수의 관찰영역(Z1~Zn) 별 인식 결과 값을 바탕으로 상기 복수의 LED램프패널을 전체 또는 일부 작동시키는 단계, 상기 이동 객체 수, 밀집도를 바탕으로 전체 영역 또는 일부 관찰영역에는 해당 LED램프패널의 조도 밝기를 설정 기준 밝기 이상으로 표출시키는 단계 중 적어도 어느 하나 이상의 단계를 포함하여 이루어진 것을 특징으로 한다.

그리고, 상기 초기 상황 인지를 수행하는 단계는 상기 관찰영역에서 이루어지는 이동 또는 정지 객체에 대한 영상분석 계산량의 최소화를 위하여 특정 학습 행동패턴(예: 사람, 차량의 주행방향 등)을 설정하는 단계, 상기 카메라를 통해 실시간으로 촬영된 영상분석을 위해 이동 객체에 대한 관심영역(ROI: Region of Interest)을 설정하는 단계 및, 상기 관심영역을 관찰섹터 별로 관찰영역 내 설정하고, 카메라로부터 실시간 영상을 차례로 입력받은 1~n장의 영상에서 상기 특정 학습 행동패턴을 배제시킨 관심영역으로 초기 배경모델을 구성하는 단계를 포함하여 이루어진 것을 특징으로 한다.

바람직하게, 상기 초기 배경모델을 구성하는 단계 이후, N+1번째부터는 입력 영상 간의 차 영상으로 획득된 이동 객체와 이동객체의 그림자가 포함된 전격 영역을 분리하고, 배경 영상과 전격 영역의 차이점을 분석하여 전격 영역의 그림자를 제거하는 단계, 상기 그림자 영역의 제거와 배경 영상의 모델링 후에 영상분석의 계산량 최소화를 위하여 영상을 블록화하는 단계, 상기 영상 블록화 이후, 분할영역 내부의 구멍(hole)을 제거하기 위한 확장과 침식의 모폴로지 연산을 차례로 수행하는 단계, 상기 모폴로지 연산 이후, 영역분할을 위한 레이블링을 수행하는 단계, 상기 레이블링 연산 이후, MER(최소인접사각형) 계산을 수행하는 단계, 상기 초기 배경모델을 구성한 배경 영상에서 영상을 블록화한 완료된 N번째 이동객체영역 및 실세계 좌표값과, N+1번째 입력영상에 검지된 블륵화된 이동객체 영역과 실세계좌표 값 간의 변화 및 거리 환산으로 이동 객체에 대한 행동패턴 및 속도를 인식하고, 해당 인식 결과 값을 생성하여 저장하는 단계 및, 상기 이동 객체 간의 학습된 행동 패턴에 대한 불 일치성을 분석하는 단계를 더 포함하여 이루어진 것을 특징으로 한다.

그리고, 상기 행동패턴에 대한 불 일치성, 정지, 사건/사고 정보를 바탕으로 관찰영역에 대한 전체 또는 일부에 집중적으로 조도 밝기를 상승시켜 표출시키는 단계를 더 포함하여 이루어진 것을 특징으로 한다.

바람직하게, 상기 이동 객체 간의 학습된 행동패턴의 불일치성 판단 시간 기준으로 전/후 몇 분간의 영상을 저장하는 단계, 상기 관찰영역(Z1 ~ Zn)에 존재하는 이동 객체의 정지 또는 학습된 행동패턴이 아닌 현상에 대하여 전/후 몇 분간의 영상을 저장하는 단계를 더 포함하여 이루어진 것을 특징으로 한다.

본 발명에 따른 효과는 [표 1]과 같다.

1	본 발명에 따른 LED램프와 카메라가 적용된 지능형 조명등, 이를 통한 지능형 영상분석으로 가상으로 분할된 관찰구역 및 횡단보도 상의 각각의 영역을 전담하여 기존타이머 및 조도센서를 이용한 방식보다 더 효율적으로 조명을 사용할 수 있다.
2	주어진 상황에 따라 작동되는 지능형조명등은 관찰구역에 대한 주위 사람, 운전자에게 조사된 빛으로 발생 할 수 있는 눈부심을 최소화 할 수 있다.
3	지능형 객체인식으로 관찰구역에 대한 이벤트 발생 시 즉각적으로 정해진 영역으로 더 밝게 집중 조명하여 쉽게 인지 할 수 있다.
4	횡단보도용 조명등이 횡단보도의 전체영역을 고르게 조명하며, 상황에 따라 각각의 고유영역을 집중 조명하여 표출할 수 있다.
5	카메라를 이용하여 관찰구역 및 횡단보도 등에 발생하는 사건/사고에 대해 향후 증거확보 및 사고관리를 할 수 있다
6	이벤트(사건/사고) 발생시 LED 조명의 색상을 자동으로 변경하여 인지할 수 있다.

도 1은 본 발명에 따른 카메라를 이용한 지능형 조명제어 및 사건/사고 관리 시스템을 도시한 블록구성도
도 2a ~ 도 2e는 본 발명에 따른 카메라를 이용한 지능형 조명제어 및 사건/사고 관리 시스템의 동작을 순서대로 도시한 플로우 챠트
도 3a와 도 3b는 본 발명에 따른 관찰섹터와, 이동 객체에 대한 정의된 행동 패턴, 관찰섹터 내 복수의 세부 관심영역(ROI)의 예시도

이하, 첨부된 도면을 참조하여 본 발명을 설명한다.

다만, 이하에서 설명되는 실시예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 포함할 수 있는 것을 의미한다.

도 1은 본 발명에 따른 카메라를 이용한 지능형 조명제어 및 사건/사고 관리 시스템을 도시한 상세 블록구성도이다.

도 1에 도시된 바와 같이, 본 시스템은 카메라(101), 객체(또는, 객체 패턴) 인식을 위한 지능형 영상분석장치(102), 상기 객체(또는, 객체 패턴) 인식으로 현장 상황에 맞추어, 가상으로 분할된 관찰섹터(또는, 횡단보도 상의 분할된 고유 관찰섹터)에 광을 조사하는 복수의 LED램프패널로 된 조명등을 전체 또는 일부 제어하는 지능형 조명제어장치(조명컨트롤러 포함)(103), 상기 지능형 조명제어장치(103)의 제어에 따라 복수의 LED램프패널을 이용해 전체 또는 일부 관찰섹터에 광을 집중 조사하는 LED 조명등(104), 상기 관찰섹터 또는 횡단보도 상의 사건/사고 발생시 즉각적으로 사건/사고 상황 정보를 저장하는 저장장치(105) 및, 조도센서와 타이머(106)를 포함하여 이루어진 구조이다. 상기 지능형 영상분석장치(102)는 객체 인식을 위한 환경인지모듈, 상황인식모듈을 포함하여 이루어지며, 추가로 매핑모듈을 더 포함하여 구성될 수 있다.

여기서, 상기 매핑모듈은 지능형 조명 제어를 위한 원근감을 고려하여 설정한 다수의 관찰섹터(Z1, Z2, ... Zn)(및/또는, 관찰섹터의 가상의 실세계좌표)와, 가상으로 분할된 복수의 LED 램프패널로 된 조명등 및, 영상처리를 위한 카메라의 좌표를 상호 간에 매핑하는 것이다. 구체적으로는, 상기 관찰섹터의 설정을 위하여 카메라 영상의 해당 감시섹터에 복수의 관심영역(ROI)과 관찰대상 객체의 행동방향을 추가 설정하고, 상기 관찰섹터의 원근감을 고려하여 관찰섹터별로 복수의 세부 관심영역(ROI)의 형태 조절, 행동 패턴, 좌표 값을 설정한 다음, 상기 설정된 복수의 세부 관심영역(ROI)과 관찰섹터(및/또는 관찰섹터의 가상의 실세계좌표), 복수의 LED램프패널로 된 조명등, 영상처리를 위한 카메라의 좌표를 상호 매핑시킨 후, 상기 관찰섹터와 매핑되는 카메라의 좌표값 및 조명등의 영역별 위치를 도시되지 않은 메모리에 저장하는 것이다.

상기 환경인지모듈은 선행 환경인지모듈을 포함한 것으로, 상기 매핑된 관찰섹터 내의 관찰영역과 상황 정보(또는, 객체(예: 사람이나, 차량 등)나 객체의 행동 패턴(예: 사람 또는 차량의 주행 방향)) 상호 간의 초기 관계를 정의하는 초기 상황인지를 수행하는 것이다. 구체적으로는, 상기 관찰섹터 별로 관찰영역(Z1~Zn)이 설정된 경우 관찰섹터번호를 설정하고, 상기 관찰영역에서 이루어지는 이동 또는 정지 객체에 대한 영상분석 계산량의 최소화를 위하여 특정 학습 행동패턴(예: 사람, 차량의 주행방향 등)을 설정한 다음, 상기 카메라를 통해 실시간으로 촬영된 영상분석을 위해 이동 객체에 대한 관심영역(ROI: Region of Interest)을 설정하고, 상기 관심영역을 관찰섹터 별로 관찰영역 내 설정하여 카메라로부터 실시간 영상을 차례로 입력받아 1~n장의 영상으로 초기 배경모델을 구성한다.

상황인식모듈은 관찰섹터 별 현재 상황 정보에 따른 조명 제어를 위해 구비된 것으로, 상기 환경인지모듈을 통해 실시간 영상으로 초기 배경모델을 구성하는 단계 이후에 수행된다. 구체적으로는 다음과 같다. 먼저, N+1번째부터는 입력 영상 간의 차 영상으로 획득된 이동 객체와 이동객체의 그림자가 포함된 전격 영역을 분리하고, 배경 영상과 전격 영역의 차이점을 분석하여 전격 영역의 그림자를 제거한 다음, 상기 그림자 영역의 제거와 배경 영상의 모델링 후에 영상분석의 계산량 최소화를 위하여 영상을 블록화하고, 상기 영상 블록화 이후, 분할영역 내부의 구멍(hole)을 제거하기 위한 확장과 침식의 모폴로지 연산을 차례로 수행한 다음, 상기 모폴로지 연산 이후, 영역분할을 위한 레이블링을 수행한 후, MER(최소인접사각형) 계산을 수행하고, 상기 초기 배경모델을 구성한 배경 영상에서 영상을 블록화한 완료된 최초의 이동객체영역과 실세계 좌표값을 구한 다음, 이후 N+1번째 이후 입력영상에 검지된 블륵화된 이동객체 영역과 실세계좌표 값으로 이동객체에 대한 행동패턴 및 속도를 인식하고, 그 인식 단계에서 이루어진 결과 값과, 분할된 복수의 LED램프로 된 조명등과의 매핑되어진 공통된 영역 결과 값을 리스트로 생성한 후, 마지막으로 상기 이동 객체 간의 학습된 행동패턴에 대한 불 일치성을 분석하는 동작으로 이루어진다.

지능형 조명제어장치(103)는 관찰섹터 내(또는, 주변)의 상황 위험도에 따라서 관찰섹터별로 LED램프패널로 된 조명등의 광량(또는, 조도 밝기나 온, 오프 상태 등)의 감도를 조절하는 것이다. 조절은 조명등에 대한 전체 또는 일부 제어로 이루어진다. 일반적으로 조명하는 조명감도를 100%로 가정하였을 때 본 발명에 따른 지능형 객체 인식/상황 위험도에 따라 150%~ n%조명감도로 강하게 광을 표출시킨다. 구체적으로는, 상기 이동 객체에 대한 실시간 영역에 대한 결과 값을 바탕으로 공통된 영역에 배치된 복수의 분할된 LED램프패널로 된 조명등을 작동시킨 다음, 상기 이동 객체의 수(1+N), 행동패턴(상행/하행 등), 밀집도, 이동객체의 속도 중 적어도 어느 하나 이상을 포함하는 복수의 관찰영역(Z1~Zn) 별 결과 값을 바탕으로 복수의 분할된 LED램프패널을 전체 또는 일부 작동시킨다. 그리고, 상기 이동 객체 수, 밀집도를 바탕으로 전체 영역 또는 일부 관찰영역에는 LED램프의 조도 밝기를 설정 기준 밝기(예: 평소 100%밝기에서 순간적으로 150% 또는 그 이상의 밝기) 이상으로 표출시킨다. 또는, 상기 이동 객체 속도, 상행/하행 방향을 바탕으로 관찰영역(Z1~Zn) 별 이동 객체 속도에 맞추어 전체 또는 일부의 LED 램프패널을 표출시키고, 상기 행동패턴에 대한 불 일치성, 정지, 사건/사고 정보를 바탕으로 관찰섹터에 대한 전체 또는 일부에 대해 집중적으로 조도 밝기를 상승시켜 표출시키는 동작으로 수행된다.

상기 저장장치(105)는 관찰구역에서 발생하는 소정의 사건/사고 결과에 대응되는 객체(또는, 객체 행동 패턴) 값을 저장하는 것으로, 관찰구역(또는, 횡단 보도상)의 사건/사고 발생 시 즉각적으로 상황 정보(예: 객체(사람, 자동차)의 위치와 행동 패턴 등)를 저장한다. 유/무선 네트워크를 이용하여 별도의 운영서버 없이 운영관리자가 상시 또는 수시로 핸드폰, 스마트폰, PC등으로 검색/저장/관리한다. 구체적인 동작은, 상기 지능형 조명제어장치 또는, 지능형 영상분석장치의 제어하에, 상기 이동 객체 간의 학습된 행동패턴의 불 일치성을 판단한 시간 기준으로 전/후 몇 분간의 영상을 저장하고, 상기 관찰영역(Z1 ~ Zn)에 위치하는 이동 객체의 정지 또는 학습된 행동패턴이 아닌 현상에 대하여 전/후 몇 분간의 영상을 저장하는 방식으로 이루어진다. 그리고, 사용자에 의하여 시간 영역 및 객체의 움직임 감지 시 중 적어도 어느 이상을 포함하는 다양한 환경설정을 저장한다. 별도의 운영 PC 또는 물리적 저장장치를 현장에 설치하지 않아도 유/무선 네트워크 또는 핸드폰, 스마트폰, PC 등으로 사건/사고 저장 데이터를 백업할 수 있는 저장장치를 사용할 수 있으며, 상기 저장되는 저장공간은 PC의 저장장치외 이동식 디스크(USB, SD 등)를 활용할 수 있다.

이하, 도 1의 본 발명에 따른 카메라를 이용한 지능형 조명제어 및 사건/사고 관리 시스템의 동작을 첨부된 도 2a 내지 도 2e를 참조하여 설명한다.

도 2a ~ 도 2e는 본 발명에 따른 카메라를 이용한 지능형 조명제어 및 사건/사고 관리 시스템의 동작을 순서대로 도시한 플로우 챠트이다.

본 동작은 도 2a에 도시된 바와 같이, 지능형 조명 제어를 위한 원근감을 고려하여 설정한 다수의 관찰섹터(및/또는, 관찰섹터의 가상의 실세계좌표), 가상으로 분할된 복수의 LED 램프패널로 된 조명등 및, 영상처리를 위한 카메라의 좌표를 매핑하는 단계(S201), 상기 매핑된 관찰섹터 내 해당 관찰섹터와 상황 정보(또는, 객체나 객체의 행동 패턴) 상호 간의 초기 관계를 정의하는 초기 상황인지를 수행하는 단계(S202), 상기 초기의 상황 인지를 수행한 이후에 실시간으로 관찰섹터 내(또는 주변의) 객체(또는, 객체의 패턴)을 인식하고 인식결과 값으로 리스트를 생성하는 단계(S203), 상기 생성된 리스트에 따라 관찰구역 영역별로 해당 조명의 세기(또는, 조도 밝기나 온, 오프 상태)를 제어하는 단계(S204) 및, 상기 제어시 관찰구역에서 발생하는 소정의 사건/사고 결과에 대응되는 결과 값(예: 객체 또는, 객체 행동 패턴 등)을 생성하여 저장하는 단계(S205)로 이루어진다.

이하, 본 동작을 구성하는 매핑(1), 관찰섹터 내 초기 환경 인지(2)와, 현재 상황 인지(3) 및, 상기 인지 동작에 따른 지능형 조명 제어 동작(4)으로 나누어 설명한다.

먼저, 매핑(1) 동작은 다음과 같은 순서로 이루어진다(도 2b 참조).

상기 매핑(1) 동작은 지능형 조명 제어를 위한 원근감을 고려하여 설정한 다수의 관찰섹터(Z1, Z2, ... Zn)(및/또는, 관찰섹터의 가상의 실세계 좌표)와, 가상으로 분할된 복수의 LED 램프패널로 된 조명등(조명등 1군, 2군, ... N군) 및, 영상처리를 위한 카메라의 좌표(Xn, Yn)를 상호 간에 매핑하는 것이다.

구체적으로는, 상기 관찰섹터의 설정을 위하여 카메라 영상의 해당 감시섹터에 복수의 세부 관심영역(ROI)과 관찰대상 객체의 행동방향을 추가 설정하고(S206), 상기 관찰섹터의 원근감을 고려하여 관찰섹터 별로 복수의 세부 관심영역(ROI)의 형태(예: 사각형) 조절, 행동 패턴, 좌표 값을 설정한 다음(S207), 상기 설정된 복수의 세부 관심영역(ROI)과 관찰섹터(및/또는 관찰섹터의 가상의 실세계좌표), 복수의 LED램프패널로 된 조명등, 영상처리를 위한 카메라의 좌표를 상호 매핑시킨 후(S208), 상기 관찰섹터와 매핑되는 카메라의 좌표값 및 조명등의 영역별 위치를 메모리에 저장하는 단계(S209)로 이루어진다.

다음, 환경인지모듈을 통한 관찰섹터 내 초기 환경 인지(2) 동작은 다음과 같다(도 2c 참조).

상기 환경 인지 동작은 상기 매핑된 관찰섹터 내 해당 관찰섹터와 상황 정보(또는, 객체(예: 사람, 차량의 위치)나 객체의 행동 패턴(예:통행 또는 주행 방향 등) 상호 간의 초기 관계를 정의하는 초기 상황인지를 수행하는 것으로, 구체적으로는, 상기 관찰섹터 별로 관찰영역(Z1 ~ Zn)이 설정된 경우 관찰섹터 번호를 설정하고(S210), 상기 관찰영역에서 이루어지는 이동 또는 정지 객체에 대한 영상분석 계산량의 최소화를 위하여 특정 학습 행동패턴(예: 사람, 차량의 주행 또는 통행방향 등)을 설정한 다음(S211), 상기 카메라를 통해 실시간으로 촬영된 영상분석을 위해 이동 객체에 대한 관심영역(ROI: Region of Interest)을 설정하고(S212), 상기 관심영역을 관찰섹터 별로 관찰영역 내 설정하고, 카메라로부터 실시간 영상을 차례로 입력받은 1~n장의 영상에서 상기 특정 학습 행동패턴을 배제시킨 관심영역으로 초기 배경모델을 구성하는 동작(S213)으로 이루어진다.

다음, 관찰섹터 내에서 발생하는 현재 상황 인지 동작(3)은 다음과 같다(도 2d 참조).

상기 상황 인지 동작은 관찰섹터 별 현재 상황 정보에 따른 조명 제어를 위해 구비된 것으로, 상기 환경인지모듈을 통해 실시간 영상으로 초기 배경모델을 구성하는 단계 이후에 수행된다. 구체적으로는 다음과 같다. 먼저, N+1번째부터는 입력 영상 간의 차 영상으로 획득된 이동 객체와 이동객체의 그림자가 포함된 전격 영역을 분리하고, 배경 영상과 전격 영역의 차이점을 분석하여 전격 영역의 그림자를 제거한 다음(S214), 상기 그림자 영역의 제거와 배경 영상의 모델링 후에 영상분석의 계산량 최소화를 위하여 영상을 블록화하고(S215), 상기 영상 블록화 이후, 분할영역 내부의 구멍(hole)을 제거하기 위한 확장과 침식의 모폴로지 연산(영상에서 잡음을 제거하거나 영상에서 객체의 모양을 기술하는 용도로 사용되는 종래기술로 필터의 크기 및 사용횟수에 따라 작은 덩어리의 객체들을 사라지게 할 수 있다)을 차례로 수행한 다음(S216), 상기 모폴로지 연산 이후, 영역분할을 위한 레이블링(인접한 화소에 모두 같은 번호(Label)를 붙이고 연결되지 않은 다른 성분에는 다른 번호를 붙이는 동작)을 수행한 후(S217), MER(Minimum Enclosed Rectangle)(최소인접사각형) 계산을 수행하고(S218), 상기 초기 배경모델을 구성한 배경 영상에서 영상을 블록화한 완료된 최초의 이동객체영역과 실세계 좌표값을 구한 다음, 이후 N+1번째 이후 입력 영상에 검지된 블륵화된 이동객체 영역과 실세계좌표 값 및 시간 값으로 이동객체의 행동패턴 및 속도를 인식하고(S219), 그 인식 단계에서 이루어진 결과 값과, 분할된 복수의 LED램프로 된 조명등과의 매핑되어진 공통된 영역 결과 값을 리스트로 생성한 후(S220), 마지막으로 상기 이동 객체 간의 학습된 행동패턴에 대한 불 일치성을 분석하는 동작(S221)으로 이루어진다. 상기 영상 처리에 대한 상세 동작은 이미 공지된 기술로 여기서는 그에 대한 설명을 생략한다.

마지막으로, 상기 상황 인지 동작에 따른 지능형 조명 제어 동작(4)의 동작은 다음과 같다(도 2e 참조).

상기 지능형 조명 제어 동작(4)은 관찰섹터 내의 상황 위험도(예: 횡단 보도의 특정 관찰섹터에 사람이 쓰러진 경우나 차에 치인 경우 등)에 따라서 관찰섹터 별로 LED램프패널로 된 조명등의 광량(또는, 조도 밝기나 온, 오프 상태 등)의 감도를 조절하는 것이다. 조절은 조명등에 대한 전체 또는 일부 제어로 이루어진다. 예를 들어, 일반적으로 조명하는 기준 조명감도를 100%로 가정하였을 때 본 발명에 따른 지능형 객체 인식/상황 위험도에 따라 150%~ n%조명감도로 강하게 광을 표출시키는 방식으로 수행된다.

구체적으로는 다음과 같다.

먼저, 상기 이동 객체(예: 사람, 차량 등)에 대한 실시간 영역에 대한 결과 값(또는, 리스트)을 바탕으로 공통된 영역에 배치된 복수의 분할된 LED램프패널로 된 조명등을 작동시킨 다음(S222), 상기 이동 객체의 수(1+N), 행동 패턴(상행/하행 등), 밀집도, 이동 객체의 속도 등의 복수의 관찰영역(Z1~Zn) 별 결과 값을 바탕으로 복수의 분할된 LED램프패널을 전체 또는 일부 작동시킨다(S223).

그리고, 상기 이동 객체 수, 밀집도를 바탕으로 전체 영역 또는 일부 관찰영역에는 LED램프의 조도 밝기를 설정 기준 밝기(예: 평소 100%밝기에서 순간적으로 150% 또는 그 이상의 밝기) 이상으로 표출시킨다(S224). 또는, 상기 이동 객체 속도, 상행/하행 방향을 바탕으로 관찰영역(Z1~Zn) 별 이동 객체 속도에 맞추어 전체 또는 일부의 LED 램프패널을 표출시키고, 상기 행동패턴에 대한 불 일치성, 정지, 사건/사고 정보를 바탕으로 관찰섹터에 대한 전체 또는 일부에 대해 집중적으로 조도 밝기를 상승시켜 표출시키는 동작으로 수행된다(S225). 그렇게 하여, 원격지 운영자 또는 먼거리 운전자 등이 관찰 대상자 또는 횡단보도 내 보행자를 용이하게 인지할 수 있게 된다.

추가적으로, 본 발명에 따라 상기 지능형 조명 제어시 관찰구역에서 발생하는 소정의 사건/사고 결과에 대응되는 객체(또는, 객체 행동 패턴이나 위치) 값을 저장한다. 즉, 관찰구역(또는, 횡단 보도상)의 사건/사고 발생 시 즉각적으로 상황 정보(예: 객체(사람, 자동차)의 위치와 행동 패턴 등)를 저장한다. 구체적인 동작은, 상기 지능형 조명제어장치 또는, 지능형 영상분석장치의 제어하에, 상기 이동 객체 간의 학습된 행동패턴의 불 일치성을 판단한 시간 기준으로 전/후 몇 분간의 영상과, 상기 관찰영역(Z1 ~ Zn)에 위치하는 이동 객체의 정지 또는 학습된 행동패턴이 아닌 현상에 대하여 전/후 몇 분간의 영상 등을 저장하는 방식으로 이루어진다. 그렇게 하여, 보행자의 안전을 도모하는 사건/사고 예방용으로 관찰섹터 내 소정의 사건/사고 결과 값을 저장하게 된다.

도 3a와 도 3b는 본 발명에 따른 관찰섹터와, 이동 객체에 대한 정의된 행동 패턴, 관찰섹터 내 복수의 세부 관심영역(ROI)를 예로 들어 도시한 것으로, 도 3a에 도시된 바와 같이 본 발명에 따른 관찰섹터(Z1, Z2, Z3)는 지능형 조명 제어를 위한 원근감을 고려하여 설정되어 가상으로 분할된 복수의 LED 램프패널로 된 조명등 및, 영상처리를 위한 카메라의 좌표와 상호 간에 매핑되며, 이동 객체에 대한 정의된 행동 패턴은 상기 관찰영역에서 이루어지는 이동 또는 정지 객체에 대한 영상분석 계산량의 최소화를 위하여 특정 학습 행동패턴(예: 사람, 차량의 주행방향 등)으로 설정하는 것이다(도 3b 참조). 그리고, 복수의 세부 관심영역(ROI)은 상기 관찰섹터의 원근감을 고려하여 관찰섹터별로 복수의 세부 관심영역(ROI)의 형태 조절, 행동 패턴, 좌표 값을 설정한다.

* 도면의 주요 부분에 대한 부호의 설명 *
101 : 카메라 102 : 지능형 영상분석장치
103 : 지능형 조명제어장치 104 : LED 조명등
105 : 저장장치 106 : 조도센서 및 타이머

Claims (6)

1. 지능형 조명 제어를 위한 원근감을 고려하여 설정한 다수의 관찰섹터 및/또는, 관찰섹터의 가상의 실세계좌표와, LED 조명등을 분할한 복수의 LED 램프패널 및, 영상처리를 위한 카메라의 좌표를 매핑하는 단계;
   상기 매핑된 관찰섹터 내 관찰영역과 상황 정보 또는, 객체나 객체의 행동 패턴 상호 간의 초기 관계를 정의하는 초기 상황 인지를 수행하는 단계;
   상기 초기 상황 인지를 수행한 이후에 실시간으로 상기 관찰섹터 내 또는 주변의 변화되는 이동 또는 정지 객체 또는, 객체의 패턴을 인식하고 인식결과 값을 생성하는 단계;
   상기 생성된 인식결과 값에 따라 관찰섹터 별로, 매핑된 LED 램프패널의 세기 또는, 조도 밝기나 온, 오프 상태를 제어하는 단계; 및
   상기 제어시, 관찰섹터에서 발생하는 소정의 사건/사고 결과에 대응되는 결과 값을 생성하여 저장하는 단계를 포함하여 이루어지고,
   상기 LED 램프패널의 세기 또는, 조도 밝기나 온, 오프 상태를 제어하는 단계는
   상기 이동 객체의 수, 행동패턴(상행/하행), 객체의 밀집도, 이동객체의 속도 중 적어도 어느 하나 이상을 포함하는 복수의 관찰영역(Z1~Zn) 별 인식 결과 값을 바탕으로 상기 복수의 LED램프패널을 전체 또는 일부 작동시키는 단계;
   상기 이동 객체 수, 밀집도를 바탕으로 전체 영역 또는 일부 관찰영역에는 해당 LED램프패널의 조도 밝기를 설정 기준 밝기 이상으로 표출시키는 단계 중 적어도 어느 하나 이상의 단계를 포함하여 이루어지고,
   상기 초기 상황 인지를 수행하는 단계는
   상기 관찰영역에서 이루어지는 이동 또는 정지 객체에 대한 영상분석 계산량의 최소화를 위하여 사람, 차량의 주행방향을 포함한 특정 학습 행동패턴을 설정하는 단계;
   상기 카메라를 통해 실시간으로 촬영된 영상분석을 위해 이동 객체에 대한 관심영역(ROI: Region of Interest)을 설정하는 단계; 및
   상기 관심영역을 관찰섹터 별로 관찰영역 내 설정하고, 카메라로부터 실시간 영상을 차례로 입력받은 1~n장의 영상에서 상기 특정 학습 행동패턴을 배제시킨 관심영역으로 초기 배경모델을 구성하는 단계를 포함하여 이루어지고,
   상기 초기 배경모델을 구성하는 단계 이후,
   N+1번째부터는 입력 영상 간의 차 영상으로 획득된 이동 객체와 이동객체의 그림자가 포함된 전격 영역을 분리하고, 배경 영상과 전격 영역의 차이점을 분석하여 전격 영역의 그림자를 제거하는 단계;
   상기 그림자 영역의 제거와 배경 영상의 모델링 후에 영상분석의 계산량 최소화를 위하여 영상을 블록화하는 단계;
   상기 영상 블록화 이후, 분할영역 내부의 구멍(hole)을 제거하기 위한 확장과 침식의 모폴로지 연산을 차례로 수행하는 단계;
   상기 모폴로지 연산 이후, 영역분할을 위한 레이블링을 수행하는 단계;
   상기 레이블링 연산 이후, MER(최소인접사각형) 계산을 수행하는 단계;
   상기 초기 배경모델을 구성한 배경 영상에서 영상을 블록화한 완료된 N번째 이동객체영역 및 실세계 좌표값과, N+1번째 입력영상에 검지된 블록화된 이동객체 영역과 실세계좌표 값 간의 변화 및 거리 환산으로 이동 객체에 대한 행동패턴 및 속도를 인식하고, 해당 인식 결과 값을 생성하여 저장하는 단계; 및
   상기 이동 객체 간의 학습된 행동 패턴에 대한 불 일치성을 분석하는 단계를 더 포함하여 이루어지고,
   상기 행동패턴에 대한 불 일치성, 정지, 사건/사고 정보를 바탕으로 관찰영역에 대한 전체 또는 일부에 집중적으로 조도 밝기를 상승시켜 표출시키는 단계를 더 포함하여 이루어지고,
   상기 이동 객체 간의 학습된 행동패턴의 불일치성 판단 시간 기준으로 전/후 몇 분간의 영상을 저장하는 단계;
   상기 관찰영역(Z1 ~ Zn)에 존재하는 이동 객체의 정지 또는 학습된 행동패턴이 아닌 현상에 대하여 전/후 몇 분간의 영상을 저장하는 단계를 더 포함하여 이루어진 것을 특징으로 하는 카메라를 이용한 지능형 조명제어 및 사건/사고 관리시스템.
   
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제

Images