KR102186349B1 - Cctv 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법 - Google Patents

Cctv 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법 Download PDF

Info

Publication number
KR102186349B1
KR102186349B1 KR1020200070320A KR20200070320A KR102186349B1 KR 102186349 B1 KR102186349 B1 KR 102186349B1 KR 1020200070320 A KR1020200070320 A KR 1020200070320A KR 20200070320 A KR20200070320 A KR 20200070320A KR 102186349 B1 KR102186349 B1 KR 102186349B1
Authority
KR
South Korea
Prior art keywords
pedestrian
unit
camera
area
interest
Prior art date
Application number
KR1020200070320A
Other languages
English (en)
Inventor
양창우
김용광
김인주
Original Assignee
주식회사 월드씨앤에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 월드씨앤에스 filed Critical 주식회사 월드씨앤에스
Priority to KR1020200070320A priority Critical patent/KR102186349B1/ko
Application granted granted Critical
Publication of KR102186349B1 publication Critical patent/KR102186349B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/53—Arrangements specially adapted for specific applications, e.g. for traffic information or for mobile receivers
    • H04H20/61—Arrangements specially adapted for specific applications, e.g. for traffic information or for mobile receivers for local area broadcast, e.g. instore broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/2256—
    • H04N5/23296—
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따른 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템은, 신호등 없는 횡단보도를 횡단하는 보행자를 실시간으로 추적하여 촬영하기 위한 LED 조명부, 영상 촬영부 및 PTZ 장치부를 포함하는 카메라부 및 상기 카메라부에서 실시간으로 촬영된 영상을 수신하여 보행자 감지부에서 보행자가 감지되는 경우 감지된 보행자가 횡단보도 횡단을 종료할 때까지 상기 LED 조명부를 제어하는 LED 조명 제어부, 상기 PTZ 장치의 팬, 틸트 및 줌을 제어하여 추적하는 보행자 추적부 및 보행 안내하는 안내 방송부를 포함하는 카메라 제어장치부를 포함한다.

Description

CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법{Pedestrian safety guide system and Method on crosswalk without signal lamps using CCTV cameras and guidance broadcasting}
본 발명은 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 신호등이 없는 횡단보도에서 CCTV 카메라에 의해 보행자를 감지하고 안전 횡단을 위한 안내방송을 제공하며 CCTV 카메라에 내장된 LED 조명으로 보행자를 스포트라이트(spotlight)하여 운전자의 주의력을 집중시켜 보행자가 횡단보도 횡단이 끝날 때까지 추적(tracking) 및 유도하는 보행자 안내 시스템 및 방법에 관한 것이다.
종래에는 보행자의 안전한 횡단보도 횡단을 위해 보행자를 감지하기 위한 센서와 센서들을 설치하기 위한 지주, 야간을 위해 지주에 조명등을 설치 및 횡단보도 양측 도로면에 조명장치 매설 등으로 보행자의 안전을 지키고 있다.
또한, 신호등이 없는 무신호 횡단보도 구역에서 횡단보도를 건너는 보행자의 진입 여부를 검출하기 위해 다수의 센서와 볼라드(bollard) 장치를 설치하고, 지주를 이용하여 횡단보도 상공에 카메라, 차량진입 및 거리를 측정하기 위한 센서, 안내를 위한 LED 표시판, 조명등 및 안내방송을 위한 스피커 등을 설치하여 보행자의 안전을 보장하고 있다.
그러나 종래 기술에 따른 횡단보도 보행자의 안전을 위한 시스템들은 다수의 장치들과 센서, 다수의 지주 설치, 도로면을 절개하여 센서 및 조명 구조물 설치 등으로 시스템 구성과 설치에 많은 예산과 유지보수 비용이 필요하다.
또한, 다수의 지주, 볼라드 장치들에 의하여 보행에 방해를 받으며, 다수의 카메라, 디스플레이, 안내판 등으로 운전자의 시선을 분산시켜 주의력을 떨어뜨려 안전운전에 방해요소로 작용하는 문제점이 있었다.
KR10-2016-0137247A
본 발명은 이와 같은 문제점을 해결하기 위해 안출된 것으로서, LED 조명장치가 내장되어 있고 PTZ 제어가 가능한 CCTV 카메라와 안내방송을 위한 스피커, 그리고 이를 제어하는 제어장치를 지주구조물에 설치하여 보행자 감지와 안전 보행을 위한 안내방송, 보행자가 횡단보도 횡단을 마칠 때까지 카메라가 추적하면서 조명을 보행자에게 스포트라이트하여 보행자의 안전을 보장할 수 있도록 한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법을 제공함을 목적으로 한다.
또한, 본 발명은 횡단보도 양측에 각각 설치된 PTZ 카메라로 보행자를 감지하고 추적하면서 스포트라이트로 운전자의 주의력을 집중시킬 수 있도록 한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법을 제공함을 목적으로 한다.
또한, 본 발명은 추적 오류를 최소화하기 위하여 관심영역 분할 알고리즘을 사용하고, LUT(lookup table)을 사용하여 효율적으로 보행자 추적을 함으로써 보행자가 많을 경우 PTZ 제어가 충돌하여 발생할 수 있는 작동 오류를 방지할 수 있도록 보행자 안내 방법을 제공함을 목적으로 한다.
상기의 해결하고자 하는 과제 달성하기 위한 본 발명에 따른 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템은, 신호등 없는 횡단보도를 횡단하는 보행자를 실시간으로 추적하여 촬영하기 위한 LED 조명부, 영상 촬영부 및 PTZ 장치부를 포함하는 카메라부 및 상기 카메라부에서 실시간으로 촬영된 영상을 수신하여 보행자 감지부에서 보행자가 감지되는 경우 감지된 보행자가 횡단보도 횡단을 종료할 때까지 상기 LED 조명부를 제어하는 LED 조명 제어부, 상기 PTZ 장치의 팬, 틸트 및 줌을 제어하여 추적하는 보행자 추적부 및 보행 안내하는 안내 방송부를 포함하는 카메라 제어장치부를 포함하되,
상기 LED 조명 제어부는 보행자가 감지부에서 보행자가 감지된 경우 LED 조명부를 동작시켜 보행자가 스포트 라이트(spot light)를 받도록 하여 운전자의 시선을 집중시키고, 상기 보행자 감지부는 횡단보도 전체 영역을 상호간에 중첩되는 영역을 갖는 n개의 관심영역으로 분할하고, 상기 각 관심영역을 다시 m등분 화면분할하여 관심영역별, 화면분할별 PTZ 정보를 LUT(lookup table)을 사용하여 보행자를 추적하는 것을 특징으로 한다. 여기서 n, m은 자연수이다.
상기 m등분 화면분할의 중앙을 영상 카메라의 중심으로 하여 각 화면분할 영역에서의 보행자 유무로 카메라 이동 추적을 결정하는 것을 특징으로 한다.
상기 보행자 감지부는, 배경제거 알고리즘을 적용하여 객체의 면적계산 및 잡음제거 과정을 통해서 m개의 화면분할 영역별로 각각 객체의 수를 감지하는 것을 특징으로 한다.
상기 보행자 감지부는, n개의 관심영역 중에서 보행자 감지 및 추적의 시작영역인 제1 관심영역의 제1 화면분할 영역을 횡단 예정자 감지영역으로 지정하고, 상기 횡단 예정자 감지영역에서 보행자가 감지되는 경우 상기 안내 방송부로 보행자의 안전 보행을 위한 안내방송 송출을 요청하는 것을 특징으로 한다.
본 발명의 다른 실시예로서, CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 방법은, 카메라 제어장치부의 보행자 감지부에서 카메라부의 영상 촬영부에서 실시간으로 촬영되는 영상을 전송받아 보행자 감지 알고리즘을 이용하여 보행자를 감지하는 단계; 상기 카메라 제어장치부의 LED 조명 제어부가 상기 보행자 감지부에서의 보행자 감지에 따라 상기 카메라부의 LED 조명부를 작동시키는 단계; 상기 카메라 제어장치부의 안내 방송부가 상기 보행자 감지부에서의 보행자 감지에 따라 보행자의 안전 보행을 위한 안내방송을 스피커를 통해 송출하는 단계 및 상기 카메라 제어장치부의 보행자 추적부가 상기 보행자 감지부에서의 보행자 감지에 따라 보행자를 추적하여 보행자 이동경로에 따라 상기 카메라부의 PTZ 장치부의 팬, 틸트 및 줌 동작을 제어하는 단계를 포함하고, 상기 보행자를 감지하는 단계에서, 상기 보행자 감지부는 상호간에 중첩되는 영역을 갖는 n개의 관심영역으로 지정된 신호등 없는 횡단보도 전체 영역을 실시간으로 촬영한 영상을 상기 영상 촬영부로부터 전송받아 n개의 관심영역으로 설정하는 단계 및 상기 보행자 감지부는 상기 n개의 관심영역 설정시 상기 카메라부의 PTZ 장치부로부터 관심영역별 팬, 틸트 및 줌의 LUT 값을 전송받아 저장하는 단계를 더 포함하며, 상기 보행자를 추적하여 보행자 이동경로에 따라 상기 카메라부의 PTZ 장치부의 팬, 틸트 및 줌 동작을 제어하는 단계에서, 상기 보행자 추적부는 상기 보행자 감지부에서 감지된 관심영역별 화면분할 영역 내에서 감지된 보행자의 유무에 따라 관심영역별 팬, 틸트 및 줌의 LUT 값에 기초하여 관심영역의 이동 여부를 판단하여 보행자를 추적하는 것을 특징으로 한다.
상기 보행자 감지부는 상기 n개의 관심영역 각각의 영역을 m개의 화면분할 영역으로 분할하는 단계 및 상기 분할된 각각의 영역에 대하여 보행자 감지 알고리즘을 동시에 수행하여 m개의 화면분할 영역별로 각각 보행자의 수를 감지하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 보행자 감지부는 상기 객체 감지 알고리즘으로 배경제거 알고리즘을 적용하여 객체의 면적계산 및 잡음제거 과정을 통해서 m개의 화면분할 영역별로 각각 객체의 수를 감지할 수 있다.
또한, 상기 보행자 감지부는 상기 n개의 관심영역 중에서 보행자 감지 및 추적의 시작영역인 제1 관심영역의 제1 화면분할 영역을 횡단 예정자 감지영역으로 지정하는 단계 및 상기 횡단 예정자 감지영역에서 보행자가 감지되는 경우 상기 안내 방송부로 보행자의 안전 보행을 위한 안내방송 송출을 요청하는 단계를 더 포함할 수 있다.
본 발명에 의하면, 최소한의 장비 구성으로 횡단보도 보행자를 감지하고 보행자의 이동경로에 따라 지속적으로 카메라의 LED 조명으로 스포트라이트하여 운전자에게 보행자의 움직임을 집중시킴으로써 무신호 횡단보도에서의 교통사고 예방과 감소를 기대할 수 있고, 카메라의 영상을 확보하여 뺑소니 등 교통사고 발생 시에 근거 자료로 활용할 수 있는 효과가 있다.
또한, 본 발명은 보행자 감지에 있어서 하르 기반 캐스케이드 분류기(Haar Feature-based Cascade Classifier)와 배경제거 알고리즘(Background Subtraction Algorithm)을 함께 수행함으로써 비오는 날에 우산이나 겨울철 방한복 등으로 인한 인체감지 오류를 최소화할 수 있고, 최소한의 장비 구성으로 시스템 설치비 및 유지보수비를 절감할 수 있어 많은 무신호 횡단보도에 적용할 수 있는 효과가 있다.
또한, 본 발명은 복수의 카메라를 사용하지 않고 횡단보도 양측에 각각 설치된 하나의 PTZ 카메라로 보행자를 감지하고 추적하면서 보행자에게 스포트라이트로 운전자의 주의력을 집중시켜 보행자의 안전을 지켜주는 효과가 있다.
또한, 본 발명은 추적 오류를 최소화하기 위하여 관심영역 및 화면 분할 알고리즘을 사용하고, LUT를 사용하여 효율적으로 보행자 추적을 함으로써 보행자가 많을 경우 PTZ 제어가 충돌하여 발생할 수 있는 작동 오류를 방지할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안전 시스템을 도시한 블록도이다.
도 2는 도 1의 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안전 시스템이 설치된 지주 구조물을 도시한 정면도이다.
도 3은 도 2의 보행자 안전 시스템이 설치된 지주 구조물이 횡단보도가 있는 곳에 설치되는 환경의 일예를 나타내는 도면이다.
도 4는 도 2에서 카메라부 구성의 일예를 나타내는 도면이다.
도 5는 횡단보도를 건너기 위한 보행자의 감지 영역에서 보행자가 감지되었을 때 카메라부에 내장된 LED 조명이 작동하는 경우의 일예를 나타내는 도면이다.
도 6은 횡단보도를 건너는 보행자를 LED 조명이 스포트라이트 하면서 추적하는 경우의 일예를 나타내는 도면이다.
도 7은 하르 특징 케이스 분류기를 이용한 보행자 감지 알고리즘을 수행하여 감지된 보행자의 영역과 중심점의 일예를 나타내는 도면이다.
도 8은 배경제거 알고리즘을 수행하여 감지된 보행자의 영역과 중심점의 일예를 나타내는 도면이다.
도 9는 보행자를 스포트라이트하면서 보행자의 움직임에 따라 보행자를 추적하기 위한 카메라의 PTZ 제어방법의 일예를 나타내는 도면이다.
도 10은 본 발명의 일실시예에 따른 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안전 시스템의 동작 방법을 도시한 흐름도이다.
도 11은 도 10에서 제1 보행자 감지 알고리즘을 이용한 보행자 감지 단계를 상세히 도시한 흐름도이다.
도 12는 도 10에서 제2 보행자 감지 알고리즘을 이용한 보행자 감지 단계를 상세히 도시한 흐름도이다.
도 13은 보행자 추적과 카메라의 PTZ 제어를 수행하는 과정을 상세히 도시한 흐름도이다.
도 14는 다수개의 관심영역으로 분할된 신호등 없는 횡단보도에서의 보행자 안전 시스템의 동작 방법을 예시한 도면이다.
도 15는 도 14에서 관심영역별 카메라 영상의 일예를 나타내는 도면이다.
도 16은 도 14에서 관심영역 1을 예로 한 보행자 감지 및 추적 방법의 일예를 나타내는 도면이다.
도 17은 관심영역을 이동하지 않는 경우의 일예를 나타내는 도면이다.
도 18은 관심영역 이동으로 인한 보행자 추적의 일예를 나타내는 도면이다.
도 19 및 도 20은 본 발명의 일실시예에 따른 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서 관심영역 설정에 의한 보행자 안전 시스템의 동작 방법을 도시한 흐름도이다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안전 시스템을 도시한 블록도이다.
도시된 바와 같이, 본 발명의 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안전 시스템은 크게 카메라부(100), 카메라 제어장치부(200), 전원 공급부(270) 및 스피커(300)를 포함할 수 있다.
전원 공급부(270)는 카메라부(100)와 카메라 제어장치부(200)에 전원을 공급할 수 있다.
카메라부(100)는 신호등 없는 횡단보도의 양쪽 인도의 일측에 각각 인접하게 설치되어 신호등 없는 횡단보도에서 보행자를 감지할 수 있으며, 도 2에서와 같이 지주 구조물(400)에 고정 설치되어 카메라 제어장치부(200)에 의해 제어될 수 있다. 이를 위해 카메라부(100)는 LED 조명부(110), 영상 촬영부(120) 및 PTZ 장치부(130)를 포함할 수 있다.
LED 조명부(110)는 신호등 없는 횡단보도에서 영상 촬영부(120)에 의해 촬영된 영상이 카메라 제어장치부(200)의 보행자 감지부(220)에 전달되어 보행자가 감지되면 보행자 감지신호를 수신한 LED 조명 제어부(210)의 제어에 따라 적외선 및 화이트 LED 조명이 온/오프될 수 있으며 보행자의 안전한 횡단을 위해 보행자에게 LED 조명을 스포트라이트 할 수 있다.
영상 촬영부(120)는 신호등 없는 횡단보도에서 보행자의 존재 유무를 알기 위하여 CCTV 또는 촬영수단을 통해 실시간으로 영상을 촬영할 수 있으며, 실시간으로 촬영된 영상을 카메라 제어장치부(200)의 보행자 감지부(220)로 전송할 수 있다.
PTZ 장치부(130)는 신호등 없는 횡단보도에서 카메라 제어장치부(200)의 보행자 추적부(230)의 보행자 추적에 따른 PTZ 제어신호에 따라 카메라가 보행자를 따라가며 PTZ(Pan/Tilt/Zoom) 동작이 이루어질 수 있도록 할 수 있다. 여기서, 팬(pan)은 카메라가 좌우로 움직이며 객체를 따라가는 기능이고, 틸트(tilt)는 상하로 따라가는 기능이고, 줌(zoom)은 확대 축소하는 기능으로 종래의 복수의 카메라로 이뤄졌던 기능을 PTZ카메라 1대로 운영할 수 있다.
카메라 제어장치부(200)는 카메라부(100)에 의해 신호등 없는 횡단보도에서 촬영된 영상을 저장하고, 감지된 보행자의 추적을 위해 카메라부(100)를 제어하며 보행자의 안전한 횡단을 위해 안내 방송을 제공할 수 있다. 또한, 카메라 제어장치부(200)는 도 2에서와 같이 지주 구조물(400)에 고정 설치되는 함체(430) 내에 설치될 수 있다. 이를 위해 카메라 제어장치부(200)는 LED 조명 제어부(210), 보행자 감지부(220), 보행자 추적부(230), 안내멘트 저장부(240), 안내 방송부(250) 및 영상 저장부(260)를 포함할 수 있다.
LED 조명 제어부(210)는 보행자 감지부(220)에서 보행자 감지신호가 전달되면 보행자 감지신호에 따라 카메라부(100)의 LED 조명부(110)를 제어하기 위한 LED 조명 제어신호를 발생시킬 수 있다. 예를 들어, 카메라부(100)의 LED 조명부(110)를 작동시키기 위한 제어신호를 발생시킴으로써 카메라부(100)의 LED 조명부(110)가 작동되어 보행자를 스포트라이트할 수 있다.
보행자 감지부(220)는 카메라부(100)의 영상 촬영부(120)에서 실시간으로 촬영되어 전송되는 신호등 없는 횡단보도에서의 영상을 분석하여 보행자가 감지되는지를 판별할 수 있다. 만약, 신호등 없는 횡단보도에서 보행자가 감지된 경우에는 보행자 감지신호를 LED 조명 제어부(210)와 보행자 추적부(230)로 동시에 전송할 수 있다.
보행자 추적부(230)는 보행자 감지부(220)에서 보행자 감지신호가 전송되면 감지된 보행자 감지신호에 따라 신호등 없는 횡단보도를 횡단하는 보행자를 추적할 수 있으며, 추적되는 보행자의 이동 동선에 따라 카메라가 움직일 수 있도록 하기 위해 카메라 PTZ 제어신호를 발생시킬 수 있으며, 발생된 카메라 PTZ 제어신호는 카메라부(100)의 PTZ 장치부(130)로 전송될 수 있다.
안내멘트 저장부(240)는 안내 방송부(250)에 의해 스피커(300)를 통해 송출되는 안내 방송을 위한 안내 멘트가 저장될 수 있다. 여기서, 안내 멘트는 보행자의 안전 보행을 위한 안내 멘트로서, 예를 들어, "보행자께서는 횡단 예정자 감지 영역에 진입하였습니다."와 같은 적어도 하나 이상의 멘트 정보가 저장될 수 있다.
안내 방송부(250)는 보행자 감지부(220)에서 보행자 감지신호가 전송되면 보행자 감지에 따라 안내멘트 저장부(240)에 저장된 안내 멘트를 이용하여 보행자의 안전 보행을 위한 안내 방송을 스피커(300)를 통해 송출할 수 있다. 여기서, 스피커(300)는 도 2에서와 같이 지주 구조물(400)에 고정 설치될 수 있으며, 안내 방송부(250)에 의해 안내 방송을 제공할 수 있다.
즉, 안내멘트 저장부(240)에는 보행자 감지부(220)에 의해 보행자가 감지되면, 안전한 무신호 횡단보도 횡단을 위한 상황별 안내멘트 파일을 안내멘트 저장부(240)에 저장할 수도 있고, 안내 방송부(250)에 의해 스피커(300)를 통해 방송하여 보행자가 안전하게 횡단보도를 종단할 수 있다.
영상 저장부(260)는 보행자 감지부(220)에서 보행자가 감지되어 보행자 추적부(230)에 의해 보행자 추적이 진행되는 과정에서의 영상을 저장할 수 있다.
도 2는 도 1의 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안전 시스템이 설치된 지주 구조물을 도시한 정면도이다.
도시된 바와 같이, 지주 구조물(400)은 베이스 플레이트(410), 지주(420), 함체(430) 및 브라켓(440)을 포함할 수 있다. 지주(420)는 베이스 플레이트(410)와 결합되고, 베이스 플레이트(410) 상부에 형성될 수 있다. 함체(430)는 지주(420)에 형성되고, 브라켓(440) 또는 별도의 고정수단(미도시)에 의해 고정될 수 있다. 함체(430) 내부에는 카메라 제어장치부(200) 등 전자부품이 설치될 수 있고, 지주(420) 내부에는 전자부품과 전기적 연결을 위한 배선이 형성될 수 있다.
브라켓(440)은 함체(430), 카메라부(100) 또는 스피커(300)을 설치하기 위해 사용될 수 있다. 카메라부(100) 및 스피커(300)는 지주((420) 내부에 형성된 배선과 연결되어 함체(430) 내부의 카메라 제어장치부(200)와 통신할 수 있다.
도 3은 도 2의 보행자 안전 시스템이 설치된 지주 구조물이 횡단보도가 있는 곳에 설치되는 환경의 일예를 나타내는 도면이다.
도시된 바와 같이, 도 1, 2에서 설명한 카메라부(100)와 카메라 제어장치부(200)를 포함하는 함체(430), 그리고 스피커(300)가 고정 설치된 지주 구조물(400)이 신호등 없는 횡단보도의 좌, 우측 인도에 설치될 수 있다.
영상 촬영부(120)에 의해 보행자 감지부(220)에서 횡단보도를 건너려는 보행자를 감지하는 좌, 우측 횡단 예정자 감지 영역과, 감지된 보행자를 LED 조명 제어부(210)에 의해 LED 조명부(110)가 스포트라이트 하면서 추적하는 횡단 보행자 추적영역으로 구분될 수 있다.
도 4는 카메라부(100) 구성의 일예를 나타내는 도면이다. 본 발명의 카메라부(100)는 보행자를 스포트라이트하기 위한 적외선 및 화이트 LED을 내장할 수 있는 LED 조명부(110), 카메라부(100)를 팬, 틸트할 수 있는 팬 모터(131) 및 틸트 모터(132)를 내장할 수 있다.
도 5는 횡단보도를 건너기 위한 보행자의 감지 영역에서 보행자가 감지되었을 때 카메라부에 내장된 LED 조명이 작동하는 경우의 일예를 나타내는 도면이고, 도 6은 횡단보도를 건너는 보행자를 LED 조명이 스포트라이트 하면서 추적하는 경우의 일예를 나타내는 도면이며, 도 7은 하르 특징 케이스 분류기를 이용한 보행자 감지 알고리즘을 수행하여 감지된 보행자의 영역과 중심점의 일예를 나타내는 도면이고, 도 8은 배경제거 알고리즘을 수행하여 감지된 보행자의 영역과 중심점의 일예를 나타내는 도면이다.
도 5와 같이 보행자가 횡단보도를 횡단하기 위해 감지 영역에 접근했을 때, 이를 보행자 감지부(220)에 의해 감지하고 LED 조명부(110)가 보행자를 스포트라이트 하면서, 안내 방송부(250)에 의해 안내멘트 저장부(240)에 저장된 안전 보행을 위한 안내방송을 스피커(300)를 통해 송출할 수 있다.
또한, 도 6에서와 같이 보행자 감지부(220)에 의해 감지하고 보행자 추적부(230)에 의해 횡단보도를 횡단하는 보행자를 추적하는 과정에서 보행자 추적부(230)에 의해 카메라부(100)의 PTZ 장치부(130)를 제어함으로써 LED 조명부(110)가 횡단보도를 횡단하는 보행자를 연속적으로 스포트라이트할 수 있다.
특히, 보행자 감지부(220)에서는 보행자를 감지하는데 오류를 최소화하기 위해 2단계로 수행할 수 있으며, 제1 단계에서는 하르 기반 캐스케이드 분류기를 이용한 보행자 감지 알고리즘을 수행할 수 있다. 여기서, 하르 기반 캐스케이드 분류기를 이용한 객체 검출은 다수의 객체 이미지와 객체가 아닌 이미지를 Cascade 함수로 훈련 학습시켜 객체 검출을 수행하는 기계학습 기반의 접근 방법으로서, 영상 이미지를 여러 영역으로 나눈 뒤 각 영역과 영역 사이의 밝기 차이를 통하여 객체의 특징을 얻어내는 방법이다.
본 발명에 있어서 이미 훈련 학습된 인체의 전신을 검출하는 분류기를 적용할 수 있으며, 도 7은 파이썬(Python)으로 OpenCV2을 이용하여 객체가 검출되는 일예를 나타내고 있다.
제2 단계에서는 제1 단계에서 보행자가 눈, 비오는 날 우산을 쓰고 있다거나 겨울에 방한복 착용 등으로 인체의 특징에 반하여 보행자를 검출하지 못하는 경우를 보완하기 위해 배경제거 알고리즘을 수행하여 보행자를 감지할 수 있다. 여기서, 배경제거 알고리즘은 가우시안 믹스처 모델을 기반으로 배경과 전경을 분할하는 알고리즘이며, 영상 이미지에서 배경 간의 차이를 이용하여 움직이는 객체를 분할하고 검출할 수 있다.
본 발명에서는 파이썬으로 OpenCV2을 이용하고 Background Subtractor MOG2을 적용하여 보행자를 감지하였으며, 도 8에 예시된 바와 같이 객체가 검출될 수 있다.
도 9는 보행자를 스포트라이트하면서 보행자의 움직임에 따라 보행자를 추적하기 위한 카메라의 PTZ 제어방법의 일예를 나타내는 도면이다.
카메라 제어장치부(200)의 보행자 감지부(220)에서 보행자가 감지되면, (x, y) 좌표들의 최소값과 최대값을 이용하여 감지된 영역을 사각형으로 표현할 수 있고, 사각형의 중심 좌표(보행자의 중심좌표: f(x, y))를 구할 수 있다. 그리고, 영상 프레임의 중앙좌표(f(xc, yc))와 보행자의 중심좌표(f(x, y))를 이용하여 카메라의 팬 및 틸트 이동 각도를 얻을 수 있고, PTZ 장치부(130)의 팬 모터(131)와 틸트 모터(132)을 제어하여 영상 프레임의 중심 좌표(f(xc, yc))를 보행자의 중심 좌표(f(x, y))로 이동할 수 있다.
더욱 상세하게는 카메라에서 수평화각(H: Horizontality)과 수직화각(V: Verticality)의 값을 얻을 수 있는데, 아래의 [수학식 1]을 이용하여 팬 및 틸트 이동 각도를 각각 구할 수 있고, 카메라 제어장치부(200)의 보행자 추적부(230)에 의해 PTZ 장치부(130)를 제어할 수 있다.
[수학식 1]
팬 이동 각도 = (H/수평 해상도) X (xc-x)
틸트 이동 각도 = (V/수직 해상도) X (yc-y)
팬 제어 각도 = 현재 팬 각도 + 팬 이동 각도
틸트 제어 각도 = 현재 틸트 각도 + 틸트 이동 각도
도 10은 본 발명의 일실시예에 따른 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안전 시스템의 동작 방법을 도시한 흐름도이고, 도 11은 도 10에서 제1 보행자 감지 알고리즘을 이용한 보행자 감지 단계를 상세히 도시한 흐름도이며, 도 12는 도 10에서 제2 보행자 감지 알고리즘을 이용한 보행자 감지 단계를 상세히 도시한 흐름도이고, 도 13은 보행자 추적과 카메라의 PTZ 제어를 수행하는 과정을 상세히 도시한 흐름도이다.
도시된 바와 같이, 카메라 제어장치부(200)의 LED 조명 제어부(210)에 의해 카메라부(100)의 LED 조명부(110)를 초기화(조명 OFF)할 수 있고, 보행자 추적부(230)에 의해 카메라부(100)의 PTZ 장치부(130)를 보행자 대기 영역으로 초기화(S10)할 수 있다.
이어서, 보행자 감지부(220)는 영상 촬영부(120)에서 촬영된 영상이 전송되어 입력(S20)되면, 신호등 없는 횡단보도에서의 보행자 감지를 위한 제1 보행자 감지 알고리즘을 수행(S30)할 수 있다. 이때, 수행되는 제1 보행자 감지 알고리즘은 하르 기반 캐스케이드 분류기를 이용한 보행자 감지 알고리즘일 수 있다.
즉, 보행자 감지부(220)는 도 11에서와 같이 영상 촬영부(120)에서 촬영된 영상에 대하여 하르 기반 캐스케이드 분류기 적용을 위한 전처리를 수행(S31)할 수 있다. 이어서, 보행자 감지부(220)는 전처리가 수행된 영상을 회색 이미지로 변환(S32)할 수 있으며, 회색으로 변환된 이미지에서 보행자를 탐지(S33)하여 보행자를 감지할 수 있다.
보행자 감지부(220)는 하르 기반 캐스케이드 분류기를 이용한 보행자 감지 알고리즘 수행 결과 신호등 없는 횡단보도에서 보행자가 감지되었는지를 판단(S40)할 수 있다.
보행자 감지부(220)는 하르 기반 캐스케이드 분류기를 이용한 보행자 감지 알고리즘 수행 결과 신호등 없는 횡단보도에서 보행자가 감지된 경우에는 LED 조명 제어부(210)로 보행자 감지신호를 전달함으로써 LED 조명 제어부(210)에서 카메라부(100)의 LED 조명부(110)를 제어하여 LED 조명부(110)가 온(on) 상태로 작동(S50)될 수 있다.
보행자 감지부(220)는 안내 방송부(250)로 보행자 감지신호를 전달함으로써 안내 방송부(250)에서는 안내 멘트 저장부(240)에 저장된 안내 멘트를 통해서 스피커(300)를 통해 안내 방송을 송출(S60)할 수 있다. 이때 송출되는 안내 방송은 보행자의 안전 보행을 위한 안내 멘트로서, 예를 들어, "보행자께서는 횡단 예정자 감지 영역에 진입하였습니다."와 같은 안내 방송이 송출될 수 있다.
이어서, 보행자 추적부(230)는 보행자 감지부(220)로부터 보행자 감지신호가 수신되면 전술한 도 9에서 설명한 방법으로 보행자의 움직임에 따라 보행자를 추적하고 카메라부(100)의 PTZ 장치부(130)를 제어하기 위한 PTZ 제어를 수행(S70)할 수 있다.
즉, 보행자 추적부(230)는 도 13에서와 같이 먼저 보행자 영역의 중심 좌표를 산출(S71)하고, 카메라 PT 제어 각도를 계산(S72)하여 보행자 추적과 카메라의 PTZ 제어(S73)를 수행할 수 있다. 특히, 보행자 추적부(230)는 보행자 감지부(220)에 의해 감지된 보행자가 여러 명일 경우에는 감지 영역 면적이 큰 보행자 또는 감지 영역 면적이 작은 보행자를 선택하여 스포트라이트 하면서 보행자의 움직임에 따라 추적할 수 있다. 또한, 보행자 추적부(230)에 의해 보행자의 추적 과정의 영상만 영상 저장부(260)에 저장되어 교통사고, 뺑소니 사고 등 만일의 사태에 증거자료로 사용될 수 있다.
한편, 보행자 감지부(220)가 하르 기반 캐스케이드 분류기를 이용한 보행자 감지 알고리즘 수행 결과 신호등 없는 횡단보도에서 보행자가 감지되었는지를 판단하는 S40 단계에서 보행자가 감지되지 않은 경우에는 제2 보행자 알고리즘을 수행(S80)할 수 있다. 이때, 수행되는 제2 보행자 감지 알고리즘은 하르 기반 캐스케이드 분류기를 이용한 보행자 감지 알고리즘에 의해 보행자가 눈, 비오는 날 우산을 쓰고 있다거나 겨울에 방한복 착용 등으로 인체의 특징에 반하여 보행자를 검출하지 못하는 경우를 보완하기 위한 배경제거 알고리즘일 수 있다.
즉, 보행자 감지부(220)는 도 12에서와 같이 먼저 영상 촬영부(120)에서 촬영된 영상에 대하여 배경제거 알고리즘 적용을 위한 전처리를 수행(S81)할 수 있다. 이어서, 보행자 감지부(220)는 전처리 후 차연산 및 이진화(S82)를 수행하고, 블록 단위 재귀적 라벨링(S83)을 진행하여 면적을 계산하고 잡음을 제거(S84)하여 보행자를 탐지(S85)하여 보행자를 감지할 수 있다.
보행자 감지부(220)는 하르 기반 캐스케이드 분류기를 이용한 보행자 감지 알고리즘에 이어 배경제거 알고리즘 수행 결과 신호등 없는 횡단보도에서 보행자가 감지되었는지를 판단(S90)할 수 있다.
보행자 감지부(220)는 배경제거 알고리즘 수행 결과 신호등 없는 횡단보도에서 보행자가 감지된 경우에는 전술한 바와 같이 LED 조명 제어부(210)의 제어에 의해 LED 조명부(110)가 온(on) 상태로 작동되는 S50 단계 이후의 과정들이 진행될 수 있다.
도 14는 다수개의 관심영역으로 분할된 신호등 없는 횡단보도에서의 보행자 안전 시스템의 동작 방법을 예시한 도면이고, 도 15는 도 14에서 관심영역별 카메라 영상의 일예를 나타내는 도면이며, 도 16은 도 14에서 관심영역 1을 예로 한 보행자 감지 및 추적 방법의 일예를 나타내는 도면이고, 도 17은 관심영역을 이동하지 않는 경우의 일예를 나타내는 도면이며, 도 18은 관심영역 이동으로 인한 보행자 추적의 일예를 나타내는 도면이다.
도 14와 같이, 카메라부는 지주에 카메라, 스피커, 제어장치가 내장된 함체를 포함하여 횡단보도의 마주하는 양쪽(우측, 좌측) 인도의 일측에 설치된다. 카메라의 위치는 횡단보도 양쪽(우측, 좌측) 인도에서 횡단보도 중앙지점에 위치하게 설치하여 횡단보도 전 영역을 감시할 수 있게 설치될 수 있다.
보행자 안내 시스템은 설치 시 보행자 검출 및 추적에 대한 관심영역을 서로 1/3씩 중첩하면서 4개의 영역으로 지정할 수 있으며, 관심영역별 팬, 틸트, 줌 정보가 초기설정 값으로 입력되어 아래 표 1과 같이 LUT로 DB화할 수 있다. 또한, 관심영역의 설정 개수는 횡단보도 환경에 따라 증가, 또는 감소할 수도 있음은 물론이다.
[표 1] 관심역별 PTZ LUT
Figure 112020059708960-pat00001
표 1에서 팬, 틸트, 줌의 LUT는 관심영역 설정 시 카메라에서 제공 받을 수 있고, 팬 제어는 고정하여 보행자를 감지함에 있어 오류를 최소화하기 위해 카메라의 움직임을 최소화할 수 있다.
도 16을 참조하여 도 14에서의 관심영역 1에서 한 보행자 감지 및 추적 방법에 대해 설명하기로 한다.
먼저, 보행자 감지를 위해 도 16에서와 같이 화면영상을 세로로 m(m=3)등분(A, B, C)하고, 배경제거 알고리즘을 이용하여 A, B, C 영역에서 보행자 검출 알고리즘을 동시에 수행할 수 있다. 이러한 방법은 보행자 검출을 위한 영상처리 시간을 최소화하는 효과가 있으며, 수행 결과 객체의 면적계산 및 잡음제거 과정을 거처 A, B, C 영역별 감지된 객체의 수를 각각 얻을 수 있다. 또한, 관심영역 1의 A 영역을 횡단 예정자 진입을 판단하고 감지하는 영역으로 지정할 수 있다.
또한, 하기의 표 2에서와 같이 보행자 검출 알고리즘을 수행한 후 각 분할 영역별(A, B, C)로 감지된 객체가 없으면 0, 감지된 객체가 1 이상이면 1로 표시하여, C, B, A를 조합하여 2진수로 표현할 수도 있고, 또는 10진수로 표현할 수도 있다. 2진수 또는 10진수 코드에 따라 동작 내용이 LUT로 설정되어 추적과 안내 방송 유무가 DB화 된다.
[표 2]
Figure 112020059708960-pat00002
표 2에서와 같이, 카메라부의 LED 조명은 관심영역 내에 보행자가 감지되면 작동하고, 관심영역 1의 A영역(횡단 예정자 감지 영역)에 보행자가 감지되었을 때만 안내방송을 송출할 수 있다. 또한, 보행자의 관심영역 이동에 따른 보행자 추적은 각 관심영역별 A, B, C 영역 내의 감지된 객체의 유무에 따라 처리될 수 있다.
도 17에서 '⊙' 표시는 관심영역의 영상 카메라 중심을 나타내며, 관심영역 n의 A영역, B영역, A영역/B영역, A영역/C영역 또는 A영역/B영역/C영역에서 보행자가 감지되었을 때에는 관심영역을 이동하지 않은 경우 즉, 추적을 하지 않는 경우이다. A영역은 인도에서 대기하는 상태 즉, 추적의 시작점(home)으로 추적하지 않는다. 또한, 관심영역은 중앙에 있으므로 보행자가 중앙에 있을 때는 추적하지 않는다. 따라서 대기영역 또는 관심영역에 있는 경우에는 추적(카메라 중심의 이동)하지 않는다.
도 18은 관심영역 n에서 초기에 설정되어진 관심영역별 팬, 틸트, 줌 값의 LUT 정보에 의해 관심영역 n+1로 보행자가 이동하는 경우 추적하는 방법의 일예를 나타내고 있다. 즉, 대기영역이 비어 있고 B 또는 C 영역에 보행자가 있는 경우 이동하는 경우로 판단하여 관심영역을 n+1로 이동한다.
본 발명에서는 이와 같은 방법으로 보행자 추적을 수행함으로써 1대의 카메라로 다수의 객체를 동시에 추적하는 것이 가능하고, 각 관심영역에서 얻어진 영상을 3영역(A, B, C)으로 분할하여 보행자를 감지함으로써 PTZ 동작을 최소화하기 위하여 영역별 동작시켜 감지의 신뢰성과 추적의 오류를 최소화할 수 있는 효과가 있다.
또한, 전술한 바와 같이 우측 인도에 설치된 카메라 및 안전 시스템은 좌측 인도에도 독립적으로 설치되고 동작의 방법 등은 우측 인도에 설치된 시스템과 동일하게 작동될 수 있으며, 횡단예정자 감지영역은 인도 환경에 따라 영역조정이 가능할 수 있음은 물론이다.
즉, 관심지역 1 내의 A영역을 횡단예정자 감지영역으로 지정하여 영역내 감지 여부로만 처리됨으로 오류를 최소화할 수 있다. 특히 이 영역은 보행자 감지 및 추적의 시작(home) 영역으로 초기 카메라의 움직임이 없는 고정된 영역으로 보행자 검출 오류를 최소화할 수 있다.
이와 같은 본 발명의 구성에 의하면, 야간, 비 등의 상황에서도 검출율이 높아 무신호 횡단보도에서의 안전과 신뢰를 향상시킬 수 있고, 카메라의 동작 제어에 의해 움직이는 카메라에서의 검출 오류를 보완할 수 있으며, 카메라의 이동을 최소화하고 정지 후 촬영된 영상을 활용한 검출 알고리즘 수행으로 객체 검출 성능을 향상시킬 수 있다.
도 19 및 도 20은 본 발명의 일실시예에 따른 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서 관심영역 설정에 의한 보행자 안전 시스템의 동작 방법을 도시한 흐름도이다.
도시된 바와 같이, 카메라 제어장치부(200)의 보행자 감지부(220)는 카메라부(100)의 영상 촬영부(120)에서 촬영된 영상에서 보행자를 감지하기 위한 관심영역을 설정(S100)할 수 있다. 이때, 관심영역은 1 ~ n개로 환경에 따라 필요한 개수로 지정되어 설정될 수 있으며, 바람직하게는 최초 시스템 설치시 보행자 검출 및 추적에 대한 관심영역을 서로 1/3씩 중첩하면서 4개의 영역으로 지정할 수 있다.
이어서, 보행자가 관심영역으로 이동(S110)하는 경우 보행자 감지부(220)는 카메라부(100)의 영상 촬영부(120)에서 촬영된 영상이 입력(S120)되면 입력된 영상에 대한 전처리 및 영상 분할(S130)을 수행할 수 있다. 이때, 영상 분할은 관심영역이 4개의 영역으로 설정된 경우에는 각 영역에 대하여 전술한 바와 같이 A, B, C 영역으로 분할될 수 있다.
보행자 감지부(220)는 관심영역이 4개의 영역으로 설정된 경우 각 관심영역의 m개의 화면분할 영역별로 보행자 감지를 위한 알고리즘을 수행(S140)할 수 있다. 이때, 수행되는 보행자 감지 알고리즘은 전술한 바와 같이, 1단계로 하르 기반 캐스케이드 분류기를 이용한 보행자 감지 알고리즘을 수행할 수 있고, 1 단계에서 보행자를 검출하지 못한 경우 2 단계로 보행자가 눈, 비오는 날 우산을 쓰고 있다거나 겨울에 방한복 착용 등으로 인체의 특징에 반하여 보행자를 검출하지 못하는 경우를 보완하기 위한 배경제거 알고리즘이 수행될 수 있다.
보행자 감지부(220)는 1 단계 및 2 단계 보행자 감지 알고리즘 수행 결과 신호등 없는 횡단보도에서 보행자가 감지되었는지를 판단(S150)할 수 있다.
보행자 감지부(220)는 1 단계 및 2 단계 보행자 감지 알고리즘 수행 결과 신호등 없는 횡단보도에서 보행자가 감지되지 않은 경우에는 해당 관심영역에서 보행자가 감지되지 않았으므로 관심영역 area = 0으로 설정하고 카메라부(100)의 LED 조명을 오프(S160)시킬 수 있다.
보행자 감지부(220)는 1 단계 및 2 단계 보행자 감지 알고리즘 수행 결과 신호등 없는 횡단보도에서 보행자가 감지된 경우에는 카메라부(100)의 LED 조명을 온(S170)시킬 수 있다.
보행자 감지부(220)는 보행자가 감지된 영상을 저장(S180)할 수 있다. 이와 같이 저장된 영상은 차후에 영상 확인이 필요한 경우 불러와 확인 가능함은 물론이다.
보행자 감지부(220)는 1 단계 및 2 단계 보행자 감지 알고리즘을 통해 보행자가 감지된 경우 감지된 보행자가 횡단 예정자 감지영역에 위치하는지에 따라 안내 방송 유무를 판단(S190)할 수 있다.
보행자 감지부(220)는 판단 결과 보행자가 횡단 예정자 감지영역에 위치한 경우에는 안내 방송부(250)에서 안내멘트 저장부(240)에 저장된 안내멘트를 스피커(300)를 통해 안내 방송(S200)할 수 있도록 할 수 있다. 이때 송출되는 안내 방송은 보행자의 안전 보행을 위한 안내 멘트로서, 예를 들어, "보행자께서는 횡단 예정자 감지 영역에 진입하였습니다."와 같은 안내 방송이 송출될 수 있다.
보행자 추적부(230)는 보행자를 추적하는 과정에서 보행자가 관심영역 이동을 하였는지를 판단(S210)할 수 있다. 이때, 관심영역의 이동 여부는 전술한 바와 같이 관심영역 n에서 초기에 설정되어진 관심영역별 팬, 틸트, 줌 값의 DB 정보에 의해 관심영역 n+1로 보행자가 이동하였는지를 추적하여 판단할 수 있다.
보행자 추적부(230)는 보행자를 추적하는 과정에서 보행자가 관심영역 이동을 하였는지를 판단한 결과 보행자가 관심영역 이동을 하지 않은 것으로 판단된 경우에는 관심영역 area = area - 1로 설정(S220)할 수 있다.
한편, 보행자 추적부(230)는 보행자를 추적하는 과정에서 보행자가 관심영역 이동을 하였는지를 판단한 결과 보행자가 관심영역 이동을 한 것으로 판단된 경우에는 보행자가 이동한 관심영역이 보행자 감지 및 추적의 종료 관심영역인지를 판단(S230)할 수 있다.
보행자 추적부(230)는 보행자가 이동한 관심영역이 보행자 감지 및 추적의 종료 관심영역인 것으로 판단된 경우에는 관심영역 area = 0으로 설정(S240)할 수 있다.
이와 같이 본 발명의 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안전 시스템 및 그 방법에 의하면, LED 조명과 PTZ 장치가 포함된 CCTV 카메라와 스피커를 이용하여 카메라 영상을 이용하여 보행자가 감지되면 LED조명을 보행자에게 스포트라이트 하면서 안전한 보행을 위한 안내방송을 송출하고, 보행자가 횡단보도를 종단할 때까지 지속적으로 스포트라이트 하면서 추적하여 보행자 안전 횡단이 가능할 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
100: 카메라부 110: LED 조명부
120: 영상 촬영부 130: PTZ 장치부
131: 팬 모터 132: 틸트 모터
200: 카메라 제어장치부 210: LED 조명제어부
220: 보행자 감지부 230: 보행자 추적부
240: 안내멘트 저장부 250: 안내 방송부
260: 영상 저장부 270: 전원 공급부
300: 스피커 400: 지주 구조물
410: 베이스 플레이트 420: 지주
430: 함체 440: 브라켓

Claims (6)

  1. 신호등 없는 횡단보도를 횡단하는 보행자를 실시간으로 추적하여 촬영하기 위한 LED 조명부, 영상 촬영부 및 PTZ 장치부를 포함하는 카메라부 및
    상기 카메라부에서 실시간으로 촬영된 영상을 수신하여 보행자 감지부에서 보행자가 감지되는 경우 감지된 보행자가 횡단보도 횡단을 종료할 때까지 상기 LED 조명부를 제어하는 LED 조명 제어부, 상기 PTZ 장치부의 팬, 틸트 및 줌을 제어하여 추적하는 보행자 추적부 및 보행 안내하는 안내 방송부를 포함하는 카메라 제어장치부를 포함하되,
    상기 LED 조명 제어부는 보행자가 감지부에서 보행자가 감지된 경우 LED 조명부를 동작시켜 보행자가 스포트라이트(spot light)를 받도록 하여 운전자의 시선을 집중시키고,
    상기 보행자 감지부는 횡단보도 전체 영역을 상호간에 중첩되는 영역을 갖는 n개의 관심영역으로 분할하고, 상기 분할된 각 관심영역을 다시 m등분 화면분할하여 관심영역별, 화면분할별 PTZ 정보를 LUT(lookup table)을 사용하여 보행자를 추적하되,
    상기 LED 조명부는 상기 카메라부에 내장되고,
    상기 m은 3으로 A, B, C 영역으로 분할하여 A 영역을 대기영역이라 하면,
    보행자가 대기영역 또는 카메라 중심에 있는 경우에는 추적하지 않고,
    대기영역이 비어 있고 B 또는 C 영역에 보행자가 있으면 이동하는 경우로 판단하여 추적하는 것을 특징으로 하는 신호등 없는 횡단보도에서의 보행자 안내 시스템.
  2. 청구항 1에 있어서,
    상기 m등분 화면분할의 중앙을 영상 카메라의 중심으로 하여 각 화면분할 영역에서의 보행자 유무로 카메라 이동 추적을 결정하는 것을 특징으로 하는 신호등 없는 횡단보도에서의 보행자 안내 시스템.
  3. 청구항 1에 있어서,
    상기 보행자 감지부는,
    배경제거 알고리즘을 적용하여 객체의 면적계산 및 잡음제거 과정을 통해서 m개의 화면분할 영역별로 각각 객체의 수를 감지하는 것을 특징으로 하는 신호등 없는 횡단보도에서의 보행자 안내 시스템.
  4. 청구항 1에 있어서,
    상기 보행자 감지부는,
    n개의 관심영역 중에서 보행자 감지 및 추적의 시작영역인 제1 관심영역의 제1 화면분할 영역을 횡단 예정자 감지영역으로 지정하고,
    상기 횡단 예정자 감지영역에서 보행자가 감지되는 경우 상기 안내 방송부로 보행자의 안전 보행을 위한 안내방송 송출을 요청하는 것을 특징으로 하는 신호등 없는 횡단보도에서의 보행자 안내 시스템.
  5. CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 방법에 있어서,
    카메라 제어장치부의 보행자 감지부에서 카메라부의 영상 촬영부에서 실시간으로 촬영되는 영상을 전송받아 보행자 감지 알고리즘을 이용하여 보행자를 감지하는 단계;
    상기 카메라 제어장치부의 LED 조명 제어부가 상기 보행자 감지부에서의 보행자 감지에 따라 상기 카메라부의 LED 조명부를 작동시키는 단계;
    상기 카메라 제어장치부의 안내 방송부가 상기 보행자 감지부에서의 보행자 감지에 따라 보행자의 안전 보행을 위한 안내방송을 스피커를 통해 송출하는 단계 및
    상기 카메라 제어장치부의 보행자 추적부가 상기 보행자 감지부에서의 보행자 감지에 따라 보행자를 추적하여 보행자 이동경로에 따라 상기 카메라부의 PTZ 장치부의 팬, 틸트 및 줌 동작을 제어하는 단계를 포함하고,
    상기 보행자를 감지하는 단계에서, 상기 보행자 감지부는 상호간에 중첩되는 영역을 갖는 n개의 관심영역으로 지정된 신호등 없는 횡단보도 전체 영역을 실시간으로 촬영한 영상을 상기 영상 촬영부로부터 전송받아 n개의 관심영역으로 설정하는 단계 및
    상기 보행자 감지부는 상기 n개의 관심영역 설정시 상기 카메라부의 PTZ 장치부로부터 관심영역별 팬, 틸트 및 줌의 LUT 값을 전송받아 저장하는 단계를 더 포함하며,
    상기 보행자를 추적하여 보행자 이동경로에 따라 상기 카메라부의 PTZ 장치부의 팬, 틸트 및 줌 동작을 제어하는 단계에서, 상기 보행자 추적부는 상기 보행자 감지부에서 감지된 관심영역을 다시 m등분 화면분할한 영역 내에서 감지된 보행자의 유무에 따라 관심영역별 팬, 틸트 및 줌의 LUT 값에 기초하여 관심영역의 이동 여부를 판단하여 보행자를 추적하되,
    상기 LED 조명부는 상기 카메라부에 내장되고,
    상기 m은 3으로 A, B, C 영역으로 분할하여 A 영역을 대기영역이라 하면,
    보행자가 대기영역 또는 카메라 중심에 있는 경우에는 추적하지 않고,
    대기영역이 비어 있고 B 또는 C 영역에 보행자가 있으면 이동하는 경우로 판단하여 추적하는 것을 특징으로 하는 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 방법.
  6. 청구항 5에 있어서,
    상기 보행자 감지부는 상기 n개의 관심영역 각각의 영역을 m개의 화면분할 영역으로 분할하는 단계 및
    상기 분할된 각각의 영역에 대하여 보행자 감지 알고리즘을 동시에 수행하여 m개의 화면분할 영역별로 각각 보행자의 수를 감지하는 단계를 더 포함하는 것을 특징으로 하는 CCTV 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 방법.

KR1020200070320A 2020-06-10 2020-06-10 Cctv 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법 KR102186349B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200070320A KR102186349B1 (ko) 2020-06-10 2020-06-10 Cctv 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200070320A KR102186349B1 (ko) 2020-06-10 2020-06-10 Cctv 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102186349B1 true KR102186349B1 (ko) 2020-12-03

Family

ID=73779611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200070320A KR102186349B1 (ko) 2020-06-10 2020-06-10 Cctv 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102186349B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310435B1 (ko) 2021-03-29 2021-10-08 쿨사인 주식회사 차량의 접근을 감지하여 보행자에게 경고하는 시스템 및 방법
KR102310434B1 (ko) 2021-03-29 2021-10-08 쿨사인 주식회사 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로 횡단을 예측하는 시스템 및 방법
KR102310433B1 (ko) 2021-03-29 2021-10-08 쿨사인 주식회사 보행자를 감지하여 운전자에게 경고하는 시스템 및 방법
KR102321936B1 (ko) * 2021-03-18 2021-11-04 (주)삼성티엔지 영상 인식을 통한 보행 신호의 안내 및 제어 장치
KR102441947B1 (ko) 2022-06-27 2022-09-13 추양근 인체감지센서에 기반한 하이브리드 광원제어 자동음성안내 cctv 카메라 시스템
CN115134448A (zh) * 2022-06-07 2022-09-30 江西盈盛实业有限公司 一种网络电话机用背光照明系统
KR102560094B1 (ko) 2022-08-19 2023-07-26 주식회사 더케이 보행자 보호를 위한 횡단보도 cctv 카메라 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272756A (ja) * 2003-03-11 2004-09-30 Meidensha Corp 混雑度調査装置
KR20130138392A (ko) * 2012-06-11 2013-12-19 휴앤에스(주) 돌발검지 시스템
KR20160137247A (ko) 2015-05-22 2016-11-30 팅크웨어(주) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
KR101739988B1 (ko) * 2017-02-09 2017-05-26 (주)패스넷 무신호 횡단보도에서의 보행자 보호 시스템
KR101888381B1 (ko) * 2018-06-19 2018-08-14 (주)서광시스템 검지영역 딥러닝 기반의 차량 단속 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272756A (ja) * 2003-03-11 2004-09-30 Meidensha Corp 混雑度調査装置
KR20130138392A (ko) * 2012-06-11 2013-12-19 휴앤에스(주) 돌발검지 시스템
KR20160137247A (ko) 2015-05-22 2016-11-30 팅크웨어(주) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
KR101739988B1 (ko) * 2017-02-09 2017-05-26 (주)패스넷 무신호 횡단보도에서의 보행자 보호 시스템
KR101888381B1 (ko) * 2018-06-19 2018-08-14 (주)서광시스템 검지영역 딥러닝 기반의 차량 단속 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321936B1 (ko) * 2021-03-18 2021-11-04 (주)삼성티엔지 영상 인식을 통한 보행 신호의 안내 및 제어 장치
KR102310435B1 (ko) 2021-03-29 2021-10-08 쿨사인 주식회사 차량의 접근을 감지하여 보행자에게 경고하는 시스템 및 방법
KR102310434B1 (ko) 2021-03-29 2021-10-08 쿨사인 주식회사 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로 횡단을 예측하는 시스템 및 방법
KR102310433B1 (ko) 2021-03-29 2021-10-08 쿨사인 주식회사 보행자를 감지하여 운전자에게 경고하는 시스템 및 방법
CN115134448A (zh) * 2022-06-07 2022-09-30 江西盈盛实业有限公司 一种网络电话机用背光照明系统
KR102441947B1 (ko) 2022-06-27 2022-09-13 추양근 인체감지센서에 기반한 하이브리드 광원제어 자동음성안내 cctv 카메라 시스템
KR102560094B1 (ko) 2022-08-19 2023-07-26 주식회사 더케이 보행자 보호를 위한 횡단보도 cctv 카메라 시스템

Similar Documents

Publication Publication Date Title
KR102186349B1 (ko) Cctv 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법
KR101655839B1 (ko) 어안렌즈 카메라를 이용한 주차 관제 시스템 및 방법
US6985172B1 (en) Model-based incident detection system with motion classification
CN107972569B (zh) 车灯组控制方法、装置、系统及车辆
JP7009987B2 (ja) 自動運転システム及び自動運転方法
US20060215882A1 (en) Image processing apparatus and method, recording medium, and program
JP5501477B2 (ja) 環境推定装置及び車両制御装置
EP1912157A1 (en) Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method
JP2000318513A (ja) 車両用障害物検出装置
JP2008059846A (ja) 照明装置、照明システム及び照明制御方法
JP2005309797A (ja) 歩行者警報装置
JP6935350B2 (ja) 監視装置およびトロリー式車両
JP2009234344A (ja) 撮像手段の調整装置および物体検出装置
US6549124B1 (en) Environment monitoring system for a vehicle with an image pickup device
CN111086451B (zh) 一种平视显示系统、显示方法和汽车
KR102310845B1 (ko) 인공지능 기반의 cctv 일체형 스마트 가로등
JP2002145072A (ja) 踏切障害物検知装置
KR102007162B1 (ko) 360° 전방위 cctv 카메라와 클라우딩 시스템을 활용한 통합 지능형 주차 관제 시스템 및 방법
KR101278237B1 (ko) 차량 인식 방법 및 장치
KR102430569B1 (ko) 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템
CN115457535A (zh) 一种无眩光车牌识别方法及系统
KR20200057268A (ko) 이동형 자동차 등록번호 인식 시스템
KR102391929B1 (ko) 영상분석 기반의 횡단보도 위험 알림 시스템
KR102611784B1 (ko) 지능형 교차로 차량 흐름 제어시스템 및 그 제어방법
JP5056679B2 (ja) ナイトビューシステム

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant