KR102430569B1 - 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템 - Google Patents

횡단보도자의 성향에 따라 교통신호를 제어하는 시스템 Download PDF

Info

Publication number
KR102430569B1
KR102430569B1 KR1020220038282A KR20220038282A KR102430569B1 KR 102430569 B1 KR102430569 B1 KR 102430569B1 KR 1020220038282 A KR1020220038282 A KR 1020220038282A KR 20220038282 A KR20220038282 A KR 20220038282A KR 102430569 B1 KR102430569 B1 KR 102430569B1
Authority
KR
South Korea
Prior art keywords
movement pattern
information
motion
movement
pattern type
Prior art date
Application number
KR1020220038282A
Other languages
English (en)
Inventor
김승호
Original Assignee
케이에스아이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 케이에스아이 주식회사 filed Critical 케이에스아이 주식회사
Priority to KR1020220038282A priority Critical patent/KR102430569B1/ko
Application granted granted Critical
Publication of KR102430569B1 publication Critical patent/KR102430569B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/075—Ramp control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 횡단보도에서 인도까지의 횡단보도 영역 및 상기 횡단보도 양단에서 인도측으로 향하는 구간 내 신호 대기자가 대기하는 신호대기 영역을 촬영하고, 상기 횡단보도 영역 및 신호대기 영역에서 횡단보도 내 보행자의 횡단 여부 및 상기 신호대기 영역에서 대기자의 신호대기 여부를 감지하는 적어도 하나의 영상감지장치(100); 및
상기 적어도 하나의 촬영 장치로부터 수집된 보행자, 대기자 및 차량이 포함된 횡단보도 영역 및 신호대기 영역의 영상 데이터를 수집하고, 상기 수집된 영상 데이터 내에서 상기 보행자, 대기자 및 차량을 추출하고, 상기 보행자, 대기자 및 차량의 이동 패턴을 딥러닝 알고리즘으로 분석하고, 분석된 이동 패턴에 대해 딥러닝 알고리즘에 기초하여 인공 지능 학습을 수행하여 적절한 제어신호를 발생하는 제어부;를 포함하는 횡단보도 서비스 제공 서버(300);
상기 제어 모듈의 제어부로부터의 제어신호를 받아 교통신호를 조정하는 로컬 교통신호제어기(400)를 포함하여 구성된다.

Description

횡단보도자의 성향에 따라 교통신호를 제어하는 시스템{Crosswalk Control System for Traffic Pattern of the Crosswalked }
본 발명은 스마트 횡단보도 제어시스템에 관한 것으로, 보다 상세하게는 교통약자 등을 위하여 이동 패턴에 따라 잔여 시간을 인공지능으로 증감시켜서 도로에서 일어나는 교통상의 위험과 장애를 방지하고 제거하여 안전하고 원활한 이동권을 확보할 수 있는 횡단보도 제어시스템에 관한 것이다.
종래의 기술로는, 인공지능 기반 횡단보도 보행자 검출 및 사고 예방 시스템에 관한 것으로, 횡단보도에 설치된 신호등 주의 상단에 설치된 가로대에 설치되어 횡단보도 주변 및 보행자를 촬영하는 카메라 장치; 미리 설치된 영상분석 솔루션을 통하여 상기 카메라 장치에 의하여 촬영된 영상에서 보행자를 검출하는 보행자 검출 모듈; 보행 신호등 및 주행 신호등으로 구성된 신호등의 현재 점멸색을 검출하는 색 검출 모듈; 및 상기 색 검출 모듈의 검출결과와 상기 보행자 검출 모듈의 검출결과에 따라 횡단보도 대기중인 보행자에게 무단 횡단 경고 메시지를 출력하는 경고신호 출력모듈을 포함하여, 보행자 검출과 보행자가 신호를 무시하고 무단횡단하는 상황을 인공지능으로 검출 및 분석을 하고 위험한 상황을 예측하여 사고 발생을 예방할 수 있는 효과가 있다.
그러나 이러한 구성은 경고장치와 기타 바닥에 압전소자 등을 별도로 설치하는 복잡한 구성이고 또 많은 비용이 더 소요된다.
출원번호(일자) : 10-2019-0175596(2019년 12월 26일)
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 간단한 구성으로 교통약자 등이 횡단보도에서 일어날 수 있는 사고로부터 보호하기 위한 것이다.
상기와 같은 기술적인 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따른 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템은, 횡단보도에서 인도까지의 횡단보도 영역 및 상기 횡단보도 양단에서 인도측으로 향하는 구간 내 신호대기자가 대기하는 신호대기 영역을 촬영하고, 상기 횡단보도 영역 및 신호대기 영역에서 횡단보도 내 보행자의 횡단 여부 및 상기 신호대기 영역에서 대기자의 신호대기 여부를 감지하는 다수의 카메라를 구비한 영상감지장치(100);
횡단보도에 설치된 신호등을 제어하는 교통신호제어기(400); 및
상기 횡단보도에 대응되는 신호등을 제어하는 교통 신호 제어기로부터 신호등 제어신호를 수신하여, 현재 교통신호가 횡단보도의 보행가능신호인지를 식별하고, 상기 영상감지장치를 통해 수신된 영상에 대한 영상 분석을 통해, 영상이 전체적으로 동일하게 뿌옇지 않은 상태를 포함한 식별 가능한 신호인지를 판단하고, 식별 가능한 신호일 경우, 정상 신호등 시간 제어신호를 발생하고, 영상이 전체적으로 동일하게 뿌연 상태를 포함한 식별 가능한 신호가 아닐 경우에는 비상 신호등 시간 제어신호를 발생하도록 제어하고,
상기 정상 신호등 시간 제어신호를 발생한 경우, 상기 적어도 하나의 영상감지장치로부터 수집된 보행자, 대기자 및 차량이 포함된 횡단보도 영역 및 신호대기 영역의 영상 데이터를 수집하고, 상기 수집된 영상 데이터 내에서 상기 보행자, 대기자 및 차량을 추출하고, 상기 보행자, 대기자 및 차량의 이동 패턴 유형을 딥러닝 알고리즘으로 분석하고, 분석된 이동 패턴 유형에 대해 딥러닝 알고리즘에 기초하여 인공 지능 학습을 수행하여 대응하는 제어신호를 발생하는 제어부를 포함하는 제어 모듈(300); 을 포함하고,
상기 제어부는,
상기 보행자, 대기자 및 차량의 이동 패턴 유형에 대응하는 제어신호를 발생할 경우에는, 횡단보도 영역부 감시영상을 전술한 영상감시장치를 통하여 수집하는 단계;
전술한 감시 영상 내 객체(OBJECT)를 추출하는 단계;
객체별로 이동패턴 유형을 분석하는 단계;
이동패턴 유형을 포맷에 따른 특정 이동패턴 유형과 비교하고, 어떠한 이동패턴 유형에 속하는지 파악하는 단계; 및
해당 이동패턴 유형에 대응한 신호등 시간 제어신호를 발생하는 단계;를 수행하고,
상기 포맷은,
a) 다수의 상이한 이동패턴 유형별로 자세와 모션, 움직임 정보, 횡단보도 보행 시간 정보를 분류하고,
실제 상황을 반영하도록, 각각의 이동패턴 유형별로 횡단보도 상에서 활동영역을 특정해서, 활동영역에 해당하는 화면에서 MOT(Multi Object Tracking)에 의한 객체의 움직임 좌표 분포 정보를 이동패턴 유형별로 분류하며,
각각의 이동패턴 유형별로 각기 자세와 모션, 움직임 정보, 움직임 좌표 분포를 조합, 학습함으로써, 특정 이동패턴 유형을 도출하는 포맷을 정의하고,
b) 각각의 이동패턴 유형별로의 자세와 모션, 움직임 정보, 횡단보도 보행 시간 정보에 대한 데이터셋과, 또한 MOT에 의한 객체의 움직임 좌표 분포 정보에 대한 데이터셋을 각기 추출하고,
c) 해당하는 데이터셋에서 각각의 이동패턴 유형별로 특징을 나타내는 자세와 모션, 움직임 정보, 횡단보도 보행 시간 정보 및, MOT에 의한 객체의 움직임 좌표 분포 정보를 검출함으로써, 각각의 정보에 대한 속성을 결정하고,
d) 상기 결정한 정보를 정규화해서, 상이한 이동패턴 유형별로 각기 특징을 나타내는 자세와 모션, 움직임 정보, 횡단보도 보행 시간 정보 및, MOT에 의한 객체의 움직임 좌표 분포 정보를 구해서,
이동패턴 유형별로 횡단보도 보행을 위한 신호등 지연시간을 산출하기 위한 독립변수(이동패턴 유형별로의 신호등 지연시간 - 이 경우에, 일반적인 신호등 온 시간과의 차이로 구함) 및 종속변수(자세와 모션, 움직임 정보, MOT에 의한 객체의 움직임 좌표 분포 정보)를 설정하고,
d) 상기 설정한 정보로 학습 및 훈련 데이터를 구성하여 포맷을 구성하는 것을 특징으로 한다.
영상 감지 장치를 이용함으로써 보행자와 대기자를 즉각적으로 구분하고, 보행자의 이동 패턴을 AI 알고리즘으로 미리 학습 및 트레이닝함으로써, 이후 보행자가 이동을 할 때 즉각적으로 이동 패턴에 따른 제어를 딜레이없이 수행할 수 있으며, 교통약자를 위하여 이동 패턴에 따라 잔여 시간을 인공지능으로 증감시키며, 도로에서 일어나는 교통상의 위험과 장해를 방지하고 제거하여 안전하고 원활한 이동권을 확보할 수 있다.
도 1은 본 발명에 의한 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템의 구성을 나타낸 블록도.
도 2는 본 발명에 의한 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템에서 적용된 횡단보도 근처에서의 보행 대기자 파악을 위한 구성도.
도 3은 본 발명에 의한 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템에서 수행되는 교통 약자의 안전한 이동을 위한 제어 순서도.
도 1은 본 발명에 의한 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템의 구성을 나타낸 블록도이다.
도시된 바와 같이, 본 발명의 일 실시예에서는 크게 영상감지장치(100-1)와 횡단보도 서비스 제공 서버(300), 및 로컬 교통신호 제어기(400)로 분류된다.
그리고, 추가적으로 일 실시예에서는 횡단보도 양단에 설치된 긴급 버튼 또는, 조작 패널(100-2)로 분류되기도 한다. 그래서, 장애자 또는 심신나약자가 누르면 시간이 조정되기도 한다.
영상감지장치(100-1)는 횡단하고자 하는 사람 즉 대기자와 단순 근처 지나가는 행인을 촬영하고 그 데이터를 제어부로 송신한다.
또한 영상감지장치(100-1)는 횡단보도 구획을 촬영한다. 이것은 이후 데이터 베이스에 이미 저장된 다양한 영상 데이터를 참조하여 촬영된 영상 데이터와 비교 분석하여 횡단 대기자인지 아니면 단순 행인인지를 구별하는데 이용된다. I/F부(301)는 영상 감지장치로부터의 신호를 제어부로 송수신하기 위하여 거치는 인터페이스부이다.
제어부(302)는 먼저, 상기 횡단보도에 대응되는 신호등을 제어하는 교통 신호 제어기로부터 신호등 제어신호를 수신하여, 현재 교통신호가 횡단보도의 보행가능신호인지를 식별하고, 상기 영상감지장치를 통해 수신된 영상에 대한 영상 분석을 통해, 식별 가능한 신호인지를 판단하고, 식별 가능한 신호일 경우, 정상 신호등 시간 제어신호를 발생하고, 식별 가능한 신호가 아닐 경우에는 비상 신호등 시간 제어신호를 발생하도록 제어한다. 여기에서, 비상 신호등 시간 제어신호는 정상 신호등 시간 제어신호보다 보행자의 보행 정도와 횡단보도 설치 장소 등을 고려하여 상대적으로 길게 만들어진다. 예를 들면 촬영 영상 전체가 동일하게 뿌연 영상으로 파악되면(대상물 예상 지역과 그 주변지역이 동일하게 흐린 뿌연 영상) 식별 불가하다고 판단될 수 있을 것이다. 또 여기에서 구별되는 영상이 아니라고 판단되면 사실상 차량 영상신호로 구별할 수조차 없는 상황인 우천 또는 심한 안개 상황이라고 판단하고, 단순히 다가오는 차량에 대한 경고와 알람 등을 수행한다.
또한, 추가적으로 이러한 식별 가능하지 않은 신호가 임계치보다 높은 경우에는 제 1 비상 신호등 시간 제어신호로 유지하도록 제어한다. 반면에, 식별 가능하지 않은 신호가 임계치보다 낮은 경우에는 즉, 많이 식별이 어려운 상황에서는, 제 2 비상 신호등 시간 제어신호를 발생하도록 제어한다. 그래서, 이를 통해 보행자가 횡단보도를 건널 수 있을만큼 많은 여유를 두어 안전하게 지나가도록 하기도 한다.
이에 더하여, 제어부(302)는 상기 정상 신호등 시간 제어신호 또는, 제 1 비상 신호등 시간 제어신호를 발생한 경우, 상기 긴급 버튼 또는 조작 패널(100-2)에서 누름 신호를 보행자 키 조작에 따라 입력받는다. 그래서, 이에 따라 정상 신호등 시간 범위 또는, 제 1 비상 신호등 시간 범위 내에서 각 누름 신호의 압력 크기별로와 횡단보도 설치 장소별로 각기 대응하여 신호등 시간을 상이하게 조정한다. 예를 들어, 누름 신호가 강한 경우(또는, 긴 경우)와 일반적인 횡단보도 설치 장소인 경우에는 상대적으로 신호등 시간을 중 정도의 여유를 두도록 조정한다. 그리고, 누름 신호가 강한 상태로 우범 장소인 경우에는 이보다 더 여유를 두도록 조정한다. 한편, 또한 상기 제 2 비상 신호등 시간 제어신호를 발생한 경우에는, 즉 상당히 식별이 어려운 상황에서는, 상기 긴급 버튼 또는 조작 패널(100-2)에서 누름 신호를 보행자 키 조작에 따라 입력받아, 이들보다 더 길게 신호등 시간을 조정하기도 한다. 구체적으로는, 누름 신호를 입력받은 경우, 제 2 비상 신호등 시간 범위 내에서 누름 신호의 압력 크기에 대한 배수에 해당하는 값별로와 횡단보도 설치 장소별로 각기 대응하여 신호등 시간을 상이하게 조정한다. 그리고, 이러한 경우에 이 배수에 해당하는 값은 실제로 배수이거나 또는, 조금 더 넓은 의미로 제 1 비상 신호등 시간 범위 내에서의 압력 크기보다 비교적 큰 값을 모두 포함하는 것이다.
한편, 추가적으로 상기 제어부(302)는 근거리 촬영 카메라로부터 받은 영상신호를 중심으로 움직임을 관찰하여 경고정보를 제공하기도 한다. 이 근거리 촬영 카메라는 복수 개의 카메라 중에 선택될 수 있고, 반드시 하나로 고정될 필요는 없다. 이는, 수행 중인 원거리에서 다가오는 차량의 속도를 판단하는 것과 별도로 동시에 근거리 카메라에서 촬영된 영상신호를 통해서 별도로 진행될 수 있음을 알아야 한다. 이것은 계속 많은 차량이 횡단보도를 향하여 다가오고 있고, 일부 차량은 정지선 근방에 위치하거나 근접한 상태에서 이러한 차량의 움직임을 관찰할 필요가 있기 때문이다.
구체적으로는, 제어부(302)는 복수의 카메라 중 근거리를 촬영하는 카메라를 통하여 전달된 영상신호를 수집한다. 그리고, 신호등 제어신호를 수신한다. 그래서, 상기 신호등 수신하는 단계를 수행한 후 객체 식별 가능한지를 판단한다. 그리고, 이러한 객체 식별 가능한지를 판단하는 단계에서 정상 신호등 시간 제어신호를 발생하고, 식별 가능한 신호가 아닐 경우에는 비상 신호등 시간 제어신호를 발생하도록 제어하기도 한다. 그리고, 또한 이러한 경우에 이러한 구성에서 전술한 긴급 버튼 또는 조작 패널의 누름 신호에 관한 내용을 동일하게 적용하여 다양한 상황에서 보행자가 안전하게 횡단보도를 다닐 수 있도록 한다.
그리고 또한, 제어부(302)는 횡단하는 사람들의 각종 형태를 저장하고 있는 데이터 베이스(303)와 연결되고. 동시에 키입력 신호부(305)와 연결되어 있다. 제어부(302)는 포맷처리를 수행하는 모듈을 수행할 수 있는데 즉 여러 형태의 동작 패턴을 보유하는 데이터 베이스(303)의 영상데이터와, 영상감지장치(100-1)로부터 전달된 영상 형태를 비교하고 분석하며, 동시에 인공지능 알고리즘인 딥러닝 학습기능을 수행하는 모듈을 모두 포함한다. 따라서 여러 가지 형태의 장애인의 이동 속도 등을 미리 충분히 산정하여 횡단보도 거리와 이동속도를 비교 판단하여 적정한 제어신호를 보내는 것이다.
본 발명의 일 실시예에서는, 따로 횡단보도 상의 감지 장치를 구비함이 없이 다양한 이동 패턴의 영상데이터를 미리 저장하여 딥러닝 알고리즘으로 이미 학습된 판별 비교하는 기능으로 횡단보도를 건너는 사람들의 여러 가지 유형들을 판단하고 교통약자인 경우, 제어부에서 로컬교통신호기(400)로 제어신호를 보내는 구성이다.
도 2는 본 발명에 의한 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템에 적용된 횡단보도 근처에서의 횡단보행 대기자 파악을 위한 구성도이다.
도 2에 도시된 바와 같이, 영상감지장치(100-1)는 신호 대기자와 근처에 지나가는 단순 행인을 모두 기 저장된 영상 데이터 베이스의 다양한 영상 패턴을 비교분석하여 구분하는데, 여기서 부호(500)는 횡단보도 대기 경계부를 의미한다. 나중 여러 영상데이터를 분석하고 추출함에 있어서 이 영상데이터가 이용이 되어 대기자와 기타 다른 행인으로 구별된다.
도 3은 본 발명에 의한 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템에서 수행되는 교통 약자의 안전한 이동을 위한 제어 순서도이다.
도 3를 참조하면, 도 2에 도시된 횡단보도 대기자는 대기 영역내에 있는 객체만 대기자로 인식된다. 영상감지장치(100-1)로부터 대기 영역이 충분히 감지될 수 있기 때문이다.
한편, 단계 (201)은 횡단보도 영역부 감시영상을 전술한 영상감시장치를 통하여 수집하는 단계이다.
단계 (202)는 전술한 감시 영상 내 객체(OBJECT)을 추출한다. 즉 횡단 대기자와 단순 지나가는 객체를 구분 추출한다.
단계 (203)은 객체별로 이동 패턴 유형을 분석하는 단계이다. 이 분석단계(203)를 상세히 설명한 단계가 점선으로 표현되어 있다. 즉 교통약자의 이동패턴 유형별로 파악하고 그에 따른 표시시간을 달리하는 포맷을 등록하는 단계(203a)와, 상기 단계(203a)를 수행한 후에 상기 포맷으로 객체 내 교통약자 이동 패턴 유형을 인지하는 단계(203b)와 상기 단계(203b)를 수행한 후에 해당 신호등 표시 시간을 결정하는 단계(203c)로 진행된다. 여기에서 전술한 신호등 표시 시간은 미리 정해진 유형별(예들 들어 휠체어, 단순 목발, 아주 연로한 사람 등) 시간을 조정할 수 있는 데 이것은 이미 딥러닝으로 얻어진 데이터를 기반으로 정해진다.
단계 (204)은 이동패턴 유형별로 신호등 시간 조절을 출력하도록 수행하는 단계로, 전술한 단계(203)에서 유형별이 이미 파악되어 있고 그에 따른 신호등 시간을 이미 인공지능형 딥러닝으로 충분히 데이터가 마련되어 있어서(예를 들어 횡단보도 거리 대비 유형별 이동 속도에 의한 시간 데이터) 그에 맞는 시간 제어신호를 발생시킨다.
한편, 추가적으로 이러한 일실시예에 따른 포맷을 설정하는 것(단계 203 및 단계 204)에 대해 자세히 설명하면 아래와 같다. 이 포맷 설정은 한 예에 지나지 않고 여러 다른 모형들이 있을 수 있다.
a) 예를 들어, 먼저 다수의 상이한 이동패턴 유형별로 자세와 모션, 움직임 정보 등과 아울러, 횡단보도 보행 시간 정보를 분류한다.
그리고 또한, 실제 상황을 반영하도록, 각각의 유형별로 횡단보도 상에서 활동영역을 특정해서, 활동영역에 해당하는 화면에서 MOT(Multi Object Tracking)에 의한 객체의 움직임 좌표 분포 정보를 이동패턴 유형별로 분류한다.
그래서, 이러한 이동패턴 유형별로 각기 자세와 모션, 움직임 정보 등과 이러한 움직임 좌표 분포를 조합, 학습함으로써, 일실시예에 따른 특정 이동패턴 유형을 도출하는 포맷을 정의한다.
b) 다음, 각각의 이동패턴 유형별로의 자세와 모션, 움직임 정보 등과 아울러, 횡단보도 보행 시간 정보에 대한 데이터셋과, 또한 MOT에 의한 객체의 움직임 좌표 분포 정보에 대한 데이터셋을 각기 추출한다.
c) 또한, 이러한 데이터셋에서 각각의 이동패턴 유형별로 특징을 나타내는 자세와 모션, 움직임 정보 등과 횡단보도 보행 시간 정보 및, MOT에 의한 객체의 움직임 좌표 분포 정보를 검출함으로써, 각각의 정보에 대한 속성을 결정한다.
d) 그래서, 이러한 결정한 정보를 정규화해서, 상이한 이동패턴 유형별로 각기 특징을 나타내는 자세와 모션, 움직임 정보 등과 횡단보도 보행 시간 정보 및, MOT에 의한 객체의 움직임 좌표 분포 정보를 구한다.
그리고, 이를 통해 이동패턴 유형별로 횡단보도 보행을 위한 신호등 지연시간을 산출하기 위한 독립변수(이동패턴 유형별로의 신호등 지연시간. 이 경우에, 일반적인 신호등 온 시간과의 차이로 구함) 및 종속변수(자세와 모션, 움직임 정보 등과 MOT에 의한 객체의 움직임 좌표 분포 정보)를 설정한다.
d) 따라서, 이를 통해 이러한 설정 정보로 학습 및 훈련 데이터를 구성하여 위의 포맷을 구성한다.
그래서, 이에 따라 실시예에서는 횡단보도를 보행하는 이동패턴 유형을 확인하고, 확인한 이동패턴 유형과 아래의 포맷에 따른 특정 이동패턴 유형을 비교하여, 어떠한 특정 이동패턴 유형에 속하는지 알아낸다.
이를 통해, 그 유형에 대응하는 신호등 온 시간만큼 신호등 온 시간을 길게하도록 제어한다.
한편, 추가적으로 이러한 시스템은 아래의 구성을 더 포함하기도 한다.
구체적으로는, 상기 제어부에서 아래의 동작을 수행한다.
먼저, 상기 제어부는 상기한 객체를 추출하는 단계에서, 객체를 추출할 경우마다 교통약자의 객체 부분을 추출한다.
그리고 나서, 이렇게 추출된 교통약자의 객체에 관한 자세와 모션 움직임을 포함하여 교통약자의 객체에 관한 이동패턴 유형을 확인한다.
다음으로 상기 확인된 이동패턴 유형과, 제 2 포맷에 따른 특정 이동패턴 유형을 비교하고, 어떠한 이동패턴 유형에 속하는지 파악한다.
그래서, 상기 해당 이동패턴 유형에 대응한 신호등 시간 제어신호를 상이하게 제공한다.
이러한 경우, 상기 제 2 포맷은 아래와 같다.
a) 즉, 영상신호로부터 다수의 상이한 교통약자 유형별로의 이동패턴 유형마다 자세와 모션, 움직임 정보를 분류한다.
그리고 또한, 실제 상황을 반영하도록, 각각의 이동패턴 유형별로 횡단보도 상 또는, 주변에서 활동영역을 특정해서, 활동영역에 해당하는 화면에서 MOT에 의한 교통약자의 움직임 좌표 분포 정보를 이동패턴 유형별로 분류한다.
그래서, 각각의 이동패턴 유형별로 각각 자세와 모션, 움직임 정보, 움직임 좌표 분포를 조합, 학습함으로써, 특정 이동패턴이 도출되는 포맷이 정의된다.
b) 다음, 상기 각각의 이동패턴 유형별로의 자세와 모션, 움직임 정보에 대한 데이터셋과, 또한 상기 MOT에 의한 교통약자의 움직임 좌표 분포 정보에 대한 데이터 셋이 각각 추출된다.
그리고, 상기 각각의 데이터셋에서 각각의 이동패턴 유형별로 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 교통약자의 움직임 좌표 분포 정보를 검출함으로써, 각각의 정보에 대한 속성이 결정된다.
c) 그래서, 상기 속성이 결정된 정보를 정규화해서, 상이한 이동패턴 유형별로 각각 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 객체(보행자와 차량)의 움직임 좌표 분포 정보를 구한다.
다음 상기 각각의 이동패턴 유형별로 각각의 특징을 나타내는 이동패턴을 산출하기 위한 독립변수(이동패턴 유형별로의 특징을 나타내는 특정 이동패턴) 및 종속변수(자세와 모션, 움직임 정보 등과 MOT에 의한 객체의 움직임 좌표 분포 정보)를 설정한다.
d) 그래서, 상기 설정된 자세와 모션, 움직임 정보 및 객체의 움직임 좌표 분포 정보로 학습 및 훈련 데이터를 구성하여 만들어진다.
추가적으로 다른 구성은 아래와 같기도 하다.
예를 들어, 먼저 상기 제어부는 횡단보도 설치장소 유형이 우범영역인 경우에는, 전술한 영상감시장치를 통하여 횡단보도 영역부 감시영상을 수집한다.
그리고 나서 전술한 감시 영상 내 객체를 추출한다.
다음, 객체별로 다수의 상이한 우범영역 유형마다의 이동패턴 유형을 분석한다.
그래서, 상기 분석된 이동패턴 유형과, 제 3 포맷에 따른 특정 이동패턴 유형을 비교하고, 어떠한 이동패턴 유형에 속하는지 파악한다.
그리고, 상기 해당 이동패턴 유형에 대응한 신호등 시간 제어신호를 상이하게 제공한다.
이러한 경우에 상기 제 3 포맷은 마찬가지 방식으로 아래와 같기도 하다.
a) 즉, 영상신호로부터 다수의 상이한 차량과 보행자 유형별로의 이동패턴 유형마다 자세와 모션, 움직임 정보를 상이한 우범영역마다 유형으로 분류한다.
그리고 실제 상황을 반영하도록, 각각의 이동패턴 유형별로 횡단보도 상 또는, 주변에서 활동영역을 특정해서, 활동영역에 해당하는 화면에서 MOT에 의한 객체(차량과 보행자)의 움직임 좌표 분포 정보를 이동패턴별로 분류한다.
그래서, 각각의 이동패턴 유형별로 각각 자세와 모션, 움직임 정보, 움직임 좌표 분포를 조합, 학습함으로써, 특정 이동패턴 유형이 도출되는 포맷이 정의된다.
b) 다음, 상기 각각의 이동패턴 유형별로의 자세와 모션, 움직임 정보에 대한 데이터셋과, 또한 상기 MOT에 의한 객체의 움직임 좌표 분포 정보에 대한 데이터 셋이 각각 추출된다.
그리고, 상기 각각의 데이터셋에서 각각의 이동패턴 유형별로 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 객체의 움직임 좌표 분포 정보를 검출함으로써, 각각의 정보에 대한 속성이 결정된다.
c) 그래서, 상기 속성이 결정된 정보를 정규화해서, 상이한 이동패턴 유형별로 각각 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 객체(차량)의 움직임 좌표 분포 정보를 구한다.
그래서, 이를 통해 상기 각각의 이동패턴 유형별로 각각의 특징을 나타내는 이동패턴을 우범영역마다 산출하기 위한 독립변수(이동패턴 유형별로의 특징을 나타내는 특정 이동패턴) 및 종속변수(자세와 모션, 움직임 정보 등과 MOT에 의한 객체의 움직임 좌표 분포 정보)를 설정한다.
d) 그리고, 상기 설정된 자세와 모션, 움직임 정보 및 객체의 움직임 좌표 분포 정보로 학습 및 훈련 데이터를 구성한다.
한편, 더 나아가서 이러한 경우에 추가적으로 아래의 예로 만들어지기도 한다.
예를 들어, 횡단보도 주변에 안전유도블록모듈을 설치한 경우이다.
즉, 기존에는 횡단보도 주변을 살펴볼 경우에, 센서기반으로 보행자의 움직임을 찾는 정도의 수준에 머물러 있어서 실제로 보행자의 위험한 상황을 파악하기가 조금은 쉽지 않을 수 있기도 하다. 또한, 아울러 보행을 할 경우에 횡단보도 앞에서 미리 안전한 상황을 통해 보행하도록 할 수 있기도 할 것이다.
이를 위해, 횡단보도 주변에 있는 영상장치에 의해 촬영된 영상신호와 압전블록 등을 같이 이용하여 교통 위반 차량과 보행 등에 대한 안전 정보를 안전유도보도블록을 통해 제공함으로써 교통사고 등을 사전에 방지한다.
구체적으로는, 첫 번째 예로 아래와 같다.
먼저, 이러한 첫 번째 예는 횡단보도 주변에 볼라드와 음성, 조명, 점자블록, 압전센서를 가진 압전블록 등을 단일 또는 조합하여 주간시 보행자의 안전한 보행을 안내하고, 야간시에는 보행자의 안전한 보행과 함께 차량의 안전사고 등을 방지하도록 한다.
예를 들어, 다수개의 점자블록으로 이루어지는 블록체와 압전센서를 가진 압전블록, 조명체가 구비된 볼라드 등을 포함한다.
그래서, 이를 통해 아래의 동작을 수행한다.
즉, 교통신호 제어기부터 신호등 제어 신호를 수신하는 단계가 수행된다. 이후 신호등이 보행가능 신호인지를 판별하는 단계가 수행되는데, 여기에서 만약 보행 가능신호일 경우 즉 보행자 신호로 판별되는 경우 해당 카메라로부터 입력된 영상신호에서 영상신호가 객체(차량) 식별 가능신호인지를 판단하는 단계가 수행되는데 이는 미리 설정된 데이터를 기준으로 비교하여 결론이 얻어진다. 또한, 횡단보도 주변에 압전블록모듈로부터 감지된 신호에서 보행자위치가능신호가 보행자 위치 가능신호인지를 판단하는 단계(미도시)가 수행되는데 위와 동일한 방식으로 결론이 얻어진다.
여기에서 만약 차량 관련 영상이 아니라고 판단되면 사실상 차량 영상신호로 구별할 수조차 없는 상황인 우천 또는 심한 안개 상황이라고 판단하고 단순히 다가오는 차량에 대한 경고와 알람을 수행하는 단계가 수행된다.
또한, 아울러 보행자를 감지한 이러한 상황에서는 인근에 보행자에 대한 경고와 알람을 수행하는 단계도 수행된다.
구체적으로는, 상기 안전유도블록모듈을 통해 다가오는 객체(차량)에 대해 다수의 상이한 횡단보도 설치장소 유형별로의 설정 제 1 색상과 밝기, 점멸속도로 발광을 한다. 이에 더하여, 이러한 식별 가능하지 않은 영상신호가 설정 임계 식별 가능하지 않은 신호보다 즉, 식별이 상당히 어려운 상황에서 그 미만인 경우에는 상기 안전유도블록모듈을 통해 횡단보도 설치장소 유형별로의 설정 제 1 색상과 밝기로 지속적으로 발광을 한다. 반면에 이상인 경우에는 발광을 하지 않는다.
반면에, 식별가능 한 영상신호와 보행자감지신호임이 확인되면 정지선을 침범하는 객체(차량)를 검출하고 상기 안전유도블록모듈을 통해 횡단보도 설치장소 유형별로의 설정 제 2 색상과 밝기, 점멸속도로 발광하고, 또한 상기 보행가능 신호인지를 판단하는 단계에서 보행신호가 아님이 확인되면 횡단보도를 향해 달려오는 객체(차량)에 대해 속도 측정을 한 후에 미리 설정된 규정속도 이상인 경우 상기 안전유도블록모듈을 통해 횡단보도 설치장소 유형별로의 설정 제 3 색상과 밝기, 점멸속도로 발광시킨다.
식별가능 한 영상신호 내에 설정 위험 객체가 확인되면 횡단보도 설치장소 유형별로의 설정 제 1 색상과 밝기로 발광을 하고 확인되지 않으면 발광을 하지 않고, 횡단보도 설치장소 유형이 우범영역인 경우에는 관리자 설정정보에 따라 맞춤형으로 설정 제 1 색상과 밝기로 발광을 하고 확인되지 않으면 발광을 하지 않는다.
다음 이러한 상태에서, 먼저, 첫 번째 예는 전술한 바와 같은 영상 신호를 수집한 경우, 객체를 추출할 경우마다 교통약자의 객체 부분을 추출한다.
그래서, 추출된 교통약자의 객체에 관한 자세와 모션 움직임을 포함하여 교통약자의 객체에 관한 통행패턴 및 이에 따른 유형을 확인한다.
그리고 상기 확인된 통행패턴 및 유형과, 제 2 포맷에 따른 특정 통행패턴 및 유형을 비교하고, 어떠한 통행패턴 및 유형에 속하는지 파악한다.
그래서, 상기 해당 통행패턴 및 유형에 대응한 정보를 상기 안전유도블록모듈을 통해 대응하는 색상과 밝기, 발광시간으로 상이하게 제공한다.
이러한 경우, 상기 제 2 포맷은 아래와 같다.
a) 즉, 먼저 영상신호로부터 다수의 상이한 교통약자 유형별로의 통행패턴 및 유형마다 자세와 모션, 움직임 정보를 분류한다.
그리고 또한, 실제 상황을 반영하도록, 각각의 유형별로 횡단보도 상 또는, 주변에서 활동영역을 특정해서, 활동영역에 해당하는 화면에서 MOT에 의한 교통약자의 움직임 좌표 분포 정보를 위의 통행패턴 및 유형별로 분류한다.
그래서 각각의 통행패턴 및 유형별로 각각 자세와 모션, 움직임 정보, 움직임 좌표 분포를 조합, 학습함으로써, 특정 통행패턴이 도출되는 포맷이 정의된다.
b) 다음, 상기 각각의 통행패턴 및 유형별로의 자세와 모션, 움직임 정보에 대한 데이터셋과, 또한 상기 MOT에 의한 교통약자의 움직임 좌표 분포 정보에 대한 데이터 셋이 각각 추출된다.
그리고, 상기 각각의 데이터셋에서 각각의 통행패턴 및 유형별로 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 교통약자의 움직임 좌표 분포 정보를 검출함으로써, 각각의 정보에 대한 속성이 결정된다.
c) 그래서 상기 속성이 결정된 정보를 정규화해서, 상이한 통행패턴 유형별로 각각 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 객체(보행자와 차량)의 움직임 좌표 분포 정보를 구한다.
그리고 나서, 상기 각각의 통행패턴 유형별로 각각의 특징을 나타내는 통행패턴을 산출하기 위한 독립변수(통행패턴 및 유형별로의 특징을 나타내는 특정 통행패턴) 및 종속변수(자세와 모션, 움직임 정보 등과 MOT에 의한 객체의 움직임 좌표 분포 정보)를 설정한다.
d) 그래서, 이를 통해 상기 설정된 자세와 모션, 움직임 정보 및 객체의 움직임 좌표 분포 정보로 학습 및 훈련 데이터를 구성하여 만들어진다.
따라서, 이를 통해 이러한 예는 보행 가능 신호 여부에 따라 적절한 안전 정보인 안전유도정보를 생성하여 우천 시나 기타 안개 등의 방해로 인하여 전방 시각이 불투명할 경우에도 횡단보도를 향하여 과속하는 차량과 횡단보도 주변의 보행자 등에 대해서도 적절히 대처한다.
다음, 두 번째 예로는 아래와 같다.
먼저, 두 번째 예는 횡단보도 설치장소 유형이 우범영역인 경우에 있어서, 관리자 설정정보에 따라 맞춤형으로 상기 안전유도블록모듈을 통하여 발광을 할 경우, 전술한 영상감시장치를 통하여 횡단보도 영역부 감시영상을 수집한다.
그리고, 전술한 감시 영상 내 객체(OBJECT, 보행자와 차량)를 추출한다.
다음으로 객체(보행자와 차량)별로 통행 패턴 및 유형을 분석한다.
그래서, 상기 분석된 통행패턴 및 유형과, 제 3 포맷에 따른 특정 통행패턴 및 유형을 비교하고, 어떠한 통행패턴 및 유형에 속하는지 파악한다.
이에 따라, 상기 해당 통행패턴 및 유형에 대응한 정보를 상기 안전유도블록모듈을 통해 대응하는 색상으로 상이하게 제공한다.
그리고, 이를 위해 상기 제 3 포맷은 아래와 같다.
a) 먼저, 전술한 바와 같이, 영상신호로부터 다수의 상이한 차량과 보행자 유형별로의 통행패턴 및 유형마다 자세와 모션, 움직임 정보를 분류한다.
그리고 또한, 실제 상황을 반영하도록, 각각의 유형별로 횡단보도 상 또는, 주변에서 활동영역을 특정해서, 활동영역에 해당하는 화면에서 MOT에 의한 객체(차량과 보행자)의 움직임 좌표 분포 정보를 위의 통행패턴 및 유형별로 분류한다.
아울러, 각각의 통행패턴 및 유형별로 각각 자세와 모션, 움직임 정보, 움직임 좌표 분포를 조합, 학습함으로써, 특정 통행패턴이 도출되는 포맷이 정의된다.
b) 그리고 나서, 상기 각각의 통행패턴 및 유형별로의 자세와 모션, 움직임 정보에 대한 데이터셋과, 또한 상기 MOT에 의한 객체(차량)의 움직임 좌표 분포 정보에 대한 데이터 셋이 각각 추출된다.
상기 각각의 데이터셋에서 각각의 통행패턴 및 유형별로 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 객체(차량)의 움직임 좌표 분포 정보를 검출함으로써, 각각의 정보에 대한 속성이 결정된다.
c) 그래서, 상기 속성이 결정된 정보를 정규화해서, 상이한 통행패턴 유형별로 각각 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 객체(차량)의 움직임 좌표 분포 정보를 구한다.
다음에, 상기 각각의 통행패턴 유형별로 각각의 특징을 나타내는 통행패턴을 산출하기 위한 독립변수(통행패턴 및 유형별로의 특징을 나타내는 특정 통행패턴) 및 종속변수(자세와 모션, 움직임 정보 등과 MOT에 의한 객체의 움직임 좌표 분포 정보)를 설정한다.
d) 그래서, 이를 통해 상기 설정된 자세와 모션, 움직임 정보 및 객체의 움직임 좌표 분포 정보로 학습 및 훈련 데이터를 구성하여 만들어진다.
따라서, 이를 통해 교통신호 제어기로부터 제공된 신호등 제어 신호를 기초로 신호등에 현재 표시된 현재 교통신호가 보행 가능 신호인지를 판단한다. 그리고, 이어서 카메라로부터 제공된 영상신호가 식별 가능한 신호인지를 판단하고 식별이 불가능할 경우 다가오는 객체(차량) 차량에 대한 안전 경고정보를 제공한다.
또한 식별이 가능한 경우에는 보행 가능 신호 여부에 따라 적절한 안전 정보인 안전유도정보를 생성하여 우천 시나 기타 안개 등의 방해로 인하여 전방 시각이 불투명할 경우에도 횡단보도를 향하여 과속하는 차량과 횡단보도 주변의 보행자 등에 대해서도 적절히 대처할 수 있다. 아울러서 특정된 보행자가 보행에 주의하도록 유도하여 직접적으로 통제할 수 있으므로, 이러한 정지선 위반이나 과속 등으로 인한 횡단보도에서의 사고가 우려되는 보행자 등에 대한 직접적인 통제를 통해 교통사고를 효과적으로 사전에 방지할 수 있는 효과가 있다.
다른 한편으로는, 이러한 실시예에서는 이렇게 영상을 통해 객체를 확인할 경우에, 아래의 구성으로부터 객체를 추출함으로써, 실제 상황에 적합하게 객체를 추출하여 분석 정확도 등을 높이기도 한다.
구체적으로는, 이러한 구성은 아래와 같다.
먼저 횡단보도 영역 상의 감시영상을 입력받을 경우에, 감시영상을 누적해서 배경 파트를 생성한다.
다음, 이러한 배경 파트를 기준으로 미리 설정된 차이값보다 초과하는 화소를 산출한다.
그래서 이러한 차이값이 임계치 이상인 화소영역을 전경 파트로 획득한다.
그래서, 이를 통해 이러한 전경 파트의 노이즈를 모폴로지 필터를 통해 삭제한다.
그리고, 노이즈를 제거한 전경 파트에서 다수의 상이한 객체별로 부분 윤곽을 영상분포도에 의해서 추출한다.
그리고 나서, 추출한 객체의 부분 윤곽에서, 미리 설정된 최소 크기 이하의 영역을 인접한 영역과 결합하여 객체의 서브 바디를 구성한다.
다음, 이렇게 나온 객체의 서브 바디를 설정 감시 객체의 서브 바디패턴과 비교해서, 현재 감시 객체에 해당하는 객체의 서브 바디를 전부 일괄 추출한다.
그래서, 감시 객체에 해당하는 객체의 서브 바디를 추출한 경우에, 각각의 객체 서브 바디로부터 객체의 전체 크기와 위치를 상이한 객체의 서브 바디별로 추정하는 설정 포맷(YORO 방식 활용함)에 의해서 현재 객체의 전체 크기와 위치를 추정한다.
그리고 나서, 이러한 객체로 자세와 모션, 움직임 정보 등과 MOT에 의한 객체의 움직임 좌표 분포 정보를 확인하여 이동패턴 유형을 구한다.
따라서, 이를 통해 실시예에서는 전술한 바와 같은 방식으로 영상을 통해 객체를 확인할 경우에, 아래의 구성으로부터 객체를 추출함으로써, 실제 상황에 적합하게 객체를 추출하여 분석 정확도 등을 높이기도 한다.
한편으로, 이러한 경우에 실시예에서는 전술한 MOT에 연동하여 객체의 이상 여부를 확인하여 알림을 할 수 있도록 하기도 한다.
예를 들어, 실시예에서는 MOT에 의한 영상 분포도를 활용하여, 이러한 영상 분포도에 의해(객체의 전체 크기와 위치를 추정할 경우에 객체의 영상 분포도) 설정 이상 객체 영상분포도와 비교한다.
그래서, 상기 비교 결과, 이러한 영상 분포도와 설정 이상 객체 영상분포도의 차이값이 설정 차이값보다 이상인 경우에 메시지를 전하거나 화면으로 표시하고, 설정 차이값보다 미만인 경우에는 그렇지 아니한다.
이상과 같이 본 발명에 의한 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템을 제공하고자 하는 것을 주요한 기술적 사상으로 하고 있으며, 도면을 참고하여 상술한 실시예는 단지 하나의 실시예에 불과하고, 본 발명의 진정한 권리 범위는 특허 청구범위를 기준으로 하되, 다양하게 존재할 수 있는 균등한 실시예에도 미친다 할 것이다.
100-1; 영상감지장치 100-2; 조작 패널
300; 횡단 보도 서비스 제공서버
301; I/F 부 302; 제어부
303; 유형별 이동 패턴 데이터 베이스 304; 신호표시부
305;키신호 입력부 400; 로컬 교통신호제어기
500; 횡단보도 대기 경계부

Claims (3)

  1. 횡단보도에서 인도까지의 횡단보도 영역 및 상기 횡단보도 양단에서 인도측으로 향하는 구간 내 신호대기자가 대기하는 신호대기 영역을 촬영하고, 상기 횡단보도 영역 및 신호대기 영역에서 횡단보도 내 보행자의 횡단 여부 및 상기 신호대기 영역에서 대기자의 신호대기 여부를 감지하는 다수의 카메라를 구비한 영상감지장치(100);
    횡단보도에 설치된 신호등을 제어하는 교통신호제어기(400);
    횡단보도 양단에 설치된 긴급 버튼 또는, 조작 패널; 및
    상기 횡단보도에 대응되는 신호등을 제어하는 교통 신호 제어기로부터 신호등 제어신호를 수신하여, 현재 교통신호가 횡단보도의 보행가능신호인지를 식별하고, 상기 영상감지장치를 통해 수신된 영상에 대한 영상 분석을 통해, 영상이 전체적으로 동일하게 뿌옇지 않은 상태를 포함한 식별 가능한 신호인지를 판단하고, 식별 가능한 신호일 경우, 정상 신호등 시간 제어신호를 발생하고, 영상이 전체적으로 동일하게 뿌연 상태를 포함한 식별 가능한 신호가 아닐 경우에는 제 1 비상 신호등 시간 제어신호를 발생하도록 제어하고, 식별 가능하지 않은 신호가 임계치보다 높은 경우에는 제 1 비상 신호등 시간 제어신호로 유지하도록 제어하고, 식별 가능하지 않은 신호가 임계치보다 낮은 경우에는 제 2 비상 신호등 시간 제어신호를 발생하도록 제어하며,
    상기 정상 신호등 시간 제어신호 또는, 제 1 비상 신호등 시간 제어신호를 발생한 경우, 상기 긴급 버튼 또는 조작 패널에서 누름 신호를 보행자 키 조작에 따라 입력받아, 정상 신호등 시간 범위 또는, 제 1 비상 신호등 시간 범위 내에서 각 누름 신호의 압력 크기별로와 횡단보도 설치 장소별로 각기 대응하여 신호등 시간을 상이하게 조정하고, 상기 제 2 비상 신호등 시간 제어신호를 발생한 경우에는, 상기 긴급 버튼 또는 조작 패널에서 누름 신호를 보행자 키 조작에 따라 입력받아, 제 2 비상 신호등 시간 범위 내에서 누름 신호의 압력 크기에 대한 배수에 해당하는 값별로와 횡단보도 설치 장소별로 각기 대응하여 신호등 시간을 상이하게 조정하며,
    상기 정상 신호등 시간 제어신호를 발생한 경우, 상기 적어도 하나의 영상감지장치로부터 수집된 보행자, 대기자 및 차량이 포함된 횡단보도 영역 및 신호대기 영역의 영상 데이터를 수집하고, 상기 수집된 영상 데이터 내에서 상기 보행자, 대기자 및 차량을 추출하고, 상기 보행자, 대기자 및 차량의 이동 패턴 유형을 딥러닝 알고리즘으로 분석하고, 분석된 이동 패턴 유형에 대해 딥러닝 알고리즘에 기초하여 인공 지능 학습을 수행하여 대응하는 제어신호를 발생하는 제어부를 포함하는 제어 모듈(300); 을 포함하고,

    상기 제어부는,
    상기 보행자, 대기자 및 차량의 이동 패턴 유형에 대응하는 제어신호를 발생할 경우에는, 횡단보도 영역부 감시영상을 전술한 영상감시장치를 통하여 수집하는 단계;
    전술한 감시 영상 내 객체(OBJECT)를 추출하는 단계;
    객체별로 이동패턴 유형을 분석하는 단계;
    이동패턴 유형을 포맷에 따른 특정 이동패턴 유형과 비교하고, 어떠한 이동패턴 유형에 속하는지 파악하는 단계; 및
    해당 이동패턴 유형에 대응한 신호등 시간 제어신호를 발생하는 단계;를 수행하고,
    상기 포맷은,
    a) 다수의 상이한 이동패턴 유형별로 자세와 모션, 움직임 정보, 횡단보도 보행 시간 정보를 분류하고,
    실제 상황을 반영하도록, 각각의 이동패턴 유형별로 횡단보도 상에서 활동영역을 특정해서, 활동영역에 해당하는 화면에서 MOT(Multi Object Tracking)에 의한 객체의 움직임 좌표 분포 정보를 이동패턴 유형별로 분류하며,
    각각의 이동패턴 유형별로 각기 자세와 모션, 움직임 정보, 움직임 좌표 분포를 조합, 학습함으로써, 특정 이동패턴 유형을 도출하는 포맷을 정의하고,
    b) 각각의 이동패턴 유형별로의 자세와 모션, 움직임 정보, 횡단보도 보행 시간 정보에 대한 데이터셋과, 또한 MOT에 의한 객체의 움직임 좌표 분포 정보에 대한 데이터셋을 각기 추출하고,
    c) 해당하는 데이터셋에서 각각의 이동패턴 유형별로 특징을 나타내는 자세와 모션, 움직임 정보, 횡단보도 보행 시간 정보 및, MOT에 의한 객체의 움직임 좌표 분포 정보를 검출함으로써, 각각의 정보에 대한 속성을 결정하고,
    d) 상기 결정한 정보를 정규화해서, 상이한 이동패턴 유형별로 각기 특징을 나타내는 자세와 모션, 움직임 정보, 횡단보도 보행 시간 정보 및, MOT에 의한 객체의 움직임 좌표 분포 정보를 구해서,
    이동패턴 유형별로 횡단보도 보행을 위한 신호등 지연시간을 산출하기 위한 독립변수(이동패턴 유형별로의 신호등 지연시간. 이 경우에, 일반적인 신호등 온 시간과의 차이로 구함) 및 종속변수(자세와 모션, 움직임 정보, MOT에 의한 객체의 움직임 좌표 분포 정보)를 설정하고,
    d) 상기 설정한 정보로 학습 및 훈련 데이터를 구성하여 포맷을 구성하는 것;을 특징으로 하는 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템.

  2. 청구항 1에 있어서,
    상기 제어부는,
    상기 객체를 추출하는 단계에서, 객체를 추출할 경우마다 교통약자의 객체 부분을 추출하는 단계;
    추출된 교통약자의 객체에 관한 자세와 모션 움직임을 포함하여 교통약자의 객체에 관한 이동패턴 유형을 확인하는 단계;
    상기 확인된 이동패턴 유형과, 제 2 포맷에 따른 특정 이동패턴 유형을 비교하고, 어떠한 이동패턴 유형에 속하는지 파악하는 단계; 및
    상기 해당 이동패턴 유형에 대응한 신호등 시간 제어신호를 상이하게 제공하는 단계;를 수행하고,
    상기 제 2 포맷은,
    a) 영상신호로부터 다수의 상이한 교통약자 유형별로의 이동패턴 유형마다 자세와 모션, 움직임 정보를 분류하고,
    그리고 또한, 실제 상황을 반영하도록, 각각의 이동패턴 유형별로 횡단보도 상 또는, 주변에서 활동영역을 특정해서, 활동영역에 해당하는 화면에서 MOT에 의한 교통약자의 움직임 좌표 분포 정보를 이동패턴 유형별로 분류해서,
    각각의 이동패턴 유형별로 각각 자세와 모션, 움직임 정보, 움직임 좌표 분포를 조합, 학습함으로써, 특정 이동패턴이 도출되는 포맷이 정의되며,

    b) 상기 각각의 이동패턴 유형별로의 자세와 모션, 움직임 정보에 대한 데이터셋과, 또한 상기 MOT에 의한 교통약자의 움직임 좌표 분포 정보에 대한 데이터 셋이 각각 추출되고,
    상기 각각의 데이터셋에서 각각의 이동패턴 유형별로 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 교통약자의 움직임 좌표 분포 정보를 검출함으로써, 각각의 정보에 대한 속성이 결정되고,

    c) 상기 속성이 결정된 정보를 정규화해서, 상이한 이동패턴 유형별로 각각 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 객체(보행자와 차량)의 움직임 좌표 분포 정보를 구한 다음,
    상기 각각의 이동패턴 유형별로 각각의 특징을 나타내는 이동패턴 유형을 산출하기 위한 독립변수(특정 이동패턴 유형) 및 종속변수(자세와 모션, 움직임 정보 등과 MOT에 의한 객체의 움직임 좌표 분포 정보)를 설정함으로써,

    d) 상기 설정된 자세와 모션, 움직임 정보 및 객체의 움직임 좌표 분포 정보로 학습 및 훈련 데이터를 구성하여 만들어지며,

    상기 제어부는,
    횡단보도 설치장소 유형이 우범영역인 경우에는, 전술한 영상감시장치를 통하여 횡단보도 영역부 감시영상을 수집하는 단계;
    전술한 감시 영상 내 객체를 추출하는 단계;
    객체별로 다수의 상이한 우범영역, 유형마다의 이동패턴 유형을 분석하는 단계;
    상기 분석된 이동패턴 유형과, 제 3 포맷에 따른 특정 이동패턴 유형을 비교하고, 어떠한 이동패턴 유형에 속하는지 파악하는 단계; 및
    상기 해당 이동패턴 유형에 대응한 신호등 시간 제어신호를 상이하게 제공하는 단계;를 수행하고,
    상기 제 3 포맷은,
    a) 영상신호로부터 다수의 상이한 차량과 보행자, 유형별로의 이동패턴 유형마다 자세와 모션, 움직임 정보를 상이한 우범영역 유형으로 분류하고,
    실제 상황을 반영하도록, 각각의 이동패턴 유형별로 횡단보도 상 또는, 주변에서 활동영역을 특정해서, 활동영역에 해당하는 화면에서 MOT에 의한 객체(차량과 보행자)의 움직임 좌표 분포 정보를 이동패턴 유형별로 분류해서,
    각각의 이동패턴 유형별로 각각 자세와 모션, 움직임 정보, 움직임 좌표 분포를 조합, 학습함으로써, 특정 이동패턴 유형이 도출되는 포맷이 정의되며,

    b) 상기 각각의 이동패턴 유형별로의 자세와 모션, 움직임 정보에 대한 데이터셋과, 또한 상기 MOT에 의한 객체의 움직임 좌표 분포 정보에 대한 데이터 셋이 각각 추출되고,
    상기 각각의 데이터셋에서 각각의 이동패턴 유형별로 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 객체의 움직임 좌표 분포 정보를 검출함으로써, 각각의 정보에 대한 속성이 결정되고,

    c) 상기 속성이 결정된 정보를 정규화해서, 상이한 이동패턴 유형별로 각각 특징을 나타내는 자세와 모션, 움직임 정보 등과 MOT에 의한 객체(차량)의 움직임 좌표 분포 정보를 구한 다음,
    상기 각각의 이동패턴 유형별로 각각의 특징을 나타내는 이동패턴 유형을 우범영역마다 산출하기 위한 독립변수(특정 이동패턴 유형) 및 종속변수(자세와 모션, 움직임 정보 등과 MOT에 의한 객체의 움직임 좌표 분포 정보)를 설정함으로써,

    d) 상기 설정된 자세와 모션, 움직임 정보 및 객체의 움직임 좌표 분포 정보로 학습 및 훈련 데이터를 구성하여 만들어지는 것;을 특징으로 하는 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템.

  3. 청구항 2에 있어서, 상기 제어부는,
    복수의 카메라 중 근거리를 촬영하는 카메라를 통하여 전달된 영상신호를 수집하는 단계;
    신호등 제어신호를 수신하는 단계;
    상기 신호등 제어신호를 수신하는 단계를 수행한 후 객체 식별 가능한지를 판단하는 단계; 및
    상기 객체 식별 가능한지를 판단하는 단계에서 식별 가능한 객체의 신호일 경우, 정상 신호등 시간 제어신호를 발생하고, 식별 가능한 신호가 아닐 경우에는 비상 신호등 시간 제어신호를 발생하도록 제어하는 단계;를 포함하는 것을 특징으로 하는 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템.


KR1020220038282A 2022-03-28 2022-03-28 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템 KR102430569B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220038282A KR102430569B1 (ko) 2022-03-28 2022-03-28 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220038282A KR102430569B1 (ko) 2022-03-28 2022-03-28 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템

Publications (1)

Publication Number Publication Date
KR102430569B1 true KR102430569B1 (ko) 2022-08-08

Family

ID=82845430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220038282A KR102430569B1 (ko) 2022-03-28 2022-03-28 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템

Country Status (1)

Country Link
KR (1) KR102430569B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980058326U (ko) * 1997-02-21 1998-10-26 김성택 교통신호등의 보행자 신호 수동제어장치
KR20130014704A (ko) * 2011-07-30 2013-02-08 윤경호 스쿨존 횡단보도의 보행자 보호용 차단장치 제어 시스템 및 그 방법
KR20180058891A (ko) * 2016-11-24 2018-06-04 (주)서돌전자통신 교통신호 제어기의 신호등 고장 진단 시스템
JP2019175596A (ja) 2018-03-27 2019-10-10 東邦瓦斯株式会社 固体酸化物形燃料電池および流量調節部材
KR102215566B1 (ko) * 2020-05-25 2021-02-15 주식회사 핀텔 스마트 안전 횡단보도 서비스 제공 시스템
KR102356738B1 (ko) * 2021-09-01 2022-02-08 주식회사 필립트론 Ai를 적용한 보행신호 자동 연장시스템 및 그 시스템에 적용되는 바닥형 보행신호등

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980058326U (ko) * 1997-02-21 1998-10-26 김성택 교통신호등의 보행자 신호 수동제어장치
KR20130014704A (ko) * 2011-07-30 2013-02-08 윤경호 스쿨존 횡단보도의 보행자 보호용 차단장치 제어 시스템 및 그 방법
KR20180058891A (ko) * 2016-11-24 2018-06-04 (주)서돌전자통신 교통신호 제어기의 신호등 고장 진단 시스템
JP2019175596A (ja) 2018-03-27 2019-10-10 東邦瓦斯株式会社 固体酸化物形燃料電池および流量調節部材
KR102215566B1 (ko) * 2020-05-25 2021-02-15 주식회사 핀텔 스마트 안전 횡단보도 서비스 제공 시스템
KR102356738B1 (ko) * 2021-09-01 2022-02-08 주식회사 필립트론 Ai를 적용한 보행신호 자동 연장시스템 및 그 시스템에 적용되는 바닥형 보행신호등

Similar Documents

Publication Publication Date Title
US20150084791A1 (en) Apparatus and method for managing safety of pedestrian at crosswalk
KR101737803B1 (ko) 객체 정보 수집 장치 및 그 방법
KR101385525B1 (ko) 스쿨존 안전통행 시스템
KR20190046317A (ko) 보행안전시스템
KR102211552B1 (ko) 역주행 방지 방법 및 장치
KR102050064B1 (ko) 횡단 보도 보행자 안전시스템
KR102107791B1 (ko) 어린이 보호구역의 안전속도준수 제어시스템
KR102159144B1 (ko) 보행신호등 주변의 위반차량 무인단속시스템
KR20190090221A (ko) 지능형 안전 장치
KR102426517B1 (ko) 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치
KR102499340B1 (ko) 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법
KR20210001548A (ko) 영상기반 보행자인식 알고리즘 적용 횡단보도 보행신호 보조시스템
KR102290353B1 (ko) 객체 인식을 이용한 무단횡단 경보 시스템 및 방법
KR20200028081A (ko) 카메라가 구비된 스마트 신호등 시스템
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
KR102430569B1 (ko) 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템
KR102051592B1 (ko) 차량 간 통신을 이용한 보행자 보호 방법 및 이를 위한 블랙박스 장치
KR100661264B1 (ko) 열화상카메라를 이용한 철도건널목 위험 방지시스템
JP6016411B2 (ja) 進入者検知システム、進入者検知方法、および進入者検知プログラム
KR102485997B1 (ko) 위반 정보를 제공하기 위한 교통 제어 시스템 및 그에 관한 방법
KR100967456B1 (ko) 철도건널목 지장물 영상 검지장치 및 그 제어방법
KR100699596B1 (ko) 철도 건널목 돌발상황 자동감지 영상처리경보장치
KR102039404B1 (ko) 영상 감시 시스템 및 그 방법
KR101936004B1 (ko) 지능형 보행자 검출 방법
KR101867869B1 (ko) 가로등 기반 재난 대응 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant