KR102021534B1 - 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법 - Google Patents

딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법 Download PDF

Info

Publication number
KR102021534B1
KR102021534B1 KR1020180102070A KR20180102070A KR102021534B1 KR 102021534 B1 KR102021534 B1 KR 102021534B1 KR 1020180102070 A KR1020180102070 A KR 1020180102070A KR 20180102070 A KR20180102070 A KR 20180102070A KR 102021534 B1 KR102021534 B1 KR 102021534B1
Authority
KR
South Korea
Prior art keywords
traffic light
vehicle
pedestrian
signal
image
Prior art date
Application number
KR1020180102070A
Other languages
English (en)
Inventor
김동기
정성기
박종화
강혜영
Original Assignee
주식회사 핀텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핀텔 filed Critical 주식회사 핀텔
Priority to KR1020180102070A priority Critical patent/KR102021534B1/ko
Priority to PCT/KR2018/011830 priority patent/WO2020045731A1/ko
Application granted granted Critical
Publication of KR102021534B1 publication Critical patent/KR102021534B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/075—Ramp control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법을 개시한다. 즉, 본 발명은 영상에서 검출된 사람의 횡단 보도로의 보행 의사를 확인한 후, 확인된 보행 의사에 따라 신호등의 동작을 제어함으로써, 어린이, 고령자, 장애인 등의 횡단보도 보행 교통 약자에 의한 사고 발생을 방지하며, 횡단보도에서의 안정성을 향상시키고, 농로 및 이면도로에서의 빈번한 신호 체계로 장시간 대기 중인 교통 약자에게 안전한 도로 주행을 유도하며, 교통 약자의 편의성을 향상시킬 수 있다.

Description

딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법{Image analysis apparatus for sensing vehicle and pedestrian based on deep learning and method thereof}
본 발명은 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법에 관한 것으로, 특히 영상에서 검출된 사람 또는 차량에 대한 보행 의사 또는 지방부 도로에서의 차량의 진입 의사를 확인한 후, 보행 의사 또는 진입 의사에 따라 신호등의 동작의 제어하는 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법에 관한 것이다.
교통 신호 시스템은 도로에 형성된 횡단보도를 이용하는 보행자를 위한 보행자 신호등, 차량의 정차나 주행을 제어하기 위한 차량 신호등으로 구성되며, 보행자 신호등, 차량 신호등에 근접하게 설치된 교통 제어기에 의해서 미리 설정된 시간 간격으로 보행자의 횡단이 가능하도록 신호 체계를 제어하거나 차량의 일시 정지나 주행이 가능하도록 신호 체계를 제어하는 장치이다.
이러한 교통 신호 시스템은 비효율적인 신호 시스템 운영에 의해, 미리 설정된 시간 간격으로 신호등을 제어함에 따라 소도로/지방부 도로 등에서는 신호 대기 시간까지 기다리지 않고 무단 횡단하는 보행자에 의한 횡단 중 사망 사고와, 무단 출발하는 차량에 의한 교통사고 등이 빈번하게 발생하고 있으며, 이로 인해 교통안전에 대한 사회적 격차가 발생하고 있다.
또한, 교통 신호 시스템에 사용되는 시간제 변동 신호기의 경우 지방 도로에 적용 시 비효율성이 있으며, 버튼식 보행자 작동 신호기의 경우 기계적 이해도가 낮은 대상의 사용상 문제가 있으며, 보행자 적외선 감지 신호기의 경우 고비용 시스템으로 인한 상용화에 어려움이 있는 상태이다.
한국공개특허 제10-2016-0110753호
본 발명의 목적은 영상에서 검출된 사람의 횡단 보도로의 보행 의사를 확인한 후, 확인된 보행 의사에 따라 신호등의 동작을 제어하는 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법을 제공하는 데 있다.
본 발명의 다른 목적은 영상에서 검출된 소도로에서 대도로로의 진입 의사 또는 대도로에서 소도로로의 진입 의사를 확인한 후, 확인된 소도로에서 대도로로의 진입 의사 또는 확인된 대도로에서 소도로로의 진입 의사에 따라 신호등의 동작을 제어하는 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치는 신호등이 위치한 횡단보도 및 차량 정지선과 관련해서 미리 설정된 관심 영역에 대한 영상 정보를 획득하는 영상 신호 입력부; 상기 획득된 영상 정보 내에서 딥 러닝 방식에 의해 객체의 존재 유무를 판단하고, 상기 획득된 영상 정보 내에 객체가 포함되고, 상기 객체가 보행자 및 차량 중 적어도 하나일 때, 상기 영상 정보 내의 객체에 대한 고유 식별자를 설정하고, 상기 영상 신호 입력부를 통해 추가로 획득되는 하나 이상의 추가 영상 정보 내에서 상기 설정된 고유 식별자에 대응하는 객체를 추적하는 영상 인식부; 상기 객체가 상기 관심 영역 내에서 미리 설정된 시간 이상 존재할 때, 상기 객체의 보행 의사 또는 진입 의사를 확인하고, 상기 확인된 보행 의사 또는 진입 의사에 따라 상기 객체와 관련한 신호등의 동작 상태를 제어하기 위한 신호등 제어 신호를 생성하고, 상기 생성된 신호등 제어 신호를 전송하는 제어부; 및 상기 신호등 제어 신호를 근거로 상기 객체와 관련한 신호등의 동작 상태를 제어하는 신호 제어기를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 영상 신호 입력부는, 상기 횡단보도에 인접한 신호등과 관련해서 상기 횡단보도 주변의 관심 영역에 대한 영상 정보를 획득하거나, 상기 차량 정지선 주변의 관심 영역에 대한 영상 정보를 획득할 수 있다.
본 발명과 관련된 일 예로서 상기 영상 인식부는, 상기 영상 정보 및 상기 추가로 획득되는 하나 이상의 추가 영상 정보 내의 미리 설정된 관심 영역 내에서 상기 객체를 추적하며, 상기 객체가 관심 영역 밖으로 벗어날 때, 상기 객체에 대한 추적을 종료하며, 상기 객체와 관련한 고유 식별자를 초기화할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 보행자가 상기 횡단보도에 인접하게 설정된 관심 영역 내에서 상기 미리 설정된 시간 이상 머물 때, 상기 보행자가 횡단 보도를 건너기 위해서 신호대기 중인 상태로 판단하고, 보행자의 보행 의사를 확정하며, 상기 차량이 차량 정지선에 인접하게 설정된 관심 영역 내에서 미리 설정된 시간 이상 위치할 때, 상기 차량이 소도로에서 대도로로 또는 대도로에서 소도로로 진입하기 위해서 신호대기 중인 상태로 판단하고, 상기 차량의 진입 의사를 확정할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 차량 정지선에 인접하게 설정된 관심 영역 내에서 획득되는 차량이 포함된 복수의 영상 정보에서 차량에 구비된 좌회전 방향 지시등이 온 상태일 때, 상기 차량이 소도로에서 대도로로 또는 대도로에서 소도로로 진입하기 위해서 신호대기 중인 상태로 판단하고, 상기 차량의 진입 의사를 확정할 수 있다.
본 발명과 관련된 일 예로서 상기 신호 제어기는, 상기 신호등 제어 신호를 근거로 횡단보도에 설치된 보행자 신호등의 동작 상태를 보행대기상태에서 보행상태로 전환할 수 있다.
본 발명과 관련된 일 예로서 상기 신호 제어기는, 상기 신호등 제어 신호를 근거로 소도로에 설치된 차량 신호등의 동작 상태를 대도로로 진입하기 위한 좌회전 신호로 전환하거나 또는, 대도로에 설치된 차량 신호등의 동작 상태를 소도로로 진입하기 위한 좌회전 신호로 전환할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부의 제어에 의해, 상기 객체와 관련한 신호등의 동작 상태가 보행상태로 전환될 때, 상기 신호등과 관련한 횡단보도 방향으로 빛을 발광하는 조명부; 상기 객체와 관련한 신호등의 동작 상태가 보행상태로 전환될 때, 상기 신호등과 관련한 보행 안내 음성 정보를 출력하는 스피커; 및 상기 객체와 관련한 신호등의 동작 상태의 전환에 따라 상기 신호등으로부터 미리 설정된 거리 이내에 위치한 다른 차량 내의 단말로 현재 차선과 관련한 신호 변경 정보를 전송하는 비콘을 더 포함할 수 있다.
본 발명의 실시예에 따른 딥러닝 기반 차량 및 보행자 감지 영상 분석 방법은 영상 신호 입력부에 의해, 신호등이 위치한 횡단보도 및 차량 정지선과 관련해서 미리 설정된 관심 영역에 대한 영상 정보를 획득하는 단계; 영상 인식부에 의해, 상기 획득된 영상 정보 내에서 딥 러닝 방식에 의해 객체의 존재 유무를 판단하는 단계; 상기 영상 인식부에 의해, 상기 획득된 영상 정보 내에 객체가 포함되고, 상기 객체가 보행자 및 차량 중 적어도 하나일 때, 상기 영상 정보 내의 객체에 대한 고유 식별자를 설정하는 단계; 상기 영상 인식부에 의해, 상기 영상 신호 입력부를 통해 추가로 획득되는 하나 이상의 추가 영상 정보 내에서 상기 설정된 고유 식별자에 대응하는 객체를 추적하는 단계; 제어부에 의해, 상기 객체가 상기 관심 영역 내에서 미리 설정된 시간 이상 존재할 때, 상기 객체의 보행 의사 또는 진입 의사를 확인하는 단계; 상기 제어부에 의해, 상기 확인된 보행 의사 또는 진입 의사에 따라 상기 객체와 관련한 신호등의 동작 상태를 제어하기 위한 신호등 제어 신호를 생성하고, 상기 생성된 신호등 제어 신호를 전송하는 단계; 및 신호 제어기에 의해, 상기 신호등 제어 신호를 근거로 상기 객체와 관련한 신호등의 동작 상태를 제어하는 단계를 포함할 수 있다.
본 발명은 영상에서 검출된 사람의 횡단 보도로의 보행 의사를 확인한 후, 확인된 보행 의사에 따라 신호등의 동작을 제어함으로써, 어린이, 고령자, 장애인 등의 횡단보도 보행 교통 약자에 의한 사고 발생을 방지하며, 횡단보도에서의 안정성을 향상시키고, 농로 및 이면도로에서의 빈번한 신호 체계로 장시간 대기 중인 교통 약자에게 안전한 도로 주행을 유도하며, 교통 약자의 편의성을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 영상에서 검출된 소도로에서 대도로로의 진입 의사 또는 대도로에서 소도로로의 진입 의사를 확인한 후, 확인된 소도로에서 대도로로의 진입 의사 또는 확인된 대도로에서 소도로로의 진입 의사에 따라 신호등의 동작을 제어함으로써, 신호대기 중인 차량에 최적의 교통 신호를 출력/제공함에 따라 차량 운전자의 만족도를 높이고, 무단 출발에 따른 교통사고를 예방할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 딥러닝 기반 차량 및 보행자 감지 영상 분석 방법을 나타낸 흐름도이다.
도 3 내지 도 5는 본 발명의 실시예에 따른 영상 신호의 예를 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치(10)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치(10)는 영상 신호 입력부(100), 영상 인식부(200), 제어부(300), 통신부(400), 신호 제어기(500) 및 신호등(600)으로 구성된다. 도 1에 도시된 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치(10)가 구현될 수도 있다.
본 발명의 실시예에서는 상기 영상 신호 입력부(100), 상기 영상 인식부(200), 상기 제어부(300)와 상기 통신부(400), 상기 신호 제어기(500) 및 상기 신호등(600)이 각각 개별적으로 구성된 것으로 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 영상 신호 입력부(100), 상기 영상 인식부(200), 상기 제어부(300), 상기 통신부(400) 및 상기 신호 제어기(500)는 기존의 신호 제어기(500)에 임베디드 형태(또는 일체형)으로 구성될 수도 있다.
상기 영상 신호 입력부(100)는 영상 정보를 획득하기 위한 카메라를 포함한다. 이때, 상기 카메라는 주/야간 상관없이 고화질의 영상 정보를 획득할 수 있는 카메라로 구성할 수 있다.
여기서, 상기 카메라는 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다.
또한, 상기 영상 신호 입력부(100)는 신호등(600)이 위치한 횡단보도 및/또는 차량 정지선과 관련해서 미리 설정된 관심 영역(Region Of Interest: ROI)에 대한 영상 정보를 획득한다.
즉, 상기 영상 신호 입력부(100)는 횡단보도(또는 건널목)에 인접한(또는 횡단보도에 대응하는) 신호등(600)과 관련해서 횡단보도 주변의 관심 영역에 대한 영상 정보를 획득한다.
또한, 상기 영상 신호 입력부(100)는 지방부 도로(예를 들어 지방 도시에 위치한 소도로, 대도로, 간선 도로 등 포함)에서 차량 정지선 주변의 관심 영역에 대한 영상 정보를 획득한다.
또한, 상기 영상 신호 입력부(100)는 상기 카메라에 의해 처리된 화상 프레임(또는 상기 획득된 영상 정보)을 영상 인식부(200)에 제공(또는 전송/전달)한다. 이때, 상기 영상 신호 입력부(100)는 UTP 케이블 등의 유선 통신 방식, 블루투스 등의 무선 통신 방식을 통해 상기 획득된 영상 정보를 상기 영상 인식부(200)에 제공할 수 있다.
상기 영상 인식부(200)는 상기 영상 신호 입력부(100)로부터 제공되는 영상 정보를 수신한다.
또한, 상기 영상 인식부(200)는 상기 수신된 영상 정보 내에서 객체의 유무를 판단한다. 여기서, 상기 영상 정보 내에서 객체 유무를 판단하는 방식은 공지된 다양한 방식을 적용할 수 있다.
이때, 상기 영상 인식부(200)는 딥 러닝(deep learning) 방식을 통해 사전에 객체에 해당하는 보행자(또는 사람), 차량, 사물 등을 학습한 상태에서, 상기 영상 신호 입력부(100)를 통해 획득된 영상 정보별로 횡단보도에서 대기 중인 보행자의 유무를 인식하거나, 차량 정지선에서 신호대기 중인 차량의 유무를 인식할 수 있다. 여기서, 상기 차량은 4륜 이상의 차량 이외에, 이륜차, 삼륜차, 농기계 등을 포함할 수 있다.
또한, 상기 영상 인식부(200)는 향후 수신되는 영상 정보들에 대한 객체 인식 과정에서 상기 딥 러닝 방식을 적용하여, 객체 인식에 대한 정확도를 높일 수 있다.
판단 결과, 상기 영상 정보 내에서 객체가 존재하지 않은 경우, 상기 영상 인식부(200)는 실시간(또는 미리 설정된 시간 간격)으로 상기 영상 신호 입력부(100)로부터 추가 제공되는 영상 정보를 수신하고, 상기 수신된 영상 정보 내에서 객체가 존재하는지 여부를 판단하는 과정을 반복적으로 수행한다.
또한, 판단 결과, 상기 영상 정보 내에서 객체가 존재하는 경우, 상기 영상 인식부(200)는 상기 영상 정보 내에 존재하는 객체의 종류를 확인한다.
즉, 판단 결과, 상기 영상 정보 내에서 객체가 존재하는 경우, 상기 영상 인식부(200)는 상기 영상 정보 내에 존재하는 객체가 사람인지, 차량인지, 사물인지 여부를 확인한다.
이때, 상기 영상 인식부(200)는 딥 러닝 방식을 통해 사전에 객체에 포함되는 보행자(또는 사람), 차량, 사물 등을 학습한 상태에서, 상기 영상 정보 내에 존재하는 객체가 사람인지, 차량인지, 사물인지 여부를 확인할 수 있다.
확인 결과, 상기 영상 정보 내에 존재하는 객체가 사물인 경우, 상기 영상 인식부(200)는 추가 수신되는 영상 정보에서 객체가 존재하는지 여부를 판단하는 과정으로 복귀한다.
또한, 상기 확인 결과, 상기 영상 정보 내에 존재하는 객체가 보행자 및/또는 차량인 경우, 상기 영상 인식부(200)는 해당 영상 정보 내의 객체(예를 들어 보행자/사람, 차량 포함)에 대해서 고유 식별자(또는 고유 아이디/고유 사람 식별자/고유 차량 식별자)를 설정한다.
또한, 상기 영상 인식부(200)는 추가로 수신되는 하나 이상의 추가 영상 정보 내에서 해당 고유 식별자에 해당하는 객체를 추적(또는 트래킹)한다. 여기서, 하나 이상의 추가 영상 정보 내에서 고유 식별자에 해당하는 객체를 추적하는 방식은 공지된 다양한 추적 알고리즘(또는 트래킹 알고리즘)을 적용할 수 있다.
이때, 상기 영상 인식부(200)는 해당 영상 정보/추가 영상 정보 내의 미리 설정된 관심 영역 내에서 객체를 추적하며, 해당 객체가 관심 영역 밖으로 벗어나는 경우(또는 해당 객체가 관심 영역 밖으로 벗어난 상태가 미리 설정된 시간(예를 들어 2초) 이상 유지되는 경우), 객체 추적을 종료하며, 해당 객체와 관련한 고유 식별자를 초기화(또는 삭제)한다.
본 발명에 실시예에 따른 딥 러닝 기반의 영상 분석의 경우, 조도와 그림자의 영향을 많이 받고, 블랍(blob)의 크기가 일정하지 않으며, 블랍의 속성(예를 들어 크기, 방향, 형태 등 포함)이 일정하지 않아 객체를 추적하기에 적합하지 않고, 블랍 간 매칭 값이 일정하지 않으며, 블랍의 컬러를 이용하여 객체를 추적하기에는 조도의 영향을 많이 받아 성능이 저하되고, 겹침이 발생할 경우에 하나의 블랍으로 인식하기 때문에 개별 추적이 어려운 배경 모델링 기법 기반의 추적 방식에 비해서, 외부 환경(예를 들어 조도, 카메라의 흔들림 등 포함)에 강건하고, 높은 정확도로 차량 및/또는 보행자의 검출이 가능하고, 객체 검출 속도가 빠른 장점이 있다.
상기 제어부(또는 처리부)(300)는 상기 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치(10)의 전반적인 제어 기능을 실행한다.
또한, 상기 제어부(300)는 저장부(미도시)에 저장된 프로그램 및 데이터를 이용하여 상기 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치(10)의 전반적인 제어 기능을 실행한다. 상기 제어부(300)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부에 액세스하여, 상기 저장부에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
또한, 상기 제어부(300)는 앞서 설명된 영상 인식부(200)의 기능을 수행할 수도 있다.
또한, 복수의 영상 정보 내에서의 객체 추적에 의해서, 해당 객체가 관심 영역 내에서 미리 설정된 시간 이상 존재(또는 위치)하는 경우, 상기 제어부(300)는 해당 객체의 보행 의사 또는 진입 의사를 확인한다.
즉, 보행자가 횡단보도에 인접하게 설정된 관심 영역 내에서 미리 설정된 시간 이상(예를 들어 3초) 머무는 경우, 상기 제어부(300)는 상기 보행자가 횡단 보도를 건너기 위해서 신호대기 중인 상태로 판단하고, 보행자의 보행 의사를 확정(또는 확인)한다.
또한, 차량이 차량 정지선에 인접하게 설정된 관심 영역 내에서 미리 설정된 시간 이상(예를 들어 5초) 위치하는 경우, 상기 제어부(300)는 상기 차량이 소도로에서 대도로로(또는 대도로에서 소도로로) 진입하기(또는 좌회전하기) 위해서 신호대기 중인 상태로 판단하고, 차량의 진입 의사(또는 차량의 소도로에서 대도로로의 진입 의사/대도로에서 소도로로의 진입 의사)를 확정(또는 확인)한다.
이때, 차량에 대해서는, 관심 영역 내에서 획득되는 차량이 포함된 복수의 영상 정보에서 차량에 구비된 좌회전 방향 지시등의 온/오프 상태(또는 좌회전 방향 지시등의 동작 상태)를 감지하여, 좌회전 방향 지시등이 온 상태인 경우, 상기 제어부(300)는 해당 차량이 소도로에서 대도로로(또는 대도로에서 소도로로) 좌회전하기 위해서 신호대기 중인 상태로 판단하고, 차량의 진입 의사를 확정할 수도 있다.
또한, 차량이 차량 정지선에 인접하게 설정된 관심 영역 내에서 미리 설정된 시간(예를 들어 5초) 미만으로 위치하는 경우, 상기 제어부(300)는 해당 객체와 관련한 고유 식별자를 초기화(또는 삭제)한다.
또한, 상기 제어부(300)는 상기 확인된(또는 확정된) 보행 의사/진입 의사에 따라 해당 객체와 관련한 신호등(600)의 동작 상태를 제어하기 위한 신호등 제어 신호(또는 신호등 제어 프로토콜)를 생성한다. 여기서, 상기 신호등 제어 신호는 관련 신호등에 대한 정보(예를 들어 해당 신호등에 대한 고유 식별 정보), 횡단보도와 관련한 신호등에 대해서 보행대기상태(적색 신호)에서 보행상태(녹색 신호)로 전환하기 위한 정보, 차량과 관련한 신호등에 대해서 적색 신호에서 좌회전 신호(또는 비보호 좌회전 신호)로 전환하기 위한 정보 등을 포함한다.
또한, 상기 제어부(300)는 통신부(400)를 통해 상기 생성된 신호등 제어 신호를 신호 제어기(500)에 전송한다.
또한, 상기 영상 정보 내에서 보행자 및 차량이 동시에 인식(또는 감지)된 상태에서 상기 보행자에 대한 보행 의사가 확인되고 상기 차량에 대한 진입 의사가 동시에 확인되는 경우, 상기 제어부(300)는 미리 설정된 우선순위(예를 들어 보행자, 차량 순서)를 근거로 보행자가 먼저 횡단보도를 횡단하기 위한 신호등 제어 신호를 상기 통신부(400)를 통해 상기 신호 제어기(500)에 전송하고, 이후 차량의 도로 진입을 위한 신호등 제어 신호를 상기 통신부(400)를 통해 상기 신호 제어기(500)에 순차적으로 전송할 수도 있다.
이와 같이, 해당 영상 정보 내에서 보행자 및 차량에 대한 동시 보행 의사 및 진입 의사가 확인되는 경우에도, 상기 제어부(300)는 설계자의 설계에 따라 미리 설정된 우선순위를 근거로 보행자 및 차량이 각각 보행하거나 도로 진입을 위한 신호등 제어 신호를 각각 생성하여, 순차적으로 상기 신호 제어기(500)에 제공할 수 있다.
상기 통신부(400)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 상기 신호 제어기(500) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(400)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 통신부(400)는 RS-232, 유니버설 시리얼 버스(Universal Serial Bus: USB) 등을 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 상기 통신부(400)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 통신부(400) 등과 무선 신호를 송수신한다.
또한, 상기 통신부(400)는 상기 제어부(300)의 제어에 의해 상기 신호 제어기(500)로 RS-232 등의 유선 통신 방식 또는 블루투스 등의 무선 통신 방식을 통해 신호등 제어 신호 등을 전송한다.
상기 신호 제어기(또는 표준 제어기/컨트롤 모듈)(500)는 도로에 인접한 인도의 일측에 구성한다.
또한, 상기 신호 제어기(500)는 상기 통신부(400)로부터 전송되는 신호등 제어 신호를 수신한다.
또한, 상기 신호 제어기(500)는 상기 수신된 신호등 제어 신호를 근거로 해당 신호등(600)의 동작 상태를 제어한다.
즉, 상기 신호 제어기(500)는 상기 수신된 신호등 제어 신호를 근거로 횡단보도에 설치된 보행자 신호등(610)의 동작 상태를 보행대기상태(보행대기신호)에서 보행상태(보행신호)로 전환(또는 변환)한다. 이때, 상기 신호 제어기(500)는 상기 신호등 제어 신호를 수신한 직후에 해당 보행자 신호등(610)의 동작 상태를 보행상태로 바로 전환할 수도 있고 또는, 상기 신호등 제어 신호를 수신한 후 미리 설정된 시간을 경과한 후에 해당 보행자 신호등(610)의 동작 상태를 보행상태로 전환할 수도 있다.
또한, 상기 신호 제어기(500)는 상기 수신된 신호등 제어 신호를 근거로 소도로에 설치된 차량 신호등(620)의 동작 상태를 대도로로 진입하기 위한 좌회전 신호(또는 비보호 좌회전 신호)로 전환한다.
또한, 상기 신호 제어기(500)는 상기 수신된 신호등 제어 신호를 근거로 대도로에 설치된 차량 신호등(620)의 동작 상태를 소도로로 진입하기 위한 좌회전 신호(또는 비보호 좌회전 신호)로 전환한다. 이때, 상기 신호 제어기(500)는 상기 신호등 제어 신호를 수신한 직후 또는 미리 설정된 시간이 경과한 후에 해당 차량 신호등(620)의 동작 상태를 좌회전 신호(또는 비보호 좌회전 신호)로 전환할 수도 있다.
본 발명의 실시예에 따른 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치(10)는 빛을 발광하는 조명부(미도시), 보행 안내 음성 정보를 출력하는 스피커(미도시), 미리 설정된 반경 내에 교통 정보를 전송하는 비콘(미도시) 등을 더 포함할 수 있다.
또한, 상기 조명부는 상기 제어부(300)(또는 신호 제어기(500))의 제어에 의해, 상기 신호등 제어 신호(또는 별도의 추가 제어 신호)를 근거로 상기 횡단보도와 관련한 신호등(600)의 동작 상태가 보행상태로 전환되는 경우, 횡단보도 방향으로 빛을 발광하여 보행자가 횡단보도를 건널 수 있는 상태임을 안내하고, 해당 횡단보도로 진입하는 차량에서 해당 횡단보도의 상태를 확인하도록 구성할 수도 있다. 이때, 상기 조명부는 조도가 미리 설정된 값 이하로 유지될 때(예를 들어 일몰 이후, 안개/구름 등으로 인한 조도 저하 등 포함)만 동작하도록 구성할 수도 있다.
또한, 상기 스피커는 상기 제어부(300)(또는 신호 제어기(500))의 제어에 의해, 상기 신호등 제어 신호(또는 별도의 추가 제어 신호)를 근거로 상기 횡단보도와 관련한 신호등(600)의 동작 상태가 보행상태로 전환되는 경우, 해당 횡단보도를 보행자가 건널 수 있는 상태임을 나타내는 보행 안내 음성 정보를 출력할 수 있다.
또한, 상기 비콘은 상기 제어부(300)(또는 신호 제어기(500))의 제어에 의해, 상기 신호등 제어 신호(또는 별도의 추가 제어 신호)를 근거로 해당 신호등(600)으로부터 미리 설정된 거리 이내에 위치한 다른 차량 내의 단말(예를 들어 다른 차량 내에 구비되는 내비게이션, 이동 단말 등 포함)에 현재 차선과 관련한 신호 변경 정보(또는 신호 상태 정보)를 전송하여, 해당 신호등과 관련한 차선에 인접한 다른 차량의 운전자/동승자가 이를 확인하여 안전 운전을 수행하도록 정보를 제공할 수도 있다.
본 발명의 실시예에 따른 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치(10)는 다양한 정보를 저장하기 위한 저장부(미도시), 상기 정보를 표시하기 위한 표시부(미도시) 등을 더 포함할 수도 있다.
이와 같이, 영상에서 검출된 사람의 횡단 보도로의 보행 의사를 확인한 후, 확인된 보행 의사에 따라 신호등의 동작을 제어할 수 있다.
또한, 이와 같이, 영상에서 검출된 소도로에서 대도로로의 진입 의사 또는 대도로에서 소도로로의 진입 의사를 확인한 후, 확인된 소도로에서 대도로로의 진입 의사 또는 확인된 대도로에서 소도로로의 진입 의사에 따라 신호등의 동작을 제어할 수 있다.
이하에서는, 본 발명에 따른 딥러닝 기반 차량 및 보행자 감지 영상 분석 방법을 도 1 내지 도 5를 참조하여 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 딥러닝 기반 차량 및 보행자 감지 영상 분석 방법을 나타낸 흐름도이다.
먼저, 영상 신호 입력부(100)는 신호등(600)이 위치한 횡단보도 및/또는 차량 정지선과 관련해서 미리 설정된 관심 영역(Region Of Interest: ROI)에 대한 영상 정보를 획득한다.
즉, 상기 영상 신호 입력부(100)는 횡단보도에 인접한(또는 횡단보도에 대응하는) 신호등(600)과 관련해서 횡단보도 주변의 관심 영역에 대한 영상 정보를 획득한다.
또한, 상기 영상 신호 입력부(100)는 지방부 도로(예를 들어 지방 도시에 위치한 소도로, 대도로, 간선 도로 등 포함)에서 차량 정지선 주변의 관심 영역에 대한 영상 정보를 획득한다.
또한, 상기 영상 신호 입력부(100)는 상기 획득된 영상 정보를 영상 인식부(200)에 제공(또는 전송/전달)한다.
일 예로, 도 3에 도시된 바와 같이, 상기 영상 신호 입력부(100)는 제 1 관심 영역(310)인 제 1 횡단보도에 인접한 제 1 신호등(600)과 관련한 인도 영역, 차도 영역을 포함하는 제 1 영상 정보(320)를 획득한다. 또한, 상기 영상 신호 입력부(100)는 상기 획득된 제 1 영상 정보를 상기 영상 인식부(200)에 제공한다.
다른 일 예로, 도 4에 도시된 바와 같이, 상기 영상 신호 입력부(100)는 교차로 내의 제 2 관심 영역(410)인 제 2 횡단보도에 인접한 제 2 신호등(600)과 관련한 인도와 차도 영역을 포함하는 제 2 영상 정보(420)를 획득하고, 상기 획득된 제 2 영상 정보를 상기 영상 인식부(200)에 제공한다.
또 다른 일 예로, 도 5에 도시된 바와 같이, 상기 영상 신호 입력부(100)는 교차로 내의 제 3 관심 영역(510)인 소도로에서 차량 정지선 주변의 제 3 영상 정보를 획득하고, 상기 획득된 제 3 영상 정보(520)를 상기 영상 인식부(200)에 제공한다(S210).
이후, 상기 영상 인식부(200)는 상기 영상 신호 입력부(100)로부터 제공되는 영상 정보를 수신한다.
또한, 상기 영상 인식부(200)는 상기 수신된 영상 정보 내에서 객체의 유무를 판단한다. 여기서, 상기 영상 정보 내에서 객체 유무를 판단하는 방식은 공지된 다양한 방식을 적용할 수 있다.
이때, 상기 영상 인식부(200)는 딥 러닝 방식을 통해 사전에 객체에 해당하는 보행자(또는 사람), 차량, 사물 등을 학습한 상태에서, 상기 영상 신호 입력부(100)를 통해 획득된 영상 정보별로 횡단보도에서 대기 중인 보행자의 유무를 인식하거나, 차량 정지선에서 신호대기 중인 차량의 유무를 인식할 수 있다. 여기서, 상기 차량은 4륜 이상의 차량 이외에, 이륜차, 삼륜차, 농기계 등을 포함할 수 있다.
일 예로, 상기 영상 인식부(200)는 상기 제 1 영상 정보(320)의 해당 제 1 관심 영역(310) 내에 객체가 존재하는지 여부를 판단한다.
다른 일 예로, 상기 영상 인식부(200)는 상기 제 2 영상 정보(420)의 해당 제 2 관심 영역(410) 내에 객체가 존재하는지 여부를 판단한다.
또 다른 일 예로, 상기 영상 인식부(200)는 상기 제 3 영상 정보(520)의 해당 제 3 관심 영역(510) 내에 객체가 존재하는지 여부를 판단한다(S220).
판단 결과, 상기 영상 정보 내에서 객체가 존재하지 않은 경우, 상기 영상 인식부(200)는 실시간(또는 미리 설정된 시간 간격)으로 상기 영상 신호 입력부(100)로부터 추가 제공되는 영상 정보를 수신하고, 상기 수신된 영상 정보 내에서 객체가 존재하는지 여부를 판단하는 과정을 반복적으로 수행한다.
일 예로, 상기 제 1 영상 정보(320)의 해당 제 1 관심 영역(310) 내에 객체가 존재하지 않을 때, 상기 영상 인식부(200)는 상기 영상 신호 입력부(100)에 의해 추가로 획득되는 하나 이상의 영상 정보를 수신하고, 상기 수신된 하나 이상의 영상 정보 내에서 객체가 존재하는지 유무(또는 여부)를 판단하는 과정을 수행한다(S230).
또한, 판단 결과, 상기 영상 정보 내에서 객체가 존재하는 경우, 상기 영상 인식부(200)는 상기 영상 정보 내에 존재하는 객체의 종류를 확인한다.
즉, 판단 결과, 상기 영상 정보 내에서 객체가 존재하는 경우, 상기 영상 인식부(200)는 상기 영상 정보 내에 존재하는 객체가 사람인지, 차량인지, 사물인지 여부를 확인한다.
이때, 상기 영상 인식부(200)는 딥 러닝 방식을 통해 사전에 객체에 포함되는 보행자(또는 사람), 차량, 사물 등을 학습한 상태에서, 상기 영상 정보 내에 존재하는 객체가 사람인지, 차량인지, 사물인지 여부를 확인할 수 있다.
일 예로, 상기 판단 결과, 상기 도 3에 도시된 제 1 관심 영역(310) 내에서 객체가 존재할 때, 상기 영상 인식부(200)는 상기 제 1 관심 영역(310) 내에 존재하는 객체가 사람인지, 사물인지 여부를 확인한다.
다른 일 예로, 상기 판단 결과, 상기 도 4에 도시된 제 2 관심 영역(410) 내에서 객체가 존재할 때, 상기 영상 인식부(200)는 상기 제 2 관심 영역(410) 내에 존재하는 객체가 사람인지, 사물인지 여부를 확인한다.
또 다른 일 예로, 상기 판단 결과, 상기 도 5에 도시된 제 3 관심 영역(510) 내에서 객체가 존재할 때, 상기 영상 인식부(200)는 상기 제 3 관심 영역(510) 내에 존재하는 객체가 차량인지, 사물인지 여부를 확인한다(S240).
확인 결과, 상기 영상 정보 내에 존재하는 객체가 사물인 경우, 상기 영상 인식부(200)는 추가 수신되는 영상 정보에서 객체가 존재하는지 여부를 판단하는 과정으로 복귀한다.
일 예로, 상기 제 1 관심 영역(310) 내에 존재하는 객체가 사물(예를 들어 버려진 우산)일 때, 상기 영상 인식부(200)는 추가 수신되는 영상 정보에서 객체가 존재하는지 여부를 판단하는 과정(S220 단계)으로 복귀한다(S250).
또한, 상기 확인 결과, 상기 영상 정보 내에 존재하는 객체가 보행자 및/또는 차량인 경우, 상기 영상 인식부(200)는 해당 영상 정보 내의 객체(예를 들어 보행자/사람, 차량 포함)에 대해서 고유 식별자(또는 고유 아이디/고유 사람 식별자/고유 차량 식별자)를 설정한다.
또한, 상기 영상 인식부(200)는 추가로 수신되는 하나 이상의 추가 영상 정보 내에서 해당 고유 식별자에 해당하는 객체를 추적(또는 트래킹)한다. 여기서, 하나 이상의 추가 영상 정보 내에서 고유 식별자에 해당하는 객체를 추적하는 방식은 공지된 다양한 추적 알고리즘(또는 트래킹 알고리즘)을 적용할 수 있다.
이때, 상기 영상 인식부(200)는 해당 영상 정보/추가 영상 정보 내의 미리 설정된 관심 영역 내에서 객체를 추적하며, 해당 객체가 관심 영역 밖으로 벗어나는 경우 객체 추적을 종료하며, 해당 객체와 관련한 고유 식별자를 초기화(또는 삭제)한다.
일 예로, 상기 확인 결과, 상기 제 1 영상 정보(320) 내에 존재하는 객체가 보행자(330)일 때, 상기 영상 인식부(200)는 상기 영상 신호 입력부(100)를 통해 추가로 제공되는 하나 이상의 추가 영상 정보 내에서의 상기 보행자의 위치를 추적한다.
다른 일 예로, 상기 확인 결과, 상기 제 3 영상 정보(520) 내에 존재하는 객체가 차량(530)일 때, 상기 영상 인식부(200)는 상기 영상 신호 입력부(100)를 통해 추가로 제공되는 하나 이상의 추가 영상 정보 내에서의 상기 차량의 위치를 추적한다(S260).
이후, 복수의 영상 정보 내에서의 객체 추적에 의해서, 해당 객체가 관심 영역 내에서 미리 설정된 시간 이상 존재(또는 위치)하는 경우, 제어부(300)는 해당 객체의 보행 의사 또는 진입 의사를 확인한다.
즉, 보행자가 횡단보도에 인접하게 설정된 관심 영역 내에서 미리 설정된 시간 이상(예를 들어 3초) 머무는 경우, 상기 제어부(300)는 상기 보행자가 횡단 보도를 건너기 위해서 신호대기 중인 상태로 판단하고, 보행자의 보행 의사를 확정(또는 확인)한다.
또한, 차량이 차량 정지선에 인접하게 설정된 관심 영역 내에서 미리 설정된 시간 이상(예를 들어 5초) 위치하는 경우, 상기 제어부(300)는 상기 차량이 소도로에서 대도로로(또는 대도로에서 소도로로) 진입하기(또는 좌회전하기) 위해서 신호대기 중인 상태로 판단하고, 차량의 진입 의사(또는 차량의 소도로에서 대도로로의 진입 의사/대도로에서 소도로로의 진입 의사)를 확정(또는 확인)한다.
이때, 차량에 대해서는, 관심 영역 내에서 획득되는 차량이 포함된 복수의 영상 정보에서 차량에 구비된 좌회전 방향 지시등의 온/오프 상태(또는 좌회전 방향 지시등의 동작 상태)를 감지하여, 좌회전 방향 지시등이 온 상태인 경우, 상기 제어부(300)는 해당 차량이 소도로에서 대도로로(또는 대도로에서 소도로로) 좌회전하기 위해서 신호대기 중인 상태로 판단하고, 차량의 진입 의사를 확정할 수도 있다.
일 예로, 상기 보행자와 관련한 복수의 영상 정보(또는 상기 보행자를 포함하는 동영상) 내의 관심 영역에서 상기 보행자가 미리 설정된 시간인 3초 이상 머물 때, 상기 제어부(300)는 상기 보행자가 횡단보도를 건너기 위해서 보행자 신호등(610)의 상태가 보행대기상태(적색 신호)에서 보행상태(녹색 신호)로 전환되기를 기다리는 상태로 판단하고, 보행자의 보행 의사를 확인한다.
다른 일 예로, 상기 차량과 관련한 동영상 내의 관심 영역에 위치한 상기 차량의 좌회전 방향 지시등이 온 상태인 경우, 상기 제어부(300)는 상기 교차로 내의 소도로에 위치한 해당 차량이 대도로로 진입하기 위해서 신호대기 중인 상태로 판단하고, 차량의 진입 의사를 확인한다(S270).
이후, 상기 제어부(300)는 상기 확인된(또는 확정된) 보행 의사/진입 의사에 따라 해당 객체와 관련한 신호등(600)의 동작 상태를 제어하기 위한 신호등 제어 신호(또는 신호등 제어 프로토콜)를 생성한다. 여기서, 상기 신호등 제어 신호는 관련 신호등에 대한 정보(예를 들어 해당 신호등에 대한 고유 식별 정보), 횡단보도와 관련한 신호등에 대해서 보행대기상태(적색 신호)에서 보행상태(녹색 신호)로 전환하기 위한 정보, 차량과 관련한 신호등에 대해서 적색 신호에서 좌회전 신호(또는 비보호 좌회전 신호)로 전환하기 위한 정보 등을 포함한다.
또한, 상기 제어부(300)는 통신부(400)를 통해 상기 생성된 신호등 제어 신호를 신호 제어기(500)에 전송한다.
일 예로, 상기 제어부(300)는 상기 횡단보도에 인접한 제 1 관심 영역(310) 내에 위치한 보행자(330)의 보행 의사를 근거로 해당 횡단보도와 관련한 제 1 신호등(600)의 동작 상태를 제어하기 위한 제 1 신호등 제어 신호를 생성하고, 상기 생성된 제 1 신호등 제어 신호를 상기 제 1 신호등과 관련한 제 1 신호 제어기에 전송한다. 여기서, 상기 제 1 신호등 제어 신호는 상기 제 1 신호등에 대한 고유 식별 정보, 상기 제 1 신호등의 상태를 보행대기상태에서 보행상태로 전환하기 위한 정보 등을 포함한다.
다른 일 예로, 상기 제어부(300)는 상기 교차로에 인접한 제 3 관심 영역(510) 내에 위치한 차량(530)의 소도로에서 대도로로의 진입 의사를 근거로 해당 교차로와 관련한 제 3 신호등(600)의 동작 상태를 제어하기 위한 제 3 신호등 제어 신호를 생성하고, 상기 생성된 제 3 신호등 제어 신호를 상기 교차로 내의 제 3 신호등과 관련한 제 3 신호 제어기에 전송한다. 여기서, 상기 제 3 신호등 제어 신호는 상기 제 3 신호등에 대한 고유 식별 정보, 상기 제 3 신호등의 상태를 적색 신호에서 좌회전 신호로 전환하기 위한 정보 등을 포함한다(S280).
이후, 상기 신호 제어기(500)는 상기 제어부(300)로부터 전송되는 신호등 제어 신호를 수신한다.
또한, 상기 신호 제어기(500)는 상기 수신된 신호등 제어 신호를 근거로 해당 신호등(600)의 동작 상태를 제어한다.
즉, 상기 신호 제어기(500)는 상기 수신된 신호등 제어 신호를 근거로 횡단보도에 설치된 보행자 신호등(610)의 동작 상태를 보행대기상태(보행대기신호)에서 보행상태(보행신호)로 전환(또는 변환)한다. 이때, 상기 신호 제어기(500)는 상기 신호등 제어 신호를 수신한 직후에 해당 보행자 신호등(610)의 동작 상태를 보행상태로 바로 전환할 수도 있고 또는, 상기 신호등 제어 신호를 수신한 후 미리 설정된 시간을 경과한 후에 해당 보행자 신호등(610)의 동작 상태를 보행상태로 전환할 수도 있다.
또한, 상기 신호 제어기(500)는 상기 수신된 신호등 제어 신호를 근거로 소도로에 설치된 차량 신호등(620)의 동작 상태를 대도로로 진입하기 위한 좌회전 신호(또는 비보호 좌회전 신호)로 전환한다.
또한, 상기 신호 제어기(500)는 상기 수신된 신호등 제어 신호를 근거로 대도로에 설치된 차량 신호등(620)의 동작 상태를 소도로로 진입하기 위한 좌회전 신호(또는 비보호 좌회전 신호)로 전환한다. 이때, 상기 신호 제어기(500)는 상기 신호등 제어 신호를 수신한 직후 또는 미리 설정된 시간이 경과한 후에 해당 차량 신호등(620)의 동작 상태를 좌회전 신호(또는 비보호 좌회전 신호)로 전환할 수도 있다.
일 예로, 상기 제 1 신호 제어기는 상기 제어부(300)로부터 제공되는 제 1 신호등 제어 신호를 수신하고, 상기 수신된 제 1 신호등 제어 신호를 근거로 상기 횡단보도와 관련한 제 1 신호등의 동작 상태를 보행대기상태에서 보행상태로 전환하여, 해당 횡단보도에 위치한 보행자가 횡단보도를 횡단할 수 있도록 할 수 있다.
다른 일 예로, 상기 제 3 신호 제어기는 상기 제어부(300)로부터 제공되는 제 3 신호등 제어 신호를 수신하고, 미리 설정된 10초가 경과한 후에, 상기 수신된 제 3 신호등 제어 신호를 근거로 상기 소도로와 관련한 제 3 신호등의 동작 상태를 적색 신호에서 좌회전 신호로 전환하여, 소도로에 위치한 차량이 좌회전을 통해 대도로로 진입할 수 있도록 할 수 있다(S290).
본 발명의 실시예는 앞서 설명된 바와 같이, 영상에서 검출된 사람의 횡단 보도로의 보행 의사를 확인한 후, 확인된 보행 의사에 따라 신호등의 동작을 제어하여, 어린이, 고령자, 장애인 등의 횡단보도 보행 교통 약자에 의한 사고 발생을 방지하며, 횡단보도에서의 안정성을 향상시키고, 농로 및 이면도로에서의 빈번한 신호 체계로 장시간 대기 중인 교통 약자에게 안전한 도로 주행을 유도하며, 교통 약자의 편의성을 향상시킬 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 영상에서 검출된 소도로에서 대도로로의 진입 의사 또는 대도로에서 소도로로의 진입 의사를 확인한 후, 확인된 소도로에서 대도로로의 진입 의사 또는 확인된 대도로에서 소도로로의 진입 의사에 따라 신호등의 동작을 제어하여, 신호대기 중인 차량에 최적의 교통 신호를 출력/제공함에 따라 차량 운전자의 만족도를 높이고, 무단 출발에 따른 교통사고를 예방할 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치
100: 영상 신호 입력부 200: 영상 인식부
300: 제어부 400: 통신부
500: 신호 제어기 600: 신호등
610: 보행자 신호등 620: 차량 신호등

Claims (9)

  1. 신호등이 위치한 횡단보도 및 차량 정지선과 관련해서 미리 설정된 관심 영역에 대한 영상 정보를 획득하는 영상 신호 입력부;
    상기 획득된 영상 정보 내에서 딥 러닝 방식에 의해 객체의 존재 유무를 판단하고, 상기 획득된 영상 정보 내에 객체가 포함되고, 상기 객체가 보행자 및 차량 중 적어도 하나일 때, 상기 영상 정보 내의 객체에 대한 고유 식별자를 설정하고, 상기 영상 신호 입력부를 통해 추가로 획득되는 하나 이상의 추가 영상 정보 내에서 상기 설정된 고유 식별자에 대응하는 객체를 추적하는 영상 인식부;
    상기 객체가 상기 관심 영역 내에서 미리 설정된 시간 이상 존재할 때, 상기 객체의 보행 의사 또는 진입 의사를 확인하고, 상기 확인된 보행 의사 또는 진입 의사에 따라 상기 객체와 관련한 신호등의 동작 상태를 제어하기 위한 신호등 제어 신호를 생성하고, 상기 생성된 신호등 제어 신호를 전송하는 제어부;
    상기 신호등 제어 신호를 근거로 상기 객체와 관련한 신호등의 동작 상태를 제어하는 신호 제어기;
    상기 제어부의 제어에 의해, 상기 객체와 관련한 신호등의 동작 상태가 보행상태로 전환될 때, 보행자가 횡단보도를 건널 수 있는 상태임을 안내하고 상기 횡단보도로 진입하는 차량에서 상기 횡단보도의 상태를 확인할 수 있도록 상기 신호등과 관련한 횡단보도 방향으로 빛을 발광하는 조명부;
    상기 객체와 관련한 신호등의 동작 상태가 보행상태로 전환될 때, 상기 신호등과 관련한 보행 안내 음성 정보를 출력하는 스피커; 및
    상기 객체와 관련한 신호등의 동작 상태의 전환에 따라 상기 신호등으로부터 미리 설정된 거리 이내에 위치한 다른 차량 내의 단말로 안전 운전 수행을 위해 상기 차량이 위치한 현재 차선과 관련한 신호 변경 정보를 전송하는 비콘을 포함하며,
    상기 조명부는,
    조도가 미리 설정된 값 이하로 유지될 때만 동작하는 것을 특징으로 하는 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치.
  2. 제 1 항에 있어서,
    상기 영상 신호 입력부는,
    상기 횡단보도에 인접한 신호등과 관련해서 상기 횡단보도 주변의 관심 영역에 대한 영상 정보를 획득하거나, 상기 차량 정지선 주변의 관심 영역에 대한 영상 정보를 획득하는 것을 특징으로 하는 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치.
  3. 제 1 항에 있어서,
    상기 영상 인식부는,
    상기 영상 정보 및 상기 추가로 획득되는 하나 이상의 추가 영상 정보 내의 미리 설정된 관심 영역 내에서 상기 객체를 추적하며, 상기 객체가 관심 영역 밖으로 벗어날 때, 상기 객체에 대한 추적을 종료하며, 상기 객체와 관련한 고유 식별자를 초기화하는 것을 특징으로 하는 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치.
  4. 제 1 항에 있어서,
    상기 제어부는,
    상기 보행자가 상기 횡단보도에 인접하게 설정된 관심 영역 내에서 상기 미리 설정된 시간 이상 머물 때, 상기 보행자가 횡단 보도를 건너기 위해서 신호대기 중인 상태로 판단하고, 보행자의 보행 의사를 확정하며,
    상기 차량이 차량 정지선에 인접하게 설정된 관심 영역 내에서 미리 설정된 시간 이상 위치할 때, 상기 차량이 소도로에서 대도로로 또는 대도로에서 소도로로 진입하기 위해서 신호대기 중인 상태로 판단하고, 상기 차량의 진입 의사를 확정하는 것을 특징으로 하는 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치.
  5. 제 1 항에 있어서,
    상기 제어부는,
    상기 차량 정지선에 인접하게 설정된 관심 영역 내에서 획득되는 차량이 포함된 복수의 영상 정보에서 차량에 구비된 좌회전 방향 지시등이 온 상태일 때, 상기 차량이 소도로에서 대도로로 또는 대도로에서 소도로로 진입하기 위해서 신호대기 중인 상태로 판단하고, 상기 차량의 진입 의사를 확정하는 것을 특징으로 하는 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치.
  6. 제 1 항에 있어서,
    상기 신호 제어기는,
    상기 신호등 제어 신호를 근거로 횡단보도에 설치된 보행자 신호등의 동작 상태를 보행대기상태에서 보행상태로 전환하는 것을 특징으로 하는 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치.
  7. 제 1 항에 있어서,
    상기 신호 제어기는,
    상기 신호등 제어 신호를 근거로 소도로에 설치된 차량 신호등의 동작 상태를 대도로로 진입하기 위한 좌회전 신호로 전환하거나 또는, 대도로에 설치된 차량 신호등의 동작 상태를 소도로로 진입하기 위한 좌회전 신호로 전환하는 것을 특징으로 하는 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치.
  8. 삭제
  9. 영상 신호 입력부에 의해, 신호등이 위치한 횡단보도 및 차량 정지선과 관련해서 미리 설정된 관심 영역에 대한 영상 정보를 획득하는 단계;
    영상 인식부에 의해, 상기 획득된 영상 정보 내에서 딥 러닝 방식에 의해 객체의 존재 유무를 판단하는 단계;
    상기 영상 인식부에 의해, 상기 획득된 영상 정보 내에 객체가 포함되고, 상기 객체가 보행자 및 차량 중 적어도 하나일 때, 상기 영상 정보 내의 객체에 대한 고유 식별자를 설정하는 단계;
    상기 영상 인식부에 의해, 상기 영상 신호 입력부를 통해 추가로 획득되는 하나 이상의 추가 영상 정보 내에서 상기 설정된 고유 식별자에 대응하는 객체를 추적하는 단계;
    제어부에 의해, 상기 객체가 상기 관심 영역 내에서 미리 설정된 시간 이상 존재할 때, 상기 객체의 보행 의사 또는 진입 의사를 확인하는 단계;
    상기 제어부에 의해, 상기 확인된 보행 의사 또는 진입 의사에 따라 상기 객체와 관련한 신호등의 동작 상태를 제어하기 위한 신호등 제어 신호를 생성하고, 상기 생성된 신호등 제어 신호를 전송하는 단계;
    신호 제어기에 의해, 상기 신호등 제어 신호를 근거로 상기 객체와 관련한 신호등의 동작 상태를 제어하는 단계;
    조명부에 의해, 상기 객체와 관련한 신호등의 동작 상태가 보행상태로 전환될 때, 보행자가 횡단보도를 건널 수 있는 상태임을 안내하고 상기 횡단보도로 진입하는 차량에서 상기 횡단보도의 상태를 확인할 수 있도록 상기 신호등과 관련한 횡단보도 방향으로 빛을 발광하는 단계; 및
    비콘에 의해, 상기 객체와 관련한 신호등의 동작 상태의 전환에 따라 상기 신호등으로부터 미리 설정된 거리 이내에 위치한 다른 차량 내의 단말로 안전 운전 수행을 위해 상기 차량이 위치한 현재 차선과 관련한 신호 변경 정보를 전송하는 단계를 포함하며,
    상기 조명부는,
    조도가 미리 설정된 값 이하로 유지될 때만 동작하는 것을 특징으로 하는 딥러닝 기반 차량 및 보행자 감지 영상 분석 방법.
KR1020180102070A 2018-08-29 2018-08-29 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법 KR102021534B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180102070A KR102021534B1 (ko) 2018-08-29 2018-08-29 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법
PCT/KR2018/011830 WO2020045731A1 (ko) 2018-08-29 2018-10-08 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180102070A KR102021534B1 (ko) 2018-08-29 2018-08-29 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102021534B1 true KR102021534B1 (ko) 2019-10-18

Family

ID=68462474

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180102070A KR102021534B1 (ko) 2018-08-29 2018-08-29 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR102021534B1 (ko)
WO (1) WO2020045731A1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102090141B1 (ko) * 2019-12-06 2020-03-18 한국건설기술연구원 영상을 포함한 데이터 분산처리 서버 장치
KR102109648B1 (ko) * 2019-12-03 2020-05-12 주식회사 핀텔 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법
CN111739284A (zh) * 2020-05-06 2020-10-02 东华大学 基于遗传算法优化模糊控制的交通信号灯智能配时方法
CN112133094A (zh) * 2020-09-25 2020-12-25 安徽达尔智能控制系统股份有限公司 一种基于深度学习技术的道路交叉口全要素健康诊断系统
CN112489465A (zh) * 2020-11-19 2021-03-12 李宝婕 一种高效智能交通灯控制方法及系统
KR20210052031A (ko) * 2019-10-31 2021-05-10 한국전자기술연구원 딥러닝 기반 교통 흐름 분석 방법 및 시스템
KR20210067634A (ko) * 2019-11-29 2021-06-08 한남대학교 산학협력단 객체 인식을 이용한 무단횡단 경보 시스템 및 방법
KR20210102561A (ko) * 2020-02-11 2021-08-20 한국기술교육대학교 산학협력단 신호등이 없는 횡단보도 안전 시스템 및 그 구현 방법
KR20220055633A (ko) * 2020-10-27 2022-05-04 사이클롭스 주식회사 영상인식 기술 기반 Non-Stop 주차장 입차 시스템 및 입차 제어 방법
KR20220101535A (ko) * 2021-01-11 2022-07-19 주식회사 노타 딥러닝 기반 온-디바이스 실시간 교통제어 시스템
KR20220153808A (ko) * 2021-05-12 2022-11-21 유에프엠시스템즈 주식회사 딥-러닝 기반 객체 감응을 활용한 차량 흐름 제어 시스템
KR20220163717A (ko) * 2021-06-03 2022-12-12 유에프엠시스템즈 주식회사 신호 제어를 위한 객체 감응형 차량 흐름 제어 방법
US11823573B2 (en) 2019-10-28 2023-11-21 Laon Road Inc. Signal control apparatus and signal control method based on reinforcement learning
KR102605104B1 (ko) * 2022-11-29 2023-11-23 성풍솔레드 주식회사 우회전 차량을 위한 횡단보도 보행 신호등 알림 서비스 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101106254B1 (ko) * 2010-12-22 2012-01-18 주식회사 삼성항공정보통신 보행자를 감지하여 신호 램프를 제어하는 신호등 제어 시스템 및 그 제어 방법
KR20120119696A (ko) * 2011-04-22 2012-10-31 강평구 좌회전 감지 신호등의 제어방법
KR20160110753A (ko) 2015-03-11 2016-09-22 아주대학교산학협력단 감응식 교통 신호 제어 방법 및 장치
KR101737803B1 (ko) * 2016-11-23 2017-05-19 렉스젠(주) 객체 정보 수집 장치 및 그 방법
KR20180061951A (ko) * 2016-11-30 2018-06-08 김윤순 보행자 보호 시스템 및 그 동작 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008026997A (ja) * 2006-07-18 2008-02-07 Denso Corp 歩行者認識装置及び歩行者認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101106254B1 (ko) * 2010-12-22 2012-01-18 주식회사 삼성항공정보통신 보행자를 감지하여 신호 램프를 제어하는 신호등 제어 시스템 및 그 제어 방법
KR20120119696A (ko) * 2011-04-22 2012-10-31 강평구 좌회전 감지 신호등의 제어방법
KR20160110753A (ko) 2015-03-11 2016-09-22 아주대학교산학협력단 감응식 교통 신호 제어 방법 및 장치
KR101737803B1 (ko) * 2016-11-23 2017-05-19 렉스젠(주) 객체 정보 수집 장치 및 그 방법
KR20180061951A (ko) * 2016-11-30 2018-06-08 김윤순 보행자 보호 시스템 및 그 동작 방법

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823573B2 (en) 2019-10-28 2023-11-21 Laon Road Inc. Signal control apparatus and signal control method based on reinforcement learning
KR102453627B1 (ko) * 2019-10-31 2022-10-12 한국전자기술연구원 딥러닝 기반 교통 흐름 분석 방법 및 시스템
KR20210052031A (ko) * 2019-10-31 2021-05-10 한국전자기술연구원 딥러닝 기반 교통 흐름 분석 방법 및 시스템
KR20210067634A (ko) * 2019-11-29 2021-06-08 한남대학교 산학협력단 객체 인식을 이용한 무단횡단 경보 시스템 및 방법
KR102290353B1 (ko) * 2019-11-29 2021-08-13 한남대학교 산학협력단 객체 인식을 이용한 무단횡단 경보 시스템 및 방법
KR102109648B1 (ko) * 2019-12-03 2020-05-12 주식회사 핀텔 딥러닝의 얼굴인식을 이용한 대중교통수단의 무임승차 검출 시스템 및 방법
KR102090141B1 (ko) * 2019-12-06 2020-03-18 한국건설기술연구원 영상을 포함한 데이터 분산처리 서버 장치
KR20210102561A (ko) * 2020-02-11 2021-08-20 한국기술교육대학교 산학협력단 신호등이 없는 횡단보도 안전 시스템 및 그 구현 방법
KR102317390B1 (ko) * 2020-02-11 2021-10-26 한국기술교육대학교 산학협력단 신호등이 없는 횡단보도 안전 시스템 및 그 구현 방법
CN111739284A (zh) * 2020-05-06 2020-10-02 东华大学 基于遗传算法优化模糊控制的交通信号灯智能配时方法
CN112133094A (zh) * 2020-09-25 2020-12-25 安徽达尔智能控制系统股份有限公司 一种基于深度学习技术的道路交叉口全要素健康诊断系统
KR20220055633A (ko) * 2020-10-27 2022-05-04 사이클롭스 주식회사 영상인식 기술 기반 Non-Stop 주차장 입차 시스템 및 입차 제어 방법
KR102494858B1 (ko) * 2020-10-27 2023-02-07 사이클롭스 주식회사 영상인식 기술 기반 Non-Stop 주차장 입차 시스템 및 입차 제어 방법
CN112489465A (zh) * 2020-11-19 2021-03-12 李宝婕 一种高效智能交通灯控制方法及系统
KR20220101535A (ko) * 2021-01-11 2022-07-19 주식회사 노타 딥러닝 기반 온-디바이스 실시간 교통제어 시스템
KR102494953B1 (ko) * 2021-01-11 2023-02-06 주식회사 노타 딥러닝 기반 온-디바이스 실시간 교통제어 시스템
KR20220153808A (ko) * 2021-05-12 2022-11-21 유에프엠시스템즈 주식회사 딥-러닝 기반 객체 감응을 활용한 차량 흐름 제어 시스템
KR102561656B1 (ko) * 2021-05-12 2023-07-31 유에프엠시스템즈 주식회사 딥-러닝 기반 객체 감응을 활용한 차량 흐름 제어 시스템
KR20220163717A (ko) * 2021-06-03 2022-12-12 유에프엠시스템즈 주식회사 신호 제어를 위한 객체 감응형 차량 흐름 제어 방법
KR102561657B1 (ko) * 2021-06-03 2023-07-31 유에프엠시스템즈 주식회사 신호 제어를 위한 객체 감응형 차량 흐름 제어 방법
KR102605104B1 (ko) * 2022-11-29 2023-11-23 성풍솔레드 주식회사 우회전 차량을 위한 횡단보도 보행 신호등 알림 서비스 시스템 및 방법

Also Published As

Publication number Publication date
WO2020045731A1 (ko) 2020-03-05

Similar Documents

Publication Publication Date Title
KR102021534B1 (ko) 딥러닝 기반 차량 및 보행자 감지 영상 분석 장치 및 그 방법
US11066009B2 (en) Vehicular illumination device, vehicle system, and vehicle
JP5269755B2 (ja) 人横断支援車両システム及び人横断支援方法
KR101876557B1 (ko) IoT 융합형 집합건물 주차장 통합관리 시스템 및 그 제어방법
US20170007459A1 (en) Vision aiding method and apparatus integrated with a camera module and a light sensor
JP7045880B2 (ja) 車両用照明システム及び車両
CN112750170B (zh) 一种雾特征识别方法、装置及相关设备
KR20190001265A (ko) 횡단보도 보행자 보호를 위한 교통신호 연장신호 생성장치 및 방법
KR102184728B1 (ko) 영상 감지 기반의 객체 인식을 통한 보행 신호 안내 장치
KR20180057802A (ko) IoT 융합형 집합건물 주차장 통합관리 시스템 및 그 제어방법
KR101587010B1 (ko) 사물인터넷 기반의 발광 보도블록 제어장치 및 그 제어방법
KR101932200B1 (ko) 이미지 인식을 이용한 보행자 보조 신호 제공 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
WO2021187039A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP5530000B2 (ja) 人横断支援通知システム及び人横断支援方法
KR101713252B1 (ko) 교통 약자를 위한 보행자 안전관리 시스템 및 이를 이용한 안전관리 방법
KR101349543B1 (ko) 신호등 제어 장치 및 그 제어 방법
KR101937347B1 (ko) 횡단보도 음성 안내 시스템 및 그 방법
US11138886B1 (en) System and method for providing an illuminated route for an object moving on a path
KR102410770B1 (ko) 우회전 차량에 대한 스마트 교통 시스템
KR20170069551A (ko) 신호등 인식 시스템 및 그 방법
KR102243845B1 (ko) 횡단보도에서의 보행자 정보 제공 장치
KR20160008931A (ko) 음성안내 시스템
US11465645B2 (en) Vehicle control system, vehicle control method, and storage medium
KR102192102B1 (ko) 횡단보도 보행자 인식 시스템
KR20190075252A (ko) 차량과 신호등 간의 라이파이 통신을 통한 신호제어 장치 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant