KR102629582B1 - 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법, 장치 및 프로그램 - Google Patents

영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법, 장치 및 프로그램 Download PDF

Info

Publication number
KR102629582B1
KR102629582B1 KR1020230080505A KR20230080505A KR102629582B1 KR 102629582 B1 KR102629582 B1 KR 102629582B1 KR 1020230080505 A KR1020230080505 A KR 1020230080505A KR 20230080505 A KR20230080505 A KR 20230080505A KR 102629582 B1 KR102629582 B1 KR 102629582B1
Authority
KR
South Korea
Prior art keywords
pedestrian
computing device
recognizing
crosswalk
traffic light
Prior art date
Application number
KR1020230080505A
Other languages
English (en)
Inventor
김시경
Original Assignee
한성정보기술주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한성정보기술주식회사 filed Critical 한성정보기술주식회사
Priority to KR1020240009558A priority Critical patent/KR20240084511A/ko
Priority to KR1020240009557A priority patent/KR20240084510A/ko
Priority to KR1020240009559A priority patent/KR20240084512A/ko
Application granted granted Critical
Publication of KR102629582B1 publication Critical patent/KR102629582B1/ko

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/075—Ramp control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Traffic Control Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)

Abstract

본 발명의 다양한 실시예에 따른 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법이 개시된다. 상기 방법은: 신호등에 설치된 카메라를 이용하여, 횡단보도의 대기 영역에 존재하는 보행자를 촬영한 영상을 획득하는 단계; 상기 영상을 분석하여 상기 보행자의 행동을 인식하고, 상기 행동을 기초로 상기 보행자의 횡단 의도를 인식하는 단계; 상기 신호등의 현재 신호와 상기 횡단 의도를 기초로 상기 보행자의 무단횡단을 예측하는 단계; 및 상기 보행자의 무단횡단을 예측한 경우, 경고 알림을 상기 보행자에게 제공하는 단계;를 포함할 수 있다.

Description

영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법, 장치 및 프로그램{METHOD, APPARATUS AND PROGRAM FOR SAFETY MANAGEMENT OF PEDESTRIANS USING CROSSWALKS BASED ON IMAGE ANALYSIS}
본 발명은 보행자의 안전 관리 방법, 장치 및 프로그램에 관한 것으로서, 구체적으로 영상분석을 기반으로, 횡단보도를 이용하는 보행자의 안전 관리 방법, 장치 및 프로그램에 관한 것이다.
횡단보도 지역은 보행자의 경로상 횡단을 위해 보행자가 대기하거나, 보행자가 보행자 신호의 지시에 따라 횡단하게 되는 공간 등을 의미한다.
일반적으로, 횡단보도의 보행자 신호는 차량신호와 연동되고, 차량신호가 적색으로 지시할 경우 보행자 신호는 녹색 신호를 점등하여 차량의 흐름을 정지로 유도한 후 보행자가 안전하게 횡단할 수 있도록 한다.
이러한 횡단보도 지역은 보행자와 차량간의 사고가 발생되어 교통약자인 보행자가 부상을 입거나 사망하게 되는 등의 인적 피해가 큰 지역으로서, 보행자와 차량은 각각의 신호를 준수해야 한다.
횡단보도 지역의 사고는 차량이 신호를 위반하는 경우, 보행자 신호가 적색임에도 불구하고 보행자가 신호를 무시하고 횡단하는 경우, 보행자 신호가 녹색이지만 잔여 보행자 녹색시간에 비해 보행자가 안전하게 횡단할 수있는 시간이 짧아서 사고가 발생하는 경우 등 여러 가지 가능성이 존재한다.
보행자 신호가 적색일 경우 보행자가 횡단보도에서 대기하는 시간이 길어지거나, 보행자 신호가 녹색일 경우 보행자가 잔여 보행자 녹색시간을 무시하고 횡단을 시도하는 경우 혹은 고령자, 어린이 및 장애인과 같은 교통약자의 느린 보행속도에 따라 횡단보도 녹색시간이 충분하지 않은 경우 등에서의 교통사고는 횡단보도 시스템이 잘 구비되어 있다 하더라도 흔히 발생할 수 있는 문제점이라 할 수 있다.
따라서, 횡단보도를 이용하는 사용자의 안전 관리 방법에 대한 수요가 당업계에 존재한다. 이와 관련하여 대한민국 등록특허공보 제10-2389200호는 횡단보도 상의 교통 보행신호를 위한 통합 제어방법 및 시스템을 개시한다.
본 발명은 전술한 배경기술에 대응하여 안출된 것으로 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법, 장치 및 프로그램을 제공하고자 하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법이 개시된다. 상기 방법은: 신호등에 설치된 카메라를 이용하여, 횡단보도의 대기 영역에 존재하는 보행자를 촬영한 영상을 획득하는 단계; 상기 영상을 분석하여 상기 보행자의 행동을 인식하고, 상기 행동을 기초로 상기 보행자의 횡단 의도를 인식하는 단계; 상기 신호등의 현재 신호와 상기 횡단 의도를 기초로 상기 보행자의 무단횡단을 예측하는 단계; 및 상기 보행자의 무단횡단을 예측한 경우, 경고 알림을 상기 보행자에게 제공하는 단계;를 포함할 수 있다.
대안적인 실시예에서, 상기 영상을 분석하여 상기 보행자의 행동을 인식하고, 상기 행동을 기초로 상기 보행자의 횡단 의도를 인식하는 단계는, 상기 영상을 사전 학습된 신경망 모델에 입력하여, 횡단 의도 있음 및 횡단 의도 없음에 대응하는 클래스 별 스코어 값을 인식하는 단계; 및 상기 스코어 값이 가장 높은 클래스를 기초로, 상기 보행자의 횡단 의도를 인식하는 단계;를 포함할 수 있다.
대안적인 실시예에서, 상기 영상을 분석하여 상기 보행자의 행동을 인식하고, 상기 행동을 기초로 상기 보행자의 횡단 의도를 인식하는 단계는, 상기 보행자의 상반신 및 전신에 대한 자세를 분석하는 단계; 상기 보행자의 관절 좌표를 예측하는 단계; 및 상기 보행자의 상기 자세 및 상기 관절 좌표를 기초로 상기 보행자의 횡단 의도를 예측하는 단계;를 포함할 수 있다.
대안적인 실시예에서, 상기 보행자의 무단횡단을 예측한 경우, 경고 알림을 상기 보행자에게 제공하는 단계는, 상기 신호등에 설치된 스피커를 통해 음성 경고를 제공하는 단계; 상기 신호등에 설치된 조명을 통해 조명 경고를 제공하는 단계; 및 상기 보행자의 단말로 경고 메시지를 제공하는 단계;를 포함할 수 있다.
대안적인 실시예에서, 상기 방법은, 상기 보행자의 횡단 의도를 인식할 때, 상기 보행자의 보행 방향을 인식하는 단계; 상기 보행 방향에 대응하는 횡단보도를 인식하는 단계; 차도에서 상기 횡단보도를 향하도록 설치된 차량용 신호등을 인식하는 단계; 및 상기 차량용 신호등에 주의 신호가 점등되도록 상기 신호등과 연계된 복수의 신호등 각각을 제어하는 단계;를 더 포함할 수 있다.
대안적인 실시예에서, 상기 방법은, 상기 영상을 분석하여 상기 보행자의 안면을 인식하고, 상기 안면을 기초로 상기 보행자가 교통약자인지 여부를 인식하는 단계; 및 상기 보행자가 교통약자라고 인식한 경우, 상기 신호등과 연계된 복수의 신호등 각각을 제어하는 단계;를 더 포함할 수 있다.
대안적인 실시예에서, 상기 방법은, 상기 신호등에 설치된 카메라를 이용하여, 차도에서 상기 횡단보도를 향하는 방향으로 이동하는 적어도 하나의 차량을 인식하는 단계; 상기 보행자의 무단횡단을 예측한 경우, 상기 적어도 하나의 차량에서 실행되고 있는 네비게이션을 통해 상기 적어도 하나의 차량의 운전자에게 주의 알림을 제공하는 단계;를 더 포함할 수 있다.
대안적인 실시예에서, 상기 방법은, 상기 신호등에 설치된 카메라를 이용하여, 차도에서 상기 횡단보도를 향하는 방향으로 이동하는 적어도 하나의 차량을 인식하는 단계; 상기 적어도 하나의 차량의 이동 속도 및 상기 적어도 하나의 차량의 현재 위치와 상기 신호등 간의 거리를 인식하는 단계; 상기 이동 속도 및 상기 거리를 기초로 상기 적어도 하나의 차량의 정지선 위반 또는 신호위반을 예측하는 단계; 및 상기 적어도 하나의 차량의 정지선 위반 또는 신호위반을 예측한 경우, 주의 알림을 상기 보행자에게 제공하거나, 보행 대기 신호의 시간을 연장하는 단계;를 더 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 장치가 개시된다. 상기 장치는: 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상술한 방법들을 수행할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 하드웨어인 컴퓨터와 결합되어, 상술한 방법들을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 개시된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 횡단보도에서 대기하고 있는 보행자 또는 교통약자에게 안전한 횡단 방법을 제공할 수 있다. 구체적으로, 본 발명은 보행자의 안면을 인식하여 교통약자 여부를 판단하여 교통약자의 속도에 따라 신호등의 신호를 제어할 수 있다. 또한, 본 발명은 보행자의 자세를 분석하여 무단횡단 의도를 예측하고, 위험 또는 경고 알림을 제공함으로써 교통사고를 방지할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.
도 3은 본 발명의 일 실시예에 따른 영상분석 기반의 횡단보도를 이용하는 교통약자의 안전 관리 방법의 일례를 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법의 일례를 설명하기 위한 흐름도이다.
도 5는 본 발명의 다양한 실시예에 따른 영상분석을 통한 교통약자 안면 인식 및 횡단 의도 예측을 통한 신호등 제어 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 신호등에 설치된 카메라 및 카메라 촬영 범위의 예시를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 신호등에 설치된 카메라 및 카메라 촬영 범위의 예시를 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 경보음 및 LED를 통해 보행자에게 경보하는 예시를 도시한 도면이고, 도 9는 본 발명의 실시예에 따른 사용자 단말을 통해 보행자에게 경보하는 예시를 도시한 도면이다.
도 10은 본 발명의 실시예에 따른 차량 신호등에 주의등을 점등하는 예시를 도시한 도면이다.
다양한 실시예들이 이제 도면을 참조하여 설명된다. 본 명세서에서, 다양한 설명들이 본 발명의 이해를 제공하기 위해서 제시된다. 그러나, 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다.
본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정(procedure), 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있다. 일 컴포넌트는 하나의 컴퓨터 내에 로컬화 될 수 있다. 일 컴포넌트는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통해 전송되는 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.
더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는"이라는 용어는, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.
당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 발명내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.
제시된 실시예들에 대한 설명은 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다. 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니다. 본 발명은 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 시스템은 컴퓨팅 장치(100), 사용자 단말(200), 외부 서버(300), 신호등(400) 및 카메라(500)를 포함할 수 있다. 도 1에 도시된 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 컴퓨팅 장치(100)는 영상분석 기반의 횡단보도를 이용하는 교통약자의 안전 관리 방법을 수행할 수 있다. 여기서, 컴퓨팅 장치(100)는 횡단보도와 관련된 신호등을 제어하기 위한 제어 장치일 수 있으나 이에 한정되는 것은 아니다.
구체적으로, 컴퓨팅 장치(100)는 신호등에 설치된 카메라를 이용하여, 횡단보도의 대기 영역에 존재하는 보행자를 촬영한 영상을 획득할 수 있다. 또한, 컴퓨팅 장치(100)는 영상을 분석하여 보행자의 안면을 인식하고, 안면을 기초로 보행자가 교통약자인지 여부를 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 보행자가 교통약자라고 인식한 경우, 신호등과 연계된 복수의 신호등 각각을 제어할 수 있다.
따라서, 본 발명의 컴퓨팅 장치(100)는 교통약자가 횡단보도 이용 시, 교통약자의 교통 사고를 방지하고, 횡단보도 이용에 대한 안전성을 높일 수 있다.
이하, 컴퓨팅 장치(100)가 영상분석 기반의 횡단보도를 이용하는 교통약자의 안전 관리 방법을 수행하는 방법의 일례는 도 3을 참조하여 후술한다.
일 실시예에서, 컴퓨팅 장치(100)는 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법을 수행할 수 있다. 여기서, 컴퓨팅 장치(100)는 횡단보도와 관련된 신호등을 제어하기 위한 제어 장치일 수 있으나 이에 한정되는 것은 아니다.
구체적으로, 컴퓨팅 장치(100)는 신호등에 설치된 카메라를 이용하여, 횡단보도의 대기 영역에 존재하는 보행자를 촬영한 영상을 획득할 수 있다. 또한, 컴퓨팅 장치(100)는 영상을 분석하여 보행자의 행동을 인식하고, 행동을 기초로 보행자의 횡단 의도를 인식할 수 있다. 또한, 컴퓨팅 장치(100)는 신호등의 현재 신호와 횡단 의도를 기초로 보행자의 무단횡단을 예측할 수 있다. 그리고, 컴퓨팅 장치(100)는 보행자의 무단횡단을 예측한 경우, 경고 알림을 상기 보행자에게 제공할 수 있다.
따라서, 본 발명의 컴퓨팅 장치(100)는 보행자의 무단횡단을 방지하여 보행자의 교통 사고를 예방하고, 횡단보도 이용에 대한 안전성을 높일 수 있다.
이하, 컴퓨팅 장치(100)가 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법을 수행하는 방법의 일례는 도 4를 참조하여 후술한다.
다양한 실시예에서, 컴퓨팅 장치(100)는 신호등(400)에 설치된 카메라(500)로부터 횡단보도의 대기 영역에 존재하는 보행자를 촬영한 영상을 획득하고, 영상을 분석하여 보행자가 교통약자인지 여부를 확인하고, 영상을 분석하여 보행자의 무단횡단 의도를 확인하고, 교통약자인지 여부 및 무단횡단 의도를 확인한 결과를 기초로, 신호등(400)의 신호를 제어할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 웹(Web) 또는 애플리케이션(Application) 기반의 서비스를 제공할 수 있다. 그러나, 이에 한정되지 않는다.
컴퓨팅 장치(100)는 예를 들어, 마이크로프로세서, 메인프레임 컴퓨터, 디지털 프로세서, 휴대용 디바이스 및 디바이스 제어기 등과 같은 임의의 타입의 컴퓨터 시스템 또는 컴퓨터 디바이스를 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.
이하, 컴퓨팅 장치(100)의 하드웨어 구성에 대한 설명은 도 2를 참조하여 후술한다.
한편, 사용자 단말(200)은 네트워크를 통해 컴퓨팅 장치(100)와 연결될 수 있으며, 컴퓨팅 장치(100)에서 수행되는 안전 관리 방법을 제공받는 사용자의 단말일 수 있다.
예를 들어, 사용자 단말(200)은 횡단보도를 이용하는 사용자의 단말 또는 횡단보도가 존재하는 차도를 이용하는 운전자의 단말일 수 있으나 이에 한정되는 것은 아니다.
여기서, 사용자 단말(200)은 예를 들어, 다양한 형태의 컴퓨터 장치를 포함할 수 있다. 자세히 예를 들어, 사용자 단말(200)은 스마트폰, 태블릿 PC, 데스크톱, 노트북과 같은 다양한 단말 장치를 의미할 수 있다.
사용자 단말(200)은 단말의 적어도 일부분에 디스플레이를 포함하며, 컴퓨팅 장치(100)로부터 제공되는 애플리케이션 혹은 확장 프로그램 기반의 서비스 구동을 위한 운영체제를 포함할 수 있다. 예를 들어, 사용자 단말(200)은 스마트폰(Smart-phone)일 수 있으나, 이에 한정되지 않고, 사용자 단말(200)은, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트 패드(Smartpad), 태블릿 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
외부 서버(300)는 네트워크를 통해 컴퓨팅 장치(100)와 연결될 수 있으며, 컴퓨팅 장치(100)가 영상분석 기반의 횡단보도를 이용하는 교통약자의 안전 관리 방법 또는 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법을 수행하기 위하여 필요한 각종 정보/데이터를 송수신 할 수 있고, 컴퓨팅 장치(100)가 영상분석 기반의 횡단보도를 이용하는 교통약자의 안전 관리 방법 또는 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법을 수행함에 따라 생성되는 각종 정보/데이터를 저장 및 관리할 수 있다.
예를 들어, 외부 서버(300)는 컴퓨팅 장치(100)가 수행하는 영상분석 기반의 횡단보도를 이용하는 교통약자의 안전 관리 방법 또는 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법에서 이용되는 정보를 저장하는 데이터베이스 서버일 수 있다. 다른 예를 들어, 외부 서버(300)는 컴퓨팅 장치(100)에서 영상분석 기반의 횡단보도를 이용하는 교통약자의 안전 관리 방법 또는 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법을 수행할 때 이용되는 정보를 제공하는 서버일 수 있다.
네트워크는 컴퓨팅 장치, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미할 수 있다. 예를 들어, 네트워크는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
무선 데이터 통신망은 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
도 2는 본 발명의 일 실시예에 따른 서버의 하드웨어 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 컴퓨팅 장치(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 발명의 기술적 범위가 이에 한정되는 것은 아니다.
버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.
스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 본 발명의 실시예에 따른 프로세스를 수행하는 경우, 스토리지(150)는 개시된 실시예에 따른 분석을 수행하기 위하여 필요한 각종 정보를 저장할 수 있다.
스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(151)은 메모리(120)에 로드 될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램(151)은 신경망 모델의 학습과 관련된 다양한 작업과 관련된 다양한 방법들을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상분석 기반의 횡단보도를 이용하는 교통약자의 안전 관리 방법의 일례를 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 영상분석 기반의 횡단보도를 이용하는 교통약자의 안전 관리 방법을 수행할 수 있다.
도 3을 참조하면, 컴퓨팅 장치(100)는 신호등에 설치된 카메라를 이용하여, 횡단보도의 대기 영역에 존재하는 보행자를 촬영한 영상을 획득할 수 있다(S110).
구체적으로, 신호등에는 좌측차선 정면 안면인식 카메라, 좌측차선 옆면 안면인식 카메라, 좌측차선 옆면 이상행동 인식 카메라, 좌측차선 상면 이상행동 인식 카메라가 기 설정된 위치에 설치될 수 있다. 이 경우, 컴퓨팅 장치(100)는 신호등에 설치된 복수의 카메라 각각으로부터 보행자를 촬영한 영상을 획득할 수 있다.
컴퓨팅 장치(100)는 영상을 획득한 경우, 영상을 분석하여 보행자의 안면을 인식하고, 안면을 기초로 보행자가 교통약자인지 여부를 인식할 수 있다(S120).
일례로, 컴퓨팅 장치(100)는 보행자가 교통약자인지 여부를 인식하기 위해 사전 학습된 제1 신경망 모델에 영상을 입력하여, 보행자의 안면 이미지를 추출할 수 있다. 또한, 컴퓨팅 장치(100)는 안면 이미지를 사전 학습된 제2 신경망 모델에 입력하여, 일반인, 어린이, 노약자 및 장애인 각각에 대응하는 클래스 별 스코어 값을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 스코어 값이 가장 높은 클래스를 기초로, 보행자가 교통약자인이 여부를 인식할 수 있다.
본 발명에서, 제1 신경망 모델은 안면 이미지를 추출하기 위해 학습된 모델로, 다양한 조명 조건과 각도에서 촬영된 사람의 안면 이미지로 구성된 데이터 셋을 입력함으로써 얼굴 영역이 포함된 안면 이미지를 획득하도록 학습될 수 있다.
예를 들어, 제1 신경망 모델은 얼굴의 특징을 추출하는 방법으로, 얼굴의 경계선과 모양을 기반으로 얼굴을 인식하는 Histogram of Oriented Gradients(HOG) 모델 또는 Convolutional Neural Network (CNN) 모델일 수 있으나 이에 한정되는 것은 아니다.
또한, 제2 신경망 모델은 안면 이미지를 분류하기 위해 학습된 모델로, 획득된 안면 이미지로부터 특징 벡터를 추출하고, 클래스 별 스코어 값을 출력하도록 학습될 수 있다. 즉, 제2 신경망 모델은 안면 이미지와 기 설정된 클래스 각각과의 유사한 정도에 대응하는 스코어 값을 출력하도록 학습될 수 있다.
다른 일례로, 컴퓨팅 장치(100)는 보행자가 교통약자인지 여부를 인식하기 위해 안면을 기 저장된 교통약자의 안면과 비교할 수 있다. 그리고, 컴퓨팅 장치(100)는 안면이 기 저장된 교통약자의 안면에 대응하는 경우, 보행자를 교통약자라고 인식할 수 있다. 여기서, 기 저장된 교통약자의 안면은 어린이, 노약자 및 장애인 각각에 대응하는 다양한 사용자의 안면을 포함할 수 있다.
컴퓨팅 장치(100)는 보행자가 교통약자라고 인식한 경우, 신호등과 연계된 복수의 신호등 각각을 제어할 수 있다(S130).
일례로, 컴퓨팅 장치(100)는 신호등에서 보행 신호가 점등되었을 때, 교통약자로 인식된 보행자의 걸음 속도를 인식할 수 있다. 또한, 컴퓨팅 장치(100)는 보행자가 걸음 속도로 횡단보도를 횡단하는 예상 시간을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 예상 시간에 대응하도록 보행 신호의 시간을 연장할 수 있다.
다른 일례로, 컴퓨팅 장치(100)는 안면에 기초하여, 보행자의 교통약자 타입을 분류할 수 있다. 그리고, 컴퓨팅 장치(100)는 교통약자 타입에 대응하는 횡단보도의 횡단 예상 시간을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 신호등과 연계된 복수의 신호등 각각을 제어할 때, 신호등에서 보행 신호가 점등되었을 때, 예상 시간에 대응하도록 보행 신호의 시간을 연장할 수 있다.
즉, 본 발명의 컴퓨팅 장치(100)는 보행이 느린 교통약자가 횡단보도를 안전하게 건널 수 있도록 보행 신호를 늘려, 교통약자의 안전한 횡단보도 이용을 야기할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 보행자의 무단횡단을 예측하고, 이와 관련된 경고 알림을 보행자에게 제공할 수 있다.
구체적으로, 컴퓨팅 장치(100)는 영상을 분석하여 보행자의 행동을 인식하고, 행동을 기초로 보행자의 횡단 의도를 인식할 수 있다.
일례로, 컴퓨팅 장치(100)는 보행자의 횡단 의도를 인식하기 위해 영상을 사전 학습된 신경망 모델에 입력하여, 횡단 의도 있음 및 횡단 의도 없음에 대응하는 클래스 별 스코어 값을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 스코어 값이 가장 높은 클래스를 기초로, 보행자의 횡단 의도를 인식할 수 있다.
다른 일례로, 컴퓨팅 장치(100)는 보행자의 횡단 의도를 인식하기 위해 보행자의 상반신 및 전신에 대한 자세를 분석할 수 있다. 또한, 컴퓨팅 장치(100)는 보행자의 관절 좌표를 예측할 수 있다. 그리고, 컴퓨팅 장치(100)는 보행자의 자세 및 관절 좌표를 기초로 보행자의 횡단 의도를 예측할 수 있다.
컴퓨팅 장치(100)는 사용자의 횡단 의도를 인식한 경우, 신호등의 현재 신호와 횡단 의도를 기초로 보행자의 무단횡단을 예측할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 신호등의 현재 신호가 보행 대기 신호인지 여부를 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 보행 대기 상태에서 보행자의 횡단 의도를 인식한 경우 보행자가 무단횡단을 할 것이라고 예측할 수 있다.
컴퓨팅 장치(100)는 보행자의 무단횡단을 예측한 경우, 경고 알림을 보행자에게 제공할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 신호등에 설치된 스피커를 통해 보행자에게 음성 경고를 제공하거나, 신호등에 설치된 조명을 통해 조명 경고를 제공하거나, 또는 보행자의 단말로 경고 메시지를 제공할 수 있다.
따라서, 본 발명의 컴퓨팅 장치(100)는 보행자의 무단횡단을 방지하여 보행자의 교통 사고를 예방하고, 횡단보도 이용에 대한 안전성을 높일 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 교통약자가 횡단보도의 대기 영역에 존재하는 경우, 인근 보행자에게 교통약자의 횡단에 대한 도움을 요청할 수 있다.
구체적으로, 컴퓨팅 장치(100)는 보행자가 교통약자라고 인식한 경우, 보행자의 인근에 위치한 다른 보행자의 단말을 인식할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 신호등에 설치된 비콘을 이용하여 신호등 인근을 향하여 지향성 신호를 송출할 수 있다. 그리고, 컴퓨팅 장치(100)는 지향성 신호에 대응하는 응답 신호를 전송하는 사용자 단말을 인식하여, 다른 보행자의 단말을 인식할 수 있다.
컴퓨팅 장치(100)는 다른 보행자의 단말을 인식한 경우, 다른 보행자의 단말로 교통약자라고 인식된 보행자의 횡단 도움을 요청할 수 있다. 그리고, 컴퓨팅 장치(100)는 다른 보행자가 횡단 도움 요청에 따른 횡단 도움을 완료한 경우, 다른 보행자의 단말로 리워드를 제공할 수 있다. 여기서, 리워드는 예를 들어, 특정 물품을 구매하거나, 세금 납부 시 할인 받을 수 있는 쿠폰 또는 할인 받을 수 있는 금액에 대응하는 포인트를 포함할 수 있으나 이에 한정되는 것은 아니다.
추가적으로, 컴퓨팅 장치(100)는 다른 보행자의 단말로 횡단 도움을 요청하기 전에, 교통약자로 인식된 보행자의 단말로부터 도움 요청 여부를 수신할 수 있다. 또한, 컴퓨팅 장치(100)는 교통약자로 인식된 보행자의 단말에 사전 설정된 도움 요청 여부를 인식할 수 있다. 컴퓨팅 장치(100)는 교통약자로부터 도움 요청을 받거나, 교통약자의 단말에 도움 요청이 사전 설정되어 있다고 인식한 경우 다른 보행자의 단말로 횡단 도움을 요청할 수 있다.
예를 들어, 교통약자 중 어린이인 경우, 부모가 어린이의 단말에서 도움 요청을 사전 설정해둘 수 있다. 이 경우, 컴퓨팅 장치(100)는 어린이가 횡단 보도 이용 시, 주변 보행자로부터 도움을 받도록 야기할 수 있다.
따라서, 본 발명의 컴퓨팅 장치(100)는 교통약자의 안전한 횡단보고 횡단을 야기할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 횡단보도를 향해 달려오는 차량에 기초하여 신호등을 제어할 수 있다.
구체적으로, 컴퓨팅 장치(100)는 신호등에 설치된 카메라를 이용하여, 차도에서 횡단보도를 향하도록 이동하는 적어도 하나의 차량을 인식할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 신호등에 설치된 카메라로부터 영상을 획득할 수 있다. 그리고, 컴퓨팅 장치(100)는 사전 학습된 객체 인식 모델에 영상을 입력하여, 적어도 하나의 차량을 인식할 수 있다.
컴퓨팅 장치(100)는 적어도 하나의 차량을 인식한 경우 적어도 하나의 차량의 이동 속도 및 적어도 하나의 차량의 현재 위치와 신호등 간의 거리를 인식할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 초음파 센서, 적외선 센서, 라이다 센서, 레이더 센서 및 카메라 센서 중 적어도 하나를 이용하여 신호등과 적어도 하나의 차량 간 거리를 인식할 수 있다. 여기서, 초음파 센서는 초음파를 발사하여 물체에 부딪힌 후 되돌아오는 시간을 측정하여 거리를 계산하는 센서이고, 적외선 센서는 적외선을 발사하여 물체에서 반사되는 적외선을 감지하여 거리를 계산하는 센서이고, 라이다 센서는 레이저를 발사하여 물체에 부딪힌 후 되돌아오는 시간을 측정하여 거리를 계산하는 센서이고, 레이더 센서는 전파를 발사하여 물체에 부딪힌 후 되돌아오는 시간을 측정하여 거리를 계산하는 센서이고, 카메라 센서는 물체의 이미지를 촬영하여 물체의 크기를 측정하여 거리를 계산하는 센서일 수 있으나 이에 한정되는 것은 아니다.
자세히 예를 들어, 컴퓨팅 장치(100)는 차량용 신호등에서 정지 신호로 변경되기 전 점등되는 주황색 등이 점등된 제1 시점에 인식한 신호등과 적어도 하나의 차량 간의 제1 거리와 제1 시점 이후인 제2 시점에 인식한 신호등과 적어도 하나의 차량 간의 제2 거리를 기초로 차량의 이동 속도를 인식할 수 있다.
컴퓨팅 장치(100)는 적어도 하나의 차량의 이동 속도 및 거리를 인식한 경우, 이동 속도 및 거리를 기초로 적어도 하나의 차량의 정지선 위반 또는 신호위반을 예측할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 적어도 하나의 차량의 이동 속도가 기 설정된 속도 이상이거나, 특정 시점에 획득된 거리가 기 설정된 거리 이하인 경우 적어도 하나의 차량이 정지선 위반 또는 신호 위반을 할 것이라고 예측할 수 있다.
다른 예를 들어, 컴퓨팅 장치(100)는 특정 시점에 획득된 거리가 기 설정된 거리 이하인 상태에서 차량의 이동 속도가 기 설정된 속도 이상인 경우, 적어도 하나의 차량이 정지선 위반 또는 신호 위반을 할 것이라고 예측할 수 있다.
컴퓨팅 장치(100)는 적어도 하나의 차량의 정지선 위반 또는 신호위반을 예측한 경우, 경고 알림을 보행자에게 제공하거나, 보행 대기 신호의 시간을 연장할 수 있다. 즉, 컴퓨팅 장치(100)는 보행 가능 신호에 대응하는 등이 늦게 점등되도록 하여, 보행자가 횡단보도에 진입하는 것을 막을 수 있다.
따라서, 본 발명의 컴퓨팅 장치(100)는 교통약자를 포함하는 보행자의 안전을 보장할 수 있다.
추가적인 실시예에서, 컴퓨팅 장치(100)는 보행 대기 구간과 차도 사이에 구비된 볼라드(bollard)를 제어할 수 있다. 여기서, 볼라드는 수직 상승 및 하강이 가능하도록 바닥에 구비될 수 있다.
예를 들어, 컴퓨팅 장치(100)는 보행 대기 신호 동안 볼라드가 수직 상승되어 있는 상태를 유지하도록 제어하고, 보행 가능 신호 동안 볼라드가 수직 하강되어 있는 상태를 유지하도록 제어할 수 있다.
추가적인 실시예에서, 컴퓨팅 장치(100)는 보행 대기 구간의 바닥면에 설치된 진동판을 제어할 수 있다. 여기서, 진동판은 보행 대기 구간에서 대기중인 보행자에게 진동을 전달 가능하도록 보행 대기 구간의 바닥에 구비될 수 있다.
예를 들어, 컴퓨팅 장치(100)는 보행 대기 신호, 보행 가능 신호, 보행자의 무단횡단 및 차량의 교통위반 각각에 대응하는 진동 패턴을 메모리(120)에 저장하고 있을 수 있다. 그리고, 컴퓨팅 장치(100)는 보행 대기 신호, 보행 가능 신호, 보행자의 무단횡단 및 차량의 교통위반 중 적어도 하나가 감지된 경우, 감지된 상황에 대응하는 진동 패턴으로 진동하도록 진동판을 제어할 수 있다.
추가적인 실시예에서, 컴퓨팅 장치(100)는 신호등에 구비된 에어건을 제어할 수 있다. 여기서, 에어건은 보행 대기 구간을 향하여 에어를 발사 가능하도록 신호등에 구비될 수 있다.
예를 들어, 컴퓨팅 장치(100)는 보행 대기 신호, 보행 가능 신호, 보행자의 무단횡단 및 차량의 교통위반 각각에 대응하는 에어 패턴을 메모리(120)에 저장하고 있을 수 있다. 그리고, 컴퓨팅 장치(100)는 보행 대기 신호, 보행 가능 신호, 보행자의 무단횡단 및 차량의 교통위반 중 적어도 하나가 감지된 경우, 감지된 상황에 대응하는 에어 패턴으로 공기가 발사되도록 에어건을 제어할 수 있다.
따라서, 본 발명의 컴퓨팅 장치(100)는 다양한 방식의 신호를 통해 횡단보도의 횡단과 관련된 다양한 정보를 보행자에게 직관적으로 제공할 수 있다.
추가적인 실시예에서, 컴퓨팅 장치(100)는 신호등에 설치된 카메라를 이용하여, 보행 대기 구간의 영상을 획득하고, 차도에 설치된 디스플레이부에 출력할 수 있다. 이 경우, 횡단보도를 향해 운전하는 운전자는 보행 대기 구간을 직관적으로 인식하여 안전 운전을 수행할 수 있다.
추가적인 실시예에서, 컴퓨팅 장치(100)는 제어 가능한 신호등의 점등 상태를 기 설정된 주기 마다 체크할 수 있다. 그리고, 컴퓨팅 장치(100)는 점등 상태의 이상을 감지한 경우 관리자 단말로 해당 정보를 제공하여, 신호등 관리의 편의성을 제공할 수 있다.
추가적인 실시예에서, 컴퓨팅 장치(100)는 횡단보도의 이용 현황을 보행자의 단말로 제공할 수 있다. 구체적으로, 컴퓨팅 장치(100)는 신호등에서 보행자의 단말을 인식할 때마다, 횡단보도 진입 횟수 및 안전한 보행 대기 영역을 벗어난 횟수를 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 횡단보도 진입 횟수, 무단횡단 횟수 및 안전한 보행 대기 영역을 벗어난 횟수에 대한 리포트를 보행자의 단말로 제공할 수 있다.
따라서, 본 발명의 컴퓨팅 장치(100)는 부적절한 행동을 한 사용자로 하여금 자기 반성을 느끼도록 야기할 수 있으며, 나아가 안전한 횡단보고 이용을 촉진할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법의 일례를 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법을 수행할 수 있다.
도 4를 참조하면, 컴퓨팅 장치(100)는 신호등에 설치된 카메라를 이용하여, 횡단보도의 대기 영역에 존재하는 보행자를 촬영한 영상을 획득할 수 있다(S210).
구체적으로, 신호등에는 좌측차선 정면 안면인식 카메라, 좌측차선 옆면 안면인식 카메라, 좌측차선 옆면 이상행동 인식 카메라, 좌측차선 상면 이상행동 인식 카메라가 기 설정된 위치에 설치될 수 있다. 이 경우, 컴퓨팅 장치(100)는 신호등에 설치된 복수의 카메라 각각으로부터 보행자를 촬영한 영상을 획득할 수 있다.
컴퓨팅 장치(100)는 영상을 획득한 경우, 영상을 분석하여 보행자의 행동을 인식하고, 행동을 기초로 보행자의 횡단 의도를 인식할 수 있다(S220).
일례로, 컴퓨팅 장치(100)는 보행자의 횡단 의도를 인식하기 위해 영상을 사전 학습된 신경망 모델에 입력하여, 횡단 의도 있음 및 횡단 의도 없음에 대응하는 클래스 별 스코어 값을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 스코어 값이 가장 높은 클래스를 기초로, 보행자의 횡단 의도를 인식할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 횡단 의도 있음에 대응하는 스코어 값이 횡단 의도 없음에 대응하는 스코어 값보다 큰 경우, 보행자가 횡단을 하려고 하는 것으로 인식할 수 있다.
본 발명에서 사전 학습된 신경망 모델은 사용자의 행동을 분류하기 위해 학습된 모델로, 획득된 영상으로부터 특징 벡터를 추출하고, 클래스 별 스코어 값을 출력하도록 학습될 수 있다. 즉, 신경망 모델은 사용자의 행동이 포함된 영상과 기 설정된 클래스 각각과의 유사한 정도에 대응하는 스코어 값을 출력하도록 학습될 수 있다.
다른 일례로, 컴퓨팅 장치(100)는 보행자의 횡단 의도를 인식하기 위해 보행자의 상반신 및 전신에 대한 자세를 분석할 수 있다. 또한, 컴퓨팅 장치(100)는 보행자의 관절 좌표를 예측할 수 있다. 그리고, 컴퓨팅 장치(100)는 보행자의 자세 및 관절 좌표를 기초로 보행자의 횡단 의도를 예측할 수 있다.
구체적으로, 컴퓨팅 장치(100)는 보행자의 상반신을 분석하여, 대기 상태, 휴대폰을 보는 상태, 팔짱을 끼고있는 상태 중 어느 하나로 분류할 수 있다. 또한, 컴퓨팅 장치(100)는 보행자의 전신을 분석하여 관절 좌표를 인식할 수 있다. 여기서, 관절 좌표는 예를 들어, 보행자의 어깨, 눈, 발, 무릎, 골반 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 컴퓨팅 장치(100)는 관절 좌표를 이용해 보행자의 시점을 판단하고, 돌진 여부를 판단할 수 있다.
즉, 컴퓨팅 장치(100)는 보행자의 어깨의 방향 또는 눈의 방향을 기초로 보행자가 보고 있는 시점의 방향을 예측할 수 있고, 보행자의 무릎, 발, 골반의 각도, 위치, 변화 정도를 기초로 보행자의 돌진 여부를 예측할 수 있다. 그리고, 컴퓨팅 장치(100)는 보행자의 시점 및 돌진 여부를 예측한 결과를 이용하여 보행자의 무단횡단 의도를 예측할 수 있다.
컴퓨팅 장치(100)는 사용자의 횡단 의도를 예측한 경우, 신호등의 현재 신호와 횡단 의도를 기초로 보행자의 무단횡단을 예측할 수 있다(S230). 그리고, 컴퓨팅 장치(100)는 보행자의 무단횡단을 예측한 경우, 경고 알림을 보행자에게 제공할 수 있다(S240).
예를 들어, 컴퓨팅 장치(100)는 신호등에 설치된 스피커를 통해 음성 경고를 제공할 수 있다. 또한, 컴퓨팅 장치(100)는 신호등에 설치된 조명을 통해 조명 경고를 제공할 수 있다. 또한, 컴퓨팅 장치(100)는 보행자의 단말로 경고 메시지를 제공할 수 있다.
따라서, 본 발명의 컴퓨팅 장치(100)는 다양한 방식의 경고 알림을 동시에 제공하여, 무단횡단을 하려는 보행자에게 보다 명확한 경고를 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 신호등을 제어하여 보행자가 횡단하고자 하는 횡단 보도를 향해 달려오는 차량의 운전자에게 주의 신호를 제공할 수 있다.
구체적으로, 컴퓨팅 장치(100)는 보행자의 횡단 의도를 인식할 때, 보행자의 보행 방향을 인식할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 제1 시점에 보행자의 위치를 인식하고, 제1 시점 이후인 제2 시점에 보행자의 위치를 인식할 수 있다.
자세히 예를 들어, 컴퓨팅 장치(100)는 신호등에 설치된 비콘을 이용하여 신호등 주변을 향하여 신호를 송출할 수 있다. 그리고, 컴퓨팅 장치(100)는 신호에 대응하는 응답 신호를 전송하는 사용자 단말을 인식하여, 제1 시점 및 제2 시점 각각의 위치를 인식할 수 있다.
컴퓨팅 장치(100)는 제1 시점 및 제2 시점 각각의 위치를 인식한 경우, 두 위치를 기초로 보행자의 보행 방향을 인식할 수 있다.
컴퓨팅 장치(100)는 보행 방향을 인식한 경우, 보행 방향에 대응하는 횡단보도를 인식할 수 있다. 또한, 컴퓨팅 장치(100)는 차도에서 횡단보도를 향하도록 설치된 차량용 신호등을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 차량용 신호등에 주의 신호가 점등되도록 신호등과 연계된 복수의 신호등 각각을 제어할 수 있다.
따라서, 본 발명의 컴퓨팅 장치(100)는 운전자의 안전운전을 야기하여 보행자의 교통 사고를 예방하고, 횡단보도 이용에 대한 안전성을 높일 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 보행자가 교통약자인지 여부를 인식하고, 교통약자인 보행자가 횡단 보도를 이용할 경우 신호등의 신호를 제어할 수 있다.
구체적으로, 컴퓨팅 장치(100)는 영상을 분석하여 보행자의 안면을 인식하고, 안면을 기초로 보행자가 교통약자인지 여부를 인식할 수 있다.
일례로, 컴퓨팅 장치(100)는 보행자가 교통약자인지 여부를 인식하기 위해 사전 학습된 제1 신경망 모델에 영상을 입력하여, 보행자의 안면 이미지를 추출할 수 있다. 또한, 컴퓨팅 장치(100)는 안면 이미지를 사전 학습된 제2 신경망 모델에 입력하여, 일반인, 어린이, 노약자 및 장애인 각각에 대응하는 클래스 별 스코어 값을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 스코어 값이 가장 높은 클래스를 기초로, 보행자가 교통약자인이 여부를 인식할 수 있다.
다른 일례로, 컴퓨팅 장치(100)는 보행자가 교통약자인지 여부를 인식하기 위해 안면을 기 저장된 교통약자의 안면과 비교할 수 있다. 그리고, 컴퓨팅 장치(100)는 안면이 기 저장된 교통약자의 안면에 대응하는 경우, 보행자를 교통약자라고 인식할 수 있다. 여기서, 기 저장된 교통약자의 안면은 어린이, 노약자 및 장애인 각각에 대응하는 다양한 사용자의 안면을 포함할 수 있다.
컴퓨팅 장치(100)는 보행자가 교통약자라고 인식한 경우, 신호등과 연계된 복수의 신호등 각각을 제어할 수 있다.
일례로, 컴퓨팅 장치(100)는 신호등에서 보행 신호가 점등되었을 때, 교통약자로 인식된 보행자의 걸음 속도를 인식할 수 있다. 또한, 컴퓨팅 장치(100)는 보행자가 걸음 속도로 횡단보도를 횡단하는 예상 시간을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 예상 시간에 대응하도록 보행 신호의 시간을 연장할 수 있다.
다른 일례로, 컴퓨팅 장치(100)는 안면에 기초하여, 보행자의 교통약자 타입을 분류할 수 있다. 그리고, 컴퓨팅 장치(100)는 교통약자 타입에 대응하는 횡단보도의 횡단 예상 시간을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 신호등과 연계된 복수의 신호등 각각을 제어할 때, 신호등에서 보행 신호가 점등되었을 때, 예상 시간에 대응하도록 보행 신호의 시간을 연장할 수 있다.
즉, 본 발명의 컴퓨팅 장치(100)는 보행이 느린 교통약자가 횡단보도를 안전하게 건널 수 있도록 보행 신호를 늘려, 교통약자의 안전한 횡단보도 이용을 야기할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 차량에서 구동되고 있는 네비게이션을 통해 보행자가 횡단하고자 하는 횡단 보도를 향해 달려오는 차량의 운전자에게 주의 신호를 제공할 수 있다.
구체적으로, 컴퓨팅 장치(100)는 신호등에 설치된 카메라를 이용하여, 차도에서 횡단보도를 향하는 방향으로 이동하는 적어도 하나의 차량을 인식할 수 있다. 추가적으로, 컴퓨팅 장치(100)는 네비게이션 시스템으로부터 네비게이션을 이용하는 차량을 인식하고, 횡단보도를 향하는 방향으로 이동하는 적어도 하나의 차량을 인식할 수 있다.
컴퓨팅 장치(100)는 보행자의 행동을 기초로 보행자의 무단횡단을 예측한 경우, 적어도 하나의 차량에서 실행되고 있는 네비게이션을 통해 적어도 하나의 차량의 운전자에게 주의 알림을 제공할 수 있다.
따라서, 본 발명의 컴퓨팅 장치(100)는 운전자의 안전운전을 야기하여 보행자의 교통 사고를 예방하고, 횡단보도 이용에 대한 안전성을 높일 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 보행자가 횡단하고자 하는 횡단 보도를 향해 달려오는 차량의 교통 신호 위반을 예측하고, 교통 신호 위반이 예측된 경우, 경고 알림을 보행자에게 제공하거나 보행 대기 시간을 연장할 수 있다.
구체적으로, 컴퓨팅 장치(100)는 신호등에 설치된 카메라를 이용하여, 차도에서 횡단보도를 향하는 방향으로 이동하는 적어도 하나의 차량을 인식할 수 있다. 또한, 컴퓨팅 장치(100)는 적어도 하나의 차량의 이동 속도 및 적어도 하나의 차량의 현재 위치와 횡단보도의 거리를 인식할 수 있다. 또한, 컴퓨팅 장치(100)는 이동 속도 및 거리를 기초로 적어도 하나의 차량의 정지선 위반 또는 신호위반을 예측할 수 있다. 그리고, 컴퓨팅 장치(100)는 적어도 하나의 차량의 정지선 위반 또는 신호위반을 예측한 경우, 경고 알림을 보행자에게 제공하거나, 보행 대기 신호의 시간을 연장할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 적어도 하나의 차량의 이동 속도가 기 설정된 속도 이상이거나, 특정 시점에 획득된 거리가 기 설정된 거리 이하인 경우 적어도 하나의 차량이 정지선 위반 또는 신호 위반을 할 것이라고 예측할 수 있다.
다른 예를 들어, 컴퓨팅 장치(100)는 특정 시점에 획득된 거리가 기 설정된 거리 이하인 상태에서 차량의 이동 속도가 기 설정된 속도 이상인 경우, 적어도 하나의 차량이 정지선 위반 또는 신호 위반을 할 것이라고 예측할 수 있다.
컴퓨팅 장치(100)는 적어도 하나의 차량의 정지선 위반 또는 신호위반을 예측한 경우, 경고 알림을 보행자에게 제공하거나, 보행 대기 신호의 시간을 연장할 수 있다. 즉, 컴퓨팅 장치(100)는 보행 가능 신호에 대응하는 등이 늦게 점등되도록 하여, 보행자가 횡단보도에 진입하는 것을 막을 수 있다.
따라서, 본 발명의 컴퓨팅 장치(100)는 교통약자를 포함하는 보행자의 안전을 보장할 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 영상분석을 통한 교통약자 안면 인식 및 횡단 의도 예측을 통한 신호등 제어 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 컴퓨팅 장치(100)는 신호등(400)에 설치된 카메라(500)로부터 횡단보도의 대기 영역에 존재하는 보행자를 촬영한 영상을 획득할 수 있다(S100). 횡단보도에서 신호등(400)은 횡단보도의 일 측 및 타 측 각각에 설치되어 일 측 및 타 측에서 횡단하기 위해 대기하고 있는 보행자는 신호등(400)의 신호를 확인하고 횡단할 수 있다.
양 측 각각에 설치된 신호등(400)에는 적어도 하나 이상의 카메라(500)가 각각 설치될 수 있고, 카메라(500)는 기 설정된 영역을 촬영하고, 촬영된 영상을 컴퓨팅 장치(100)로 전송할 수 있다.
도 6은 본 발명의 실시예에 따른 신호등에 설치된 카메라 및 카메라 촬영 범위의 예시를 나타내는 도면이다.
도 6을 참조하면, 제1신호등(410)에는 좌측차선 정면 안면인식 카메라(511), 좌측차선 옆면 안면인식 카메라(512), 좌측차선 옆면 이상행동 인식 카메라(513), 좌측차선 상면 이상행동 인식 카메라(514)가 기 설정된 위치에 설치될 수 있다.
좌측차선 정면 안면인식 카메라(511)는 제1신호등(410)이 설치된 횡단보도의 일 측의 대기 영역에 대기하고 있는 보행자들을 촬영할 수 있다. 또한, 좌측차선 옆면 안면인식 카메라(512)는 횡단보도의 일 측으로부터 횡단보도의 중앙까지를 촬영할 수 있다.
제2신호등(420)에는 좌측차선 정면 안면인식 카메라(521), 좌측차선 옆면 안면인식 카메라(522), 좌측차선 옆면 이상행동 인식 카메라(523), 좌측차선 상면 이상행동 인식 카메라(524)가 기 설정된 위치에 설치될 수 있다.
좌측차선 정면 안면인식 카메라(521)는 제2신호등(420)이 설치된 횡단보도의 타 측의 대기 영역에 대기하고 있는 보행자들을 촬영할 수 있다. 또한, 좌측차선 옆면 안면인식 카메라(522)는 횡단보도의 타 측으로부터 횡단보도의 중앙까지를 촬영할 수 있다.
즉, 제1신호등(410)에 설치된 좌측차선 정면 안면인식 카메라(511), 좌측차선 옆면 안면인식 카메라(512), 제2신호등(420)에 설치된 좌측차선 정면 안면인식 카메라(521), 좌측차선 옆면 안면인식 카메라(522)를 통해 횡단보도를 횡단하는 모든 보행자들을 촬영하는 것이 가능할 수 있다. 예를 들어, 대기 영역에 대기하고 있는 보행자들이 많은 경우 대기 영역 내에서 촬영되지 않는 보행자가 존재할 수 있는데, 횡단보도 중앙까지를 촬영하는 카메라에 의해 횡단보도를 보행하는 중에도 보행자들을 촬영할 수 있음에 따라 모든 보행자를 촬영하는 것이 가능할 수 있다. 이에 따라, 컴퓨팅 장치(100)는 횡단보도를 보행하려는 모든 보행자의 안면 인식을 수행할 수 있다.
도 7은 본 발명의 실시예에 따른 신호등에 설치된 카메라 및 카메라 촬영 범위의 예시를 나타내는 도면이다.
도 7을 참조하면, 제1신호등(410)에는 좌측차선 정면 안면인식 카메라(511), 좌측차선 옆면 안면인식 카메라(512), 좌측차선 옆면 이상행동 인식 카메라(513), 좌측차선 상면 이상행동 인식 카메라(514)가 기 설정된 위치에 설치될 수 있다.
좌측차선 옆면 이상행동 인식 카메라(513)는 제1신호등(410)이 설치된 횡단보도의 일 측의 대기 영역에 대기하고 있는 보행자들을 촬영할 수 있다. 또한, 좌측차선 상면 이상행동 인식 카메라(514)는 횡단보도의 일 측으로부터 횡단보도의 중앙까지를 촬영할 수 있다.
제2신호등(420)에는 좌측차선 정면 안면인식 카메라(521), 좌측차선 옆면 안면인식 카메라(522), 좌측차선 옆면 이상행동 인식 카메라(523), 좌측차선 상면 이상행동 인식 카메라(524)가 기 설정된 위치에 설치될 수 있다.
좌측차선 옆면 이상행동 인식 카메라(523)는 제2신호등(420)이 설치된 횡단보도의 타 측의 대기 영역에 대기하고 있는 보행자들을 촬영할 수 있다. 또한, 좌측차선 상면 이상행동 인식 카메라(524)는 횡단보도의 타 측으로부터 횡단보도의 중앙까지를 촬영할 수 있다.
즉, 제1신호등(410)에 설치된 좌측차선 옆면 이상행동 인식 카메라(513), 좌측차선 상면 이상행동 인식 카메라(514), 제2신호등(420)에 설치된 좌측차선 옆면 이상행동 인식 카메라(523), 좌측차선 상면 이상행동 인식 카메라(524)를 통해 횡단보도를 횡단하는 모든 보행자들을 촬영하는 것이 가능할 수 있다. 예를 들어, 대기 영역에 대기하고 있는 보행자들이 많은 경우 대기 영역 내에서 촬영되지 않는 보행자가 존재할 수 있는데, 횡단보도 중앙까지를 촬영하는 카메라에 의해 횡단보도를 보행하는 중에도 보행자들을 촬영할 수 있음에 따라 모든 보행자를 촬영하는 것이 가능할 수 있다. 이에 따라, 컴퓨팅 장치(100)는 횡단보도를 보행하려는 모든 보행자의 이상행동을 분석하는 것이 가능할 수 있다.
컴퓨팅 장치(100)는 카메라(500)로부터 획득되는 영상을 분석하여 보행자가 교통약자인지 여부를 확인할 수 있다(S200). 컴퓨팅 장치(100)는 획득되는 영상에서 대기 영역에 존재하는 보행자를 구분할 수 있다. 컴퓨팅 장치(100)는 구분되는 보행자의 안면을 인식하고, 기 저장된 교통약자의 안면과 비교할 수 있다. 예를 들어, 교통약자는 노인, 장애인, 아동 등을 포함하는 것으로 공공기관에는 교통약자들에 대한 신상정보 및 안면정보가 저장되어 있을 수 있고, 컴퓨팅 장치(100)는 신상정보 및 안명정보를 획득하여 보행자의 안면과 비교할 수 있다. 그러나, 이에 한정되는 것은 아니며, 컴퓨팅 장치(100)는 별도의 데이터베이스에 교통약자에 대한 안면정보를 저장하고 있을 수 있고, 저장되어 있는 안면정보를 보행자의 안면과 비교할 수 있다.
한편, 컴퓨팅 장치(100)는 교통약자의 특징을 저장하고 있고, 안면을 분석한 결과 교통약자의 특징에 해당하는 특징을 포함하고 있는 경우 교통약자인 것으로 판단할 수도 있다.
또한, 컴퓨팅 장치(100)는 카메라(500)로부터 획득되는 영상을 분석하여 보행자가 무단횡단 의도를 확인할 수 있다(S300). 컴퓨팅 장치(100)는 획득되는 영상에서 대기 영역에 존재하는 보행자를 구분할 수 있다. 컴퓨팅 장치(100)는 구분되는 보행자의 자세를 분석할 수 있고, 보행자의 관절 좌표를 예측할 수 있다. 컴퓨팅 장치(100)는 보행자의 상반신 및 전신에 대해 보행자의 자세를 분석할 수 있으며, 상반신에 대한 자세를 분석하여 보행자가 대기상태인지, 휴대폰을 보는 상태인지, 팔짱을 끼고 있는 상태인지 등을 판단할 수 있다. 그러나, 이에 한정되는 것은 아니며, 동료와 이야기를 하고 있는 상태, 전화를 하고 있는 상태 등 더 다양한 자세를 분석하는 것 또한 가능할 수 있다.
또한, 컴퓨팅 장치(100)는 전신에 대한 자세를 분석하여 사용자의 관절 좌표를 예측할 수 있다. 예를 들어, 관절 좌표는 보행자의 어깨, 눈, 발, 무릎, 골반 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
컴퓨팅 장치(100)는 관절 좌표를 이용하여 보행자의 시점을 판단하고, 돌진 여부를 판단할 수 있다. 즉, 컴퓨팅 장치(100)는 보행자의 어깨의 방향 또는 눈의 방향을 기초로 보행자가 보고있는 시점의 방향을 예측할 수 있고, 보행자의 무릎, 발, 골반의 각도, 위치, 변화 정도를 기초로 보행자의 돌진 여부를 예측할 수 있다. 컴퓨팅 장치(100)는 보행자의 시점 및 돌진 여부를 예측한 결과를 이용하여 보행자의 무단횡단 의도를 예측할 수 있다.
컴퓨팅 장치(100)는 교통약자인지 여부 및 무단횡단 의도를 확인한 결과를 기초로, 신호등의 신호를 제어할 수 있다(S400).
컴퓨팅 장치(100)는 횡단보도의 대기 영역에 존재하는 보행자가 교통약자인 것으로 판단되는 경우 교통약자의 걸음 속도에 따라 신호등의 보행 신호가 연장되도록 제어할 수 있다. 교통약자의 경우 걸음이 느려 기존 신호등의 보행 신호에 횡단을 완료하지 못할 수 있다. 이는, 교통사고를 발생하게 하는 원인이 될 수 있으므로, 교통약자의 걸음에 맞추어 신호등의 보행 신호가 충분한 시간동안 켜져있도록 신호등의 신호를 제어할 수 있다.
또한, 컴퓨팅 장치(100)는 보행자가 무단횡단을 하려는 것으로 예측되는 경우 음성, LED, 보행자가 소지한 사용자 단말 중 적어도 하나 이상의 수단을 이용한 알림을 통해 보행자에게 경고할 수 있다.
즉, 도 8 및 도 9에서와 같이, 컴퓨팅 장치(100)는 신호등에 설치되어 있는 신호등 안내 음성을 출력하는 기기를 제어하여 경보음을 발생하도록 할 수 있으며, 신호등 또는 대기 영역에 설치되어 있는 LED가 점등하도록 제어할 수 있으며, 보행자가 소지한 단말을 통해 경보음 또는 진동이 발생하도록 제어할 수 있다.
도 8은 본 발명의 실시예에 따른 경보음 및 LED를 통해 보행자에게 경보하는 예시를 도시한 도면이고, 도 9는 본 발명의 실시예에 따른 사용자 단말을 통해 보행자에게 경보하는 예시를 도시한 도면이다.
또한, 신호등에 설치되어 있는 신호등 안내 음성을 출력하는 기기, 신호등 또는 대기 영역에 설치되어 있는 LED, 보행자가 소지한 사용자 단말은 횡단보도의 신호가 보행신호로 변한 경우에도 횡단 가능함을 알리는 알림을 제공할 수 있고, 이를 통해 교통약자들이 안내를 통해 보행신호에 횡단을 하도록 할 수 있다.
도 10은 본 발명의 실시예에 따른 차량 신호등에 주의등을 점등하는 예시를 도시한 도면이다.
도 10을 참조하면, 컴퓨팅 장치(100)는 횡단보도의 대기 영역에 존재하는 보행자가 교통약자인 것으로 판단되는 경우 교차로에 위치한 차량 신호등에 주의등이 점등되도록 제어할 수 있다. 이를 통해, 차량 운전자가 횡단보도에서 교통약자가 횡단하고 있음을 인지하도록 할 수 있어 안전운전을 유도할 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
    신호등에 설치된 카메라를 이용하여, 횡단보도의 대기 영역에 존재하는 보행자를 촬영한 영상을 획득하는 단계;
    상기 영상을 분석하여 상기 보행자의 행동을 인식하고, 상기 행동을 기초로 상기 보행자의 횡단 의도를 인식하는 단계;
    상기 신호등의 현재 신호와 상기 횡단 의도를 기초로 상기 보행자의 무단횡단을 예측하는 단계; 및
    상기 보행자의 무단횡단을 예측한 경우, 경고 알림을 상기 보행자에게 제공하는 단계;
    를 포함하고,
    상기 방법은,
    상기 영상을 기초로 상기 보행자가 교통약자인지 여부를 인식하는 단계;
    상기 보행자가 교통약자라고 인식한 경우, 상기 보행자의 인근에 위치한 다른 보행자의 단말을 인식하는 단계;
    상기 다른 보행자의 단말로 상기 교통약자라고 인식된 상기 보행자의 횡단 도움을 요청하는 단계; 및
    상기 다른 보행자가 상기 횡단 도움 요청에 따른 횡단 도움을 완료한 경우, 상기 다른 보행자의 단말로 리워드를 제공하는 단계;
    를 더 포함하는,
    영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법.
  2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈
    제1 항에 있어서,
    상기 영상을 분석하여 상기 보행자의 행동을 인식하고, 상기 행동을 기초로 상기 보행자의 횡단 의도를 인식하는 단계는,
    상기 영상을 사전 학습된 신경망 모델에 입력하여, 횡단 의도 있음 및 횡단 의도 없음에 대응하는 클래스 별 스코어 값을 인식하는 단계; 및
    상기 스코어 값이 가장 높은 클래스를 기초로, 상기 보행자의 횡단 의도를 인식하는 단계;
    를 포함하는,
    영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법.
  3. 제1 항에 있어서,
    상기 영상을 분석하여 상기 보행자의 행동을 인식하고, 상기 행동을 기초로 상기 보행자의 횡단 의도를 인식하는 단계는,
    상기 보행자의 상반신 및 전신에 대한 자세를 분석하는 단계;
    상기 보행자의 관절 좌표를 예측하는 단계; 및
    상기 보행자의 상기 자세 및 상기 관절 좌표를 기초로 상기 보행자의 횡단 의도를 예측하는 단계;
    를 포함하는,
    영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법.
  4. 제1 항에 있어서,
    상기 보행자의 무단횡단을 예측한 경우, 경고 알림을 상기 보행자에게 제공하는 단계는,
    상기 신호등에 설치된 스피커를 통해 음성 경고를 제공하는 단계;
    상기 신호등에 설치된 조명을 통해 조명 경고를 제공하는 단계; 및
    상기 보행자의 단말로 경고 메시지를 제공하는 단계;
    를 포함하는,
    영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법.
  5. 제1 항에 있어서,
    상기 방법은,
    상기 보행자의 횡단 의도를 인식할 때, 상기 보행자의 보행 방향을 인식하는 단계;
    상기 보행 방향에 대응하는 횡단보도를 인식하는 단계;
    차도에서 상기 횡단보도를 향하도록 설치된 차량용 신호등을 인식하는 단계; 및
    상기 차량용 신호등에 주의 신호가 점등되도록 상기 신호등과 연계된 복수의 신호등 각각을 제어하는 단계;
    를 더 포함하는,
    영상분석 기반의 횡단 보고 보행자 안전 관리 방법.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제1 항에 있어서,
    상기 방법은,
    상기 영상을 분석하여 상기 보행자의 안면을 인식하고, 상기 안면을 기초로 상기 보행자가 교통약자인지 여부를 인식하는 단계; 및
    상기 보행자가 교통약자라고 인식한 경우, 상기 신호등과 연계된 복수의 신호등 각각을 제어하는 단계;
    를 더 포함하는,
    영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법.
  7. 제1 항에 있어서,
    상기 방법은,
    상기 신호등에 설치된 카메라를 이용하여, 차도에서 상기 횡단보도를 향하는 방향으로 이동하는 적어도 하나의 차량을 인식하는 단계; 및
    상기 보행자의 무단횡단을 예측한 경우, 상기 적어도 하나의 차량에서 실행되고 있는 네비게이션을 통해 상기 적어도 하나의 차량의 운전자에게 주의 알림을 제공하는 단계;
    를 더 포함하는,
    영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제1 항에 있어서,
    상기 방법은,
    상기 신호등에 설치된 카메라를 이용하여, 차도에서 상기 횡단보도를 향하는 방향으로 이동하는 적어도 하나의 차량을 인식하는 단계;
    상기 적어도 하나의 차량의 이동 속도 및 상기 적어도 하나의 차량의 현재 위치와 상기 신호등 간의 거리를 인식하는 단계;
    상기 이동 속도 및 상기 거리를 기초로 상기 적어도 하나의 차량의 정지선 위반 또는 신호위반을 예측하는 단계; 및
    상기 적어도 하나의 차량의 정지선 위반 또는 신호위반을 예측한 경우, 주의 알림을 상기 보행자에게 제공하거나, 보행 대기 신호의 시간을 연장하는 단계;
    를 더 포함하는,
    영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법.
  9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를
    포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 항의 방법을 수행하는, 장치.
  10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출 가능한 기록매체에 저장된 컴퓨터프로그램.
KR1020230080505A 2022-12-05 2023-06-22 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법, 장치 및 프로그램 KR102629582B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020240009558A KR20240084511A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 보행자 행동 인식 및 보행안전 관리 방법, 장치 및 프로그램
KR1020240009557A KR20240084510A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 보행자 안면 인식 방법, 장치 및 프로그램
KR1020240009559A KR20240084512A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 위험차량 인식 및 보행자 안전 관리 방법, 장치 및 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220167631 2022-12-05
KR1020220167631 2022-12-05

Related Child Applications (3)

Application Number Title Priority Date Filing Date
KR1020240009557A Division KR20240084510A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 보행자 안면 인식 방법, 장치 및 프로그램
KR1020240009559A Division KR20240084512A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 위험차량 인식 및 보행자 안전 관리 방법, 장치 및 프로그램
KR1020240009558A Division KR20240084511A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 보행자 행동 인식 및 보행안전 관리 방법, 장치 및 프로그램

Publications (1)

Publication Number Publication Date
KR102629582B1 true KR102629582B1 (ko) 2024-01-29

Family

ID=89716736

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020230080505A KR102629582B1 (ko) 2022-12-05 2023-06-22 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법, 장치 및 프로그램
KR1020230080504A KR102629581B1 (ko) 2022-12-05 2023-06-22 영상분석 기반의 횡단보도를 이용하는 교통약자의 안전 관리 방법, 장치 및 프로그램
KR1020240009559A KR20240084512A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 위험차량 인식 및 보행자 안전 관리 방법, 장치 및 프로그램
KR1020240009558A KR20240084511A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 보행자 행동 인식 및 보행안전 관리 방법, 장치 및 프로그램
KR1020240009557A KR20240084510A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 보행자 안면 인식 방법, 장치 및 프로그램

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020230080504A KR102629581B1 (ko) 2022-12-05 2023-06-22 영상분석 기반의 횡단보도를 이용하는 교통약자의 안전 관리 방법, 장치 및 프로그램
KR1020240009559A KR20240084512A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 위험차량 인식 및 보행자 안전 관리 방법, 장치 및 프로그램
KR1020240009558A KR20240084511A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 보행자 행동 인식 및 보행안전 관리 방법, 장치 및 프로그램
KR1020240009557A KR20240084510A (ko) 2022-12-05 2024-01-22 딥러닝 영상분석을 통한 보행자 안면 인식 방법, 장치 및 프로그램

Country Status (1)

Country Link
KR (5) KR102629582B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101354049B1 (ko) * 2012-10-30 2014-02-05 현대엠엔소프트 주식회사 무단횡단 보행자 정보 알림 시스템 및 그 방법
KR20170139800A (ko) * 2016-06-10 2017-12-20 윤종식 과속 및 신호위반에 의한 횡단보도 교통사고 예방 방법 및 그 시스템
KR20200056602A (ko) * 2018-11-15 2020-05-25 송응열 객체 움직임 인식 방법 및 장치
KR102215566B1 (ko) * 2020-05-25 2021-02-15 주식회사 핀텔 스마트 안전 횡단보도 서비스 제공 시스템
KR20220067159A (ko) * 2020-11-17 2022-05-24 연세대학교 산학협력단 이상 상황 감지 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6216624B2 (ja) * 2013-11-19 2017-10-18 東芝テック株式会社 年齢層判定装置および年齢層判定プログラム
KR101847049B1 (ko) * 2016-04-07 2018-04-09 한국건설기술연구원 영상 장치를 이용한 고령자 판별 시스템 및 방법
KR102410061B1 (ko) * 2020-09-28 2022-06-21 주식회사 예스정보통신 자동 위급상황 알림 기능을 갖는 보안등

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101354049B1 (ko) * 2012-10-30 2014-02-05 현대엠엔소프트 주식회사 무단횡단 보행자 정보 알림 시스템 및 그 방법
KR20170139800A (ko) * 2016-06-10 2017-12-20 윤종식 과속 및 신호위반에 의한 횡단보도 교통사고 예방 방법 및 그 시스템
KR20200056602A (ko) * 2018-11-15 2020-05-25 송응열 객체 움직임 인식 방법 및 장치
KR102215566B1 (ko) * 2020-05-25 2021-02-15 주식회사 핀텔 스마트 안전 횡단보도 서비스 제공 시스템
KR20220067159A (ko) * 2020-11-17 2022-05-24 연세대학교 산학협력단 이상 상황 감지 장치 및 방법

Also Published As

Publication number Publication date
KR20240084512A (ko) 2024-06-13
KR20240084511A (ko) 2024-06-13
KR20240084510A (ko) 2024-06-13
KR102629581B1 (ko) 2024-01-29

Similar Documents

Publication Publication Date Title
JP6817337B2 (ja) 自動運転車のための乗客の乗車の円滑化
KR102215566B1 (ko) 스마트 안전 횡단보도 서비스 제공 시스템
CN106463060B (zh) 处理装置、处理系统和处理方法
US9637118B2 (en) Processing apparatus, processing system, and processing method
US20200394393A1 (en) Gesture Control for Communication with an Autonomous Vehicle on the Basis of a Simple 2D Camera
US20150332103A1 (en) Processing apparatus, computer program product, and processing method
US20180185232A1 (en) Wearable navigation system for blind or visually impaired persons with wireless assistance
CN110998687B (zh) 控制系统以及控制方法
CN111461020B (zh) 不安全使用手机行为的识别方法、设备及相关存储介质
JP6734164B2 (ja) 路側機、路側機制御方法及び路側機制御プログラム
CN110506277B (zh) 用于构建鲁棒的深度卷积神经网络的滤波器重用机制
CN109584579B (zh) 基于人脸识别的交通信号灯控制方法及计算机设备
US11830366B2 (en) Using geofences to restrict vehicle operation
Raja et al. SPAS: Smart pothole-avoidance strategy for autonomous vehicles
JP2019204241A (ja) 通知方法
KR102629582B1 (ko) 영상분석 기반의 횡단보도를 이용하는 보행자의 안전 관리 방법, 장치 및 프로그램
US10885785B2 (en) Network-controllable physical resources for vehicular transport system safety
KR20230102056A (ko) 우회전 신호등 및 이를 이용한 교차로 사고방지 시스템
EP3214611A1 (en) Information processing apparatus, information processing method, and computer-readable medium
JP2022112897A (ja) 情報処理装置及び情報処理方法
JP2020135804A (ja) 信号機制御装置、第１路側機、情報処理装置及び信号機制御方法
JP7356542B2 (ja) 無人車両運転ポリシーの調整方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム
KR102637948B1 (ko) 정책기반 가변적 영상분석 아키택쳐 생성방법, 장치 및 이에 대한 컴퓨터 프로그램
CN115359648B (zh) 道路通行预警方法、移动设备及计算机可读存储介质
KR102597023B1 (ko) 어린이 보호를 위한 바닥신호등 시스템 및 이의 동작방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant