KR102672862B1 - 보행자 신호등 인지 장치 및 그 방법 - Google Patents

보행자 신호등 인지 장치 및 그 방법 Download PDF

Info

Publication number
KR102672862B1
KR102672862B1 KR1020240020993A KR20240020993A KR102672862B1 KR 102672862 B1 KR102672862 B1 KR 102672862B1 KR 1020240020993 A KR1020240020993 A KR 1020240020993A KR 20240020993 A KR20240020993 A KR 20240020993A KR 102672862 B1 KR102672862 B1 KR 102672862B1
Authority
KR
South Korea
Prior art keywords
pedestrian traffic
traffic light
processor
vehicle
signal
Prior art date
Application number
KR1020240020993A
Other languages
English (en)
Inventor
권기혁
이승환
Original Assignee
주식회사 에스더블유엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스더블유엠 filed Critical 주식회사 에스더블유엠
Priority to KR1020240020993A priority Critical patent/KR102672862B1/ko
Application granted granted Critical
Publication of KR102672862B1 publication Critical patent/KR102672862B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2101/00—Indexing scheme relating to the type of digital function generated
    • G06F2101/06—Co-ordinate transformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 보행자 신호등 인지 장치 및 그 방법이 개시된다. 본 발명의 보행자 신호등 인지 장치는, 카메라 모듈, 센서모듈, GPS 모듈, 저장장치 및, 카메라 모듈, 센서모듈, GPS 모듈 및 저장장치와 작동적으로 연결(operatively coupled to)된 프로세서를 포함하되, 프로세서는 카메라 모듈로부터 촬영영상을 입력받아 보행자 신호등을 식별하고, GPS 모듈을 통해 인식된 차량의 위치를 기반으로 저장장치에서 지도정보를 읽어와 지도정보로부터 식별된 보행자 신호등의 헤딩정보와 센서모듈을 통해 인식한 차량의 헤딩정보에 기초하여 신호 인지시점을 판단한 후 촬영영상으로부터 식별한 보행자 신호등의 신호를 인지하는 것을 특징으로 한다.

Description

보행자 신호등 인지 장치 및 그 방법{APPARATUS FOR RECOGNIZING PEDESTRIAN TRAFFIC LIGHT AND METHOD THEREOF}
본 발명은 보행자 신호등 인지 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 차량의 주행 중 보행자 신호등을 인식하는 보행자 신호등 인지 장치 및 그 방법에 관한 것이다.
현재 자동차에는 전방, 후방, 측방에 다양한 센서를 장착하여 운전자의 안전 운전을 지원하는 서비스를 개발하고 있다. 즉, 후진할 때 센서를 통해 장애물과의 거리를 소리나 화면으로 표시해 주는 장치, 전방의 차선이나 차량을 인식하여 경보해 주는 장치 등을 통하여 운전자의 안전 운행을 돕고 있다.
이러한 부가 서비스 장치를 장착하고서도 차량 주행 중 사고가 많이 발생하는 장소로는 교차로가 있으며, 차선 변경 시 및 신호등 변경 시에도 운전자의 부주의로 인한 사고가 많이 발생한다.
그에 따라, 운전자의 부주의로 인한 사고를 미연에 방지하기 위해 다양한 기술들이 제안되고 있다. 그 중의 하나로, 신호등 변경 시에 신호등의 색상을 인식하여 운전자에게 보여주는 기술이 있다. 신호등 변경 시에 신호등의 색상을 인식하여 운전자에게 보여주는 기술은 신호등의 색상이 빨강, 노랑, 파랑이라는 정보로부터 색상 정보를 추출하는 알고리즘을 사용하거나, 신호등이 사각형 테두리에 원의 형태를 이루어진 것을 이용한다.
하지만, 차량이 밀집되는 도심 지역에서는, 주변 차량에 의해 신호등 가림, 카메라 화각의 한계, 원거리 신호등 인식 불가능 등에 의해 신호등을 인식하지 못하는 현상이 빈번하게 발생한다.
한편, 최근에는 자율주행 기술이 레벨 4 이상으로 발전하면서 시가지 혹은 교차로에서의 신호등 인식 성능이 자율주행 시스템에 있어서 중요해지고 있다.
따라서, 교차로 또는 신호등이 존재하는 도로에서 신호등을 인식하기 위한 추가적인 방법이 끊임없이 요구되고 있다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2017-0069551호(2017.06.21. 공개, 신호등 인식 시스템 및 그 방법)에 개시되어 있다.
이러한 발명의 배경이 되는 기술에 개시된 상술한 정보는 본 발명의 배경에 대한 이해도를 향상시키기 위한 것일 뿐이며, 따라서 종래 기술을 구성하지 않는 정보를 포함할 수도 있다.
현재 카메라를 이용한 인지 기술은 이미지 전체에서 오브젝트를 인지하거나 ROI를 특정하여 그 내부의 오브젝트를 인지하는 형태로 인식하고 있다. 하지만 특별히 보행자 신호등의 경우에는, 다른 의미를 지닌 두 개의 오브젝트가 가까이 붙어 있는 형태이기 때문에 오인지할 수 있는 상황이 높아 판단부에 정확한 인지결과를 넘기기 위해서는 주행상황에 맞게 신호등을 구별하여 인식해야할 필요성이 높게 요구된다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 차량의 주행 중 차량의 헤딩정보와 신호등의 헤딩정보를 기반으로 보행자 신호등을 인식하는 보행자 신호등 인지 장치 및 그 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 기술적 과제는 상술한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래에 기재된 발명의 설명으로부터 당업자에게 명확하게 이해될 수 있다.
본 발명의 일 측면에 따른 보행자 신호등 인지 장치는, 카메라 모듈; 센서모듈; GPS 모듈; 저장장치; 및 카메라 모듈, 센서모듈, GPS 모듈 및 저장장치와 작동적으로 연결(operatively coupled to)된 프로세서;를 포함하되, 프로세서는 카메라 모듈로부터 촬영영상을 입력받아 보행자 신호등을 식별하고, GPS 모듈을 통해 인식된 차량의 위치를 기반으로 저장장치에서 지도정보를 읽어와 지도정보로부터 식별된 보행자 신호등의 헤딩정보와 센서모듈을 통해 인식한 차량의 헤딩정보에 기초하여 신호 인지시점을 판단한 후 촬영영상으로부터 식별한 보행자 신호등의 신호를 인지하는 것을 특징으로 한다.
본 발명에서 센서모듈은, 관성센서를 포함하는 것을 특징으로 한다.
본 발명에서 프로세서는, 보행자 신호등의 램프방향 정보를 통해 보행자 신호등의 헤딩각을 구하고, 센서모듈로부터 감지된 차량의 이동방향을 기반으로 차량의 헤딩각을 산출하여 좌표계 변환을 통해 보행자 신호등의 헤딩각과 차량의 헤딩각을 비교하는 것을 특징으로 한다.
본 발명에서 프로세서는, 차량의 헤딩각과 보행자 신호등의 헤딩각의 헤딩각 차이를 기반으로 헤딩각 차이가 설정범위 이내인 경우, 신호 인지시점으로 판단하고 보행자 신호등의 신호를 인지하는 것을 특징으로 한다.
본 발명에서 프로세서는, 복수의 보행자 신호등이 식별된 경우 헤딩각 차이가 복수의 보행자 신호등 간의 사잇각의 절반을 초과하는 시점을 신호 인지시점으로 판단하는 것을 특징으로 한다.
본 발명에서 프로세서는, 신호 인지시점으로 판단되면 보행자 신호등에 ROI를 설정하여 보행자 신호등의 신호를 인지하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 보행자 신호등 인지 방법은, 프로세서가 카메라 모듈로부터 촬영영상을 입력받아 보행자 신호등을 식별하는 단계; 프로세서가 보행자 신호등을 식별한 경우 GPS 모듈을 통해 차량의 위치를 인식하는 단계; 프로세서가 인식된 차량의 위치를 기반으로 저장장치에서 지도정보를 읽어와 보행자 신호등의 헤딩정보를 파악하는 단계; 프로세서가 센서모듈로부터 차량의 헤딩정보를 인식하는 단계; 프로세서가 보행자 신호등의 헤딩정보와 차량의 헤딩정보를 비교하여 신호 인지시점을 판단하는 단계; 및 프로세서가 신호 인지시점으로 판단되면 촬영영상으로부터 식별한 보행자 신호등의 신호를 인지하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서 신호 인지시점을 판단하는 단계는, 프로세서가 보행자 신호등의 램프방향 정보를 통해 보행자 신호등의 헤딩각을 구하고, 센서모듈로부터 감지된 차량의 이동방향을 기반으로 차량의 헤딩각을 산출하여 좌표계 변환을 통해 보행자 신호등의 헤딩각과 차량의 헤딩각을 비교하여 판단하는 것을 특징으로 한다.
본 발명에서 신호 인지시점을 판단하는 단계는, 프로세서가 차량의 헤딩각과 보행자 신호등의 헤딩각의 헤딩각 차이를 기반으로 헤딩각 차이가 설정범위 이내인 경우 신호 인지시점으로 판단하는 것을 특징으로 한다.
본 발명에서 신호 인지시점을 판단하는 단계는, 프로세서가 복수의 보행자 신호등이 식별된 경우, 헤딩각 차이가 복수의 보행자 신호등 간의 사잇각의 절반을 초과하는 시점을 신호 인지시점으로 판단하는 것을 특징으로 한다.
본 발명에서 신호를 인지하는 단계는, 프로세서가 신호 인지시점으로 판단되면 보행자 신호등에 ROI를 설정하여 보행자 신호등의 신호를 인지하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 보행자 신호등 인지 장치 및 그 방법은 차량의 주행 중 차량의 헤딩정보와 신호등의 헤딩정보를 기반으로 보행자 신호등을 인식함으로써, 교차로 환경에서 차량의 주행경로를 반영할 뿐만 아니라 신호의 인지시점을 결정하여 보행자 신호등의 정확한 신호정보를 제공할 수 있다.
다만, 본 발명을 통해 얻을 수 있는 효과는 상술한 효과들에 제한되지 않으며, 언급되지 않은 또 다른 기술적인 효과들은 아래에 기재된 발명의 설명으로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 보행자 신호등 인지 장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 보행자 신호등 인지 장치에서 인식하는 보행자 신호등의 촬영영상이다.
도 3은 본 발명의 일 실시예에 따른 보행자 신호등 인지 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 보행자 신호등 인지 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 보행자 신호등 인지 장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 보행자 신호등 인지 장치에서 인식하는 보행자 신호등의 촬영영상이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 보행자 신호등 인지 장치는, 카메라 모듈(10), 센서모듈(20), GPS 모듈(30), 저장장치(60), 메모리(40), 출력모듈(70) 및 프로세서(50)를 포함할 수 있다.
카메라 모듈(10)은 도 2에 도시된 바와 같이 주행 중 차량의 전방을 촬영하여 촬영영상을 제공할 수 있다.
센서모듈(20)은 관성센서를 포함하여, 차량의 회전방향이나 주행상태를 감지하여 주행경로를 판단하도록 할 수 있다.
GPS 모듈(30)은 GPS 정보를 수신하여 현재 차량의 위치를 파악할 수 있다.
저장장치(60)는 고정밀 지도(HD Map)를 저장하여 보행자 신호등의 위치 및 램프 방향을 제공할 수 있다.
출력모듈(70)은 보행자 신호등 인지 장치에서 신호를 인지한 인지결과를 차량 내 네트워크에 연결되어 차량의 전자제어장치에 출력할 수 있다.
메모리(40)는 보행자 신호등 인지 장치를 위한 실행 프로그램뿐만 아니라 동작과 관련된 데이터를 저장할 수 있으며, 필요에 따라 프로세서(50)에 의해 취사선택될 수 있다.
즉, 메모리(40)에는 보행자 신호등 인지 장치의 구동을 위한 운영 체제나 어플리케이션(프로그램 또는 애플릿)의 실행과정에서 발생되는 여러 종류의 데이터가 저장된다. 이때, 메모리(40)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
또한, 메모리(40)는 프로세서(50)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(40)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(50)는 카메라 모듈(10), 센서모듈(20), GPS 모듈(30), 저장장치(60), 출력모듈(70) 및 메모리(40)와 작동적으로 연결(operatively coupled to)되어, 보행자 신호등 인지 장치의 전반적인 동작을 제어하는 구성으로, 집적 회로 또는 시스템 온 칩으로 구현될 수 있다.
프로세서(50)는 카메라 모듈(10)로부터 촬영영상을 입력받아 객체식별 알고리즘을 기반으로 보행자 신호등을 식별할 수 있다.
보행자 신호등은 사각형 테두리에 원의 형태를 이루어진 특징으로 이용하여 식별할 수 있다.
주행 중 전방의 촬영영상으로부터 보행자 신호등이 식별된 경우, 프로세서(50)는 GPS 모듈(30)을 통해 차량의 현재 위치를 식별한 후 저장장치(60)로부터 현재 위치의 지도정보를 읽어와 보행자 신호등의 헤딩정보를 파악할 수 있다.
여기서 보행자 신호등의 헤딩정보는 프로세서(50)가 고정밀 지도에 포함된 보행자 신호등의 위치 및 램프 방향을 통해 파악할 수 있다.
또한, 프로세서(50)는 센서모듈(20)로부터 입력되는 차량의 회전방향이나 주행상태를 기반으로 차량의 헤딩정보를 인식한 후 이를 기초로 보행자 신호등의 신호 인지시점을 결정하고, 프로세서(50)는 신호 인지시점에 따라 촬영영상으로부터 식별한 보행자 신호등의 신호를 인지하여 출력모듈(70)을 통해 출력할 수 있다.
즉, 프로세서(50)는 보행자 신호등의 램프방향 정보를 통해 보행자 신호등의 헤딩각을 구하고, 센서모듈(20)로부터 감지된 차량의 이동방향을 기반으로 차량의 헤딩각을 산출하여 좌표계 변환을 통해 보행자 신호등의 헤딩각과 차량의 헤딩각을 비교할 수 있다.
이때 프로세서(50)는 지도정보로부터 파악된 보행자 신호등의 헤딩각과 센서모듈(20)을 통해 감지한 차량의 헤딩각 및 카메라 모듈(10)을 통해 촬영되는 촬영영상에서의 보행자 신호등의 위치에 대해 일치시켜 비교하기 위해 좌표계 변환을 수행할 수 있다.
즉, 센서모듈(20)과 카메라 모듈(10)을 통해 물체를 감지할 경우, 설치 위치에 따라 보이는 각도에 차이가 발생할 수 있을 뿐만 아니라 지도정보에서 제공되는 물체와도 사용하는 좌표계에 따라 차이가 발생할 수 있기 때문에 서로 비교하기 위해서는 좌표계 변환을 통해 동일한 물체가 동일한 좌표에 표시될 수 있도록 좌표계 변환을 수행할 수 있다.
이와 같이 프로세서(50)는 차량의 헤딩각과 보행자 신호등의 헤딩각의 헤딩각 차이를 기반으로 헤딩각 차이가 설정범위 이내인 경우, 신호 인지시점으로 판단하고 보행자 신호등의 신호를 인지할 수 있다.
예를 들어, 헤딩각 차이가 50도에서 90도 이내인 경우 신호 인지시점으로 판단할 수 있다.
또한, 프로세서(50)는 복수의 보행자 신호등이 식별된 경우 헤딩각 차이가 복수의 보행자 신호등 간의 사잇각의 절반을 초과하는 시점을 신호 인지시점으로 판단할 수 있다.
통상적으로 교차로의 횡단보도에 설치되는 복수의 보행자 신호등은 사잇각을 90도로 세워져 있기 때문에 사잇각의 절반인 45도일 때 복수의 보행자 신호등이 모두 인식되기 어려운 구조이다. 따라서 사잇각의 절반인 45도를 기점으로 각도가 커지면 주행경로와 관련있는 보행자 신호등으로 인식할 수 있고, 각도가 작어지면 주행경로와 관련이 없는 보행자 신호등이 오인지될 수 있다.
이와 같이 프로세서(50)는 사잇각인 45도를 초과하는 범위로 50도에서 90도 이내를 신호 인지시점으로 판단하고 헤딩각 차이가 신호 인지시점에 포함될 경우, 신호를 인지함으로써 주행경로와 관련이 높은 보행자 신호등의 신호를 인지할 수 있다.
따라서, 프로세서(50)는 헤딩각 차이가 신호 인지시점으로 판단되면 도 2에 도시된 바와 같이 촬영영상에서 식별된 보행자 신호등에 ROI를 설정하여 보행자 신호등의 신호를 인지하고 인지결과를 제공할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 보행자 신호등 인지 장치에 따르면, 차량의 주행 중 차량의 헤딩정보와 신호등의 헤딩정보를 기반으로 보행자 신호등을 인식함으로써, 교차로 환경에서 차량의 주행경로를 반영할 뿐만 아니라 신호의 인지시점을 판단하여 보행자 신호등의 정확한 신호정보를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 보행자 신호등 인지 방법을 설명하기 위한 흐름도이다.
도 3에 도시된 바와 같이 본 발명의 일 실시예에 따른 보행자 신호등 인지 방법에서는 먼저, 프로세서(50)가 메모리(40)에 내장된 실행 프로그램을 실행하여 구동한 후 카메라 모듈로부터 차량의 주행 중 전방을 촬영한 촬영영상을 입력받는다(S10).
S10 단계에서 촬영영상을 입력받으면 프로세서는 객체식별 알고리즘 등을 이용하여 촬영영상으로부터 보행자 신호등을 식별한다(S20).
S20 단계에서 보행자 신호등을 식별하여 보행자 신호등이 식별되지 않은 경우, 프로세서(50)는 보행자 신호등 인지 절차를 종료하고, 보행자 신호등이 식별된 경우 프로세서(50)는 GPS 모듈(30)을 통해 차량의 위치를 인식한다(S30).
S30 단계에서 차량의 위치를 인식하면 프로세서(50)는 인식된 차량의 위치에 기초하여 저장장치(60)에 저장된 지도정보를 읽어와 고정밀도 지도에 포함된 보행자 신호등의 헤딩정보를 파악한다(S40).
또한, 프로세서(50)는 센서모듈로부터 입력되는 차량의 회전방향이나 주행상태를 기반으로 차량의 헤딩정보를 인식한다(S50).
S40 단계에서 보행자 신호등의 헤딩정보를 파악하고 S50 단계에서 차량의 헤딩정보를 인식한 후 프로세서(50)는 보행자 신호등의 헤딩정보와 차량의 헤딩정보를 비교하여 신호 인지시점을 판단한다(S60).
이때 프로세서(50)는 보행자 신호등의 램프방향 정보를 통해 보행자 신호등의 헤딩각을 구하고, 센서모듈(20)로부터 감지된 차량의 이동방향을 기반으로 차량의 헤딩각을 산출하여 좌표계 변환을 통해 보행자 신호등의 헤딩각과 차량의 헤딩각을 비교할 수 있다.
이렇게 보행자 신호등의 헤딩각과 차량의 헤딩각을 비교하여 헤딩각 차이가 설정범위 이내인 경우, 프로세서(50)는 신호 인지시점으로 판단할 수 있다.
여기서 설정범위는 헤딩각 차이가 50도에서 90도 이내로 설정할 수 있다.
이때 프로세서(50)는 복수의 보행자 신호등이 식별된 경우 헤딩각 차이가 복수의 보행자 신호등 간의 사잇각의 절반을 초과하는 시점을 신호 인지시점으로 판단할 수도 있다.
이와 같이 프로세서(50)는 사잇각인 45도를 초과하는 범위로 50도에서 90도 이내를 신호 인지시점으로 판단하고 헤딩각 차이가 신호 인지시점에 포함될 경우 신호를 인지함으로써 주행경로와 관련이 높은 보행자 신호등의 신호를 인지할 수 있다.
S60 단계에서 신호 인지시점으로 판단된 경우, 프로세서(50)는 촬영영상에서 식별된 보행자 신호등에 ROI를 설정한 후 보행자 신호등의 신호를 인지한다(S70).
이와 같이 보행자 신호등의 신호를 인지하면 프로세서(50)는 출력모듈(70)을 통해 차량의 전자제어장치에 출력한다
상술한 바와 같이, 본 발명의 실시예에 의한 보행자 신호등 인지 방법에 따르면, 차량의 주행 중 차량의 헤딩정보와 신호등의 헤딩정보를 기반으로 보행자 신호등을 인식함으로써, 교차로 환경에서 차량의 주행경로를 반영할 뿐만 아니라 신호의 인지시점을 판단하여 보행자 신호등의 정확한 신호정보를 제공할 수 있다.
본 명세서에서 사용된 용어 모듈은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(Application-Specific Integrated Circuit)의 형태로 구현될 수 있다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스와 연계될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
10 : 카메라 모듈
20 : 센서모듈
30 : GPS모듈
40 : 메모리
50 : 프로세서
60 : 저장장치
70 : 출력모듈

Claims (11)

  1. 카메라 모듈;
    센서모듈;
    GPS 모듈;
    저장장치;
    상기 카메라 모듈, 상기 센서모듈, 상기 GPS 모듈 및 상기 저장장치와 작동적으로 연결(operatively coupled to)된 프로세서;를 포함하되,
    상기 프로세서는 상기 카메라 모듈로부터 촬영영상을 입력받아 보행자 신호등을 식별하고, 상기 GPS 모듈을 통해 인식된 차량의 위치를 기반으로 상기 저장장치에서 지도정보를 읽어와 상기 지도정보로부터 식별된 상기 보행자 신호등의 헤딩정보와 상기 센서모듈을 통해 인식한 상기 차량의 헤딩정보에 기초하여 신호 인지시점을 판단한 후 상기 촬영영상으로부터 식별한 상기 보행자 신호등의 신호를 인지하는 것을 특징으로 하는 보행자 신호등 인지 장치.
  2. 제1항에 있어서,
    상기 센서모듈은,
    관성센서를 포함하는 것을 특징으로 하는 보행자 신호등 인지 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 보행자 신호등의 램프방향 정보를 통해 상기 보행자 신호등의 헤딩각을 구하고, 상기 센서모듈로부터 감지된 상기 차량의 이동방향을 기반으로 상기 차량의 헤딩각을 산출하여 좌표계 변환을 통해 상기 보행자 신호등의 헤딩각과 상기 차량의 헤딩각을 비교하는 것을 특징으로 하는 보행자 신호등 인지 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 차량의 헤딩각과 상기 보행자 신호등의 헤딩각의 헤딩각 차이를 기반으로 상기 헤딩각 차이가 설정범위 이내인 경우, 신호 인지시점으로 판단하고 상기 보행자 신호등의 신호를 인지하는 것을 특징으로 하는 보행자 신호등 인지 장치.
  5. 제3항에 있어서,
    상기 프로세서는,
    복수의 보행자 신호등이 식별된 경우 헤딩각 차이가 복수의 보행자 신호등 간의 사잇각의 절반을 초과하는 시점을 상기 신호 인지시점으로 판단하는 것을 특징으로 하는 보행자 신호등 인지 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 신호 인지시점으로 판단되면 상기 보행자 신호등에 ROI를 설정하여 상기 보행자 신호등의 신호를 인지하는 것을 특징으로 하는 보행자 신호등 인지 장치.
  7. 프로세서가 카메라 모듈로부터 촬영영상을 입력받아 보행자 신호등을 식별하는 단계;
    상기 프로세서가 상기 보행자 신호등을 식별한 경우 GPS 모듈을 통해 차량의 위치를 인식하는 단계;
    상기 프로세서가 인식된 상기 차량의 위치를 기반으로 저장장치에서 지도정보를 읽어와 상기 보행자 신호등의 헤딩정보를 파악하는 단계;
    상기 프로세서가 센서모듈로부터 상기 차량의 헤딩정보를 인식하는 단계;
    상기 프로세서가 상기 보행자 신호등의 헤딩정보와 상기 차량의 헤딩정보를 비교하여 신호 인지시점을 판단하는 단계; 및
    상기 프로세서가 상기 신호 인지시점으로 판단되면 상기 촬영영상으로부터 식별한 상기 보행자 신호등의 신호를 인지하는 단계;를 포함하는 것을 특징으로 하는 보행자 신호등 인지 방법.
  8. 제7항에 있어서,
    상기 신호 인지시점을 판단하는 단계는,
    상기 프로세서가 상기 보행자 신호등의 램프방향 정보를 통해 상기 보행자 신호등의 헤딩각을 구하고, 상기 센서모듈로부터 감지된 상기 차량의 이동방향을 기반으로 상기 차량의 헤딩각을 산출하여 좌표계 변환을 통해 상기 보행자 신호등의 헤딩각과 상기 차량의 헤딩각을 비교하여 판단하는 것을 특징으로 하는 보행자 신호등 인지 방법.
  9. 제8항에 있어서,
    상기 신호 인지시점을 판단하는 단계는,
    상기 프로세서가 상기 차량의 헤딩각과 상기 보행자 신호등의 헤딩각의 헤딩각 차이를 기반으로 상기 헤딩각 차이가 설정범위 이내인 경우 상기 신호 인지시점으로 판단하는 것을 특징으로 하는 보행자 신호등 인지 방법.
  10. 제8항에 있어서,
    상기 신호 인지시점을 판단하는 단계는,
    상기 프로세서가 복수의 보행자 신호등이 식별된 경우, 헤딩각 차이가 복수의 보행자 신호등 간의 사잇각의 절반을 초과하는 시점을 상기 신호 인지시점으로 판단하는 것을 특징으로 하는 보행자 신호등 인지 방법.
  11. 제7항에 있어서,
    상기 신호를 인지하는 단계는,
    상기 프로세서가 상기 신호 인지시점으로 판단되면 상기 보행자 신호등에 ROI를 설정하여 상기 보행자 신호등의 신호를 인지하는 것을 특징으로 하는 보행자 신호등 인지 방법.
KR1020240020993A 2024-02-14 2024-02-14 보행자 신호등 인지 장치 및 그 방법 KR102672862B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020240020993A KR102672862B1 (ko) 2024-02-14 2024-02-14 보행자 신호등 인지 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020240020993A KR102672862B1 (ko) 2024-02-14 2024-02-14 보행자 신호등 인지 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102672862B1 true KR102672862B1 (ko) 2024-06-11

Family

ID=91471601

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020240020993A KR102672862B1 (ko) 2024-02-14 2024-02-14 보행자 신호등 인지 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102672862B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220170344A (ko) * 2021-06-22 2022-12-29 한국전자통신연구원 능동형 카메라를 이용한 신호등 인식 장치 및 이를 이용한 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220170344A (ko) * 2021-06-22 2022-12-29 한국전자통신연구원 능동형 카메라를 이용한 신호등 인식 장치 및 이를 이용한 방법

Similar Documents

Publication Publication Date Title
KR102452556B1 (ko) 차량 주차 제어 장치, 그를 포함한 시스템 및 그 방법
JP6866440B2 (ja) 物体識別方法、装置、機器、車両及び媒体
US11173910B2 (en) Lane change controller for vehicle system including the same, and method thereof
US20050134479A1 (en) Vehicle display system
JP6926976B2 (ja) 駐車支援装置及びコンピュータプログラム
JP2019099138A (ja) 車線維持補助方法及び装置
US20080056535A1 (en) Image recongition system
JP2006162442A (ja) ナビゲーション装置及びナビゲーション方法
CN107105154B (zh) 驾驶辅助装置和驾驶辅助方法
KR20190030344A (ko) 객체 인식 방법 및 장치
JP4951481B2 (ja) 路面標示認識装置
US11376961B2 (en) Method and system for demonstrating function of vehicle-mounted heads up display, and computer-readable storage medium
US10775791B2 (en) Image processing apparatus and method for vehicle
KR102564016B1 (ko) 자율 주행 상태 알림 장치, 그를 포함한 시스템 및 그 방법
KR102672862B1 (ko) 보행자 신호등 인지 장치 및 그 방법
WO2023044656A1 (zh) 车辆通行提醒方法、装置及车载终端
JP5573266B2 (ja) 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム
JP7209912B2 (ja) 運転支援制御装置および運転支援制御方法
JPWO2019111305A1 (ja) 表示制御装置及び表示制御方法
JP6861911B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2018073049A (ja) 画像認識装置、画像認識システム、及び画像認識方法
KR101433583B1 (ko) 영상 인식 기반의 주차장의 빈 주차면 인식 장치 및 방법
TWI848512B (zh) 交通標誌識別方法、系統及車輛
US20210129751A1 (en) Side and rear reflection controller and side and rear reflection control method
US20220156962A1 (en) System and method for generating basic information for positioning and self-positioning determination device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant