KR102373776B1 - 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램 - Google Patents
신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램 Download PDFInfo
- Publication number
- KR102373776B1 KR102373776B1 KR1020210118204A KR20210118204A KR102373776B1 KR 102373776 B1 KR102373776 B1 KR 102373776B1 KR 1020210118204 A KR1020210118204 A KR 1020210118204A KR 20210118204 A KR20210118204 A KR 20210118204A KR 102373776 B1 KR102373776 B1 KR 102373776B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- image data
- signal information
- traffic lights
- traffic light
- Prior art date
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004590 computer program Methods 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 18
- 239000000284 extract Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/095—Traffic lights
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 차량의 전방을 촬영한 영상 데이터를 수집하는 단계, 상기 수집된 영상 데이터를 분석하여 신호등을 식별하는 단계 및 상기 식별된 신호등으로부터 신호 정보를 추출하는 단계를 포함한다.
Description
본 발명의 다양한 실시예는 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램에 관한 것이다.
최근에는 차량의 보급률이 높아짐에 따라 도로 상에는 시간대를 가리지 않고 정체 구간들이 늘어나고 있으며, 이로 인해 운전자는 정체 구간의 주행 시 지루함을 느껴 장시간 다른 곳을 주시하거나 졸음 운전을 하게 된다. 이와 같이, 운전자가 운전에 집중하지 않고 다른 행동을 하는 동안 전방 차량의 출발을 인지하지 못할 경우, 차량의 운행 흐름을 방해하거나 후방 차량으로부터 발생하는 경적에 놀라 스트레스를 받는 문제점이 있다.
이를 위해, 종래에는 차량의 전방을 촬영한 영상 데이터를 분석하여 신호등의 신호 정보를 인식하고, 신호 정보에 따라 출발 알림을 제공하거나, 전방 차량과의 거리에 따라 전방 차량의 출발을 인지하여 출발 알림을 제공함으로써, 운전에 집중하지 않고 다른 행동을 하여 출발하지 못하는 것을 방지할 수 있는 운전자 보조 시스템이 개발되고 있다.
한편, 한편, 종래의 운전자 보조 시스템 특히, 영상 데이터 분석을 통해 출발 알림을 제공하는 방법의 경우, 교차로 등과 같이 상호 인접한 위치에 복수의 신호등이 설치되어 있을 때, 복수의 신호등 중 어떠한 신호등이 현재 차량에 대응되는 신호등인지를 구분하기 어렵다는 문제 즉, 영상 데이터 분석만으로 현재 차량에게 출발 알림을 제공하기 위해 어떠한 신호등의 신호 정보를 고려해야 하는지 명확하게 설정하는 것이 어렵다는 문제가 있다.
또한, 전방 차량과의 거리에 따라 출발 알림을 제공하는 종래의 운전자 보조 시스템의 경우, 전방 차량과의 거리를 산출하기 위해 레이더 센서나 고성능의 컴퓨팅 장치와 같은 별도의 구성요소가 필요하며, 전방 차량이 없는 경우(예: 최전단에서 신호 대기중인 경우 등)에는 활용하기 어렵다는 문제가 있다.
본 발명이 해결하고자 하는 과제는 상술된 종래의 문제점을 해소하기 위한 목적으로, 차량의 전방을 촬영한 영상 데이터와 차량의 주행 경로만을 이용하여, 차량에 대응되는 신호등을 정확하게 식별하고, 식별된 신호등으로부터 신호 정보를 추출 즉, 정밀지도를 활용하거나, 고성능의 컴퓨팅 장치를 활용하지 않고, 비교적 간단한 동작만으로 차량의 주행 경로에 대응되는 신호 정보를 보다 정확하게 추출할 수 있는, 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 영상 데이터로부터 추출된 신호 정보를 이용하여 신호 대기 중인 차량에 대한 출발 알림을 제공할 뿐만 아니라, 경우에 따라 자율주행 차량의 주행 제어 명령을 결정함으로써, 차량의 운전자 부주의로 인해 출발신호를 놓쳐 교통흐름에 방해되는 상황 방지할 수 있을 뿐만 아니라, 비교적 저연산의 동작을 수행함에 따라 전력 효율을 향상시킬 수 있는 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 차량의 전방을 촬영한 영상 데이터를 수집하는 단계, 상기 수집된 영상 데이터를 분석하여 신호등을 식별하는 단계 및 상기 식별된 신호등으로부터 신호 정보를 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 신호 정보를 추출하는 단계는, 제1 차량 내에 구비된 위치 센서를 통해 수집된 상기 제1 차량의 위치 정보를 이용하여 상기 제1 차량이 신호 대기 중인지 여부를 판단하고, 상기 제1 차량이 신호 대기 중으로 판단되는 것에 응답하여 상기 식별된 신호등으로부터 상기 신호 정보를 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 신호 정보를 추출하는 단계는, 제1 차량의 전방을 촬영한 영상 데이터를 분석하여 상기 제1 차량이 신호 대기 중인지 여부를 판단하고, 상기 제1 차량이 신호 대기 중으로 판단되는 것에 응답하여 상기 식별된 신호등으로부터 상기 신호 정보를 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 신호등을 식별하는 단계는, 상기 수집된 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 상기 차량의 주행 경로에 기초하여 상기 식별된 복수의 신호등 중 어느 하나의 신호등을 선택하고, 상기 수집된 영상 데이터에서 상기 선택된 어느 하나의 신호등에 대응되는 영역을 관심 영역으로 설정하는 단계를 포함하며, 상기 신호 정보를 추출하는 단계는, 상기 설정된 관심 영역만을 분석하여 상기 차량에 대한 신호 정보를 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 관심 영역으로 설정하는 단계는, 상기 식별된 복수의 신호등 중 상기 차량의 주행 경로에 기초하여 선택된 신호등이 둘 이상인 경우, 둘 이상의 신호등 각각으로부터 출력되는 신호 정보의 속성 - 상기 신호 정보의 속성은 신호 정보의 출력 형태를 포함함 - 및 상기 둘 이상의 신호등 각각의 인접 위치에 설치된 도로 안내 표지 중 적어도 하나와 상기 차량의 속성을 이용하여 상기 둘 이상의 신호등 중 어느 하나의 신호등을 상기 차량의 주행 경로에 대응되는 신호등으로서 선택하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 신호등을 식별하는 단계는, 상기 수집된 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 상기 식별된 복수의 신호등 중 상기 차량의 현재 동작 상태에 대응되는 신호 정보를 출력하는 어느 하나의 신호등을 선택하고, 상기 수집된 영상 데이터에서 상기 선택된 어느 하나의 신호등에 대응되는 영역을 관심 영역으로 설정하는 단계를 포함하며, 상기 신호 정보를 추출하는 단계는, 상기 설정된 관심 영역만을 분석하여 상기 차량에 대한 신호 정보를 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 신호등을 식별하는 단계는, 상기 수집된 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 소정의 기간 동안의 상기 차량의 동작 패턴과 상기 소정의 기간 동안의 상기 식별된 복수의 신호등 각각으로부터 출력된 신호 정보의 변화 패턴을 비교하여 상기 식별된 복수의 신호등 중 어느 하나의 신호등을 선택하고, 상기 수집된 영상 데이터에서 상기 선택된 어느 하나의 신호등에 대응되는 영역을 관심 영역으로 설정하는 단계를 포함하며, 상기 신호 정보를 추출하는 단계는, 상기 설정된 관심 영역만을 분석하여 상기 차량에 대한 신호 정보를 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 신호등을 식별하는 단계는, 상기 수집된 영상 데이터를 분석하여 복수의 신호등이 식별될 때, 기 저장된 주행 경로별 신호등 위치 데이터에 기초하여 상기 식별된 복수의 신호등 중 상기 차량의 주행 경로에 대응하여 기 설정된 신호등이 있는 경우, 상기 수집된 영상 데이터에서 상기 기 설정된 신호등에 대응되는 영역을 관심 영역으로 설정하는 단계 및 상기 식별된 복수의 신호등 중 상기 차량의 주행 경로에 대응하여 기 설정된 신호등이 없는 경우, 상기 차량의 주행 경로 및 상기 식별된 복수의 신호등으로부터 출력되는 신호 정보를 이용하여 상기 식별된 복수의 신호등 중 어느 하나의 신호등을 선택하고, 상기 수집된 영상 데이터에서 상기 선택된 어느 하나의 신호등에 대응되는 영역을 상기 관심 영역으로 설정하며, 상기 차량의 주행 경로 및 상기 선택된 어느 하나의 신호등에 대한 정보를 이용하여 상기 기 저장된 주행 경로별 신호등 위치 데이터를 갱신하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 차량이 신호 대기 중인 경우, 상기 추출된 신호 정보 및 상기 차량의 움직임 정보에 기초하여, 상기 차량에 대한 출발 알림을 제공하는 단계를 더 포함하며, 상기 출발 알림을 제공하는 단계는, 상기 추출된 신호 정보가 적색 신호에서 녹색 신호로 변경된 시점을 기준으로 기 설정된 시간을 초과할 때까지 상기 차량의 움직임이 감지되지 않는 경우, 상기 차량을 출발할 것을 안내하는 상기 출발 알림을 제공하되, 상기 차량의 움직임이 감지되지 않은 시간의 길이에 기초하여 상기 차량에 제공할 출발 알림의 속성을 결정하는 단계를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 장치는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 차량의 전방을 촬영한 영상 데이터를 수집하는 인스트럭션(instruction), 상기 수집된 영상 데이터를 분석하여 신호등을 식별하는 인스트럭션 및 상시 식별된 신호등으로부터 신호 정보를 추출하는 인스트럭션을 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램은, 컴퓨팅 장치와 결합되어, 차량의 전방을 촬영한 영상 데이터를 수집하는 단계, 상기 수집된 영상 데이터를 분석하여 신호등을 식별하는 단계 및 상시 식별된 신호등으로부터 신호 정보를 추출하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 다양한 실시예에 따르면, 차량의 전방을 촬영한 영상 데이터와 차량의 주행 경로만을 이용하여, 차량에 대응되는 신호등을 정확하게 식별하고, 식별된 신호등으로부터 신호 정보를 추출 즉, 정밀지도를 활용하거나, 고성능의 컴퓨팅 장치를 활용하지 않고, 비교적 간단한 동작만으로 차량의 주행 경로에 대응되는 신호 정보를 보다 정확하게 추출할 수 있다는 이점이 있다.
또한, 영상 데이터로부터 추출된 신호 정보를 이용하여 신호 대기 중인 차량에 대한 출발 알림을 제공할 뿐만 아니라, 경우에 따라 자율주행 차량의 주행 제어 명령을 결정함으로써, 차량의 운전자 부주의로 인해 출발신호를 놓쳐 교통흐름에 방해되는 상황 방지할 수 있을 뿐만 아니라, 비교적 저연산의 동작을 수행함에 따라 전력 효율을 향상시킬 수 있다는 이점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 시스템을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 장치의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법을 설명하기 위한 순서도이다.
도 4는 다양한 실시예에서, 차량의 주행 경로에 대응되는 신호등으로부터 신호 정보를 추출하는 방법을 설명하기 위한 순서도이다.
도 5는 다양한 실시예에서, 신호 대기 중인 차량의 주행 경로에 따라 추출된 신호 정보에 기초하여 출발 알림을 제공하는 방법의 순서도이다.
도 6 내지 8은 다양한 실시예에 적용 가능한 영상 데이터를 예시적으로 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 장치의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법을 설명하기 위한 순서도이다.
도 4는 다양한 실시예에서, 차량의 주행 경로에 대응되는 신호등으로부터 신호 정보를 추출하는 방법을 설명하기 위한 순서도이다.
도 5는 다양한 실시예에서, 신호 대기 중인 차량의 주행 경로에 따라 추출된 신호 정보에 기초하여 출발 알림을 제공하는 방법의 순서도이다.
도 6 내지 8은 다양한 실시예에 적용 가능한 영상 데이터를 예시적으로 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 시스템은 신호 정보 추출 장치(100), 사용자 단말(200) 및 외부 서버(300)를 포함할 수 있다.
여기서, 도 1에 도시된 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 신호 정보 추출 장치(100)는 차량(10)의 전방을 촬영한 영상 데이터와 차량(10)의 주행 경로를 이용하여, 차량(10)의 주행을 보조하기 위해 필요한 신호 정보를 추출할 수 있다. 예를 들어, 신호 정보 추출 장치(100)는 영상 분석 모델을 이용하여 영상 데이터를 분석함으로써, 영상 데이터에 포함된 신호등을 식별할 수 있고, 식별된 신호등으로부터 신호 정보(예: 적색 신호, 황색 신호, 녹색 신호, 좌회전 신호 등)를 추출할 수 있다.
다양한 실시예에서, 신호 정보 추출 장치(100)는 영상 데이터 분석을 통해 신호 정보를 추출할 뿐만 아니라, 추출된 신호 정보에 기초하여, 운전자의 차량(10) 운전을 보조하는 운전자 보조 기능을 제공할 수 있다. 예를 들어, 신호 정보 추출 장치(100)는 신호가 적색 신호에서 녹색 신호로 변경됨에도 불구하고 운전자가 차량(10)의 주행을 개시하지 않는 경우, 원활한 주행을 수행할 수 있도록 출발 알림을 제공할 수 있다. 또한, 신호 정보 추출 장치(100)는 차량(10)이 자율주행 차량이거나 자율주행 기능을 동작 중인 경우, 신호 정보에 기초하여 차량(10)의 동작(정지, 출발 등)을 제어하는 제어명령을 결정할 수 있다.
다양한 실시예에서, 신호 정보 추출 장치(100)는 네트워크(400)를 통해 사용자 단말(200)과 연결될 수 있으며, 사용자 단말(200)로 영상 데이터 분석을 통해 추출된 신호 정보를 제공하거나, 신호 정보를 기반으로한 운전자 보조 기능(예: 출발 알림 제공 기능 등)을 제공할 수 있다.
여기서, 사용자 단말(200)은 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있으나, 이에 한정되지 않고, 사용자 단말(200)은 차량(10) 내에 구비되는 차량용 인포테인먼트 시스템일 수 있다.
또한, 여기서, 네트워크(400)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함할 수 있다. 여기서, 무선 데이터 통신망은 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함될 수 있으나, 이에 한정되지는 않는다.
일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 신호 정보 추출 장치(100)와 연결될 수 있고, 신호 정보 추출 장치(100)가 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 프로세스를 수행하기 위해 필요한 정보/데이터 및 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 프로세스를 수행함에 따라 생성되는 정보/데이터(예: 주행 경로별 신호등 위치 데이터)를 수집 및 저장할 수 있다. 이하, 도 2를 참조하여, 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 프로세스를 수행하는 신호 정보 추출 장치(100)의 하드웨어 구성에 대해 설명하도록 한다.
도 2는 본 발명의 다른 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 장치의 하드웨어 구성도이다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 장치(100)(이하, “컴퓨팅 장치(100)”)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.
스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 프로세스를 수행하는 경우, 스토리지(150)는 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 프로세스를 제공하기 위하여 필요한 각종 정보를 저장할 수 있다.
스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램(151)은 차량의 전방을 촬영한 영상 데이터를 수집하는 단계, 수집된 영상 데이터를 분석하여 신호등을 식별하는 단계 및 식별된 신호등으로부터 신호 정보를 추출하는 단계를 포함하는 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3 내지 8을 참조하여, 컴퓨팅 장치(100)에 의해 수행되는 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법에 대해 설명하도록 한다.
도 3은 본 발명의 또 다른 실시예에 따른 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법을 설명하기 위한 순서도이다.
여기서, 도 3의 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법은 컴퓨팅 장치(100)가 제공하는 운전자 보조 기능 중 출발 알림 기능을 제공하기 위한 목적으로 신호등으로부터 신호 정보를 추출하는 것이며, 이에 따라 차량(10)이 현재 신호 대기 중인 상태인 것으로 가정하여 설명하나, 이에 한정되지 않고, 현재 주행 중인 차량(10)에 대해서도 적용이 가능하다.
도 3을 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 차량(10)의 전방을 촬영한 영상 데이터를 수집할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 네트워크(400)를 통해 차량(10) 내에 구비되는 카메라 모듈(예: 블랙박스 카메라 모듈)과 연결될 수 있고, 카메라 모듈을 통해 차량(10)의 전방을 촬영한 영상 데이터를 수집할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 설정된 주기마다 카메라 모듈로부터 영상 데이터를 수집할 수 있다. 또한, 여기서 기 설정된 주기는 사용자로부터 사전에 설정된 값일 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 차량(10) 내에 구비되는 카메라 모듈을 제어하여, T1마다 차량(10)의 전방을 촬영한 이미지 데이터를 수집할 수 있고, 후술되는 S120 단계를 거쳐 이미지 데이터로부터 신호등이 식별되는 경우, T1보다 짧은 T2마다 이미지 데이터를 수집하거나, 동영상 데이터를 실시간으로 수집(스트리밍)할 수 있다.
S120 단계에서, 컴퓨팅 장치(100)는 S110 단계를 거쳐 수집된 영상 데이터를 분석하여 신호등을 식별할 수 있다. 또한, S130 단계에서, 컴퓨팅 장치(100)는 S120 단계를 거쳐 식별된 신호등으로부터 신호 정보를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 영상 분석 모델을 이용하여 차량(10)의 전방을 촬영한 영상 데이터를 분석함으로써, 영상 데이터에 포함된 신호등을 식별할 수 있고, 식별된 신호등을 포함하는 영상 데이터를 분석함으로써, 신호등으로부터 신호 정보를 추출할 수 있다.
여기서, 기 학습된 영상 분석 모델은 신호등에 대한 정보(예: 신호등의 종류, 신호등에서 출력되는 신호 정보의 종류 등)가 레이블링(Labeling)된 복수의 영상 데이터를 학습 데이터로 하여 머신러닝 기반의 학습 방법에 따라 학습된 모델일 수 있으며, 영상 데이터를 입력 데이터로 하여 영상 데이터에 포함된 신호등에 대한 정보를 추출하는 모델일 수 있다. 예를 들어, 기 학습된 영상 분석 모델은, CNN 기반의 객체 탐지 기법(예: yolo, RCNN, SSD 또는 유사 탐지 알고리즘)을 이용하여 영상 데이터를 분석함으로써, 영상 데이터 내의 신호등과 신호등에서 출력되는 신호 정보를 탐지하는 모델일 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 영상 데이터를 분석하여, 영상 데이터로부터 신호등이 식별되는 경우, 영상 데이터에서 신호등에 대응되는 영역을 관심 영역(Region of Interest, ROI)으로 설정할 수 있고, 설정된 관심 영역만을 분석하여 차량(10)에 대한 신호 정보를 추출할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 제1 시점에 수집된 영상 데이터를 분석함에 따라 신호등이 식별되는 경우, 식별된 신호등으로부터 신호 정보를 추출함과 동시에 식별된 신호등에 대응하는 영상 데이터 내의 영역을 관심 영역으로 설정할 수 있고, 추후, 제1 시점 이후에 수집되는 영상 데이터에 대해서는 제1 시점에 수집된 영상 데이터의 분석 결과에 따라 관심 영역으로 설정된 일부분만을 분석(cropping)하여 신호 정보를 추출할 수 있다.
이때, 컴퓨팅 장치(100)는 영상 데이터에 대하여 관심 영역이 설정된 이후에 수집되는 영상 데이터에 대해서는 관심 영역만을 분석하여 신호 정보를 추출하되, 차량(10)의 동작 상태가 정지 상태에서 주행 상태로 변경되는 것에 따라 관심 영역 설정을 초기화하고, 다시 영상 데이터 전체의 영역을 분석할 수 있다.
일반적으로, 신호등의 신호가 적색 신호로 변경됨에 따라 차량(10)이 신호 대기를 할 경우, 차량(10)의 움직임이 없는 상태로 1분 이상 지속된다는 특성을 활용하여 현재 적색 상태인 신호등에 해당하는 영역을 찾음으로써, 불필요하게 고연산의 신호등 탐지 및 인식 절차를 수행하지 않고, 수초 내지 수십 초의 지연이 발생하더라도 있는 환경에서도 정확하게 신호등을 식별할 수 있다.
또한, 차량(10)이 정차 중이기 때문에 차량(10)을 통해 수집되는 영상 데이터 및 영상 데이터 내에 설정된 관심 영역의 위치가 변경되지 않는다는 점을 고려하여, 관심 영역의 위치를 지속적으로 갱신할 필요가 없는 바, 관심 영역만을 분석하여 보다 빠르게 신호 정보를 추출할 수 있다는 점에서 효율적인 신호 정보 추출이 가능하다.
다양한 실시예에서, 컴퓨팅 장치(100)는 차량(10)의 전방을 촬영한 영상 데이터를 분석하여 신호등을 식별하되, 하나의 영상 데이터에서 복수의 신호등이 식별되는 경우, 복수의 신호등 중 차량(10)에 대한 신호등 즉, 차량(10)의 주행 경로에 대응되는 신호등만을 선택하고, 선택한 신호등에서만 신호 정보를 추출할 수 있다. 이하, 도 4를 참조하여, 컴퓨팅 장치(100)에 의해 수행되는 신호 정보 추출 방법을 보다 구체적으로 설명하도록 한다.
도 4는 다양한 실시예에서, 차량의 주행 경로에 대응되는 신호등으로부터 신호 정보를 추출하는 방법을 설명하기 위한 순서도이다.
S210 단계에서, 컴퓨팅 장치(100)는 차량(10)의 전방을 촬영한 영상 데이터를 분석하여, 영상 데이터에 포함된 신호등을 식별할 수 있다. 여기서, 컴퓨팅 장치(100)가 수행하는 영상 데이터 분석 기반 신호등 식별 동작은 도 3의 S120 단계에서 수행되는 영상 데이터 분석 기반 신호등 식별 동작과 동일한 형태로 구현될 수 있으나, 이에 한정되지 않는다.
S220 단계에서, 컴퓨팅 장치(100)는 S210 단계를 거쳐 식별된 신호등의 개수가 복수개인지 여부를 판단할 수 있다.
S230 단계에서, 컴퓨팅 장치(100)는 S220 단계를 거쳐 식별된 신호등의 개수가 1개인 것으로 판단되는 경우, 영상 데이터에서 1개의 신호등에 대응되는 영역을 관심 영역으로 설정할 수 있고, 영상 데이터의 관심 영역만을 분석하여 차량(10)에 대한 신호 정보를 추출할 수 있다.
S240 단계에서, 컴퓨팅 장치(100)는 S220 단계를 거쳐 식별된 신호등의 개수가 복수 개인 것으로 판단되는 경우, 복수의 신호등 중 차량(10)에 대한 신호등 즉, 차량(10)의 주행 경로에 대응되는 신호등을 선택할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 영상 데이터를 분석함에 따라 복수의 신호등이 식별되는 경우, 복수의 신호등 중 차량(10)의 주행 경로에 대한 신호를 출력하는 신호등을 특정하기 위하여, 사전에 주행 경로별 신호등 위치 데이터를 생성 및 저장할 수 있고, 기 저장된 주행 경로별 신호등 위치 데이터를 이용하여 복수의 신호등 중 어느 하나의 신호등을 차량(10)에 대한 신호등으로 선택할 수 있다.
한편, 컴퓨팅 장치(100)는 사전에 주행 경로별 신호등 위치 데이터를 생성 및 저장되지 않거나, 영상 데이터 분석을 통해 식별된 복수의 신호등 중 차량(10)의 주행 경로에 대응되는 신호등이 없는 경우 즉, 차량(10)의 주행 경로에 대응하여 기 설정된 신호등이 없는 경우, 기 설정된 조건에 따라 복수의 신호등 중 어느 하나의 신호등을 차량(10)에 대한 신호등으로서 선택할 수 있고, 선택된 어느 하나의 신호등에 대한 정보와 차량(10)의 주행 경로를 이용하여 주행 경로별 신호등 위치 데이터를 생성하거나 기 저장된 주행 경로별 신호등 위치 데이터를 갱신할 수 있다.
일례로, 컴퓨팅 장치(100)는 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 복수의 신호등 중 차량(10)의 현재 동작 상태에 대응되는 신호 정보를 출력하는 어느 하나의 신호등을 차량(10)에 대한 신호등으로서 선택할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 도 6에 도시된 바와 같이, 교차로에서 신호 대기 중인 차량(10)으로부터 수집된 영상 데이터(20)에 2개의 신호등(21A, 21B)가 식별되는 경우, 2개의 신호등(21A, 21B) 중 차량(10)의 현재 동작 상태에 대응되는 신호 정보를 출력하는 신호등 즉, 차량(10)이 현재 신호 대기 중인 바, 적색 신호를 출력하고 있는 신호등(21A)을 차량(10)에 대한 신호등으로 선택할 수 있다. 이와 반대로, 컴퓨팅 장치(100)는 차량(10)의 현재 동작 상태가 주행 상태인 경우 2개의 신호등(21A, 21B) 중 녹색 신호를 출력하고 있는 신호등을 선택할 수 있다.
다른 예로, 컴퓨팅 장치(100)는 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 소정의 기간 동안의 차량(10)의 동작 패턴과 소정의 기간 동안의 식별된 복수의 신호등 각각으로부터 출력된 신호 정보의 변화 패턴을 비교하여 복수의 신호등 중 어느 하나의 신호등을 선택할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 차량(10)의 움직임 정보에 기초하여, 차량(10)이 소정의 기간 동안 감속 및 정지하는 동작 패턴을 보이는 경우, 복수의 신호등 중 녹색 신호, 황색 신호 및 적색 신호 순의 변화 패턴을 가지거나, 황색 신호 및 적색 신호 순의 변화 패턴을 가지는 어느 하나의 신호등을 차량(10)에 대한 신호등으로서 선택할 수 있다.
여기서, 차량(10)의 움직임 정보는 영상 데이터 분석 기반으로 도출된 정보 또는 차량(10) 내에 구비되는 위치 센서를 통해 측정된 위치 정보 기반으로 도출된 정보일 수 있으나, 이에 한정되지 않는다.
또 다른 예로, 컴퓨팅 장치(100)는 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 차량(10)의 주행 경로를 이용하여 복수의 신호등 중 어느 하나의 신호등을 선택할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 도 7에 도시된 바와 같이, 교차로에서 좌회전을 하기 위해 신호 대기 중인 차량(10)으로부터 수집된 영상 데이터(20)를 분석하여 3개의 신호등(21A, 21B, 21C)이 식별되는 경우, 3개의 신호등(21A, 21B, 21C) 중 좌회전 신호를 출력하고 있지 않는 신호등(21B)을 차량(10)에 대한 신호등으로서 선택할 수 있다. 또한, 컴퓨팅 장치(100)는 교차로에서 직진을 하기 위해 신호 대기 중인 차량(10)으로부터 수집된 영상 데이터를 분석하여 3개의 신호등(21A, 21B, 21C)이 식별되는 경우, 3개의 신호등(21A, 21B, 21C) 중 직진 신호를 출력하고 있지 않는 신호등(21B)을 차량(10)에 대한 신호등으로서 선택할 수 있다. 이와 반대로, 컴퓨팅 장치(100)는 차량(10)이 교차로에서 좌회전으로 주행중인 경우 3개의 신호등(21A, 21B, 21C) 중 좌회전 신호를 출력하고 있는 신호등을 선택할 수 있고, 직진으로 주행중인 경우 3개의 신호등(21A, 21B, 21C) 중 직진 신호를 출력하고 있는 신호등을 선택할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 상술된 방법에 따라 선택된 신호등이 둘 이상인 경우 즉, 차량(10)의 주행 경로에 대응되는 신호등이 둘 이상인 경우, 둘 이상의 신호등 각각으로부터 출력되는 신호 정보의 속성 및 둘 이상의 신호등 각각의 인접 위치에 설치된 도로 안내 표지 중 적어도 하나와 차량(10)의 속성을 이용하여 둘 이상의 신호등 중 어느 하나의 신호등을 차량(10)의 주행 경로에 대응되는 신호등으로서 선택할 수 있다.
보다 구체적으로, 도 6을 참조하면, 차로가 많고, 차량 통행량이 많은 지역에서는 보다 원활한 차량 통행을 위하여 서로 다른 기능을 수행하는 다수의 신호등(예: 버스전용 신호등(21A), 좌회전 신호등(21B) 및 직진 신호등(21C))설치될 수 있다.
이때, 버스전용 차로가 1차로에 위치하고, 좌회전 차로가 2차로에 위치할 경우, 교차로에서 차량(10)의 주행 경로가 겹쳐지는 영역이 존재하는 바, 버스전용 신호등(21A)과 좌회전 신호등(21B)의 경우, 서로 다른 신호를 출력(예: 버스전용 신호등이 녹색 신호를 출력할 때 좌회전 신호등은 적색 신호를 출력하고, 좌회전 신호등이 녹색 신호를 출력할 때 버스전용 신호등은 적색 신호를 출력)하도록 설계되나, 버스전용 차로와 직진 차로의 경우 차량(10)의 주행 경로가 겹쳐지는 영역이 존재하지 않아 버스전용 신호등(21A)와 직진 신호등(21C)이 서로 동일한 신호를 출력하도록 설계될 수 있다.
때문에, 컴퓨팅 장치(100)가 영상 데이터 분석을 통해 3개의 신호등(21A, 21B, 21C)이 식별될 때, 차량(10)의 현재 동작 상태나, 동작 패턴을 이용하더라도 버스전용 신호등(21A)과 직진 신호등(21C)을 명확하게 구분할 수 없다는 문제가 발생할 수 있다. 즉, 도 6에 도시된 바와 같이, 버스전용 신호등(21A), 좌회전 신호등(21B) 및 직진 신호등(21C)이 개별적으로 설치되어 있을 경우, 단순히 차량(10)이 직진을 위해 신호 대기중인 것만을 고려할 경우, 직진 신호를 출력하고 있지 않은 버스전용 신호등(21A)과 직진 신호등(21C)이 선택될 수 있다는 문제가 있다.
다만, 버스전용 신호등(21A), 좌회전 신호등(21B) 및 직진 신호등(21C)이 개별적으로 설치되어 있을 경우, 각각의 신호등이 어떠한 방향에 대한 신호를 출력하는 것인지 및 어떠한 차량을 대상으로 하는 것인지에 대하여 운전자들이 명확하게 알 수 있도록 별도의 장치들이 마련(예: 도 8에 도시된 바와 같이 출력되는 신호의 형태를 상이하게 하거나, 도로 안내 표지(22)를 별도로 설치)되어 있는 바, 이러한 점을 고려하여, 컴퓨팅 장치(100)는 둘 이상의 신호등 각각으로부터 출력되는 신호 정보의 속성(예: 신호의 출력 형태) 및 도로 안내 표지(22)(예: 도로 안내 표지(22)에 대한 문자열 분석 및 이미지 분석 결과) 중 적어도 하나와 차량(10)의 속성(예: 차량의 종류(버스, 승용차 등))을 이용하여 둘 이상의 신호등 중 어느 하나의 신호등을 차량(10)의 주행 경로에 대응되는 신호등으로서 선택할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 컴퓨팅 장치(100)는 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 영상 데이터를 분석하여 차량(10) 전방에 신호 대기 중인 다른 차량들의 출발 여부를 판단하고, 신호 대기 중인 다른 차량들이 출발하는 것으로 판단되는 경우, 신호 대기 중인 다른 차량들이 출발한 시점을 기준으로 신호 정보가 적색 신호에서 녹색 신호로 변경된 신호등을 차량(10)에 대응되는 신호등으로 선택할 수 있다.
S250 단계에서, 컴퓨팅 장치(100)는 영상 데이터에서 S240 단계를 거쳐 선택된 하나의 신호등에 대응되는 영역을 관심 영역으로 설정할 수 있고, 영상 데이터의 관심 영역만을 분석하여 차량(10)에 대한 신호 정보를 추출할 수 있다. 이하, 도 5를 참조하여, 상기의 방법에 따라 추출된 신호 정보를 이용하여 출발 알림을 제공하는 방법에 대해 설명하도록 한다.
도 5는 다양한 실시예에서, 신호 대기 중인 차량의 주행 경로에 따라 추출된 신호 정보에 기초하여 출발 알림을 제공하는 방법의 순서도이다.
도 5를 참조하면, S310 단계에서, 컴퓨팅 장치(100)는 차량(10)에 관한 정보를 수집할 수 있다. 여기서, 차량(10)에 관한 정보는 차량(10)의 움직임을 판단하기 위한 정보로서, 차량(10) 내에 구비되는 카메라 모듈을 통해 수집되는 영상 데이터 및 차량(10) 내 구비되는 위치 센서를 통해 측정되는 위치 정보를 의미할 수 있으나, 이에 한정되지 않고, 차량(10)의 움직임을 판단하기 위한 어떠한 정보든 적용이 가능하다.
S320 단계에서, 컴퓨팅 장치(100)는 S310 단계를 거쳐 수집된 차량(10)에 관한 정보를 이용하여 차량(10)이 현재 신호 대기를 위해 정차했는지 여부를 판단할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S310 단계를 거쳐, 차량(10) 내 구비되는 위치 센서(GPS-IMU)를 통해 GPS 센서 정보를 수집하는 경우, GPS의 좌표값 변화에 기초하여 차량(10)의 움직임을 판단할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S310 단계를 거쳐, 차량(10)의 주행 동작을 감지하는 모션 센서(예: 휠 인코더)로부터 센서 데이터를 수집하는 경우, 수집된 센서 데이터의 값 변화를 이용하여 차량(10)의 움직임을 판단할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S310 단계를 거쳐, 차량(10) 내 구비되는 카메라 모듈을 통해 영상 데이터를 수집하는 경우, 수집된 영상 데이터를 분석하여 visual odometry 기반으로 카메라 모듈의 움직임을 추정할 수 있고, 추정된 카메라 모듈의 움직임에 따라 차량(10)의 움직임을 판단할 수 있다.
S330 단계에서, 컴퓨팅 장치(100)는 S320 단계를 거쳐 차량(10)이 정차 상태인 것으로 판단되는 경우, 차량(10)의 주행 경로에 대응하는 신호등이 기 설정되어 있는지 여부를 판단할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 기 저장된 주행 경로별 신호등 위치 데이터에 기초하여, 차량(10)의 주행 경로에 대응하여 기 설정된 신호등이 존재하는지 여부를 판단할 수 있다.
한편, 컴퓨팅 장치(100)는 S320 단계를 거쳐 차량(10)이 주행 상태인 것으로 판단되는 경우, 차량(10)이 정차 상태인 것으로 판단될 때까지 상기의 S310 단계 및 S320 단계를 반복 수행할 수 있다.
S340 단계에서, 컴퓨팅 장치(100)는 S330 단계를 거쳐, 차량(10)의 주행 경로에 대응하여 기 설정된 신호등이 없는 것으로 판단되는 경우, 차량(10)으로부터 수집된 영상 데이터를 분석하여 신호등을 식별할 수 있다. 여기서, 컴퓨팅 장치(100)에 의해 수행되는 영상 데이터 분석 기반 신호등 식별 동작은 도 3의 S120 단계, 도 4의 S210 단계 내지 S240 단계에서 수행되는 영상 데이터 분석 기반 신호등 식별 동작과 동일, 유사한 형태로 구현될 수 있다.
S350 단계에서, 컴퓨팅 장치(100)는 S340 단계를 거쳐 식별된 신호등에 대한 정보와 차량(10)의 주행 경로에 대한 정보를 이용하여 기 저장된 주행 경로별 신호등 위치 데이터를 갱신할 수 있다. 이를 통해, 추후, 동일한 주행 경로에 따라 이동하는 차량(10)에 대해서는 상기의 S340 단계 내지 S350 단계를 거치지 않고 보다 빠르게 신호 정보를 추출할 수 있는 환경을 조성할 수 있다.
S360 단계에서, 컴퓨팅 장치(100)는 S330 단계를 거쳐, 차량(10)의 주행 경로에 대응하여 기 설정된 신호등이 있는 것으로 판단되는 경우, 기 설정된 신호등에 대한 정보에 기초하여, 차량(10)으로부터 수집된 영상 데이터 상에 관심 영역을 설정할 수 있고, 설정된 관심 영역을 분석하여 신호 정보를 추출할 수 있다.
또한, 컴퓨팅 장치(100)는 S340 단계를 거쳐, 차량(10)으로부터 수집된 영상 데이터로부터 신호등이 식별되는 경우, 영상 데이터에서 식별된 신호등에 대응되는 영역을 관심 영역을 설정할 수 있고, 설정된 관심 영역을 분석하여 신호 정보를 추출할 수 있다. 여기서, 신호 정보 추출하는 동작은 도 3의 S130 단계 및 도 4의 S250 단계에서 수행되는 신호 정보 추출 동작과 동일, 유사한 형태로 구현될 수 있다.
S370 단계에서, 컴퓨팅 장치(100)는 S360 단계를 거쳐 추출된 신호 정보를 이용하여, 신호등에서 출력되는 신호의 변화를 감지할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 기 설정된 주기마다 수집되는 영상 데이터를 분석하여 신호 정보를 추출할 수 있고, 추출된 신호 정보를 비교함으로써 신호의 변화를 감지할 수 있다.
S380 단계에서, 컴퓨팅 장치(100)는 S370 단계를 거쳐 신호의 변화가 감지되는 경우 즉, 신호등에서 출력되는 신호 정보가 적색 신호에서 녹색 신호로 변경되는 경우, 차량(10)에 출발 알림을 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 신호의 변화가 감지된 시점을 기준으로 기 설정된 시간을 초과할 때까지 차량(10)의 움직임이 감지되지 않는 경우, 차량(10)을 출발할 것을 안내하는 출발 알림을 제공할 수 있다. 즉, 차량(10)의 운전자가 신호의 변화를 인지하지 못한 것으로 판단되는 경우에만 차량(10)을 출발할 것을 안내하는 출발 알림을 제공함으로써, 운전자가 신호의 변화를 인지하는 상황에서도 출발 알림을 제공함에 따라 운전자가 불편함을 겪는 것을 방지할 수 있다.
이때, 컴퓨팅 장치(100)는 차량(10)의 움직임이 감지되지 않은 시간의 길이에 기초하여 차량(10)에 제공할 출발 알림의 속성(예: 출발 알림의 형태, 제공되는 출발 알림의 세기(크기), 길이, 출발 알림 제공 횟수 및 주기 등)을 결정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 신호의 변화가 감지된 시점을 기준으로 차량(10)의 움직임이 감지되지 않은 시간의 길이가 제1 길이인 경우 진동 또는 음성 형태의 출발 알림을 제공할 수 있으며, 제1 길이보다 긴 제2 길이인 경우 진동 형태의 출발 알림과 음성 형태의 출발 알림을 동시에 제공할 수 있다.
전술한 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 신호 정보 추출 장치(컴퓨팅 장치)
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크
Claims (11)
- 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
차량의 전방을 촬영한 영상 데이터를 수집하는 단계;
상기 수집된 영상 데이터를 분석하여 신호등을 식별하는 단계; 및
상기 식별된 신호등으로부터 신호 정보를 추출하는 단계를 포함하며,
상기 신호등을 식별하는 단계는,
상기 수집된 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 소정의 기간 동안의 상기 차량의 동작 패턴과 상기 소정의 기간 동안의 상기 식별된 복수의 신호등 각각으로부터 출력된 신호 정보의 변화 패턴을 비교하여 상기 식별된 복수의 신호등 중 어느 하나의 신호등을 선택하고, 상기 수집된 영상 데이터에서 상기 선택된 어느 하나의 신호등에 대응되는 영역을 관심 영역으로 설정하는 단계를 포함하며,
상기 신호 정보를 추출하는 단계는,
상기 설정된 관심 영역만을 분석하여 상기 차량에 대한 신호 정보를 추출하는 단계를 포함하는,
신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법. - 제1항에 있어서,
상기 신호 정보를 추출하는 단계는,
제1 차량 내에 구비된 위치 센서를 통해 수집된 상기 제1 차량의 위치 정보를 이용하여 상기 제1 차량이 신호 대기 중인지 여부를 판단하고, 상기 제1 차량이 신호 대기 중으로 판단되는 것에 응답하여 상기 식별된 신호등으로부터 상기 신호 정보를 추출하는 단계를 포함하는,
신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법. - 제1항에 있어서,
상기 신호 정보를 추출하는 단계는,
제1 차량의 전방을 촬영한 영상 데이터를 분석하여 상기 제1 차량이 신호 대기 중인지 여부를 판단하고, 상기 제1 차량이 신호 대기 중으로 판단되는 것에 응답하여 상기 식별된 신호등으로부터 상기 신호 정보를 추출하는 단계를 포함하는,
신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법. - 제1항에 있어서,
상기 신호등을 식별하는 단계는,
상기 수집된 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 상기 차량의 주행 경로에 기초하여 상기 식별된 복수의 신호등 중 어느 하나의 신호등을 선택하고, 상기 수집된 영상 데이터에서 상기 선택된 어느 하나의 신호등에 대응되는 영역을 관심 영역으로 설정하는 단계를 포함하며,
상기 신호 정보를 추출하는 단계는,
상기 설정된 관심 영역만을 분석하여 상기 차량에 대한 신호 정보를 추출하는 단계를 포함하는,
신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법. - 제4항에 있어서,
상기 관심 영역으로 설정하는 단계는,
상기 식별된 복수의 신호등 중 상기 차량의 주행 경로에 기초하여 선택된 신호등이 둘 이상인 경우, 둘 이상의 신호등 각각으로부터 출력되는 신호 정보의 속성 - 상기 신호 정보의 속성은 신호 정보의 출력 형태를 포함함 - 및 상기 둘 이상의 신호등 각각의 인접 위치에 설치된 도로 안내 표지 중 적어도 하나와 상기 차량의 속성을 이용하여 상기 둘 이상의 신호등 중 어느 하나의 신호등을 상기 차량의 주행 경로에 대응되는 신호등으로서 선택하는 단계를 포함하는,
신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법. - 제1항에 있어서,
상기 신호등을 식별하는 단계는,
상기 수집된 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 상기 식별된 복수의 신호등 중 상기 차량의 현재 동작 상태에 대응되는 신호 정보를 출력하는 어느 하나의 신호등을 선택하고, 상기 수집된 영상 데이터에서 상기 선택된 어느 하나의 신호등에 대응되는 영역을 관심 영역으로 설정하는 단계를 포함하며,
상기 신호 정보를 추출하는 단계는,
상기 설정된 관심 영역만을 분석하여 상기 차량에 대한 신호 정보를 추출하는 단계를 포함하는,
신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법. - 삭제
- 제1항에 있어서,
상기 신호등을 식별하는 단계는,
상기 수집된 영상 데이터를 분석하여 복수의 신호등이 식별될 때, 기 저장된 주행 경로별 신호등 위치 데이터에 기초하여 상기 식별된 복수의 신호등 중 상기 차량의 주행 경로에 대응하여 기 설정된 신호등이 있는 경우, 상기 수집된 영상 데이터에서 상기 기 설정된 신호등에 대응되는 영역을 관심 영역으로 설정하는 단계; 및
상기 식별된 복수의 신호등 중 상기 차량의 주행 경로에 대응하여 기 설정된 신호등이 없는 경우, 상기 차량의 주행 경로 및 상기 식별된 복수의 신호등으로부터 출력되는 신호 정보를 이용하여 상기 식별된 복수의 신호등 중 어느 하나의 신호등을 선택하고, 상기 수집된 영상 데이터에서 상기 선택된 어느 하나의 신호등에 대응되는 영역을 상기 관심 영역으로 설정하며, 상기 차량의 주행 경로 및 상기 선택된 어느 하나의 신호등에 대한 정보를 이용하여 상기 기 저장된 주행 경로별 신호등 위치 데이터를 갱신하는 단계를 포함하는,
신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법. - 제1항에 있어서,
상기 차량이 신호 대기 중인 경우, 상기 추출된 신호 정보 및 상기 차량의 움직임 정보에 기초하여, 상기 차량에 대한 출발 알림을 제공하는 단계를 더 포함하며,
상기 출발 알림을 제공하는 단계는,
상기 추출된 신호 정보가 적색 신호에서 녹색 신호로 변경된 시점을 기준으로 기 설정된 시간을 초과할 때까지 상기 차량의 움직임이 감지되지 않는 경우, 상기 차량을 출발할 것을 안내하는 상기 출발 알림을 제공하되, 상기 차량의 움직임이 감지되지 않은 시간의 길이에 기초하여 상기 차량에 제공할 출발 알림의 속성을 결정하는 단계를 포함하는,
신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법. - 프로세서;
네트워크 인터페이스;
메모리; 및
상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
상기 컴퓨터 프로그램은,
차량의 전방을 촬영한 영상 데이터를 수집하는 인스트럭션(instruction);
상기 수집된 영상 데이터를 분석하여 신호등을 식별하는 인스트럭션; 및
상시 식별된 신호등으로부터 신호 정보를 추출하는 인스트럭션을 포함하며,
상기 신호등을 식별하는 인스트럭션은,
상기 수집된 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 소정의 기간 동안의 상기 차량의 동작 패턴과 상기 소정의 기간 동안의 상기 식별된 복수의 신호등 각각으로부터 출력된 신호 정보의 변화 패턴을 비교하여 상기 식별된 복수의 신호등 중 어느 하나의 신호등을 선택하고, 상기 수집된 영상 데이터에서 상기 선택된 어느 하나의 신호등에 대응되는 영역을 관심 영역으로 설정하는 인스트럭션을 포함하며,
상기 신호 정보를 추출하는 인스트럭션은,
상기 설정된 관심 영역만을 분석하여 상기 차량에 대한 신호 정보를 추출하는 인스트럭션을 포함하는,
신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 장치. - 컴퓨팅 장치와 결합되어,
차량의 전방을 촬영한 영상 데이터를 수집하는 단계;
상기 수집된 영상 데이터를 분석하여 신호등을 식별하는 단계; 및
상시 식별된 신호등으로부터 신호 정보를 추출하는 단계를 포함하며,
상기 신호등을 식별하는 단계는,
상기 수집된 영상 데이터를 분석하여 복수의 신호등이 식별되는 경우, 소정의 기간 동안의 상기 차량의 동작 패턴과 상기 소정의 기간 동안의 상기 식별된 복수의 신호등 각각으로부터 출력된 신호 정보의 변화 패턴을 비교하여 상기 식별된 복수의 신호등 중 어느 하나의 신호등을 선택하고, 상기 수집된 영상 데이터에서 상기 선택된 어느 하나의 신호등에 대응되는 영역을 관심 영역으로 설정하는 단계를 포함하고,
상기 신호 정보를 추출하는 단계는,
상기 설정된 관심 영역만을 분석하여 상기 차량에 대한 신호 정보를 추출하는 단계를 포함하는 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법을 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된,
컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210118204A KR102373776B1 (ko) | 2021-09-06 | 2021-09-06 | 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램 |
| KR1020220029110A KR102624830B1 (ko) | 2021-09-06 | 2022-03-08 | 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램 |
| US17/929,716 US20230071709A1 (en) | 2021-09-06 | 2022-09-05 | Method, apparatus, and computer program for extracting traffic signal information through image data analysis including traffic light |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210118204A KR102373776B1 (ko) | 2021-09-06 | 2021-09-06 | 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220029110A Division KR102624830B1 (ko) | 2021-09-06 | 2022-03-08 | 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102373776B1 true KR102373776B1 (ko) | 2022-03-14 |
Family
ID=80823923
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210118204A KR102373776B1 (ko) | 2021-09-06 | 2021-09-06 | 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램 |
| KR1020220029110A KR102624830B1 (ko) | 2021-09-06 | 2022-03-08 | 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220029110A KR102624830B1 (ko) | 2021-09-06 | 2022-03-08 | 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20230071709A1 (ko) |
| KR (2) | KR102373776B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102600962B1 (ko) * | 2023-04-10 | 2023-11-13 | (주)토페스 | 교통 신호 위반 검출 장치 및 그 동작 방법 |
| CN117274929B (zh) * | 2023-11-21 | 2024-06-11 | 博时信息科技(深圳)有限公司 | 一种基于视觉分析的交通管理方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060114826A (ko) | 2005-05-03 | 2006-11-08 | 주식회사 현대오토넷 | 전방 차량 출발 알림 장치 및 방법 |
| KR20160148850A (ko) * | 2015-06-17 | 2016-12-27 | 한밭대학교 산학협력단 | 교통신호등의 특징점 추출에 기초한 교통신호등의 검출과 인식 방법 |
| KR20170037695A (ko) * | 2015-09-25 | 2017-04-05 | 주식회사 아이티스테이션 | 신호등을 이용한 차량 사고 방지 시스템 및 방법 |
| KR20210039245A (ko) * | 2019-10-01 | 2021-04-09 | (주) 오토노머스에이투지 | 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580571A (zh) * | 2020-12-25 | 2021-03-30 | 北京百度网讯科技有限公司 | 车辆行驶的控制方法、装置及电子设备 |
-
2021
- 2021-09-06 KR KR1020210118204A patent/KR102373776B1/ko active IP Right Grant
-
2022
- 2022-03-08 KR KR1020220029110A patent/KR102624830B1/ko active IP Right Grant
- 2022-09-05 US US17/929,716 patent/US20230071709A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060114826A (ko) | 2005-05-03 | 2006-11-08 | 주식회사 현대오토넷 | 전방 차량 출발 알림 장치 및 방법 |
| KR20160148850A (ko) * | 2015-06-17 | 2016-12-27 | 한밭대학교 산학협력단 | 교통신호등의 특징점 추출에 기초한 교통신호등의 검출과 인식 방법 |
| KR20170037695A (ko) * | 2015-09-25 | 2017-04-05 | 주식회사 아이티스테이션 | 신호등을 이용한 차량 사고 방지 시스템 및 방법 |
| KR20210039245A (ko) * | 2019-10-01 | 2021-04-09 | (주) 오토노머스에이투지 | 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102624830B1 (ko) | 2024-01-15 |
| KR20230036028A (ko) | 2023-03-14 |
| US20230071709A1 (en) | 2023-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102373776B1 (ko) | 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램 | |
| US11366477B2 (en) | Information processing device, information processing method, and computer readable medium | |
| JP7279721B2 (ja) | 物体認識装置、物体認識方法および物体認識プログラム | |
| CN109429518B (zh) | 基于地图图像的自动驾驶交通预测 | |
| US11475576B2 (en) | Method for detecting vehicle and device for executing the same | |
| US11308809B2 (en) | Collision control method and apparatus, and storage medium | |
| CN109116846B (zh) | 一种自动驾驶方法、装置、计算机设备和存储介质 | |
| US20190258249A1 (en) | Apparatus and method for controlling driving mode switch of vehicle and vehicle system | |
| KR102613790B1 (ko) | 주행 학습 기반 자율 주행 시스템 및 방법 | |
| KR102480416B1 (ko) | 차선 정보를 추정하는 방법 및 전자 장치 | |
| CN110390240B (zh) | 自动驾驶车辆中的车道后处理 | |
| JP2016007954A (ja) | 車線合流支援装置 | |
| US20210139025A1 (en) | Apparatus for preventing vehicle collision and method thereof | |
| KR20210070878A (ko) | 차량 주차를 보조하기 위한 시스템 및 방법 | |
| JP2014228526A (ja) | 情報告知装置、情報告知システム、情報告知方法、及び、情報告知装置用プログラム | |
| US20200062173A1 (en) | Notification control apparatus and method for controlling notification | |
| CN114407889B (zh) | 车道保持方法、系统、设备及计算机可读存储介质 | |
| CN113492841A (zh) | 泊车控制方法、装置及计算机可读存储介质 | |
| CN116547725A (zh) | 一种车辆预警方法、装置、设备及存储介质 | |
| CN109766841B (zh) | 车辆检测方法、装置及计算机可读存储介质 | |
| US11531355B2 (en) | Method, apparatus, and computer program for controlling autonomous vehicle using preset area information | |
| WO2020164090A1 (en) | Trajectory prediction for driving strategy | |
| KR20200070100A (ko) | 차량 검출 방법 및 이를 수행하는 전자 기기 | |
| KR102671815B1 (ko) | 자율주행을 위한 객체 인지 방법, 장치 및 컴퓨터프로그램 | |
| KR102643540B1 (ko) | 자율주행 차량의 충돌 방지 방법, 장치 및 컴퓨터프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |