KR20230036602A

KR20230036602A - Svm 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템, 방법

Info

Publication number: KR20230036602A
Application number: KR1020210118661A
Authority: KR
Inventors: 이재영
Original assignee: 현대모비스 주식회사
Priority date: 2021-09-06
Filing date: 2021-09-06
Publication date: 2023-03-15

Abstract

SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법이 제공된다. 상기 방법은 교차로에서 차량의 SVM 카메라를 통해 촬영한 전방 영상을 획득하는 단계; 상기 영상으로부터 횡단보도 및 상기 횡단보도에 구비된 보행자 신호 상태를 인식하는 단계; 상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 교차로에서 차량의 우회전 상태 여부를 판단하는 단계; 및 상기 우회전 상태인 것으로 판단시, 보행자 신호 상태 및 보행자의 검출 여부에 기초하여 차량의 제동을 제어하는 단계를 포함한다.

Description

SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템, 방법{SYSTEM AND METHOD FOR DETECTING PEDESTRIAN TRAFFIC LIGHTS AND CONTROLLING DRIVING AT INTERSECTIONS BASED ON SVM IMAGES}

본 발명은 SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템, 방법에 관한 것이다.

도 1은 차량 신호와 보행자 신호에 따른 우회전 허용 여부를 설명하기 위한 도면이다. 도 2는 우회전 신호기가 없는 다차선 교차로를 도시한 도면이다.

도로에서 주행 중인 차량은 차량 신호에 따라 신호등이 적색 등화 점등시 정차선에 정지해야 한다. 하지만, 교통 흐름을 보다 원활하게 하기 위하여 보행자나 다른 차량의 진행을 방해하지 않는 주의 의무를 지키는 조건에서는 차량 신호를 따르지 않고 예외적으로 교차로에서 우회전을 허용한다.

교차로에서는 보행자의 편의를 위하여 보행자 신호가 있는 횡단보도가 설치되어 있는 경우가 많으며, 이 경우 도 1과 같이 사례에 따라 우회전 허용 여부가 달라진다.

즉, 도 1의 (a)와 같은 경우와 같이 교차로의 진입 구간에 위치하는 횡단보도에서의 보행자 신호가 녹색인 경우, 우회전을 할 경우 보행 중인 보행자와 충돌위험이 있으므로 우회전이 금지된다. 다만, 도 1의 (b)와 같이 교차로의 진입 구간에 위치하는 횡단보도의 보행자 신호는 적색이고, 교차로의 진출 구간에 위치하는 횡단보도의 보행자 신호가 녹색인 경우, 보행자가 없는 조건에서 예외적으로 우회전이 허용된다.

이처럼 우회전 신호기가 없는 교차로에서는 운전자의 판단 또는 앞차를 따라서 우회전을 하게 된다. 이때, 도 1의 케이스와 같이 보행자 신호의 상태에 따라 우회전 가능 여부를 판단하는 게 일반적이지만, 보행자 신호는 교차로에서 우회전하고자 하는 차량의 진행 방향과 수직 각도로 설치되어 있으므로 신호 인식이 어렵다는 문제가 있다.

특히, 도 2와 같이 횡단보도가 긴 경우에는 우회전시 맞은편에 위치하는 보행자 신호등의 상태를 확인하는 것이 어려우므로 횡단보도 위에 보행자 유무로 우회전 가능성을 판단하게 된다.

하지만, 보행자 신호는 차량 신호의 황색등과 같이 신호 변화를 알려주는 신호가 없기 때문에, 앞 차량을 따라서 횡단보도에 진입하다가 보행자 신호가 바뀌어서 급격히 정차하는 경우가 발생하기 쉽다. 그리고 주행 판단에 필요한 정보가 다수(보행자 신호 2개, 차량 신호 1개, 교차로 진입 차량, 보행자 등)이므로 차량 제어기에 의한 교차로 우회전 주행 보조가 쉽지 않다. 특히, 교차로 진입 전에 사전 감속하지 않을 경우에는 정지 거리 부족으로 인한 사고 발생 위험이 높다.

공개특허공보 제10-2017-0097435호(2017.08.28)

본 발명이 해결하고자 하는 과제는 SVM 카메라를 이용하여 횡단보도와 보행자 신호의 상태를 인식하기 위한 것으로, 특히 교차로에서의 우회전시 보행자 신호 상태 및 보행자 검출 여부에 기초하여 차량의 제동을 제어하는, SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템, 방법을 제공한다.

다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또 다른 과제들이 존재할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법은 교차로에서 차량의 SVM 카메라를 통해 촬영한 전방 영상을 획득하는 단계; 상기 영상으로부터 횡단보도 및 상기 횡단보도에 구비된 보행자 신호 상태를 인식하는 단계; 상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 교차로에서 차량의 우회전 상태 여부를 판단하는 단계; 및 상기 우회전 상태인 것으로 판단시, 보행자 신호 상태 및 보행자의 검출 여부에 기초하여 차량의 제동을 제어하는 단계를 포함한다.

본 발명의 일부 실시예에서, 상기 영상으로부터 횡단보도 및 상기 횡단보도에 구비된 보행자 신호 상태를 인식하는 단계는, 상기 영상을 객체 인식을 위한 딥러닝 네트워크에 입력하여 상기 횡단보도 및 보행자 신호 상태를 인식할 수 있다.

본 발명의 일부 실시예에서, 상기 객체 인식을 위한 딥러닝 네트워크는 상기 영상으로부터 특징을 추출하는 베이스 네트워크와, 상기 추출된 특징을 이용하여 후보 영역인 앵커 박스(anchor box)를 분류하고 상기 앵커 박스의 위치 및 크기를 조정하여 객체를 검출하는 객체 검출 헤드를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 객체 인식을 위한 딥러닝 네트워크는 식 1에 따른 5채널 출력을 기반으로 객체를 검출하되,

[식 1]

상기 x_a, y_a, h_a 및 w_a는 상기 앵커 박스의 중심점, 높이 및 폭을 의미하고, x, y, w, h는 인식된 객체의 중심점, 높이 및 폭을 의미하고, 상기 c는 횡단보도, 보행자 신호등의 상태 정보 및 배경값 중 적어도 하나를 의미한다.

본 발명의 일부 실시예에서, 상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 교차로에서 차량의 우회전 상태 여부를 판단하는 단계는, 상기 교차로의 진입 위치에 존재하는 제1 횡단보도의 감지 시점부터 상기 교차로의 진출 위치에 존재하는 제2 횡단보도의 감지 시점까지의 차속 정보 및 조향각 정보에 기초하여 상기 차량의 우회전 상태 여부를 판단할 수 있다.

본 발명의 일부 실시예에서, 상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 교차로에서 차량의 우회전 상태 여부를 판단하는 단계는, 상기 제1 횡단보도 감지 시점부터 상기 제2 횡단보도의 감지 시점까지의 차속 정보 및 조향각 정보를 기반으로 이동벡터를 적분하여 산출되는 회전각 정보를 통해 상기 차량의 우회전 상태 여부를 판단할 수 있다.

본 발명의 일부 실시예에서, 상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 차량의 교차로에서 차량의 우회전 상태 여부를 판단하는 단계는, 상기 제1 횡단보도 감지 시점부터 상기 제2 횡단보도의 감지 시점까지의 GPS 정보 및 맵 정보를 기반으로 하는 우회전 각도를 산출하는 단계; 및 상기 회전각 정보와 우회전 각도의 차이의 절대값이 임계값 미만인 경우 상기 차량이 우회전 상태인 것으로 판단하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 우회전 상태인 것으로 판단시, 보행자 신호 상태 및 보행자의 검출 여부에 기초하여 차량의 제동을 제어하는 단계는, 상기 교차로의 진입 위치에 존재하는 제1 횡단보도 및 상기 교차로의 진출 위치에 존재하는 제2 횡단보도 중 적어도 하나에서의 상기 MFC 카메라에 의해 촬영된 영상으로부터 보행자를 검출하는 단계; 상기 제1 횡단보도 및 제2 횡단보도에서의 보행자 신호 상태를 확인하는 단계; 및 상기 보행자의 검출 여부에 기초하여 차량의 정지 또는 주행 여부를 결정하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 보행자의 검출 여부에 기초하여 차량의 정지 또는 주행 여부를 결정하는 단계는, 상기 제1 횡단보도에서의 보행자 신호가 녹색인 경우 차량을 정지 제어하고, 상기 제2 횡단보도에서의 보행자 신호가 녹색이고 상기 영상으로부터 보행자가 검출되지 않을 경우 상기 차량을 주행 제어할 수 있다.

본 발명의 일부 실시예에서, 상기 SVM 카메라는 어안렌즈를 포함하여 구성될 수 있다.

또한, 본 발명의 제2 측면에 따른 SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템은 차량 주변의 영상을 촬영하는 SVM 카메라, 상기 SVM 카메라에 의해 촬영된 영상을 수신하는 통신모듈, 상기 촬영된 영상을 기반으로 교차로에서의 보행자 신호등을 감지하고, 이에 기초하여 횡단보도에서의 차량 제동을 제어하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 교차로에서 상기 SVM 카메라를 통해 촬영한 전방 영상으로부터 횡단보도 및 상기 횡단보도에 구비된 보행자 신호 상태를 인식하고, 상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 차량의 교차로에서 차량의 우회전 상태 여부를 판단하여, 상기 우회전 상태인 것으로 판단시, 보행자 신호 상태 및 보행자의 검출 여부에 기초하여 차량의 제동을 제어한다.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

전술한 본 발명의 일 실시예에 따르면, SVM 카메라를 사용하여 보행자 신호를 인식하고, 차속과 조향각을 사용하여 차량의 우회전 여부를 판단하므로 교차로 우회전 상황에서 법규는 주행 및 정지 판단이 가능하게 할 수 있다.

특히, 교차로에서의 우회전 여부 판단, 그리고 판단에 따른 주행 및 정지 제어는 자율주행 시스템의 한계 상황에 해당하나, 본 발명의 일 실시예에 따르면 교차로와 같은 복잡한 시내 주행 상황 대응이 가능하므로 LV4 자율주행 시스템 구현이 가능하다는 장점이 있다.

이와 더불어, 교차로 횡단보도에 진입하기 전에 보행자 신호를 인식하므로, AEB(Autonomous Emergency Braking) 시스템 등에서 보행자를 인식한 후 제동하는 것보다 더욱 빠르게 감속 또는 정지할 수 있고, 보행자 검출시 완전 정지되도록 함으로써 보행자 사고 확률을 낮춰 안전성을 보다 높일 수 있는 장점이 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 차량 신호와 보행자 신호에 따른 우회전 허용 여부를 설명하기 위한 도면이다.
도 2는 우회전 신호기가 없는 다차선 교차로를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 보행자 신호등 감지 및 주행 제어 방법의 순서도이다.
도 4는 영상으로부터 횡단보도 및 보행자 신호 상태를 인식하는 내용을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에서 적용되는 객체 인식 네트워크를 설명하기 위한 도면이다.
도 6은 앵커 박스를 이용하여 객체 정보를 표현하는 내용을 설명하기 위한 도면이다.
도 7은 차속과 조향각 정보를 이용하여 진행방향을 계산하는 내용을 설명하기 위한 도면이다.
도 8은 교차로의 유형에 따른 우회전 각도를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에서의 우회전 판단 방법의 순서도이다.
도 10은 우회전 상태에서의 차량 제동 제어를 수행하는 내용을 설명하기 위한 순서도이다.
도 11은 본 발명의 일 실시예에 따른 SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템을 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 발명은 SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템(100) 및 방법에 관한 것이다.

도로에서 주행 중인 차량은 차량 신호에 따라 적색 등화시 정지해야 하지만, 예외적으로 교통 흐름을 원활하게 하기 위해 교차로에서 우회전을 허용한다. 그리고 우회전 신호기가 없는 교차로에서 우회전 가능 여부를 파악하기 위해서는 보행자 신호 상태를 알아야 한다.

하지만, 보행자 신호는 우회전 중인 차량의 진행 방향과 수직 방향으로 설치되어 있으므로 기존 자율 주행 센서로는 확인이 어려우며, 원거리에 위치한 보행자 신호를 육안으로 판단하는 것 역시 어렵다.

이러한 문제를 해소하기 위해 본 발명의 일 실시예는 SVM(Surround View Monitoring) 시스템의 전방 카메라(이하, SVM 카메라)를 이용하여 횡단보도와 보행자 신호의 상태를 인식하는 것을 제안한다.

이때, 본 발명의 일 실시예에 따른 SVM 카메라는 차량 주변의 360도를 감지하기 위하여 180도 이상의 시야각을 갖는 어안 렌즈를 사용하는 것을 특징으로 하며, 이에 따라 우회전 중인 차량의 주행 방향과 직각 방향으로 설치된 보행자 신호의 감지가 가능하다. 이에 따라 본 발명의 일 실시예는, 교차로 진입 및 진출 상황에서 보행자 신호를 인식하여 정차 여부를 결정할 수 있다.

이와 더불어, 본 발명의 일 실시예는 차량이 우회전한 것인지 여부를 확인하기 위하여 GPS 정보와 맵 정보를 활용하여 우회전 각도를 파악하고, 속도와 조향각을 적분한 값을 실제 주행한 각도와 비교함으로써 우회전 여부를 보다 정확히 판단할 수 있다.

이와 같은 방법에 따라 본 발명의 일 실시예는 우회전 후 교차로에서 보행자가 없을 경우 보행자 신호가 녹색이더라도 주행 가능 상태로 판단할 수 있다.

이하에서는 도 3 내지 도 10을 참조하여 본 발명의 일 실시예에 따른 SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법에 대해 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 보행자 신호등 감지 및 주행 제어 방법의 순서도이다.

한편, 도 3에 도시된 각 단계들은 후술하는 보행자 신호등 감지 및 주행 제어 시스템(100)에 의해 수행되는 것으로 이해될 수 있으나, 반드시 이에 한정되는 것은 아니다.

본 발명의 일 실시예에 따른 보행자 신호등 감지 및 주행 제어 방법은 교차로에서 차량의 SVM 카메라(110)를 통해 촬영한 전방 영상을 획득하는 단계(S110)와, 상기 영상으로부터 횡단보도 및 상기 횡단보도에 구비된 보행자 신호 상태를 인식하는 단계(S120)와, 상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 차량의 교차로에서 차량의 우회전 상태 여부를 판단하는 단계(S130)와, 상기 우회전 상태인 것으로 판단시, 보행자 신호 상태 및 보행자의 검출 여부에 기초하여 차량의 제동을 제어하는 단계(S140)를 포함하여 구성된다.

한편, 본 발명의 일 실시예에 따른 차량은 자율 주행 차량일 수 있으나, 반드시 이에 한정되는 것은 아니며 본 발명에 따른 시스템(100)을 구비하는 일반 차량도 적용 가능함은 물론이다.

먼저, 본 발명의 일 실시예는 교차로에서 차량의 SVM 카메라(110)를 통해 전방 영상을 획득한다(S110). 그리고 획득한 영상으로부터 횡단보도 및 횡단보도에 구비된 보행자 신호 상태를 인식한다(S120).

도 4는 영상으로부터 횡단보도 및 보행자 신호 상태를 인식하는 내용을 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에서 적용되는 객체 인식 네트워크를 설명하기 위한 도면이다. 도 6은 앵커 박스를 이용하여 객체 정보를 표현하는 내용을 설명하기 위한 도면이다.

법규에 맞게 차량이 우회전하기 위해서는 차량이 횡단보도에 진입하기 전에 보행자 신호를 감지해야 한다. 일반적으로 차량 신호의 경우, 차량의 전방 카메라를 통해 차량 신호 상태를 확인할 수 있으나, 차량 진행 방향과 수직 방향으로 바라보는 보행자 신호는 챙 등의 기구물 등에 가려져서 전방 카메라를 통한 인식이 어렵다. 이를 위해 본 발명의 일 실시예는 어안렌즈로 구성되는 SVM 카메라(110)를 통해 촬영된 전방 영상을 사용하여 횡단보도와 보행자 신호를 인식할 수 있다.

이때, SVM 카메라(110)의 전방 어안 렌즈는 화각이 180도 이상이므로 도 4에 도시된 바와 같이 보행자 신호등이 차량과 직각 방향으로 바라본다 하더라도 보행자 신호의 상태를 검출할 수 있다.

횡단보도 및 보행자 신호 상태를 확인하기 위해서는 객체 인식 알고리즘을 이용하는 것이 필요하며, 본 발명의 일 실시예에서는 도 5와 같은 영상을 객체 인식을 위한 딥러닝 네트워크에 입력하여 횡단보도 및 보행자 신호 상태를 인식할 수 있다.

일 실시예로, 객체 인식을 위한 딥러닝 네트워크는 영상으로부터 특징을 추출하는 베이스 네트워크(base network)와, 추출된 특징을 사용하여 후보 영역인 앵커 박스(anchor box)를 분류하고, 앵커 박스의 위치 및 크기를 조정하여 객체를 검출하는 객체 검출 헤드(object detection head)를 포함하여 구성된다.

이러한 딥러닝 네트워크는 하기 식 1에 따른 5채널 출력을 기반으로 객체를 검출한다

[식 1]

여기에서 x_a, y_a, h_a 및 w_a는 도 6과 같이 앵커 박스의 중심점, 높이 및 폭을 의미하고, x, y, w, h는 인식된 객체의 중심점, 높이 및 폭을 의미하고, c는 분류값으로 횡단보도, 보행자 신호등의 상태 정보(녹색, 적색) 및 배경값 중 적어도 하나를 의미한다.

SVM 카메라(110)에 의해 촬영된 영상을 통해 횡단보도 및 보행자 신호 상태가 검출되고 나면, 다음으로 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 교차로에서 차량의 우회전 여부를 판단한다(S130). 이때, 차속 정보 및 조향각 정보는 차량 제어기(10, ECS, MDPS 등)로부터 제공받을 수 있다.

도 7은 차속과 조향각 정보를 이용하여 진행방향을 계산하는 내용을 설명하기 위한 도면이다. 도 8은 교차로의 유형에 따른 우회전 각도를 설명하기 위한 도면이다. 도 9는 본 발명의 일 실시예에서의 우회전 판단 방법의 순서도이다.

본 발명의 일 실시예는 교차로에서 차량이 우회전하는지를 확인하기 위하여, 교차로의 진입 위치에 존재하는 제1 횡단보도의 감지 시점부터 교차로의 진출 위치에 존재하는 제2 횡단보도의 감지 시점까지의 차속 정보 및 조향각 정보를 획득한다. 그리고 제1 횡단보도 감지 시점부터 제2 횡단보도의 감지 시점까지의 차속 정보 및 조향각 정보를 기반으로 이동벡터를 적분하여 산출되는 회전각 정보를 통해 도 7과 같이 회전 후 차량의 진행 방향을 확인할 수 있다. (S201~S209).

따라서, 회전 후 차량의 진행 방향 벡터(d_exit)와 초기 차량 이동 방향 벡터(d_entry)를 사용하여 식 2와 같이 회전 각도(θ_turn)를 알 수 있다.

[식 2]

한편, 일반적인 직교 교차로를 가정할 경우, 도 8의 (a)와 같이 각도 변화가 외각을 기준으로 270도가 발생하였을 때 우회전한 것으로 판단하게 된다. 하지만, 도 7의 (b)와 같이 우회전 각도가 270와 다르거나, 도 7의 (c)와 같이 오거리의 경우에는 우회전을 위한 각도가 다르다.

본 발명의 일 실시예는 이와 같은 케이스에서도 우회전 여부를 정확히 판단하기 위하여 GPS 정보 및 맵 정보를 추가적으로 이용하는 것을 특징으로 한다. 이때, GPS 정보 및 맵 정보는 AVN 제어기(20)를 통해 제공받을 수 있다.

즉, 제1 횡단보도 감지 시점부터 제2 횡단보도 감지 시점가지의 GPS 정보를 획득하고, 맵 정보를 입력 받아 우회전 각도를 산출할 수 있다(S211~S215). 이때, GPS 정보를 획득하지 못한 경우에는 우회전 각도는 내각 기준 90도로 가정한다(S217).

그 다음, 회전각 정보와 우회전 각도의 차이의 절대값을 산출하고, 산출한 절대값이 미리 설정된 각도 임계값(상수) 미만인 경우, 차량이 우회전 상태인 것으로 판단하고, 각도 임계값 이상인 경우에는 차량이 직진 또는 좌회전 상태인 것으로 판단한다(S219~S223).

다시 도 3을 참조하면, 다음으로 우회전 상태인 것으로 판단시 보행자 신호 상태 및 보행자의 검출 여부에 기초하여 차량의 제동을 제어한다(S140).

도 10은 우회전 상태에서의 차량 제동 제어를 수행하는 내용을 설명하기 위한 순서도이다.

교차로에 차량이 위치하게 되면, 교차로의 진입 위치에 존재하는 제1 횡단보도 상에 보행자가 존재하는지 여부를 확인한다(S301). 그리고 확인 결과 보행자가 존재하는 경우에는 차량을 정지 제어한다(S313).

이와 달리, 보행자가 존재하지 않는 경우 제1 횡단보도에 위치하는 보행자 신호 상태가 녹색인지 여부를 확인하고(S303), 확인 결과 녹색인 경우 차량을 정지 제어하며(S313), 녹색이 아닌 경우에는 차량이 우회전 중인지 여부를 판단한다(S305).

차량이 우회전을 진행함에 따라 교차로의 진출 위치에 존재하는 제2 횡단보도에 위치하는 보행자 신호가 녹색인지 여부를 확인하고(S307), 확인 결과 녹색이 아닌 경우에는 우회전 후 계속 주행되도록 제어한다(S315).

이와 달리, 제2 횡단보도에서의 보행자 신호가 녹색이고, 차량이 우회전을 수행하는 중이라면(S309), 제2 횡단보도 상에 보행자가 존재하는지 여부를 확인하고(S311), 보행자가 존재하는 경우 차량을 정지 제어하고(S313), 보행자가 존재하지 않는 경우 우회전 후 계속 주행되도록 제어한다(S315).

이때, 본 발명의 일 실시예는 MFC(150, Multi-Function Camera)를 이용하여 제1 및 제2 횡단보도 상에 보행자가 존재하는지 여부를 검출할 수 있다.

이러한 최종 출력은 자율 주행 제어기(30)에 전달하여 전체 차량 동작을 제어한다.

한편, 상술한 설명에서, 단계 S110 내지 S315는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 3 내지 도 10의 내용은 도 11의 내용에도 적용될 수 있다.

이하에서는 도 11을 참조하여 본 발명의 일 실시예에 따른 SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템(100)에 대해 설명하도록 한다.

도 11은 본 발명의 일 실시예에 따른 SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템(100)을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 보행자 신호등 감지 및 주행 제어 시스템(100)은 SVM 카메라(110), 통신모듈(120), 메모리(130) 및 프로세서(140)를 포함한다.

SVM 카메라(110)는 차량 주변의 영상을 촬영하고, 통신모듈(120)은 SVM 카메라에 의해 촬영된 영상을 수신한다.

메모리(130)에는 촬영된 영상을 기반으로 교차로에서의 보행자 신호등을 감지하고, 이에 기초하여 횡단보도에서의 차량 제동을 제어하기 위한 프로그램이 저장되며, 프로세서(140)는 메모리(130)에 저장된 프로그램을 실행시킨다.

프로세서(140)는 메모리(130)에 저장된 프로그램을 실행시킴에 따라, 교차로에서 SVM 카메라(110)를 통해 촬영한 전방 영상으로부터 횡단보도 및 횡단보도에 구비된 보행자 신호 상태를 인식한다. 그리고 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 차량의 교차로에서 차량의 우회전 상태 여부를 판단하여, 우회전 상태인 것으로 판단시, 보행자 신호 상태 및 보행자의 검출 여부에 기초하여 차량의 제동을 제어한다.

이상에서 전술한 본 발명의 일 실시예에 따른 SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 차량 제어기
20: AVN 제어기
30: 자율 주행 제어기
100: 보행자 신호등 감지 및 주행 제어 시스템
110: SVM 카메라
120: 통신모듈
130: 메모리
140: 프로세서
150: MFC

Claims

컴퓨터에 의해 수행되는 방법에 있어서,
교차로에서 차량의 SVM 카메라를 통해 촬영한 전방 영상을 획득하는 단계;
상기 영상으로부터 횡단보도 및 상기 횡단보도에 구비된 보행자 신호 상태를 인식하는 단계;
상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 교차로에서 차량의 우회전 상태 여부를 판단하는 단계; 및
상기 우회전 상태인 것으로 판단시, 보행자 신호 상태 및 보행자의 검출 여부에 기초하여 차량의 제동을 제어하는 단계를 포함하는,
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법.
제1항에 있어서,
상기 영상으로부터 횡단보도 및 상기 횡단보도에 구비된 보행자 신호 상태를 인식하는 단계는,
상기 영상을 객체 인식을 위한 딥러닝 네트워크에 입력하여 상기 횡단보도 및 보행자 신호 상태를 인식하는 것인,
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법.
제2항에 있어서,
상기 객체 인식을 위한 딥러닝 네트워크는 상기 영상으로부터 특징을 추출하는 베이스 네트워크와, 상기 추출된 특징을 이용하여 후보 영역인 앵커 박스(anchor box)를 분류하고 상기 앵커 박스의 위치 및 크기를 조정하여 객체를 검출하는 객체 검출 헤드를 포함하는,
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법.
제3항에 있어서,
상기 객체 인식을 위한 딥러닝 네트워크는 식 1에 따른 5채널 출력을 기반으로 객체를 검출하되,
[식 1]

상기 x_a, y_a, h_a 및 w_a는 상기 앵커 박스의 중심점, 높이 및 폭을 의미하고, x, y, w, h는 인식된 객체의 중심점, 높이 및 폭을 의미하고, 상기 c는 횡단보도, 보행자 신호등의 상태 정보 및 배경값 중 적어도 하나를 의미하는 것인,
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법.
제1항에 있어서,
상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 교차로에서 차량의 우회전 상태 여부를 판단하는 단계는,
상기 교차로의 진입 위치에 존재하는 제1 횡단보도의 감지 시점부터 상기 교차로의 진출 위치에 존재하는 제2 횡단보도의 감지 시점까지의 차속 정보 및 조향각 정보에 기초하여 상기 차량의 우회전 상태 여부를 판단하는 것인,
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법.
제5항에 있어서,
상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 교차로에서 차량의 우회전 상태 여부를 판단하는 단계는,
상기 제1 횡단보도 감지 시점부터 상기 제2 횡단보도의 감지 시점까지의 차속 정보 및 조향각 정보를 기반으로 이동벡터를 적분하여 산출되는 회전각 정보를 통해 상기 차량의 우회전 상태 여부를 판단하는 것인,
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법.
제6항에 있어서,
상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 차량의 교차로에서 차량의 우회전 상태 여부를 판단하는 단계는,
상기 제1 횡단보도 감지 시점부터 상기 제2 횡단보도의 감지 시점까지의 GPS 정보 및 맵 정보를 기반으로 하는 우회전 각도를 산출하는 단계; 및
상기 회전각 정보와 우회전 각도의 차이의 절대값이 임계값 미만인 경우 상기 차량이 우회전 상태인 것으로 판단하는 단계를 포함하는,
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법.
제1항에 있어서,
상기 우회전 상태인 것으로 판단시, 보행자 신호 상태 및 보행자의 검출 여부에 기초하여 차량의 제동을 제어하는 단계는,
상기 교차로의 진입 위치에 존재하는 제1 횡단보도 및 상기 교차로의 진출 위치에 존재하는 제2 횡단보도 중 적어도 하나에서의 상기 MFC 카메라에 의해 촬영된 영상으로부터 보행자를 검출하는 단계;
상기 제1 횡단보도 및 제2 횡단보도에서의 보행자 신호 상태를 확인하는 단계; 및
상기 보행자의 검출 여부에 기초하여 차량의 정지 또는 주행 여부를 결정하는 단계를 포함하는,
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법.
제8항에 있어서,
상기 보행자의 검출 여부에 기초하여 차량의 정지 또는 주행 여부를 결정하는 단계는,
상기 제1 횡단보도에서의 보행자 신호가 녹색인 경우 차량을 정지 제어하고, 상기 제2 횡단보도에서의 보행자 신호가 녹색이고 상기 영상으로부터 보행자가 검출되지 않을 경우 상기 차량을 주행 제어하는 것인,
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법.
제1항에 있어서,
상기 SVM 카메라는 어안렌즈를 포함하여 구성되는 것을 특징으로 하는,
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 방법.
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템에 있어서,
차량 주변의 영상을 촬영하는 SVM 카메라,
상기 SVM 카메라에 의해 촬영된 영상을 수신하는 통신모듈,
상기 촬영된 영상을 기반으로 교차로에서의 보행자 신호등을 감지하고, 이에 기초하여 횡단보도에서의 차량 제동을 제어하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하고,
상기 프로세서는 상기 프로그램을 실행시킴에 따라, 교차로에서 상기 SVM 카메라를 통해 촬영한 전방 영상으로부터 횡단보도 및 상기 횡단보도에 구비된 보행자 신호 상태를 인식하고, 상기 횡단보도 감지 시점에서의 차속 정보 및 조향각 정보를 기반으로 차량의 교차로에서 차량의 우회전 상태 여부를 판단하여, 상기 우회전 상태인 것으로 판단시, 보행자 신호 상태 및 보행자의 검출 여부에 기초하여 차량의 제동을 제어하는 것인,
SVM 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템.