KR102051888B1 - 기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법, 장치 및 프로그램 - Google Patents

Abstract

컴퓨터에 의하여 수행되는 방법에 있어서, 차량의 주행정보를 수집하는 단계, 상기 주행정보에 기초하여 상기 차량의 현재 상태 및 상기 차량의 주변정보를 판단하는 단계, 상기 현재 상태 및 주변정보에 기초하여, 상기 차량의 미래 일 시점의 상태정보를 예측하는 단계, 상기 차량의 주행규칙에 기반하여, 상기 예측되는 상태정보에 대응하는 상기 차량의 행동지침을 결정하는 단계 및 상기 결정된 행동지침에 기반하여 상기 차량의 주행을 제어하는 단계를 포함하고, 상기 주행규칙은, 서로 상이한 우선순위가 부여된, 상기 차량의 주행에 대한 하나 이상의 요구사항을 포함하는 것을 특징으로 하는, 기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법이 개시된다.

Description

기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법, 장치 및 프로그램 {METHOD, APPARATUS AND PROGRAM FOR CONTROLLING A VEHICLE’S DRIVING OPERATION BASED ON PRE-SET RULES}

일 개시에 의하여 기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법, 장치 및 프로그램을 개시한다.

차량을 이용하는 사용자의 편의를 위해, 각종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있으며. 나아가, 자율 주행 차량(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.

최근에는 학습에 기초하여 자율 주행하는 자율 주행 차량도 개발되고 있다. 예를 들면, 학습 모드에서는 주행 환경 및 주행 경로를 학습하고, 학습이 완료됨을 전제로 하여 동작 모드를 수행하는 자율 주행 차량이 있다.

그러나, 사회적 규칙, 도로 상황, 다른 차량의 운전자, 보행자 및 운전자의 상황을 모두 고려하여 자율 주행을 수행하는 것은 한계가 있었다.

특히, 학습결과에만 의존할 경우, 자율 주행 시 발생하는 상황에 따라 예상하지 못한 비합리적인 행동을 할 가능성이 존재한다는 점, 그 동작의 원인을 추적하기 어렵다는 점, 매 상황에 따라 재학습을 수행하는데 대한 물리적 한계가 존재한다는 점등의 어려움으로 인해, 명확한 행동지침을 통일화하여 적용되지 못하는 문제점이 발행하였다.

(선행문헌 1) 대한민국 공개특허공보 제 10-2017-0018564 호 (2017년 2월 20일 공개) (선행문헌 2) 대한민국 등록특허공보 제 10-1748405 호(2017년 6월 12일 공고)

일 실시예는, 기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법, 장치 및 프로그램을 제공하고자 한다.

제 1 실시예에 의하여 기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법을 제공하며, 본 방법은 차량의 주행정보를 수집하는 단계, 상기 주행정보에 기초하여 상기 차량의 현재 상태 및 상기 차량의 주변정보를 판단하는 단계, 상기 현재 상태 및 주변정보에 기초하여, 상기 차량의 미래 일 시점의 상태정보를 예측하는 단계, 상기 차량의 주행규칙에 기반하여, 상기 예측되는 상태정보에 대응하는 상기 차량의 행동지침을 결정하는 단계 및 상기 결정된 행동지침에 기반하여 상기 차량의 주행을 제어하는 단계를 포함하고, 상기 주행규칙은, 서로 상이한 우선순위가 부여된, 상기 차량의 주행에 대한 하나 이상의 요구사항을 포함하는 것을 특징으로 한다.

제 2 실시예에 의하여 기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 장치를 제공하며 본 장치는 프로세서 및 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고, 프로세서는 명령어들을 실행함으로써, 차량의 주행정보를 수집하는 단계, 상기 주행정보에 기초하여 상기 차량의 현재 상태 및 상기 차량의 주변정보를 판단하는 단계, 상기 현재 상태 및 주변정보에 기초하여, 상기 차량의 미래 일 시점의 상태정보를 예측하는 단계, 상기 차량의 주행규칙에 기반하여, 상기 예측되는 상태정보에 대응하는 상기 차량의 행동지침을 결정하는 단계 및 상기 결정된 행동지침에 기반하여 상기 차량의 주행을 제어하는 단계를 수행하고, 상기 주행규칙은, 서로 상이한 우선순위가 부여된, 상기 차량의 주행에 대한 하나 이상의 요구사항을 포함하는 것을 특징으로 한다.

제 3 실시예에 의하여 컴퓨터 프로그램 제품을 제공하며, 본 제품은 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 저장 매체는, 차량의 주행정보를 수집하는 단계, 상기 주행정보에 기초하여 상기 차량의 현재 상태 및 상기 차량의 주변정보를 판단하는 단계, 상기 현재 상태 및 주변정보에 기초하여, 상기 차량의 미래 일 시점의 상태정보를 예측하는 단계, 상기 차량의 주행규칙에 기반하여, 상기 예측되는 상태정보에 대응하는 상기 차량의 행동지침을 결정하는 단계 및 상기 결정된 행동지침에 기반하여 상기 차량의 주행을 제어하는 단계를 수행하고, 상기 주행규칙은, 서로 상이한 우선순위가 부여된, 상기 차량의 주행에 대한 하나 이상의 요구사항을 포함하는 것을 특징으로 하는 명령어들을 포함할 수 있다.

일 개시에 의하여 자율 주행 도중 발생하는 이벤트에 대응하기 위한 주행 제어 방법을 선택하는 기준이 우선순위에 의하여 명확하게 정해져 있어, 이벤트에 대처할 수 있는 가장 최선의 방법을 정확하게 판단할 수 있다.

일 개시에 의하여 사회적 규칙, 다른 차량의 운전자, 차량의 운전자 및 보행자의 상태를 반영하여 우선 순위를 정할 수 있어, 합리적이고 안전한 자율 주행 방법을 제공할 수 있다.

일 개시에 의하여 각각의 우선 순위들은 복수개의 하위 우선 순위들을 포함하고 있어, 하나의 이벤트에서도 상황에 맞는 최선의 하위 우선 순위들을 선택할 수 있어 상황 적응력이 뛰어난 자율 주행 방법을 제공할 수 있다.

도 1은 일 개시에 의한 우선 순위에 기초하여 차량의 주행을 제어하는 방법을 개략적으로 설명하기 위한 도면이다.
도 2는 일 개시에 의한 우선 순위에 기초하여 차량의 주행을 제어하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 개시에 의하여 우선 순위의 조건을 순차적으로 판단하는 방법을 설명하기 위한 도면이다.
도 4는 일 개시에 의한 우선 순위를 결정하여 차량의 주행 명령을 생성하는 방법을 설명하기 위한 도면이다.
도 5는 일 개시에 의하여 시간의 흐름에 따라 이벤트가 변경되는 경우 우선 순위를 결정하는 내용을 설명하기 위한 도면이다.
도 6은 일 개시에 의하여 주행 중 사각지대가 생기는 경우, 사각지대에서 발생할 수 있는 객체의 이벤트를 예측하여 차량의 주행을 제어하는 내용을 설명하기 위한 도면이다.
도 7은 일 개시에 의하여 차량의 주행 명령을 수행하는 경우, 주행 명령에 대한 안내 메시지를 출력하는 실시예를 설명하기 위한 도면이다.
도 8은 일 개시에 의한 우선 순위에 기초하여 차량의 주행을 제어하는 장치의 구조를 나타내는 블록도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

이하에서, 우선 순위에 기초하여 차량의 주행을 제어하는 장치(100)는 차량 주행 제어 장치(100)로 축약하여 쓰도록 한다.

이하에서, 사용자는 차량 주행 제어 장치(100)를 사용하는 사람을 의미하며, 개발자, 차량의 운전자, 동승자 및 소유자 등을 포함할 수 있으며, 차량 주행 제어 장치를 직접적, 간접적으로 이용하는 모든 사람을 포함할 수 있다.

이하에서, 우선 순위는 차량의 주행 명령을 생성하기 위한 기준이 되는 것으로서, 차량과 객체가 충돌할 확률이 증가할 수 록 우선 순위가 높아진다. 이벤트의 우선 순위를 판단하는 경우, 이벤트가 가장 최상의 우선 순위의 조건을 만족하는지 여부를 판단하고, 우선 순위의 조건을 만족하지 않는 경우 다음 우선 순위의 조건을 만족하는지 여부를 판단한다. 우선 순위는 사회적 합의, 윤리적 이슈, 사용자의 상태 등에 기초하여 변경될 수 있다.

이하에서, 하위 우선 순위는 우선 순위의 조건을 만족하는 범위에서 실행가능한 주행 제어 조건을 분류한 것으로서, 메인으로 선택된 우선 순위의 세부 제어 조건을 포함할 수 있다. 하나의 우선 순위는 적어도 하나의 하위 우선 순위를 포함할 수 있다. 하위 우선 순위도 기 정해진 기준에 따라 순서가 정해져있으며, 이벤트가 어느 하위 우선 순위에 해당하는지 여부를 순차적으로 판단하고 하위 우선 순위의 조건을 만족시키지 못하는 경우, 해당 하위 우선 순위가 이벤트의 하위 우선 순위로 결정된다.

도 1은 일 개시에 의한 우선 순위에 기초하여 차량의 주행을 제어하는 방법을 개략적으로 설명하기 위한 도면이다.

일 개시에 의하여 차량 주행 제어 장치(100)는 차량의 내부 또는 외부에 설치될 수 있다. 또한, 차량 주행 제어 장치(100)는 차량의 일부로서 포함될 수 있으며, 차량과 독립적인 구성으로서 장착될 수 있다. 또한, 차량 주행 제어 장치(100)는 차량에 포함된 부품들을 이용하여 동작할 수 있다.

일 개시에 의하여 차량 주행 제어 장치(100)는 차량의 주행 중 획득한 주행 영상으로부터 객체를 인식할 수 있다. 예를 들어, 도 1과 같이 객체가 사람인 경우, 차량 주행 제어 장치(100)는 객체의 상태를 판단할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 남자로 인식된 객체(102)가 도로를 향하여 뛰어오고 있음을 판단할 수 있으며, 남자가 달리는 방향 및 실시간 속도에 대한 정보를 획득할 수 있다.

일 개시에 의하여 차량 주행 제어 장치(100)는 현재 객체(102)의 속도에 기초하여 객체(102)가 도로를 향해 뛰어들 수 있다고 판단할 수 있으며, 현재 차량의 속도를 기초로 객체(102)와 차량(101)이 충돌할 지 여부를 판단할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 객체(102)와 차량(101)이 충돌할 확률을 퍼센트 확률(%)로 판단할 수 있다.

일 개시에 의하여, 차량 주행 제어 장치(100)는 객체(102)와 차량(101)의 충돌할 확률이 일정 %이상인 경우 객체(102)와 차량(101)의 충돌을 확신할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 객체(102)와 충돌할 확률이 10~80%인 경우 판단되는 경우, 객체(102)로부터 발생하는 이벤트를 ‘충돌 가능’로 결정할 수 있다. 이때, 충돌할 확률에 따른 이벤트의 종류는 교통 규칙에 기초하여 정해질 수 있으며, 나아가 사용자에 의하여 정해질 수 있다.

일 개시에 의하여, 차량 주행 제어 장치(100)는 차량(101)의 현재 상태 및 현재 속도에 기초하여 주행 상태를 예측할 수 있다. 보다 구체적으로 살펴보면, 도 1의 상단 그림에서 차량 주행 제어 장치(100)는 차량(101)이 현재 속력과 현재 방향으로 계속하여 주행할 경우, 객체(102)와 70%의 확률로 충돌할 수 있을 것이라고 예측(103)할 수 있다. 여기서, 차량 주행 제어 장치(100)는 객체로부터 발생할 수 있는 이벤트를 ‘70%의 확률로 충돌 가능’으로 결정할 수 있다.

차량 주행 제어 장치(100)는 결정된 이벤트가 기 결정된 우선 순위의 조건을 만족하는지 판단함으로써, 이벤트의 우선 순위를 판단할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 도 1 상의 ‘충돌 가능’ 이벤트의 우선 순위를 제 2 우선 순위로 판단할 수 있다. 예를 들어 제 2 우선 순위는 확실한 충돌은 아니지만 충돌 회피를 위하여 도로 규칙 위반이 수반되는 경우를 나타낸다.

다음으로, 차량 주행 제어 장치(100)는 제 2 우선 순위로 결정된 이벤트의 적어도 하나의 하위 우선 순위를 결정할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 객체(102)와의 충돌을 피하기 위하여, 차량(101)이 중앙선을 침범하여 이동하는 것이 최선이라고 결정할 수 있으며, ‘중앙선 침범’을 하위 우선 순위로 결정할 수 있다. 예를 들어, 도 1의 하단 그림에서와 같이 차량 주행 제어 장치(100)는 차량(101)이 중앙선을 넘어 운행됨으로써 객체(102)를 피하는 상황을 예측(103)할 수 있으며, 나아가 객체(102)와의 충돌을 회피하는 방향으로 차량을 제어할 수 있다.

이러한 우선순위는 순서도에 기반하여 순차적으로 판단될 수도 있으며, 실시 예에 따라 비용함수에 기반하여 산출되는 비용값을 최소화하는 방법에 기반하여 판단될 수도 있으며, 이에 제한되는 것은 아니다.

즉, 차량 주행 제어 장치(100)는 결정된 우선 순위에 대응하는 주행 제어 명령을 생성하고, 차량(101)에 전달함으로써 차량(101)의 주행을 제어할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 차량(101)이 중앙선을 넘어 이동하도록 제어함으로써 객체(102)의 예상 이동 경로와 겹치지 않도록 차량(101)을 제어할 수 있다.

이하에서, 보다 상세히 살펴보도록 한다.

도 2는 일 개시에 의한 우선 순위에 기초하여 차량의 주행을 제어하는 방법을 설명하기 위한 흐름도이다.

블록 201에서 일 개시에 의하여 차량 주행 제어 장치(100)는 차량의 주행정보를 수집한다.

개시된 실시 예에서, 차량 주행 제어 장치(100)는 차량의 주행과 관련된 정보를 수집하기 위하여 다양한 센서 장치를 활용한다.

예를 들어, 차량 주행 제어 장치(100)는 영상 센서, 레이저를 이용한 LiDAR 및 Radar 등 다양한 센서를 위하여 차량의 주행과 관련된 정보를 수집한다.

또한, 차량 주행 제어 장치(100)는 GPS를 비롯한 다양한 통신 장비를 이용하여서도 차량의 위치나 속도 등을 계산하기 위한 정보들을 수집할 수 있다.

차량의 주행정보를 수집하는 데 이용되는 장치나 모듈, 센서 등은 상술한 바에 제한되지 않으며, 가능한 모든 종류의 장치나 모듈, 센서 등이 개시된 실시 예에 따른 주행정보 수집에 활용될 수 있다.

개시된 실시 예에서, 주행정보는 차량의 위치(예를 들어, 좌표 등), 속도, 방향 등과 같은 차량에 대한 정보와, 차량 주변의 객체, 도로, 신호등 및 기타 주변환경에 대한 정보를 모두 포괄하는 개념으로 이해된다. 또한, 주행정보는 상술한 다양한 정보들을 판단하기 위하여 센서 장치 및 통신장비 등으로부터 수집되는 모든 종류의 정보들을 포함하는 것으로도 이해될 수 있다.

영상 센서를 이용하는 일 실시 예에서, 차량 주행 제어 장치(100)는 복수의 프레임(frame)들을 포함하는 주행 영상을 획득할 수 있다.

일 개시에 의하여 차량 주행 제어 장치(100)는 소정의 네트워크를 통하여 차량에 설치된 카메라와 통신함으로써, 주행 영상을 수신할 수 있다. 예를 들어, 주행 영상은 차량의 블랙박스(blackbox) 영상일 수 있고, 또는 차량의 스테레오 카메라로부터 수신한 영상일 수 있다. 일 실시예에서, 차량 주행 제어 장치(100)는 카메라를 구비하여, 차량 주행 제어 장치(100)에 포함된 카메라로부터 주행 영상을 획득할 수도 있다. 또한, 차량에 설치된 카메라는 차량의 전방, 측면, 후방에 설치된 카메라일 수 있으며, 차량의 어느 곳이든 설치될 수 있음은 자명하다.

주행 영상은 일련의 정지 영상(still image)들로 구성될 수 있다. 정지 영상들 각각은 픽처(picture) 또는 프레임(frame)을 의미할 수 있다.

블록 202에서 차량 주행 제어 장치(100)는 상기 주행정보에 기초하여 상기 차량의 현재 상태 및 상기 차량의 주변정보를 판단한다.

개시된 실시 예에서, 차량의 현재 상태는 차량의 현재 위치, 속도, 방향 및 기타 차량 및 차량의 주행과 관련된 정보들을 포함할 수 있다.

개시된 실시 예에서, 주변정보는 차량 주변의 객체, 도로, 신호등 및 기타 주변환경에 대한 정보를 포함할 수 있다.

영상 센서를 이용하여 주변정보를 수집하는 실시 예에서, 차량 주행 제어 장치(100)는 영상 센서로부터 수집된 복수의 프레임들에 포함된 객체의 위치를 인식할 수 있다.

일 개시에 의하여 차량 주행 제어 장치(100)는 주행 중 획득한 주행 영상으로부터 객체를 인식할 수 있다. 차량 주행 제어 장치(100)는 영상의 프레임으로부터 객체의 특성을 인식할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 객체가 사람인지, 사물인지를 판단할 수 있으며, 객체가 이동 중인지, 고정된 상태 인지 판단할 수 있으며, 객체가 사람인 경우 성별, 나이, 장애여부, 이동 속도 및 이동 방향 등을 판단할 수 있다.

일 실시예에서, 차량 주행 제어 장치(100)는 주행 영상에 포함된 하나의 프레임으로부터 하나 이상의 객체를 검출할 수 있다. 하나의 프레임으로부터 검출된 하나 이상의 객체는, 동일한 주행 영상에 포함된 다른 프레임에서도 검출될 수 있다. 또는, 하나의 프레임으로부터 검출된 하나 이상의 객체는, 동일한 주행 영상에 포함된 다른 프레임에서는 검출되지 않을 수 있다. 예를 들어, 제 1 프레임에서는 차도, 인도, 제 1 자동차, 제 2 자동차, 제 3 자동차, 교통 표지판이 검출되었는데, 제 1 프레임과 동일한 비디오 시퀀스 내의 제 2 프레임에서는 차도, 인도, 제 1 자동차, 제 3 자동차만이 검출되고, 제 2 자동차 및 교통 표지판이 검출되지 않을 수 있다. 또한, 제 2 프레임에서는 제 1 프레임에서 검출되지 않았던 오토바이가 검출될 수 있다.

일 개시에 의하여, 차량 주행 제어 장치(100)는 객체의 좌표 정보를 이용하여 객체의 위치 정보를 획득할 수 있다. 예를 들어, 제 1 프레임에서의 제 1 자동차의 좌표 정보로부터 제 1 자동차가 프레임 상에서 어느 위치에 있는지 인식할 수 있다. 또한, 제 1 프레임에서의 제 1 자동차의 위치 및 제 3 자동차의 위치를 이용하여 제 1 자동차와 제 3 자동차의 간격을 인식할 수 있다. 또한, 제 3 프레임에서의 제 1 자동차의 위치 및 제 3 자동차의 위치를 이용하여 제 3 프레임에서 제 1 자동차와 제 3 자동차 사이의 간격의 변화량을 인식할 수 있다.

일 개시에 의하여, 차량 주행 제어 장치(100)는 객체의 종류를 결정하고, 객체가 인식된 위치에서 객체의 종류가 가질 수 있는 크기 정보에 기초하여, 객체가 노이즈인지 여부를 결정할 수 있다. 일 개시에 의하여, 객체의 종류가 가질 수 있는 크기 정보는 객체의 종류에 따라 미리 결정된 형태에 기반하여 설정된 크기 정보를 의미할 수 있다.

일 개시에 의하여, 크기 정보는 객체의 종류별로 결정된 객체의 크기에 대한 정보를 포함할 수 있다. 일 개시에 의하여 크기 정보는 객체가 프레임에서 차지할 수 있는 면적의 범위에 대한 정보를 포함할 수 있다. 일 개시에 의하여, 차량과 객체 사이의 거리가 감소할수록 프레임에서 객체가 차지하는 면적은 증가하며, 차량과 객체 사이의 거리가 증가할수록 프레임에서 객체가 차지하는 면적은 증가할 수 있다. 일 개시에 의하여, 크기 정보는 객체의 종류에 따라서 미리 정해진 범위를 가질 수 있다.

일 실시예에서, 차량 주행 제어 장치(100)는 객체의 종류(type)를 판단할 수 있다. 예를 들어, 객체의 종류는, 차도(road), 인도(sidewalk), 빌딩(building), 벽(wall), 울타리(fence), 기둥(pole), 신호등(traffic light), 교통 표지판(traffic sign), 식물(vegetation), 지형(terrain), 하늘(sky), 사람(person), 운전자(rider), 자동차(car), 트럭(truck), 버스(bus), 기차(train), 오토바이(motorcycle), 및 자전거(bicycle) 등일 수 있다.

예를 들어, 차량 주행 제어 장치(100)는 하나의 프레임으로부터 복수의 객체들을 검출하고, 복수의 객체들 각각의 종류가 무엇인지 판단할 수 있다. 또한, 차량 주행 제어 장치(100)는 복수의 객체들 중 일부의 종류가 동일하더라도, 동일한 종류의 객체들을 구별할 수 있다. 예를 들어, 하나의 프레임에서 3개의 자동차가 검출되었다면, 차량 주행 제어 장치(100)는 3개의 자동차를 각각 제 1 자동차, 제 2 자동차, 및 제 3 자동차로 구별할 수 있다.

일 실시예에서, 차량 주행 제어 장치(100)는 하나의 프레임에 대해 객체가 프레임 내에서 어떤 위치에 위치하는지를 판단할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 다른 프레임에 대해 객체가 프레임 내에서 어떤 위치에 위치하는지를 판단할 수 있다. 또한, 예를 들어, 차량 주행 제어 장치(100)는 하나의 프레임에 대해 복수의 객체들이 각각 프레임 내에서 어떤 위치들에 위치하는지를 판단할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 다른 프레임에 대해 복수의 객체들이 각각 프레임 내에서 어떤 위치들에 위치하는지를 판단할 수 있다. 따라서, 차량 주행 제어 장치(100)는 복수의 프레임들 각각에 대해 복수의 객체들이 각각 프레임 내에서 어떤 좌표들에 위치하는지를 판단할 수 있다. 일 개시에 의하여 좌표는 (x,y)좌표를 의미하며, 객체의 위치값은 행렬값으로 출력될 수 있다.

일 실시예에서, 차량 주행 제어 장치(100)는 객체의 위치들을 픽셀(pixel) 단위로 결정할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 프레임을 구성하는 픽셀들 중에서, 객체를 나타내는 픽셀들을 결정할 수 있다. 예를 들어, 하나의 프레임이 복수의 객체들을 포함하는 경우, 차량 주행 제어 장치(100)는 복수의 객체들 각각을 나타내는 픽셀들이 무엇인지 결정할 수 있다.

차량 주행 제어 장치(100)가 객체의 위치 정보들을 바운딩 박스(bounding box)가 아닌 픽셀 단위로 정교하게 획득하는 방식은 정확한 인지기능을 필요로 하는 기술 분야에 적용될 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 객체의 위치 정보들을 픽셀 단위로 획득함으로써, 객체의 시계열적 위치 변화를 분석하여, 빠르고 정확한 인지기능이 요구되는 자율주행 기술에 이용할 수 있다.

상술한 실시 예들은 영상 센서를 이용하여 주변 정보를 수집하는 방법에 관한 것이며, 상술한 실시 예들의 적어도 일부 또는 전부가 영상 센서가 아닌 다른 종류의 센서들을 이용하여 주변 정보를 수집 및 판단하는 데 활용될 수 있다.

일 개시에 의하여 블록 203에서, 차량 주행 제어 장치(100)는 상기 현재 상태 및 주변정보에 기초하여, 상기 차량의 미래 일 시점의 상태정보를 예측한다.

개시된 실시 예에서, 차량의 상태정보를 예측하는 것은 차량의 현재 상태에 대한 정보, 차량의 주변 정보 및 차량의 주행계획에 대한 정보에 기초하여 차량이 주행계획에 따라 주행시 미래 일 시점에 발생할 수 있는 상황을 예측하는 것을 의미한다.

실시 예에 따라서, 미래 일 시점의 상태정보를 예측하는 것은 미래 일 시점에 발생할 수 있는 이벤트를 예측하는 것으로도 이해될 수 있으며, 이에 대해서는 후술한다.

일 실시 예에서, 미래 일 시점에 발생할 수 있는 상황을 예측하는 것은 상기 차량의 미래 일 시점의 예상 주행 영역을 결정하는 것을 포함할 수 있다.

예를 들어, 차량 주행 제어 장치(100)는 차량의 현재 위치, 방향, 속도 및 주행계획에 기초하여, 차량이 미래 일 시점에 위치할 수 있는 하나 이상의 영역을 결정할 수 있으며, 해당 영역들에 대한 판단을 수행할 수 있다.

일 실시 예에서, 차량 주행 제어 장치(100)는 상기 미래 일 시점의 예상 주행 영역을 위험 예상 영역, 잠재적 위험 예상 영역 및 안전 예상 영역 중 하나로 분류할 수 있다.

예를 들어, 차량 주행 제어 장치(100)는 차량이 주행할 수 있는 미래 영역들을 하나 이상의 영역들로 분류하고, 분류된 각 영역들과 차량의 미래 일 시점의 위치가 중첩되는지 여부를 판단할 수 있다.

이러한 영역들의 특성은 시간의 흐름에 따라 변화될 수 있으며, 예를 들어, 주변을 보행하는 보행자의 위치 및 속도에 따라 그 주변의 영역이 위험 영역으로 실시간으로 설정될 수 있으나, 이에 제한되는 것은 아니다.

구체적으로, 상기 분류하는 단계에 있어서, 차량 주행 제어 장치(100)는 상기 미래 일 시점에 상기 차량과 충돌할 수 있는 객체가 있는 것으로 판단되는 경우, 상기 미래 일 시점의 예상 주행 영역을 위험 예상 영역으로 분류할 수 있다.

예를 들어, 차량 주행 제어 장치(100)는 장애물 혹은 보행자의 위치를 판단하고, 장애물 혹은 보행자의 위치 및 보행자의 경우 이동속도나 방향을 판단하며, 차량의 현재 주행계획에 기초하여 충돌가능성을 판단할 수 있다. 이 경우, 충돌가능성이 기 설정된 기준값 이상인 것으로 판단되는 경우, 차량 주행 제어 장치(100)는 객체와의 충돌이 가능한 영역을 위험 예상 영역으로 분류할 수 있다.

또한, 차량 주행 제어 장치(100)는 상기 미래 일 시점에 상기 차량과 충돌할 수 있는 객체가 있을 가능성이 예측되는 경우, 상기 미래 일 시점의 예상 주행 영역을 잠재적 위험 예상 영역으로 분류할 수 있다.

예를 들어, 차량 주행 제어 장치(100)는 보행자가 다소 먼 거리에 있는 경우에도, 보행자가 갑자기 달려드는 경우에 충돌이 발생할 수 있는 범위이거나, 시야 내 사각이 존재하여 현재로서는 다른 객체(보행자 등)가 인지되지 않지만, 만약 사각 내에 보행자 등이 있는 경우, 해당 보행자가 갑자기 뛰쳐나올 경우에 충돌이 발생할 수 있는 범위 등을 잠재적 위험 영역으로 분류할 수 있다.

또한, 차량 주행 제어 장치(100)는 상기 미래 일 시점에 상기 차량과 충돌할 수 있는 객체가 없는 것으로 판단되는 경우, 상기 미래 일 시점의 예상 주행 영역을 안전 예상 영역으로 분류할 수 있다.

이러한 영역의 분류는 차량의 주행방향 혹은 그 이상의 범위에 대하여 실시간으로 수행 및 업데이트되며, 실시 예에 따라 기 설정된 시간 간격으로 수행될 수도 있다.

즉, 이 영역은 시간에 따라 변할 수 있고, 예를 들어 개시된 실시 예에 따른 차량 주행 제어 장치(100)는 앞으로 5초 동안의 행동계획을 미리 정할 수 있는데, 이를 위해 앞으로 5초 동안 주변 객체들이 어떻게 움직일 지를 예상하고 그 5초 동안 주변 영역을 상술한 3가지 중 하나로 설정할 수 있다.

즉, 차량이 주행함에 있어 그 전방의 영역들은 상술한 위험 예상 영역, 잠재적 위험 예상 영역 및 안전 예상 영역으로 분류되며, 이러한 영역은 현재 시점 및 미래 일 시점들에 대하여 각각 분류가 수행될 수 있다.

다시 말해, 상술한 위험 예상 영역은 현재, 그리고 가까운 미래에 확실하게 객체가 있을거라고 예상되는 영역이라 할 수 있고, 잠재적 위험 예상 영역은 현재, 그리고 가까운 미래에 잠재적으로 객체가 있을 수 있을 거라고 예상되는 영역이며, 안전 예상 영역은 현재, 그리고 가까운 미래에 확실하게 객체가 없을거라고 예상되는 영역이라고도 할 수 있다.

예를 들어, 차량 주행 제어 장치(100)는 매 1초마다 앞으로 5초간 주변 영역을 상술한 세 가지 중 하나로 분류할 수 있으며, 그 결과에 따라 차량이 해당 시점에 위험 예상 영역 등과 중첩되지 않도록 차량을 제어할 수 있다.

차량 주행 제어 장치(100)는 차량의 미래 일 시점의 위치(즉, 미래 주행위치)가 해당 미래 일 시점의 위험 예상 영역과 중첩되지 않도록 차량의 주행계획을 생성하며, 또한 도로 규칙을 만족하는 범위 내에서는 잠재적 위험 예상 영역과 중첩되지 않도록 하고, 또한 잠재적 위험 예상 영역과 중첩되지 않는 범위 내에서 차량의 승차감을 탑승자의 취향 혹은 기 설정된 기준에 따라 유지할 수 있도록 하는 차량의 주행계획을 생성하고, 이에 따라 차량의 주행을 제어할 수 있으나, 이에 제한되는 것은 아니다.

또한, 차량의 주행은 이러한 위험 예상 영역 등을 회피하는 것을 기준으로 하여 제어되나, 실시 예에 따라 비상상황 발생이 인식되는 경우 급브레이크를 밟는다면 해당 영역을 회피하거나 해당 영역으로의 진입을 방지할 수 있는 범위 내에서도 제어가 수행될 수 있다.

즉, 가능하면 급제동이나 급커브 등의 비정상적 주행행위 없이 위험 예상 영역을 회피하도록 주행하나, 여의치 않을 경우에는 급제동이나 급커브를 수행해서라도 해당 영역을 회피할 수 있는 범위 내에서 주행제어가 수행될 수 있다.

이러한 차량의 주행은 기 설정된 주행규칙에 기반하여 제어되는데, 상기 주행규칙은, 상기 위험 예상 영역의 회피, 도로 규칙의 만족, 상기 잠재적 위험 예상 영역의 회피 및 탑승자의 승차감을 위한 하나 이상의 요구사항에 서로 다른 우선순위가 부여되어 저장되는 것이며, 상기 위험 예상 영역의 회피를 위한 요구사항에 최고의 우선순위가 부여되는 것을 특징으로 한다.

즉, 차량의 주행에 있어 가장 회피해야 할 것은 장애물이나 보행자, 다른 차량 등 타 객체와의 충돌이며, 그 다음은 도로 규칙의 준수, 그리고 잠재적 위험의 회피와 운전자의 탑승감 혹은 주행에 대한 성향이나 취향 순으로 우선순위가 부여될 수 있으며, 이에 제한되는 것은 아니다.

블록 204에서 일 개시에 의하여 차량 주행 제어 장치(100)는 상기 차량의 주행규칙에 기반하여, 상기 예측되는 상태정보에 대응하는 상기 차량의 행동지침을 결정한다.

개시된 실시 예에 따라 상기 행동지침을 결정하는 단계에서, 차량 주행 제어 장치(100)는 하나 이상의 행동지침 후보를 획득한다.

이러한 행동지침은 차량의 주행제어를 위한 하나 이상의 파라미터 혹은 주행방법을 포괄하는 것으로 이해되며, 실시 예에 따라 구체적인 제어방법이 아닌 주행을 위한 지시사항을 포함하며, 이러한 지시사항이 자율주행 차량에 전달되면 자율주행 차량은 이에 기반하여 구체적인 주행제어를 수행할 수도 있다.

일 실시 예에서, 차량 주행 제어 장치(100)는 상기 예측되는 상태정보 및 상기 주행규칙에 기초하여, 상기 하나 이상의 행동지침 후보의 점수를 결정할 수 있다. 행동지침 후보의 점수를 결정하기 위한 구체적인 방법들에 대해서는 후술한다.

일 실시 예에서, 차량 주행 제어 장치(100)는 상기 결정된 점수에 기초하여 상기 하나 이상의 행동지침 후보 중 하나의 행동지침을 결정할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 가장 높은 점수가 부여된 행동지침을 최종적으로 결정할 수 있다. 또한, 실시 예에 따라 점수는 비용함수를 이용하여 계산된 비용값으로 이해될 수도 있으며, 이 경우에는 가장 낮은 점수(비용값)를

개시된 실시 예에 따라 상기한 하나 이상의 행동지침 후보의 점수를 결정하는 단계에서, 차량 주행 제어 장치(100)는 상기 하나 이상의 행동지침 후보에 대하여, 상기 주행규칙에 포함된 하나 이상의 요구사항을 만족하는지 여부를 우선순위에 기초하여 순차적으로 판단할 수 있다.

개시된 실시 예에서, 주행규칙에는 충돌 방지, 역주행 방지, 신호등 지키기, 속도위반하지 않기, 보행자에게 위협적이지 않기, 횡단보도위에 정지해 있지 않기, 교차로에 정지해 있지 않기, 승객에게 좋은 승차감 제공하기 등 수많은 요구사항들이 포함될 수 있으며, 이러한 요구사항들에는 서로 상이한 우선순위가 부여될 수 있다.

또한 순차적 판단과정에 있어서, 차량 주행 제어 장치(100)는 제1 행동지침 후보가 제1 우선 순위의 요구사항을 만족하는지 판단할 수 있다.

또한, 차량 주행 제어 장치(100)는 상기 제1 행동지침 후보가 상기 제1 우선 순위의 요구사항을 만족하는 경우, 제2 우선 순위의 요구사항을 만족하는지 판단할 수 있다.

이와 마찬가지로, 차량 주행 제어 장치(100)는 상기 제1 행동지침 후보가 상기 제2 우선 순위의 조건을 충족시키는 경우, 다음 하위 우선 순위의 요구사항을 만족하는지 여부를 순차적으로 판단하되, 상기 제1 행동지침 후보가 제n 우선 순위의 요구사항을 충족하되, 제n+1 우선 순위의 요구사항을 충족시키지 못하는 경우, 상기 제1 행동지침 후보에 상기 제n 우선 순위에 대응하는 점수를 부여할 수 있다.

이러한 우선 순위에 따른 점수 부여방법은 도 3에 구체적으로 도시되어 있다.

즉, 더 많은 요구사항을 충족시킬수록 더 높거나 낮은 점수를 부여받을 수 있으며, 이에 따라 더 많은 요구사항을 충족시키는 행동지침이 최종적으로 결정되어 차량의 주행제어에 이용될 수 있다.

또한, 개시된 실시 예에 따라 하나의 행동지침을 결정하는 단계에서, 복수의 행동지침 후보에 대해 동일한 점수가 부여될 수 있다. 즉, 동일한 단계의 우선순위에 해당하는 요구사항을 만족하는 복수의 행동지침 후보가 있는 경우에 하나의 행동지침을 최종적으로 결정하기 위한 방법이 요구된다.

일 실시 예에서, 차량 주행 제어 장치(100)는 복수의 행동지침 후보에 상기 제n 우선 순위에 대응하는 점수가 부여된 경우, 제n+1 우선 순위의 요구사항에 대한 하나 이상의 하위 요구사항을 획득할 수 있다.

또한, 차량 주행 제어 장치(100)는 상기 복수의 행동지침 후보에 대하여, 상기 하나 이상의 하위 요구사항을 만족하는지 여부를 우선 순위에 기초하여 순차적으로 판단할 수 있다.

예를 들어, 상술한 바와 같이, 차량 주행 제어 장치(100)는 상기 복수의 행동지침 후보가 각 하위 우선 순위의 요구사항을 만족하는지 여부를 순차적으로 판단하되, 상기 제1 행동지침 후보가 제n 하위 우선 순위의 요구사항을 충족하되, 제n+1 하위 우선 순위의 요구사항을 충족시키지 못하는 경우, 상기 제1 행동지침 후보에 상기 제n 하위 우선 순위에 대응하는 점수를 부여할 수 있다.

차량 주행 제어 장치(100)는 상기 복수의 행동지침 후보 각각이 만족하는 하위 요구사항의 우선 순위에 대응하는 점수를 상기 복수의 행동지침 후보 각각에 부여하되, 부여되는 점수는 상기 제n 우선 순위에 대응하는 점수와, 상기 제n+1 우선 순위에 대응하는 점수의 차보다 작은 것을 특징으로 할 수 있다.

즉, 하위 우선 순위에 의하여 부여되는 점수로 인하여, 그 상위 우선 순위에 의하여 부여된 점수의 순위를 변경할 수 없도록 하위 우선 순위에 의하여 부여되는 점수의 범위가 설정될 수 있다.

상기한 바와 같이, 우선순위에 기반하여 점수를 부여하되, 가장 높은 점수 n을 획득한 행동계획후보가 여러개일경우, 그 중에서도 가장 좋은 행동계획후보들을 선택하기 위해 해당 상황(모두 n순위 요구사항은 만족하고, n+1순위 요구사항은 만족하지 못하는 상황)에서 만족해야 하는 요구사항들을 정해두고 마찬가지로 우선순위를 부여하여 그 안에서도 점수를 부여하여 가장 좋은 최종 행동계획을 선정할 수 있다.

예를 들어, 충돌이 일어날수밖에 없는 상황인 경우, 그 하위 우선순위로서 충돌에 의한 충격이 가장 적은 행동지침에 더 높은 점수를 부여할 수 있는 것이다.

일 실시 예에서, 차량 주행 제어 장치(100)는 가중치 기반 비용함수에 기반하여서도 행동지침을 결정할 수 있다.

예를 들어, 상기 하나 이상의 행동지침 후보의 점수를 결정하는 단계에서, 차량 주행 제어 장치(100)는 상기 주행규칙에 포함된 하나 이상의 요구사항을 만족하는지 여부를 변수로 하고, 상기 변수에는 상기 변수에 각각 대응하는 요구사항의 우선순위에 기초하여 가중치가 부여되는, 비용함수를 이용하여 상기 하나 이상의 행동지침 후보 각각의 점수를 산출할 수 있다.

또한, 차량 주행 제어 장치(100)는 순서도가 아닌 비용 함수에 기반하여 행동지침을 결정하되, 각 우선순위에 따라 상이한 범위의 값이 부여되도록 함으로써 각 요구사항의 우선순위에 기반한 행동지침 결정을 수행할 수 있다.

예를 들어, 상기 하나 이상의 행동지침 후보의 점수를 결정하는 단계에서, 차량 주행 제어 장치(100)는 제n 우선순위에 대한 요구사항 및 상기 제n 우선순위의 하위 요구사항의 만족여부에 기초하여 상기 제n 우선순위에 대응하는 변수값이 결정되는, 비용함수를 이용하여 상기 하나 이상의 행동지침 후보 각각의 점수를 산출할 수 있다.

일 실시 예에서, 상기 제n 우선순위에 대응하는 변수값은 기 설정된 범위 내에서 결정되되, 상기 제n 우선순위에 대응하는 변수값의 범위의 최소값은, 제n+1 우선순위에 대응하는 변수값의 범위의 최대값보다 큰 것을 특징으로 할 수 있다.

일 실시 예에서, 하나 이상의 우선순위에 대응하는 변수값의 범위는 이산적이며, 적어도 하나의 우선순위에 대응하는 변수값의 범위는 연속적인 것을 특징으로 하여, 서로 다른 행동지침에 대하여 동일한 점수가 산출되는 것을 방지할 수 있다.

예를 들어, 제1 우선순위에 대해서는 1 내지 9의 점수를 1 단위로, 제2 우선순위에 대해서는 0.1 내지 0.9의 점수를 0.1 단위로, 제3 우선순위에 대해서는 0.01 내지 0.09의 점수를 0.01 단위로 각각 이산적으로 부여하고, 제4 우선순위에 대해서는 0 이상 0.01 미만의 점수를 연속적으로 부여할 수 있으나, 이에 제한되는 것은 아니다.

블록 205에서 일 개시에 의하여 차량 주행 제어 장치(100)는 상기 결정된 행동지침에 기반하여 상기 차량의 주행을 제어한다.

일 실시 예에서, 차량의 주행 제어방법은 예상되는 이벤트에 기초하여 판단 및 수행될 수도 있다.

예를 들어, 차량 주행 제어 장치(100)는 영상 센서를 이용하여 주변정보를 수집하는 경우, 영상 센서로부터 획득된 복수의 프레임들 내의 객체의 위치에 대한 시계열적 변화를 분석함으로써, 객체로부터 발생할 수 있는 이벤트를 결정할 수 있으나, 이에 제한되는 것은 아니다.

개시된 실시 예에서, 이벤트는 차량의 현재 상태 및 주변정보에 기초하여 차량의 미래 일 시점에 대하여 예측되는 상태정보를 포함하는 개념으로 이해된다. 예를 들어, 차량의 현재 상태 및 주변정보에 기초하여, 차량이 현재 상태로 주행시 미래 일 시점에 발생할 수 있는 주행상태 혹은 사고에 대한 정보를 포함할 수 있다.

또한, 개시된 실시 예에서 이벤트는 하나 이상의 행동지침에 따라 차량의 주행을 제어하는 경우 차량의 미래 일 시점에 대하여 예측되는 상태정보를 포함하는 개념으로 이해된다. 예를 들어, 차량의 현재 상태 및 주변정보에 기초하여, 차량이 행동지침에 따라 제어되는 경우 미래 일 시점에 발생할 수 있는 주행상태 혹은 사고에 대한 정보를 포함할 수 있다.

일 개시에 의하여 차량 주행 제어 장치(100)는 차량의 속도 및 객체의 위치를 실시간 분석함으로써, 현재 상태를 반영하여 예상되는 이벤트를 결정할 수 있다. 이때, 객체의 속도 변화에 따른 위치의 변화를 실시간 반영함으로써 이벤트를 실시간 결정할 수 있다. 즉, 시간의 흐름에 따라서 이벤트가 변경될 수 있다.

일 실시예예서, 차량 주행 제어 장치(100)는 주행 영상의 재생 순서(display order)에 따라, 이전 프레임에서 다음 프레임으로의 객체의 위치 변화를 분석할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 재생 순서가 앞인 제 1 프레임에 포함된 객체의 위치 정보와 재생 순서가 뒤인 제 2 프레임에 포함된 동일한 객체의 위치 정보를 비교함으로써, 객체의 위치 변화를 분석할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 시간의 흐름에 따라, 복수의 객체들 각각의 위치 변화를 분석함으로써, 이벤트가 발생하였는지를 결정할 수 있다. 따라서, 차량 주행 제어 장치(100)가 ROI(Region of Interest)에 관한 바운딩 박스(bounding box)를 트래킹(tracking)하는 것이 아닌, 객체의 좌표 변화를 통해 복수의 객체들의 위치들의 변화를 복합적으로 인식함으로써, 보다 정확하게 이벤트의 발생 여부를 결정할 수 있다. 예를 들어, 제 1 자동차 및 제 2 자동차가 전방에 멈추어 있고, 제 3 자동차, 제 4 자동차, 및 제 5 자동차가 연속하여 차선을 오른쪽으로 변경하면, 차량 주행 제어 장치(100)는 전방에 사고 차량들이 있다는 이벤트가 발생하였음을 결정할 수 있다. 또한, 전방에 사고 차량들이 있으므로, 오른쪽으로 차선을 변경하는 것이 좋다는 이벤트에 대응하는 행동 지침이 결정될 수 있다.

일 실시예에서, 차량 주행 제어 장치(100)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 객체로부터 발생할 수 있는 이벤트의 종류(type)를 결정할 수 있다.

객체로부터 발생할 수 있는 이벤트는 객체가 움직이는 경우, 움직이는 객체와 충돌할 가능성을 의미할 수 있다. 여기서 움직이는 객체는 다른 차량, 사람, 동물, 오토바이 등을 포함할 수 있으며, 움직이는 모든 객체를 포함할 수 있다. 예를 들어, 차도로 접근하는 사람이 차도로 뛰어들어와 차량과 충돌하거나, 충돌할 가능성이 있거나 하는 이벤트를 포함할 수 있다.

또한, 고정된 객체의 경우 객체로부터 발생할 수 있는 사각지대, 주행 방향에서의 객체의 위치로 인한 충돌 가능성 등을 포함할 수 있다. 나아가, 객체로 인해 발생한 사각지대에서 발생할 수 있는 움직이는 객체와의 충돌 가능성도 이벤트에 포함될 수 있다.

일 개시에 의하여 차량 주행 제어 장치(100)는 이벤트가 미리 결정된 우선 순위의 조건을 충족시키는지 여부를 순차적으로 판단하여 이벤트의 우선 순위를 결정할 수 있다.

실시 예에 따라서, 차량 주행 제어 장치(100)는 순차적 판단 대신 비용 함수에 기반하여 이벤트에 대응하는 비용값을 산출하고, 비용값을 최소화하는 선택을 수행할 수도 있으며, 이는 이하의 단계들에서도 동일하게 적용될 수 있다.

일 개시에 의하여 차량 주행 제어 장치(100)는 차량의 주행 중 발생한 이벤트를 상위 우선 순위부터 하위 우선 순위로 순차적으로 판단할 수 있다. 예를 들어, 이벤트가 상위 우선 순위의 조건을 만족시키는 경우에만, 다음 우선 순위를 만족시키는지 여부를 판단할 수 있다.

일 개시에 의하여 차량 주행 제어 장치(100)는 우선 순위는 객체의 이동 속도 및 이동 방향에 따라 차량과 충돌할 가능성을 기초로 결정될 수 있다. 특히, 객체와 차량의 충돌 가능성이 높은 이벤트일수록 높은 우선 순위에 해당할 수 있다.

즉, 차량이 운행되는 도중 발생할 수 있는 상황의 긴급도에 따라서 우선순위를 정할 수 있다. 각각의 우선 순위는 세부적인 내용을 포함하는 적어도 하나의 하위 우선 순위들을 포함할 수 있다. 우선 순위는 각각의 우선 순위에 해당할 수 있는 조건 및 우선 순위에 해당하는 경우 수행할 수 있는 주행 방법을 포함할 수 있다.

일 실시 예에서, 설정된 우선순위에 기반하여 비용함수 계산을 위한 값이 각각의 우선순위 항목에 설정될 수 있다.

각 항목이 우선순위는 사회적 합의, 국가별 규정, 개인의 성향 등에 기반하여 결정 및 조정될 수 있으나, 일부 우선순위는 개인의 성향에 따라서는 변경되지 않을 수 있다. 예를 들어, 해당 국가의 규정에 의하여 강제되는 우선순위는 개인의 성향에 기반하여 수정될 수 없다. 반면, 개인의 운전성향에 해당하는 우선순위는 개인별로 조정될 수 있다.

이러한 항목들은 모듈화되어 각 모듈에 대한 우선순위가 부여될 수 있으며, 우선순위 판단을 위한 순서도 및 비용함수는 부여된 우선순위에 기반하여 유동적으로 조정될 수 있다.

즉, 우선순위가 변경되는 경우에 프로그램을 다시 작성하거나 설정을 전면적으로 재조정할 필요가 없으며, 모듈화된 각각의 구성요소에 부여된 우선순위를 조정하는 것만으로 자율주행 차량의 행동지침을 조정할 수 있는 장점이 있다.

또한, 새로운 항목을 추가하는 경우에도 모듈을 추가하여 순서도 및 비용함수에 간단하게 추가하는 것이 가능하며, 해당 모듈에 우선순위를 부여함으로써 바로 자율주행 차량의 행동지침을 완성할 수 있다.

일 개시에 의하여 차량 주행 제어 장치(100)는 이벤트의 우선 순위에 대응하는 차량의 주행 제어 명령을 생성할 수 있다.

일 개시에 의하여 차량 주행 제어 장치(100)는 차량의 구동 장치를 제어할 수 있는 제어 명령을 생성할 수 있다. 예를 들어, 이벤트의 우선 순위에 대응하는 차량의 주행 제어 명령이 ‘급제동’인 경우, 차량 주행 제어 장치(100)는 급제동 명령을 생성하고, 차량의 구동 장치로 전달함으로써, 차량을 급제동시킬 수 있다.

또한, 이벤트가 해당하는 우선 순위에서 세부적으로 결정된 하위 우선 순위들의 주행 방법을 반영함으로써, 주행 제어 명령을 생성할 수 있다. 예를 들어, 하위 우선 순위에 해당하는 내용이 ‘감속을 통해 차량의 속도를 시속 20km/h로 조정’인 경우, 현재 속도에서 시속 20km/h가 될때까지 차량의 속도를 감속시키는 명령어를 생성하고, 차량으로 전달할 수 있다.

도 3은 일 개시에 의하여 이벤트 발생시 우선 순위의 조건을 순차적으로 판단하는 방법을 설명하기 위한 도면이다.

일 개시에 의하여 차량 주행 제어 장치(100)는 이벤트가 제 1 우선 순위의 조건을 충족시키는지 판단할 수 있다. 차량 주행 제어 장치(100)는 이벤트가 제 1 우선 순위의 조건을 충족시키는 경우, 제 2 우선 순위의 조건을 충족시키는지 판단할 수 있다. 차량 주행 제어 장치(100)는 이벤트가 제 2 우선 순위의 조건을 충족시키는 경우 다음 하위 우선 순위인 제 3 우선 순위의 조건을 충족시키는지 여부를 순차적으로 판단할 수 있다.

만약, 이벤트가 제 1 우선 순위의 조건을 충족시키지 못하는 경우 이벤트는 제 1 우선 순위로 결정된다. 이때에는 제 1 우선 순위에 포함된 하위 우선 순위를 결정하거나, 하위 우선 순위가 없는 경우 제 1 우선 순위에 대응하는 차량 주행 명령을 생성할 수 있다.

결과적으로, 차량 주행 제어 장치(100)는 이벤트가 우선 순위의 조건을 충족시키는 경우 다음 우선 순위의 조건을 판단하며, 우선 순위의 조건을 충족시키지 못하는 경우 해당 우선 순위를 이벤트의 우선 순위로 결정할 수 있다.

차량 주행 제어 장치(100)는 이벤트가 미리 정해진 n개의 우선 순위 중 제 n 우선 순위의 조건까지 충족시키는 경우의 제 n 우선 순위의 조건을 충족시키는 결과에 대응하는 주행 명령을 생성할 수 있다.

각각의 우선 순위는 비용 함수에 의하여 정해진 비용값(Cost)을 갖을 수 있다. 이때, 각각의 우선순위는 서로 다른 비용값을 갖으며, 상위 우선 순위에 할당된 비용값은 하위 우선 순위에 할당된 비용값보다 높다. 예를 들어, 메인 우선 순위에 해당하는 비용값은 0≤Ci<1의 값을 포함할 수 있다. 보다 구체적으로 제 1 우선 순위의 조건을 만족하지 않는 경우 비용값은 9를 할당받으며, 제 1 우선 순위의 조건을 만족하지만, 제 2 우선 순위의 조건을 만족시키지 않는 경우 비용값으로 8을 할당받는다.

일 개시에 의하여 차량 주행 제어 장치(100)는 차량의 주행 중 발생하는 상황에 따라 우선 순위 값을 선택하고 최종 값으로 결정된 비용값들에 대응하는 주행 명령을 생성한다.

또한, 각각의 우선 순위들은 적어도 하나의 하위 우선 순위들을 포함할 수 있으며, 각각의 하위 우선 순위들은 서로 다른 비용값을 포함할 수 있다. 예를 들어, 메인 우선 순위에서 파생된 첫번째 하위 우선 순위에 해당하는 비용값은 0≤Cij<0.1의 값을 포함할 수 있다. 또한, 첫번째 하위 우선 순위에서 파생된 두전째 하위 우선 순위에 해당하는 비용값은 0≤Cijk<0.01의 값을 포함할 수 있다. 즉, 하위 단계의 하위 우선 순위들의 비용값은 상위 메인 우선 순위의 비용값에 영향을 주지 않는다.

복수의 메인 우선 순위들에서 파생된 첫 번째 하위 우선 순위들은 모두 다른 비용값이 할당될 수 있으며, 상위 메인 우선 순위에서 파생된 첫 번째 하위 우선 순위들의 비용값은 하위 메인 우선 순위에서 파생된 첫 번째 하위 우선 순위들의 비용값보다 높은 값이 할당될 수 있다. 예를 들어, 제 2 우선 순위의 첫 번째 하위 우선 순위가 2개인 경우, 제 2-1 하위 우선 순위의 비용값은 0.9, 제 2-2 하위 우선 순위의 비용값은 0.8로 할당될 수 있다.

다음으로 제 3 우선 순위의 첫번째 하위 우선 순위인 제 3-1 하위 우선 순위는 다시 0.9의 비용값을 갖을 수 있다. 하지만, 제 2 우선 순위와 제 3 우선 순위 간의 비용값 차이가 1이므로, 3-1 하위 우선 순위의 비용값은 상위 우선 순위의 선후관계에 영향을 미치지 않는다.

일 개시에 의하여 하위 우선 순위들은 메인 우선 순위에 대응하는 적어도 하나의 주행 방법 중 가장 상황에 적절하고, 도로 규칙에 부합되며, 사회적 규칙에도 부합되는 방법을 찾기 위하여 사용될 수 있다.

도 4는 일 개시에 의한 이벤트가 결정된 경우, 이벤트의 우선 순위를 결정하여 차량의 주행 명령을 생성하는 방법을 설명하기 위한 도면이다.

일 개시에 의하여, 차량 주행 제어 장치(100)는 차량의 주행 영상으로부터 도로를 향해 뛰어 들어오는 보행자를 이벤트로 인식할 수 있다. 차량 주행 제어 장치(100)는 ‘도로를 향해 뛰어들어오는 보행자’의 이동 방향 및 이동 속도를 분석하고, 현재 차량의 이동 방향 및 이동 속도를 이용하여 이벤트의 우선 순위를 판단할 수 있다.

먼저, 차량 주행 제어 장치(100)는 보행자와 확실한 충돌이 있을지 여부를 제 1 우선 순위의 조건으로서 판단할 수 있다. 차량 주행 제어 장치(100)는 보행자와 확실한 충돌이 발생할 것으로 판단한 경우, 이벤트의 우선 순위를 제 1 우선 조건으로 결정하고 그에 대응하는 주행 조건으로서 ‘충돌 충격을 최소화하도록 주행’할 수 있다.

이때, 차량 주행 제어 장치(100)는 확실한 충돌이 예상되지 않는 경우, 보행자를 피하기 위하여 도로 규칙을 만족하는 범위 내에서 주행을 제어할 수 있는 지 여부를 제 2 우선 순위로서 판단할 수 있다. 이때, 차량 주행 제어 장치(100)는 도로 규칙을 위반해야지만 보행자와의 충돌을 피할 수 있다고 판단한 경우, 하위 우선 순위를 판단함으로써 현재 상태에서 가장 최선의 주행 방법을 선택할 수 있다. 예를 들어, 사회적으로 정해진 도로 규칙에 따르면 중앙선 침범보다는 신호 위반이, 신호 위반 보다는 규정속도를 위반하는 것이 낫다. 이는 법적 형량, 2차적 사고의 방지 여부, 도로 질서의 준수 등을 고려하여 정해질 수 있으며, 사회적 법칙, 보행자의 상태, 다른 차량의 유무, 운전자의 상태 등에 따라 변경될 수 있다.

결과적으로, 차량 주행 제어 장치(100)는 도로를 향해 뛰어들어오는 보행자를 피하기 위하여 도로 규칙을 위반해야하되, 규정 속도를 위반하는 것이 최선이라고 판단하는 경우, 충돌을 피할 수 있는 최소한의 속도로 주행하도록 주행 명령을 생성할 수 있다.

즉, 본원에서 차량 주행 제어 장치(100)는 상대적 가중치 기반이 아닌, 우선 순위에 기반하여 자율 주행 방법을 선택하는 바, 차량, 도로, 보행자, 운전자 및 사회적 규칙의 상태를 합리적으로 고려하여 자율 주행 방법을 정할 수 있다.

추가적으로 예시를 들면, 이벤트가 ‘충돌’인 경우 제 1 우선 순위로 결정되며, ‘충돌 가능’인 경우 충돌을 피할 수 있는 방법에 따라 제 2 우선 순위 이하의 우선 순위로 정해질 수 있다.

또한, 충돌 가능한 이벤트 혹은 이에 따라 도로 규칙을 위반해야 하는 이벤트가 감지되지는 않더라도, 잠재적 위험이 존재하는 것으로 판단되는 이벤트가 감지 및 결정될 수 있다.

예를 들어, 시야범위 내에 충돌이 예상되는 객체가 존재하지 않더라도(예를 들어, 이벤트가 안전으로 설정되거나, 충돌 가능으로 설정되되 도로 규칙을 위반하지 않는 범위 내에서 충돌 회피가 가능한 경우), 주행방향에 사각이 존재하여 해당 사각으로부터 특정 객체가 갑자기 나타나 충돌이 발생할 수 있는 잠재적 위험이 감지될 수 있다.

이 경우, 이벤트는 제 3 우선순위로 결정되며, 제 4 우선순위에 해당하는 차량의 승차감이나 탑승자의 성향, 취향을 만족시킬 수 없더라도 잠재적 위험을 회피하는 방향으로 주행(예를 들어, 제한속도 이하로 감속주행 등)할 것을 결정할 수 있다.

또한, 이벤트가 안전으로 결정되거나, 충돌 가능으로 결정되되 도로 규칙을 만족하는 범위에 충돌을 피할 수 있으며, 잠재적 위험 또한 없는 경우, 주행 제어 장치(100)는 이벤트를 제 4 우선 순위로 결정할 수 있다.

또한, 차량 주행 제어 장치(100)는 차량의 승차감이나 차량 탑승자의 성향, 취향 등에 기반하여 제 4 우선 순위에 포함된 하위 우선 순위를 결정하고, 결정된 하위 우선 순위에 대응하는 차량 주행 명령을 생성할 수 있다.

도 5는 일 개시에 의하여 시간의 흐름에 따라 이벤트가 변경되는 경우 우선 순위를 결정하는 내용을 설명하기 위한 도면이다.

일 개시에 의하여 차량 주행 제어 장치(100)는 객체가 이동 중인 경우, 객체의 특성에 기초하여 객체가 현재 위치에서 이동 가능한 영역을 판단할 수 있다.

차량 주행 제어 장치(100)는 차량의 주행 속도 및 주행 방향을 고려하여 객체가 이동 가능한 영역이 차량의 예상 주행 영역과 겹치는지 여부를 판단하고, 차량의 예상 주행 영역을 안전 영역, 잠재적 위험 영역 및 위험 영역 중 어느 하나의 영역으로 설정할 수 있다.

여기서, 안전 영역은 객체와 차량의 이동이 지속되더라도 충돌 가능성이 없는 경우를 나타내며, 잠재적 위험 영역은 충돌할 가능성이 있는 정도로서, 충돌 가능성이 충돌 임계치 이하인 값을 나타낸다. 위험 영역은 충돌 가능성이 충돌 임계치 이상인 값을 나타내며, 충돌 임계치는 감속, 방향 전환 등의 주행 방법으로는 충돌을 피할 수 없는 시간 및 거리에 대응하는 충돌 가능성 %를 나타낸다.

차량 주행 제어 장치(100)는 차량의 예상 주행 영역에서의 이벤트를 안전, 충돌 가능 및 충돌 중 어느 하나로 결정할 수 있다. 즉, 안전 영역인 경우 안전 이벤트, 충돌 가능성이 있으나 임계치 이하의 %값을 갖는 경우 충돌 가능 이벤트, 충돌 가능성이 임계치 이상의 %값을 갖는 경우 충돌 이벤트로 결정할 수 있다.

일 개시에 의하여, 도 5의 좌측 그림과 같이 차량 주행 제어 장치(100)는 차량의 주행 영상으로부터 사람(501)을 인식할 수 있다. 이때, 차량 주행 제어 장치(100)는 현재 차량의 상태에 기초하여, 이동 중인 사람(501)과 차량이 충돌할지 여부를 분석한 결과를 이벤트로 결정할 수 있다. 예를 들어, 현재 상태는 ‘충돌 가능’이벤트에 해당하며, 객체의 이동 방향 및 이동 속도에 기초하여 볼때, 차량이 현재 방향으로 이동하는 경우 충돌 가능성은 30%라고 판단할 수 있다. 따라서, 객체의 이동 가능 영역과 차량의 예상 주행 경로가 겹치는 부분을 잠재적 위험 영역으로 판단할 수 있다. 차량 주행 제어 장치(100)는 네비게이션 또는 헤드업 디스플레이 등을 이용하여 잠재적 위험 영역을 표시할 수 있으며, 도면과 같이 색상으로 구분할 수도 있으나, 표시 방법은 제한하지 않는다. 나아가, 현재 상태에 대한 알림 메시지(502)를 표시할 수 있다.

차량 주행 제어 장치(100)는 현재 ‘충돌 가능’이벤트가 ‘충돌’에 해당하는 제 1 우선 순위는 아니라고 판단할 수 있으며, 따라서, 제 2 우선 순위의 조건을 충족하는지 여부를 판단하게 된다.

일 개시에 의하여, 차량 주행 제어 장치(100)는 실시간으로 이벤트의 변경 여부를 판단할 수 있다. 따라서, 차량 주행 제어 장치(100)는 처음에는 ‘충돌 가능’이라고 판단했던 이벤트로 시계열적 흐름에 따른 객체의 위치 변화를 고려하여 이벤트를 ‘충돌’로 변경할 수 있다. 차량 주행 제어 장치(100)는 변경된 이벤트에 따라 사람(501)의 이동 방향과 겹치는 차량의 예상 주행 경로를 위험 지역으로 결정할 수 있으며, 그에 따라 위험 지역의 색상을 변경하여 디스플레이 상에 표시할 수 있다. 즉, 우측 도면과 같이 차량 주행 제어 장치(100)는 사람(501)과 충돌을 피할 수 없는 경우, 충돌 이벤트의 우선 순위인 제 1 우선 순위에 대응하는 주행 제어 명령을 생성하고, 차량을 제어할 수 있다.

즉, 차량 주행 제어 장치(100)는 실시간으로 상황을 판단함으로써, 긴급한 상황의 변화에도 정확하게 대처할 수 있는 효과를 제공할 수 있다.

도 6은 일 개시에 의하여 주행 중 사각지대가 생기는 경우, 사각지대에서 발생할 수 있는 객체의 이벤트를 예측하여 차량의 주행을 제어하는 내용을 설명하기 위한 도면이다.

차량 주행 제어 장치(100)는 차량의 예상 주행 영역에서 고정된 객체로 인해 발생하는 사각지대를 판단할 수 있다. 차량 주행 제어 장치(100)는 차량의 주행 속도를 고려하여 사각지대에서 차량의 예상 주행 영역으로 이동하는 객체로 인해 발생할 수 있는 충돌 가능성을 예측할 수 있다.

또한, 차량 주행 제어 장치(100)는 충돌 가능성의 정도에 따라, 차량의 예상 주행 영역에서의 이벤트를 안전, 충돌 가능 및 충돌 중 어느 하나로 결정할 수 있다.

예를 들어, 차량 주행 제어 장치(100)는 갓길에 주차된 차량으로 인하여 발생된 사각 지대(601)를 인식할 수 있다. 또한, 차량 주행 제어 장치(100)는 주행 영상 속에서 표지판, 신호등, 자전거를 탄 사람(603) 및 걸어가는 사람(602)을 인식할 수 있다.

차량 주행 제어 장치(100)는 걸어가는 사람(602)의 이동 방향은 차량의 예상 주행 경로와 겹치지 않으므로, 걸어가는 사람(602)과 충돌 가능성은 없다고 판단할 수 있다. 따라서, 걸어가는 사람(602)으로부터 발생할 수 있는 이벤트는 ‘안전’이다. 또한, 걸어가는 사람(602)과 주행 경로상의 예상 접점의 위치를 고려할 때, 걸어가는 사람(602)이 해당 접점까지 소정의 시간 내로 도달할 수 없다고 판단되는 경우 해당 이벤트를 ‘안전’으로 설정할 수 있으나, 실시 예에 따라 ‘충돌 가능’ 혹은 ‘잠재적 위험’으로 판단할 수도 있다. 이 경우, 걸어가는 사람(602)이 갑자기 달린다고 하여도 소정의 시간 내에 해당 접점에 도달하는 것이 불가능한 것으로 판단되는 경우, 해당 이벤트를 ‘안전’ 으로 설정할 수 있으나, 이에 제한되는 것은 아니다.

그러나, 차량 주행 제어 장치(100)는 자전거를 탄 사람(603)의 경우 이동 방향이 차량의 예상 주행 경로와 겹치며, 사각 지대(601)로 인하여 충돌 여부를 정확히 판단할 수 없다. 따라서, 차량 주행 제어 장치(100)는 주행 영상에서 분석한 자전거를 탄 사람(603)의 속도 및 사각지대까지와의 거리, 현재 차량의 주행 속도 및 주행 방향을 고려하여 자전거를 탄 사람(603)과 충돌할 수도 있다고 판단하고, 자전거를 탄 사람(603)으로부터 발생할 수 있는 이벤트를 ‘충돌 가능’으로 결정할 수 있다.

또한, 차량 주행 제어 장치(100)는 촬영되는 시야 내에 충돌가능한 객체가 발견되지 않는 경우라도, 주행 경로상에 사각 지대(601)가 존재하는 경우 해당 사각 지대(601)에서 충돌가능한 객체가 튀어나올 수도 있다는 점을 고려하여, 해당 이벤트를 ‘잠재적 위험’으로 결정할 수 있다.

도 7은 일 개시에 의하여 차량의 주행 명령을 수행하는 경우, 주행 명령에 대한 안내 메시지를 출력하는 실시예를 설명하기 위한 도면이다.

일 개시에 의하여, 차량 주행 제어 장치(100)는 차량의 주행 영상으로부터 앞에서 주행하는 다른 차량(701)을 인식할 수 있다. 차량 주행 제어 장치(100)는 영상 속 프레임의 위치 변화를 통해 다른 차량(701)의 속도가 급격하게 줄어들고 있다고 판단할 수 있다. 따라서, 차량 주행 제어 장치(100)는 현재 속도로 주행하는 경우 다른 차량(701)과 충돌할 수 있다고 판단할 수 있으며, 그에 따라 다른 차량(701)으로부터 발생하는 이벤트를 ‘충돌 가능’으로 판단할 수 있다.

차량 주행 제어 장치(100)는 우선 순위를 판단하여, 감속을 통해 차량의 사용자의 승차감을 만족스럽게 유지하는 범위에서 차량의 속도를 감속시키는 제어 명령을 생성할 수 있다.

이 때, 차량 주행 제어 장치(100)는 차량의 주행 제어 명령을 실행하는 경우, 차량의 주행 제어 명령에 대한 정보를 상기 차량의 HUD(head up display)에 디스플레이할 수 있다.

차량 주행 제어 장치(100)는 차량의 주행 제어 명령에 대한 정보를 포함하는 생성된 알림 메시지를 출력할 수 있다. 일 실시예에서, 알림 메시지는 소리(sound), 텍스트(text), 이미지(image), 및/또는 진동(vibration) 형태로 출력될 수 있다. 일 실시예에서, 차량 주행 제어 장치(100)는 알림 메시지를 차량의 HUD(Head up display) 또는 대시보드(Dashboard)에 디스플레이할 수 있다. 일 실시예에서, 차량 주행 제어 장치(100)는 알림 메시지가 음성 형태인 경우, 차량의 스피커를 통해 출력할 수 있다. 예를 들어, 차량 주행 제어 장치(100)는 음성 형태의 알림 메시지를 출력하도록 차량의 스피커를 제어하는 명령을 차량의 스피커에 전송할 수 있다.

예를 들어, 차량 주행 제어 장치(100)가 80km/h의 속도로 계속 주행하는 경우 다른 차량(701)과의 안전거리 미확보로 인해 충돌 가능 이벤트가 발생하였고, 주행 속도를 34km/h까지 줄여야 한다고 결정한 경우, 처음 속도에서 목표 속도까지 감속 주행을 할 것임을 알림 메시지(702)로 표시할 수 있다. 또한, 현재 속도(61km/h)를 실시간으로 표시함으로써, 주행 제어 명령과 별개로 차량의 현재 주행 상태를 표시할 수 있다. 나아가, 차량 주행 제어 장치(100)는 현재 온도, 차량의 rpm 값, 차량의 전진 방향, 교통 상황, 및 주행의 위험도 중 적어도 하나를 포함하는 알림 메시지를 HUD에 디스플레이함으로써, 주행 제어 명령을 수행하면서 실시간 획득한 차량 및 주변 환경의 상태 정보를 표시할 수 있다. 단, 정보의 출력방법은 이에 제한되는 것은 아니다.

도 8은 일 개시에 의한 우선 순위에 기초하여 차량의 주행을 제어하는 장치의 구조를 나타내는 블록도이다.

일 실시예에 따른 차량 주행 제어 장치(100)는 프로세서(1100), 통신부(1300), 및 메모리(1400)를 포함할 수 있다. 그러나, 도 8에 도시된 구성 요소 모두가 차량 주행 제어 장치(100)의 필수 구성 요소인 것은 아니다. 도 8에 도시된 구성 요소보다 많은 구성 요소에 의해 차량 주행 제어 장치(100)가 구현될 수도 있고, 도 8에 도시된 구성 요소보다 적은 구성 요소에 의해 차량 주행 제어 장치(100)가 구현될 수도 있다.

프로세서(1100)는, 통상적으로 차량 주행 제어 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1100)는, 메모리(1400)에 저장된 프로그램들을 실행함으로써, 통신부(1300) 또는 다른 모듈 등을 전반적으로 제어할 수 있다. 또한, 프로세서(1100)는 메모리(1400)에 저장된 프로그램들을 실행함으로써, 차량 주행 제어 장치(100)의 기능을 수행할 수 있다. 프로세서(1100)는 적어도 하나의 프로세서를 구비할 수 있다. 프로세서(1100)는 그 기능 및 역할에 따라, 복수의 프로세서들을 포함하거나, 통합된 형태의 하나의 프로세서를 포함할 수 있다. 일 실시예에서, 프로세서(1100)는 메모리(1400)에 저장된 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함할 수 있다.

일 실시예에서, 프로세서(1100)는 통신부(1300)를 통하여 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 주행 영상을 획득할 수 있다. 일 실시예에서, 프로세서(1100)는 통신부(1300)를 통하여 이벤트의 우선도에 기초하여, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.

일 실시예에서, 프로세서(1100)는 주행 영상을 분석하여 복수의 프레임들 내에 포함된 객체를 검출할 수 있다. 일 실시예에서, 프로세서(1100)는 좌표 정보를 이용하여 복수의 프레임들 각각에 대한 객체의 위치 정보들을 인식할 수 있다. 프로세서(1100)는 객체의 위치들을 픽셀(pixel) 단위로 결정할 수 있다. 일 실시예에서, 프로세서(1100)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정할 수 있다. 일 실시예에서, 프로세서(1100)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 객체로부터 발생할 수 있는 이벤트를 결정할 수 있다. 일 실시예에서, 프로세서(1100)는 이벤트의 우선 순위를 결정하고, 결정된 우선 순위에 대응하는 주행 제어 명령을 생성할 수 있다.

일 개시에 의하여, 일 실시예에 따른 차량 주행 제어 장치(100)는 센싱부(미도시)를 더 포함할 수 있으며, 이벤트 검출을 위하여 센싱부로부터 주행 중인 차량의 센싱 정보를 획득할 수 있다. 예를 들어 센싱부는 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서 및 RGB 센서(RGB sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

통신부(1300)는, 차량 주행 제어 장치(100)가 다른 전자 장치(미도시) 및 서버(2000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 전자 장치(미도시)는 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 제한되지 않는다. 또한, 예를 들어, 다른 전자 장치는, 차량 주행 제어 장치(100)와 같이 차량에 포함된 모듈일 수 있다. 예를 들어, 통신부(1300)는, 근거리 통신, 이동 통신부, 방송 수신부를 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

방송 수신부는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 차량 주행 제어 장치(100)가 방송 수신부(1530)를 포함하지 않을 수도 있다.

일 실시예에서, 통신부(1300)는 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 주행 영상을 수신할 수 있다. 일 실시예에서, 통신부(1300)는 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.

메모리(1400)는, 프로세서(1100)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 차량 주행 제어 장치(100)로 입력되거나 차량 주행 제어 장치(100)로부터 출력되는 데이터를 저장할 수도 있다.

메모리(1400)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(1400)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈, 터치 스크린 모듈, 알림 모듈 등으로 분류될 수 있다.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

1. 컴퓨터에 의하여 수행되는 방법에 있어서,
   차량의 주행정보를 수집하는 단계;
   상기 주행정보에 기초하여 상기 차량의 현재 상태 및 상기 차량의 주변정보를 판단하는 단계;
   상기 현재 상태 및 주변정보에 기초하여, 상기 차량의 미래 일 시점의 상태정보를 예측하는 단계;
   상기 차량의 주행규칙에 기반하여, 상기 예측되는 상태정보에 대응하는 상기 차량의 행동지침을 결정하는 단계; 및
   상기 결정된 행동지침에 기반하여 상기 차량의 주행을 제어하는 단계; 를 포함하고,
   상기 주행규칙은, 서로 상이한 우선순위가 부여된, 상기 차량의 주행에 대한 복수의 요구사항을 포함하는 것을 특징으로 하고,
   상기 행동지침을 결정하는 단계는,
   복수의 행동지침 후보를 획득하는 단계;
   상기 예측되는 상태정보 및 상기 주행규칙에 기초하여, 상기 복수의 행동지침 후보의 점수를 결정하는 단계; 및
   상기 결정된 점수에 기초하여 상기 복수의 행동지침 후보 중 하나의 행동지침을 결정하는 단계; 를 포함하고,
   상기 복수의 행동지침 후보의 점수를 결정하는 단계는,
   상기 복수의 행동지침 후보에 대하여, 상기 주행규칙에 포함된 복수의 요구사항을 만족하는지 여부를 우선순위에 기초하여 순차적으로 판단하는 단계; 를 포함하고,
   상기 순차적으로 판단하는 단계는,
   제1 행동지침 후보가 제1 우선 순위의 요구사항을 만족하는지 판단하는 단계;
   상기 제1 행동지침 후보가 상기 제1 우선 순위의 요구사항을 만족하는 경우, 제2 우선 순위의 요구사항을 만족하는지 판단하는 단계; 및
   상기 제1 행동지침 후보가 상기 제2 우선 순위의 조건을 충족시키는 경우, 다음 하위 우선 순위의 요구사항을 만족하는지 여부를 순차적으로 판단하되, 상기 제1 행동지침 후보가 제n 우선 순위의 요구사항을 충족하되, 제n+1 우선 순위의 요구사항을 충족시키지 못하는 경우, 상기 제1 행동지침 후보에 상기 제n 우선 순위에 대응하는 점수를 부여하는, 단계; 를 포함하는,
   기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법.
2. 삭제
3. 제1 항에 있어서,
   상기 복수의 행동지침 후보의 점수를 결정하는 단계는,
   2이상의 행동지침 후보에 상기 제n 우선 순위에 대응하는 점수가 부여된 경우,
   상기 제n+1 우선 순위의 요구사항에 대한 하나의 하위 요구사항을 획득하는 단계; 및
   상기 하위 요구사항에 대응하는 점수를 상기 2이상의 행동지침 후보 각각에 부여하되, 부여되는 점수는 상기 제n 우선 순위에 대응하는 점수와, 상기 제n+1 우선 순위에 대응하는 점수의 차보다 작은 것을 특징으로 하는, 단계; 를 포함하는,
   기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법.
4. 제1 항에 있어서,
   상기 복수의 행동지침 후보의 점수를 결정하는 단계는,
   2이상의 행동지침 후보에 상기 제n 우선 순위에 대응하는 점수가 부여된 경우,
   상기 제n+1 우선 순위의 요구사항에 대한 복수의 하위 요구사항을 획득하는 단계;
   상기 2이상의 행동지침 후보에 대하여, 상기 복수의 하위 요구사항을 만족하는지 여부를 우선 순위에 기초하여 순차적으로 판단하는 단계; 및
   상기 2이상의 행동지침 후보 각각이 만족하는 하위 요구사항의 우선 순위에 대응하는 점수를 상기 2이상의 행동지침 후보 각각에 부여하되, 부여되는 점수는 상기 제n 우선 순위에 대응하는 점수와, 상기 제n+1 우선 순위에 대응하는 점수의 차보다 작은 것을 특징으로 하는, 단계; 를 포함하는,
   기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법.
5. 제1 항에 있어서,
   상기 복수의 행동지침 후보의 점수를 결정하는 단계는,
   상기 주행규칙에 포함된 복수의 요구사항을 만족하는지 여부를 변수로 하고, 상기 변수에는 상기 변수에 각각 대응하는 요구사항의 우선순위에 기초하여 가중치가 부여되는, 비용함수를 이용하여 상기 복수의 행동지침 후보 각각의 점수를 산출하는 단계; 를 포함하는,
   기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법.
6. 컴퓨터에 의하여 수행되는 방법에 있어서,
   차량의 주행정보를 수집하는 단계;
   상기 주행정보에 기초하여 상기 차량의 현재 상태 및 상기 차량의 주변정보를 판단하는 단계;
   상기 현재 상태 및 주변정보에 기초하여, 상기 차량의 미래 일 시점의 상태정보를 예측하는 단계;
   상기 차량의 주행규칙에 기반하여, 상기 예측되는 상태정보에 대응하는 상기 차량의 행동지침을 결정하는 단계; 및
   상기 결정된 행동지침에 기반하여 상기 차량의 주행을 제어하는 단계; 를 포함하고,
   상기 주행규칙은, 서로 상이한 우선순위가 부여된, 상기 차량의 주행에 대한 복수의 요구사항을 포함하는 것을 특징으로 하고,
   상기 행동지침을 결정하는 단계는,
   복수의 행동지침 후보를 획득하는 단계;
   상기 예측되는 상태정보 및 상기 주행규칙에 기초하여, 상기 복수의 행동지침 후보의 점수를 결정하는 단계; 및
   상기 결정된 점수에 기초하여 상기 복수의 행동지침 후보 중 하나의 행동지침을 결정하는 단계; 를 포함하고,
   상기 복수의 행동지침 후보의 점수를 결정하는 단계는,
   제n 우선순위에 대응하는 변수값 및 제n+1 우선순위에 대응하는 변수값을 포함하는 수식을 이용하여 상기 복수의 행동지침 후보 각각의 점수를 산출하는 단계; 를 포함하고,
   상기 제n 우선순위에 대한 요구사항 및 상기 제n 우선순위의 하위 요구사항의 만족여부에 기초하여 상기 제n 우선순위에 대응하는 변수값이 결정되고, 상기 제n+1 우선순위에 대한 요구사항 및 상기 제n+1 우선순위의 하위 요구사항의 만족여부에 기초하여 상기 제n+1 우선순위에 대응하는 변수값이 결정되며,
   상기 제n 우선순위에 대응하는 변수값은 기 설정된 이산적인 범위 내에서 결정되되, 상기 제n 우선순위에 대응하는 변수값의 범위에 포함된 이산적인 값들 사이의 차의 최소값은, 상기 제n+1 우선순위에 대응하는 변수값의 범위의 최대값보다 큰 것을 특징으로 하고,
   상기 수식에 포함되는, 상기 제n 우선순위를 포함하는 하나 이상의 우선순위에 대응하는 변수값의 범위는 이산적이며,
   상기 수식에 포함되는, 상기 하나 이상의 우선순위가 아닌 적어도 하나의 우선순위에 대응하는 변수값의 범위는 연속적인 것을 특징으로 하는,
   기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법.
7. 제1 항 또는 제6 항에 있어서,
   상기 차량의 미래 일 시점의 상태정보를 예측하는 단계는,
   상기 차량의 주변 영역을 미래 일 시점의 위험 예상 영역, 잠재적 위험 예상 영역 및 안전 예상 영역 중 하나로 분류하는 단계; 및
   상기 차량의 미래 일 시점의 위치가 상기 분류된 영역 중 하나와 중첩되는지 여부에 기초하여 상기 차량의 미래 일 시점의 상태정보를 예측하는 단계; 를 포함하고,
   상기 분류하는 단계는,
   상기 미래 일 시점에 상기 차량과 충돌할 수 있는 객체가 있는 것으로 판단되는 영역을 위험 예상 영역으로 분류하는 단계;
   상기 미래 일 시점에 상기 차량과 충돌할 수 있는 객체가 있을 가능성이 예측되는 영역을 잠재적 위험 예상 영역으로 분류하는 단계; 및
   상기 미래 일 시점에 상기 차량과 충돌할 수 있는 객체가 없는 것으로 판단되는 영역을 안전 예상 영역으로 분류하는 단계; 를 포함하는,
   기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법.
8. 제7 항에 있어서,
   상기 주행규칙은,
   탑승자의 승차감을 위한 하나 이상의 요구사항, 상기 위험 예상 영역의 회피, 도로 규칙의 만족 및 상기 잠재적 위험 예상 영역의 회피를 포함하는 복수의 요구사항에 서로 다른 우선순위가 부여되어 저장되는 것이며,
   상기 위험 예상 영역의 회피를 위한 요구사항에 최고의 우선순위가 부여되는 것을 특징으로 하는,
   기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법.
9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
   상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
   제1 항 또는 제6 항의 방법을 수행하는, 장치.
10. 하드웨어인 컴퓨터와 결합되어, 제1 항 또는 제6 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.

Images