KR20190062184A - 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따른 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템에 관한 것으로서, 차량에 탑재된 카메라를 이용하는 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템에 있어서, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는 상기 프로그램의 영상 이해 모듈을 통해 상기 카메라로부터 입력되는 주행 영상을 분석하여 보행자와 도로를 포함한 주행 환경 정보를 추출하고, 상기 주행 환경 정보를 이용하여 도로 영역과 보행자 영역, 차량과 보행자간의 이격 정도에 따른 보행자 거리, 영상 소실점, 보행자 방향, 차량 주행과의 관련도에 따른 보행자 후보를 각각 검출하고, 상기 프로그램의 위험 분석 모듈을 통해 상기 검출된 보행자 후보를 토대로 보행자의 행동을 인식하여 보행자 행동 정보, 보행자와 차량간의 상대적인 방향 정보, 차량의 주행 영역을 분석한 후 상기 분석된 결과를 토대로 각 보행자의 위험도를 평가하는 것이다.

Description

보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법 {SYSTEM AND METHOD FOR PEDESTRIAN-VEHICLE COLLISION WARNING BASED ON PEDESTRIAN STATE}

본 발명은 주행 영상에서 선별된 보행자 후보의 보행 상태를 정확히 분석하여 보행자와 차량간의 충돌 가능성 및 위험도를 판단하여 단계적으로 충돌을 경고할 수 있는 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법에 관한 것이다.

자동차 시장에서 보행자 충돌 방지를 위한 기존의 ADAS(Advanced Driver Assistance Systems, ADAS) 기술들은 거리 센서와 영상 센서 기반으로 개발되어 왔다. 거리 센서는 대표적으로 레이더(Radar), 라이다(Lidar), 초음파 등의 장비들이 있다. 레이더 센서는 주변의 거리, 높이 등의 정보를 정확하게 취득할 수 있지만, 충돌 방지를 위한 보행자의 현재 상태를 자세히 이해할 수 있는 정보를 제공하지 못한다. 라이다 센서는 주변 정보를 3 차원으로 구축을 하여 주변 환경에 대해서 정확하게 이해할 수 있지만, 정밀성을 보장하기 위해서 차량 외부에 설치해야 하고 고가의 장비라는 점이 단점이다. 이에 반해, 카메라 센서는 보행자를 분석할 수 있는 정보를 충분히 제공하고, 특히 단안 카메라는 비용이 저렴하여 상용화 관점에서 부담이 적다. 이러한 장점으로 카메라 센서를 활용한 컴퓨터 비전 기술에 대한 연구가 활발하게 진행되고 있다.

기존의 컴퓨터 비전 기술 기반의 충돌 방지 시스템은 영상 내에서 보행자를 검출하고, 검출된 보행자를 분석하여 충돌 위험 상황을 판단한다. 충돌 위험 상황을 판단하기 위해서 보행자의 위치, 방향, 속도 등의 보행자의 상태를 나타내는 정보를 추출하고, 이 정보들을 종합하여 최종 판단을 내린다. 또한 보행자와 차량 간의 상대적인 거리를 기반으로 충돌예측시간(Time To Collision)을 계산하여 보행자의 위험 상황을 판단하기도 한다.

종래에 제안된 기술들에서는, 보행자의 속도, 방향, 행동과 차선 정보를 종합하여서 충돌 위험성을 평가한다. 이때, 행동 정보는 Starting, Walking, Stopping과 Bending 중 하나로 인식한다. 그리고 또 다른 종래의 기술에서는, CNN(Convolutional Neural Network)을 사용하여 보행자의 위험 상황을 인식하는데, 보행자의 정보를 추출하지 않고 오직 시맨틱 세분화(Semantic segmentation) 기법만을 이용하여 위험 상황을 인식한다.

이와 관련하여, 대한민국 등록특허 10-1428236(발명의 명칭: 보행자 행동 패턴 인지를 통한 차등 경고 시스템 및 그 방법)에서는, 차량 전방의 장애물 영상을 획득하는 영상획득부; 상기 영상 획득부로부터 수신한 영상 데이터로부터 장애물의 패턴을 검출하는 보행자 패턴 검출부; 상기 검출된 장애물의 패턴과 미리 저장된 보행자 패턴 정보를 비교하여 장애물이 보행자인지 판단하는 보행자 행동 판단부; 상기 보행자와 차량간의 충돌 위험성을 판단하고, 상기 판단된 충돌 위험성의 정도에 따라 차등 경고를 수행하도록 제어하는 충돌 위험 판단부; 및 상기 충돌 위험 판단부의 제어 하에 차등 경고를 수행하는 차등경고부를 포함하는 차등 경고 시스템을 개시하고 있다.

하지만 골목길에서는 도로가 좁고 보행자-차량 간의 거리도 가깝기 때문에, 기존 기술로 보행자 충돌 사고를 방지하기에는 부족하다. 따라서 보행자 현재 상태를 이해하고 주행 상황을 판단하여 보행자의 충돌 위험성을 경고하는 시스템이 필요하다.

한편, 골목길에서 다수의 보행자가 존재하고, 거리도 가까운 경우가 있다. 이런 환경에서 보행자 충돌 방지 시스템이 주변 상황을 자세히 이해하지 못한다면, 차량은 정상적인 주행이 불가능하고 지속적으로 경고를 보낼 것이다. 따라서 정상 주행을 위해서는 주변 상황을 이해하고 보행자의 현재 상태에 대한 자세한 이해가 필요하다.

대한민국 등록특허 10-1428236(발명의 명칭: 보행자 행동 패턴 인지를 통한 차등 경고 시스템 및 그 방법)

본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 주행 영상에서 보행자 및 도로와 관련된 정보를 추출하여 보행자 후보를 선별하고, 보행자 후보의 위험도를 분석함으로써 충돌 경고를 운전자에게 제공하는 것에 목적이 있다.

따라서, 본 발명의 일 실시예에 따라 실시간성이 요구되는 충돌 방지 시스템에서 보행자의 행동 정보, 상대적 방향, 차량 주행 정보를 이용하여 세밀하게 분석한 보행자의 상태에 따라 위험도를 분석함으로써 계산 효율성을 증진시키고, 보행자의 상태를 세부적으로 인식하여 위험도에 따라서 충돌 경고를 단계적으로 제공하는 것에 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템은, 차량에 탑재된 카메라를 이용하는 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템에 있어서, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는 상기 프로그램의 영상 이해 모듈을 통해 상기 카메라로부터 입력되는 주행 영상을 분석하여 보행자와 도로를 포함한 주행 환경 정보를 추출하고, 상기 주행 환경 정보를 이용하여 도로 영역과 보행자 영역, 차량과 보행자간의 이격 정도에 따른 보행자 거리, 영상 소실점, 보행자 방향, 차량 주행과의 관련도에 따른 보행자 후보를 각각 검출하고, 상기 프로그램의 위험 분석 모듈을 통해 상기 검출된 보행자 후보를 토대로 보행자의 행동을 인식하여 보행자 행동 정보, 보행자와 차량간의 상대적인 방향 정보, 차량의 주행 영역을 분석한 후 상기 분석된 결과를 토대로 각 보행자의 위험도를 평가하는 것이다.

본 발명의 일 실시예에 따른 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법은, 차량에 탑재된 카메라를 이용하는 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법에 있어서, 상기 카메라로부터 입력되는 주행 영상을 분석하여 보행자와 도로를 포함한 주행 환경 정보를 추출하고, 상기 주행 환경 정보를 이용하여 도로 영역과 보행자 영역, 차량과 보행자간의 이격 정도에 따른 보행자 거리, 영상 소실점, 보행자 방향, 차량 주행과의 관련도에 따른 보행자 후보를 각각 검출하는 영상 이해 단계; 및 상기 검출된 보행자 후보를 토대로 보행자의 행동을 인식하여 보행자 행동 정보, 보행자와 차량간의 상대적인 방향 정보, 차량의 주행 영역을 분석한 후 상기 분석된 결과를 토대로 각 보행자의 위험도를 평가하는 위험 분석 단계를 포함하는 것이다.

전술한 본 발명의 과제 해결 수단에 의하면, 일반 도로 상황만을 고려하던 기존의 보행자 충돌 방지 시스템과 달리 골목길 등의 좁은 도로의 주행 상황에서 세밀한 정보 추출 및 현재 보행자 상태를 자세히 파악하여 보행자 위험도 평가에 반영함으로써 효과적으로 보행자와의 충돌 방지 기능을 수행할 수 있다.

또한, 본 발명은 보행자 후보를 선별하여 보행자 후보의 각 보행자 상태에 기반하여 보행자와 차량간의 충돌 가능성 및 위험도를 분석함으로써 위험도 평가에 대한 부하가 최소화되어 계산 시간이 절약되며, 실시간에 적합한 시스템의 조건을 갖출 수 있다.

도 1은 본 발명의 일 실시예에 따른 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템의 구성을 설명하는 도면이다.
도 2는 도 1의 일부 구성요소인 프로세서의 구성을 상세히 설명하는 블록도이다.
도 3은 일반적인 시맨틱 세분화 기법을 설명하는 도면이다.
도 4는 도 2의 일부 구성요소인 도로 및 보행자 검출부에 의한 도로 영역 및 보행자 영역의 검출 과정을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 깊이 추정 방식을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 소실점 검출 방식을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 보행자 방향 추정 네트워크의 일례이다.
도 8은 본 발명의 일 실시예에 따른 보행자 방향 추정 방식을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 보행자 후보 선별 방식을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 2-stream CNN 구조의 예시도이다.
도 11은 본 발명의 일 실시예에 따른 행동 인식 방식을 설명하기 위한 예시도이다.
도 12는 본 발명의 일 실시예에 따른 방향 범위 분석 방식을 설명하기 위한 예시이다.
도 13은 본 발명의 일 실시예에 따른 상대적 방향 분석 방식을 설명하기 위한 예시도이다.
도 14는 본 발명의 일 실시예에 따른 주행 영역의 일례이다.
도 15는 본 발명의 일 실시예에 따른 위험도 평가 방식을 설명하기 위한 예시도이다.
도 16은 본 발명의 일 실시예에 따른 경고 모듈의 단계별 경고 정보의 제공 방식을 설명하기 위한 예시도이다.
도 17은 본 발명의 일 실시예에 따른 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법을 설명하는 순서도이다.
도 18은 골목길에서 보행자가 도로 영역에 존재하는 경우를 설명하기 위한 화면의 일례이다.
도 19는 골목길에서 보행자가 도로 영역에 존재하는 경우를 설명하기 위한 화면의 또 다른 예이다.
도 20은 도로에 보행자가 많이 존재하는 경우를 설명하기 위한 화면의 일례이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템의 구성을 설명하는 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템(10)은, 통신 모듈(100), 메모리(200), 프로세서(300) 및 데이터베이스(400)를 포함한다.

상세히, 통신 모듈(100)은 통신망과 연동하여 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템(10)과 송수신 신호를 처리하기 위해 필요한 통신 인터페이스를 제공한다. 여기서, 통신 모듈(100)은 차량에 탑재된 디스플레이 장치 및 음향 장치 등과 차량내 네트워크(IVN)를 통해 동작 제어 관련 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(200)는 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(300)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(200)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

프로세서(300)는 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법을 제공하는 전체 과정을 제어한다. 프로세서(300)가 수행하는 각 단계에 대해서는 도 2를 참조하여 후술하기로 한다.

여기서, 프로세서(300)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

데이터베이스(400)는 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법을 수행하면서 누적되는 정보들이 저장된다.

도 2는 도 1의 일부 구성요소인 프로세서의 구성을 상세히 설명하는 블록도이다. 도 3은 일반적인 시맨틱 세분화 기법을 설명하는 도면이고, 도 4는 도 2의 일부 구성요소인 도로 및 보행자 검출부에 의한 도로 영역 및 보행자 영역의 검출 과정을 설명하는 도면이다.

도 2를 참조하면, 프로세서(300)는 크게 영상 이해 모듈(310), 위험 분석 모듈(320) 및 경고 모듈(330)로 구분될 수 있지만 이에 한정되지는 않는다.

영상 이해 모듈(310)은 카메라를 통해 주행 영상이 입력되면, 주행 영상을 통해 보행자와 도로를 포함한 차량의 주행 환경을 이해한 후에 보행자 후보를 선별한다.

이러한 영상 이해 모듈(310)은 도로 및 보행자 검출부(311), 거리 추정부(312), 소실점 검출부(313), 보행자 방향 추정부(314) 및 보행자 후보 선별부(315)를 포함한다.

도로 및 보행자 검출부(311)는 시맨틱 세분화 기법을 사용하여 도로 영역과 보행자 영역을 동시에 검출한다. 시맨틱 세분화 기법은 영상 내의 객체들을 픽셀 레벨로 인식하는 것이다. 시맨틱 세분화 기법을 이용하면, 도 3에 도시된 바와 같이, 주행 영상 내에서 도로와 보행자를 동시에 검출할 수 있을 뿐만 아니라 보행자 위치까지 정확하게 파악할 수 있다.

도로 및 보행자 검출부(311)는 시맨틱 세분화 기법 중에서 실시간 검출이 가능한 ICNet(Image Cascade Network)을 구성하여 도로 영역과 보행자 영역을 빠른 속도로 검출한다. ICNet은 영상의 지역적 특징과 4개의 전역적 특징을 결합하는 구조를 가지고 있어, 지역적 정보와 다양한 전역적 정보를 활용하여 높은 성능으로 세분화를 수행한다. 또한, ICNet은 컨벌루션 필터(Convolution filter) 크기와 출력의 수를 줄여 계산량을 감소시키고, 여러 해상도의 영상을 입력하는 캐스캐이드 네트워크로 구성되며, 세분화의 정확도는 유지하면서 속도는 30.3fps로 향상되어 실시간성을 만족시키게 된다.

즉, 도 4에 도시된 바와 같이, 도로 및 보행자 검출부(311)는 주행 영상이 3개의 다른 크기로 ICNet에 입력된 후 캐스캐이드 네트워크를 통과하면서 세분화를 수행하여 실시간 보행자 영역과 도로 영역을 검출한다.

특히, 도로 및 보행자 검출부(311)는 보행자 영역에 대한 추가적인 분석을 위해 경계 박스(Bounding box)를 추가적으로 생성한다.

거리 추정부(312)는 주행 영상의 깊이 영상을 이용하여 보행자 거리 정보를 검출한다. 이때, 보행자 거리 정보는 보행자에 대한 정확한 위치를 제공하며, 보행자 위험도 평가에 중요한 정보로 이용된다.

차량에 탑재된 카메라 센서가 양안 카메라인 경우, 주행 영상에 대한 깊이 영상을 쉽게 구할 수 있지만, 단안 카메라인 경우 주행 영상에 대한 깊이 영상을 추정하는 과정이 필요하다. 특히, 단안 카메라는 비용이 저렴하여 상용화 관점에서 부담이 적기 때문에 차량에 탑재되는 카메라 센서로 많이 이용되고 있다.

도 5에 도시된 바와 같이, 거리 추정부(312)는 주행 영상의 전역적인 수준으로 깊이 정보를 추정하여 전체적인 구조 정보를 산출하고, 전체적인 구조 정보에 지역적 정보를 추가하여 최종적인 깊이 영상을 생성한다.

거리 추정부(312)는 실시간 처리가 요구되는 주행 환경에 적합하도록 깊이 영상 예측 시간이 이미지당 0.013초(77fps)가 소요되는 네트워크를 구성하여 주행 영상이 네트워크에 입력되면 실시간으로 최종적인 깊이 영상이 생성되도록 한다.

거리 추정부(312)는 최종적인 깊이 영상을 이용하여 보행자 거리 정보를 구하는데, 깊이 영상과 실제 거리의 관계를 통해 선형 방정식을 도출하고, 깊이 영상을 이 선형 방정식에 대입하여 최종 보행자 거리 정보를 산출한다. 이때, 거리 추정부(312)는 세부적으로 거리에 따른 밝기 값의 최소값과 최대값으로 선형 방정식을 도출하는데, 거리를 추정하는 선형 방정식은 깊이 영상의 함수가 된다.

소실점 검출부(313)는 보행자의 방향성과 주행 영역을 자세히 분석하기 위해 주행 영상에 대한 소실점을 검출한다. 이를 위해 소실점 검출부(313)는 입력되는 주행 영상에 대한 HOG(Histogram of Oriented Gradient)를 이용하여 기설정된 주요 방향 성분을 취득한 후에 소실점의 위치를 예측한다.

소실점 검출부(313)는 주행 영상에 대한 기울기 필터를 구하여 하기한 수학식 1에 나타난 기울기 영상(G)을 구한다.

[수학식 1]

소실점 검출부(313)는, 도 6에 도시된 바와 같이, 기울기 영상을 블록으로 나눈 후 각 블록에서 에지의 방향에 대한 히스토그램을 구하여 각각의 방향에 대해 크기를 비교한 후에 주요 방향만을 취득한다.

소실점 검출부(313)는 소실점이 주행 영상 내에 있다고 가정하고, 외곽 블록으로부터 주요 방향이 유사한 블록을 모두 찾은 후에 그 중에서 가장 멀리 떨어져 있는 블록을 선택하고, 소실점의 영상을 구성하는 주요 에지 성분이 한곳으로 모이는 특성을 이용하여 소실점의 위치를 예측한다.

즉, 소실점 검출부(313)는 외곽 블록의 모든 유사한 블록들에 대해서 가장 멀리 떨어져 있는 블록(z)을 구하고, 소실점이 있는 위치(VP)를 하기한 수학식 2를 통해 구한다.

[수학식 2]

보행자 방향 추정부(314)는 CNN을 통해 보행자 방향을 잘 나타내는 계층을 선택하여 학습을 진행하고, 인접한 방향의 보행자를 분별할 수 있는 유의미한 정보를 얻기 위해 파인-그레인드 네트워크의 특징을 추가적으로 학습하도록 함으로써 보행자의 외관 정보와 방향 부류간의 차이를 보이는 지역적인 정보를 동시에 고려하여 검출된 보행자에 대한 연속적인 방향값을 추정한다.

골목길 등의 좁은 도로에서는 보행자와 차량간의 거리가 가깝기 때문에 보행자 상태가 갑작스럽게 변경되면 차량과의 충돌 사고 위험성이 매우 높아진다. 따라서, 보행자 방향 추정부(314)는 보행자 상태에 대한 유용한 정보로 보행자 방향 정보를 이용한다. 보행자 방향 정보는 보행자가 어디를 향하는지에 대한 직관적인 정보를 제공하고, 추가적으로 가까운 미래에 보행자가 움직일 경로를 예측하는데 도움이 된다.

기존의 보행자 방향을 추정하는 방식은 방향 부류를 4개 또는 8개로 나누어서 학습하기 때문에 일반 도로 환경에 적합하지만, 골목길과 같이 보도와의 경계가 명확하지 않고, 보행자와 차량이 도로를 경유하는 경우에 위험 상황을 제대로 인식하지 못하는 가능성이 존재한다.

따라서, 보행자 방향 추정부(314)는 보행자와 차량간의 거리가 매우 인접하기 때문에 방향을 특정 개수로 나누지 않고, 연속적인 방향으로 추정하는 것이 정밀한 보행자 상태를 분석할 수 있도록 한다.

그러나, 보행자 방향을 연속적인 방향 값으로 추정하는 것은 적은 수의 방향 부류로 나누어서 추정하는 방식에 비해 어렵다. 일반적으로, 에지(Edge)와 형태(Shape) 등의 낮은 레벨 특징들이 보행자 방향을 잘 나타낼 수 있는 특징으로 고려되고, CNN에서도 높은 계층보다 중간 계층에서 성능이 높은 것으로 알려져 왔다. CNN 기반의 보행자 방향 추정 방식은 기존의 핸드-크래프트 특징(Hand-Crafted Feature)을 사용한 방식보다 성능면에서 우수하지만, 방향 오차가 60° 이내에서 많이 분포하고 있고, 이는 보행자의 인접한 방향이나 비슷한 외관의 보행자에서 분별력이 떨어지는 것으로 분석된다. 인접한 방향의 보행자는 외관적으로 유사하기 때문에 기존에 사용하던 특징 정보만으로 구분하기 힘들어, 인접한 방향의 보행자를 분별할 수 있는 유의미한 정보가 추가적으로 필요하다.

여기서, 보행자의 인접한 방향은 현재 보행자 방향을 기준으로 상대적으로 가까운 거리 및 유사성이 높은 방향을 의미한다. 예를 들어, 현재 방향 추정을 수행하고자 하는 보행자의 방향이 북동 방향(360도 기준으로 약 45도 방향)일 경우, 45도를 기준으로 전후 10도 내외의 방향들을 인접한 방향이라고 한다. 이러한 인접한 방향들(예를 들어, 46도, 47도, 44도 등)에서 나타나는 보행자의 외형 정보, 즉 하반신의 자세, 팔의 모양 등이 유사하기 때문에 인접한 방향은 모델을 학습시키는데 어려움이 있다.

기존의 보행자 방향 추정 방식은 임의로 8개 또는 16개 정도의 주요 방향(예를 들어, 360도를 45도 간격으로 분할하여 8개 방향)으로 분할하여 보행자 방향을 추정하였지만, 이렇게 분할된 주요 방향들의 경계점에서 상기에서 언급한 인접한 방향 추정 문제가 발생하게 된다.

기존의 인접한 방향 추정 문제를 해결하기 위해, 도 7에 도시된 바와 같이, 보행자 방향 추정부(314)는 연속적인 방향 추정 방식을 통해 배우 인접한 방향들을 높은 분별력으로 CNN에서 학습하도록 CNN(314a)과 파인-그레인드 네트워크(314b)를 병렬 배치하고, 각각의 특징들을 결합(314c)하여 분류기(314d)를 학습하는 구조를 갖는다.

파인-그레인드 분류는 1개의 베이직-레벨(Basic-level) 범주(새, 자동차, 비행기 등)내에서 여러 개의 하위 범주(새의 종, 차의 기종 등)로 분류하는 것이다. 이러한 파인-그레인드 분류는 부류 내에서 큰 변동(Variance)을 보이고, 부류 간에서 작은 변동을 보인다는 특징이 있기 때문에 분류를 위해 부류를 대표하면서도 지역적으로 미묘한 차이, 즉 대표적 특성과 지역적인 특성을 어느 정도 포함하는 특징을 인식하는 것이 필요하다.

여기서, 지역적인 특징(Local feature)은 주어진 입력(예를 들어, 보행자 이미지, 영상 전체)에서 매우 한정적인 영역에서 보이는 특징을 의미한다. 일반적으로, 작은 영역(예를 들어, 16 x 16 픽셀) 내에서의 질감, 대표 색, 색의 변화, 에지(edge)의 방향 등이 지역적인 특징에 해당한다. 일반적으로, 보행자의 방향이나 행동 추정에서는 보행자의 외형(예를 들어, 옷의 색, 모자 착용 등)에 영향이 적은 모델을 학습하기 위하여 상대적으로 중요하게 여기지 않는 경향이 있다.

대표적인 특징(Global feature)은 주어진 입력 전체 혹은 상당 부분(예를 들어, 50% 이상의 면적)을 대표할 만한 특성을 의미하는데, 보통 입력 내에 존재하는 색이나 경계의 히스토그램이 이에 해당한다.

CNN은 복수 개의 컨벌루션 계층(예를 들어, 101 계층)으로 이루어져 있는데 계층이 깊어 질수록 대표적인 특징을 많이 포함하고, 낮을수록 지역적인 특징을 많이 포함하게 된다. 따라서, CNN기반의 특징 추출 방식을 통해 최저 계층과 최고 계층 사이의 중간 계층들(Intermediate layer)들의 특징들을 실험하여 그 중에서 미묘한 차이를 인식하는데 최적이 되는 특징을 도출할 수 있다.

이러한 CNN(314a)을 이용하여 특징을 계산하면, CNN의 컨벌루션(Convolution) 연산의 특성에 의하여 대표적인 특징이 산출된다. 대표적인 특징은 행동 인식과 같은 문제에서는 좋은 성능을 내지만, 연속된 방향 추정과 같이 미묘한 차이(예를 들어, 46도와 47도의 인접한 방향을 가지는 보행자들 간의 외형 차이)를 인식 해야 하는 문제에서는 적합하지 않다.

따라서, 파인-그레인드 네트워크(314b)를 이용하여 지역적으로 미묘한 차이(예를 들어, 다리 모양의 변화) 등의 지역적인 특징을 추출할 수 있다.

보행자 방향 추정부(314)는 보행자 범주에서 여러 개의 방향 부류를 추정해야 하고, 보행자의 포즈, 옷, 빛 조건 등에 따라 동일한 방향 부류에서 변동이 크지만, 인접한 방향 부류에서는 거의 유사한 모습을 가지고 있어 부류간의 변동이 작기 때문에 정확한 분류를 위해 유의미한 지역적인 특징을 인식할 필요가 있다.

따라서 보행자 방향 추정부(314)는 CNN과 파인-그레인드 네트워크의 병렬 구조를 통해 보행자의 외관 정보, 방향 부류 간의 차이를 보이는 지역적인 정보를 동시에 고려할 수 있다. 즉, 보행자 방향 추정부(314)는 도 8에 도시된 바와 같이, 검출된 보행자를 CNN과 파인-그레인드 네트워크에 각각 입력하여 보행자의 연속적인 방향 값을 추정한다. 연속적인 방향 값은 평균 이동 알고리즘(Mean-shift algorithm)을 통해 추정되고, 라디안, 각도 등의 연속적인 방향을 나타내는 값을 단위로 사용한다.

다시 도 2를 참조하면, 보행자 후보 선별부(315)는 보행자의 도로 내 존재 여부, 보행자 거리 정보, 보행자 방향 정보를 이용하여 검출된 보행자들에 대해 차량 주행과 관련도가 낮은 보행자들을 배제하여 보행자 후보를 선별한다.

보행자 후보 선별부(315)는 검출된 보행자의 위치가 도로 영역 내 존재하는 경우, 차량 주행과 관련도가 높다고 판단하고, 도로 영역 내에 존재하지 않으면 차량 주행과 관련도가 낮다고 판단한다. 또한, 보행자 후보 선별부(315)는 보행자 거리 정보가 임계 거리(예를 들어, 20㎝ 정도) 이내인 경우에 차량 주행과 관련도가 높다고 판단하고, 보행자 방향 정보가 차량의 진행 방향과 동일할 경우에 차량 주행과 관련도가 높다고 판단한다.

예를 들어, 보행자 후보 선별부(315)는 보행자 위치가 도로 영역 내에 존재하고, 보행자 거리 정보가 임계 거리 이하이면서 보행자 방향 정보가 차량 진행 방향 쪽인 경우에 보행자 상태 기반의 위험도를 평가할 보행자 후보로 선택한다. 그러나, 보행자 후보 선별부(315)는 보행자 위치가 도로 영역 내에 존재하지 않으며, 보행자 거리 정보가 임계 거리 이상으로 차량과 멀리 떨어진 상태이고, 보행자 방향 정보가 차량 진행과 무관한 방향을 향하고 있다면 차량 주행과 관련도가 낮은 보행자라고 판단하여 보행자 후보에서 배제시킨다.

이하, 표 1에는 시스템의 계산 효율성을 향상시키기 위해 차량 주행과 관련도가 낮은 보행자는 보행자 후보에서 배제하고, 위험도를 평가할 보행자 후보를 선별한 결과를 보여준다. 표 1에서 O는 차량 주행과 관련도가 높은 경우, X는 차량 주행과 관련도가 낮은 경우, -는 차량 주행과 무관한 경우를 각각 표시한 것이다.

도로 내 존재 여부	보행자 거리	보행자 방향	선별 여부
O	-	-	선별
X	O	O	선별
X	O	X	배제
X	X	O	배제
X	X	X	배제

도 9에 도시된 바와 같이, 보행자 후보 선별부(315)는 표 1에 나타난 보행자 후보 선별 결과로서, 주행 영상에서 임계 거리, 보행자 위치, 보행자 방향을 포함한 보행자 정보를 이용하여 차량 주행과 관련도가 낮은 보행자들을 배제하여 보행자 후보만을 표시한 것이다.

보행자 상태 기반의 차량과 보행자간 충돌 경고 시스템은 보행자 상태를 분석하기 위해 보행자 행동을 인식해야 하는데, 보행자 행동을 인식하기 위해서 시간에 따른 보행자 정보를 10 프레임 이상 누적하고, 변화 정보를 활용해야 해서 계산 소모가 커질 수 밖에 없다. 그러나, 보행자 후보 선별부(315)는 주행 영상에서 차량 주행과 관련도가 높은 보행자 후보를 검출하기 때문에 이후의 보행자 행동 인식 과정에서 계산 효율성이 증진될 수 있다.

다시 도 2를 참조하면, 보행자 행동 인식부(321)는 보행자 상태를 세밀하게 분석할 수 있도록 보행자 행동 정보를 달리기, 걷기, 이륜차 타기, 서기, 앉기의 총 5가지 부류로 인식한다. 보행자 상태 정보를 달리기, 걷기, 이륜차 타기 등의 동적 행동 부류와, 앉기와 서기의 정적 행동 부류로 구분함으로써 여러 상황이 발생할 수 있는 차량 주행 환경에서 보행자의 상태를 세분화하여 이해하는데 도움이 되고, 자전거와 오토바이 등의 이륜차 타기는 일반 보행자보다 빠른 속도로 보행자 상태가 변화되기 때문에 항상 주의하도록 한다.

예를 들어, 보행자가 도로 영역 내에 존재하고, 보행자 방향 정보가 차량 진행 방향 쪽을 향하고 있으며, 보행자 거리 정보가 임계 거리 이내에 있는 경우에, 보행자 행동 정보에 따라 위험도가 달라질 수 있다. 만일, 보행자 행동 정보가 뛰기 또는 걷기인 경우 해당 보행자는 고위험 상태로 판단할 수 있지만, 보행자 행동 정보가 앉기 또는 서기인 경우 해당 보행자는 고위험 상태보다는 낮은 단계의 위험 상태로 판단할 수 있다.

이러한 보행자 행동 인식부(321)는 실시간성을 고려한 EMV-CNN를 바탕으로 네트워크를 구성한 행동 인식 모델을 사용한다. 행동 인식 모델은 10 프레임 이상의 보행자 정보를 누적하고, 보행자의 변화를 분석하기 때문에 계산 소모량이 크므로, 이를 완화하기 위해 보행자 후보 선별부(315)는 주행 영상에서 보행자 후보를 선별하지만, 보행자 후보가 많아질수록 계산량이 많아질 수 밖에 없다.

따라서, 보행자 행동 인식부(321)는 CNN 기반의 모델이 병렬 구조를 갖는 2-스트림 CNN 구조의 행동 인식 모델을 사용한다. 도 10에 도시된 바와 같이, 2-스트림 CNN은 최근 행동 인식 분야에서 좋은 성능을 보이는 모델로서, 공간적 스트림 CNN과 임시적 스트림 CNN이 주행 영상에 대한 비디오 시퀀스를 RGB와 옵티컬 플로우(Optical Flow)를 각각 공간 정보와 임시 정보로 활용하여 보행자의 외관 정보와 움직임 정보를 추출한 후 두 정보를 동시에 학습한다.

2-스트림 CNN 구조를 가지는 EMV-CNN는 움직임 정보를 추출하는 스트림에 입력되는 정보가 일반적인 2-스트림 CNN과 차이가 있다. 즉, 일반적인 2-스트림 CNN은 움직임 정보를 추출하기 위해 보행자의 옵티컬 플로우(Optical flow)를 구하는데, 이 과정에서 많은 계산량이 소모된다. 그러나, 2-스트림 CNN 구조를 가지는 EMV-CNN은 옵티컬 플로우 대신에 추가적인 계산 소모가 없는 모션 벡터(Motion Vector)를 사용하여 움직임 정보를 추출한다. 결과적으로, 2-스트림 CNN 구조를 가지는 EMV-CNN는 기존의 행동 인식 모델과 유사한 성능을 가지면서 390.7fps 속도로 행동 정보에 대한 처리가 가능하다.

따라서, 보행자 행동 인식부(321)는 도 11에 도시된 바와 같이, EMV-CNN의 구조를 기반으로 네트워크를 구성하여 보행자 영상이 입력되면 보행자 행동을 인식하고, 보행자 행동을 세부적으로 5가지 부류로 인식함으로써 보행자의 상태를 이해하는데 유용한 정보를 제공한다.

상대적 방향 분석부(322)는 보행자의 위치, 방향, 그리고, 소실점을 통해 보행자와 차량간의 상대적 방향을 분석한다. 주행 영상에서 평행선들은 소실점으로 수렴된다. 따라서, 차량에 탑재된 카메라로 촬영한 주행 영상은 소실점을 향해 기울어져 있는 상태이기 때문에 주행 영상에서 추정한 보행자의 발향은 실제 3차원 공간에서의 방향과 차이가 있다. 또한, 보행자의 거리가 가까울수록 영상 왜곡이 심하기 때문에 보행자의 실제 방향과 차이가 더 커지게 된다.

따라서, 상대적 방향 분석부(322)는 소실점과 검출된 보행자 위치 및 보행자 방향을 포함한 보행자 정보를 이용하여 실제 3차원 공간에서의 보행자 평행선을 구한다. 세부적으로는, 보행자 경계 박스(Bounding box)의 하단 중심점

과 소실점

을 연결해서 보행자의 평행선을 구하고, 하기한 수학식 3에 나타난 바와 같이 보행자와 평행선이 이루는 각도 θ를 삼각함수로 구한다.

[수학식 3]

상대적 방향 분석부(322)는 도 12에 도시된 바와 같이 보행자와 평행선의 각도 θ를 구한 후에 해당 보행자의 안전 방향과 위험 방향을 분석한다. 보행자와 평행선의 각도θ를 통해 해당 보행자의 안전 방향은

와

의 범위로 설정하고, 위험 방향은

의 범위로 분석한다. 행자와 평행선의 각도 를 구하고, 해당 보행자의 안전 방향과 위험 방향을 분석한다.

이와 같이, 상대적 방향 분석부(322)는 보행자의 상대적 방향을 분석함으로써 왜곡된 영상에서 보행자가 실제로 어느 방향을 향하는지에 대한 유의미한 정보를 제공한다.

주행 영역 분석부(323)는 보행자와 차량이 도로를 공유하는 경우, 단순히 도로 영역만을 검출하여 보행자의 위험 상황을 정확하게 분석할 수 없기 때문에 차량이 주행하는 주행 영역을 검출한다.

주행 영역 분석부(323)는 차종에 따라 차량의 너비가 다르기 때문에 특정 차량의 너비를 미리 알고 있다고 가정한다. 차량의 너비를 고려한 차량 영역은 주행 영상에서 소실점을 향해 수렴하게 되기 때문에 주행 영역 분석부(323)는 소실점과 차량 영역을 이어줌으로써 주행 영역을 검출한다.

도로는 장소마다 동적으로 변하기 때문에 도로의 정보도 고려해야 하므로, 주행 영역 분석부(323)는 도 14에 도시된 바와 같이, 도로 및 보행자 검출부(311)에서 검출된 도로 영역과 주행 영역을 비교하여 주행 영역에서 도로 영역이 아닌 부분을 제거한다.

주행 영역 분석부(323)는 차종별 배기량, 길이, 너비 등의 차량 정보를 관리하는 차량제조업체 또는 교통 관련 서버를 통해 차량의 너비를 확인할 수도 있다.

이와 같이, 위험 분석 모듈(320)은 보행자와 차량의 상대적 방향 정보와 주행 영역을 분석함으로써 왜곡된 영상에서 보행자 상태를 보다 정확하게 분석할 수 있고, 특히 보행자와 차량이 인접해 있는 골목길에서 충돌 위험 상황을 정확하게 감지할 수 있다.

위험도 평가부(324)는 보행자 충돌 방지 및 위험 상황을 인지하기 위해 이전에 분석한 정보들을 이용하여 보행자의 위험도를 평가한다. 즉, 위험도 평가부(324)는 선별된 보행자 후보에 대한 주행 영역 내 존재 여부, 상대적 방향 정보, 보행자 행동 정보를 사용하여 보행자의 위험도를 평가한다.

예를 들어, 표 2에 나타나 있듯이, 위험도 평가부(324)는 보행자가 주행 영역 내에 존재할 경우에는 충돌 가능성이 높기 때문에 상대적 방향 정보와 보행자 행동 정보에 상관없이 위험도는 ‘상’으로 결정한다. 반면에, 보행자가 주행 영역 내에 존재하지 않을 경우, 위험도 평가부(324)는 상대적 방향 정보와 보행자 행동 정보를 고려하여 단계적으로 보행자의 위험도를 평가한다. 특히, 위험도 평가부(324)는 도 15에 도시된 바와 같이, 주행 영역 밖에 존재하는 보행자가 위험한 방향성을 가지고 뛰기, 걷기, 이륜차 타기의 행동을 하는 경우에 위험도는 ‘상’으로 판단한다.

주행 영역 내 존재 여부	상대적 방향	보행자 행동	위험도
O	-	-	상
X	O	뛰기, 걷기, 자전거 타기	상
X	O	서기	중
X	O	앉기	하
X	X	자전거 타기, 뛰기	중
X	X	걷기, 서기, 앉기	하

이와 같이, 위험 분석 모듈(320)은 보행자의 행동을 뛰기, 걷기, 이륜차 타기, 서기, 앉기의 5가지 부류로 나누고, 보행자 방향에 대한 왜곡을 고려하여 차량과 보행자간의 상대적 방향 정보를 이용하여 보행자 상태를 자세하게 분석할 수 있다.

한편, 경고 모듈(330)은 단계별 경고를 통해 운전자에게 보행자 상태에 기반하여 보행자 위험도를 운전자가 인지하도록 단계적으로 경고 정보를 제공한다. 이때, 경고 모듈(330)은 헤드업 디스플레이(HUD) 등을 통해 경고 정보를 제공될 수 있고, 소리 형태로 위험 단계에 따라 각기 다른 경고음을 제공할 수도 있다.

경고 모듈(330)이 헤드업 디스플레이를 기반으로 운전자에게 위험도에 대한 경고 정보를 제공할 경우, 위험도 평가부(324)에서 평가된 보행자의 위험도를 바탕으로 운전자에게 3단계의 주의 레벨을 제공한다. 도 16에 도시된 바와 같이, 주의 레벨은 헤드업 디스플레이 좌측 하단에 경고 표지판 아이콘으로 제공되며, 단계에 따라 주의 레벨 1단계는 녹색, 주의 레벨 2단계는 노란색, 주의 레벨 3단계는 빨간색으로 주의 정도를 표시할 수 있다.

즉, 주의 레벨 1 단계의 경우, 왼쪽의 보행자는 안전한 방향으로 걷고 있고, 오른쪽의 보행자는 위험한 방향을 향하고 있지만 앉아있기 때문에 모두 ‘하’ 단계의 위험도를 가진다. 주행 영상 내의 보행자가 ‘하’ 단계의 위험도를 가진다면, 도 16의 (a)에 도시된 바와 같이, 녹색의 경고 표지판 아이콘이 헤드업 디스플레이 좌측 하단에 표시되며, 주행 환경이 안전한 상태임을 운전자에게 방해가 되지 않도록 인지시킨다.

주의 레벨 2 단계의 경우, 두 보행자는 위험한 방향을 향해 서 있고, 한 보행자는 자전거를 타고 있기 때문에 ‘중’ 단계의 위험도를 가진다. ‘중’ 단계의 위험도를 가진 보행자가 존재할 경우, 도 16의 (b)에 도시된 바와 같이, 노란색의 경고 표지판 아이콘이 헤드업 디스플레이를 통해 운전자에게 제공되고, 주의가 필요한 보행자의 위치를 제공하기 위해 보행자 하단 영역에 노란색으로 작게 표시한다. 이는 주행 환경이 주의가 필요한 상황이라고 운전자에게 인지시키고, 운전자의 집중력을 향상시켜서 안전 주행할 수 있도록 도움을 준다.

주의 레벨 3 단계의 경우, 주행 영역에 두 명의 보행자가 존재하기 때문에, ‘상’ 단계의 위험도를 가지고, 도 16의 (c)에 도시된 바와 같이, 경고 표지판 아이콘이 빨간색으로 표시될 뿐만 아니라, 높은 위험도를 가지는 보행자 전체 영역을 빨간색으로 강조하면서 운전자에게 위험도가 높은 보행자의 위치 정보를 제공한다. 이를 통해, 주행 환경이 위험도가 높은 상황이라는 정보와 위험 보행자의 위치 정보를 강조함으로써 운전자가 위험 상황을 대비하고 안전하게 주행을 하도록 도움을 준다.

본 발명에서는 보행자와 차량간 충돌 사고를 방지하기 위해 보행자와 도로를 비롯한 여러 정보를 추출하기 때문에 이 정보들을 운전자에게 모두 제공한다면 오히려 운전자의 주의를 산만하게 하고 주행에 방해될 수 있다.

따라서, 경고 모듈(330)은 주행 영상 내에서 가장 높은 위험도를 바탕으로 결정되는 주의 레벨을 경고 정보로 사용자에게 시각적 또는 청각적으로 제공한다.

도 17은 본 발명의 일 실시예에 따른 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법을 설명하는 순서도이고, 도 18은 골목길에서 보행자가 도로 영역에 존재하는 경우를 설명하기 위한 화면의 일례이며, 도 19는 골목길에서 보행자가 도로 영역에 존재하는 경우를 설명하기 위한 화면의 또 다른 예이고, 도 20은 도로에 보행자가 많이 존재하는 경우를 설명하기 위한 화면의 일례이다.

도 17을 참조하면, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법은, 카메라로부터 입력되는 주행 영상이 입력되면(S1), 보행자와 도로 등의 주행 환경에 대한 이해를 통해 효율적인 시스템 운용을 위해 보행자 후보를 선별하는 영상 이해 단계(S2)를 수행한다.

또한, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법은 영상 이해 단계(S1)에서 수행된 영상 이해를 바탕으로 선별된 보행자 후보를 분석하여 보행자 상태에 기반하여 각 보행자의 위험도를 평가하는 위험 분석 단계(S3)를 수행하고, 위험 분석 단계(S3)에서 평가된 각 보행자의 위험도에 따라 시각적 또는 청각적으로 운전자가 보행자 상태를 인지하도록 경고하는 경고단계(S4) 를 수행한다.

골목길 등의 좁은 도로에서는 보행자와 차량간의 거리가 가깝기 때문에 보행자 상태가 변하면 순식간에 차량과의 충돌 사고가 발생할 위험이 있다.

이와 같이, 본 발명은 골목길 등의 좁은 도로에서 보행자 상태를 자세히 분석하기 위해, 영상 이해 단계(S2)에서 주행 영상에서 도로 영역 내에 보행자 존재 여부, 보행자 거리 정보, 보행자 방향 정보들을 이용하여 차량의 주행과 관련도가 높은 보행자들을 보행자 후보로 선별하고, 보행자 후보의 각 보행자 행동을 5가지 부류로 인식하며, 왜곡된 영상에서 보행자 방향을 정밀하게 분석하기 위해 도로에 대한 보행자 평행선을 구한 후 보행자 방향과 비교하여 차량과 보행자간의 상대적 방향 정보를 분석한다.

또한, 본 발명은 위험 분석 모듈(S3)에서 보행자와 차량이 도로를 공유하는 상황을 다루기 위해 차량의 주행 영역을 분석하고, 보행자 상태에 기반하여 보행자 후보 내 각 보행자에 대한 위험도를 단계적으로 평가한 후 경고 단계(S4)에서 일반 도로뿐만 아니라 골목길에서도 단계별로 보행자와의 충돌을 경고할 수 있도록 한다.

도 18에 도시된 바와 같이, 골목길에서 보행자가 도로 영역에 존재하지만 차량의 주행 영역 내에 존재하지 않을 경우, 보행자 방향 정보를 통해 보행자의 방향이 평행선과 비교하여 보행자 방향이 차량을 향하는 방향을 가지고, 보행자 행동을 인식한 보행자 행동 정보에서 보행자가 서기 상태라면, 기존의 충돌 경고 시스템에서는 위험도를 '상' 상태로 평가하지만, 본 발명에서는 위험도를 기존 시스템보다 낮은 '중' 단계로 평가할 수 있다.

도 19에 도시된 바와 같이, 기존의 충돌 경고 시스템에서는 골목길에서 보행자가 도로 영역내에 존재하는 경우에 위험 상황이라고 분류할 수 있지만, 본 발명에서는 보행자가 주행 영역 내에 존재하지 않고, 보행자의 상대적 방향 정보를 분석하여 차량 진행과 무관한 안전한 방향으로 걸어가고 있음을 확인하여 위험도가 낮다고 판단할 수 있다.

도 20에 도시된 바와 같이, 기존의 충돌 경고 시스템은 주행 영상에서 검출된 모든 보행자에 대해서 충돌 위험도를 평가하기 때문에 보행자 수가 많을 경우에 계산량이 많아지고, 그로 인해 실시간 보행자와 충돌 여부를 분석해야 하는 주행 환경에 적용하기 어렵다는 단점이 있다. 그런 본 발명에서는 도로 영역에 보행자가 많은 경우에 차량 주행과 관련도가 높은 보행자 후보를 선별하여 위험도를 평가하여 시스템 계산 효율이 증진되고, 보행자 상태에 대한 분석 결과를 토대로 위험도를 평가하기 때문에 위험도 평가에 대한 부하가 최소화되어 계산 시간이 절약되어 실시간에 적합함을 알 수 있다.

이와 같이, 본 발명에서는 일반 도로 상황만을 고려하던 기존의 보행자 충돌 방지 시스템과 다르게 골목길 등의 좁은 도로의 주행 상황에서도 효과적으로 보행자 충돌 방지가 가능하다. 골목길은 일반 도로에 비해서 도로가 좁아 보행자와 차량간의 거리가 가깝고, 협소한 도로 조건으로 인해 차량과 보행자가 도로를 공유하는 경우도 빈번하게 발생한다. 따라서, 본 발명에서는 이러한 골목길 주행 환경에서 보행자 충돌을 방지하기 위해 세밀한 정보 추출 및 현재 보행자 상태를 자세히 파악하여 보행자 위험도 평가에 반영하게 된다.

이상에서 설명한 본 발명의 실시예에 따른 보행자 상태 기반의 차량과 보행자간 충돌 경고 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
100: 통신 모듈 200: 메모리
300: 프로세서 400: 데이터베이스
310: 영상 이해 모듈 320 : 위험 분석 모듈

Claims (18)

1. 차량에 탑재된 카메라를 이용하는 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템에 있어서,
   보행자 상태 기반의 보행자와 차량간 충돌 경고 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
   상기 프로그램을 실행하기 위한 프로세서를 포함하며,
   상기 프로세서는, 상기 프로그램의 영상 이해 모듈을 통해 상기 카메라로부터 입력되는 주행 영상을 분석하여 보행자와 도로를 포함한 주행 환경 정보를 추출하고, 상기 주행 환경 정보를 이용하여 도로 영역과 보행자 영역, 차량과 보행자간의 이격 정도에 따른 보행자 거리, 영상 소실점, 보행자 방향, 차량 주행과의 관련도에 따른 보행자 후보를 각각 검출하고,
   상기 프로그램의 위험 분석 모듈을 통해 상기 검출된 보행자 후보를 토대로 보행자의 행동을 인식하여 보행자 행동 정보, 보행자와 차량간의 상대적인 방향 정보, 차량의 주행 영역을 분석한 후 상기 분석된 결과를 토대로 각 보행자의 위험도를 평가하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
2. 제 1 항에 있어서,
   상기 프로세서는,
   상기 프로그램에 포함된 경고 모듈을 통해 상기 위험 분석 모듈에서 평가된 각 보행자의 위험도에 따라 시각적 또는 청각적으로 운전자가 보행자 상태를 인지하도록 경고하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
3. 제 2 항에 있어서,
   상기 경고 모듈은, 차량 내에 탑재된 디스플레이 장치를 통해 경고 정보를 제공할 경우, 서로 다른 색상의 경고 표지판 아이콘을 이용하여 주의 레벨 1단계, 주의 레벨 2단계 및 주의 레벨 3단계로 구분하여 운전자에게 경고 정보를 제공하는 것인, 보행자 상태 기반의 보행자와 차랑간 충돌 경고 시스템.
4. 제 1 항에 있어서,
   상기 영상 이해 모듈은,
   상기 주행 영상을 시맨틱 세분화(Semantic Segmentation) 기법을 이용하여 상기 주행 영상에서 도로 영역과 보행자 영역을 동시에 검출하는 도로 및 보행자 검출부;
   상기 주행 영상의 깊이 영상을 이용하여 차량을 기준으로 보행자의 이격 정도를 나타내는 보행자 거리 정보를 추정하는 거리 추정부;
   상기 주행 영상에 대한 기울기 영상을 이용하여 소실점을 검출하는 소실점 검출부;
   합성곱 신경 네트워크(Convolution Neural Network, CNN)와 파인-그레인드 네트워크(Fine-Grained Network)가 병렬로 구성된 분류기를 통해 상기 주행 영상에서 검출된 보행자에 대해 연속적인 방향값을 가지는 보행자 방향 정보를 추정하는 보행자 방향 추정부; 및
   상기 주행 영상에서 검출된 보행자들 중에서 상기 도로 영역에 보행자의 존재 여부, 보행자 거리 정보 및 보행자 방향 정보에 근거하여 차량 주행과 관련도가 낮다고 판단되는 보행자를 배제하여 위험도 평가를 위한 보행자 후보를 선별하는 보행자 후보 선별부를 더 포함하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
5. 제 4 항에 있어서,
   상기 도로 및 보행자 검출부는,
   상기 주행 영상을 전역적인 수준으로 깊이 정보를 추정한 후 지역적 정보를 추가하여 최종 깊이 영상을 생성하며, 상기 생성된 깊이 영상과 실제 거리와의 관계를 통해 선형 방정식을 도출하고, 상기 생성된 깊이 영상을 선형 방정식에 대입하여 최종적인 보행자 거리를 산출하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
6. 제 4 항에 있어서,
   상기 도로 및 보행자 검출부는, 상기 검출된 보행자 영역에 대해 경계 박스(Bounding box)를 추가적으로 생성하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
7. 제 4 항에 있어서,
   상기 소실점 검출부는,
   상기 주행 영상에 대해 기울기 필터를 통해 기울기 영상을 구하고, 상기 기울기 영상을 블록으로 나눈 후에 각 블록에서 에지의 방향에 대한 히스토그램을 구하여 각 방향에 대해 크기를 비교하여 기설정된 주요 방향만 취득하여 실시간 소실점의 위치를 예측하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
8. 제 4 항에 있어서,
   상기 보행자 방향 추정부는 평균 이동 알고리즘을 통해 상기 연속적인 방향값을 추정하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
9. 제 4 항에 있어서,
   상기 보행자 후보 선별부는,
   상기 도로 영역에 보행자가 존재하는 경우, 상기 보행자 거리가 기설정된 임계 거리 이내인 경우, 상기 보행자 방향이 차량의 진행 방향과 동일한 경우에 차량 주행과 관련도가 높다고 판단하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
10. 제 1 항에 있어서,
    상기 위험 분석 모듈은,
    상기 검출된 보행자 후보의 보행자 상태를 동적 행동 부류와 정적 행동 부류로 인식하여 보행자 행동 정보를 산출하는 보행자 행동 인식부;
    상기 보행자 거리 정보, 보행자 방향 정보, 소실점을 통해 보행자와 차량간의 상대적인 방향을 분석하는 상대적 방향 분석부;
    차량의 너비를 포함한 차량 영역을 상기 소실점과 연결하여 차량의 주행 영역을 산출한 후, 상기 차량이 주행 영역과 도로 영역을 비교하여 상기 주행 영역에서 도로 영역이 아닌 부분을 제거하는 주행 영역 분석부; 및
    상기 보행자 후보에 대한 상기 차량의 주행 영역 내 존재 여부, 상대적인 방향, 보행자 행동 정보를 이용하여 단계적으로 보행자의 위험도를 평가하는 위험도 평가부를 포함하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
11. 제 10 항에 있어서,
    상기 보행자 행동 인식부는,
    상기 주행 영상의 각 프레임에 적용되어 보행자 외관 정보와 움직임 정보를 추출한 후 상기 보행자 외관 정보와 움직임 정보를 동시에 학습하는 2-스트림 콘볼루션 신경망(two-stream convolutional neural network)을 이용하여 행동인식을 위한 학습을 수행하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
12. 제 10 항에 있어서,
    상기 보행자 행동 인식부는 달리기, 걷기, 이륜차 타기를 포함한 동적 행동 부류, 서기, 앉기를 포함한 정적 행동 부류로 보행자 행동을 인식하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
13. 제 10 항에 있어서,
    상기 상대적인 방향 분석부는,
    상기 보행자의 거리 정보와 보행자 방향을 포함한 보행자 정보와 상기 소실점을 이용하여 3차원 공간상에서의 보행자 평행선을 구하고, 상기 보행자와 평행선간의 각도(θ)를 구하여 해당 보행자의 안전 방향과 위험 방향을 분석하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
14. 제 13 항에 있어서,
    상기 상대적인 방향 분석부는 상기 보행자의 안전 방향을 [360°- θ, 0°]와 [0°, 180°- θ]의 범위로 분석하고, 상기 보행자의 위험 방향을 [180°- θ, 360°- θ]의 범위로 분석하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템.
15. 차량에 탑재된 카메라를 이용하는 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법에 있어서,
    상기 카메라로부터 입력되는 주행 영상을 분석하여 보행자와 도로를 포함한 주행 환경 정보를 추출하고, 상기 주행 환경 정보를 이용하여 도로 영역과 보행자 영역, 차량과 보행자간의 이격 정도에 따른 보행자 거리, 영상 소실점, 보행자 방향, 차량 주행과의 관련도에 따른 보행자 후보를 각각 검출하는 영상 이해 단계; 및
    상기 검출된 보행자 후보를 토대로 보행자의 행동을 인식하여 보행자 행동 정보, 보행자와 차량간의 상대적인 방향 정보, 차량의 주행 영역을 분석한 후 상기 분석된 결과를 토대로 각 보행자의 위험도를 평가하는 위험 분석 단계를 포함하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법.
16. 제 15 항에 있어서,
    상기 위험 분석 단계에서 평가된 각 보행자의 위험도에 따라 시각적 또는 청각적으로 운전자가 보행자 상태를 인지하도록 경고하는 경고 단계를 더 포함하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법.
17. 제 15 항에 있어서,
    상기 영상 이해 단계는,
    상기 주행 영상을 시맨틱 세분화(Semantic Segmentation) 기법을 이용하여 상기 주행 영상에서 도로 영역과 보행자 영역을 동시에 검출하는 단계;
    상기 주행 영상의 깊이 영상을 이용하여 차량을 기준으로 보행자의 이격 정도를 나타내는 보행자 거리 정보를 추정하는 단계;
    상기 주행 영상에 대한 기울기 영상을 이용하여 소실점을 검출하는 단계;
    합성곱 신경 네트워크(Convolution Neural Network, CNN)와 파인-그레인드 네트워크(Fine-Grained Network)가 병렬로 구성된 분류기를 통해 상기 주행 영상에서 검출된 보행자에 대해 연속적인 방향값을 가지는 보행자 방향 정보를 추정하는 단계; 및
    상기 주행 영상에서 검출된 보행자들 중에서 상기 도로 영역에 보행자의 존재 여부, 보행자 거리 정보 및 보행자 방향 정보에 근거하여 차량 주행과 관련도가 낮다고 판단되는 보행자를 배제하여 위험도 평가를 위한 보행자 후보를 선별하는 단계를 더 포함하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법.
18. 제 15 항에 있어서,
    상기 위험 분석 단계는,
    상기 검출된 보행자 후보의 보행자 상태를 동적 행동 부류와 정적 행동 부류로 인식하여 보행자 행동 정보를 산출하는 단계;
    상기 보행자 거리 정보, 보행자 방향 정보, 소실점을 통해 보행자와 차량간의 상대적인 방향을 분석하는 단계;
    차량의 너비를 포함한 차량 영역을 상기 소실점과 연결하여 차량의 주행 영역을 산출한 후, 상기 차량이 주행 영역과 도로 영역을 비교하여 상기 주행 영역에서 도로 영역이 아닌 부분을 제거하는 단계; 및
    상기 보행자 후보에 대한 상기 차량의 주행 영역 내 존재 여부, 상대적인 방향, 보행자 행동 정보를 이용하여 단계적으로 보행자의 위험도를 평가하는 단계를 포함하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법.

Images