KR101865766B1

KR101865766B1 - 대형 차량의 이동 객체 충돌 경고 장치 및 방법

Info

Publication number: KR101865766B1
Application number: KR1020160131437A
Authority: KR
Inventors: 김진혁; 임상묵; 박광일
Original assignee: 주식회사 피엘케이 테크놀로지
Priority date: 2016-10-11
Filing date: 2016-10-11
Publication date: 2018-06-11
Also published as: WO2018070655A1; JP6424263B2; US20180102055A1; US10255813B2; JP2018063708A; KR20180040183A

Abstract

본 발명은 대형 차량의 이동 객체 충돌 경고 장치 및 방법에 관한 것으로서, 본 발명의 대형 차량의 이동 객체 충돌 경고 장치는, 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈; 상기 후방 카메라 모듈에서 촬상된 영상을 수신하는 영상 수신부; 상기 영상 수신부에서 수신된 영상을 인식하여 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행자를 포함하는 이동 객체인지를 결정하는 이동 객체 결정부; 상기 이동 객체 결정부에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 출력하는 이동 객체 충돌 가능성 결정부; 상기 대형 차량의 운전자에게 시각적 또는 청각적 경고신호를 출력하는 경고부; 및 상기 이동 객체 충돌 가능성 결정부에서 충돌 위험신호가 출력되면 상기 경고부를 동작시키도록 제어하는 제어부를 포함한다.
본 발명에 따르면, 대형 차량의 회전 시에 회전 반경 내 위치한 자전거, 이륜차, 보행자 등의 이동 객체를 정확하게 식별하여 운전자에게 이를 경고하거나 비상 제동을 실시할 수 있고, 이에 따라 대형 차량의 측후방 사각지대에서 발생되는 저속의 인명 피해 사고를 예방할 수 있는 효과가 있다.

Description

대형 차량의 이동 객체 충돌 경고 장치 및 방법{MOVING OBJECTS COLLISION WARNING APPARATUS AND METHOD FOR LARGE VEHICLE}

본 발명은 대형 차량의 회전 시에 회전 반경 내측에 위치한 자전거, 이륜차, 보행자 등의 이동 객체를 식별하고 운전자에게 경고하거나 비상 제동을 실시하여 인명 사고를 방지할 수 있도록 하는 대형 차량의 이동 객체 충돌 경고 장치 및 방법에 관한 것이다.

일반적으로, 어라운드 뷰 모니터링 시스템(AVMS: Around View Monitoring System)은 차량 주변에 복수의 카메라를 설치하고, 카메라에서 촬상된 영상을 인식하여 차량 주변의 장애물을 인식함으로써, 운전자의 사각지대에 위치한 장애물과의 충돌 위험을 예측하고 경보하는 시스템이다. 최근 들어 높은 가격의 고급 차량에 AVMS가 장착되고 있는 추세에 있다.

그런데, 그런데, 화물 트럭, 트레일러, 버스 등과 같은 대형 차량의 경우에는 전장이 길어 AVMS를 적용하기 위해 일반 승용차에 비해 더욱 많은 카메라를 필요로 하며, 각 카메라에서 촬상된 영상을 인식하기 위해 더욱 복잡한 영상 인식 기술이 요구된다. 이러한 제약들은 대형 차량에 AVMS를 적용하는 것을 곤란하게 한다. 이에 많은 대형 차량들은 일반 승용차가 2개의 사이드 미러를 장착하고 있는 것과 달리, 6개의 사이드 미러를 장착하는 등으로 측후방의 사각지대에 대한 운전자의 감시 영역을 넓히고 있다.

도 1은 대형 차량이 교차로에서 회전하는 경우를 예시한 평면도이다. 도시한 바와 같이, 대형 차량(100)이 우회전을 시도하는 경우 우측 후방에 자전거(200)가 나란하게 달리고 있다면, 운전자의 시야에 자전거(200)가 잘 들어오지 않을 수 있다. 대형 차량(100)의 전장이 길기 때문에 앞바퀴에서는 자전거(200)와 충돌하지 않더라도 측면 프레임에 자전거(200)가 접촉되어 중심을 잃은 자전거(200)가 넘어지고, 대형 차량(100)의 회전 경로에서 뒷바퀴가 넘어진 자전거 탑승자를 타고 넘으면서 자전거 탑승자가 사망하거나 중상을 입는 경우가 가끔 발생된다.

이와 같은 유형의 사고는 흔하지 않지만, 대형 차량의 특성에서 유발되는 저속에서 인명 피해가 높은 사고의 유형이다. 대형 차량이 보행통로 측으로 회전하는 경우 차량의 진행속도는 느리지만, 상대적으로 크기가 작고 더욱 느리게 움직이는 자전거, 이륜차, 보행자 등을 식별하지 못하여 발생하는 사고로서, 위험구역(300)이 도 1에서와 같이 차량의 전방 측부에서는 넓게 형성되고 후방 측부에서는 좁게 형성되는 긴 삼각형 모양으로 형성되는 특징이 있으며, 사고 발생 시에 사망 빈도가 높은 매우 위험한 사고라는 점에서 반드시 예방할 필요가 있다.

종래 대형 차량에서는 도 2에서와 같이 차량의 전방 측면에 SRR(110)을 장착하여, 측후방의 자전거(200)와 같은 이동 객체를 감시하는 장치를 제시한 바 있다. 도 2를 참조하면, SRR(Short Range Radar)은 측정거리가 짧지만 측정각도는 넓은 감시구역(120)을 가지므로, 보조석(또는 운전석)의 측후방을 감시하는 영역을 넓힐 수 있다. 하지만, 도 1에서 살펴본 바와 같은 위험구역(300) 전체를 커버하지 못하여 자전거(200) 등의 이동 객체가 감시구역(120)을 벗어나 위치하는 경우 여전히 이동 객체를 감시할 수 없는 문제가 있다. 또한, 트레일러와 같은 대형 차량은 후방 짐칸이 전부 금속 재질이므로, 레이더를 차량의 측후방에 설치하는 경우 전파 간섭 등에 의해 크기가 작은 자전거를 검출하는 것이 어려운 문제가 있다.

한편, 대한민국 공개특허 제10-2016-0045857호는 3D 카메라와 레이더를 이용하여 물체를 검출하는 기술을 개시하고 있는데, 동 선행문헌에 개시된 3D 카메라 및 레이더의 설치 위치, 물체의 검출 방법 등에 의하여도 대형 차량의 회전 반경 내에 위치한 자전거, 이륜차, 보행자 들을 검출하는 것이 곤란하므로, 상술한 문제점들이 여전히 존재한다.

대한민국 공개특허 제10-2016-0045857호

본 발명은 대형 차량이 보행 통로 측으로 회전할 때 회전 반경 내에 위치한 자전거, 이륜차, 보행자 등의 이동 객체를 정확하게 식별하고 운전자에게 경고하거나 비상 제동을 실시하여 대형 차량과 이동 객체 간에 발생하는 저속에서 사망 빈도가 높은 충돌 사고를 미연에 방지할 수 있도록 한 대형 차량의 이동 객체 충돌 경고 장치 및 방법을 제공함에 그 목적이 있다.

본 발명의 일실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈; 상기 후방 카메라 모듈에서 촬상된 영상을 수신하는 영상 수신부; 상기 영상 수신부에서 수신된 영상을 인식하여 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행자를 포함하는 이동 객체인지를 결정하는 이동 객체 결정부; 상기 이동 객체 결정부에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 출력하는 이동 객체 충돌 가능성 결정부; 상기 대형 차량의 운전자에게 시각적 또는 청각적 경고신호를 출력하는 경고부; 및 상기 이동 객체 충돌 가능성 결정부에서 충돌 위험신호가 출력되면 상기 경고부를 동작시키도록 제어하는 제어부를 포함한다.

본 발명의 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 충돌 가능성 결정부는 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하며, 상기 제1 충돌 위험신호가 출력되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되는 경우 제2 충돌 위험신호를 출력한다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 제어부는 상기 제1 충돌 위험신호에 대응하여 상기 경고부의 시각적 경고 수단을 동작시키며, 상기 제2 충돌 위험신호에 대응하여 상기 경고부의 청각적 경고 수단을 동작시킨다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 대형 차량을 비상 제동시키는 비상 제동부를 더 포함하며, 상기 제어부는 상기 제2 충돌 위험신호에 대응하여 상기 비상 제동부를 동작시킨다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 결정부는, 상기 영상 수신부에서 수신된 영상에서 적어도 하나의 객체를 추출하는 객체 추출 모듈; 상기 객체 추출 모듈에서 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출하는 이동 객체 후보 검출 모듈; 상기 후방 카메라 모듈에서 촬상된 영상의 현재 프레임과 상기 현재 프레임 이전 시점의 이전 프레임을 비교하여 상기 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 이동성 결정 모듈; 및 상기 이동성 결정 모듈에서 상기 이동 객체 후보가 이동 중인 상태로 판단하면, 상기 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, 상기 HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 기 설정된 임계값 이상이면 상기 이동 객체 후보를 이동 객체로 결정하는 이동 객체 가능성 결정 모듈을 포함한다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 후보 검출 모듈은 상기 객체의 에지 수직 성분을 검출하고, 상기 수직 성분과 기 정의된 상기 이동 객체의 패턴 간에 유사도를 판단하여 상기 이동 객체 후보를 검출한다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동성 결정 모듈은 상기 현재 프레임과 상기 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 상기 현재 프레임에서 상기 이동 객체 후보가 포함된 블록과 상기 이전 프레임에서 상기 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출하고, 상기 픽셀값 차이의 합이 가장 작은 블록을 상기 이전 프레임의 대응 블록으로 결정하고, 상기 대응 블록의 위치가 변경되면 상기 이동 객체 후보를 이동 중인 상태로 판단한다.

(수학식 1)

여기서,

는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,

는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 충돌 가능성 결정부는 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 충돌 위험신호를 출력한다.

(수학식 2)

여기서,

는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,

는 후방 카메라 모듈의 초점 거리,

는 후방 카메라 모듈의 지면에 대한 높이,

는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 충돌 가능성 결정부는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.

(수학식 4)

여기서,

는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,

는 후방 카메라 모듈의 초점 거리,

는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리,

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 충돌 가능성 결정부는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.

(수학식 2)

(수학식 4)

여기서,

는 후방 카메라 모듈의 초점 거리,

는 후방 카메라 모듈의 지면에 대한 높이,

는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리,

는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,

는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리이다.

본 발명의 일실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, (a) 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈로부터 영상을 수신하는 단계; (b) 수신된 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행차를 포함하는 이동 객체인지를 결정하는 단계; (c) 상기 단계(b)에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는 경우 충돌 위험신호를 출력하는 단계; 및 (d) 상기 충돌 위험신호에 대응하여 시각적 또는 청각적 경고신호를 출력하는 단계를 포함한다.

본 발명의 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(c)는, (c-1) 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하는 단계; 및 (c-2) 상기 단계(c-1)의 조건이 만족되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되면 제2 충돌 위험신호를 출력하는 단계를 포함한다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(d)는 상기 제1 충돌 위험신호에 대응하여 시각적 경고신호를 출력하며, 상기 제2 충돌 위험신호에 대응하여 청각적 경고신호를 출력한다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(d) 이후에 상기 제2 충돌 위험신호에 대응하여 상기 대형 차량을 비상 제동시키는 단계를 더 포함한다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(b)는, (b-1) 수신된 영상에서 적어도 하나의 객체를 추출하는 단계; (b-2) 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출하는 단계; (b-3) 상기 후방 카메라 모듈에서 촬상된 영상의 현재 프레임과 상기 현재 프레임 이전 시점의 이전 프레임을 비교하여 상기 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 단계; 및 (b-4) 상기 단계(b-3)에서 이동 객체 후보 이동 중인 상태로 판단되면, 상기 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, 상기 HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 기 설정된 임계값 이상일 때 상기 이동 객체 후보를 이동 객체로 결정하는 단계를 포함한다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(b-2)는 상기 객체의 에지 수직 성분을 검출하고, 상기 수직 성분과 기 정의된 상기 이동 객체의 패턴 간에 유사도를 판단하여 상기 이동 객체 후보를 검출한다.

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(b-3)은 상기 현재 프레임과 상기 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 상기 현재 프레임에서 상기 이동 객체 후보가 포함된 블록과 상기 이전 프레임에서 상기 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출하고, 상기 픽셀값 차이의 합이 가장 작은 블록을 상기 이전 프레임의 대응 블록으로 결정하고, 상기 대응 블록의 위치가 변경되면 상기 이동 객체 후보를 이동 중인 상태로 판단한다.

(수학식 1)

여기서,

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(c)는 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 충돌 위험신호를 출력한다.

(수학식 2)

여기서,

는 후방 카메라 모듈의 초점 거리,

는 후방 카메라 모듈의 지면에 대한 높이,

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(c)는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.

(수학식 4)

여기서,

는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,

는 후방 카메라 모듈의 초점 거리,

본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(c)는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.

(수학식 2)

(수학식 4)

여기서,

는 후방 카메라 모듈의 초점 거리,

는 후방 카메라 모듈의 지면에 대한 높이,

는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,

본 발명의 대형 차량의 이동 객체 충돌 경고 장치 및 방법에 따르면, 대형 차량의 회전 시에 회전 반경 내 위치한 자전거, 이륜차, 보행자 등의 이동 객체를 정확하게 식별하여 운전자에게 이를 경고하거나 비상 제동을 실시할 수 있고, 이에 따라 대형 차량의 측후방 사각지대에서 발생되는 저속의 인명 피해 사고를 예방할 수 있는 효과가 있다.

도 1은 대형 차량의 회전 예를 보인 평면도,
도 2는 대형 차량에 SRR이 장착된 예를 보인 평면도,
도 3은 본 발명에 따라 후방 카메라 모듈이 장착된 예를 보인 도면,
도 4는 본 발명에 따른 이동 객체 충돌 경고 장치를 예시한 블록도,
도 5는 본 발명에서 이동 객체 결정부의 구성을 예시한 블록도,
도 6은 본 발명에 따른 이동 객체 충돌 경고 방법을 예시한 흐름도,
도 7은 본 발명에서 후방 카메라 모듈에 의해 촬상된 영상을 예시한 도면,
도 8은 실제 좌표계와 카메라 뷰포트 좌표계의 상관관계를 예시한 도면, 및
도 9는 도 7의 영상을 기준으로 자전거의 충돌 가능성을 판단하는 과정을 예시한 도면이다.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 구체적인 실시예가 설명된다. 그러나 이는 본 발명을 특정한 실시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 대체물을 포함하는 것으로 이해되어야 한다.

명세서 전체에 걸쳐 유사한 구성 및 동작을 갖는 부분에 대해서는 동일한 도면 부호를 붙였다. 그리고 본 발명에 첨부된 도면은 설명의 편의를 위한 것으로서, 그 형상과 상대적인 척도는 과장되거나 생략될 수 있다.

실시예를 구체적으로 설명함에 있어서, 중복되는 설명이나 당해 분야에서 자명한 기술에 대한 설명은 생략되었다. 또한, 이하의 설명에서 어떤 부분이 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 기재된 구성요소 외에 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "~부", "~기", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 어떤 부분이 다른 부분과 전기적으로 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라 그 중간에 다른 구성을 사이에 두고 연결되어 있는 경우도 포함한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

본 발명은 대형 차량의 이동 객체 충돌 경고 장치 및 방법에 관한 것으로서, 대형 차량이 회전할 때 회전 반경 내에 위치한 이동 객체를 정확하게 식별하여 운전자에게 경고하거나 비상 제동을 실시하기 위한 장치 및 방법을 예시한다. 이하에서 '대형 차량'이라 함은 화물 트럭, 트레일러, 버스, 중장비 등과 같은 대형 차량을 의미하며, '이동 객체'라 함은 자전거, 이륜차, 보행자 등의 이동하는 객체를 의미한다. 본 발명은 대형 차량의 측면 후방에 장착되는 후방 카메라 모듈로 위험 구역을 촬상하고, 촬상된 영상으로부터 자전거, 이륜차, 보행자 등의 이동 객체를 식별하는 구성에 특징이 있는 발명으로서, 이하에서는 이동 객체로서 자전거를 예를 들어 설명하며, 자전거를 식별하는 기술사상은 모터사이클과 같은 이륜차 또는 보행자 등의 이동 객체에 대하여도 동일하게 적용될 수 있다.

도 3은 본 발명에 따라 후방 카메라 모듈이 장착된 예를 보인 도면이다. 도 3을 참조하면, 대형 차량(100)의 적어도 일측면 후방에는 후방 카메라 모듈(500)이 장착된다. 후방 카메라 모듈(500)은 국내의 교통 환경에서는 적어도 보조석 측의 측면 후방에 장착되어 대형 차량(100)이 보행 통로 측으로 우회전 하는 경우 감시구역(505) 내 자전거(200)를 감시하며, 도시하여 예시하지 않았지만 양측면 후방에 장착되어 이면 도로 등에서 양측방의 회전 모두에 대해서 자전거(200)와 같은 이동 객체를 감시할 수도 있다.

도 3의 상부에 도시된 바와 같이, 후방 카메라 모듈(500)은 대형 차량(100)의 측후방에서 지면(400)에 가깝게 설치되어, 대형 차량(100)과 나란하게 위치하는 자전거(200)를 감시할 수 있도록 한다. 또한, 도 3의 하부에 도시된 바와 같이, 후방 카메라 모듈(500)은 대형 차량(100)의 측면과 자전거(200)가 함께 촬상되도록 전방을 지향하는 감시구역(505)을 가지며, 이와 같이 대형 차량(100)의 측면을 함께 촬상하도록 하기 위해 후방 카메라 모듈(500)의 지향각 중 좌측 일부는 포기할 수도 있다.

도 4는 본 발명에 따른 이동 객체 충돌 경고 장치를 예시한 블록도이다. 도 4를 참조하면, 본 발명의 대형 차량의 이동 객체 충돌 경고 장치는 후방 카메라 모듈(500)과, 영상 수신부(510)와, 이동 객체 결정부(520)와, 이동 객체 충돌 가능성 결정부(530)와, 경고부(540)와, 비상 제동부(550)와, 제어부(600)를 포함하여 구성된다. 이러한 이동 객체 충돌 경고 장치는 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 포함되거나 독립적으로 이동 객체를 식별하여 경고하는 장치로 구성될 수도 있다.

영상 수신부(510)는 후방 카메라 모듈(500)에서 촬상된 영상을 수신한다. 이동 객체 결정부(520)는 영상 수신부(510)는 후방 카메라 모듈(500)에서 촬상된 영상을 후단부의 영상 인식 수단에서 이용할 수 있도록 적절하게 처리하여 프레임 단위로 구분하고, 각 영상 프레임을 도시 안된 메모리에 저장할 수 있다.

이동 객체 결정부(520)는 영상 수신부(510)에서 수신된 영상을 인식하여 영상 내에 포함된 객체를 추출하고, 추출된 객체가 자전거, 이륜차, 및 보행자 등의 이동 객체인지를 결정한다.

이동 객체 충돌 가능성 결정부(530)는 이동 객체 결정부(520)에서 결정된 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하고, 판단 결과에 따라 충돌 위험신호를 출력한다. 이동 객체 결정부(520)에서 이동 객체를 결정하는 과정 및 이동 객체 충돌 가능성 결정부(530)에서 이동 객체에 대한 충돌 가능성을 판단하는 과정에 대한 구체적인 설명은 도 4 이하의 도면들을 참조하여 후술한다.

경고부(540)는 대형 차량(100)의 운전자에게 시각적 또는 청각적 경고 신호를 출력한다. 예를 들어, 경고부(540)는 운전자에게 표시되는 디스플레이 상에서 이동 객체의 존재 여부를 그래픽 또는 점멸 표시로 화면 출력할 수 있다. 다른 예로서, 경고 장치에 설치된 스피커를 통해 이동 객체의 존재 여부를 음성 메시지로 출력할 수도 있다. 또 다른 예로서, 경광등을 점등시키거나 부저를 울려 운전자에게 경고 상태를 알릴 수도 있다.

바람직하게는, 이동 객체 충돌 가능성 결정부(530)는 이동 객체가 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하며, 제1 충돌 위험신호가 출력되는 상황에서 대형 차량(100)의 스티어링 휠의 조향각 변화를 감지하는 경우 제2 충돌 위험신호를 출력할 수 있다.

제어부(600)는 제1 충돌 위험신호가 발생하는 경우 경고부(540)의 시각적 경고 수단을 동작시켜, 차량 주변에 자전거(200) 등의 이동 객체가 존재하는 상태임을 알릴 수 있다. 예를 들어, 디스플레이 화면상에 자전거를 그래픽으로 보여주거나 위험 표시를 점멸 표시하여 운전자의 주의를 환기시킬 수 있다.

제어부(600)는 제2 충돌 위험신호가 발생하는 경우 경고부(540)의 청각적 경고수단을 동작시켜, 충돌 위험을 더 적극적으로 알릴 수 있다. 예를 들어, 스피커를 통해 회전 반경 내에 자전거(200)가 위치하고 있다는 음성 메시지 또는 "자전거 충돌 위험" 등의 음성 메시지를 출력하거나 부저를 울려 긴급한 위험 상태를 알릴 수 있다.

나아가, 제어부(600)는 제2 충돌 위험신호가 발생하는 경우 비상 제동부(550)를 동작시켜, 차량을 비상 제동시킬 수 있다. 여기서, 비상 제동부(550)는 운전자의 브레이크 조작이 없어도 차량을 자율적으로 비상 제동시키는 수단이다. 제어부(600)는 제2 충돌 위험신호에 대응하여 곧바로 차량을 비상 제동시키거나, 제2 충돌 위험신호 이후에도 운전자의 브레이크 조작이 없는 상태임을 검출하여 비상 제동부(550)를 동작시킬 수 있다.

도 5는 본 발명에서 이동 객체 결정부의 구성을 예시한 블록도이다. 도 5를 참조하면, 도 4에 도시된 이동 객체 결정부(520)는 객체 추출 모듈(522)과, 이동 객체 후보 검출 모듈(524)과, 이동성 결정 모듈(526)과, 이동 객체 가능성 결정 모듈(528)로 구성된다.

객체 추출 모듈(522)은 영상 수신부(510)에서 수신된 영상에서 적어도 하나의 객체를 추출한다. 여기서, '객체'는 영상 프레임 내에 존재하는 동적 객체(예를 들어, 자전거, 이륜차, 보행자 등과 같은)와 정적 객체(예를 들어, 나무, 진입 방지용 볼라드, 신호등 등과 같은)를 모두 포함한다. 객체 추출 모듈(522)은 영상 프레임 내에서 에지를 검출하거나 배경과 객체 간의 색상 차이에 근거하여 객체를 추출할 수 있다. 예를 들어, 영상 프레임 내의 각 픽셀들의 값을 계산하고, 유사한 픽셀 값을 갖는 픽셀들을 그룹화 하여 하나의 객체로서 추출할 수 있다.

객체 추출 모듈(522)에서 객체를 추출하는 과정에서 캐니(Canny) 에지 검출 알고리즘, 라인(Line) 에지 검출 알고리즘, 라플라시안(Laplacian) 에지 검출 알고리즘 등이 사용될 수 없으며, 이러한 알고리즘을 이용하여 경계선을 검출하고 검출된 경계선을 기초로 배경과 구분되는 영역을 그룹화 하여 객체를 추출할 수 있다.

이동 객체 후보 검출 모듈(524) 객체 추출 모듈(522)에서 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출한다. 여기서, 이동 객체의 특정 특징과 대응되는 특징을 객체로부터 추출하고, 추출된 객체를 미리 저장된 이동 객체의 패턴과 비교하여 이동 객체와 무관한 객체(예컨대, 정적 객체)를 미리 제거할 수 있다.

예를 들어, 자전거의 하부 바퀴 모양과 상부에 탑승자의 형태를 패턴으로 저장하고, 객체 추출 모듈(522)에서 추출된 객체와 자전거의 패턴 간에 유사도를 판단하여 이동 객체 후보를 검출할 수 있다. 다른 예로서, 추출된 객체가 기 저장된 보행자의 패턴(수직 성분 중 두 개로 갈라지기 시작하는 지점의 수평선을 기준으로 하여, 수평선부다 위쪽을 상단부 아래쪽을 하단부로 정의하고, 상단부의 길이가 하단부 길이의 60% 내지 140%에 포함되고, 하단부가 수평선으로부터 두 개로 갈리진 유형의 패턴)과 유사할 경우, 이동 객체 후보로 검출할 수도 있다.

이동성 결정 모듈(526)은 후방 카메라 모듈(500)에서 촬상된 영상의 현재 프레임과 현재 프레임 이전 시점의 이전 프레임을 비교하여 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단한다.

구체적으로, 이동성 결정 모듈(526)은 현재 프레임과 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 현재 프레임에서 이동 객체 후보가 포함된 블록과 이전 프레임에서 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출한다. 픽셀값 차이의 합이 가장 작은 블록을 이전 프레임의 대응 블록으로 결정하고, 대응 블록의 위치가 변경되면 이동 객체 후보를 이동 중인 상태로 판단한다.

(수학식 1)

여기서,

이동성 결정 모듈(526)은 최초에 대응되는 위치의 블록 간 SAD 값을 산출한 후, k번째 영상 프레임의 특정 블록(이동 객체 후보가 포함되어 있는 블록 또는 블록들)과 k-1번째 영상 프레임의 특정 블록의 위치를 바꿔가면서 SAD 값을 산출한다. 그리고 k-1번째 영상 프레임에서 가장 작은 SAD 값을 갖는 블록(또는 블록들)을 k번째 영상 프레임의 특정 블록에 대응되는 대응 블록으로 결정할 수 있다.

k-1번째 영상 프레임의 대응 블록이 결정되고 나면, k번째 영상 프레임의 특정 블록의 위치에 대하여 k-1번째 영상 프레임의 대응 블록의 위치가 변경되었는지 여부에 근거하여 이동 객체 후보의 이동을 판단한다. 여기서, 이전 시점의 영상 프레임은 k-1번째에 국한되는 것이 아니며, 10 프레임 이전의 k-10번째 영상 프레임이 이전 시점의 영상 프레임으로 이용될 수도 있다.

이동 객체 가능성 결정 모듈(528)은 이동성 결정 모듈(526)에서 이동 객체 후보가 이동 중인 상태로 판단하면, 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 기 설정된 임계값 이상일 경우 이동 객체 후보를 이동 객체로 결정한다.

HOG 연산은 에지의 방향을 히스토그램으로 나타낸 것으로서, 객체의 형태 변화가 심하지 않고 내부 패턴이 단순하며, 객체의 윤곽선으로 객체를 식별할 수 있는 경우에 사용될 수 있다.

예를 들어, 이동 객체 가능성 결정 모듈(528)은 8픽셀*8픽셀의 단위 크기를 갖는 셀 단위로 HOG 연산을 수행하여 에지의 방향을 산출한다. 셀 내에서 에지의 방향을 8개의 각도로 표준화 하고, 각 방향에 대한 히스토그램으로 표현한다. 복수의 셀이 조합된 블록에 대하여 정규화(각 셀에 대한 에지의 방향 값을 블록에 대한 평균값으로 수치화 하는 과정)를 하고, 정규화 값을 나열하여 기술자 벡터(Descriptor Vector)를 산출한다. 그리고 산출된 기술자 벡터에 SVM 가중치 연산을 수행하고, SVM 가중치 연산으로부터 산출된 값이 기 설정된 임계값 이상일 경우 이동 객체 후보를 이동 객체로 결정한다. SVM 가중치 연산을 수행하는 과정은 당해 분야에서 통상의 지식을 가진 자에게 자명하므로, 구체적인 설명은 생략한다.

도 6은 본 발명에 따른 이동 객체 충돌 경고 방법을 예시한 흐름도이다. 도 6을 참조하면, 영상 수신부(510)에서 후방 카메라 모듈(500)로부터 영상을 수신하는 것으로 단계가 시작된다(ST610). 설명한 바와 같이, 수신된 각 영상 프레임으로부터 객체를 추출하고, 이동 객체 후보 검출 모듈(524)이 추출된 객체로부터 이동 객체 후보를 검출한다(ST620).

이동 객체 후보가 검출되면, 이동성 결정 모듈(526)이 전술한 바와 같이 이동 객체 후보와 미리 정의된 자전거, 이륜차, 및 보행자 각각에 대한 패턴 간에 유사도를 판단하여 이동 객체 후보에 대한 이동성을 결정한다(ST630). 이동 객체 가능성 결정 모듈(528)은 이동 중인 것으로 판단된 이동 객체 후보에 대하여 HOG 연산 및 SVM 가중치 연산을 통해 최종적으로 이동 객체를 결정한다(ST640).

다음으로, 이동 객체 충돌 가능성 결정부(630)는 이동 객체에 대한 충돌 가능성을 결정한다(ST650). 이동 객체 충돌 가능성을 결정하고, 경고부(540)를 동작시키거나 비상 제동부(550)를 동작시키는 과정은 도 7 내지 9를 참조하여 후술한다.

도 7은 본 발명에서 후방 카메라 모듈에 의해 촬상된 영상을 예시한 도면이다. 앞서 도 3에서 묘사한 바와 같이 후방 카메라 모듈(500)이 대형 차량(100)의 측면 후방에 장착되어 전방을 지향하여 촬상하고 있는 상태이므로, 도 7에서와 같이 뷰포트 상의 좌측에는 항상 대형 차량(100)의 측면 모습이 촬상된다. 원근감에 의해 차량의 앞쪽으로 갈수록 형상이 작게 상이 맺힐 것이다. 만약, 대형 차량(100)의 우측에 근접하여 자전거(200)가 위치한다면, 도 7에서와 같이 대형 차량(100)의 우측에 자전거(200)의 이미지가 표시될 것이다.

도 8은 실제 좌표계와 카메라 뷰포트 좌표계의 상관관계를 예시한 도면으로, 도 8에서와 같이 도로 상의 실제 좌표 지점(X, Z)은 렌즈(504)에서 굴절되어 카메라의 센서에 의해 검출되는 카메라 뷰포트(502) 상에서 (x,y)로 투영되어 나타날 것이다.

만약, 전방에 인식된 좌표 지점(X, Z)이 이동 객체의 윤곽점 하단부를 나타낸다면, 도로 상에서 후방 카메라 모듈(500)과 전방에 인식된 좌표 지점(X, Z)간의 거리는 아래의 (수학식 2)에 의해 결정될 수 있다.

(수학식 2)

여기서,

는 후방 카메라 모듈의 초점 거리,

는 후방 카메라 모듈의 지면에 대한 높이,

좌표 지점(X, Z)의 X축 거리는 아래의 (수학식 3)에 의해 결정될 수 있다.

(수학식 3)

여기서,

는 후방 카메라 모듈과 이동 객체 간의 도로 상의 횡방향 수평 거리,

는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객에의 윤곽점 하단부 간의 거리이다.

도 9는 도 7의 영상을 기준으로 자전거의 충돌 가능성을 판단하는 과정을 예시한 도면이다. 도 9를 참조하면, 도 7과 같은 전방 영상으로부터 대형 차량 윤곽라인(102)과 자전거 윤곽라인(202)을 얻을 수 있다. 여기서 촬상 화면상에서 원점(vanishing point)은 소실점을 의미하며, 소실점을 기준으로 하여 자전거의 윤곽점 하단부는 (x1, y1)의 좌표를 가지며, 자전거의 윤곽점 하단부에서 수평 방향으로 연장된 대형 트럭의 윤곽점은 (x2, y1)의 좌표를 갖게 된다.

즉, 대형 차량(100)과 자전거(200) 간의 거리를 인식할 수 있게 된다. 만약 도로 상에서 대형 차량(100)과 자전거(200) 간의 실제 거리를 'W'라고 한다면, 이 값은 아래의 (수학식 4)로부터 얻을 수 있다.

(수학식 4)

여기서,

는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,

이동 객체 충돌 가능성 결정부(530)는 (수학식 2)에 의해 측정된 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리

가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 상술한 제1 충돌 위험신호를 출력할 수 있다. 다른 예로서, 이동 객체 충돌 가능성 결정부(530)는 (수학식 4)에 의해 측정된 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리

가 미리 정의된 횡방향 위험거리 미만인 경우 상술한 제1 충돌 위험신호를 출력할 수 있다.

바람직하게는, 위의 두 가지 조건이 모두 만족하는 경우, 제1 충돌 위험신호를 출력한다. 그리고 제1 충돌 위험신호가 발생되는 조건이 만족되는 상황에서 대형 차량의 스티어링 휠의 조향각 변화를 감지하는 경우 제2 충돌 위험신호를 출력할 수 있다.

전술한 바와 같이, 제어부(600)는 제1 충돌 위험신호가 발생하는 경우 경고부(540)의 시각적 경고 수단을 동작시켜, 차량 주변에 자전거(200) 등의 이동 객체가 존재하는 상태임을 디스플레이 화면상으로 알릴 수 있으며, 제2 충돌 위험신호가 발생하는 경우 경광등과 같은 시각적으로 적극적인 경고신호를 출력하거나 스피커나 부저를 통해 청각적인 경고신호를 발생시킬 수 있다. 또한, 제2 충돌 위험신호가 발생하는 상황에서는 저속의 충돌 사고에 의해서도 사망과 같은 치명적인 위험 상황이 초래될 수 있으므로, 제어부(600)에서 비상 제동부(550)를 동작시켜 운전자의 브레이크 조작이 없는 경우라도 차량을 비상 제동시킴으로써, 인명 피해 사고를 미연에 방지할 수 있게 된다.

위에서 개시된 발명은 기본적인 사상을 훼손하지 않는 범위 내에서 다양한 변형예가 가능하다. 즉, 위의 실시예들은 모두 예시적으로 해석되어야 하며, 한정적으로 해석되지 않는다. 따라서 본 발명의 보호범위는 상술한 실시예가 아니라 첨부된 청구항에 따라 정해져야 하며, 첨부된 청구항에 한정된 구성요소를 균등물로 치환한 경우 이는 본 발명의 보호범위에 속하는 것으로 보아야 한다.

100 : 대형 차량 102 : 대형 차량 윤곽라인
200 : 자전거 202 : 자전거 윤곽라인
400 : 지면 500 : 후방 카메라 모듈
502 : 카메라 뷰포트 504 : 렌즈
505 : 카메라 촬상영역 510 : 영상 수신부
520 : 이동 객체 결정부 522 : 객체 추출 모듈
524 : 이동 객체 후보 검출 모듈 526 : 이동성 결정 모듈
528 : 이동 객체 가능성 결정 모듈 530 : 이동 객체 충돌 가능성 결정부
540 : 경고부 550 : 비상 제동부
600 : 제어부

Claims

대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈;
상기 후방 카메라 모듈에서 촬상된 영상을 수신하는 영상 수신부;
상기 영상 수신부에서 수신된 영상을 인식하여 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행자를 포함하는 이동 객체인지를 결정하는 이동 객체 결정부;
상기 이동 객체 결정부에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 출력하는 이동 객체 충돌 가능성 결정부;
상기 대형 차량의 운전자에게 시각적 또는 청각적 경고신호를 출력하는 경고부; 및
상기 이동 객체 충돌 가능성 결정부에서 충돌 위험신호가 출력되면 상기 경고부를 동작시키도록 제어하는 제어부
를 포함하며,
상기 이동 객체 충돌 가능성 결정부는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 장치.
(수학식 4)

여기서,
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
는 후방 카메라 모듈의 초점 거리,
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리,
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
제1항에 있어서,
상기 이동 객체 충돌 가능성 결정부는 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하며, 상기 제1 충돌 위험신호가 출력되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되는 경우 제2 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 장치.
제2항에 있어서,
상기 제어부는 상기 제1 충돌 위험신호에 대응하여 상기 경고부의 시각적 경고 수단을 동작시키며, 상기 제2 충돌 위험신호에 대응하여 상기 경고부의 청각적 경고 수단을 동작시키는 대형 차량의 이동 객체 충돌 경고 장치.
제2항에 있어서,
상기 대형 차량을 비상 제동시키는 비상 제동부를 더 포함하며,
상기 제어부는 상기 제2 충돌 위험신호에 대응하여 상기 비상 제동부를 동작시키는 대형 차량의 이동 객체 충돌 경고 장치.
제1항에 있어서,
상기 이동 객체 결정부는,
상기 영상 수신부에서 수신된 영상에서 적어도 하나의 객체를 추출하는 객체 추출 모듈;
상기 객체 추출 모듈에서 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출하는 이동 객체 후보 검출 모듈;
상기 후방 카메라 모듈에서 촬상된 영상의 현재 프레임과 상기 현재 프레임 이전 시점의 이전 프레임을 비교하여 상기 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 이동성 결정 모듈; 및
상기 이동성 결정 모듈에서 상기 이동 객체 후보가 이동 중인 상태로 판단하면, 상기 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, 상기 HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 기 설정된 임계값 이상이면 상기 이동 객체 후보를 이동 객체로 결정하는 이동 객체 가능성 결정 모듈
을 포함하는 대형 차량의 이동 객체 충돌 경고 장치.
제5항에 있어서,
상기 이동 객체 후보 검출 모듈은 상기 객체의 에지 수직 성분을 검출하고, 상기 수직 성분과 기 정의된 상기 이동 객체의 패턴 간에 유사도를 판단하여 상기 이동 객체 후보를 검출하는 대형 차량의 이동 객체 충돌 경고 장치.
제5항에 있어서,
상기 이동성 결정 모듈은 상기 현재 프레임과 상기 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 상기 현재 프레임에서 상기 이동 객체 후보가 포함된 블록과 상기 이전 프레임에서 상기 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출하고, 상기 픽셀값 차이의 합이 가장 작은 블록을 상기 이전 프레임의 대응 블록으로 결정하고, 상기 대응 블록의 위치가 변경되면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 대형 차량의 이동 객체 충돌 경고 장치.
(수학식 1)

여기서,
는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,
는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 이동 객체 충돌 가능성 결정부는 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 장치.
(수학식 2)

여기서,
는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
는 후방 카메라 모듈의 초점 거리,
는 후방 카메라 모듈의 지면에 대한 높이,
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
삭제
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 이동 객체 충돌 가능성 결정부는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 장치.
(수학식 2)

(수학식 4)

여기서,
는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
는 후방 카메라 모듈의 초점 거리,
는 후방 카메라 모듈의 지면에 대한 높이,
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리,
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리이다.
(a) 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈로부터 영상을 수신하는 단계;
(b) 수신된 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행차를 포함하는 이동 객체인지를 결정하는 단계;
(c) 상기 단계(b)에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는 경우 충돌 위험신호를 출력하는 단계; 및
(d) 상기 충돌 위험신호에 대응하여 시각적 또는 청각적 경고신호를 출력하는 단계
를 포함하며,
상기 단계(c)는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 방법.
(수학식 4)

여기서,
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
는 후방 카메라 모듈의 초점 거리,
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리,
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
제11항에 있어서,
상기 단계(c)는,
(c-1) 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하는 단계; 및
(c-2) 상기 단계(c-1)의 조건이 만족되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되면 제2 충돌 위험신호를 출력하는 단계
를 포함하는 대형 차량의 이동 객체 충돌 경고 방법.
제12항에 있어서,
상기 단계(d)는 상기 제1 충돌 위험신호에 대응하여 시각적 경고신호를 출력하며, 상기 제2 충돌 위험신호에 대응하여 청각적 경고신호를 출력하는 대형 차량의 이동 객체 충돌 경고 방법.
제12항에 있어서,
상기 단계(d) 이후에 상기 제2 충돌 위험신호에 대응하여 상기 대형 차량을 비상 제동시키는 단계를 더 포함하는 대형 차량의 이동 객체 충돌 경고 방법.
제11항에 있어서,
상기 단계(b)는,
(b-1) 수신된 영상에서 적어도 하나의 객체를 추출하는 단계;
(b-2) 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출하는 단계;
(b-3) 상기 후방 카메라 모듈에서 촬상된 영상의 현재 프레임과 상기 현재 프레임 이전 시점의 이전 프레임을 비교하여 상기 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 단계; 및
(b-4) 상기 단계(b-3)에서 이동 객체 후보 이동 중인 상태로 판단되면, 상기 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, 상기 HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 기 설정된 임계값 이상일 때 상기 이동 객체 후보를 이동 객체로 결정하는 단계
를 포함하는 대형 차량의 이동 객체 충돌 경고 방법.
제15항에 있어서,
상기 단계(b-2)는 상기 객체의 에지 수직 성분을 검출하고, 상기 수직 성분과 기 정의된 상기 이동 객체의 패턴 간에 유사도를 판단하여 상기 이동 객체 후보를 검출하는 대형 차량의 이동 객체 충돌 경고 방법.
제15항에 있어서,
상기 단계(b-3)은 상기 현재 프레임과 상기 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 상기 현재 프레임에서 상기 이동 객체 후보가 포함된 블록과 상기 이전 프레임에서 상기 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출하고, 상기 픽셀값 차이의 합이 가장 작은 블록을 상기 이전 프레임의 대응 블록으로 결정하고, 상기 대응 블록의 위치가 변경되면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 대형 차량의 이동 객체 충돌 경고 방법.
(수학식 1)

여기서,
는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,
는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.
제11항 내지 제17항 중 어느 한 항에 있어서,
상기 단계(c)는 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 방법.
(수학식 2)

여기서,
는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
는 후방 카메라 모듈의 초점 거리,
는 후방 카메라 모듈의 지면에 대한 높이,
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
삭제
제11항 내지 제17항 중 어느 한 항에 있어서,
상기 단계(c)는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 방법.
(수학식 2)

(수학식 4)

여기서,
는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
는 후방 카메라 모듈의 초점 거리,
는 후방 카메라 모듈의 지면에 대한 높이,
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리,
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리이다.