KR20120034352A - 장애물 감지 시스템 및 방법 - Google Patents

장애물 감지 시스템 및 방법 Download PDF

Info

Publication number
KR20120034352A
KR20120034352A KR1020100095838A KR20100095838A KR20120034352A KR 20120034352 A KR20120034352 A KR 20120034352A KR 1020100095838 A KR1020100095838 A KR 1020100095838A KR 20100095838 A KR20100095838 A KR 20100095838A KR 20120034352 A KR20120034352 A KR 20120034352A
Authority
KR
South Korea
Prior art keywords
obstacle
image
recognized
laser beam
shape
Prior art date
Application number
KR1020100095838A
Other languages
English (en)
Other versions
KR101395089B1 (ko
Inventor
석정희
여준기
천익재
정욱진
이정환
심재창
노태문
Original Assignee
한국전자통신연구원
안동대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 안동대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020100095838A priority Critical patent/KR101395089B1/ko
Priority to US13/179,122 priority patent/US20120081542A1/en
Publication of KR20120034352A publication Critical patent/KR20120034352A/ko
Application granted granted Critical
Publication of KR101395089B1 publication Critical patent/KR101395089B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

이동 수단에 적용되는 장애물 감지 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따르면, 적어도 하나의 레이저 광원으로부터 목표 거리의 지면을 향해 주사된 레이저 빔만을 선별 수신하여 제1 영상 정보로서 획득하는 제1 영상 획득부; 실제 주변 환경에 대한 영상을 제2 영상 정보로서 획득하는 제2 영상 획득부; 상기 제1 영상 정보를 이용하여 상기 레이저 빔의 선 정보를 3차원 형상 인식 신호 처리하여 장애물을 형상 인식하고, 상기 제2 영상 정보를 패턴 인식 신호 처리하여 장애물을 패턴 인식하는 영상 인식부; 및 상기 형상 인식된 장애물과 상기 패턴 인식된 장애물이 일치하는지 여부에 따라 인식된 장애물들을 분류하여, 상기 목표 거리 내의 장애물 존재에 따른 충돌 가능성을 판단하는 위험 판단부를 포함하는 장애물 감지 시스템이 제공된다.

Description

장애물 감지 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING OBSTACLE APPLYING TO VEHICLE}
본 발명은 이동 수단에 적용되는 장애물 감지 시스템 및 방법에 관한 것으로, 보다 상세하게는, 지면을 향해 주사되는 레이저 빔의 투사 형상에 관한 영상 정보 및 실제 주변 환경에 대한 영상 정보를 기초로 하여 이동 수단의 전방 안전거리 이내에 존재하는 장애물을 감지하고 위험성을 판단하기 위한 장애물 감지 시스템 및 방법에 관한 것이다.
최근 카메라 등 영상 생성 장치의 발달로, 영상을 통한 정보 처리 기술에 대한 관심 또한 날로 증대되고 있는 추세이다. 특히, 자동차 분야에 있어서는, 자동차 전방 또는 후방에 달려있는 카메라를 통해 얻어지는 실시간 영상을 통해 첨단 차량 제어를 하거나 추돌방지를 하기 위한 노력이 계속되고 있다. 자동차 전방에 다른 자동차나 보행자 또는 동물 등 주행에 방해를 줄 수 있는 물체의 존재 유무 및 위치를 알 수 있으면, 대형 교통 사고를 방지할 수 있을 뿐만 아니라 장애인의 주행 도우미 등에도 활용할 수 있다. 선진국에서도 대형 자동차 생산 회사를 중심으로 지능형 첨단 차량 제어 장치에 대한 많은 연구가 이루어지고 있다. 한편, 이러한 연구와 함께 주행 중 운전자의 과실로 인해 발생할 수 있는 교통사고를 미연에 방지하기 위한 각종 센서 및 장비에 대한 개발과 이를 활용하기 위한 효과적인 알고리즘 개발에 관한 연구 또한 활발히 진행중이다.
종래 이용되는 장애물 감지 방법으로서는 주행중인 자동차가 레이더(radar) 신호 또는 레이저(laser) 신호를 송수신하여 전방 물체와의 거리를 감지하는 방법 또는 스테레오 카메라를 통해 획득되는 3차원 영상 정보를 기초로 전방 물체와의 거리를 감지하는 방법들이 있다. 또한, 자동차의 속도감지센서로부터 검출되는 현재 속도에 관한 정보에 기초하여 감지된 장애물과의 충돌을 방지하는 제어 방법도 소개되어 있다.
그러나, 상기 레이더 신호 또는 레이저 신호를 이용하는 방법들은 신호에 대한 송수신 센서를 이용하여 점(point) 정보를 획득하는 방식이었다. 따라서, 감지되는 물체들의 형상을 알 수 없었을 뿐만 아니라 장애물을 구별하는 것조차 쉽지 않은 문제점이 있었다. 특히, 레이저 레이다 또는 레이저 거리측정기를 사용하여 전방 물체의 유무를 판단하거나, 전방 물체와의 거리를 측정하는 수단에 의해 충돌방지를 달성할 목적으로 전방차량을 감지하는 기술은 직선도로에서는 용이하지만, 레이저의 직선성 때문에 곡선도로에서는 적용하는데 어려움이 있다.
또한, 차량에 장착되어 도로면 등의 3차원 형상정보를 획득하는 기술들이 많이 공개되어 있으며, 스테레오 카메라방식 또는 레이저빔을 스캔하는 방식들이 알려져 있다. 스테레오 카메라를 이용하는 방법은 두 개의 2차원 카메라 영상을 이용하는 방식인데, 종래기술의 카메라 영상을 이용한 전방 감시 기술의 문제점들을 거의 포함하고 있다. 즉, 획득된 카메라 영상을 기초로 하여 패턴 인식을 처리하는 과정에서는 배경이 포함된 화면 내에서 장애물을 인식하므로, 낮과 밤 또는 조명 변화에 따라 장애물 인식률이 민감하게 변화하는 문제가 있었다.
한편, 선 형태의 레이저 빔을 감시 대상 물체에 투사하고 스캔하는 비접촉 방식을 통해 물체의 3차원 형상을 측정하는 기술이 알려져 있다. 이러한 형상 측정 기술은 광삼각법으로 알려진 신호처리 수단을 이용하여 피사체의 3차원 형상에 관한 정보를 컴퓨터 데이터 형태로 표현할 수 있지만, 상기의 신호처리를 실시간으로 처리하고 주행차량의 충돌방지를 위한 제어용도로 사용하려면 고성능의 연산처리 능력을 구비해야 하는 문제점이 있다. 또한, 상기 수단의 3차원 형상정보로부터 충돌방지를 위한 장애물 인식을 위해서는 형상정보 패턴인식 기술을 추가해야 하지만 전방차량과의 거리정보 또는 좌우측 방향 이동정보를 동시에 획득하는 것은 용이하지 않은 문제점이 존재한다.
또한, 카메라를 통해 획득된 영상만으로 자동차의 충돌을 방지하기 위한 종래의 기술에 있어서는, 영상 내에서 배경과 장애물을 분리하는 과정이 추가되어야 하는 점, 낮과 밤 등의 다양한 조명환경 변화에 따라 장애물에 대한 인식 오류가 많이 발생하는 점, 및 정확한 패턴 인식 성공을 위해서는 많은 횟수의 검증 연산들을 수행해야 하는 불리함이 있었다. 즉, 충돌 방지의 목적에 비추어 신속 정확한 제어를 수행하기 위한 수단으로서는 부족한 점이 많은 것으로 알려져 있다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위한 것으로, 레이저 빔의 투사 형상에 관한 영상 정보를 기초로 3차원 형상 정보를 획득함과 동시에 실제 주변 환경에 대한 2차원 영상 정보를 획득하여 이동 수단의 전방 목표거리 내에 존재하는 장애물을 신속하고 정확하게 판단하고, 장애물의 이동을 파악하여, 충돌 위험 또는 경로 이탈 위험을 효율적으로 감지 또는 방지할 수 있도록 하는 것을 그 목적으로 한다.
또한, 본 발명의 다른 목적은 수평선 형태의 레이저 빔을 이용하여 장애물을 감지함으로써 평탄한 도로면과 장애물을 간단하고 신속하게 구별하여 인식할 수 있도록 하고, 이에 따라 자동차의 충돌 위험 또는 경로 이탈 위험을 효율적으로 방지할 수 있도록 하는 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 적어도 하나의 레이저 광원으로부터 목표 거리의 지면을 향해 주사된 레이저 빔만을 선별 수신하여 제1 영상 정보로서 획득하는 제1 영상 획득부; 실제 주변 환경에 대한 영상을 제2 영상 정보로서 획득하는 제2 영상 획득부; 상기 제1 영상 정보를 이용하여 상기 레이저 빔의 선 정보를 3차원 형상 인식 신호 처리하여 장애물을 형상 인식하고, 상기 제2 영상 정보를 패턴 인식 신호 처리하여 장애물을 패턴 인식하는 영상 인식부; 및 상기 형상 인식된 장애물과 상기 패턴 인식된 장애물이 일치하는지 여부에 따라 인식된 장애물들을 분류하여, 상기 목표 거리 내의 장애물 존재에 따른 충돌 가능성을 판단하는 위험 판단부를 포함하는 장애물 감지 시스템이 제공된다.
또한, 상술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 적어도 하나의 레이저 광원으로부터 목표 거리의 지면을 향해 레이저 빔을 주사하는 단계; 상기 레이저 빔만을 선별 수신하여 제1 영상 정보를 획득하는 단계; 실제 주변 환경에 대한 영상을 제2 영상 정보로서 획득하는 단계; 상기 제1 영상 정보를 이용하여 상기 레이저 빔의 선 정보를 3차원 형상 인식 신호 처리하여 장애물을 형상 인식하고, 상기 제2 영상 정보를 패턴 인식 신호 처리하여 장애물을 패턴 인식하는 영상 인식 단계; 및 상기 형상 인식된 장애물과 상기 패턴 인식된 장애물이 일치하는지 여부에 따라 인식된 장애물들을 분류하여 충돌 가능성을 판단하는 위험 판단 단계를 포함하는 장애물 감지 방법이 제공된다.
본 발명에 따르면, 레이저 빔의 투사 형상을 기초로 3차원 형상 정보를 획득함과 동시에 실제 주변 환경에 대한 2차원 영상 정보를 획득하여 이동 수단의 전방에 존재하는 장애물을 신속하고 정확하게 판단하고 충돌 위험 또는 경로 이탈 위험을 효율적으로 감지 또는 방지할 수 있다. 특히, 3차원 형상 정보를 이용함으로써 자기차량 전방의 목표 거리 지점에서의 장애물을 간단하고 신속하게 인식하고, 2차원 영상 정보를 이용함으로써 목표 거리 내에 장애물이 존재하는지를 판단할 수 있다.
도 1은 본 발명의 일 실시예에 따른 장애물 감지 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 장애물 감지 방법을 설명하는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 장애물 감지 시스템이 자동차에 적용된 일례를 나타내는 도면이다.
도 4는 도 3에 예시한 도면에서 차선과 평행하되 자동차의 중앙을 지나는 직선을 따른 단면도를 나타낸다.
도 5는 도 4의 예에서 제1 영상 획득부에 의해 획득된 영상 중 투사된 레이저 빔의 영상만을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 장애물 감지 시스템이 자동차에 적용된 일례를 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예의 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
[본 발명의 바람직한 실시예]
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따른 장애물 감지 시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 1에 도시되는 바와 같이, 본 발명의 시스템(100)은 레이저 빔 주사부(110), 영상 정보 획득부(120), 영상 인식부(130), 위험 판단부(140)를 포함하여 구성될 수 있다. 또한, 사용자에 의한 명령 입력을 가능하게 하는 입력부(150), 저장장치로서 기능하는 메모리부(160), 본 시스템이 적용되는 소정의 장치에 구비되는 외부 장치(170) 및 상기 구성 요소들의 동작을 전체적으로 제어하는 제어부(180)를 추가적으로 포함할 수도 있다.
본 발명의 일 실시예에 따르면, 영상 정보 획득부(120), 영상 인식부(130), 위험 판단부(140), 메모리부(160) 및 제어부(150)는 본 발명의 시스템 내에 구비되는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 시스템 내에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 시스템(100)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
본 발명의 장애물 감지 시스템은 소정의 이동 수단에 장착되어 이동 수단의 안전한 이동을 도와주는 기능을 수행한다. 이하에서는, 설명의 편의를 위해 자동차에 본 발명의 장애물 감지 시스템이 적용된 경우를 가정하여 설명하기로 한다.
본 발명의 일 실시예에 따른 레이저 빔 주사부(110)는 목표 거리의 지면을 향해 레이저 빔을 주사한다. 이를 위해 레이저 빔 주사부(110)는 레이저 광원을 포함할 수 있다. 후술하는 바와 같이 레이저 빔 주사부(110)로부터 제공되는 레이저 빔은 자동차의 전방 도로면에 대해 넓게 투사되어야 하기 때문에 레이저 빔의 모양은 수평선 모양으로 형성되는 것이 바람직하다. 레이저 광원으로부터 발생되는 점 모양의 레이저 빔을 수평선 모양의 레이저 빔으로 변형시키는 광학 기술은 공지된 기술인 바, 여기서는 그 설명을 생략하기로 한다.
한편, 레이저 빔 주사부(110)는 일정한 상하 간격을 사이에 둔 2개 이상의 레이저 광원 또는 같은 위치에 설치되되 서로 다른 빔 주사각을 갖는 2개 이상의 레이저 광원을 포함할 수도 있다. 이에 따르면, 2개 이상의 레이저 빔이 자동차 전방을 향해 투사되게 된다. 레이저 빔 주사부(110)로부터 발생되는 레이저 빔의 투사 형태에 대해서는 후에 상세히 설명하기로 한다.
이러한 레이저 빔 주사부(110)의 동작은 제어부(180)에 의해 제어될 수 있다. 여기서, 레이저 빔의 세기 또는 레이저 빔의 주사 각도 등이 제어부(180)로부터의 제어 신호에 의해 조절될 수 있다. 이를 위해 레이저 빔 주사부(110)와 제어부(180)는 전기적으로 연결될 수 있으며, 레이저 빔 주사부(110)는 레이저 빔의 각도 조절을 위한 기계적 장치(예를 들면, 모터 및 제어 수단)를 포함할 수 있다. 예를 들어, 모터 제어부는 도로면에 주사하는 수평빔으로 고정된 레이저 빔의 하향 주사 각도를 제어부(180)로부터 전송받아 레이저 빔의 하향 각도를 조절함으로써, 목표 거리를 조절할 수 있다. 여기서, '목표 거리'는 자기 차량으로부터 레이저 빔의 도로면 도착 지점까지의 거리를 의미하며, 본 발명에 따르면, 목표 거리 내의 장애물 존재 여부 및 장애물의 이동 방향 등을 감지하게 된다. 예를 들어, 목표 거리는 자기 차량과 전방 차량 간의 최소 안전 거리일 수 있으며, 이는 자기 차량의 제동 거리보다 큰 값으로 설정되거나 법적 기준에 의해 설정될 수 있다. 이에 대해서는 후에 상세히 설명하기로 한다.
본 발명의 일 실시예에 따른 영상 정보 획득부(120)는 레이저 빔 주사부(110)로부터 주사된 레이저 빔이 도로면에 투사된 영상 정보를 취득하는 제1 영상 획득부(121) 및 자동차 주변에 존재하는 실제 환경에 대한 영상 정보를 취득하는 제2 영상 획득부(122)를 포함하여 구성되며, 제1 영상 획득부(121) 및 제2 영상 획득부(122)에 의해 취득된 영상 신호를 영상 인식부(130)에 전달하는 기능을 수행한다.
제1 영상 획득부(121)는 레이저 빔이 도로면에 투사된 영상 정보를 취득하여야 하므로 해당 레이저 빔의 파장만이 통과될 수 있는 카메라 등으로 구현되어야 한다. 예를 들면, 통상적인 영상 카메라에 해당 레이저 빔의 파장만을 통과시킬 수 있는 광필터가 2차원 수광센서 전면에 부착된 빔영상 카메라 등이 제1 영상 획득부(121)로서 기능할 수 있다.
제2 영상 획득부(122)는 실제 환경과 동일한 영상 정보만을 획득하면 되므로, 필터 등이 적용되지 않은 통상적인 카메라로 구현될 수 있다.
이러한, 제1 영상 획득부(121) 및 제2 영상 획득부(122)에 의해 동시에 획득된 영상 정보를 비교함으로써 장애물 감지가 이루어지기 때문에, 제1 영상 획득부(121) 및 제2 영상 획득부(122)는 인접하게 위치하여야 하고 동일한 영상 시각을 가져야 한다. 또한, 필터를 제외하고는 모두 동일한 광학적 특성을 갖는 카메라 등으로 구현되고, 동일 시각 영상 프레임으로 작동할 수 있도록 하는 동기화 기능이 구비되는 것이 바람직하다. 후술되는 바와 같이 본 발명의 장애물 감지 시스템은 광삼각법을 이용하여 장애물을 검출해내므로 레이저 빔 주사부(110)와 영상 정보 획득부(120)는 일정한 상하 거리를 두고 설치되어야 한다. 일례로서, 레이저 빔 주사부(110)는 자동차의 상단에 설치될 수 있고, 영상 정보 획득부(120)는 자동차의 전방에 형성되는 범퍼 하단 위치에 설치될 수 있으나, 이에 제한되지 않음은 물론이다.
본 발명의 일 실시예에 따른 영상 인식부(130)는 제1 영상 정보를 이용하여 레이저 빔의 선 정보를 3차원 형상 인식 신호 처리하여 장애물을 형상 인식하고, 제2 영상 정보를 패턴 인식 신호 처리하여 장애물을 패턴 인식한다. 이를 통해, 실제 주변 환경을 인식하고 인식된 정보를 위험 판단부(140)에 전달하는 기능을 수행한다.
이를 위해 영상 인식부(130)는 광삼각법을 통해 제1 영상 획득부(121)에 의해 취득된 레이저 빔 영상 신호를 3차원 형상 정보로 변환하는 제1 영상 신호 처리부(131), 및 패턴 인식 등을 통해 제2 영상 획득부(122)에 의해 취득된 영상 신호를 처리하는 제2 영상 신호 처리부(132)를 포함하여 구성될 수 있다.
제1 영상 신호 처리부(131)는 광삼각법에 기초하여 제1 영상 획득부(121)에 의해 취득된 영상을 처리함으로써 3차원 형상 정보를 획득한다. 예를 들어, 평탄한 도로면과 다른 형상을 인식함으로써, 장애물의 존재를 식별하고, 장애물의 좌측/우측 이동을 인식한다.
제1 영상 신호 처리부(131)는 제1 영상 획득부(121)에 의해 획득된 영상 프레임으로부터 순간 형상 정보를 얻을 수 있다. 구체적으로, 제1 영상 획득부(121)에 의해 획득된 영상 프레임은 레이저 빔이 도달한 위치에 관한 정보를 포함하고 있을 수 있다. 예를 들면, 전방에 장애물이 있는 경우, 장애물 방향으로 투사된 레이저 빔의 영역은 장애물에 도달하게 되고, 장애물 외의 방향으로 투사된 레이저 빔의 영역은 도로면에 도달하게 된다. 제1 영상 신호 처리부(131)는 이러한 레이저 빔의 도달 위치 등을 파악하여 레이저 빔의 직선성 평가를 수행한다. 즉, 투사된 레이저 빔이 형성하는 형상으로부터 직선성 평가를 수행하여, 직선으로부터 벗어나는 영역은 장애물로 감지해낼 수 있다. 따라서, 도로면의 요철 또는 평탄도를 초과하는 입체적 장애물, 예를 들어, 중앙선 표시물, 가드 레일, 도로 노면 상의 차선 표시물 등의 도로 시설물을 3차원 형상으로 인식해낼 수 있다.
한편, 동일한 방식으로 도로면 가장자리도 쉽게 인식할 수 있다. 예를 들면, 도로면 가장자리에는 도로면의 높이와는 다른 보도 블록 또는 언덕 등이 형성되어 있을 수도 있고, 소정의 도로 시설물이 설치되어 있을 수도 있는데 위와 같은 레이저 빔의 직선성 평가 방식에 따르면 도로면의 가장자리도 쉽게 인식할 수 있게 된다. 이러한 방식으로 제1 영상 신호 처리부(131)는 도로면의 환경 또는 전방에 존재하는 장애물을 감지해낼 수 있는데, 감지된 물체가 도로면의 단순한 요철인지 장애물인지를 구분하는 과정 또한 수행되어야 한다. 이는 위와 같은 방식으로 감지된 요철의 크기(예를 들면, 높이 또는 너비)가 소정의 오차 범위를 초과하는 지 여부를 판단함으로써 수행될 수 있다. 즉, 오차 범위 이내이면 해당 요철이 도로 시설물 또는 도로 지형에 존재하는 요철인 것으로 판단할 수 있고, 오차 범위를 초과하면 장애물로 판단해낼 수 있다. 한편, 레이저 빔의 직선성 평가를 수행할 시에는 해당 직선이 도로면에 해당하는 것인지 장애물의 소정 위치에 포함되는 직선에 해당하는 것인지를 판단하여야 한다.
이러한 판단을 위해 제1 영상 신호 처리부(131)는 제1 영상 획득부(121)에 의해 취득된 영상에서 레이저 빔이 도로면에 도달한 지점을 별도로 설정하고 이를 기억해내어, 추후 레이저 빔이 직선으로 형성되는 지점이 기 설정된 도로면 지점에 위치한다면 해당 직선은 도로면인 것으로 판단해낼 수 있고, 설정된 지점이 아니라면 장애물의 일부인 것으로 판단해낼 수 있다. 제1 영상 신호 처리부(131)는 연속적으로 이러한 과정을 수행하는데, 이러한 과정이 누적되게 되면 장애물의 경계(예를 들면, 상하좌우의 위치) 또는 장애물의 형성 정보 또한 파악해낼 수 있게 된다.
이와 같은 제1 영상 신호 처리부(131)를 이용하면, 도로면을 스캔하는 효과를 가질 수 있다. 즉, 수신된 3차원 도로 정보로부터 차량 또는 보행자와 같이 움직이는 장애물들을 제거하는 영상처리 과정을 실시함으로써, 3차원 도로형상 정보를 기록할 수 있다. 따라서, 간단한 기술적 구성으로 3차원 스캐너와 유사한 결과 데이터를 저장할 수 있다.
이때 주행중인 차량으로부터 연속적으로 수집되는 빔영상 데이터들은 주행중인 도로의 3차원 형상정보를 표현하는 레인지(range)데이터 형태로 기록될 수 있고, 당해 데이터는 메모리부 또는 추가로 구성되는 외부 저장장치에 저장될 수 있으며, 이때 지리정보시스템의 GPS(global positioning system)위치정보와 연결된 데이터 구조를 가질 수 있다.
영상 인식부에 의해 획득된 정보는 소정 형태(예를 들면, 레인지(range) 데이터 형태)로 기록되어 메모리부(160) 또는 별도로 구비되는 저장장치에 저장될 수 있다. 이렇게 저장되는 데이터는 지리정보시스템(GPS; Global Prsitioning System)과 연계되어 어떠한 지리적 위치의 도로형상 정보 등으로서 이용될 수도 있다.
한편, 전술한 바와 같이 레이저 빔 주사부(110)는 2개 이상의 레이저 광원을 포함할 수 있는데, 이러한 경우에는 장애물 감지 기능이 더욱더 강화될 수 있게 되고, 장애물과의 속도 차이 또는 장애물이 어떠한 형태로 자동차에 접근하는 지 등을 정확하게 파악해낼 수 있게 된다. 예를 들어, 2개의 레이저 광원으로부터 주사된 레이저 빔에 대해 각각 직선성 평가를 하게 되면, 각 레이저 광원으로부터 주사된 레이저 빔을 통해서는 서로 다른 높이의 장애물이 존재하는 것으로 판단되어질 수 있는데, 이러한 경우에 해당 장애물이 하나의 물체라면, 그 장애물의 경사각 등이 파악될 수 있게 된다.
제2 영상 신호 처리부(132)는 제2 영상 획득부(122)에 의해 획득된 영상을 기초로 패턴 인식을 수행함으로써 주변 환경을 인식하는 기능을 수행한다. 예를 들어, 제2 영상 정보를 패턴 인식 신호 처리하여 차량 또는 보행자와 같은 장애물을 패턴 인식하고, 자기 차량의 주행 차선을 패턴 인식할 수 있다.
이와 같이, 제2 영상 신호 처리부(132) 역시 주변 환경 인식에 있어서 장애물 감지 기능을 수행하는데, 이때 소정의 패턴 인식 알고리즘을 이용할 수 있다. 패턴 인식 알고리즘으로서는 Freund와 Schapire에 의해 제안된 아다부스트(AdaBoost) 알고리즘 또는 서포트 벡터 머신(SVM; Support Vector Machine) 등의 디지털 신호처리 기술수단이 이용될 수 있다. 이 중 에이다부스트 알고리즘은 검출하고자 하는 물체의 영상들과 반례의 영상 들을 이용하여 최종적으로 물체를 검출해내는 알고리즘이다. 이러한 에이다부스트 알고리즘의 연산 과정에 대해서는 공지의 논문인 「P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features." In Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Kauai, Hawaii, 12-14, 2001」을 참조할 수 있다. 특히, 보행자 또는 다른 자동차 등에 대한 인식을 위해서는 패턴 인식 기술이 적용될 수 있다. 또한, 다른 자동차와의 상대적 거리는 얻어진 영상 내에서의 픽셀 거리에 기초하여 대략적으로 추정해낼 수 있으며, 누적적으로 얻어진 영상 프레임을 인식함으로써 각 장애물의 위치 또한 추적해낼 수 있다.
본 발명의 일 실시예에 따른 영상 인식부(130)는 이러한 신호 처리 과정 외에도 위험 판단부(140)로부터 별도의 상황별 목표와 관련된 일 이상의 요구조건을 실시간으로 수신할 수 있고, 이에 따라 상황별로 서로 다른 인식 결과 데이터를 위험 판단부(140)에 전달할 수도 있다. 예를 들면, 모든 장애물이 아닌 특정 형태 또는 특정 종류 만의 장애물 만을 검출하라는 요구조건을 수신하여 이에 맞는 신호 처리를 수행할 수도 있다.
본 발명의 일 실시예에 따른 위험 판단부(140)는 형상 인식된 장애물과 패턴 인식된 장애물이 일치하는지 여부에 따라 인식된 장애물들을 분류하여 충돌 가능성을 판단한다. 즉, 영상 인식부(130)로부터 전송되는 정보에 기초하여 현재 위험 상황을 판단해내는 기능을 수행한다. 여기서, '위험 상황'은 충돌 가능성이 있는 상황 또는 도로 이탈 가능성이 있는 상황을 의미한다.
또한, 위험 판단부(140)는 레이저 빔이 도로면에 도달하는 목표 거리를 변경하기 위해, 레이저 빔 주사부(110)의 상,하 주사 각도 변경을 요청하는 신호를 제어부(180)로 전송하거나, 주행중인 자기 차량이 스캔하는 3차원 도로 형상 정보를 나타내는 레인지(range) 데이터를 실시간으로 제어부(180)로 전송할 수 있다. 또한, 자기 차량의 주행 방향에 근거하여 도로 좌측/우측에 존재하는 다양한 도로 안전 시설물들의 존재를 인식함으로써, 직선 도로와 곡선 도로가 포함된 도로 환경에서 도로시설물과의 충돌 가능성을 판단할 수 있따.
영상 인식부(130)에 포함되는 제1 영상 신호 처리부(131) 및 제2 영상 신호 처리부(132)는 제1 영상 획득부(121) 및 제2 영상 획득부(122)로부터 동시에 획득된 서로 다른 영상 데이터를 처리하는데, 위험 판단부(140)는 그 데이터 처리 결과를 기초로 하여 위험 상황을 단계별로 구분하여 판단해낼 수 있다.
첫째, 레이저 빔 주사에 의해 제1 영상 획득부(121)로부터 얻어지는 영상에는 나타나지 않고 제2 영상 획득부(122)로부터 얻어지는 영상에는 나타나는 장애물이 존재하는 경우에는 해당 장애물이 레이저 빔의 주사 영역 외에 위치하고 있다고 판단할 수 있다. 즉, 장애물이 목표 거리 밖에 존재하므로 위험도가 낮은 것으로 판단할 수 있다.
둘째, 장애물이 레이저 빔 주사에 의해 제1 영상 획득부(121)로부터 얻어지는 영상에는 나타나고 제2 영상 획득부(122)로부터 얻어지는 영상에는 나타나지 않는 경우이다.
먼저, 상기 제2 영상 데이터에 대한 신호 처리가 잘못될 가능성이 있는 경우를 생각하면, 제2 영상 획득부(122)로부터 얻어지는 영상 데이터에 대한 신호 처리를 제2 영상 신호 처리부(132)가 다시 수행할 수 있도록 재처리 명령에 관한 신호를 영상 인식부(130)에 전달할 수 있다. 만약, 신호 처리를 다시 수행하더라도 똑같은 결과나 나온다면 위험 판단부(140)는 제2 영상 획득부(122)에 의해 획득된 영상 데이터를 처리하는 것만으로는 감지가 불가능한 장애물로 판단할 수 있다. 패턴인식 수단으로 대상 장애물(예를 들면 자동차 또는 보행자)만을 인식할 수 있는 프로그램을 먼저 설치하면, 패턴인식할 당해 장애물은 자동차 또는 보행자만으로 제한되는 특징에 의해, 감지가 불가능한 장애물이란 자동차 또는 보행자가 아닌 제3의 장애물로 판단할 수 있음을 나타낸다. 예를 들어, 제3의 장애물로서, 도로에 떨어져 있는 임의의 장애물 또는 가로등 가로수가 도로면에 쓰러진 장애물일 수 있다.
셋째, 장애물이 레이저 빔 주사에 의해 제1 영상 획득부(121)로부터 얻어진 영상 및 제2 영상 획득부(122)로부터 얻어진 영상에 모두 나타나는 경우에는 장애물이 레이저 빔의 주사 영역 내에 위치하여 위험도가 높은 것으로 판단할 수 있다. 예를 들어, 동일한 시각 또는 수 프레임 이내의 유사 시각에 획득한 빔영상카메라와 정상영상카메라의 전체영상 데이터에서 패턴인식 기술로 인식된 장애물(예를 들면 차량 또는 보행자)의 전체영상내 픽셀위치 (x , y) 좌표와 레이저 라인빔의 신호처리에 의해 인식된 장애물의 픽셀위치 (x , y) 좌표를 비교하여 오차범위 이내에서 중복 인식되는 장애물을 동일 대상물체로 인식할 수 있도록 한다.
이와 같이 위험 판단부(140)는 형상 인식된 장애물과 패턴 인식된 장애물이 일치하는지 여부에 따라 인식된 장애물들을 분류함으로써, 목표 거리 내에 장애물이 존재하는지 여부를 판단하고 그에 따른 충돌 가능성을 판단할 수 있다. 따라서, 판단 오류를 최소화하여 장애물 감지 정확성을 향상시킬 수 있다. 여기서, 목표 거리는 평균 주행 속도 개념의 고정된 목표거리이거나, 주행속도별 가변 목표거리일 수 있다.
이 밖에도, 위험 판단부(140)는 패턴 인식된 주행 차선을 통해, 자기 차량이 직선 도로는 주행하는지 또는 곡선 도로를 주행하는지 판단할 수 있으며, 인식된 장애물들이 자기 차량과 동일한 차선에 존재하는지 또는 옆 차선에 존재하는지를 판단할 수 있다. 따라서, 두 개의 서로 다른 카메라로부터 동일 시각 영상프레임에서 인식된 장애물이 중복인식된 장애물인지, 또는 차선인식된 주행차선 이내에 상기 인식된 장애물들이 존재하는지, 또는 안전거리 이내에 상기 인식된 장애물이 존재하는지를 각각 구분하는 판단들을 간단한 데이터 처리과정을 통하여 신속 정확하게 처리할 수 있다.
위험 판단부(140)는 제1 영상 신호 처리부(131)에 의한 신호 처리 결과와 제2 영상 신호 처리부(132)에 의한 신호 처리 결과를 종속 구조로 연결하여 위험성 판단을 수행할 수도 있다. 예를 들어, 정상 영상 인식 결과를 주인인식으로 빔 영상 인식 결과를 종속인식으로 결합하여 판단할 수 있다. 또는, 빔 영상 인식 결과와 정상 영상 인식 결과를 병렬 구조로 연결하여 동등하게 판단할 수도 있다.
한편, 제1 영상 신호 처리부(131)에 의한 신호 처리 결과와 제2 영상 신호 처리부(132)에 의한 신호 처리 결과에 서로 다른 가중치를 적용하여 위험성을 판단할 수도 있다. 예를 들어, 제1 영상 신호 처리부(131)에 의한 신호 처리 결과에 더 큰 가중치를 두는 경우에는 제2 영상 신호 처리부(132)에 의한 신호 처리 결과에서만 나타나는 장애물보다 제1 영상 신호 처리부(131)에 의한 신호 처리 결과에서만 나타나는 장애물이 더 위험한 장애물로서 판단될 수 있다. 예를 들어, 레이저 라인 빔으로 인식된 도로 중앙 분리대 또는 도로 중앙 시설물을 중요 구조물로 판단하여 가중치를 둠으로써 충돌 방지를 위한 판단을 할 수 있다. 이러한 방식에 의해 충돌 위험성 판단 또는 도로 이탈 위험성 판단의 효율이 최대화될 수 있다. 또한, 시간에 따라 누적된 신호 처리 결과 또는 연관성 있는 인접한 시간의 신호 처리 결과를 기초로 하여 영상 내 장애물이 존재하는 픽셀의 위치를 추적함으로써 인식된 장애물이 동일한 장애물인지 여부를 판단해낼 수도 있다.
한편, 본 발명의 일 실시예에 따른 위험 판단부(140)는 감지된 장애물의 이동 여부 또는 이동 속도를 파악해낼 수도 있다. 구체적으로 설명하면, 자동차에 구비되는 속도감지센서로부터 현재 자동차의 이동 속도에 관한 정보를 수신하고, 시간에 따라 누적된 영상 신호 처리 결과를 기초로 장애물의 영상 내 위치 변화를 파악하고 이로부터 자동차에 대한 장애물의 상대적인 이동 속도를 파악해냄으로써 장애물의 절대적인 이동 속도 및 이동 방향을 파악해낼 수 있다. 위험 판단부(140)는 이러한 방식으로 장애물의 크기, 이동 속도 또는 자동차와의 거리를 파악해냄으로써 충돌 위험성을 단계적으로 구분지어 파악할 수 있다. 예를 들어, 장애물의 크기, 이동 속도 또는 자동차와의 거리 각각의 변수에 대해 소정 범위로 그 값을 구분짓고 각 변수 별로 일정 가중치를 두면, 각 경우별 위험성을 단계적으로 판단해낼 수 있다. 일례로, 장애물의 크기는 같으나 이동 속도가 상대적으로 더 빠르다면 해당 장애물은 이동 속도가 느린 장애물보다 더 위험한 장애물로서 판단될 수 있다.
또한, 본 발명의 일 실시예에 따른 위험 판단부(140)는 자동차의 진행 방향을 예상하고 이를 기초로 하여 도로 이탈 위험성과 충돌 위험성을 파악해낼 수 있다. 자동차의 진행 방향은 자동차에 구비되는 조향장치의 제어각에 관한 정보를 수신함으로써 판단해낼 수 있고, 이를 기초로 향후 진행 방향에 대한 예상 또한 가능하다. 또한, 제2 영상 획득부(122)로부터 취득된 영상에 대해 패턴 인식 기술을 적용하여 자동차의 진행 방향을 판단해낼 수도 있다. 예를 들면, 옵티컬 플로우(Optical Flow) 기법을 이용하여 영상 내에서 물체를 추적함으로써 자동차에 대한 물체의 상대적인 이동 방향을 파악해낼 수 있고, 파악된 정보를 반대로 이용하여 자동차의 이동 방향을 파악해낼 수 있다. 자동차의 진행 방향에 대해 예상을 하게 되면, 이를 기초로 자동차의 예상 진행 방향 내에 위치하는 장애물과 외부에 위치하는 장애물을 구분해내어 파악해낼 수 있게 되며, 이에 대한 상세한 물리량들을 파악해낼 수 있게 된다. 또한, 진행 방향 예상을 통해 충돌 위험성과 도로 이탈 위험성을 구분하여 파악해낼 수 있다. 구체적으로 설명하면, 전술한 바와 같이 영상 인식부(130)는 도로면 가장자리를 파악해낼 수 있는데, 이를 기초로 하여 예상된 진행 방향이 도로면 가장자리를 향하면 도로 이탈 위험성이 있는 것으로 판단할 수 있고, 예상된 잰행 방향에 감지된 장애물이 위치하는 경우에는 충돌 위험성이 있는 것으로 판단해낼 수 있다.
본 발명의 일 실시예에 따른 위험 판단부(140)는 제1 영상 획득부(121)에 의해 얻어지는 레이저 빔이 주사되는 범위 내 영역에 대한 영상 정보와 제2 영상 획득부(122)에 의해 얻어지는 전체 영역에 대한 영상 정보를 기초로 하여 각종 정보들을 신속히 파악해냄으로써 자동차의 충돌 방지 또는 도로 이탈 방지를 위한 위험성 판단을 효율적으로 수행해낼 수 있다. 또한, 충돌 위험성과 도로 이탈 위험성을 구분지어 파악해내고 각 위험성을 단계적으로 파악해냄으로써 경우에 따라 다른 대처가 가능하도록 한다.
본 발명의 일 실시예에 따른 입력부(150)는 전체 시스템(100) 또는 시스템(100) 내에 포함되는 각 구성요소의 동작에 대한 명령을 사용자가 직접 입력할 수 있도록 하는 기능을 수행한다. 이러한 입력부(150)는 통상적인 키패드, 터치스크린 또는 테블릿 등의 방식으로 구현될 수 있으며 사용자의 명령 입력을 용이하게 하는 소정의 인터페이스를 더 포함할 수도 있다.
본 발명의 일 실시예에 따른 메모리부(160)는 영상 인식부(130)에서의 처리 결과 또는 위험 판단부(140)에서 제어부(180)로 전송되는 데이터를 실시간으로 저장하는 기능을 수행한다. 메모리부(160)는 제어부(180)와 데이터를 송수신할 수 있으며, 하드디스크(HDD)와 같은 외부 보조저장장치를 추가로 포함할 수 있다. 메모리부(160)는 영상 인식부(130)에서 생성된 3차원 도로 형상 데이터를 지리정보시스템(GPS)의 위치 정보와 대응시켜 소정 형태(예를 들면, 레인지 데이터 형태)로 저장할 수 있다. 이렇게 저장된 정보는 자동차의 자동 주행 기능을 구현할 때 이용될 수도 있고, 네이게이션 장치와 연계하여 사용자에게 지리정보를 제공할 때 해당 위치에 관한 정보를 3차원 영상으로 제공할 수도 있다.
본 발명의 일 실시예에 따른 제어부(180)는 목표 거리에 따라 레이저 빔 주사부(110)가 주사하는 레이저 빔의 세기 또는 주사 각도 등을 조절한다. 또한, 위험 판단부(140)의 판단 결과에 따라 외부 제어장치 또는 안전 장치(170)로 제어 신호를 전송하여, 자동차가 장애물과 충돌하거나 도로를 이탈 하지 않도록 한다.
여기서, 외부 장치(170)는 외부 제어 장치 또는 안전 장치일 수 있다. 예를 들어, 외부 장치(170)는 조향장치 제어부(ECU; Electronic Control Unit), 브레이트 장치 제어부, 제동장치 제어부, 에어백 제어부, 안전벨트 제어부, 운전자 경보장치 제어부, 디스플레이 표시장치 제어부 등일 수 있다. 예를 들면, 위험 판단부(140)로부터 충돌 위험성 판단에 관한 정보를 수신하는 경우, 운전자에게 위험 경보를 알리기 위해 경보장치 제어부를 제어하는 신호를 생성 및 전달할 수 있다. 한편, 위험 판단부(140)가 충돌 위험성과 도로 이탈 위험성을 구분지어 파악해내고 각 위험성을 단계적으로 파악하기 때문에 각 경우에 따라 다른 제어 신호가 생성될 수 있다. 예를 들어, 충돌 위험성이 있는 것으로 판단된 경우에는 경보장치, 제동장치 또는 에어백을 동작시키는 제어 신호가 생성될 수 있으며, 도로 이탈 위험성이 있는 것으로 판단되는 경우에는 경보장치와 제동장치만을 동작시키는 제어 신호가 생성될 수 있다. 또한, 충돌 위험성이 단계적으로 구분되어 파악될 시에는 더 높은 단계의 위험성이 존재하는 것으로 판단될 때 상대적으로 더 크 경보음을 울리게 하는 제어 신호 또는 에어백을 동작시키는 제어 신호가 생성될 수 있다. 한편, 제어부(180)는 위험 판단부(140)가 충돌 위험성에 대한 정확한 판단을 수행할 수 있도록 자동차 내부의 속도감지센서로부터 수신되는 속도정보를 위험 판단부(140)에 제공할 수 있다. 전체적으로 제어부(180)는 시스템(100) 내의 각 구성요소 간 또는 외부와의 데이터의 흐름을 제어하는 기능을 수행하고, 각 구성요소에서 고유 기능이 적절히 수행될 수 있도록 제어한다.
이하에서는, 본 발명의 일 실시예에 따른 장애물 감지 과정에 대해 설명하기로 한다.
장애물 감지 과정
도 2는 본 발명의 일 실시예에 따라 장애물을 감지하는 과정을 설명하기 위한 흐름도이다.
먼저, 레이저 빔 주사부(110)에 의해 레이저 빔이 주사되면, 영상 정보 획득부(120)의 제1 영상 획득부(121)는 레이저 빔이 투사된 형상을 영상 정보로서 획득하고, 제2 영상 획득부(122)는 실제 주변 환경에 관한 영상 정보를 획득한다.
이어서, 영상인식부(130)는 제1 영상 획득부(121), 예를 들어, 빔 영상 카메라에 의해 수신된 영상 데이터로부터 장애물 형상 인식을 실시한다. 상세하게는 광삼각법에 기초하여 목표 거리 내 장애물의 존재를 식별하고, 장애물의 좌측/우측 이동 여부를 식별하고, 장애물이 형상인식된 영상 프레임의 시각정보와 레이저 라인빔에 의한 목표 거리를 나타내는 데이터들을 판단부(140)로 전송한다(S210).
또한, 영상인식부(130)는 제1 영상 획득부(121)와 동일한 시각의 제2 영상 획득부(122), 예를 들어, 정상영상카메라(222)의 수신 영상들을 패턴인식 처리하여 차량 또는 보행자로 대표되는 장애물을 인식하고, 동시에 자기차량의 주행 차선을 인식하기 위한 패턴인식을 실시하고 당해 결과들을 판단부(140)로 전송한다(S220).
이어서, 위험 판단부(230)는 형상 인식된 장애물과 패턴 인식된 장애물이 일치하는지 여부에 따라 인식된 장애물들을 분류하여 충돌 가능성을 판단한다(S230). 이때, 인식된 장애물들이 중복인식된 장애물인지를 판단한 후에, 충돌방지를 위하여 상기 장애물들을 2 이상의 종류로 분류하는 단계를 실시하되, 신속 정확한 데이터 분류를 위하여 상기 단계(S210)의 장애물 형상 인식 데이터 속성을 사용하는 것이 바람직하다. 또한, 단계(S220)의 차선인식 결과와 상기 인식된 장애물의 영상내 위치정보 결과를 결합하여 자기차량 진행 차선 내에 당해 장애물이 존재하는지 차선 밖에 당해 장애물이 존재하는지의 판단을 실시하여, 주행차선 내에 존재하는 장애물들만을 대상으로 상기 분류들을 실시하는 것이 바람직하다.
본 발명에 따르면, 인식된 장애물들은 크게 세 단계로 분류된다.
첫째, 패턴 인식된 장애물들 중 형상 인식된 장애물과 일치하지 않는 것은 목표 거리 밖에 존재하여 위험도가 낮은 것으로 판단된다. 둘째, 형상 인식된 장애물 중 패턴 인식된 장애물과 일치하지 않는 것은 목표 거리 이내에 위치하되 사전에 예상되지 않은 장애물일 가능성이 매우 높다. 또는 신호 처리 과정에서의 오류일 수 있으므로, 영상 신호를 재처리하는 것이 바람직하다. 셋째, 형상 인식된 장애물 중 패턴 인식된 장애물과 일치하는 것은 목표 거리 이내에 위치하여 위험도가 높은 것으로 판단된다. 따라서, 인식된 장애물의 종류가 전방 차량 또는 보행자일 가능성이 높다.
위험 판단부(140)는 위와 같은 세가지 종류의 판단 결과를 제어부(180)에 전송한다(S240,S250,S260).
제어부(180)는 위험 판단부(140)로부터 수신된 판단 결과에 따라, 주행중인 차량이 장애물과 충돌하지 않도록 또는 도로를 이탈하지 않도록, 운전자 경보 장치, 안전벨트, 에어백, 브레이크 장치, 조향장치 등의 제어를 위한 제어 신호를 생성하고 전송한다(S270). 또한, 상기 단계(S270)는 레이저빔부(110)가 정상적으로 작동할 수 있도록 최적의 신호 크기와 목표거리에 맞춘 레이저 라인빔 주사각도를 제어할 수 있고, 제어부(180)는 운전자의 차량운전 위험관리 요구에 따라 각각의 제어장치들이 선별적으로 자동 작동되도록 운전자입력부(150)에서 입력신호를 제공할 수 있으며, 제어부(180)는 레이저 라인빔에 의한 도로 형상정보를 메모리부(160)에 저장할 수도 있다.
이하에서는, 본 발명의 일 실시예에 따른 장애물 감지 시스템의 구현예에 대해 설명하기로 한다.
구현예
도 3은 본 발명의 일 실시예에 따른 장애물 감지 시스템(100)이 자동차에 적용된 예를 도시하는 도면이다.
도 3에 도시되는 바와 같이 차선(310)이 형성된 도로면을 주행하는 자동차의 상단에 레이저 빔 주사부(110)가 설치되고 상대적으로 낮은 위치(예를 들면, 자동차의 전면에 형성되는 범퍼 하부)에 영상 정보 획득부(120)가 설치될 수 있다. 레이저 빔 주사부(110)로부터 주사되는 레이저 빔은 자동차의 전방 도로면을 향하여 경사지게 주사될 수 있다. 영상 정보 획득부(120)의 제1 영상 획득부(121)는 레이저 빔이 투사되는 영역(A)을 포함하는 범위(B)를 모두 촬영할 수 있도록 설치된다.
여기서, 레이저 빔이 도로면에 도달하게 되는 지점과 자동차의 최전방 까지의 거리(d)를 알면 장애물이 감지되는 경우 장애물과 자동차와의 거리 또한 판단할 수 있게 된다. 거리(d)는 레이저 빔 주사부(110)가 설치되는 지면으로부터의 높이와 레이저 빔의 주사 각도로부터 계산될 수도 있고, 사전에 직접 측정하는 방법에 의해 파악될 수도 있다. 또한, 거리(d)를 최소 안전거리로 설정해 놓게 되면, 앞서가는 자동차와 안전거리가 유지가 되는 지에 대한 파악을 실시간으로 할 수 있게 되어 안전거리 확보에 도움을 줄 수도 있게 된다.
도 4는 도 3에 예시한 도면에서 차선(310)과 평행하되 자동차의 중앙을 지나는 직선을 따라 자른 단면도를 나타낸다.
영상 정보 획득부(120)에 포함되는 제1 영상 획득부(121)의 카메라 초점은 레이저 빔 주사부(110)가 투사한 레이저 빔이 커버하는 영역(A)이 도로면(R)과 만나는 지점과 동일한 곳에 형성되도록 설치한다. 도 4에 예시하는 바와 같이 도로 상에는 장애물(400)이 존재할 수 있는데, 이러한 경우 레이저 빔 주사부(110)로부터 투사되는 레이저 빔 중 일부는 장애물(400)에 도달하고 나머지 일부는 도로면(R)에 도달하게 된다. 도 4에 예시한 장애물(400)은 원통형인 것으로 가정한다.
레이저 라인빔의 광선 주사 방향이 도로면 기준에 대하여 기울어진 주사각도(θ)와 레이저 라인빔과 도로면과의 높이(H) 그리고 레이저 라인빔의 수직 지점에서 레이저 라인빔이 도로면에 도착한 지점까지의 거리(L2) 정보중에서, 주사각도(θ)와 높이(H) 정보는 이미 알고 있는 정보이므로 삼각함수 원리를 적용하여 거리(L2) 정보를 계산할 수 있다. 동시에 장애물과 자기차량 사이의 거리도 삼각형의 비례원리를 적용하여 추정 계산할 수 있다. 그리고 빔영상카메라(121)가 자기차량의 맨 앞부분에 설치된 경우 자기차량과 레이저 라인빔이 도로면에 도착한 지점 사이의 거리(L1)를 별도로 계산하여 충돌방지를 위한 판단기준으로 활용할 수 있다.
도 5는 도 4의 예에서 제1 영상 획득부(121)에 의해 획득된 영상 중 투사된 레이저 빔의 영상만을 나타낸 도면이다.
레이저 빔 주사부(110)에 의해 투사되는 레이저 빔이 수평선 형태의 레이저 빔이며, 장애물(400)이 원통형이고, 제1 영상 획득부(121)가 레이저 빔 주사부(110)에 비해 상대적으로 낮은 위치에 설치되기 때문에, 일부가 원통형 장애물(400)의 표면에 도달하고 나머지 일부가 도로면(R)에 도달한 레이저 빔의 형태는 도 5와 같아진다.
영상 인식부(230)는 이렇게 획득된 영상으로부터 원통형의 장애물(400)이 레이저 빔이 주사되는 감시 영역 이내에 존재하고, 감시 영역에 있어서 중앙 부분에 해당 장애물(400)이 위치한다는 것을 파악해낼 수 있다.
영상 인식부(230)는 도 5와 같은 영상에서 직선 부분을 도로면(R)인 것으로 판단해낼 수 있지만, 도로면(R) 만을 촬영했을 때의 영상 데이터, 즉, 아무런 장애물도 존재하지 않는 경우의 영상 데이터와 비교함으로써 해당 직선 부분이 도로면(R)인지 여부를 더 정확히 파악해낼 수 있다. 또한, 곡선으로 표시된 부분 중 최상단 부분과 도로면(R)으로 판단되는 직선 부분과의 거리를 측정하게 되면, 광삼각법을 통해 장애물(400)과 자동차 사이의 근접거리를 계산해낼 수도 있다.
한편, 도로의 3차원 형상 데이터를 수집하기 위해서는 레이저 빔이 도로 전체에 주사되어 스캐닝되어야 하는데, 본 발명에 따르면 속도감지센서로부터 자동차의 주행 속도와 관련된 정보가 얻어지기 때문에, 이렇게 얻어지는 자동차의 주행 속도를 고려하면 누적적으로 얻어지는 레이저 빔의 투사 영상으로부터 도로면을 전체적으로 스캐닝한 패턴이 얻어지게 된다. 따라서, 3차원 도로 형상에 대한 정보 수집이 가능해진다.
도 6은 본 발명의 일 실시예에 따른 장애물 감지 시스템(100)이 자동차에 적용된 예를 도시하는 도면이다. 도 6에 도시되는 구현예에서는 레이저 빔 주사부(110)가 2개의 레이저 광원을 포함한다.
도 6을 참조하면, 서로 다른 높이에 형성되거나 서로 다른 빔 주사각을 갖는 2개의 레이저 광원으로부터 레이저 빔이 주사되기 때문에 서로 다른 레이저 빔 투사 영역(A1, A2)이 형성되며, 각 광원으로부터 투사된 레이저 빔이 도로면에 도달하는 위치 또한 다르게 된다.
이렇게 복수개의 레이저 광원을 이용하게 되면, 서로 다른 레이저 빔 투사 영역, 즉, 감시 영역을 얻을 수 있게 되어 감시 영역 단위로 위험 단계가 파악될 수 있게 되고, 각 감시 영역별로 장애물이 감지되는 순간을 파악하여 이로부터 해당 장애물의 이동과 관련된 정보(예를 들면, 방향 또는 속도 정도 등)를 파악할 수도 있다. 한편, 전술한 바와 같이 복수개의 레이저 광원으로부터 주사된 레이저 빔에 대해 각각 직선성 평가를 하게 되면, 감지된 장애물의 경사각 또는 장애물이 경사진 방향으로 이동 중인지 여부를 파악해낼 수도 있다. 이러한 방식에 의함으로써 하나의 레이저 광원을 이용하는 경우보다 자동차의 이동 정보, 도로면에 관한 정보 또는 장애물에 대한 정보를 더 정확히 파악해낼 수 있게 된다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
110: 레이저 빔 주사부
120: 영상 정보 획득부
121: 제1 영상 획득부
122: 제2 영상 획득부
130: 영상 인식부
131: 제1 영상 신호 처리부
132: 제2 영상 신호 처리부
140: 위험 판단부
150: 입력부
160: 메모리부
170: 외부 장치
180: 제어부

Claims (18)

  1. 적어도 하나의 레이저 광원으로부터 목표 거리의 지면을 향해 주사된 레이저 빔만을 선별 수신하여 제1 영상 정보로서 획득하는 제1 영상 획득부;
    실제 주변 환경에 대한 영상을 제2 영상 정보로서 획득하는 제2 영상 획득부;
    상기 제1 영상 정보를 이용하여 상기 레이저 빔의 선 정보를 3차원 형상 인식 신호 처리하여 장애물을 형상 인식하고, 상기 제2 영상 정보를 패턴 인식 신호 처리하여 장애물을 패턴 인식하는 영상 인식부; 및
    상기 형상 인식된 장애물과 상기 패턴 인식된 장애물이 일치하는지 여부에 따라 인식된 장애물들을 분류하여, 상기 목표 거리 내의 장애물 존재에 따른 충돌 가능성을 판단하는 위험 판단부
    를 포함하는 장애물 감지 시스템.
  2. 제1항에 있어서,
    상기 영상 인식부는 상기 형상 인식된 장애물이 자기 차량의 진행 방향을 기준으로 좌측 또는 우측 방향으로 상대적으로 이동하는 것을 인식하고,
    상기 위험 판단부는 상기 형상 인식된 장애물의 이동에 따른 충돌 가능성을 판단하는
    장애물 감지 시스템.
  3. 제1항에 있어서,
    상기 영상 인식부는 상기 제2 영상 정보를 패턴 인식 신호 처리하여 자기차량의 주행 차선을 패턴 인식하고,
    상기 위험 판단부는 주행 차선의 패턴 인식 결과와 형상 인식 또는 패턴 인식된 장애물의 위치 정보를 비교 분석하여, 상기 주행 차선 내에 존재하는 장애물을 추출한 후, 추출된 장애물에 한해 분류를 수행하는
    장애물 감지 시스템.
  4. 제1항에 있어서,
    상기 위험 판단부는,
    상기 형상 인식된 장애물 중 상기 패턴 인식된 장애물과 일치하는 것은 상기 목표 거리 이내에 위치하여 위험도가 높은 것으로 판단하고, 상기 패턴 인식된 장애물 중 상기 형상 인식된 장애물과 일치하지 않는 것은 목표 거리 밖에 존재하여 위험도가 낮은 것으로 판단하는
    장애물 감지 시스템.
  5. 제1항에 있어서,
    상기 형상 인식된 장애물이 상기 패턴 인식된 장애물과 일치하지 않는 경우,
    상기 영상 인식부는 제2 영상 획득부로부터 얻어진 영상 데이터에 대한 신호 처리를 재수행하는
    장애물 감지 시스템.
  6. 제1항에 있어서,
    상기 목표 거리에 따라 상기 레이저 빔의 도로면 주사각도를 조절하고, 상기 위험 판단부의 판단결과에 따라 외부 제어장치 또는 안전 장치로 제어 신호를 전송하는 제어부
    를 더 포함하는 장애물 감지 시스템.
  7. 제1항에 있어서,
    상기 영상 인식부는,
    상기 제1 영상 정보로부터 상기 목표 거리 내 장애물의 존재 여부, 상기 장애물의 위치, 형상, 이동 방향 또는 이동 속도에 관한 정보를 인식하는 제1 영상 신호 처리부; 및
    제2 영상 정보를 처리하는 패턴 인식 알고리즘을 수행하는 제2 영상 신호 처리부를 포함하는
    장애물 감지 시스템.
  8. 제7항에 있어서,
    상기 레이저 빔은 수평선 형태의 빔이고, 상기 제1 영상 신호 처리부는 광삼각법 또는 상기 레이저 빔의 투사 형상에 대한 직선성 평가를 이용하여 상기 개체에 관한 정보를 3차원 형상 정보로서 인식하는 장애물 감지 시스템.
  9. 제8항에 있어서,
    상기 제1 영상 신호 처리부는,
    상기 제1 영상 정보로부터 상기 목표 거리 내에 존재하는 개체를 인식하고, 상기 레이저 빔의 투사 형상이 직선을 벗어나는 정도에 따라 상기 개체를 시설물, 요철 또는 장애물로 구분지어 인식하는
    장애물 감지 시스템.
  10. 적어도 하나의 레이저 광원으로부터 목표 거리의 지면을 향해 레이저 빔을 주사하는 단계;
    상기 레이저 빔만을 선별 수신하여 제1 영상 정보를 획득하는 단계;
    실제 주변 환경에 대한 영상을 제2 영상 정보로서 획득하는 단계;
    상기 제1 영상 정보를 이용하여 상기 레이저 빔의 선 정보를 3차원 형상 인식 신호 처리하여 장애물을 형상 인식하는 단계;
    상기 제2 영상 정보를 패턴 인식 신호 처리하여 장애물을 패턴 인식하는 단계;
    상기 형상 인식된 장애물과 상기 패턴 인식된 장애물이 일치하는지 여부에 따라 인식된 장애물들을 분류하는 단계; 및
    상기 분류 결과에 따라, 상기 목표 거리 내에 장애물이 존재하는지 여부를 분석하여 상기 장애물과의 충돌 가능성을 판단하는 위험 판단 단계
    를 포함하는 장애물 감지 방법
  11. 제10항에 있어서,
    상기 형상 인식 단계는 상기 형상 인식된 장애물이 자기 차량의 진행 방향을 기준으로 좌측 또는 우측 방향으로 상대적으로 이동하는 것을 인식하고,
    상기 위험 판단 단계는 상기 형상 인식된 장애물의 이동에 따른 충돌 가능성을 판단하는
    장애물 감지 방법.
  12. 제10항에 있어서,
    상기 패턴 인식 단계는 상기 제2 영상 정보를 패턴 인식 신호 처리하여 자기차량의 주행 차선을 패턴 인식하고,
    상기 위험 판단 단계는 상기 주행 차선의 패턴 인식 결과와 형상 인식 또는 패턴 인식된 장애물의 위치 정보를 비교 분석하여, 상기 주행 차선 내에 존재하는 장애물을 추출한 후, 추출된 장애물에 한해 분류를 수행하는
    장애물 감지 방법.
  13. 제10항에 있어서,
    상기 위험 판단 단계는,
    상기 형상 인식된 장애물 중 상기 패턴 인식된 장애물과 일치하는 것은 상기 목표 거리 이내에 위치하여 위험도가 높은 것으로 판단하는
    장애물 감지 방법.
  14. 제10항에 있어서,
    상기 분류 결과, 상기 형상 인식된 장애물이 상기 패턴 인식된 장애물과 일치하지 않는 경우, 상기 영상 인식부는 제2 영상 획득부로부터 얻어진 영상 데이터에 대한 신호 처리를 재수행하는
    장애물 감지 방법.
  15. 제10항에 있어서,
    상기 위험 판단 단계는,
    상기 패턴 인식된 장애물 중 상기 형상 인식된 장애물과 일치하지 않는 것은 목표 거리 밖에 존재하여 위험도가 낮은 것으로 판단하는
    장애물 감지 시스템.
  16. 제10항에 있어서,
    상기 위험 판단 단계는,
    상기 제2 영상 정보에 대한 인식 결과로서 검출된 개체가 상기 제1 영상 정보에 포함되지 않는 것으로 인식되는 경우, 상기 검출된 개체가 상기 레이저 빔이 주사되는 영역 외에 위치하는 것으로 판단하는 단계를 포함하는 장애물 감지 방법.
  17. 제10항에 있어서,
    상기 레이저 빔 주사 단계에 앞서,
    상기 목표 거리에 따라 상기 레이저 빔의 도로면 주사각도를 조절하는 단계
    를 더 포함하는 장애물 감지 방법.
  18. 제10항에 있어서,
    상기 위험 판단 단계 후에,
    상기 위험 판단부의 판단결과에 따라 외부 제어장치 또는 안전 장치로 제어 신호를 전송하는 단계
    를 더 포함하는 장애물 감지 방법.
KR1020100095838A 2010-10-01 2010-10-01 장애물 감지 시스템 및 방법 KR101395089B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100095838A KR101395089B1 (ko) 2010-10-01 2010-10-01 장애물 감지 시스템 및 방법
US13/179,122 US20120081542A1 (en) 2010-10-01 2011-07-08 Obstacle detecting system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100095838A KR101395089B1 (ko) 2010-10-01 2010-10-01 장애물 감지 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120034352A true KR20120034352A (ko) 2012-04-12
KR101395089B1 KR101395089B1 (ko) 2014-05-16

Family

ID=45889481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100095838A KR101395089B1 (ko) 2010-10-01 2010-10-01 장애물 감지 시스템 및 방법

Country Status (2)

Country Link
US (1) US20120081542A1 (ko)
KR (1) KR101395089B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101491314B1 (ko) * 2013-09-10 2015-02-06 현대자동차주식회사 레이저 스캐너를 이용한 장애물 인식 장치 및 방법
KR20150049934A (ko) * 2013-10-31 2015-05-08 현대자동차주식회사 지면 데이터 필터링 방법 및 그 장치
WO2016047890A1 (ko) * 2014-09-26 2016-03-31 숭실대학교산학협력단 보행 보조 방법 및 시스템, 이를 수행하기 위한 기록매체
KR20180000965A (ko) * 2016-06-24 2018-01-04 주식회사 만도 자율 긴급 제동 시스템 및 이의 구동 방법
KR20180041525A (ko) * 2016-10-14 2018-04-24 주식회사 만도 차량의 물체 트래킹 시스템 및 그 제어 방법
US9958260B2 (en) 2013-09-25 2018-05-01 Hyundai Motor Company Apparatus and method for extracting feature point for recognizing obstacle using laser scanner
KR20190042183A (ko) * 2017-10-16 2019-04-24 한국기계연구원 장애물 회피를 위한 정보공유시스템 및 이의 제어방법
KR101951214B1 (ko) * 2017-09-04 2019-05-23 (주)아이지오 돌발 상황 녹화기능이 있는 태양광을 활용한 cctv 폴대 관리 시스템 및 방법
JP2023022195A (ja) * 2016-09-20 2023-02-14 イノヴィズ テクノロジーズ リミテッド Ｌｉｄａｒシステム及び方法

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
DE102011076112A1 (de) * 2011-05-19 2012-11-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen eines möglichenKollisionsobjektes
JP5639283B2 (ja) * 2011-11-25 2014-12-10 本田技研工業株式会社 車両周辺監視装置
KR101338075B1 (ko) * 2011-12-14 2013-12-06 현대자동차주식회사 레이저 빔을 이용한 보행자 경고방법
JP2013140515A (ja) * 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc 立体物検出装置及びプログラム
US8781721B2 (en) * 2012-06-06 2014-07-15 Google Inc. Obstacle evaluation technique
DE102013200409A1 (de) * 2013-01-14 2014-07-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen eines Umfelds eines Fahrzeugs und Verfahren zum Durchführen einer Notbremsung
TW201500735A (zh) * 2013-06-18 2015-01-01 Nat Applied Res Laboratories 行動式影像流速辨識之方法及其裝置
EP2865988B1 (de) * 2013-10-22 2018-09-19 Baumer Electric Ag Lichtschnittsensor
KR101480647B1 (ko) * 2013-11-15 2015-01-09 현대자동차주식회사 협로 주행을 위한 조향 위험도 판단 시스템 및 그 판단 방법
KR102173994B1 (ko) * 2014-03-18 2020-11-04 주식회사 만도 차량용 레이더의 조정 방법 및 제어 장치
CN104354644A (zh) * 2014-08-26 2015-02-18 孟世民 倒车监测装置及具有其的车辆
JP5947938B1 (ja) 2015-03-06 2016-07-06 ヤマハ発動機株式会社 障害物検出装置およびそれを備えた移動体
TWI588444B (zh) * 2015-10-08 2017-06-21 國立勤益科技大學 路面檢測方法、路面檢測裝置與路面檢測系統
US10262540B2 (en) * 2016-01-29 2019-04-16 Ford Global Technologies, Llc Bollard receiver identification
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
JP6654999B2 (ja) * 2016-12-12 2020-02-26 株式会社Ｓｏｋｅｎ 物標検出装置
KR102050632B1 (ko) * 2017-08-02 2019-12-03 주식회사 에스오에스랩 다채널 라이다 센서 모듈
DE102017122711A1 (de) * 2017-09-29 2019-04-04 Claas E-Systems Kgaa Mbh & Co. Kg Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine
US11307309B2 (en) * 2017-12-14 2022-04-19 COM-IoT Technologies Mobile LiDAR platforms for vehicle tracking
US11245888B2 (en) * 2018-03-19 2022-02-08 Ricoh Company, Ltd. Information processing apparatus, image capture apparatus, image processing system, and method of processing a plurality of captured images of a traveling surface where a moveable apparatus travels
CN108549880B (zh) * 2018-04-28 2021-06-25 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
KR102554594B1 (ko) * 2018-07-09 2023-07-12 현대모비스 주식회사 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법
US11726210B2 (en) 2018-08-05 2023-08-15 COM-IoT Technologies Individual identification and tracking via combined video and lidar systems
US10699137B2 (en) * 2018-08-14 2020-06-30 Verizon Connect Ireland Limited Automatic collection and classification of harsh driving events in dashcam videos
CN111323785A (zh) * 2018-12-13 2020-06-23 青岛海尔多媒体有限公司 障碍物识别方法和激光电视
KR102141299B1 (ko) * 2019-02-26 2020-08-04 한국해양대학교 산학협력단 스마트 모빌리티 사고위험 감지 시스템
KR20200142155A (ko) * 2019-06-11 2020-12-22 주식회사 만도 운전자 보조 시스템, 그를 가지는 차량 및 그 제어 방법
CN112215031B (zh) * 2019-07-09 2024-03-19 北京地平线机器人技术研发有限公司 一种障碍物的确定方法及装置
KR102220950B1 (ko) * 2019-07-31 2021-02-26 엘지전자 주식회사 자율 주행 시스템에서 차량을 제어하기 위한 방법 및 장치
CN110889390A (zh) * 2019-12-05 2020-03-17 北京明略软件系统有限公司 姿势识别方法、装置、控制设备和机器可读存储介质
JP2021092967A (ja) * 2019-12-10 2021-06-17 トヨタ自動車株式会社 画像処理システム、画像処理装置及びプログラム
CN111142524A (zh) * 2019-12-27 2020-05-12 广州番禺职业技术学院 一种垃圾捡拾机器人、方法、装置及存储介质
CN111242986B (zh) * 2020-01-07 2023-11-24 阿波罗智能技术(北京)有限公司 跨相机的障碍物跟踪方法、装置、设备、系统及介质
CN112329552B (zh) * 2020-10-16 2023-07-14 爱驰汽车（上海）有限公司 基于汽车的障碍物检测方法及装置
CN112550307B (zh) * 2020-11-16 2022-04-26 东风汽车集团有限公司 一种车辆用的户外预警系统及车辆
CN112528950A (zh) * 2020-12-24 2021-03-19 济宁科力光电产业有限责任公司 一种用于仓储通道的移动目标识别系统及方法
KR20230130649A (ko) * 2021-01-14 2023-09-12 엘지전자 주식회사 무선통신시스템에서 v2x 단말이 메시지를 전송하는방법 및 이를 위한 장치
CN113221635A (zh) * 2021-03-29 2021-08-06 追创科技(苏州)有限公司 结构光模组及自主移动设备
CN112977393B (zh) * 2021-04-22 2024-01-12 周宇 自动驾驶防撞避免装置及其方法
CN116647746A (zh) * 2021-06-02 2023-08-25 北京石头世纪科技股份有限公司 自移动设备
US20230048101A1 (en) * 2021-08-11 2023-02-16 Rosemount Aerospace Inc. Aircraft door camera system for jet bridge alignment monitoring
CN113887433A (zh) * 2021-09-30 2022-01-04 上海商汤临港智能科技有限公司 一种障碍物的检测方法、装置、计算机设备及存储介质
WO2023250013A1 (en) * 2022-06-21 2023-12-28 Board Of Regents, The University Of Texas System Non-contact systems and methods to estimate pavement friction or type
CN115556743B (zh) * 2022-09-26 2023-06-09 深圳市昊岳科技有限公司 一种公交智能防碰撞系统及方法
CN115270999B (zh) * 2022-09-26 2022-12-06 毫末智行科技有限公司 一种障碍物风险等级分类方法、装置、存储介质和车辆
CN115817463B (zh) * 2023-02-23 2023-05-26 禾多科技（北京）有限公司 车辆避障方法、装置、电子设备和计算机可读介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3212218B2 (ja) * 1994-05-26 2001-09-25 三菱電機株式会社 車両用障害物検出装置
KR980009266U (ko) * 1996-07-31 1998-04-30 양재신 차량간 거리 자동 측정장치
JP3358709B2 (ja) * 1997-08-11 2002-12-24 富士重工業株式会社 車両用運転支援装置
JP3779280B2 (ja) * 2003-03-28 2006-05-24 富士通株式会社 衝突予測装置
JP2005324297A (ja) * 2004-05-17 2005-11-24 Matsushita Electric Ind Co Ltd ロボット
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
JP2008037361A (ja) * 2006-08-09 2008-02-21 Toyota Motor Corp 障害物認識装置
JP5145599B2 (ja) * 2007-04-27 2013-02-20 本田技研工業株式会社 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
US7710545B2 (en) * 2008-02-13 2010-05-04 The Boeing Company Scanned laser detection and ranging apparatus

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101491314B1 (ko) * 2013-09-10 2015-02-06 현대자동차주식회사 레이저 스캐너를 이용한 장애물 인식 장치 및 방법
US9810787B2 (en) 2013-09-10 2017-11-07 Hyundai Motor Company Apparatus and method for recognizing obstacle using laser scanner
US9958260B2 (en) 2013-09-25 2018-05-01 Hyundai Motor Company Apparatus and method for extracting feature point for recognizing obstacle using laser scanner
KR20150049934A (ko) * 2013-10-31 2015-05-08 현대자동차주식회사 지면 데이터 필터링 방법 및 그 장치
WO2016047890A1 (ko) * 2014-09-26 2016-03-31 숭실대학교산학협력단 보행 보조 방법 및 시스템, 이를 수행하기 위한 기록매체
KR20180000965A (ko) * 2016-06-24 2018-01-04 주식회사 만도 자율 긴급 제동 시스템 및 이의 구동 방법
JP2023022195A (ja) * 2016-09-20 2023-02-14 イノヴィズ テクノロジーズ リミテッド Ｌｉｄａｒシステム及び方法
KR20180041525A (ko) * 2016-10-14 2018-04-24 주식회사 만도 차량의 물체 트래킹 시스템 및 그 제어 방법
KR101951214B1 (ko) * 2017-09-04 2019-05-23 (주)아이지오 돌발 상황 녹화기능이 있는 태양광을 활용한 cctv 폴대 관리 시스템 및 방법
KR20190042183A (ko) * 2017-10-16 2019-04-24 한국기계연구원 장애물 회피를 위한 정보공유시스템 및 이의 제어방법

Also Published As

Publication number Publication date
US20120081542A1 (en) 2012-04-05
KR101395089B1 (ko) 2014-05-16

Similar Documents

Publication Publication Date Title
KR101395089B1 (ko) 장애물 감지 시스템 및 방법
US10984509B2 (en) Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product
US10657670B2 (en) Information processing apparatus
JP4650079B2 (ja) 物体検出装置、および方法
KR101644370B1 (ko) 물체 검출 장치 및 그 동작 방법
US9934690B2 (en) Object recognition apparatus and vehicle travel controller using same
JP7025912B2 (ja) 車載環境認識装置
KR20200127219A (ko) 검출된 배리어에 기반한 차량의 항법
JP5145585B2 (ja) 物標検出装置
TW201704067A (zh) 防撞方法、實現該防撞方法之電腦程式產品及防撞系統
WO2005086080A1 (en) Method and apparatus for detecting a presence
JP2008123462A (ja) 物体検知装置
KR20110067359A (ko) 차량 충돌 방지 장치 및 방법
US20190014302A1 (en) Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and recording medium
US20120163671A1 (en) Context-aware method and apparatus based on fusion of data of image sensor and distance sensor
KR102031503B1 (ko) 다중 객체 검출 시스템 및 방법
JP6129268B2 (ja) 車両用運転支援システムおよび運転支援方法
JP6331811B2 (ja) 信号機検出装置及び信号機検出方法
JP2009237898A (ja) 画像認識装置
JP3666332B2 (ja) 歩行者検知装置
WO2017145634A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP4937844B2 (ja) 歩行者検出装置
JP2018048949A (ja) 物体識別装置
KR20200055965A (ko) 도로 장애물의 알림 및 차량의 추적이 가능한 라이다를 이용한 교통 감시 시스템
JP2019207654A (ja) 検知装置及び検知システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180509

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190508

Year of fee payment: 6