KR101239718B1 - 차량 주변 물체 검출 시스템 및 방법 - Google Patents

차량 주변 물체 검출 시스템 및 방법 Download PDF

Info

Publication number
KR101239718B1
KR101239718B1 KR1020100127458A KR20100127458A KR101239718B1 KR 101239718 B1 KR101239718 B1 KR 101239718B1 KR 1020100127458 A KR1020100127458 A KR 1020100127458A KR 20100127458 A KR20100127458 A KR 20100127458A KR 101239718 B1 KR101239718 B1 KR 101239718B1
Authority
KR
South Korea
Prior art keywords
vehicle
detecting
obstacle
detected
object detection
Prior art date
Application number
KR1020100127458A
Other languages
English (en)
Other versions
KR20120066220A (ko
Inventor
한영인
서용덕
송영기
백원인
Original Assignee
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이미지넥스트 filed Critical 주식회사 이미지넥스트
Priority to KR1020100127458A priority Critical patent/KR101239718B1/ko
Publication of KR20120066220A publication Critical patent/KR20120066220A/ko
Application granted granted Critical
Publication of KR101239718B1 publication Critical patent/KR101239718B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량 주변 물체 검출 시스템 및 방법에 관한 것으로, 본 발명에 따른 시스템은 차량에 장착되어 차량의 주변을 촬영하는 카메라 모듈, 그리고 카메라에서 촬영된 영상에 제1 물체 검출 알고리즘을 적용하여 차량으로부터 소정 거리 이내에 영역에서 물체를 검출하고, 카메라에서 촬영된 영상에 제2 물체 검출 알고리즘을 적용하여 차량으로부터 소정 거리 이상 떨어진 영역에서 물체를 검출하는 물체 검출 모듈을 포함한다. 상기 시스템은 차량이 정지한 경우 제2 물체 검출 알고리즘에 의해 검출된 물체가 고정 물체인 경우 장애물에서 제외할 수 있다. 장애물로 판단되는 물체의 차로 상에 위치 여부에 따라 식별 마크를 다르게 표시할 수 있다. 본 발명에 의하면 차량으로부터 거리에 따라 물체 검출 알고리즘을 선택적으로 적용하는 차량 주변 물체를 신뢰도 있게 검출할 수 있다. 또한 차선 위에 위치하는지 여부에 따라 운전자에게 다르게 물체 존재 여부를 다르게 알려줌으로써 운전자가 위험 여부를 보다 쉽게 판단할 수 있다. 또한 차량 주행 또는 정지 여부에 따라 고정 물체에 대한 경고 여부를 달리함으로써 운전자가 불필요하게 주의를 뺏기는 것을 방지할 수 있다.

Description

차량 주변 물체 검출 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING OBJECT OF VEHICLE SURROUNDINGS}
본 발명은 차량 주변 물체 감지 시스템 및 방법에 관한 것으로, 보다 자세하게는 차량으로부터 거리에 따라 물체 검출 알고리즘을 선택적으로 적용하는 차량 주변 물체 감지 시스템 및 방법에 관한 것이다.
최근 들어 차량의 주변 환경을 촬영하여 모니터링 시켜주는 시스템이 점차 늘어나고 있다. 그리고 영상 처리 기술의 발달에 따라 단순히 차량 주변 영상을 운전자에게 보여주는 것뿐만 아니라 차량 주변 영상에서 물체를 검출하여 충돌 가능성 여부를 판단하고 이를 알려주는 기술도 개발되고 있다.
그리고 종래에는 단순히 차량 전후방을 촬영한 영상을 시점 변환 없이 단순하게 제공하였으나 주차 시에는 차량과 주위 물체와의 접촉 여부 등을 보다 명확하게 보여줄 수 있도록 차량의 상공에서 지면을 내려다보는 가상 시점, 이른바 탑뷰 시점으로 차량 주변 영상을 변환하여 보여주는 기술도 개발되었다.
그런데 차량과의 거리나 카메라 시점에 관계없이 단순하게 하나의 물체 검출 알고리즘을 적용하여 차량 주변에 위치한 물체를 검출할 경우 신뢰도 있게 차량 주변 물체를 검출하지 못하는 문제점이 있었다.
따라서 본 발명이 해결하고자 하는 과제는 차량으로부터 거리에 따라 물체 검출 알고리즘을 선택적으로 적용하는 차량 주변 물체 감지 시스템 및 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 일 실시예에 따른 차량 주변 물체 검출 시스템은 차량에 장착되어 상기 차량의 주변을 촬영하는 카메라 모듈, 그리고 상기 카메라에서 촬영된 영상에 제1 물체 검출 알고리즘을 적용하여 상기 차량으로부터 소정 거리 이내에 영역에서 물체를 검출하고, 상기 카메라에서 촬영된 영상에 제2 물체 검출 알고리즘을 적용하여 상기 차량으로부터 소정 거리 이상 떨어진 영역에서 물체를 검출하는 물체 검출 모듈을 포함한다.
상기 제1 물체 검출 알고리즘은, 상기 카메라 모듈에서 촬영된 차량 주변 영상을 탑뷰 시점으로 변환하고, 상기 탑뷰 시점으로 변환된 차량 주변 영상에서 에지 맵을 생성하며, 상기 에지 맵에 대해 상기 카메라 모듈의 광축을 기준으로 소정 각도 단위로 에지 픽셀을 방사상 방향으로 카운팅한 히스토그램 값으로 이루어지는 히스토그램을 생성하고, 상기 생성된 히스토그램을 이용하여 상기 차량으로부터 소정 거리 이내에 위치한 물체를 검출하는 방법일 수 있다.
상기 제1 물체 검출 알고리즘은, 상기 히스토그램에서 히스토그램 값이 소정 기준 이상인 구간을 물체가 위치한 영역으로 검출할 수 있다.
상기 제2 물체 검출 알고리즘은, 상기 카메라 모듈에서 촬영된 차량 주변 영상에서 에지 맵을 생성하며, 상기 에지 맵에서 물체를 검출하고, 상기 검출된 물체에 대응하는 움직임 벡터를 검출하여 상기 검출된 물체의 움직임 여부를 판단할 수 있다.
상기 시스템은 상기 물체 검출 모듈에서 검출된 물체에 대해 장애물 여부를 판단하는 장애물 판단 모듈을 더 포함할 수 있다.
상기 장애물 판단 모듈은, 상기 검출된 물체가 상기 차량 주변 영상에서 미리 정해진 수 이상의 프레임에서 연속적으로 검출될 경우 장애물로 판단할 수 있다.
상기 장애물 판단 모듈은, 상기 제2 물체 검출 알고리즘에 의해 검출된 물체가 상기 차량이 주행하는 차로 밖에 위치하는 경우 장애물에서 제외할 수 있다.
상기 장애물 판단 모듈은, 상기 차량이 정지한 경우 상기 제2 물체 검출 알고리즘에 의해 검출된 물체가 고정 물체인 경우 장애물에서 제외할 수 있다.
상기 시스템은, 상기 장애물로 판단되는 물체에 대한 식별 마크를 화면에 표시하는 경고 모듈을 더 포함할 수 있다.
상기 경고 모듈은 상기 장애물로 판단되는 물체의 차로 상에 위치하는지 여부에 따라 식별 마크를 다르게 표시할 수 있다.
본 발명의 일 실시예에 따른 차량 주변 물체 검출 방법은, 차량에 장착되어 상기 차량의 주변을 촬영하는 단계, 상기 카메라에서 촬영된 영상에 제1 물체 검출 알고리즘을 적용하여 상기 차량으로부터 소정 거리 이내에 영역에서 물체를 검출하는 단계, 그리고 상기 카메라에서 촬영된 영상에 제2 물체 검출 알고리즘을 적용하여 상기 차량으로부터 소정 거리 이상 떨어진 영역에서 물체를 검출하는 단계를 포함한다.
상기 제1 물체 검출 알고리즘을 적용하여 물체를 검출하는 단계는, 상기 카메라 모듈에서 촬영된 차량 주변 영상을 탑뷰 시점으로 변환하는 단계, 상기 탑뷰 시점으로 변환된 차량 주변 영상에서 에지 맵을 생성하는 단계, 상기 에지 맵에 대해 상기 카메라 모듈의 광축을 기준으로 소정 각도 단위로 에지 픽셀을 방사상 방향으로 카운팅한 히스토그램 값으로 이루어지는 히스토그램을 생성하는 단계, 그리고 상기 생성된 히스토그램을 이용하여 상기 차량으로부터 소정 거리 이내에 위치한 물체를 검출하는 단계를 포함하고, 상기 히스토그램에서 히스토그램 값이 소정 기준 이상인 구간을 물체가 위치한 영역으로 검출할 수 있다.
상기 제2 물체 검출 알고리즘을 적용하여 물체를 검출하는 단계는, 상기 카메라 모듈에서 촬영된 차량 주변 영상에서 에지 맵을 생성하는 단계, 상기 에지 맵에서 물체를 검출하는 단계, 그리고 상기 검출된 물체에 대응하는 움직임 벡터를 검출하여 상기 검출된 물체의 움직임 여부를 판단하는 단계를 포함할 수 있다.
상기 방법은, 상기 물체 검출 모듈에서 검출된 물체에 대해 장애물 여부를 판단하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 차량 주변 물체 검출 방법은, 차량에 장착되어 상기 차량의 주변을 촬영하는 단계, 상기 카메라 모듈에서 촬영된 차량 주변 영상을 탑뷰 시점으로 변환하는 단계, 상기 탑뷰 시점으로 변환된 차량 주변 영상에서 에지 맵을 생성하는 단계, 상기 에지 맵에 대해 상기 카메라 모듈의 광축을 기준으로 소정 각도 단위로 에지 픽셀을 방사상 방향으로 카운팅한 히스토그램 값으로 이루어지는 히스토그램을 생성하는 단계, 그리고 상기 생성된 히스토그램을 이용하여 상기 차량으로부터 소정 거리 이내에 위치한 물체를 검출하는 단계를 포함하고, 상기 히스토그램에서 히스토그램 값이 소정 기준 이상인 구간을 물체가 위치한 영역으로 검출할 수 있다.
본 발명에 의하면, 차량으로부터 거리에 따라 물체 검출 알고리즘을 선택적으로 적용하는 차량 주변 물체를 신뢰도 있게 검출할 수 있다. 또한 차선 위에 위치하는지 여부에 따라 운전자에게 다르게 물체 존재 여부를 다르게 알려줌으로써 운전자가 위험 여부를 보다 쉽게 판단할 수 있다. 또한 차량 주행 또는 정지 여부에 따라 고정 물체에 대한 경고 여부를 달리함으로써 운전자가 불필요하게 주의를 뺏기는 것을 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 차량 주변 물체 검출 시스템을 설명하기 위해 제공되는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차량 주변 물체 검출 시스템을 보다 상세하게 나타낸 블록도이다.
도 3은 차량 주변 영역을 근거리 영역과 원거리 영역으로 구분하여 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 원거리 물체 검출 알고리즘에 따른 물체 검출 방법을 설명하기 위한 흐름도이다.
도 5는 근거리 물체 검출 알고리즘을 설명하기 위해 제공되는 영상이다.
도 6은 본 발명의 일 실시예에 따른 근거리 물체 검출 알고리즘에 따른 물체 검출 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 장애물 판단 동작에 대해 설명하기 위한 흐름도이다.
도 8은 장애물로 판정된 물체에 대한 식별 마크를 표시한 화면의 예를 나타낸 사진이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 차량 주변 물체 검출 시스템을 설명하기 위해 제공되는 블록도이다.
도 1을 참고하면, 먼저 차량 주변 물체 검출 시스템(200)은 차량(도시하지 않음)에 설치된 카메라 모듈(100)로부터 획득된 영상을 전달받고, 이를 기초로 차량 주변 물체를 검출하여 운전자가 인식할 수 있도록 화면에 표시하거나 경고음 또는 경고 메시지를 발생시킬 수 있다.
카메라 모듈(100)은 차량에 설치되어 차량 주변을 촬영하고, 촬영된 차량 주변 영상을 차량 주변 물체 검출 시스템(200)에 전달한다. 카메라 모듈(100)은 차량의 전방을 촬영하기 위한 전방 카메라를 포함할 수 있으며, 차량 후방을 촬영하기 위한 후방 카메라도 포함할 수 있다. 그리고 실시예에 따라서 차량의 좌측 또는 우측을 촬영하기 위한 좌측/우측 카메라도 포함할 수 있다. 기타 필요한 위치에 카메라를 장착하고 차량 주변 영상을 획득할 수도 있다.
카메라 모듈(100)은 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 구비할 수 있으며 핀홀 카메라를 포함할 수 있다. 카메라 모듈(100)은 60°에서 120°정도의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 획득할 수 있다.
그러면 도 2를 참고하여 본 발명에 따른 차량 주변 물체 검출 시스템(200)에 대해 보다 자세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 차량 주변 물체 검출 시스템을 보다 상세하게 나타낸 블록도이다.
도 2를 참고하면, 본 발명에 따른 차량 주변 물체 검출 시스템(200)은 영상 품질 제어 모듈(210), 물체 검출 모듈(230), 장애물 판단 모듈(250) 및 경고 모듈(270)을 포함할 수 있다.
영상 품질 제어 모듈(210)은 카메라 모듈(100)에서 촬영된 차량 주변 영상에 대해 영상 품질을 측정하고, 기준에 충족하지 않는 경우 영상 전처리를 수행할 수 있다. 영상 품질 측정은 물체 검출 모듈(230)에서 차량 주변 영상을 처리하여 차량 주변 물체를 감지할 수 있는 수준에 해당하는지 여부를 판단하기 위한 것으로, 차량 주변 영상의 밝기(brightness) 및 대비도(contrast)를 측정하여 미리 정해진 기준과 비교한다. 만일 차량 주변 영상의 밝기 및 대비도가 소정의 기준을 충족하지 못할 경우, 영상 품질 제어 모듈(210)은 차량 주변 영상에 미리 정의한 커브(curve)를 적용하여 카메라 모듈(100)에서 촬영된 차량 주변 영상의 품질을 향상시키는 영상 전처리 작업을 수행할 수 있다. 이를 위해 영상 품질 제어 모듈(210)은 카메라 모듈(100)에서 촬영된 차량 주변 영상을 RGB 영상에서 YUV 모델을 이용한 그레이 영상으로의 변환한 후 Y 값을 이용하여 밝기 및 대비도를 측정할 수 있다. 한편 위에서 미리 정의한 커브는 입력영상 화소 값을 특정 출력값으로 맵핑하기 위한 곡선을 의미한다.
물체 검출 모듈(230)은 영상 품질 제어 모듈(210)에서 출력되는 차량 주변 영상에서 물체를 검출하는 기능을 수행한다. 보다 자세하게는 본 발명에 따른 물체 검출 모듈(230)은 차량 주변 영상에 근거리 물체 검출 알고리즘 및 원거리 물체 검출 알고리즘을 선택적으로 적용하여 차량 주변 물체를 검출할 수 있다. 근거리 물체 검출 알고리즘은 차량으로부터 근거리 영역에서 물체를 검출하기 위한 것이고, 원거리 물체 검출 알고리즘은 차량으로부터 원거리 영역에서 물체를 검출하기 위한 것이다.
도 3은 차량 주변 영역을 근거리 영역과 원거리 영역으로 구분하여 예시한 도면이다.
도 3을 참고하면, 차량(10)의 전후방으로부터 미리 정해진 거리 3M 이내는 근거리 영역(11), 3M ~ 15M 범위는 원거리 영역(12)으로 구분한 경우가 예시되어 있다. 물론 실시예에 따라서 근거리 영역의 범위와 원거리 영역의 범위는 다르게 설정되거나 조정될 수 있다. 시스템 제조사에 의해 제품 출시 때부터 근거리 및 원거리 영역 범위가 설정될 수 있으며, 사용자로부터 설정받을 수도 있다. 근거리 영역(11)은 원거리 영역(12)에 비해 차량과 가까운 위치에 물체가 있으므로 충돌 가능성이 높은 위험 영역이고, 원거리 영역(12)은 근거리 영역(11)보다는 충돌 가능성은 낮으나 물체가 있을 경우 운전자의 주위를 환기시키기 위한 경고가 필요한 경고 영역으로 볼 수 있다.
그러면 원거리 물체 검출 알고리즘과 근거리 물체 검출 알고리즘에 대해 보다 자세히 설명한다.
먼저 도 4를 참고하여 원거리 물체 검출 알고리즘에 따른 물체 검출 방법에 대해 설명한다.
도 4는 본 발명의 일 실시예에 따른 원거리 물체 검출 알고리즘에 따른 물체 검출 방법을 설명하기 위한 흐름도이다.
도 4를 참고하면, 먼저 영상 품질 제어 모듈(210)에서 영상 품질 기준을 충족하도록 영상 전처리 과정을 거친 차량 주변 영상에서 에지 맵을 생성한다(S410). 단계(S410)에서 물체 검출 모듈(230)은 그레이 영상으로 변환된 차량 주변 영상에서 에지를 검출하고 적응형 임계치(adaptive threshold)를 적용하여 이진화된 에지 맵을 생성할 수 있다. 차량 주변 영상을 그레이 영상으로 변환하는 동작은 영상 품질 제어 모듈(210)에서 영상 품질 판단을 하는 과정에서 수행될 수 있으며, 실시예에 따라서는 물체 검출 모듈(230)에서 수행될 수도 있다.
다음으로 물체 검출 모듈(230)은 이진화된 에지 맵에서 물체 영역을 검출한다(S420). 단계(S410) 및 단계(S420)를 위해 물체 검출 모듈(230)은 에지 검출 알고리즘으로 캐니 에지(Canny Edge) 알고리즘을 이용할 수 있다. 실시예에 따라 물체 검출을 위해 아다부스트(AdaBoost) 등과 같은 다른 알고리즘이 이용될 수도 있다.
이후 물체 검출 모듈(230)은 검출된 물체 영역에 대한 움직임 벡터를 검출하고 이를 통해 움직임 물체를 검출할 수 있다(S430). 차량에 장착된 카메라는 차량의 움직임에 따라 움직이게 된다. 이러한 카메라의 움직임을 에고-모션(Ego-Motion)이라고 하는데, 카메라 촬영 영상에서 에고-모션을 보상해주면 카메라 촬영 영상에서 움직임 물체에 의한 움직임만 추정할 수 있다. 한편 에고-모션은 현재 영상과 이전 영상에서 검출된 특징점에 대해 루카스-카나데(Lucas-Kanade) 방법 등을 이용하여 대응점을 검출하고 검출된 대응점으로부터 추정할 수 있다. 그런데 움직이는 물체는 에고-모션 추정 시 오류를 가져올 수 있으므로 영상을 도로 영역, 도로 위 영역 및 영상 상부 영역으로 3 분할하여 이전 프레임에서 검출된 움직임 영역의 특징점은 제거하고, 각 영역에서 같은 비율로 검출된 특징점을 이용하여 에고-모션을 추정하면 오류를 줄일 수 있다. 보다 자세하게는 영상을 3분할한 것은 지평선을 중심으로 바라보는 카메라 영상에서 수평축을 3 분할하는 것으로, 맨 아래 도로 영역과 중간 도로 위 영역 그리고 하늘을 포함하는 상부 영역으로 구분될 수 있다. 이는 다른 차량의 움직임이 많은 도로 위 영역에서 다른 차량에 의한 움직임을 제거하기 위한 것이다.
한편 물체 검출 모듈(230)은 에지 맵 검출이나 움직임 벡터 검출 과정에서 노이즈를 제거하는 동작을 추가로 수행할 수 있다. 제거되는 노이즈로는 차량 그림자, 갑작스런 조도 변화, 예컨대 후미등, 터널등 등의 환경적 요소 등을 포함할 수 있다.
다음으로 도 5 및 도 6을 참고하여 근거리 물체 검출 알고리즘에 따른 물체 검출 방법에 대해 설명한다.
도 5는 근거리 물체 검출 알고리즘을 설명하기 위해 제공되는 영상이고, 도 6은 본 발명의 일 실시예에 따른 근거리 물체 검출 알고리즘에 따른 물체 검출 방법을 설명하기 위한 흐름도이다.
먼저 근거리 물체 검출 알고리즘은 다음과 같은 영상의 기하학적(Geometric) 특성을 이용한다. 예를 들어 차량 후방의 범퍼 부근에 설치된 실제 카메라의 시점을 차량의 수직 상공에서 내려다보는 탑뷰(Top-view) 시점으로 변환할 경우 카메라의 위치에서 특정 거리 이상에 있는 객체는 화면에서 늘어지는 현상이 발생한다. 도 5(a)는 차량에 설치된 카메라에서 촬영된 입력 영상을 예시한 것이고, 도 5(b)는 입력 영상을 탑뷰 시점으로 변환한 영상이며, 도 5(c)는 탑뷰 시점 변환 영상에서 에지 맵을 검출한 영상이다. 도 5(a) 내지 도 5(c)를 참고하면, 차량 주변에서 일정 높이 이상을 가지는 단차 물체(예컨대 사람 등)의 경우 카메라로부터 방사상 방향으로 늘어지는 현상이 발생하고 에지도 많이 검출됨을 알 수 있다.
도 6을 참고하면, 먼저 물체 검출 모듈(230)은 그레이 영상으로 변환된 차량 주변 영상을 탑뷰 영상으로 변환한다(S610). 그리고 물체 검출 모듈(230)은 탑뷰 영상에서 에지를 검출하고 적응형 임계치를 적용하여 이진화된 에지 맵을 생성할 수 있다(S620). 다음으로 도 5(d)에서와 같이 카메라 광축을 기준으로 소정 각도 단위로 히스토그램을 생성한다(S630). 도 5(e)에 예시한 것과 같이 단차 물체, 예컨대 사람이 위치한 각도에 대응하는 구간에서 히스토그램 값이 높게 나타난다. 여기서 히스토그램 값은 이진화된 에지 맵에서 에지 픽셀을 소정 각도 단위로 방사상 방향으로 카운팅하여 구할 수 있다. 물체 검출 모듈(230)은 히스토그램 값이 소정 기준 이상인 구간을 물체 영역으로 검출할 수 있다(S640). 좌표계를 방사 각도와 광축에서 거리로 표시하면, 우선 방사 각도에서 히스토그램으로 물체의 방향을 파악하고, 그 방향을 중심으로 수평축으로 스캔하면 수평 히스토그램을 얻을 수 있는데 적절한 임계치를 적용하면 광축으로부터 물체의 바닥까지의 거리를 구할 수 있다. 여기서 광축은 도 5d에서 분홍색 원으로 표시한 부분을 의미한다.
한편 물체 검출 모듈(230)은 탑뷰 시점 이진화 영상 상에서 허프 변환(Hough Transform)에 따른 차선을 검출할 수 있으며, 검출된 차선 정보를 장애물 판단 모듈(250)에 제공할 수 있다. 한편 실시예에 따라 허프 변환 외에 다른 알고리즘을 이용하여 차선 검출을 수행하는 것도 가능하다. 차량이 주행하고 있는 도로 영역을 검출하는 것도 가능하다.
이상과 같이 물체 검출 모듈(230)은 차량(10)으로부터 거리에 따라 근거리 물체 검출 알고리즘 및 원거리 물체 검출 알고리즘을 선택적으로 적용하여 차량 주변 물체를 검출할 수 있다. 그리고 검출된 물체에 대응하는 움직임 벡터를 이용하여 움직임 여부도 검출할 수 있다. 또한 차량 주변 영상에서 차선 정보도 검출할 수 있다.
장애물 판단 모듈(250)은 물체 검출 모듈(230)에서 검출된 물체에 대해 차량 주행에 장애가 되는지 여부를 판단한다. 이하에서는 도 7을 참고하여 장애물 판단 동작에 대해 자세히 설명한다.
도 7은 본 발명의 일 실시예에 따른 장애물 판단 동작에 대해 설명하기 위한 흐름도이다.
먼저 장애물 판단 모듈(250)은 물체 검출 모듈(230)에서 검출된 물체에 대해서 차량(10)이 주행하는 차로 내에 위치하는지 여부를 판단할 수 있다(S710). 여기서 차로는 차량(10)을 기준으로 좌측 차선과 우측 차선 사이의 영역을 의미하며, 장애물 판단 모듈(250)은 차로에 위치하는 물체만을 장애물로 판단할 수 있다. 근거리 영역(11)의 경우 위험 영역이므로 차로 내에 위치하는지 여부에 대한 판단을 생략할 수 있으며, 원거리 영역에 위치하는 물체에 대해서만 차로 내에 위치하는지 여부 판단을 수행할 수 있다. 즉 원거리 물체 검출 알고리즘에 의해 검출된 물체에 대해서만 단계(S710)에 따른 차로 내 위치 여부를 판단하고, 차로 밖 또는 도로 영역 밖에 위치한 물체는 장애물에서 제외할 수 있다. 한편 실시예에 따라서 차로 외에 위치하는 경우도 장애물로 판단하되 경고의 정도를 다르게 할 수 있다. 이에 대해서는 아래에서 자세히 설명한다.
다음으로 장애물 판단 모듈(250)은 차량(10)이 정지중인 경우(S720-Y), 원거리 영역에서 검출되는 물체 중에서 움직이지 않는 물체는 장애물에서 제외할 수 있다(S730). 비교적 덜 위험한 영역인 원거리 영역에서는 고정된 물체까지 장애물로 검출하여 운전자에게 알리는 것이 불필요할 수 있기 때문이다. 그리고 차량(10)이 정지중이더라도 근거리 영역의 경우 위험도가 높으므로 물체의 움직임 여부와 관계없이 장애물로 판단하도록 구현할 수 있다. 한편 차량(10)이 주행중에는 물체의 움직임 여부와 관계없이 장애물로 판단할 수 있다.
다음으로 장애물 판단 모듈(250)은 물체가 연속적으로 검출되는 프레임 수에 따른 신뢰도 지수를 산출하여 산출되는 신뢰도가 일정 기준치 이상인 경우(S740-Y), 장애물로 최종 판단할 수 있다(S750). 예를 들어 미리 정해진 수 이상의 프레임에서 연속적으로 검출될 경우만 해당 물체를 장애물로 판단할 수 있다. 이에 의해 차량 주변 장애물 검출의 신뢰도를 높일 수 있다.
다시 도 2를 참고하면, 경고 모듈(270)은 장애물 판단 모듈(250)에서 장애물로 판단된 물체에 대해 화면에 식별 마크를 표시할 수 있다. 예컨대 도 8에 예시한 것과 같이 장애물로 판정된 물체의 아래에 식별 마크를 표시할 수 있다. 실시예에 따라서는 장애물로 판정된 물체를 포함하는 원형, 사각형 또는 기타 모양을 가지는 마크를 표시할 수 있다. 한편 장애물이 차로 내 위치하는지 여부에 따라 표시되는 색깔을 구분할 수도 있다. 예컨대 차로 내에 위치한 장애물에 대해서는 붉은 색의 식별 마크를 표시하고 차로 밖에 위치하는 장애물에 대해서는 파란 색의 식별 마크를 표시할 수 있다. 물론 식별 마크의 표시 색깔도 실시예에 따라 다양하게 변경하여 적용할 수 있음은 물론이다.
경고 모듈(270)은 근거리 영역에서 장애물이 검출된 경우 또는 차로 내에서 장애물이 검출된 경우에 스피커(도시하지 않음)를 통해 경고음을 출력하거나 경고 메시지를 출력할 수 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 차량 주변 물체 검출 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (19)

  1. 차량에 장착되어 상기 차량의 주변을 촬영하는 카메라 모듈, 그리고
    상기 카메라 모듈에서 촬영된 영상에 제1 물체 검출 알고리즘을 적용하여 상기 차량으로부터 소정 거리 이내에 영역에서 물체를 검출하고, 상기 카메라 모듈에서 촬영된 영상에 제2 물체 검출 알고리즘을 적용하여 상기 차량으로부터 소정 거리 이상 떨어진 영역에서 물체를 검출하는 물체 검출 모듈
    을 포함하고,
    상기 제1 물체 검출 알고리즘은,
    상기 카메라 모듈에서 촬영된 차량 주변 영상을 탑뷰 시점으로 변환하고, 상기 탑뷰 시점으로 변환된 차량 주변 영상에서 에지 맵을 생성하며, 상기 에지 맵에 대해 상기 카메라 모듈의 광축을 기준으로 소정 각도 단위로 에지 픽셀을 방사상 방향으로 카운팅한 히스토그램 값으로 이루어지는 히스토그램을 생성하고, 상기 생성된 히스토그램을 이용하여 상기 차량으로부터 소정 거리 이내에 위치한 물체를 검출하는 방법인 것을 특징으로 하는 차량 주변 물체 검출 시스템.
  2. 삭제
  3. 제 1 항에서,
    상기 히스토그램에서 히스토그램 값이 소정 기준 이상인 구간을 물체가 위치한 영역으로 검출하는 것을 특징으로 하는 차량 주변 물체 검출 시스템.
  4. 제 3 항에서,
    상기 제2 물체 검출 알고리즘은,
    상기 카메라 모듈에서 촬영된 차량 주변 영상에서 에지 맵을 생성하며, 상기 에지 맵에서 물체를 검출하고, 상기 검출된 물체에 대응하는 움직임 벡터를 검출하여 상기 검출된 물체의 움직임 여부를 판단하는 방법인 것을 특징으로 하는 차량 주변 물체 검출 시스템.
  5. 제 4 항에서,
    상기 물체 검출 모듈에서 검출된 물체에 대해 장애물 여부를 판단하는 장애물 판단 모듈을 더 포함하는 것을 특징으로 하는 차량 주변 물체 검출 시스템.
  6. 제 5 항에서,
    상기 장애물 판단 모듈은,
    상기 검출된 물체가 상기 차량 주변 영상에서 미리 정해진 수 이상의 프레임에서 연속적으로 검출될 경우 장애물로 판단하는 것을 특징으로 하는 차량 주변 물체 검출 시스템.
  7. 제 6 항에서,
    상기 장애물 판단 모듈은,
    상기 제2 물체 검출 알고리즘에 의해 검출된 물체가 상기 차량이 주행하는 차로 밖에 위치하는 경우 장애물에서 제외하는 것을 특징으로 하는 차량 주변 물체 검출 시스템.
  8. 제 6 항에서,
    상기 장애물 판단 모듈은,
    상기 차량이 정지한 경우 상기 제2 물체 검출 알고리즘에 의해 검출된 물체가 고정 물체인 경우 장애물에서 제외하는 것을 특징으로 하는 차량 주변 물체 검출 시스템.
  9. 제 7 항 또는 제 8 항에서,
    상기 장애물로 판단되는 물체에 대한 식별 마크를 화면에 표시하는 경고 모듈을 더 포함하는 것을 특징으로 하는 차량 주변 물체 검출 시스템.
  10. 제 9 항에서,
    상기 경고 모듈은 상기 장애물로 판단되는 물체의 차로 상에 위치하는지 여부에 따라 식별 마크를 다르게 표시하는 것을 특징으로 하는 차량 주변 물체 검출 시스템.
  11. 차량에 장착된 카메라 모듈이 상기 차량의 주변을 촬영하는 단계,
    상기 카메라 모듈에서 촬영된 영상에 제1 물체 검출 알고리즘을 적용하여 상기 차량으로부터 소정 거리 이내에 영역에서 물체를 검출하는 단계, 그리고
    상기 카메라 모듈에서 촬영된 영상에 제2 물체 검출 알고리즘을 적용하여 상기 차량으로부터 소정 거리 이상 떨어진 영역에서 물체를 검출하는 단계를 포함하고,
    상기 제1 물체 검출 알고리즘을 적용하여 물체를 검출하는 단계는,
    상기 카메라 모듈에서 촬영된 차량 주변 영상을 탑뷰 시점으로 변환하는 단계,
    상기 탑뷰 시점으로 변환된 차량 주변 영상에서 에지 맵을 생성하는 단계,
    상기 에지 맵에 대해 상기 카메라 모듈의 광축을 기준으로 소정 각도 단위로 에지 픽셀을 방사상 방향으로 카운팅한 히스토그램 값으로 이루어지는 히스토그램을 생성하는 단계, 그리고
    상기 생성된 히스토그램을 이용하여 상기 차량으로부터 소정 거리 이내에 위치한 물체를 검출하는 단계를 포함하고,
    상기 히스토그램에서 히스토그램 값이 소정 기준 이상인 구간을 물체가 위치한 영역으로 검출하는 것을 특징으로 하는 차량 주변 물체 검출 방법.
  12. 삭제
  13. 제 11 항에서,
    상기 제2 물체 검출 알고리즘을 적용하여 물체를 검출하는 단계는,
    상기 카메라 모듈에서 촬영된 차량 주변 영상에서 에지 맵을 생성하는 단계,
    상기 에지 맵에서 물체를 검출하는 단계, 그리고
    상기 검출된 물체에 대응하는 움직임 벡터를 검출하여 상기 검출된 물체의 움직임 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 차량 주변 물체 검출 방법.
  14. 제 13 항에서,
    상기 물체 검출 모듈에서 검출된 물체에 대해 장애물 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변 물체 검출 방법.
  15. 제 14 항에서,
    상기 장애물 판단은,
    상기 검출된 물체가 상기 차량 주변 영상에서 미리 정해진 수 이상의 프레임에서 연속적으로 검출될 경우 장애물로 판단하는 것을 특징으로 하는 차량 주변 물체 검출 방법.
  16. 제 15 항에서,
    상기 제2 물체 검출 알고리즘에 의해 검출된 물체가 상기 차량이 주행하는 차로 밖에 위치하는 경우 장애물에서 제외하고, 상기 차량이 정지한 경우 상기 제2 물체 검출 알고리즘에 의해 검출된 물체가 고정 물체인 경우 장애물에서 제외하는 것을 특징으로 하는 차량 주변 물체 검출 방법.
  17. 제 16 항에서,
    상기 장애물로 판단되는 물체의 차로 상에 위치하는지 여부에 따라 식별 마크를 다르게 표시하는 것을 특징으로 하는 차량 주변 물체 검출 방법.
  18. 차량에 장착된 카메라 모듈이 상기 차량의 주변을 촬영하는 단계,
    상기 카메라 모듈에서 촬영된 차량 주변 영상을 탑뷰 시점으로 변환하는 단계,
    상기 탑뷰 시점으로 변환된 차량 주변 영상에서 에지 맵을 생성하는 단계,
    상기 에지 맵에 대해 상기 카메라 모듈의 광축을 기준으로 소정 각도 단위로 에지 픽셀을 방사상 방향으로 카운팅한 히스토그램 값으로 이루어지는 히스토그램을 생성하는 단계, 그리고
    상기 생성된 히스토그램을 이용하여 상기 차량으로부터 소정 거리 이내에 위치한 물체를 검출하는 단계를 포함하는 것을 특징으로 하는 차량 주변 물체 검출 방법.
  19. 제 18 항에서,
    상기 히스토그램에서 히스토그램 값이 소정 기준 이상인 구간을 물체가 위치한 영역으로 검출하는 것을 특징으로 하는 차량 주변 물체 검출 방법.
KR1020100127458A 2010-12-14 2010-12-14 차량 주변 물체 검출 시스템 및 방법 KR101239718B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100127458A KR101239718B1 (ko) 2010-12-14 2010-12-14 차량 주변 물체 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100127458A KR101239718B1 (ko) 2010-12-14 2010-12-14 차량 주변 물체 검출 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120066220A KR20120066220A (ko) 2012-06-22
KR101239718B1 true KR101239718B1 (ko) 2013-03-06

Family

ID=46685642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100127458A KR101239718B1 (ko) 2010-12-14 2010-12-14 차량 주변 물체 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101239718B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101439368B1 (ko) * 2012-12-20 2014-09-15 현대오트론 주식회사 햅틱 조향휠을 이용한 장애물 경고 장치 및 방법
KR101352662B1 (ko) * 2012-12-28 2014-01-17 주식회사 만도 차선 인식을 이용한 패싱 차량 검출 장치 및 방법
KR102288950B1 (ko) * 2014-12-18 2021-08-12 현대모비스 주식회사 차량 및 그 제어 방법
KR102501234B1 (ko) 2016-01-26 2023-02-21 주식회사 에이치엘클레무브 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템
KR102295579B1 (ko) * 2017-02-21 2021-08-30 현대자동차주식회사 차량의 장애물 검출 장치 및 방법
KR102304018B1 (ko) * 2019-12-10 2021-09-23 주식회사 라이드플럭스 자율주행 차량의 충돌 방지 방법, 장치 및 컴퓨터프로그램
CN111950501B (zh) * 2020-08-21 2024-05-03 东软睿驰汽车技术（沈阳）有限公司 障碍物检测方法、装置以及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003312415A (ja) 2002-04-23 2003-11-06 Nissan Motor Co Ltd 車両の事前提示装置
KR20080022748A (ko) * 2006-09-07 2008-03-12 주식회사 만도 스테레오 카메라를 이용한 충돌회피 방법
JP2010146494A (ja) * 2008-12-22 2010-07-01 Honda Motor Co Ltd 車両周辺監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003312415A (ja) 2002-04-23 2003-11-06 Nissan Motor Co Ltd 車両の事前提示装置
KR20080022748A (ko) * 2006-09-07 2008-03-12 주식회사 만도 스테레오 카메라를 이용한 충돌회피 방법
JP2010146494A (ja) * 2008-12-22 2010-07-01 Honda Motor Co Ltd 車両周辺監視装置

Also Published As

Publication number Publication date
KR20120066220A (ko) 2012-06-22

Similar Documents

Publication Publication Date Title
KR101239718B1 (ko) 차량 주변 물체 검출 시스템 및 방법
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
US8041079B2 (en) Apparatus and method for detecting obstacle through stereovision
O'malley et al. Vision-based detection and tracking of vehicles to the rear with perspective correction in low-light conditions
US20200372265A1 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
US9183449B2 (en) Apparatus and method for detecting obstacle
JP4872769B2 (ja) 路面判別装置および路面判別方法
CN108162858B (zh) 车载监控装置及其方法
JP5809751B2 (ja) 対象物認識装置
WO2017130640A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6711395B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
CN111971682A (zh) 路面检测装置、利用了路面检测装置的图像显示装置、利用了路面检测装置的障碍物检测装置、路面检测方法、利用了路面检测方法的图像显示方法以及利用了路面检测方法的障碍物检测方法
CN108629225B (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
KR101178508B1 (ko) 차량 충돌 경보 시스템 및 방법
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
US11580695B2 (en) Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device
JP6431299B2 (ja) 車両周辺監視装置
JP6533244B2 (ja) 対象物検知装置、対象物検知方法、及び対象物検知プログラム
Dai et al. A driving assistance system with vision based vehicle detection techniques
JP7460282B2 (ja) 障害物検出装置、障害物検出方法および障害物検出プログラム
JP2020126304A (ja) 車外物体検出装置
TWI686747B (zh) 移動載具全周障礙迴避之方法
JP3532896B2 (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170207

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190213

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200213

Year of fee payment: 8