KR20200102131A - 사각 지대 탐색 장치 및 방법 - Google Patents

사각 지대 탐색 장치 및 방법 Download PDF

Info

Publication number
KR20200102131A
KR20200102131A KR1020190020336A KR20190020336A KR20200102131A KR 20200102131 A KR20200102131 A KR 20200102131A KR 1020190020336 A KR1020190020336 A KR 1020190020336A KR 20190020336 A KR20190020336 A KR 20190020336A KR 20200102131 A KR20200102131 A KR 20200102131A
Authority
KR
South Korea
Prior art keywords
edge
obstacle
rear camera
blind spot
camera image
Prior art date
Application number
KR1020190020336A
Other languages
English (en)
Other versions
KR102184431B1 (ko
Inventor
김상구
박재홍
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to KR1020190020336A priority Critical patent/KR102184431B1/ko
Publication of KR20200102131A publication Critical patent/KR20200102131A/ko
Application granted granted Critical
Publication of KR102184431B1 publication Critical patent/KR102184431B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

후방 카메라 이미지에 대한 장애물 검출(Obstacle Detection) 및 에지 검출(Edge Detection)을 통해 사각 지대의 장애물을 검출하도록 한 사각 지대 탐색 장치 및 방법을 제시한다. 제시된 사각 지대 탐색 장치는 후방 카메라 이미지로부터 장애물 및 에지를 검출하고, 장애물 검출 결과 및 에지 검출 결과를 근거로 사각 지대 내의 장애물 존재 여부를 판단하고, 장애물 존재로 판단하면 BSD 경고를 발생하고, 두 기준선 상의 펙셀들 사이의 강도에 차이가 존재하면 두 기준선 사이에 장애물의 경계면이 존재하는 것으로 판단하여 에지를 검출한다.

Description

사각 지대 탐색 장치 및 방법{APPARATUS AND METHOD FOR DETECTING BLIND SPOT}
본 발명은 사각 지대 탐색 장치 및 방법에 관한 것으로, 더욱 상세하게는 차량의 사각 지대에 위치한 장애물을 검출하여 경보를 발생하는 사각 지대 탐색 장치 및 방법에 관한 것이다.
일반적으로, 후측방 경보시스템은 차량 주행 중 후측방의 사각 지대에 장애물이 존재하거나 차선 변경 시 사각 지대의 장애물 또는 좌/우측 차선 후방으로부터 고속으로 접근하는 차량에 의해 차선 변경 시 충돌 위험이 있다고 판단될 경우, 운전자에게 경고하여 운전자의 편의성을 향상시켜주는 시스템이다.
후측방 경보시스템은 후측방의 사각 지역에 장애물이 있을 경우에만 경고하여 차량이 많이 존재하는 지역에서 주로 사용되는 BSD(Blind Spot Detection) 장치를 포함하며, BSD 장치는 차량의 후측방의 장애물(근접 차량)을 감지하여 운전자가 이를 인지할 수 있도록 경고를 하거나 안전하게 차선을 변경할 수 있도록 보조한다.
하지만, 종래의 BSD 장치는 카메라 이미지를 변환하는 과정에서 연산량 및 연산 시간이 증가하는 문제점이 있다.
한국등록특허 제10-1745015호(명칭: 장애물 감지영역 조절 장치 및 그 방법)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 후방 카메라 이미지에 대한 장애물 검출(Obstacle Detection) 및 에지 검출(Edge Detection)을 통해 사각 지대의 장애물을 검출하도록 한 사각 지대 탐색 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명은 후방 카메라의 왜곡 정보가 반영된 기준선 맵을 이용하여 후방 카메라 이미지로부터 에지를 검출하여 장애물 검출 정확도를 높이면서 연산량 및 연산 시간을 최소화하도록 한 사각 지대 탐색 장치 및 방법을 제공하는 것을 다른 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 사각 지대 탐색 장치는 후방 카메라 이미지로부터 장애물을 감지하는 장애물 감지부, 후방 카메라 이미지로부터 에지를 검출하는 에지 검출부, 장애물 감지부의 장애물 검출 결과 및 에지 검출부의 에지 검출 결과를 근거로 사각 지대 내의 장애물 존재 여부를 판단하는 장애물 판단부 및 장애물 판단부에서 장애물 존재로 판단하면 BSD 경고를 발생하는 BSD 알람부를 포함하고, 에지 검출부는 두 기준선 상의 펙셀들 사이의 강도에 차이가 존재하면 두 기준선 사이에 장애물의 경계면이 존재하는 것으로 판단하여 에지를 검출한다.
에지 검출부는 후방 카메라 이미지를 조감도 이미지로 변환하고, 조감도 이미지에 복수의 방사형 기준선을 표시하고, 인접한 두 방사형 기준선 사이의 에지 점수를 산출하고, 에지 점수가 임계치 이상이면 에지로 검출할 수 있다. 이때, 방사형 기준선은 후방 카메라를 시작점으로 한 직선이고, 조감도 이미지의 경고 영역 내에서 하나 이상의 에지가 검출되면 경고 영역 내에 장애물이 존재하는 것으로 판단할 수 있다.
에지 검출부는 후방 카메라 이미지에 복수의 기준선을 포함한 기준선 맵을 중첩하여 표시하고, 인접한 두 기준선 사이의 에지 점수를 산출하고, 에지 점수가 임계치 이상이면 에지로 검출할 수 있다. 이때, 기준선 맵에 포함된 기준선은 조감도 이미지에 적용되는 방사형 기준선에 후방 카메라의 왜곡을 반영한 곡선이고, 기준선 맵은 조감도 이미지에 적용되는 방사형 기준선 중에서 경고 영역 내 위치한 직선들에 후방 카메라의 왜곡을 반영한 기준선을 포함할 수 있다. 에지 검출부는 후방 카메라 이미지의 경고 영역 내에서 하나 이상의 에지가 검출되면 경고 영역 내에 장애물이 존재하는 것으로 판단할 수도 있다.
장애물 감지부는 후방 카메라 이미지를 복수의 MIP 맵으로 변환하고, 특정점의 물리 좌표 기반 트래킹 및 영상 좌표 기반 트래킹을 통해 복수의 MIP 맵에서 검출된 복수의 특징점을 노면상의 특징점 및 장애물의 특징점으로 구분할 수 있다. 이때, 장애물 판단부는 장애물 감지부의 장애물 검출 결과 및 에지 검출부의 에지 검출 결과에 가중치를 설정하고, 가중치가 반영된 장애물 검출 결과 및 에지 검출 결과의 합산값이 임계치 이상이면 BSD 경고 발생으로 판단할 수 있다.
상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 사각 지대 탐색 방법은 차량의 후방 카메라로부터 후방 카메라 이미지를 수집하는 수집 단계, 후방 카메라 이미지로부터 장애물을 검출하는 장애물 검출 단계, 후방 카메라 이미지로부터 에지를 검출하는 에지 검출 단계 및 장애물 검출 단계의 장애물 검출 결과 및 에지 검출 단계의 에지 검출 결과를 근거로 BSD 경고를 발생하는 알림 단계를 포함하고, 에지 검출 단계에서는 두 기준선 상의 펙셀들 사이의 강도에 차이가 존재하면 두 기준선 사이에 장애물의 경계면이 존재하는 것으로 판단하여 에지를 검출한다.
에지 검출 단계는 후방 카메라 이미지를 조감도 이미지로 변환하는 단계, 조감도 이미지에 복수의 방사형 기준선을 표시하는 단계, 복수의 방사형 기준선 중 인접한 두 방사형 기준선 사이의 에지 점수를 산출하는 단계 및 에지 점수가 임계치 이상이면 에지를 검출하는 단계를 포함할 수 있다. 이때, 방사형 기준선은 후방 카메라를 시작점으로 한 직선이고, 에지 검출 단계는 조감도 이미지의 경고 영역 내에서 하나 이상의 에지가 검출되면 경고 영역 내에 장애물이 존재하는 것으로 판단하는 단계를 더 포함할 수도 있다.
에지 검출 단계는 후방 카메라 이미지에 기준선 맵을 표시하는 단계, 기준선 맵에 포함된 복수의 기준선들 중에서 인접한 두 기준선 사이의 에지 점수를 산출하는 단계 및 에지 점수가 임계치 이상이면 에지를 검출하는 단계를 포함할 수 있다. 이때, 기준선 맵에 포함된 기준선은 조감도 이미지에 적용되는 방사형 기준선에 후방 카메라의 왜곡을 반영한 곡선이고, 기준선 맵은 조감도 이미지에 적용되는 방사형 기준선 중에서 경고 영역 내 위치한 직선들에 후방 카메라의 왜곡을 반영한 기준선을 포함할 수 있다. 여기서, 에지 검출 단계는 후방 카메라 이미지의 경고 영역 내에서 하나 이상의 에지가 검출되면 경고 영역 내에 장애물이 존재하는 것으로 판단하는 단계를 더 포함할 수도 있다.
장애물 검출 단계는 후방 카메라 이미지를 복수의 MIP 맵으로 변환하는 MIP 변환 단계, 복수의 MIP 맵으로부터 특징점을 검출하는 특징점 검출 단계, 특징점 검출 단계에서 검출한 특징점으로부터 노면상 특징점을 검출하는 물리 좌표 기반 추적 단계 및 물리 좌표 기반 추적 단계에서 추적 실패한 특징점 중에서 장애물의 특징점을 검출하는 영상 좌표 기반 추적 단계를 포함할 수 있다.
알림 단계는 장애물 검출 단계의 장애물 검출 결과에 가중치를 곱한 값과 에지 검출 단계에 가중치에 가중치를 곱한 값을 합산한 합산값을 산출하는 단계 및 합산값이 임계값 이상이면 BSD 경고를 발생하는 단계를 포함할 수 있다.
본 발명에 의하면, 사각 지대 탐색 장치 및 방법은 후방 카메라 이미지에 대한 장애물 검출(Obstacle Detection) 결과 및 에지 검출(Edge Detection) 결과에 각각 가중치를 반영하여 사각 지대에 위치한 장애물을 검출함으로써, 검출 정확도를 향상시키면서 연산량 및 연산 시간을 최소화하는 효과가 있다.
또한, 사각 지대 탐색 장치 및 방법은 장애물 검출시 후방 카메라 이미지를 3단계의 MIP 맵으로 변환하고, MIP 맵들에 모두 중첩된 코너를 특징점으로 함으로써, 검출 영역을 최소화하여 특징점 검출을 위한 연산량 및 연산 시간을 최소화하는 효과가 있다.
또한, 사각 지대 탐색 장치 및 방법은 조감도로 변환하지 않고, 후방 카메라 이미지로부터 직접 에지를 검출함으로써, 후방 카메라 이미지를 조감도 이미지로 변환하는 과정을 생략하여 에지 검출시 연산량 및 연산 시간을 최소화하는 효과가 있다.
도 1 및 도 2는 본 발명의 실시 예에 따른 사각 지대 탐색 장치를 설명하기 위한 도면.
도 3은 도 2의 장애물 감지부를 설명하기 위한 도면.
도 4는 도 3의 MIP 맵 생성 모듈을 설명하기 위한 도면.
도 5 도 3의 특징점 검출 모듈을 설명하기 위한 도면.
도 6은 도 3의 물리 좌표 기반 추적 모듈을 설명하기 위한 도면.
도 7 내지 도 11은 도 2의 에지 검출부를 설명하기 위한 도면.
도 12는 본 발명의 실시 예에 따른 사각 지대 탐색 방법을 설명하기 위한 흐름도.
도 13은 도 12의 장애물 검출 단계를 설명하기 위한 흐름도.
도 14는 도 13의 물리 좌표 기반 추적 단계를 설명하기 위한 흐름도.
도 15는 도 13의 영상 좌표 기반 추적 단계를 설명하기 위한 흐름도.
도 16 및 도 17은 도 12의 에지 검출 단계를 설명하기 위한 흐름도.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 본 발명의 실시 예에 따른 사각 지대 탐색 장치를 첨부된 도면을 참조하여 설명한다. 도 1 및 도 2는 본 발명의 실시 예에 따른 사각 지대 탐색 장치를 설명하기 위한 도면이다. 도 3은 도 2의 장애물 감지부를 설명하기 위한 도면이고, 도 4는 도 3의 MIP 맵 생성 모듈을 설명하기 위한 도면이고, 도 5 도 3의 특징점 검출 모듈을 설명하기 위한 도면이고, 도 6은 도 3의 물리 좌표 기반 추적 모듈을 설명하기 위한 도면이다. 도 7 내지 도 11은 도 2의 에지 검출부를 설명하기 위한 도면이다.
도 1을 참조하면, 사각 지대 탐색 장치(100)는 차량(10)에 설치된 후방 카메라(12)에서 촬영된 후방 카메라 이미지를 이용하여 차량(10)의 후측방에 형성되는 사각 지대에서 장애물(20)을 탐색한다. 이때, 사각 지대 탐색 장치(100)는 차량(10)의 후방 카메라(12)에서 촬영된 후방 카메라 이미지를 이용하여 사각 지대에 위치한 장애물(20)을 탐색한다. 사각 지대 탐색 장치(100)는 후방 카메라 이미지를 이용한 장애물 검출(Obstacle detection) 결과 및 에지 검출(Edge detection) 결과에 가중치를 부여한다. 사각 지대 탐색 장치(100)는 가중치가 반영된 장애물 검출 결과 및 에지 검출 결과의 합산 값과 임계치를 비교하여 BSD(BLIND SPOT DETECTING) 경고 발생 여부를 판단한다. 이때, 사각 지대 탐색 장치(100)는 장애물 검출 결과 및 에지 검출 결과의 합산 값이 임계치 이상이면 BSD 경고를 발생한다.
이를 위해, 도 2를 참조하면, 사각 지대 탐색 장치(100)는 장애물 감지부(110), 에지 검출부(130), 장애물 판단부(150) 및 BSD 알람부(170)를 포함한다.
장애물 감지부(110)는 장애물 검출(Obstacle detection) 알고리즘을 이용한 후방 카메라 이미지의 분석을 통해 장애물(20)을 감지한다.
일반적인 장애물 검출 알고리즘은 카메라 이미지를 조감도 이미지(Top View Image)로 변환한 후 두 시점(時點)의 조감도 이미지 사이의 차분 영상을 통해 장애물(20)을 검출한다. 이때, 일반적인 장애물 검출 알고리즘은 각 시점의 카메라 이미지를 조감도 이미지로 변환하기 때문에 연산량 및 연산 시간이 증가하게 된다.
이에, 장애물 감지부(110)는 장애물 검출 알고리즘으로 인한 연산량 및 연산 시간 증가를 최소화하기 위해서 후방 카메라 이미지를 3단계의 MIP 맵(210)으로 변환하여 장애물(20)을 감지한다. 장애물 감지부(110)는 3단계의 MIP 맵(210)으로부터 특징점을 검출하고, 특징점들에 대한 물리 좌표 기반 트래킹 및 영상 좌표 기반 트래킹을 수행한다. 장애물 감지부(110)는 특징점 트래킹을 통해 특징점들을 노면 상의 특징점 및 장애물(20)로 구분한다.
이를 위해, 도 3을 참조하면, 장애물 감지부(110)는 MIP 맵 생성 모듈(112), 특징점 검출 모듈(114), 물리 좌표 기반 추적 모듈(116) 및 영상 좌표 기반 추적 모듈(118)을 포함한다.
MIP 맵 생성 모듈(112)은 후방 카메라 이미지를 이용하여 MIP 맵(210)을 생성한다. MIP 맵 생성 모듈(112)은 후방 카메라 이미지를 이용하여 3단계의 MIP 맵(210)을 생성한다. 이때, MIP 맵 생성 모듈(112)은 제1 MIP 맵(212), 제2 MIP 맵(216) 및 제3 MIP 맵(216)을 생성한다. 여기서, 제1 MIP 맵(212)의 크기는 제3 MIP 맵(216)의 크기보다 크고, 제3 MIP 맵(216)의 크기는 제3 MIP 맵(216)의 크기보다 크다.
일례로, 도 4를 참조하면, MIP 맵 생성 모듈(112)은 후방 카메라 이미지를 제1 크기의 제1 MIP 맵(212), 제1 MIP 맵(212)의 절반 크기인 제3 MIP 맵(216), 제3 MIP 맵(216)의 절반 크기인 제3 MIP 맵(216)을 생성한다. 이때, MIP 맵 생성 모듈(112)은 후방 카메라 이미지 원본 크기인 640×360인 제1 MIP 맵(212)을 생성한다. MIP 맵 생성 모듈(112)은 제1 MIP 맵(212)의 4개 픽셀을 평균화(averaging)하여 320×180의 크기를 갖는 제3 MIP 맵(216)을 생성한다. MIP 맵 생성 모듈(112)은 제3 MIP 맵(216)의 4개 픽셀을 평균화하여 160×90의 크기를 갖는 제3 MIP 맵(216)을 생성한다.
특징점 검출 모듈(114)은 영상 특징점(keypoint) 추출 방법을 이용하여 MIP 맵(210)으로부터 코너를 검출한다. 특징점 검출 모듈(114)은 기준점을 기준으로 각 픽셀의 강도(Intensity)를 비교하는 FAST(Features from Accelerated Segment Test) 알고리즘을 이용하여 MIP 맵(210)으로부터 코너를 검출한다. 특징점 검출 모듈(114)은 FAST 9 알고리즘을 이용하여 MIP 맵(210)으로부터 코너를 검출한다. 이때, 도 5를 참조하면, 특징점 검출 모듈(114)은 제1 MIP 맵(212) 내지 제3 MIP 맵(216)으로부터 코너를 검출한다. 특징점 검출 모듈(114)은 제1 MIP 맵(212) 내지 제3 MIP 맵(216)에서 모두 중복(중첩)되는 코너를 특징점으로 검출한다.
특징점 검출 모듈(114)은 제1 MIP 맵(212) 내지 제3 MIP 맵(216)에서 코너를 검출하기 때문에 연산량 및 연산 시간이 증가한다.
이에, 특징점 검출 모듈(114)은 FAST 9 알고리즘을 이용하여 제2 MIP 맵(214)에서 코너를 검출하고, FAST 9 알고리즘을 이용하여 제3 MIP 맵(216)에서 코너를 검출한다. 이때, 특징점 검출 모듈(114)은 제3 MIP 맵(216) 중에서 제2 MIP 맵(214)에서 검출한 코너에 대응되는 제1 코너 영역에 대해서만 FAST 9 알고리즘을 이용하여 코너를 검출한다. 여기서, 제1 코너 영역은 제3 MIP 맵(216) 중에서 제3 MIP 맵(216)에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역을 의미한다.
다음으로, 특징점 검출 모듈(114)은 제1 MIP 맵(212) 중에서 제3 MIP 맵(216)에서 검출한 코너에 대응되는 제2 코너 영역에 대해서만 FAST 9 알고리즘을 이용하여 코너를 검출하여 특징점으로 설정한다. 여기서, 제2 코너 영역은 제1 MIP 맵(212) 중에서 제3 MIP 맵(216)에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역을 의미한다.
이를 통해, 특징점 검출 모듈(114)은 특징점 검출을 위한 연산량 및 연산 시간을 최소화할 수 있다.
물리 좌표 기반 추적 모듈(116)은 특징점 검출 모듈(114)에서 검출한 특징점들에 대해 물리 좌표를 기반으로 트래킹(Tracking)한다.
물리 좌표 기반 추적 모듈(116)은 차량 속도를 기반으로 이전 시점(時點, 또는 이전 프레임)의 후방 카메라 이미지에서 검출한 특징점의 예상 위치를 추정한다. 이때, 물리 좌표 기반 추적 모듈(116)은 연속된 두 시점(時點)의 후방 카메라 이미지를 이용하여 검출한 차량 속도 또는 차량(10)에서 감지한 차량 속도를 이용하여 특징점의 예상 위치를 추정한다. 여기서, 예상 위치는 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 해당 특징점의 물리 좌표 상 위치를 의미한다.
물리 좌표 기반 추적 모듈(116)은 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 검출된 특징점과 비교하여, 추정한 위치의 설정 반경 내에서 특징점이 검출되면 추적 성공으로 판단한다. 물리 좌표 기반 추적 모듈(116)은 추적 성공으로 판단하면 해당 특징점이 노면 상의 특징점인 것으로 추적 이력을 갱신한다.
일례로, 도 6을 참조하면, 이전 시점(時點)의 후방 카메라 이미지에서 제1 특징점(FP1), 제2 특징점(FP2) 및 제3 특징점(FP3)이 검출된 것으로 가정한다.
물리 좌표 기반 추적 모듈(116)은 차량 속도를 기반으로 현재 시점(時點)의 후방 카메라 이미지에서 해당 특징점들의 예상 위치 영역인 제1 영역(FPA1), 제2 영역(FPA2) 및 제3 영역(FPA3)을 추정한다.
이때, 현재 시점(時點)의 후방 카메라 이미지에서 검출된 제1 특징점(FP1') 및 제2 특징점(FP2')이 각각 제1 영역(FPA1) 및 제2 영역(FPA2) 내에 위치하므로, 물리 좌표 기반 추적 모듈(116)은 제1 특징점(FP1, FP1') 및 제2 특징점(FP2. FP2')을 노면 상의 특징점으로 검출한다.
한편, 현재 시점(時點)의 후방 카메라 이미지에서 검출된 제3 특징점(FP3')이 제3 영역(FPA3) 내에서 추적되지 않으므로, 물리 좌표 기반 추적 모듈(116)은 제3 특징점(FP3, FP3')의 추적 실패로 판단한다.
영상 좌표 기반 추적 모듈(118)은 물리 좌표 기반 추적 모듈(116)에서 추적 실패로 판단한 특징점들에 대해 영상 좌표를 기반으로 트래킹한다.
영상 좌표 기반 추적 모듈(118)은 영상 좌표를 기반으로 이전 시점(時點, 또는 이전 프레임)의 후방 카메라 이미지에서 검출한 특징점의 예상 위치를 추정한다. 여기서, 예상 위치는 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 해당 특징점의 영상 좌표상 위치를 의미한다.
영상 좌표 기반 추적 모듈(118)은 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 검출된 특징점과 비교하여, 추정한 위치의 설정 반경 내에서 특징점이 검출되면 추적 성공으로 판단한다. 영상 좌표 기반 추적 모듈(118)은 추적 성공으로 판단하면 해당 특징점이 노면 상의 장애물(20)인 것으로 추적 이력을 갱신한다.
이때, 물리 좌표 기반 추적 모듈(116) 및 영상 좌표 기반 추적 모듈(118)에서 모두 추적 실패로 판단한 경우 일시적인 검출 오류일 수 있는 상태일 수 있으므로, 물리 좌표 기반 추적 모듈(116) 및 영상 좌표 기반 추적 모듈(118)은 추적 실패가 설정 횟수 이상 반복될 때까지 해당 특징점을 트래킹한다.
에지 검출부(130)는 에지 검출(Edge detection) 알고리즘을 이용한 후방 카메라 이미지 분석을 통해 에지(Edge)를 감지한다. 이때, 에지 검출부(130)는 차량(10)의 후방에 대응되는 영역을 제외한 나머지 영역을 경고 영역으로 설정하고, 후방 카메라 이미지 중 경고 영역 내에서 에지를 검출한다.
일례로, 도 7을 참조하면, 에지 검출부(130)는 차량(10)의 후방 양측면에 경고 영역을 설정한다. 즉, 에지 검출부(130)는 차량(10)의 측면 및 후방에서 대략 1.5m 정도 이격된 위치에서 대략 가로 3.3m 및 세로 8m 정도의 영역을 경고 영역으로 설정한다. 이때, 에지 검출부(130)는 차량(10)의 좌측 후방 및 우측 후방에 각각 경고 영역을 설정한다.
에지 검출부(130)는 후방 카메라 이미지를 조감도 이미지로 변환한다. 에지 검출부(130)는 지면과 수직을 이루는 장애물(20)을 조감도 이미지로 변환하는 과정에서 후방 카메라(12)의 위치를 중심으로 방사형 에지를 가진다는 점을 근거로 조감도 이미지로부터 에지를 검출한다.
에지 검출부(130)는 조감도 이미지에 복수의 방사형 기준선을 일정 간격으로 표시한다. 이때, 도 8을 참조하면, 에지 검출부(130)는 후방 카메라(12)의 위치를 중심으로 복수의 방사형 기준선을 표시한다. 에지 검출부(130)는 인접한 두 방사형 기준선 상의 픽셀들 사이의 강도(Intensity) 차이가 존재하면 두 방사형 기준선 사이에 특정 경계면이 존재하는 것으로 판단하여 에지를 검출한다. 에지 검출부(130)는 방사형 기준선에 위치한 복수의 픽셀들 중에서 경고 영역 내에 위치한 복수의 픽셀들만을 대상으로 할 수 있다.
일례로, 도 9를 참조하면, 에지 검출부(130)는 하기의 수학식 1을 통해 두 방사형 기준선 사이의 에지 점수를 산출한다.
Figure pat00001
여기서, score는 에지 점수를 의미하고, pi 및 qi는 두 기준선에 위치한 픽셀의 강도(Intensity)를 의미한다.
에지 검출부(130)는 산출한 에지 점수(score)가 임계치 이상이면 에지로 판단하고, 경고 영역 내에서 하나 이상의 에지가 검출되면 차량(10)으로 판단한다. 이때, 임계치는 방사형 기준선 상의 픽셀 수의 35% 이상으로 설정될 수 있다.
이때, 에지 검출을 위해 후방 카메라 이미지를 조감도 이미지로 변환하기 때문에 연산량 및 연산 시간이 증가하기 때문에, 에지 검출부(130)는 연산량 및 연산 시간을 최소화하기 위해 후방 카메라 이미지로부터 에지를 검출한다.
에지 검출부(130)는 후방 카메라 이미지에 기준선 맵을 중첩시키고, 상술한 에지 검출 방식에서 후방 카메라 이미지의 왜곡을 보정하는 전처리 과정을 제외한 알고리즘을 통해 후방 카메라 이미지로부터 에지를 검출한다. 여기서, 왜곡을 보정하는 전처리 과정은 후방 카메라 이미지를 조감도 이미지로 변환하는 과정을 포함한다.
이를 위해, 에지 검출부(130)는 조감도 이미지에 적용되는 복수의 방사형 기준선을 역변환한 기준선 맵을 생성한다. 에지 검출부(130)는 복수의 방사형 기준선들 중 조감도 이미지의 경고 영역 내에 위치한 선들을 역변환하여 후방 카메라 이미지의 왜곡이 반영된 복수의 기준선들을 생성하고, 이들을 기준선 맵으로 저장한다. 여기서, 역변환은 조감도 이미지에 왜곡을 반영하여 후방 카메라 이미지로 변화하는 과정을 의미한다.
도 10을 참조하면, 기준선 맵(220)은 왜곡이 존재하는 후방 카메라 이미지로부터 에지를 검출하기 위해 사용되는 기준선들의 조합이다. 기준선 맵(220)은 광각인 후방 카메라(12)로 인한 후방 카메라 이미지의 왜곡을 복수의 방사형 기준선에 적용하여 생성된 복수의 기준선들을 포함한다. 이때, 기준선 맵(220)에 포함된 복수의 기준선들은 후방 카메라 이미지의 경고 영역 내에 배치된다.
도 11을 참조하면, 에지 검출부(130)는 기준선 맵(220)을 후방 카메라 이미지상의 경고 영역에 중첩하여 배치한다. 에지 검출부(130)는 기준선 맵(220) 중에서 인접한 두 기준선의 픽셀들 사이의 강도(Intensity) 차이가 존재하면 두 기준선 사이에 특정 경계면이 존재하는 것으로 판단하여 에지로 검출한다.
이때, 에지 검출부(130)는 상술한 수학식 1을 이용해 에지 점수를 산출한다. 에지 검출부(130)는 산출한 에지 점수(score)가 임계치 이상이면 에지로 판단하고, 경고 영역 내에서 하나 이상의 에지가 검출되면 차량(10)으로 판단한다. 이때, 임계치는 방사형 기준선 상의 픽셀 수의 35% 이상으로 설정될 수 있다.
장애물 판단부(150)는 장애물 검출 결과 및 에지 검출 결과를 근거로 BSD 경고 발생 여부를 판단한다. 장애물 판단부(150)는 장애물 감지부의 장애물 검출 결과 및 에지 검출부(130)의 에지 검출 결과에 가중치를 설정한다. 장애물 판단부(150)는 가중치가 반영된 장애물 검출 결과 및 에지 검출 결과의 합산 값을 임계치와 비교하여 BSD 경고 발생 여부를 판단한다. 이때, 장애물 판단부(150)는 합산 값이 임계치 이상이면 BSD 경고 발생으로 판단한다.
BSD 알람부(170)는 장애물 판단부(150)에서 BSD 경고 발생으로 판단하면, 차량(10)에 설치된 사이드미러에 설치된 BSD 경고등, 차량(10) 내의 디스플레이, 스피커 등을 통해 BSD 경고를 발생한다.
이하, 본 발명의 실시 예에 따른 사각 지대 탐색 방법을 첨부된 도면을 참조하여 설명한다. 도 12는 본 발명의 실시 예에 따른 사각 지대 탐색 방법을 설명하기 위한 흐름도이다. 도 13은 도 12의 장애물 검출 단계를 설명하기 위한 흐름도이고, 도 14는 도 13의 물리 좌표 기반 추적 단계를 설명하기 위한 흐름도이고, 도 15는 도 13의 영상 좌표 기반 추적 단계를 설명하기 위한 흐름도이다. 도 16 및 도 17은 도 12의 에지 검출 단계를 설명하기 위한 흐름도이다.
사각 지대 탐색 장치(100)는 차량(10)의 후방 카메라(12)에서 촬영한 후방 카메라 이미지를 수집한다(S100). 사각 지대 탐색 장치(100)는 설정 주기 간격으로 후방 카메라 이미지를 수집한다.
사각 지대 탐색 장치(100)는 후방 카메라 이미지로부터 장애물(20)을 검출한다(S200). 즉, 사각 지대 탐색 장치(100)는 장애물 검출(Obstacle detection) 알고리즘을 이용한 후방 카메라 이미지의 분석을 통해 장애물(20)을 검출한다. 이때, 사각 지대 탐색 장치(100)는 장애물 검출 알고리즘으로 인한 연산량 및 연산 시간 증가를 최소화하기 위해서 후방 카메라 이미지를 3단계의 MIP 맵(210)으로 변환하여 장애물(20)을 감지한다. 사각 지대 탐색 장치(100)는 3단계의 MIP 맵(210)으로부터 특징점을 검출하고, 특징점들에 대한 물리 좌표 기반 트래킹 및 영상 좌표 기반 트래킹을 수행한다. 사각 지대 탐색 장치(100)는 특징점 트래킹을 통해 특징점들을 노면 상의 특징점 및 장애물(20)로 구분한다.
도 13을 참조하면, 사각 지대 탐색 장치(100)는 후방 카메라 이미지를 이용하여 3단계의 MIP 맵(210)을 생성한다(S220). 즉, 사각 지대 탐색 장치(100)는 후방 카메라 이미지를 제1 MIP 맵(212)으로 생성한다. 사각 지대 탐색 장치(100)는 제1 MIP 맵(212)에서 인접한 4개의 픽셀을 평균화(Averaging)하여 제3 MIP 맵(216)을 생성한다. 사각 지대 탐색 장치(100)는 제3 MIP 맵(216)에서 인접한 4개의 픽셀을 평균화하여 제3 MIP 맵(216)을 생성한다. 이를 통해, 사각 지대 탐색 장치(100)는 후방 카메라 이미지의 원본 크기인 640×360의 크기를 갖는 제1 MIP 맵(212), 제1 MIP 맵(212)보다 작은 320×180의 크기를 갖는 제3 MIP 맵(216), 및 제3 MIP 맵(216)보다 작은 160×90의 크기를 갖는 제3 MIP 맵(216)을 생성한다.
사각 지대 탐색 장치(100)는 MIP 맵(210)으로부터 특징점을 검출한다(S240). 즉, 사각 지대 탐색 장치(100)는 제1 MIP 맵(212) 내지 제3 MIP 맵(216)에서 각각 코너를 검출한다. 사각 지대 탐색 장치(100)는 검출한 코너들 중에서 제1 MIP 맵(212) 내지 제3 MIP 맵(216)에서 모두 중복되는 코너를 특징점으로 검출한다.
이때, 사각 지대 탐색 장치(100)는 제1 MIP 맵(212) 내지 제3 MIP 맵(216)에서 코너를 검출하기 때문에 연산량 및 연산 시간이 증가한다.
코너 검출로 인한 연산량 및 연산 시간의 증가를 최소화하기 위해서, 사각 지대 탐색 장치(100)는 FAST 9 알고리즘을 이용하여 제3 MIP 맵(216)에서 코너를 검출하고, FAST 9 알고리즘을 이용하여 제3 MIP 맵(216)에서 코너를 검출한다. 이때, 사각 지대 탐색 장치(100)는 제3 MIP 맵(216) 중에서 제3 MIP 맵(216)에서 검출한 코너에 대응되는 제1 코너 영역에 대해서만 FAST 9 알고리즘을 이용하여 코너를 검출한다. 여기서, 제1 코너 영역은 제3 MIP 맵(216) 중에서 제3 MIP 맵(216)에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역을 의미한다.
사각 지대 탐색 장치(100)는 제1 MIP 맵(212) 중에서 제3 MIP 맵(216)에서 검출한 코너에 대응되는 제2 코너 영역에 대해서만 FAST 9 알고리즘을 이용하여 코너를 검출하여 특징점으로 설정한다. 여기서, 제2 코너 영역은 제1 MIP 맵(212) 중에서 제3 MIP 맵(216)에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역을 의미한다.
한편, 사각 지대 탐색 장치(100)는 제3 MIP 맵(216) 및 제3 MIP 맵(216)에서 코너를 검출하고, 제1 MIP 맵(212) 중에서 제3 MIP 맵(216) 및 제3 MIP 맵(216)에서 중복되는 코너에 대응되는 코너 영역에 대해서만 코너를 검출할 수도 있다.
사각 지대 탐색 장치(100)는 물리 좌표 기반 추적을 통해 S240 단계에서 검출한 특징점들로부터 노면 상 특징점을 검출한다(S260). 도 14를 참조하면, 사각 지대 탐색 장치(100)는 차량 속도를 기반으로 이전 시점(時點, 또는 이전 프레임)의 후방 카메라 이미지에서 검출한 특징점의 예상 위치를 추정한다(S261). 즉, 사각 지대 탐색 장치(100)는 이전 프레임에서 검출한 특징점의 물리 좌표상 위치와, 차량 속도를 이용하여 특징점의 예상 위치를 추정한다. 여기서, 예상 위치는 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 해당 특징점의 물리 좌표상 위치를 의미한다.
사각 지대 탐색 장치(100)는 S261 단계에서 추정한 예상 위치를 근거로 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 특징점을 추적한다(S262). 즉, 현재 프레임의 후방 카메라 이미지 중 예상 위치의 설정 반경 내에서 특징점의 존재 여부를 추적한다.
추정한 예상 위치의 설정 반경 내에서 특징점이 검출되어 추적 성공으로 판단하면(S263; 예), 사각 지대 탐색 장치(100)는 해당 특징점이 노면 상의 특징점인 것으로 추적 이력을 갱신한다(S264). 이때, 사각 지대 탐색 장치(100)는 추적에 실패한 특징점에 대해 영상 좌표 기반 추적을 수행한다.
사각 지대 탐색 장치(100)는 영상 좌표 기반 추적을 통해 S260 단계에서 추적에 실패한 특징점들 중에서 장애물(20)에 대응되는 특징점을 검출한다(S280).
일례로, 도 15를 참조하면, 사각 지대 탐색 장치(100)는 이전 시점(時點, 또는 이전 프레임)의 후방 카메라 이미지에서 검출한 특징점의 영상 좌표상 예상 위치를 추정한다(S281).
사각 지대 탐색 장치(100)는 S281 단계에서 추정한 예상 위치를 근거로 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 특징점을 추적한다(S282). 즉, 현재 프레임의 후방 카메라 이미지 중 예상 위치의 설정 반경 내에서 특징점의 존재 여부를 추적한다.
추정한 예상 위치의 설정 반경 내에서 특징점이 검출되어 추적 성공으로 판단하면(S283; 예), 사각 지대 탐색 장치(100)는 해당 특징점이 장애물(20)의 특징점인 것으로 추적 이력을 갱신한다(S284).
이때, 추적 실패로 판단한 경우 일시적인 검출 오류일 수 있는 상태일 수 있다. 이에, 추적 이력에서 추적 성공이 존재하고, 추적 실패가 설정 횟수 이하이면(S285; 예), 사각 지대 탐색 장치(100)는 상술한 S260 단계 및 S280 단계를 반복 수행하여, 추적 실패가 설정 횟수 이상 반복될 때까지 해당 특징점을 트래킹한다.
사각 지대 탐색 장치(100)는 에지 검출(Edge Detection) 알고리즘을 이용하여 후방 카메라 이미지로부터 에지를 검출한다(S300).
일례로, 도 16을 참조하면, 사각 지대 탐색 장치(100)는 후방 카메라 이미지를 조감도 이미지로 변환한다(S321). 즉, 사각 지대 탐색 장치(100)는 후방 카메라 이미지의 왜곡을 보정하여 조감도 이미지로 변환한다.
사각 지대 탐색 장치(100)는 조감도 이미지에 복수의 방사형 기준선을 일정 간격으로 표시한다(S322). 이때, 사각 지대 탐색 장치(100)는 후방 카메라(12)의 위치를 중심으로 복수의 방사형 기준선을 표시한다.
사각 지대 탐색 장치(100)는 인접한 두 방사형 기준선들의 에지 점수를 산출한다(S323). 즉, 사각 지대 탐색 장치(100)는 인접한 두 방사형 기준선 상의 픽셀들 사이의 강도(Intensity)를 이용하여 에지 점수를 산출한다. (수학식 1 참조) 이때, 사각 지대 탐색 장치(100)는 방사형 기준선에 위치한 복수의 픽셀들 중에서 경고 영역 내에 위치함 복수의 픽셀들만을 대상으로 에지 점수를 산출할 수 있다.
S323 단계에서 산출한 에지 점수가 임계치 이상이면(S324; 예), 사각 지대 탐색 장치(100)는 두 방사형 기준선 사이에 에지가 존재하는 것으로 판단하여 에지를 검출한다(S325). 이때, 임계치는 방사형 기준선 상의 픽셀 수의 35% 이상으로 설정될 수 있다.
사각 지대 탐색 장치(100)는 모든 방사형 기준선들에서 에지 검출이 완료되면 경고 영역 내의 장애물(20) 존재 여부를 판단한다. 경고 영역 내에서 하나 이상의 에지가 검출되면(S326; 예), 사각 지대 탐색 장치(100)는 경고 영역 내에 장애물(20; 즉 차량(10))이 존재하는 것으로 판단한다(S327). 이때, 사각 지대 탐색 장치(100)는 장애물(20) 존재를 의미하는 Flag를 증가시킨다.
다른 일례로, 도 17을 참조하면, 사각 지대 탐색 장치(100)는 조감도 이미지 변환을 생략하고, 후방 카메라 이미지로부터 직접 에지를 검출할 수도 있다.
사각 지대 탐색 장치(100)는 후방 카메라 이미지에 기준선 맵(220)을 표시한다(S341). 이때, 기준선 맵(220)은 왜곡이 존재하는 후방 카메라 이미지로부터 에지를 검출하기 위해 사용되는 기준선들의 조합이다. 기준선 맵(220)은 광각인 후방 카메라(12)로 인한 후방 카메라 이미지의 왜곡을 복수의 방사형 기준선에 적용하여 생성된 복수의 기준선들을 포함한다. 이때, 기준선 맵(220)에 포함된 복수의 기준선들은 후방 카메라 이미지의 경고 영역 내에 배치된다.
사각 지대 탐색 장치(100)는 기준선 맵(220)의 두 기준선의 에지 점수를 산출한다(S342). 즉, 사각 지대 탐색 장치(100)는 기준선 맵(220)의 기준선들 중 인접한 두 기준선 상의 픽셀들 사이의 강도(Intensity)를 이용하여 에지 점수를 산출한다. (수학식 1 참조)
S342 단계에서 산출한 에지 점수가 임계치 이상이면(S343; 예), 사각 지대 탐색 장치(100)는 두 기준선 사이에 에지가 존재하는 것으로 판단하여 에지를 검출한다(S344). 이때, 임계치는 방사형 기준선 상의 픽셀 수의 35% 이상으로 설정될 수 있다.
사각 지대 탐색 장치(100)는 기준선 맵(220)에 포함된 모든 기준선들에서 에지 검출이 완료되면 경고 영역 내의 장애물(20) 존재 여부를 판단한다. 이때, 경고 영역 내에서 하나 이상의 에지가 검출되면(S345; 예), 사각 지대 탐색 장치(100)는 경고 영역 내에 장애물(20)이 존재하는 것으로 판단한다(S346). 이때, 사각 지대 탐색 장치(100)는 장애물(20) 존재를 의미하는 Flag를 증가시킨다.
사각 지대 탐색 장치(100)는 장애물 검출 결과 및 에지 검출 결과의 합산값을 산출한다(S400). 이때, 사각 지대 탐색 장치(100)는 S200 단계의 장애물 검출 결과 및 S300 단계의 에지 검출 결과 각각에 대응하는 가중치를 설정하고, 장애물 검출 결과에 가중치를 곱한 값과, 에지 검출 결과에 가중치를 곱한 값을 합산하여 합산값을 산출한다.
사각 지대 탐색 장치(100)는 S400 단계에서 산출한 합산값과 임계치를 비교하여 BSD 경고 발생 여부를 판단한다. 이때, S400 단계에서 산출한 합산값이 임계치 이상이면 BSD 경고 발생으로 판단하면(S500; 예), 사각 지대 탐색 장치(100)는 BSD 경고를 발생한다(S600). 이때, 사각 지대 탐색 장치(100)는 차량(10)에 설치된 사이드미러에 설치된 BSD 경고등, 차량(10) 내의 디스플레이, 스피커 등을 통해 BSD 경고를 발생하여 운전자에게 사각 지대에 장애물(20)이 존재함을 알린다.
상술한 바와 같이, 사각 지대 탐색 장치 및 방법은 후방 카메라 이미지에 대한 장애물 검출(Obstacle Detection) 결과 및 에지 검출(Edge Detection) 결과에 각각 가중치를 반영하여 사각 지대에 위치한 장애물을 검출함으로써, 검출 정확도를 향상시키면서 연산량 및 연산 시간을 최소화하는 효과가 있다.
또한, 사각 지대 탐색 장치 및 방법은 장애물 검출시 후방 카메라 이미지를 3단계의 MIP 맵으로 변환하고, MIP 맵들에 모두 중첩된 코너를 특징점으로 함으로써, 검출 영역을 최소화하여 특징점 검출을 위한 연산량 및 연산 시간을 최소화하는 효과가 있다.
또한, 사각 지대 탐색 장치 및 방법은 조감도로 변환하지 않고, 후방 카메라 이미지로부터 직접 에지를 검출함으로써, 후방 카메라 이미지를 조감도 이미지로 변환하는 과정을 생략하여 에지 검출시 연산량 및 연산 시간을 최소화하는 효과가 있다.
이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형 예 및 수정 예를 실시할 수 있을 것으로 이해된다.
100: 사각 지대 탐색 장치 110: 장애물 감지부
112: MIP 맵 생성 모듈 114: 특징점 검출 모듈
116: 물리 좌표 기반 추적 모듈 118: 영상 좌표 기반 추적 모듈
130: 에지 검출부 150: 장애물 판단부
170: BSD 알람부

Claims (20)

  1. 후방 카메라 이미지로부터 장애물을 감지하는 장애물 감지부;
    상기 후방 카메라 이미지로부터 에지를 검출하는 에지 검출부;
    상기 장애물 감지부의 장애물 검출 결과 및 상기 에지 검출부의 에지 검출 결과를 근거로 사각 지대 내의 장애물 존재 여부를 판단하는 장애물 판단부; 및
    상기 장애물 판단부에서 장애물 존재로 판단하면 BSD 경고를 발생하는 BSD 알람부를 포함하고,
    상기 에지 검출부는 두 기준선 상의 펙셀들 사이의 강도에 차이가 존재하면 두 기준선 사이에 장애물의 경계면이 존재하는 것으로 판단하여 에지를 검출하는 사각 지대 탐색 장치.
  2. 제1항에 있어서,
    상기 에지 검출부는,
    상기 후방 카메라 이미지를 조감도 이미지로 변환하고, 상기 조감도 이미지에 복수의 방사형 기준선을 표시하고, 인접한 두 방사형 기준선 사이의 에지 점수를 산출하고, 에지 점수가 임계치 이상이면 에지로 검출하는 사각 지대 탐색 장치.
  3. 제2항에 있어서,
    상기 방사형 기준선은 후방 카메라를 시작점으로 한 직선인 사각 지대 탐색 장치.
  4. 제2항에 있어서,
    상기 에지 검출부는 상기 조감도 이미지의 경고 영역 내에서 하나 이상의 에지가 검출되면 상기 경고 영역 내에 장애물이 존재하는 것으로 판단하는 사각 지대 탐색 장치.
  5. 제1항에 있어서,
    상기 에지 검출부는,
    상기 후방 카메라 이미지에 복수의 기준선을 포함한 기준선 맵을 중첩하여 표시하고, 인접한 두 기준선 사이의 에지 점수를 산출하고, 에지 점수가 임계치 이상이면 에지로 검출하는 사각 지대 탐색 장치.
  6. 제5항에 있어서,
    상기 기준선 맵에 포함된 기준선은 조감도 이미지에 적용되는 방사형 기준선에 후방 카메라의 왜곡을 반영한 곡선인 사각 지대 탐색 장치.
  7. 제5항에 있어서,
    상기 기준선 맵은 조감도 이미지에 적용되는 방사형 기준선 중에서 경고 영역 내 위치한 직선들에 후방 카메라의 왜곡을 반영한 기준선을 포함하는 사각 지대 탐색 장치.
  8. 제5항에 있어서,
    상기 에지 검출부는 상기 후방 카메라 이미지의 경고 영역 내에서 하나 이상의 에지가 검출되면 상기 경고 영역 내에 장애물이 존재하는 것으로 판단하는 사각 지대 탐색 장치.
  9. 제1항에 있어서,
    상기 장애물 감지부는,
    상기 후방 카메라 이미지를 복수의 MIP 맵으로 변환하고, 특정점의 물리 좌표 기반 트래킹 및 영상 좌표 기반 트래킹을 통해 상기 복수의 MIP 맵에서 검출된 복수의 특징점을 노면상의 특징점 및 장애물의 특징점으로 구분하는 사각 지대 탐색 장치.
  10. 제1항에 있어서,
    상기 장애물 판단부는,
    상기 장애물 감지부의 장애물 검출 결과 및 상기 에지 검출부의 에지 검출 결과에 가중치를 설정하고, 가중치가 반영된 장애물 검출 결과 및 에지 검출 결과의 합산값이 임계치 이상이면 BSD 경고 발생으로 판단하는 사각 지대 탐색 장치.
  11. 사각 지대 탐색 장치를 이용한 사각 지대 탐색 방법에 있어서,
    차량의 후방 카메라로부터 후방 카메라 이미지를 수집하는 수집 단계;
    상기 후방 카메라 이미지로부터 장애물을 검출하는 장애물 검출 단계;
    상기 후방 카메라 이미지로부터 에지를 검출하는 에지 검출 단계; 및
    상기 장애물 검출 단계의 장애물 검출 결과 및 상기 에지 검출 단계의 에지 검출 결과를 근거로 BSD 경고를 발생하는 알림 단계를 포함하고,
    상기 에지 검출 단계에서는 두 기준선 상의 펙셀들 사이의 강도에 차이가 존재하면 두 기준선 사이에 장애물의 경계면이 존재하는 것으로 판단하여 에지를 검출하는 사각 지대 탐색 방법.
  12. 제11항에 있어서,
    상기 에지 검출 단계는,
    상기 후방 카메라 이미지를 조감도 이미지로 변환하는 단계;
    상기 조감도 이미지에 복수의 방사형 기준선을 표시하는 단계;
    상기 복수의 방사형 기준선 중 인접한 두 방사형 기준선 사이의 에지 점수를 산출하는 단계; 및
    상기 에지 점수가 임계치 이상이면 에지를 검출하는 단계를 포함하는 사각 지대 탐색 방법.
  13. 제12항에 있어서,
    상기 방사형 기준선은 후방 카메라를 시작점으로 한 직선인 사각 지대 탐색 방법.
  14. 제12항에 있어서,
    상기 에지 검출 단계는,
    상기 조감도 이미지의 경고 영역 내에서 하나 이상의 에지가 검출되면 상기 경고 영역 내에 장애물이 존재하는 것으로 판단하는 단계를 더 포함하는 사각 지대 탐색 방법.
  15. 제11항에 있어서,
    상기 에지 검출 단계는,
    상기 후방 카메라 이미지에 기준선 맵을 표시하는 단계;
    상기 기준선 맵에 포함된 복수의 기준선들 중에서 인접한 두 기준선 사이의 에지 점수를 산출하는 단계; 및
    상기 에지 점수가 임계치 이상이면 에지를 검출하는 단계를 포함하는 사각 지대 탐색 방법.
  16. 제15항에 있어서,
    상기 기준선 맵에 포함된 기준선은 조감도 이미지에 적용되는 방사형 기준선에 후방 카메라의 왜곡을 반영한 곡선인 사각 지대 탐색 방법.
  17. 제15항에 있어서,
    상기 기준선 맵은 조감도 이미지에 적용되는 방사형 기준선 중에서 경고 영역 내 위치한 직선들에 후방 카메라의 왜곡을 반영한 기준선을 포함하는 사각 지대 탐색 방법.
  18. 제11항에 있어서,
    상기 에지 검출 단계는,
    상기 후방 카메라 이미지의 경고 영역 내에서 하나 이상의 에지가 검출되면 상기 경고 영역 내에 장애물이 존재하는 것으로 판단하는 단계를 더 포함하는 사각 지대 탐색 방법.
  19. 제11항에 있어서,
    상기 장애물 검출 단계는,
    상기 후방 카메라 이미지를 복수의 MIP 맵으로 변환하는 MIP 변환 단계;
    상기 복수의 MIP 맵으로부터 특징점을 검출하는 특징점 검출 단계;
    상기 특징점 검출 단계에서 검출한 특징점으로부터 노면상 특징점을 검출하는 물리 좌표 기반 추적 단계; 및
    상기 물리 좌표 기반 추적 단계에서 추적 실패한 특징점 중에서 장애물의 특징점을 검출하는 영상 좌표 기반 추적 단계를 포함하는 사각 지대 탐색 방법.
  20. 제11항에 있어서,
    상기 알림 단계는,
    상기 장애물 검출 단계의 장애물 검출 결과에 가중치를 곱한 값과 상기 에지 검출 단계에 가중치에 가중치를 곱한 값을 합산한 합산값을 산출하는 단계; 및
    상기 합산값이 임계값 이상이면 BSD 경고를 발생하는 단계를 포함하는 사각 지대 탐색 방법.
KR1020190020336A 2019-02-21 2019-02-21 사각 지대 탐색 장치 및 방법 KR102184431B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190020336A KR102184431B1 (ko) 2019-02-21 2019-02-21 사각 지대 탐색 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190020336A KR102184431B1 (ko) 2019-02-21 2019-02-21 사각 지대 탐색 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200102131A true KR20200102131A (ko) 2020-08-31
KR102184431B1 KR102184431B1 (ko) 2020-11-30

Family

ID=72234341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190020336A KR102184431B1 (ko) 2019-02-21 2019-02-21 사각 지대 탐색 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102184431B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220084780A (ko) * 2020-12-14 2022-06-21 주식회사 유라코퍼레이션 후측방 접근차량 경고 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040819A (ja) * 2006-08-07 2008-02-21 Toyota Motor Corp 障害物認識装置
KR20080046102A (ko) * 2006-11-21 2008-05-26 하만 베커 오토모티브 시스템즈 게엠베하 비디오 이미지 제시 방법 및 시스템
KR101470230B1 (ko) * 2013-10-30 2014-12-08 현대자동차주식회사 주차 영역 추적 장치 및 그 방법
KR101745015B1 (ko) 2011-11-29 2017-06-08 현대자동차주식회사 장애물 감지영역 조절 장치 및 그 방법
KR20180040183A (ko) * 2016-10-11 2018-04-20 주식회사 피엘케이 테크놀로지 대형 차량의 이동 객체 충돌 경고 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040819A (ja) * 2006-08-07 2008-02-21 Toyota Motor Corp 障害物認識装置
KR20080046102A (ko) * 2006-11-21 2008-05-26 하만 베커 오토모티브 시스템즈 게엠베하 비디오 이미지 제시 방법 및 시스템
KR101745015B1 (ko) 2011-11-29 2017-06-08 현대자동차주식회사 장애물 감지영역 조절 장치 및 그 방법
KR101470230B1 (ko) * 2013-10-30 2014-12-08 현대자동차주식회사 주차 영역 추적 장치 및 그 방법
KR20180040183A (ko) * 2016-10-11 2018-04-20 주식회사 피엘케이 테크놀로지 대형 차량의 이동 객체 충돌 경고 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220084780A (ko) * 2020-12-14 2022-06-21 주식회사 유라코퍼레이션 후측방 접근차량 경고 시스템 및 방법
KR20220167257A (ko) * 2020-12-14 2022-12-20 주식회사 유라코퍼레이션 후측방 접근차량 경고 시스템 및 방법

Also Published As

Publication number Publication date
KR102184431B1 (ko) 2020-11-30

Similar Documents

Publication Publication Date Title
KR102184418B1 (ko) 사각 지대 탐색 장치 및 방법
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
US6801244B2 (en) Obstacle detection apparatus and method
EP3576008B1 (en) Image based lane marking classification
JP3367170B2 (ja) 障害物検出装置
KR101188588B1 (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
JP3822515B2 (ja) 障害物検知装置及びその方法
JP2008219063A (ja) 車両周辺監視装置及び方法
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
CN103123687A (zh) 快速障碍物检测
CN107004250B (zh) 图像生成装置及图像生成方法
JP2010218226A (ja) 計測マップ生成装置及び走行環境確認装置
KR20180092765A (ko) 탑뷰 영상을 이용한 차선인식 장치 및 방법
JP2013137767A (ja) 障害物検出方法及び運転者支援システム
KR101178508B1 (ko) 차량 충돌 경보 시스템 및 방법
KR102184431B1 (ko) 사각 지대 탐색 장치 및 방법
JP5521217B2 (ja) 障害物検出装置、及び障害物検出方法
KR20140024681A (ko) 차선 인식 장치 및 그 방법
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
US11257375B2 (en) Method and system for detecting objects in a vehicle blind spot
Kim et al. An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing
KR20160126254A (ko) 도로 영역 검출 시스템
KR20160045484A (ko) 주차 지원 시스템
JP2007233469A (ja) 物体検出装置及びその方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant