KR102391205B1 - 객체 검출 기반 거리 추정 장치 및 그 방법 - Google Patents

객체 검출 기반 거리 추정 장치 및 그 방법 Download PDF

Info

Publication number
KR102391205B1
KR102391205B1 KR1020180032147A KR20180032147A KR102391205B1 KR 102391205 B1 KR102391205 B1 KR 102391205B1 KR 1020180032147 A KR1020180032147 A KR 1020180032147A KR 20180032147 A KR20180032147 A KR 20180032147A KR 102391205 B1 KR102391205 B1 KR 102391205B1
Authority
KR
South Korea
Prior art keywords
track
radar
vision
cluster
distance
Prior art date
Application number
KR1020180032147A
Other languages
English (en)
Other versions
KR20190110316A (ko
Inventor
산칼프 수랴나랴나 칼라쿠리
쿠머 신프 지테쉬
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020180032147A priority Critical patent/KR102391205B1/ko
Priority to US16/359,401 priority patent/US11474234B2/en
Publication of KR20190110316A publication Critical patent/KR20190110316A/ko
Application granted granted Critical
Publication of KR102391205B1 publication Critical patent/KR102391205B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93275—Sensor installation details in the bumper area

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

객체 검출 기반 거리 추정 장치 및 그 방법이 제공된다. 본 발명의 실시예에 따른 객체 검출 기반 거리 추정 장치는 레이더 및 카메라를 포함하는 복합 센서부; 레이더에 의해 검출된 거리에 대응하는 모든 레이더 트랙 및 카메라에 의해 검출된 거리에 대응하는 모든 비전 트랙을 추출하는 추출부; 레이더 트랙 각각에 대하여 근접한 비전 트랙을 하나의 클러스터로 할당하는 할당부; 및 각 클러스터에 대하여, 레이더 트랙으로부터 가장 근접한 비전 트랙을 기초로 해당 클러스터에 할당된 모든 비전 트랙의 거리를 교정하는 거리 교정부;를 포함한다.

Description

객체 검출 기반 거리 추정 장치 및 그 방법{Apparatus for estimating distance based object detection}
본 발명은 객체 검출 기반 거리 추정 장치 및 그 방법에 관한 것으로, 보다 바람직하게는 카메라와 레이더를 복합적으로 이용한 객체 검출 기반 거리 추정 장치 및 그 방법에 관한 것이다.
최근 영상기술을 기반으로 한 다양한 형태의 운전자 지원 시스템이 개발되고 있다. 특히, 자율 주행뿐만 아니라 운전자의 집중도가 감소한 상황에서 안전 주행을 지원하기 위해 차량 전방의 객체 및 객체와의 거리를 이용한다.
이를 위해, 전방을 감시하기 위한 센서로서 카메라가 보편적이며, 부가적으로 레이더를 사용하는 방안이 제시되고 있다. 또한, 검출 영역이 중첩되는 복수 개의 센서들을 이용하여 객체를 검출하는 방안이 제시되고 있다.
이때, 객체가 보행자인 경우에는, 차량과 보행자 사이의 충돌 시간을 정확하게 산출하기 위해서 보행자와 자차 사이의 거리를 정확하게 산출해야 한다.
그러나 상기와 같은 방안에서 카메라에 의한 거리 산출은 실제 거리와의 오차가 크며, 레이더에 의한 거리 산출은 보행자를 구분하여 인식하는 것이 곤란하기 때문에 이러한 단점을 보완하여 정확하게 거리를 산출하는 방안이 요구되고 있다.
KR 2016-0140303 A
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 복합 센서를 이용하여 각 센서로부터 획득된 거리의 비율에 따라 거리를 교정하여 정학하게 거리를 추정할 수 있는 객체 검출 기반 거리 추정 장치 및 그 방법을 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 레이더 및 카메라를 포함하는 복합 센서부; 상기 레이더에 의해 검출된 거리에 대응하는 모든 레이더 트랙 및 상기 카메라에 의해 검출된 거리에 대응하는 모든 비전 트랙을 추출하는 추출부; 상기 레이더 트랙 각각에 대하여 근접한 비전 트랙을 하나의 클러스터로 할당하는 할당부; 및 각 클러스터에 대하여, 상기 레이더 트랙으로부터 가장 근접한 비전 트랙을 기초로 해당 클러스터에 할당된 모든 비전 트랙의 거리를 교정하는 거리 교정부;를 포함하는 객체 검출 기반 거리 추정 장치가 제공된다.
일 실시예에서, 상기 할당부는 상기 비전 트랙 각각에 대하여 가장 근접한 레이더 트랙을 추출하고, 상기 가장 근접한 레이더 트랙을 갖는 상기 클러스터에 각 비전 트랙을 할당할 수 있다.
일 실시예에서, 상기 객체 검출 기반 거리 추정 장치는 상기 각 클러스터에 대하여, 상기 레이더 트랙으로부터 가장 근접한 비전 트랙을 산출하여 태깅하는 태그부; 및 상기 각 클러스터에 대하여, 상기 레이더 트랙까지의 거리에 대한 상기 가장 근접한 비전 트랙까지의 거리의 비율을 산출하는 교정인자 산출부;를 더 포함하고, 상기 거리 교정부는 상기 각 클러스터에 대하여 상기 비율을 해당 클러스터에 할당된 모든 비전 트랙에 적용할 수 있다.
일 실시예에서, 상기 태그부는 상기 클러스터의 수를 산출하고, 상기 각 클러스터에서 객체를 나타내는 엔티티의 수를 산출할 수 있다.
본 발명의 다른 측면에 따르면, 레이더에 의해 검출된 거리에 대응하는 모든 레이더 트랙 및 카메라에 의해 검출된 거리에 대응하는 모든 비전 트랙을 추출하는 단계; 상기 레이더 트랙 각각에 대하여 근접한 비전 트랙을 하나의 클러스터로 할당하는 단계; 및 각 클러스터에 대하여, 상기 레이더 트랙으로부터 가장 근접한 비전 트랙을 기초로 해당 클러스터에 할당된 모든 비전 트랙의 거리를 교정하는 단계;를 포함하는 객체 검출 기반 거리 추정 방법이 제공된다.
일 실시예에서, 상기 할당하는 단계는 상기 비전 트랙 각각에 대하여 가장 근접한 레이더 트랙을 추출하는 단계; 및 상기 가장 근접한 레이더 트랙을 갖는 상기 클러스터에 각 비전 트랙을 할당하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 교정하는 단계는 상기 각 클러스터에 대하여, 상기 레이더 트랙으로부터 가장 근접한 비전 트랙을 산출하여 태깅하는 단계; 상기 레이더 트랙까지의 거리에 대한 상기 태깅된 비전 트랙까지의 거리의 비율을 산출하는 단계; 및 상기 각 클러스터에 대하여 상기 비율을 해당 클러스터에 할당된 모든 비전 트랙에 적용하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 객체 검출 기반 거리 추정 방법은 상기 할당하는 단계 이후에, 상기 클러스터의 수를 산출하는 단계; 및 상기 각 클러스터에서 객체를 나타내는 엔티티의 수를 산출하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 객체 검출 기반 거리 추정 장치 및 그 방법은 레이더 및 카메라를 이용하여 획득된 거리를 상황에 따라 각 획득된 거리의 비율을 이용하여 교정함으로써 정확하게 거리를 추정할 수 있으므로 보행자와 차량의 충돌을 시간을 정확하게 예측할 수 있다.
도 1은 본 발명의 실시예에 따른 객체 검출 기반 거리 추정 장치가 적용된 차량을 나타낸 도면,
도 2는 도 1에서 카메라 및 레이더에 따른 검출 위치의 예시를 나타낸 도면,
도 3은 본 발명의 실시예에 따른 객체 검출 기반 거리 추정 장치를 나타낸 블록도,
도 4는 본 발명의 실시예에 따른 객체 검출 기반 거리 추정 방법을 나타낸 순서도,
도 5는 도 4에서 레이더 트랙을 추출하는 예를 나타낸 도면,
도 6은 도 4에서 비전 트랙을 추출하는 예를 나타낸 도면,
도 7은 도 4에서 레이더 트랙에 가장 근접한 비전 트랙을 산출하는 예를 나타낸 도면,
도 8은 도 4에서 할당하는 예를 나타낸 도면,
도 9는 도 4에서 태깅하는 예를 나타낸 도면,
도 10은 도 4에서 교정 인자를 산출하는 예를 나타낸 도면, 그리고,
도 11은 도 4에서 거리를 교정하는 예를 나타낸 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
이하에서는 도면을 참조하여 본 발명의 실시예에 따른 객체 검출 기반 거리 추정 장치를 보다 상세히 설명하도록 한다. 도 1은 본 발명의 실시예에 따른 객체 검출 기반 거리 추정 장치가 적용된 차량을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 검출 기반 거리 추정 장치가 적용된 차량(10)은 레이더(11) 및 카메라(12)를 포함한다.
본 발명은 상이한 센서를 이용하는 경우에 유용하다. 여기서, 상이한 센서는 상이한 수의 검출을 제공하고, 또한 자차로부터 객체들의 상이한 거리를 제공할 수 있다.
본 발명은 상이한 센서들에 의해 획득된 거리를 이용하여 추정 거리를 교정하여 정확한 거리를 추정하기 위한 것이다. 여기서 객체와 자차 사이의 정확한 거리는 차량과 객체 사이의 충돌 시간을 정확하게 산출하기 위해 필요하다.
레이더(11) 및 카메라(12)는 차량(10)의 전방을 향하여 탑재될 수 있다. 이때, 레이더(11)는 차량(10)의 전방 범퍼 상에 구비되고, 카메라(12)는 차량(10)의 운전석에 구비된 백미러 아래에 배치될 수 있다.
여기서, 레이더(11)가 객체를 검출할 수 있는 영역(11a)과 카메라(12)가 객체를 검출할 수 있는 영역(12a)은 중앙에서 중첩 영역(F)을 갖는다. 이러한 중첩 영역(F)에서, 본 발명은 상황에 따라 레이더(11) 또는 카메라(12)로부터 추정된 거리를 정확하게 선택할 수 있다.
도 2는 도 1에서 카메라 및 레이더에 따른 검출 위치의 예시를 나타낸 도면이다.
차량(10)의 전방에서, 여러 명의 보행자(P1~P3)가 그룹을 지어 이동하는 경우, 레이더(11)에 의해, 각 그룹에 대하여 차량(10)으로부터 가장 근접한 부분에 의해 거리가 측정될 수 있다. 또한, 카메라(12)로부터 획득된 영상에 의해 차량(10)으로부터 보행자 각각(P1~P3)의 거리가 산출될 수 있다. 여기서, 레이더(11)에 의해 검출되는 거리는 레이더 트랙으로 나타내고, 카메라(12)에 의해 검출되는 거리는 비전 트랙으로 나타낼 수 있다.
이때, 보행자 P1 내지 보행자 P3은 차량(10)에 대하여 동일하지 않은 거리에 위치할 수 있다. 일례로, 보행자 P1이 차량(10)으로부터 가장 멀리 위치하고, 보행자 P3이 차량(10)으로부터 가장 근접하게 위치하며, 보행자 P2는 보행자 P1과 보행자 P3 사이에 위치할 수 있다.
이러한 상항은 도 2의 아래에 도시된 같이, 비전 트랙 V1 내지 비전 트랙 V3 및 레이저 트랙 R로 나타낼 수 있다.
도 3은 본 발명의 실시예에 따른 객체 검출 기반 거리 추정 장치를 나타낸 블록도이다.
객체 기반 거리 추정 장치(100)는 추출부(111), 할당부(112), 태그부(113), 교정인자 산출부(114) 및 거리 교정부(115)를 포함한다.
추출부(111)는 레이더(11)에 의해 검출된 거리에 대응하는 모든 레이더 트랙 및 카메라(12)에 의해 검출된 거리에 대응하는 모든 비전 트랙을 추출할 수 있다. 여기서, 도 1과 같이 레이더(11)에 의해 측정된 거리는 레이더 트랙으로 나타낼 수 있다. 또한 보행자 각각에 대하여 차량(10)으로부터 측정되는 거리는 비전 트랙으로 나타낼 수 있다.
할당부(112)는 레이더 트랙 각각에 대하여 근접한 비전 트랙을 하나의 클러스터로 할당할 수 있다. 여기서, 하나의 레이더 트랙에 대하여 하나의 클러스터가 할당될 수 있다.
보다 구체적으로, 할당부(112)는 비전 트랙 각각에 대하여 가장 근접한 레이더 트랙을 추출할 수 있다. 이는 카메라(12)에 의해 측정된 거리보다 레이더(11)에 의해 측정된 거리가 실질적으로 더 정확성이 높기 때문에, 실제로 근접한 위치에 존재하는 보행자를 구분하기 위한 것이다.
또한 할당부(112)는 가장 근접한 레이더 트랙을 갖는 클러스터에 각 비전 트랙을 할당할 수 있다. 이에 의해 보행자들의 그룹을 하나의 클러스터로 할당할 수 있다.
이와 같이, 할당부(112)는 레이더 트랙 각각에 대하여 근접한 비전 트랙을 하나의 클러스터로 할당함으로써, 각각 복수의 보행자로 이루어진 보행자 그룹을 인식할 수 있다.
태그부(113)는 각 클러스터에 대하여 객체를 나타내는 엔티티별로 연산을 반복하기 위해 클러터의 수 및 엔티티의 수를 산출할 수 있다.
일례로 태그부(113)는 비전 트랙 및 레이더 트랙을 포함하는 각 클러스터의 수를 산출할 수 있다. 또한 태그부(113)는 각 클러스터에서 객체를 나타내는 엔티티의 수를 산출할 수 있다. 여기서, 각 클러스터에 존재하는 객체는 보행자일 수 있으며, 이는 비전 트랙에 대응할 수 있다.
또한 태그부(113)는 각 클러스터에 대하여, 레이더 트랙으로부터 가장 근접한 비전 트랙을 산출하여 태깅할 수 있다. 즉, 태그부(113)는 클러스터 내의 비전 트랙 중에서 레이더 트랙과 가장 근접한 비전 트랙을 산출하고 산출된 비전 트랙에 태그를 부가할 수 있다.
교정인자 산출부(114)는 각 클러스터에 대하여, 레이더 트랙까지의 거리에 대한 가장 근접한 비전 트랙까지의 거리의 비율을 교정 인자로서 산출할 수 있다. 여기서 상기 교정 인자는 비전 트랙의 거리를 교정하기 위한 것일 수 있다.
거리 교정부(115)는 각 클러스터에 대하여, 레이더 트랙으로부터 가장 근접한 비전 트랙을 기초로 해당 클러스터에 할당된 모든 비전 트랙의 거리를 교정할 수 있다. 이때, 거리 교정부(115)는 각 클러스터에 대하여 교정 인자로서 산출된 비율을 해당 클러스터에 할당된 모든 비전 트랙에 적용할 수 있다.
이에 의해 보행자에 대응하는 비전 트랙의 거리를 교정하여 차량(10)과 보행자 사이의 거리를 정확하게 추정할 수 있다.
이와 같은 구성에 의해, 본 발명의 실시예에 따른 객체 기반 거리 추정 장치(100)는 정확하게 거리를 추정할 수 있으므로 보행자와 차량의 충돌을 시간을 정확하게 예측할 수 있다.
이하, 도 4 내지 도 11을 참조하여 본 발명의 실시예에 따른 객체 검출 기반 거리 추정 방법을 설명한다. 도 4는 본 발명의 실시예에 따른 객체 검출 기반 거리 추정 방법을 나타낸 순서도이다.
객체 검출 기반 거리 추정 방법(200)은 레이더 트랙 및 비전 트랙을 추출하는 단계(S201 및 S202), 클러스터에 비전 트랙을 할당하는 단계(S203 내지 S206), 및 교정 인자를 산출하여 거리를 교정하는 단계(S207 내지 S209)를 포함한다.
보다 상세히 설명하면, 도 4에 도시된 바와 같이, 먼저, 객체 기반 거리 추정 장치(100)는 레이더(11)에 의해 검출된 거리에 대응하는 모든 레이더 트랙을 산출한다(단계 S201). 이때, 도 2에서와 같이 여러 명의 보행자가 그룹을 지어 이동하는 경우, 레이더(11)는 각 그룹에 대하여 가장 근접한 부분에 의해 거리가 산출될 수 있다.
도 5는 도 4에서 레이더 트랙을 추출하는 예를 나타낸 도면이다.
도 5를 참조하면, 보행자 P1과 보행자 P2가 그룹을 지어 이동하고, 보행자 P3과 보행자 P4가 그룹을 지어 이동하는 경우, 레이더(11)에 의해 측정되는 거리는 레이더 트랙 R1 및 레이더 트랙 R2로 나타낼 수 있다.
즉, 차량(10)으로부터 보행자 P1 및 보행자 P2의 그룹까지의 거리는 레이더 트랙 R1로 나타낼 수 있다. 이와 마찬가지로, 차량(10)으로부터 보행자 P3 및 보행자 P4의 그룹까지의 거리는 레이더 트랙 R2로 나타낼 수 있다.
이와 유사하게, 객체 기반 거리 추정 장치(100)는 카메라(12)에 의해 검출된 거리에 대응하는 모든 비전 트랙을 추출한다(단계 S202). 이때, 비전 트랙은 카메라(12)로부터 획득된 영상에서 추출될 수 있다.
도 6은 도 4에서 비전 트랙을 추출하는 예를 나타낸 도면이다.
도 6을 참조하면, 보행자 P1 내지 보행자 P4 각각에 대하여 차량(10)으로부터 측정되는 거리는 비전 트랙 V1 내지 비전 트랙 V4로 나타낼 수 있다. 여기서, 보행자 P1과 보행자 P2, 및 보행자 P3과 보행자 P4는 차량(10)에 대하여 동일하지 않은 위치일 수 있다.
일례로, 보행자 P1이 보행자 P2보다 차량(10)에 더 근접할 수 있으나 이에 한정되지 않고 그 반대일 수도 있다. 이와 마찬가지로 보행자 P3이 보행자 P4보다 차량(10)에 더 근접할 수 있으나 이에 한정되지 않고 그 반대일 수도 있다. 즉, 보행자 P1 내지 보행자 P4는 실질적으로 차량(10)으로부터 서로 상이한 거리에 위치할 수 있다.
다음으로, 객체 기반 거리 추정 장치(100)는 비전 트랙 각각에 대하여 가장 근접한 레이더 트랙을 추출한다(단계 S203). 이는 카메라(12)에 의해 측정된 거리보다 레이더(11)에 의해 측정된 거리가 실질적으로 더 정확성이 높기 때문에, 실제로 근접한 위치에 존재하는 보행자를 구분하기 위한 것이다.
도 7은 도 4에서 레이더 트랙에 가장 근접한 비전 트랙을 산출하는 예를 나타낸 도면이다.
도 7을 참조하면, 비전 트랙 V1 및 비전 트랙 V2는 레이더 트랙 중에서 레이더 트랙 R1에 가장 근접하고, 비전 트랙 V3 및 비전 트랙 V4는 레이더 트랙 중에서 레이더 트랙 R2에 가장 근접할 수 있다.
다음으로, 객체 기반 거리 추정 장치(100)는 가장 근접한 레이더 트랙을 갖는 클러스터에 각 비전 트랙을 할당한다(단계 S204). 이에 의해, 보행자들의 그룹을 하나의 클러스터로 할당할 수 있다.
도 8은 도 4에서 할당하는 예를 나타낸 도면이다.
도 8을 참조하면, 레이더 트랙 R1을 기준으로 근접한 비전 트랙 V1 및 비전 트랙 V2를 하나의 클러스터 A에 할당할 수 있다. 이와 유사하게, 레이더 트랙 R2를 기준으로 근접한 비전 트랙 V3 및 비전 트랙 V4를 하나의 클러스터 B에 할당할 수 있다.
이에 같이, 객체 기반 거리 추정 장치(100)는 레이더 트랙 각각에 대하여 근접한 비전 트랙을 하나의 클러스터로 할당함으로써, 각각 복수의 보행자로 이루어진 보행자 그룹을 인식할 수 있다.
이때, 객체 기반 거리 추정 장치(100)는 각 클러스터에 대하여 객체를 나타내는 엔티티별로 연산을 반복하기 위해 클러터의 수 및 엔티티의 수를 산출할 수 있다.
구체적으로, 객체 기반 거리 추정 장치(100)는 클러스터의 수를 산출한다(단계 S205). 즉, 각각의 레이더 트랙에 대하여 근접한 비전 트랙이 할당된 클러스터의 수를 산출할 수 있다.
도 8에서, 비전 트랙 V1 및 비전 트랙 V2 및 레이더 트랙 R1을 포함하는 클러스터 A와 비전 트랙 V3, 비전 트랙 V4 및 레이더 트랙 R2를 포함하는 클러스터 B가 존재한다. 이 경우, 클러스터의 수는 2개이다.
다음으로, 객체 기반 거리 추정 장치(100)는 각 클러스터에서 객체를 나타내는 엔티티의 수를 산출한다(단계 S206). 여기서, 각 클러스터에 존재하는 객체는 보행자일 수 있으며, 이는 비전 트랙에 대응할 수 있다.
도 8에서, 클러스터 A는 비전 트랙 V1 및 비전 트랙 V2와 같이 2개의 엔티티를 포함할 수 있다. 클러스터 B는 비전 트랙 V3 및 비전 트랙 V4와 같이 2개의 엔티티를 포함할 수 있다.
다음으로, 객체 기반 거리 추정 장치(100)는 각 클러스터에 대하여, 레이더 트랙으로부터 가장 근접한 비전 트랙을 산출하여 태깅한다(단계 S207).
도 9는 도 4에서 태깅하는 예를 나타낸 도면이다.
도 9를 예로 들면, 클러스터 A에서, 비전 트랙 V1과 레이더 트랙 R1 사이의 거리는 비전 트랙 V2와 레이더 트랙 R1 사이의 거리보다 작을 수 있다. 즉, 비전 트랙 V1이 레이더 트랙 R1에 가장 근접할 수 있다. 따라서 클러스터 A에 대하여 비전 트랙 V1에 태그를 부가할 수 있다.
이와 마찬가지로, 클러스터 B에서, 비전 트랙 V3과 레이더 트랙 R2 사이의 거리는 비전 트랙 V4와 레이더 트랙 R2 사이의 거리보다 작을 수 있다. 즉, 비전 트랙 V3이 레이더 트랙 R2에 가장 근접할 수 있다. 따라서 클러스터 B에 대하여 비전 트랙 V3에 태그를 부가할 수 있다.
다음으로, 객체 기반 거리 추정 장치(100)는 차량(10)으로부터 레이더 트랙까지의 거리에 대한 차량(10)으로부터 태깅된 비전 트랙까지의 거리의 비율을 산출한다(단계 S208). 여기서 산출된 비율은 비전 트랙의 거리를 교정하기 위한 교정 인자(CF)일 수 있다.
도 10은 도 4에서 교정 인자를 산출하는 예를 나타낸 도면이다.
도 10을 참조하면, 비전 트랙 V1 내지 비전 트랙 V4, 및 레이더 트랙 R1 및 레이더 트랙 R2에 대응하여 거리는 차량(10)의 전방 범퍼를 기준으로 나타낼 수 있다. 이때, 하기의 식에 따라 각 클러스터에 대한 교정 인자(CF)를 산출할 수 있다.
CF1 = dA / d1
CF2 = dB / d3
여기서, CF1은 클러스터 A에 대한 교정 인자, CF2는 클러스터 B에 대한 교정 인자, dA는 차량(10)으로부터 레이더 트랙 R1까지의 거리, d1은 차량(10)으로부터 태깅된 비전 트랙 V1까지의 거리, dB는 차량(10)으로부터 레이더 트랙 R2까지의 거리, d3은 차량(10)으로부터 태깅된 비전 트랙 V3까지의 거리이다.
다음으로, 객체 기반 거리 추정 장치(100)는 각 클러스터에 대하여 교정 인자로서 산출된 비율을 해당 클러스터에 할당된 모든 비전 트랙에 적용한다(단계 S209). 즉, 보행자에 대응하는 비전 트랙의 거리를 교정하여 차량(10)과 보행자 사이의 거리를 정확하게 추정할 수 있다.
도 11은 도 4에서 거리를 교정하는 예를 나타낸 도면이다.
도 11을 참조하면, 각 보행자로부터 차량(10)의 거리는 교정 인자(CF)에 의해 교정될 수 있다. 이때, 하기의 식에 따라 각 비전 트랙에 대한 거리를 교정할 수 있다.
d1' = CF1 × d1
d2' = CF1 × d2
d3' = CF2 × d3
d4' = CF2 × d4
여기서, d1 내지 d4는 차량(10)으로부터 각 비전 트랙 V1 내지 V4까지의 거리이고, d1' 내지 d4'는 차량(10)으로부터 각 비전 트랙 V1 내지 V4까지의 교정된 거리이다.
위의 식으로 알 수 있는 바와 같이, 비전 트랙 중 레이더 트랙에 가장 근접한 비전 트랙의 거리는 보다 정확도가 높은 해당 레이더 트랙의 거리로 대체하고, 이를 기초로 각 비전 트랙을 교정할 수 있다.
이와 같이, 객체 기반 거리 추정 장치(100)는 각 클러스터에 대하여, 레이더 트랙으로부터 가장 근접한 비전 트랙을 기초로 해당 클러스터에 할당된 모든 비전 트랙의 거리를 교정함으로써 보행자별로 정확한 거리를 추정할 수 있다.
이와 같은 방법에 의해 본 발명은 정확하게 거리를 추정할 수 있으므로 보행자와 차량의 충돌을 시간을 정확하게 예측할 수 있다.
상기와 같은 방법들은 도 1에 도시된 바와 같은 객체 기반 거리 추정 장치(100)에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
이때, 컴퓨터 판독가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함하며, 예를 들면, ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등일 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
100 : 객체 기반 거리 추정 장치 111 : 추출부
112 : 할당부 113 태그부
114 : 교정인자 산출부 115 : 거리 교정부

Claims (8)

  1. 레이더 및 카메라를 포함하는 복합 센서부;
    상기 레이더에 의해 검출된 거리에 대응하는 모든 레이더 트랙 및 상기 카메라에 의해 검출된 거리에 대응하는 모든 비전 트랙을 추출하는 추출부;
    상기 레이더 트랙 각각에 대하여 근접한 비전 트랙을 하나의 클러스터로 할당하는 할당부; 및
    각 클러스터에 대하여, 상기 레이더 트랙으로부터 가장 근접한 비전 트랙을 기초로 해당 클러스터에 할당된 모든 비전 트랙의 거리를 교정하는 거리 교정부;
    를 포함하는 객체 검출 기반 거리 추정 장치.
  2. 제1항에 있어서,
    상기 할당부는 상기 비전 트랙 각각에 대하여 가장 근접한 레이더 트랙을 추출하고, 상기 가장 근접한 레이더 트랙을 갖는 상기 클러스터에 각 비전 트랙을 할당하는 객체 검출 기반 거리 추정 장치.
  3. 제1항에 있어서,
    상기 각 클러스터에 대하여, 상기 레이더 트랙으로부터 가장 근접한 비전 트랙을 산출하여 태깅하는 태그부; 및
    상기 각 클러스터에 대하여, 상기 레이더 트랙까지의 거리에 대한 상기 가장 근접한 비전 트랙까지의 거리의 비율을 산출하는 교정인자 산출부;를 더 포함하고,
    상기 거리 교정부는 상기 각 클러스터에 대하여 상기 비율을 해당 클러스터에 할당된 모든 비전 트랙에 적용하는 객체 검출 기반 거리 추정 장치.
  4. 제3항에 있어서,
    상기 태그부는 상기 클러스터의 수를 산출하고, 상기 각 클러스터에서 객체를 나타내는 엔티티의 수를 산출하는 객체 검출 기반 거리 추정 장치.
  5. 레이더에 의해 검출된 거리에 대응하는 모든 레이더 트랙 및 카메라에 의해 검출된 거리에 대응하는 모든 비전 트랙을 추출하는 단계;
    상기 레이더 트랙 각각에 대하여 근접한 비전 트랙을 하나의 클러스터로 할당하는 단계; 및
    각 클러스터에 대하여, 상기 레이더 트랙으로부터 가장 근접한 비전 트랙을 기초로 해당 클러스터에 할당된 모든 비전 트랙의 거리를 교정하는 단계;
    를 포함하는 객체 검출 기반 거리 추정 방법.
  6. 제5항에 있어서,
    상기 할당하는 단계는,
    상기 비전 트랙 각각에 대하여 가장 근접한 레이더 트랙을 추출하는 단계; 및
    상기 가장 근접한 레이더 트랙을 갖는 상기 클러스터에 각 비전 트랙을 할당하는 단계;를 포함하는 객체 검출 기반 거리 추정 방법.
  7. 제5항에 있어서,
    상기 교정하는 단계는,
    상기 각 클러스터에 대하여, 상기 레이더 트랙으로부터 가장 근접한 비전 트랙을 산출하여 태깅하는 단계;
    상기 레이더 트랙까지의 거리에 대한 상기 태깅된 비전 트랙까지의 거리의 비율을 산출하는 단계; 및
    상기 각 클러스터에 대하여 상기 비율을 해당 클러스터에 할당된 모든 비전 트랙에 적용하는 단계;를 포함하는 객체 검출 기반 거리 추정 방법.
  8. 제5항에 있어서,
    상기 할당하는 단계 이후에,
    상기 클러스터의 수를 산출하는 단계; 및
    상기 각 클러스터에서 객체를 나타내는 엔티티의 수를 산출하는 단계를 더 포함하는 객체 검출 기반 거리 추정 방법.
KR1020180032147A 2018-03-20 2018-03-20 객체 검출 기반 거리 추정 장치 및 그 방법 KR102391205B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180032147A KR102391205B1 (ko) 2018-03-20 2018-03-20 객체 검출 기반 거리 추정 장치 및 그 방법
US16/359,401 US11474234B2 (en) 2018-03-20 2019-03-20 Device and method for estimating distance based on object detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180032147A KR102391205B1 (ko) 2018-03-20 2018-03-20 객체 검출 기반 거리 추정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190110316A KR20190110316A (ko) 2019-09-30
KR102391205B1 true KR102391205B1 (ko) 2022-04-27

Family

ID=67984967

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180032147A KR102391205B1 (ko) 2018-03-20 2018-03-20 객체 검출 기반 거리 추정 장치 및 그 방법

Country Status (2)

Country Link
US (1) US11474234B2 (ko)
KR (1) KR102391205B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6914065B2 (ja) * 2017-03-17 2021-08-04 シャープ株式会社 障害物検出装置、走行装置、障害物検出システムおよび障害物検出方法
US11315431B2 (en) * 2019-10-09 2022-04-26 Uatc, Llc Systems and methods for autonomous vehicle controls
CN112904331B (zh) * 2019-11-19 2024-05-07 杭州海康威视数字技术股份有限公司 移动轨迹的确定方法、装置、设备及存储介质
DE102020105192B4 (de) 2020-02-27 2022-03-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
US20230314599A1 (en) * 2022-02-16 2023-10-05 Aptiv Technologies Limited Multi-Scan Sensor Fusion for Object Tracking
CN116012453B (zh) * 2023-03-28 2023-06-09 常州星宇车灯股份有限公司 车辆智能驾驶的单目测距方法、装置、设备、介质及车辆

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081202A (ja) 2014-10-15 2016-05-16 本田技研工業株式会社 物体認識装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4019736B2 (ja) * 2002-02-26 2007-12-12 トヨタ自動車株式会社 車両用障害物検出装置
NL1023016C2 (nl) * 2003-03-25 2004-09-30 Tno Detectiesysteem, werkwijze voor het detecteren van objecten en computerprogramma daarvoor.
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
JP5503578B2 (ja) * 2011-03-10 2014-05-28 パナソニック株式会社 物体検出装置及び物体検出方法
US8705797B2 (en) * 2012-03-07 2014-04-22 GM Global Technology Operations LLC Enhanced data association of fusion using weighted Bayesian filtering
KR101491849B1 (ko) * 2013-07-23 2015-02-06 현대오트론 주식회사 차간 거리용 센서 고장 보상 시스템 및 방법
KR101694837B1 (ko) 2015-05-29 2017-01-11 연세대학교 산학협력단 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
US10565468B2 (en) * 2016-01-19 2020-02-18 Aptiv Technologies Limited Object tracking system with radar/vision fusion for automated vehicles
KR101848864B1 (ko) * 2016-03-31 2018-04-16 주식회사 아이유플러스 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법
JP2019075597A (ja) * 2016-05-20 2019-05-16 日本電産エレシス株式会社 アンテナ装置、アンテナアレイ、レーダ装置、およびレーダシステム
JP6673160B2 (ja) * 2016-11-24 2020-03-25 株式会社デンソー 距離測定装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081202A (ja) 2014-10-15 2016-05-16 本田技研工業株式会社 物体認識装置

Also Published As

Publication number Publication date
US11474234B2 (en) 2022-10-18
KR20190110316A (ko) 2019-09-30
US20190293782A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
KR102391205B1 (ko) 객체 검출 기반 거리 추정 장치 및 그 방법
US10061993B2 (en) Warning method of obstacles and device of obstacles
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
US8824741B2 (en) Method for estimating the roll angle in a travelling vehicle
CN110608746B (zh) 用于确定机动车的位置的方法和装置
US20190005667A1 (en) Ground Surface Estimation
KR20100044305A (ko) 차선을 인식하는 방법 및 장치
US20200279380A1 (en) Mobile entity position estimation device and position estimation method
CN108319931B (zh) 一种图像处理方法、装置及终端
WO2019171821A1 (ja) 列車位置推定装置
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
EP2910897B1 (en) Stereo image processing device and stereo image processing method
US9418443B2 (en) Apparatus and method for detecting obstacle
KR102371617B1 (ko) 차량의 객체 인식 장치 및 방법
US20210264170A1 (en) Compensation for vertical road curvature in road geometry estimation
US11361450B2 (en) Method for determining mutually corresponding pixels, SoC for carrying out the method, camera system including the SoC, control unit and vehicle
JP2023099851A (ja) 測定装置、測定方法およびプログラム
EP3288260B1 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means
KR20230082323A (ko) 차량 속도 검출 방법 및 장치
TW201620746A (zh) 行車安全系統及其障礙物篩選方法
KR101266623B1 (ko) 차량간 거리 추정방법 및 그 장치
KR101845276B1 (ko) 보행자용 위치기반 서비스를 위한 맵매칭 방법
JPWO2018212280A1 (ja) 測定装置、測定方法およびプログラム
CN115641567B (zh) 用于车辆的目标对象检测方法、装置、车辆及介质
KR102676238B1 (ko) 차량용 측위 장치 및 그의 측위 방법과 그를 포함하는 차량

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right