KR20240062227A - 타겟 검출 방법 및 장치 - Google Patents

타겟 검출 방법 및 장치 Download PDF

Info

Publication number
KR20240062227A
KR20240062227A KR1020220141355A KR20220141355A KR20240062227A KR 20240062227 A KR20240062227 A KR 20240062227A KR 1020220141355 A KR1020220141355 A KR 1020220141355A KR 20220141355 A KR20220141355 A KR 20220141355A KR 20240062227 A KR20240062227 A KR 20240062227A
Authority
KR
South Korea
Prior art keywords
target
position coordinates
moving target
line segment
radar
Prior art date
Application number
KR1020220141355A
Other languages
English (en)
Inventor
소원욱
이길하
류태규
이윤종
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020220141355A priority Critical patent/KR20240062227A/ko
Priority to US18/103,089 priority patent/US20240142597A1/en
Priority to CN202310698753.3A priority patent/CN117949940A/zh
Publication of KR20240062227A publication Critical patent/KR20240062227A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G01S2013/462—Indirect determination of position data using multipath signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93275—Sensor installation details in the bumper area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

타겟 검출 장치가 이동 타겟을 검출하는 방법이 개시된다. 상기 타겟 검출 방법은 차량에 설치된 적어도 하나의 레이다로부터 레이다 데이터를 획득하는 단계, 상기 레이다 데이터로부터 이동 타겟의 위치 좌표를 추출하는 단계, 상기 차량의 주변에 위치하는 고정체의 위치 좌표를 이용하여, 상기 레이다의 신호가 반사되는 반사면의 선분을 추출하는 단계, 상기 이동 타겟의 위치 좌표와 상기 반사면의 선분을 이용하여 상기 이동 타겟이 LOS(Line of Sight) 영역 또는 NLOS(Non Line of Sight) 영역에 있는지를 판단하는 단계, 그리고 상기 이동 타겟이 상기 NLOS 영역에 있는 경우, 상기 이동 타겟의 위치 좌표를 실제 위치 좌표로 변환하는 단계를 포함할 수 있다.

Description

타겟 검출 방법 및 장치{TARGET DETECTION METHOD AND APPARATUS}
본 기재는 차량에 설치된 레이다와 카메라를 이용한 타겟 검출 방법 및 장치에 관한 것이다.
차량 및 보행자의 안전을 위해, 차량에는 주변 환경을 인식하는 초음파, 카메라, 레이다, 라이다 등 다양한 센서가 탑재되어 있다. 이러한 센서들은 가시거리(Line of Sight, LOS) 영역내에 있는 사람, 차량, 동물, 움직이는 객체 등을 감지할 수 있다. 이에 반해, 이러한 센서들은 건물, 벽, 인접 차량에 의해 가려진 사람 또는 차량을 감지하지 못할 수 있다. 즉, 차량에 탑재된 센서들은 가시 영역내의 타겟을 감지할 수 있으나 비가시 거리(Non-Line of Sight, NLOS) 영역내의 타겟을 감지할 수 없다.
예를 들면, 차량에 탑재된 센서들은 자동차가 운행 중에 도로 좌우에 주차된 차량 사이에 어린이들이 돌발적으로 튀어나올 때 또는 일방통행의 좁은 편도차선의 사거리에서 돌발적으로 자전거 또는 사람, 오토바이, 차량 등이 나타날 때, 또는 차량이 지하 주차장 또는 콘크리트 벽에 의해 가려져 있는 주차장에서 도로로 나올 때 인도에서 접근하는 보행자가 있을 때와 같이 방해물에 가려진 객체를 인지하지 못한다.
한편, 차량에 사용되고 있는 전방 카메라는 삼중 초점 카메라(Trifocal camera)와 같이 협각과 광각의 FOV(Field of View)을 가지는 다수의 카메라를 사용하여, 원거리와 근거리의 주변 환경을 감지할 수 있다. 그러나 이러한 카메라도 건물, 벽, 차량 등과 같은 방해물에 의해 가려진 타겟을 감지하지 못할 수 있다.
또한 최근에 차량의 범퍼에 안전을 위해서 코너(corner) 레이다가 장착되고 있는 추세이다. 그러나 차량 범퍼 우측에 장착된 코너 레이다는 우측 차선이나 교차로의 우측에서 접근하는 타겟을 주로 감지하고, 차량 범퍼 좌측에 장착된 코너 레이다는 좌측 차선이나 교차로의 좌측에서 접근하는 타겟을 주로 감지한다. 이러한 코너 레이다도 차량의 좌우에 위치하는 방해물에 가려진 타겟을 감지하지 못한다.
이와 같이, 현재 차량에 적용되고 있는 다양한 센서는 사람 또는 센서가 직선거리에서 볼 수 있는 LOS 영역내의 타겟만을 감지할 뿐, 도로에서 교차로의 건물, 광고판, 안내판, 좌우에 주차된 차량, 운행 중인 옆차선의 대형 차량 등 다양한 방해물에 의해 가려진 NLOS 영역에 있는 타겟은 감지하지 못하는 문제가 있다. 특히, 다수의 카메라 시스템만을 사용하는 차량에서는 이러한 문제가 더욱 심각해질 수 있다.
향후 자동차의 센서 시스템은 4D(거리, 속도, 각도, 높이) 이미지를 생성하는 방향으로 진화될 것이며, 이를 위해서는 타겟을 감지하면 어떤 타겟이 LOS 영역의 타겟이고, 어떤 타겟이 NLOS 영역의 타겟인지 구별해서 운전자 또는 시스템에 알려줄 수 있어야 하며, NLOS 영역의 타겟이 감지되는 경우, 저속운행 및 급정거 등으로 돌발상황에 대처할 수 있도록 운전자 또는 자동차 자율주행 시스템에 미리 알려줄 필요가 있다.
실시예들 중 적어도 하나의 실시 예는 검출된 타겟이 LOS 영역에 있는지 NLOS 영역에 있는지 구분할 수 있는 타겟 검출 방법 및 장치를 제공하는 것이다.
한 실시 예에 따르면, 타겟 검출 장치가 이동 타겟을 검출하는 방법이 제공된다. 타겟 검출 방법은 차량에 설치된 적어도 하나의 레이다로부터 레이다 데이터를 획득하는 단계, 상기 레이다 데이터로부터 이동 타겟의 위치 좌표를 추출하는 단계, 상기 차량의 주변에 위치하는 고정체의 위치 좌표를 이용하여, 상기 레이다의 신호가 반사되는 반사면의 선분을 추출하는 단계, 상기 이동 타겟의 위치 좌표와 상기 반사면의 선분을 이용하여 상기 이동 타겟이 LOS(Line of Sight) 영역 또는 NLOS(Non Line of Sight) 영역에 있는지를 판단하는 단계, 그리고 상기 이동 타겟이 상기 NLOS 영역에 있는 경우, 상기 이동 타겟의 위치 좌표를 실제 위치 좌표로 변환하는 단계를 포함한다.
상기 반사면 선분을 추출하는 단계는 상기 차량에 설치된 카메라를 통해 획득되는 카메라 영상으로부터 상기 고정체의 위치 좌표를 추출하는 단계를 포함할 수 있다.
상기 반사면의 선분을 추출하는 단계는 상기 카메라를 기준으로, 상기 카메라의 감지 영역 내에서 인식된 상기 고정체의 우측 끝점의 위치 좌표와 상기 고정체의 좌측 끝점의 위치 좌표를 추출하는 단계, 그리고 상기 우측 끝점의 위치 좌표와 상기 좌측 끝점의 위치 좌표를 연결하여 상기 반사면의 선분을 획득하는 단계를 더 포함할 수 있다.
상기 반사면의 선분을 추출하는 단계는 상기 차량의 주행방향과 주행속도를 획득하는 단계, 상기 차량의 주행방향과 주행속도를 이용하여 상기 레이다 데이터로부터 검출된 적어도 하나의 타겟으로부터 상기 고정체를 구별하는 단계, 그리고 상기 레이다 데이터로부터 상기 고정체의 위치 좌표를 추출하는 단계를 포함할 수 있다.
상기 구별하는 단계는 상기 레이다 데이터로부터 상기 적어도 하나의 타겟의 속도를 추정하는 단계, 상기 적어도 하나의 타겟 중 상기 주행방향으로 상기 주행속도와 동일한 속도를 가지는 타겟을 상기 고정체로 분류하는 단계, 그리고 상기 적어도 하나의 타겟 중 상기 주행방향 및 상기 주행속도 중 적어도 하나가 다른 타겟을 상기 이동 타겟으로 분류하는 단계를 포함할 수 있다.
상기 반사면의 선분을 추출하는 단계는 상기 레이다 데이터로부터 상기 고정체의 우측 끝점의 위치 좌표와 상기 고정체의 좌측 끝점의 위치 좌표를 추출하는 단계, 그리고 상기 우측 끝점의 위치 좌표와 상기 좌측 끝점의 위치 좌표를 연결하여 상기 반사면의 선분을 획득하는 단계를 더 포함할 수 있다.
상기 판단하는 단계는 상기 레이다의 중심에서 상기 이동 타겟의 위치 좌표까지 연결한 타겟 선분이 상기 반사면의 선분을 교차하는지 판단하는 단계, 그리고
상기 타겟 선분이 상기 반사면의 선분을 교차하면, 상기 이동 타겟이 상기 NLOS 영역에 있는 것으로 판단하는 단계를 포함할 수 있다.
상기 변환하는 단계는 상기 이동 타겟의 위치 좌표를 상기 반사면의 선분을 기준으로 미러링시켜 상기 실제 위치 좌표를 산출하는 단계를 포함할 수 있다.
다른 실시 예에 따르면, 타겟을 검출하는 타겟 검출 장치가 제공된다. 타겟 검출 장치는 차량에 설치되며 레이다 데이터를 획득하는 적어도 하나의 레이다, 상기 차량의 주변에 위치하는 고정체의 위치 좌표와 상기 레이다 데이터로부터 추출된 이동 타겟의 위치 좌표를 이용하여, 상기 이동 타겟이 LOS(Line of Sight) 영역 또는 NLOS(Non Line of Sight) 영역에 있는지를 판단하는 좌표 비교기, 그리고 상기 이동 타겟이 상기 NLOS 영역에 있는 경우, 상기 이동 타겟의 위치 좌표를 실제 위치 좌표로 변환하는 좌표 변환기를 포함한다.
상기 타겟 검출 장치는 상기 차량에 설치된 카메라를 통해 획득된 카메라 영상으로부터 상기 고정체의 위치 좌표를 추출하는 고정체 좌표 추출기, 그리고 상기 레이다 데이터로부터 상기 이동 타겟의 위치 좌표를 추출하는 이동체 좌표 추출기를 더 포함할 수 있다.
상기 타겟 검출 장치는 상기 차량의 주행방향과 주행속도를 획득하는 운행정보 획득부, 그리고 상기 차량의 주행방향과 주행속도를 이용하여 상기 레이다 데이터로부터 검출된 적어도 하나의 타겟으로부터 상기 고정체와 상기 이동 타겟을 분류하는 타겟 분류부를 더 포함할 수 있다.
상기 타겟 분류부는 상기 레이다 데이터로부터 상기 적어도 하나의 타겟의 속도를 추정할 수 있고, 상기 적어도 하나의 타겟 중 상기 주행방향으로 상기 주행속도와 동일한 속도를 가지는 타겟을 상기 고정체로 분류할 수 있으며, 상기 적어도 하나의 타겟 중 상기 주행방향 및 상기 주행속도 중 적어도 하나가 다른 타겟을 상기 이동 타겟으로 분류할 수 있다.
상기 좌표 비교기는 상기 고정체의 우측 끝점의 위치 좌표와 상기 고정체의 좌측 끝점의 위치 좌표를 연결하여 상기 레이다의 신호가 반사되는 반사면의 선분을 획득할 수 있고, 상기 레이다의 중심에서 상기 이동 타겟의 위치 좌표까지 연결한 타겟 선분이 상기 반사면의 선분을 교차하면 상기 이동 타겟이 상기 NLOS 영역에 있는 것으로 판단할 수 있다.
상기 좌표 변환기는 상기 이동 타겟의 위치 좌표를 상기 반사면의 선분을 기준으로 미러링시켜 상기 실제 위치 좌표를 산출할 수 있다.
상기 타겟 검출 장치는 상기 LOS 영역에 있는 이동 타겟의 위치 좌표와 상기 NLOS 영역에 있는 이동 타겟의 위치 좌표를 데이터 퓨전 방식으로 표시하는 표시부를 더 포함할 수 있다.
실시 예들 중 적어도 하나의 실시 예에 의하면, 카메라와 기존의 레이다에서 탐지하지 못하는 NLOS 영역의 타겟 검출은 물론, NLOS 영역의 타겟 위치를 정확하게 검출할 수 있어, 충돌 사고의 위험성을 줄일 수 있고, 안전성을 향상시킬 수 있다.
또한 실시예들 중 적어도 하나의 실시 예에 따르면, 각 레이다로부터 취득한 데이터에서 LOS 영역의 타겟과 NLOS 영역의 타겟을 분리할 수 있고, 서로 다른 위치에 장착된 레이다의 데이터를 취합하여 타겟을 검출하고, 서로 다른 위치에 장착된 레이다의 데이터로부터 검출된 타겟을 비교함으로써, NLOS 영역의 타겟 인식율을 향상시킬 수 있다.
도 1은 NLOS 환경의 일 예를 나타낸 도면이다.
도 2는 차량에 장착된 코너 레이다와 전방 레이다의 감지 영역을 설명하는 도면이다.
도 3은 한 실시 예에 따른 레이다의 반사 특성을 활용하여 NLOS 영역에 있는 타겟을 검출하는 방법을 설명하는 도면이다.
도 4는 한 실시 예에 따른 타겟 검출 장치를 나타낸 도면이다.
도 5는 도 4에 도시된 타겟 검출 장치의 타겟 검출 방법을 나타내는 흐름도이다.
도 6은 도 4에 도시된 타겟 검출 장치의 타겟 검출 방법의 일 예를 도식화한 도면이다.
도 7은 도 4에 도시된 좌표 변환기에서 가상 타겟의 위치 좌표를 실제 이동 타겟의 위치 좌표로 변환하는 일 예를 설명하는 도면이다.
도 8은 도 4에 도시된 좌표 변환기에서 가상 타겟의 위치 좌표를 실제 이동 타겟의 위치 좌표로 변환하는 다른 예를 설명하는 도면이다.
도 9는 다른 실시 예에 따른 타겟 검출 장치를 나타낸 도면이다.
도 10은 도 9에 도시된 타겟 검출 장치의 타겟 검출 방법을 나타내는 흐름도이다.
도 11은 또 다른 실시 예에 따른 타겟 검출 장치를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 기재의 실시 예에 대하여 본 기재가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 기재는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 기재를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 또는 물리적으로 연결"되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 또는 비접촉 연결"되어 있는 경우, 또는 "전기적으로 연결"되어 있는 경우도 포함한다.
본 명세서에서 도면을 참고하여 설명한 흐름도에서, 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다.
이제 본 기재의 실시 예에 따른 타겟 검출 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 NLOS 환경의 일 예를 나타낸 도면이다.
도 1을 참고하면, 주행하는 차량(10)의 좌측 또는 우측에 시야를 방해하는 방해물(20)이 있고, 방해물(20) 너머에 차량 또는 사람 등의 타겟(30)이 있을 때 NLOS 환경이 발생된다. 이러한 상황에서 차량(10)에 있는 다양한 센서를 이용하여 직접적으로 방해물(20)을 투과 및 회절하여 NLOS 영역에 위치한 움직이는 타겟(30)을 검출하기가 쉽지 않다.
이러한 방해물(20)은 건물, 담장, 방음벽, 주차구역에 주차된 차량, 운행 중인 옆차선의 대형 차량, 광고판, 안내판 등이 될 수 있다.
도 2는 차량에 장착된 코너 레이다와 전방 레이다의 감지 영역을 설명하는 도면이다.
도 2를 참고하면, 일반적으로 차량의 범퍼 좌측과 우측 코너에 각각 코너 레이다가 장착되고, 차량의 전면에 장거리용 레이다(long range radar, LRR)가 장착되어 있다.
차량에 설치된 레이다는 각각의 감지 영역을 가진다. 레이다는 설치된 위치에서 레이다 신호를 송출하고 타겟에 반사된 레이다 신호를 수신함으로써, 감지 영역 내 타겟을 검출할 수 있다.
이때 차량(10)의 진행 방향에서 좌측과 우측에 각각 방해물(21, 22)이 위치하고 있을 때, 차량(10)에 장착된 적어도 하나의 레이다로 타겟(33, 34)을 인식할 수는 있으나, 방해물(21, 22)로 인해 NLOS 영역에 있는 타겟(31, 32)을 인식할 수 없다.
본 개시에 따른 객체 검출 장치는 레이다의 반사 특성을 활용하여 NLOS 영역의 객체를 검출한다.
도 3은 한 실시 예에 따른 레이다의 반사 특성을 활용하여 NLOS 영역에 있는 타겟을 검출하는 방법을 설명하는 도면이다.
도 3에서 차량(10)의 진행 방향에서 좌측에 방해물(23)이 위치하고, 앞쪽 좌측에 방해물(24)이 위치하며, 타겟(35)이 방해물(23)에 의해 가려져 있다고 가정한다.
도 3을 참고하면, 차량(10)에 장착되어 있는 코너 레이다(12)는 방해물(24)에 의해 반사된 레이다 신호를 통해 타겟(35)에 대한 레이다 데이터를 획득할 수 있다.
타겟 검출 장치는 코너 레이다(12)로부터 타겟(35)에 대한 레이다 데이터를 획득하여 타겟(35)을 검출할 수 있다.
그러나 코너 레이다(12)에 의해 획득된 레이다 데이터는 다이렉트(direct) 레이다 신호에 의한 데이터가 아니라 방해물(24)의 벽면에 의해 반사된 레이다 신호에 의한 데이터이다. 즉, 타겟 검출 장치는 신호 반사가 이루어지는 벽면을 기준으로 차량(10)의 코너 레이다(12)와 벽면의 연속적인 선상의 벽면 너머에 있는 가상 타겟(Ghost target)(35')의 위치를 실제 이동 타겟(35)의 위치로 인식한다. 따라서, 타겟 검출 장치는 인식된 가상 타겟(35')의 위치를 전파를 반사시키는 반사벽면의 위치를 기준으로 미러링시켜서 실제 이동 타겟(35)의 위치를 검출할 수 있다.
본 기재에 따른 타겟 검출 장치는 실제 이동 타겟(35)의 위치를 보다 정확하게 검출하기 위해, 차량(10)에 장착되어 있는 카메라를 이용하거나, 차량의 주행속도 정보를 이용한다.
도 4는 한 실시 예에 따른 타겟 검출 장치를 나타낸 도면이고, 도 5는 도 4에 도시된 타겟 검출 장치의 타겟 검출 방법을 나타내는 흐름도이다.
도 4를 참고하면, 타겟 검출 장치(400)는 카메라(410), 적어도 하나의 레이다(420), 고정체 좌표 추출기(430), 이동체 좌표 추출기(440), 좌표 비교기(450), 좌표 변환기(460) 및 표시부(470)를 포함할 수 있다.
카메라(410)는 차량의 전방에 설치된 카메라일 수 있다. 카메라(410)는 정면의 일정 각도(예를 들면, FOV 60도 또는 90도) 이내의 감지 영역을 가지며, 감지 영역을 촬영하여 카메라 영상을 획득하고(S510), 촬영된 카메라 영상으로부터 타겟 데이터를 추출한다. 카메라(410)는 AI(Artificial Intelligence) 알고리즘을 통해 카메라 영상으로부터 타겟 데이터를 추출할 수 있다. 카메라 영상으로부터 타겟 데이터를 추출하는 방법은 다양할 수 있으며, 이에 한정되지 않는다. 추출된 타겟 데이터는 고정체 좌표 추출기(430)로 전달한다. 또한 카메라 영상 및 타겟 데이터는 표시부(470)로 전달된다.
고정체 좌표 추출기(430)는 카메라 영상으로부터 추출된 타겟 데이터로부터 움직임이 없는 고정된 대상체 즉, 고정체를 식별하고, 고정체의 위치 좌표를 추출한다(S520). 고정체의 위치 좌표는 식별된 고정체까지의 거리(Cr)와 카메라(410)의 중심(O)을 기준으로 좌(-)/우(+) 각도(Cθ)를 포함할 수 있다. 고정체는 소정의 면적을 가지고 있기 때문에, 고정체 좌표 추출기(430)는 고정체의 위치 좌표로서, 카메라(410)의 감지 영역 내에서 인식되는 고정체의 우측 끝점에 대한 거리와 각도(Cr1, Cθ1), 그리고 좌측 끝점에 대한 거리와 각도(Cr2, Cθ2)를 추출할 수 있다. 고정체의 위치 좌표는 X,Y 좌표를 이용할 수도 있다.
적어도 하나의 레이다(420)는 설치된 위치에서 설정된 감지 영역으로 레이다 신호를 송신하고 물체에 반사되어 되돌아오는 레이다 신호를 수신할 수 있다. 레이다(420)는 송신 레이다 신호와 수신 레이다 신호에 대한 정보인 레이다 데이터를 획득하고(S530), 레이다 데이터를 이동체 좌표 추출기(440)로 전달한다. 도 4에서는 설명의 편의상 하나의 레이다(420)만을 도시하였으나, 차량에 장착된 모든 레이다에 동일하게 적용될 수 있다.
이동체 좌표 추출기(440)는 레이다(420)로부터 수신되는 레이다 데이터로부터 이동 타겟의 위치 좌표를 추출한다(S540). 이동체 좌표 추출기(440)는 이동 타겟의 거리와 각도를 추출하고, 이를 이동 타겟의 위치 좌표로 사용할 수 있다.
좌표 비교기(450)는 고정체의 위치 좌표[(Cr1, Cθ1), (Cr2, Cθ2)]와 이동체의 위치 좌표(Rr, Rθ)를 비교하고(S550), 고정체의 위치 좌표[(Cr1, Cθ1), (Cr2, Cθ2)]를 기준으로 레이다 데이터로부터 검출된 이동 타겟이 LOS 영역에 있는지 NLOS 영역에 있는지 판단한다(S560). 좌표 비교기(450)는 카메라 영상에서 추출한 고정체의 거리와 각도[(Cr1, Cθ1), (Cr2, Cθ2)]와 레이다 데이터에서 추출한 이동 타겟의 거리와 각도(Rr, Rθ)를 비교하고, 레이다 데이터로부터 검출된 이동 타겟이 LOS 영역에 있는지 NLOS 영역에 있는지 판단할 수 있다. 좌표 비교기(450)는 수학식 1의 조건이 만족되면, 레이다 데이터로부터 검출된 이동 타겟이 NLOS 영역에 있는 것으로 판단할 수 있다.
여기서, Cr은 고정체의 우측 끝점의 위치 좌표(Cr1, Cθ1)와 좌측 끝점의 위치 좌표(Cr2, Cθ2)를 연결한 반사면의 선분과 레이다(420)의 중심에서 이동 타겟의 위치 좌표(Rr, Rθ)까지 연결한 타겟 선분의 교차점에 대한 위치 좌표 중 거리를 나타낸다.
수학식 1과 같이, 이동 타겟의 각도(Rθ)가 고정체의 우측 끝점에 대한 각도(Cθ1)와 좌측 끝점에 대한 각도(Cθ2) 사이에 포함되고, 이동 타겟의 거리(Rr)가 반사면의 선분과 타겟 선분의 교차점에 대한 거리(Cr)보다 길다면, 레이다 데이터로부터 검출된 이동 타겟이 고정체의 반사벽면을 넘어선 영역에 존재하는 것으로 인식하고, 이동 타겟을 가상 타겟으로 판단한다. 즉, 좌표 비교기(450)는 실제 이동 타겟이 NLOS 영역에 있는 것으로 판단할 수 있다.
이동 타겟이 NLOS 영역에 있는 것으로 판단되면, 현재 추출된 이동 타겟의 위치 좌표는 가상 타겟의 위치 좌표가 된다. 따라서, 이동 타겟이 NLOS 영역에 있는 것으로 판단되면(S570), 가상 타겟의 위치 좌표(Rr, Rθ)를 실제 이동 타겟의 위치 좌표로 변환하기 위해, 좌표 비교기(450)는 가상 타겟의 위치 좌표(Rr, Rθ)를 좌표 변환기(460)로 전달한다.
좌표 변환기(460)는 가상 타겟의 위치 좌표(Rr, Rθ)를 실제 이동 타겟의 위치 좌표로 변환한다(S580). 좌표 변환기(460)는 반사벽면에서 고정체의 위치 좌표[(Cr1, Cθ1), (Cr2, Cθ2)]로부터 가상의 반사면 선분을 추출하고, 반사면 선분의 위치 좌표를 기준으로 가상 타겟의 위치 좌표를 미러링시켜, 가상 타겟의 위치 좌표(Rr, Rθ)를 실제 이동 타겟의 위치 좌표로 변환할 수 있다. 좌표 변환기(460)는 고정체(24)의 우측 끝점의 위치 좌표(Cr1, Cθ1)와 좌측 끝점의 위치 좌표(Cr2, Cθ2)를 연결하여 반사면 선분을 추출할 수 있다.
한편, 좌표 비교기(450)는 수학식 1의 조건을 만족하지 않으면, 해당 이동 타겟은 LOS 영역에 있는 것으로 판단한다. 좌표 비교기(450)는 이동 타겟이 LOS 영역에 있는 것으로 판단되면, 해당 이동 타겟의 위치 좌표를 표시부(470)로 전달한다.
표시부(470)는 카메라 영상에 타겟 데이터를 표시한다. 표시부(470)는 LOS 영역에 있는 이동 타겟의 위치 좌표와 NLOS 영역에 있는 이동 타겟의 위치 좌표를 데이터 퓨전 방식으로 표시한다(S590). 또한 표시부(470)는 운전자 또는 차량자율주행시스템에 NLOS 영역의 이동 타겟 유무를 알려주어, NLOS 영역에 있는 이동 타겟으로부터 발생할 수 있는 돌발상황에 대처할 수 있도록 한다.
도 6은 도 4에 도시된 타겟 검출 장치의 타겟 검출 방법의 일 예를 도식화한 도면이다.
도 6에서는 도 3에서와 마찬가지로, 차량(10)의 진행 방향에서 좌측에 방해물(23)이 위치하고, 차량(10)의 진행 방향에서 앞쪽 좌측에 방해물(24)이 위치하며, 이동 타겟(35)이 방해물(23)에 의해 가려져 있다고 가정한다. 이때 방해물(23, 24)이 고정체가 되며, 아래에서는 편의상 방해물 대신 고정체라는 용어를 사용한다.
타겟 검출 장치(400)의 고정체 좌표 추출기(430)는 카메라 영상에서 고정체(24)를 식별하며, 해당 고정체(24)의 위치 좌표를 추출한다. 고정체 좌표 추출기(430)는 고정체(24)의 위치 좌표인 고정체(24)까지의 거리와 각도(Cr, Cθ)를 추출한다. 이때, 고정체 좌표 추출기(430)는 카메라(410)의 감지 영역(410a) 내에서 인식되는 고정체(24)의 우측 끝점에 대한 거리와 각도(Cr1, Cθ1), 그리고 좌측 끝점에 대한 거리와 각도(Cr2, Cθ2)를 추출할 수 있다.
다음, 타겟 검출 장치(400)의 이동체 좌표 추출기(440)는 레이다(420)에 의해 획득된 레이다 데이터로부터 이동 타겟의 위치 좌표인 이동 타겟의 위치 좌표의 거리와 각도(Rr1, Rθ1)를 추출한다.
좌표 비교기(450)는 고정체의 거리와 각도[(Cr1, Cθ1), (Cr2, Cθ2)]와 이동 타겟의 거리와 각도(Rr1, Rθ1)를 이용하여, 레이다 데이터로부터 검출된 이동 타겟이 LOS 영역에 있는지 NLOS 영역에 있는지 판단한다.
도 6을 보면, 신호 반사가 이루어지는 고정체(24)의 반사벽면은 소정의 면적을 가지고 있기 때문에, 카메라 영상으로부터 추출되는 타겟 데이터로부터 카메라(410)의 감지 영역(410a) 내에서 인식되는 고정체(24)의 우측 끝점에 대한 거리와 각도[(Cr1, Cθ1)], 그리고 좌측 끝점에 대한 거리와 각도[(Cr2, Cθ2)]를 추출할 수 있다. 이때 고정체(24)의 우측 끝점과 좌측 끝점을 연결하는 가상의 반사면 선분(S1)이 추출될 수 있다.
또한 레이다(420)의 중심에서 레이다 데이터로부터 추출되는 이동 타겟의 거리와 각도(Rr1, Rθ1)까지 타겟 선분(S2)이 추출될 수 있다.
좌표 비교기(450)는 타겟 선분(S2)이 가상의 반사면 선분(S1)을 교차하는 경우에, 레이다 데이터로부터 검출된 이동 타겟이 NLOS 영역에 있는 것으로 판단할 수 있다. 이때 타겟 선분(S2)이 가상의 반사면 선분(S1)을 교차하는지의 여부는 수학식 1의 조건으로부터 판단될 수 있다. 좌표 비교기(450)는 수학식 1의 조건이 만족되면, 레이다 데이터로부터 검출된 이동 타겟이 NLOS 영역에 있는 것으로 판단한다.
이동 타겟이 NLOS 영역에 있다는 것은, 레이다(420)에 의해 획득된 레이다 데이터가 다이렉트 레이다 신호에 의한 데이터가 아니라 고정체(24)의 반사벽면에 의해 반사된 레이다 신호에 의한 데이터를 의미한다. 따라서, 이동체 좌표 추출기(440)에서 추출한 이동 타겟의 거리와 각도(Rr1, Rθ1)는, 신호 반사가 이루어지는 고정체의 반사벽면을 기준으로 레이다(420)와 반사벽면의 연속적인 선상의 벽면 너머에 있는 가상 타겟(35')의 위치 좌표가 된다.
따라서, 수학식 1의 조건이 만족되면, 이동 타겟이 고정체(24)의 벽면을 넘어선 영역에 존재하는 것으로 인식할 수 있기 때문에, 좌표 비교기(450)는 레이다 데이터로부터 추출된 이동 타겟이 가상 타겟(35')인 것으로 인식하고 실제 이동 타겟(35)은 NLOS 영역에 있는 것으로 판단할 수 있다.
실제 이동 타겟(35)이 NLOS 영역에 있는 것으로 판단되면, 좌표 변환기(460)는 반사면 선분(S1)의 위치 좌표를 기준으로 가상 타겟(35')의 위치 좌표(Rr1, Rθ1)를 미러링시켜 실제 이동 타겟(35)의 위치 좌표를 계산함으로써, NLOS 영역에 있는 실제 이동 타겟(35)의 위치를 산출한다.
도 7은 도 4에 도시된 좌표 변환기에서 가상 타겟의 위치 좌표를 실제 이동 타겟의 위치 좌표로 변환하는 일 예를 설명하는 도면이다.
도 7을 참고하면, 카메라(410)의 감지 영역 내에서 인식되는 고정체의 우측 끝점과 좌측 끝점을 연결하여 가상의 수평한 반사면 선분(S1)이 추출된다고 가정한다.
차량(10)의 레이다(420)의 중심에서 레이다 데이터로부터 추출되는 이동 타겟의 거리와 각도[(Rr1, Rθ1)]까지 타겟 선분(S2)이 추출될 수 있다.
우측 끝점의 거리와 각도로 나타내는 위치 좌표는 (Cr1, Cθ1)이고, 좌측 끝점의 거리와 각도로 나타내는 위치 좌표는 (Cr2, Cθ2)이다. 이때 이동 타겟의 위치 좌표인 거리와 각도[(Rr1, Rθ1)]가 수학식 1의 조건을 만족하므로, 레이다 데이터로부터 추출되는 이동 타겟은 가상 타겟(35')으로 분류되고, 실제 이동 타겟(35)은 NLOS 영역에 있는 것으로 판단된다.
좌표 변환기(460)는 가상 타겟(35')의 위치 좌표(G1)인 거리와 각도[(Rr1, Rθ1)]를 X,Y좌표(Rx1, Ry1)로 변환하고, 반사면 선분(S1)을 기준으로 미러링을 하여 실제 이동 타겟(35)의 X,Y좌표를 산출한다. 실제 이동 타겟의 X,Y좌표는 수학식 2와 같이 산출될 수 있다.
여기서, R1은 실제 이동 타겟의 X,Y좌표를 나타내고, Cyo는 반사면 선분(S1)과 타겟 선분(S2)의 교차점(Co)의 Y 좌표를 나타낸다.
이와 같이, 반사면 선분(S1)이 수평 선분일 경우, 가상 타겟(35')과 실제 이동 타겟(35)의 X 좌표는 그대로 유지되고, 반사면 선분(S1)의 Y좌표 성분과 가상 타겟(35')의 Y좌표 성분의 조합으로 실제 이동 타겟(35)의 Y축 좌표가 산출될 수 있다.
도 8은 도 4에 도시된 좌표 변환기에서 가상 타겟의 위치 좌표를 실제 이동 타겟의 위치 좌표로 변환하는 다른 예를 설명하는 도면이다.
도 8을 참고하면, 측면에 위치한 고정체에 의해 레이다 신호가 반사되는 경우, 카메라(410)의 감지 영역 내에서 인식되는 고정체의 아래 끝점과 위 끝점을 연결하여 가상의 수직한 반사면 선분(S3)이 생성된다고 가정한다. 도 7과 달리, 측면에 위치한 고정체에 의해 레이다 신호가 반사되는 경우, 반사면 선분(S3)은 수직 선분이 된다.
차량(10)의 레이다(420)의 중심에서 레이다 데이터로부터 추출되는 이동 타겟의 거리와 각도[(Rr1, Rθ1)]까지 타겟 선분(S4)이 추출될 수 있다.
아래 끝점의 거리와 각도로 나타내는 위치 좌표는 (Cr1, Cθ1)이고, 위 끝점의 거리와 각도로 나타내는 위치 좌표는 (Cr2, Cθ2)이다. 이때 이동 타겟의 위치 좌표인 거리와 각도[(Rr1, Rθ1)]가 수학식 1의 조건을 만족하므로, 레이다 데이터로부터 추출되는 이동 타겟은 가상 타겟(35')으로 분류되고, 실제 이동 타겟(35)은 NLOS 영역에 있는 것으로 판단된다.
좌표 변환기(460)는 가상 타겟(35')의 위치 좌표인 거리와 각도[(Rr1, Rθ1)]를 X,Y좌표(Rx1, Ry1)로 변환하고, 반사면 선분(S3)을 기준으로 미러링을 하여 실제 타겟의 X,Y좌표를 산출한다. 실제 이동 타겟의 X,Y좌표는 수학식 3과 같이 산출될 수 있다.
여기서, R1은 실제 타겟의 X,Y좌표를 나타내고, Cxo는 반사면 선분(S3)과 타겟 선분(S4)의 교차점(Co)의 X 좌표를 나타낸다.
이와 같이, 반사면 선분(S3)이 수직 선분일 경우, 가상 타겟(35')과 실제 이동 타겟(35)의 Y 좌표는 그대로 유지되고, 반사면 선분(S3)의 X좌표 성분과 가상 타겟(35')의 X좌표 성분의 조합으로 실제 이동 타겟(35)의 X축 좌표가 산출될 수 있다.
도 9는 다른 실시 예에 따른 타겟 검출 장치를 나타낸 도면이고, 도 10은 도 9에 도시된 타겟 검출 장치의 타겟 검출 방법을 나타내는 흐름도이다.
도 9를 참고하면, 타겟 검출 장치(900)는 타겟 검출 장치(400)와는 다르게, 차량의 주행속도정보를 이용하여 레이다에서 검출한 적어도 하나의 타겟에서 고정체를 구별하고 이동 타겟의 위치 좌표를 산출한다.
타겟 검출 장치(900)는 카메라(910), 레이다(920), 운행정보 획득부(930), 타겟 분류부(940), 좌표 비교기(950), 좌표 변환기(960) 및 표시부(970)를 포함할 수 있다.
도 9 및 도 10을 보면, 카메라(910)는 감지 영역을 촬영하여 카메라 영상을 획득하고(S1000), AI 알고리즘을 통해 카메라 영상으로부터 타겟 데이터를 추출할 수 있다. 카메라 영상 및 추출된 타겟 데이터는 표시부(970)로 전달된다.
레이다(920)는 설치된 위치에서 설정된 감지 영역으로 레이다 신호를 송신하고 물체에 반사되어 되돌아오는 레이다 신호를 수신할 수 있다. 레이다(420)는 송신 레이다 신호와 수신 레이다 신호에 대한 정보인 레이다 데이터를 획득하고(S1010), 레이다 데이터를 타겟 분류부(940)로 전달한다.
운행정보 획득부(930)는 차량의 운행정보를 획득하고(S1020), 운행정보 중 주행속도정보를 타겟 분류부(940)로 전달한다.
타겟 분류부(940)는 레이다 데이터로부터 적어도 하나의 타겟을 검출하고, 검출된 적어도 하나의 타겟의 속도와 방향을 추정한다(S1030).
타겟 분류부(940)는 검출된 적어도 하나의 타겟의 속도와 방향, 그리고 차량의 주행속도정보를 이용하여 레이다 데이터로부터 검출된 적어도 하나의 타겟이 고정체인지 이동 타겟인지 분류한다(S1040).
차량이 소정의 방향으로 주행하고 있을 때, 레이다 데이터로부터 추정되는 고정체의 속도와 방향은 차량의 주행 속도와 동일하며, 방향은 반대가 된다. 반면, 이동체의 경우는 이동체의 방향과 속도를 가지고 있어, 레이다 데이터로부터 추정되는 이동체의 속도는 차량의 주행 속도와는 다르다. 이러한 점을 이용하여 레이다 데이터로부터 검출된 적어도 하나의 타겟의 속도와 방향을 차량의 주행속도와 주행방향과 비교하여 레이다 데이터로부터 검출된 적어도 하나의 타겟이 고정체인지 이동 타겟인지 분류할 수 있다. 타겟 분류부(940)는 차량의 주행방향으로 레이다 데이터로부터 추정된 타겟의 속도와 차량의 주행속도를 비교하고, 차량의 주행방향으로 타겟의 속도와 차량의 주행속도가 동일하면, 해당 타겟을 고정체로 분류한다. 한편, 타겟 분류부(940)는 타겟의 속도가 차량의 주행 속도와 다르면, 해당 타겟을 이동 타겟으로 분류한다.
다음, 타겟 분류부(940)는 레이다 데이터로부터 고정체의 위치 좌표인 거리와 각도(Fr, Fθ)를 추출하고, 이동 타겟의 위치 좌표인 이동 타겟의 거리와 각도(Rr, Rθ)를 추출한다(S1050). 고정체는 소정의 면적을 가지고 있기 때문에, 고정체의 위치 좌표인 거리와 각도(Fr, Fθ)는 고정체의 우측 끝점에 대한 거리와 각도(Fr1, Fθ1), 그리고 좌측 끝점에 대한 거리와 각도(Fr2, Fθ2)를 포함할 수 있다.
고정체의 거리와 각도[(Fr1, Fθ1), (Fr2, Fθ2)] 및 이동 타겟의 거리와 각도(Rr, Rθ)는 좌표 비교기(950)로 전달된다.
좌표 비교기(950)는 고정체의 거리와 각도[(Fr1, Fθ1), (Fr2, Fθ2)]를 기준으로 이동 타겟의 거리와 각도(Rr, Rθ)를 비교하여 이동 타겟이 LOS 영역에 있는지 NLOS 영역에 있는지 판단한다(S1060). 좌표 비교기(950)는 수학식 4의 조건이 만족되면, 레이다 데이터로부터 검출된 이동 타겟이 NLOS 영역에 있는 것으로 판단할 수 있다.
여기서, Fr은 고정체의 우측 끝점의 위치 좌표(Fr1, Fθ1)와 좌측 끝점의 위치 좌표(Fr2, Fθ2)를 연결한 반사면의 선분과 레이다(420)의 중심에서 이동 타겟의 위치 좌표(Rr, Rθ)까지 연결한 타겟 선분의 교차점에 대한 위치 좌표 중 거리를 나타낸다.
수학식 4와 같이, 이동 타겟의 각도(Rθ)가 고정체의 우측 끝점에 대한 각도(Fθ1)와 좌측 끝점에 대한 각도(Fθ2) 사이에 포함되고, 이동 타겟의 거리(Fr)가 두 선분의 교차점에 대한 거리(Fr)보다 길다면, 레이다 데이터로부터 검출된 이동 타겟이 고정체의 반사벽면을 넘어선 영역에 존재하는 것으로 인식하고, 이동 타겟을 가상 타겟으로 판단한다. 즉, 좌표 비교기(950)는 실제 이동 타겟이 NLOS 영역에 있는 것으로 판단할 수 있다.
이동 타겟이 NLOS 영역에 있는 것으로 판단되면, 현재 추출된 이동 타겟의 위치 좌표는 가상 타겟의 위치 좌표가 된다. 따라서, 이동 타겟이 NLOS 영역에 있는 것으로 판단되면(S1070), 가상 타겟의 위치 좌표(Rr, Rθ)를 실제 이동 타겟의 위치 좌표로 변환하기 위해, 좌표 비교기(950)는 가상 타겟의 위치 좌표(Rr, Rθ)를 좌표 변환기(960)로 전달한다.
좌표 변환기(960)는 가상 타겟의 위치 좌표(Rr, Rθ)를 실제 이동 타겟의 위치 좌표로 변환한다(S1080). 좌표 변환기(960)는 반사벽면에서 고정체의 위치 좌표[(Fr1, Fθ1), (Fr2, Fθ2)]로부터 가상의 반사면 선분을 추출하고, 반사면 선분의 위치 좌표를 기준으로 가상 타겟의 위치 좌표를 미러링시켜, 가상 타겟의 위치 좌표(Rr, Rθ)를 실제 이동 타겟의 위치 좌표로 변환할 수 있다. 좌표 변환기(960)는 도 7 및 도 8에서 설명한 방법을 통해서 가상 타겟의 위치 좌표(Rr, Rθ)를 실제 이동 타겟의 위치 좌표로 변환할 수 있다.
한편, 좌표 비교기(950)는 수학식 4의 조건을 만족하지 않으면, 해당 이동 타겟은 LOS 영역에 있는 것으로 판단한다. 좌표 비교기(950)는 이동 타겟이 LOS 영역에 있는 것으로 판단되면, 해당 이동 타겟의 위치 좌표를 표시부(970)로 전달한다.
표시부(970)는 카메라 영상에 타겟 데이터를 표시한다. 표시부(970)는 LOS 영역에 있는 타겟의 위치 좌표와 NLOS 영역에 있는 타겟의 위치 좌표를 데이터 퓨전 방식으로 표시한다(S1090). 또한 표시부(470)는 운전자 또는 차량자율주행시스템에 NLOS 영역의 이동 타겟 유무를 알려주어, NLOS 영역에 있는 이동 타겟으로부터 발생할 수 있는 돌발상황에 대처할 수 있도록 한다.
이상의 실시 예에서는 편의상 하나의 레이다(420, 920)로부터 획득되는 레이다 데이터를 기준으로 이동 타겟을 검출하고 이동 타겟의 위치 좌표를 산출하는 방법을 설명하였으나, 차량의 서로 다른 위치에 설치된 레이다로부터 획득되는 레이다 데이터에 상기에서 설명한 방법이 동일하게 적용되어, 이동 타겟이 검출될 수 있다.
이와 같이, 차량의 서로 다른 위치에 설치된 레이다의 레이다 데이터를 이용하면, 서로 다른 레이다의 레이다 데이터를 취합하여 타겟을 검출할 수 있고, 서로 다른 레이다의 레이다 데이터로부터 검출된 타겟을 비교할 수 있다. 이렇게 하면, 어느 하나의 레이다에서 검출되지 않더라도 다른 레이다에서 타겟 데이터를 확보할 수 있어, NLOS 영역의 타겟 인식율을 향상시킬 수 있다.
도 11은 또 다른 실시 예에 따른 타겟 검출 장치를 나타낸 도면이다.
도 11을 참고하면, 타겟 검출 장치(100)는 앞에서 설명한 타겟 검출 방법이 구현된 컴퓨팅 장치를 나타낼 수 있다.
타겟 검출 장치(100)는 프로세서(110), 메모리(120), 입력 인터페이스 장치(130), 출력 인터페이스 장치(140), 저장 장치(150) 및 네트워크 인터페이스 장치(160) 중 적어도 하나를 포함할 수 있다. 각각의 구성 요소들은 공통 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다. 또한, 각각의 구성 요소들은 공통 버스(170)가 아니라, 프로세서(110)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다.
프로세서(110)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(120) 또는 저장 장치(150)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(110)는 메모리(120) 및 저장 장치(150) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 이러한 프로세서(110)는 도 4에서 설명한 고정체 좌표 추출기(430), 이동체 좌표 추출기(440), 좌표 비교기(450), 좌표 변환기(460) 및 표시부(470)의 적어도 일부 기능을 구현하기 위한 프로그램 명령을 메모리(120)에 저장하여, 도 4 내지 도 8를 토대로 설명한 동작이 수행되도록 제어할 수 있다. 또한 프로세서(110)는 도 9에서 설명한 운행정보 획득부(930), 타겟 분류부(940), 좌표 비교기(950), 좌표 변환기(960) 및 표시부(970)의 적어도 일부 기능을 구현하기 위한 프로그램 명령을 메모리(120)에 저장하여, 도 7 내지 도 9를 토대로 설명한 동작이 수행되도록 제어할 수 있다.
메모리(120) 및 저장 장치(150)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(120)는 ROM(read-only memory)(121) 및 RAM(random access memory)(122)를 포함할 수 있다. 메모리(120)는 프로세서(110)의 내부 또는 외부에 위치할 수 있고, 메모리(120)는 이미 알려진 다양한 수단을 통해 프로세서(110)와 연결될 수 있다.
입력 인터페이스 장치(130)는 입력 데이터를 프로세서(110)로 제공하도록 구성된다. 입력 인터페이스 장치(130)는 수집 데이터를 프로세서(110)로 제공하도록 구성될 수 있다.
출력 인터페이스 장치(140)는 프로세서(110)로부터의 데이터를 출력하도록 구성된다.
네트워크 인터페이스 장치(160)는 유선 네트워크 또는 무선 네트워크를 통해 외부의 장치와 신호를 송신 또는 수신할 수 있다.
본 기재의 실시 예에 따른 타겟 검출 방법 중 적어도 일부는 컴퓨팅 장치에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.
또한 본 기재의 실시 예에 따른 타겟 검출 방법 중 적어도 일부는 컴퓨팅 장치와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.
이상에서 본 기재의 실시 예에 대하여 상세하게 설명하였지만 본 기재의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 기재의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 기재의 권리 범위에 속하는 것이다.

Claims (15)

  1. 타겟 검출 장치가 이동 타겟을 검출하는 방법으로서,
    차량에 설치된 적어도 하나의 레이다로부터 레이다 데이터를 획득하는 단계,
    상기 레이다 데이터로부터 이동 타겟의 위치 좌표를 추출하는 단계,
    상기 차량의 주변에 위치하는 고정체의 위치 좌표를 이용하여, 상기 레이다의 신호가 반사되는 반사면의 선분을 추출하는 단계,
    상기 이동 타겟의 위치 좌표와 상기 반사면의 선분을 이용하여 상기 이동 타겟이 LOS(Line of Sight) 영역 또는 NLOS(Non Line of Sight) 영역에 있는지를 판단하는 단계, 그리고
    상기 이동 타겟이 상기 NLOS 영역에 있는 경우, 상기 이동 타겟의 위치 좌표를 실제 위치 좌표로 변환하는 단계
    를 포함하는 타겟 검출 방법.
  2. 제1항에서,
    상기 반사면 선분을 추출하는 단계는 상기 차량에 설치된 카메라를 통해 획득되는 카메라 영상으로부터 상기 고정체의 위치 좌표를 추출하는 단계를 포함하는 타겟 검출 방법.
  3. 제2항에서,
    상기 반사면의 선분을 추출하는 단계는
    상기 카메라를 기준으로, 상기 카메라의 감지 영역 내에서 인식된 상기 고정체의 우측 끝점의 위치 좌표와 상기 고정체의 좌측 끝점의 위치 좌표를 추출하는 단계, 그리고
    상기 우측 끝점의 위치 좌표와 상기 좌측 끝점의 위치 좌표를 연결하여 상기 반사면의 선분을 획득하는 단계를 더 포함하는 타겟 검출 방법.
  4. 제1항에서,
    상기 반사면의 선분을 추출하는 단계는
    상기 차량의 주행방향과 주행속도를 획득하는 단계,
    상기 차량의 주행방향과 주행속도를 이용하여 상기 레이다 데이터로부터 검출된 적어도 하나의 타겟으로부터 상기 고정체를 구별하는 단계, 그리고
    상기 레이다 데이터로부터 상기 고정체의 위치 좌표를 추출하는 단계를 포함하는 타겟 검출 방법.
  5. 제4항에서,
    상기 구별하는 단계는
    상기 레이다 데이터로부터 상기 적어도 하나의 타겟의 속도를 추정하는 단계,
    상기 적어도 하나의 타겟 중 상기 주행방향으로 상기 주행속도와 동일한 속도를 가지는 타겟을 상기 고정체로 분류하는 단계, 그리고
    상기 적어도 하나의 타겟 중 상기 주행방향 및 상기 주행속도 중 적어도 하나가 다른 타겟을 상기 이동 타겟으로 분류하는 단계를 포함하는 타겟 검출 방법.
  6. 제4항에서,
    상기 반사면의 선분을 추출하는 단계는
    상기 레이다 데이터로부터 상기 고정체의 우측 끝점의 위치 좌표와 상기 고정체의 좌측 끝점의 위치 좌표를 추출하는 단계, 그리고
    상기 우측 끝점의 위치 좌표와 상기 좌측 끝점의 위치 좌표를 연결하여 상기 반사면의 선분을 획득하는 단계를 더 포함하는 타겟 검출 방법.
  7. 제1항에서,
    상기 판단하는 단계는
    상기 레이다의 중심에서 상기 이동 타겟의 위치 좌표까지 연결한 타겟 선분이 상기 반사면의 선분을 교차하는지 판단하는 단계, 그리고
    상기 타겟 선분이 상기 반사면의 선분을 교차하면, 상기 이동 타겟이 상기 NLOS 영역에 있는 것으로 판단하는 단계를 포함하는 타겟 검출 방법.
  8. 제7항에서,
    상기 변환하는 단계는 상기 이동 타겟의 위치 좌표를 상기 반사면의 선분을 기준으로 미러링시켜 상기 실제 위치 좌표를 산출하는 단계를 포함하는 타겟 검출 방법.
  9. 타겟을 검출하는 타겟 검출 장치로서,
    차량에 설치되며 레이다 데이터를 획득하는 적어도 하나의 레이다,
    상기 차량의 주변에 위치하는 고정체의 위치 좌표와 상기 레이다 데이터로부터 추출된 이동 타겟의 위치 좌표를 이용하여, 상기 이동 타겟이 LOS(Line of Sight) 영역 또는 NLOS(Non Line of Sight) 영역에 있는지를 판단하는 좌표 비교기, 그리고
    상기 이동 타겟이 상기 NLOS 영역에 있는 경우, 상기 이동 타겟의 위치 좌표를 실제 위치 좌표로 변환하는 좌표 변환기
    를 포함하는 타겟 검출 장치.
  10. 제9항에서,
    상기 차량에 설치된 카메라를 통해 획득된 카메라 영상으로부터 상기 고정체의 위치 좌표를 추출하는 고정체 좌표 추출기, 그리고
    상기 레이다 데이터로부터 상기 이동 타겟의 위치 좌표를 추출하는 이동체 좌표 추출기
    를 더 포함하는 타겟 검출 장치.
  11. 제9항에서,
    상기 차량의 주행방향과 주행속도를 획득하는 운행정보 획득부, 그리고
    상기 차량의 주행방향과 주행속도를 이용하여 상기 레이다 데이터로부터 검출된 적어도 하나의 타겟으로부터 상기 고정체와 상기 이동 타겟을 분류하는 타겟 분류부
    를 더 포함하는 타겟 검출 장치.
  12. 제11항에서,
    상기 타겟 분류부는 상기 레이다 데이터로부터 상기 적어도 하나의 타겟의 속도를 추정하고, 상기 적어도 하나의 타겟 중 상기 주행방향으로 상기 주행속도와 동일한 속도를 가지는 타겟을 상기 고정체로 분류하며, 상기 적어도 하나의 타겟 중 상기 주행방향 및 상기 주행속도 중 적어도 하나가 다른 타겟을 상기 이동 타겟으로 분류하는 타겟 검출 장치.
  13. 제9항에서,
    상기 좌표 비교기는 상기 고정체의 우측 끝점의 위치 좌표와 상기 고정체의 좌측 끝점의 위치 좌표를 연결하여 상기 레이다의 신호가 반사되는 반사면의 선분을 획득하고, 상기 레이다의 중심에서 상기 이동 타겟의 위치 좌표까지 연결한 타겟 선분이 상기 반사면의 선분을 교차하면 상기 이동 타겟이 상기 NLOS 영역에 있는 것으로 판단하는 타겟 검출 장치.
  14. 제13항에서,
    상기 좌표 변환기는 상기 이동 타겟의 위치 좌표를 상기 반사면의 선분을 기준으로 미러링시켜 상기 실제 위치 좌표를 산출하는 타겟 검출 장치.
  15. 제9항에서,
    상기 LOS 영역에 있는 이동 타겟의 위치 좌표와 상기 NLOS 영역에 있는 이동 타겟의 위치 좌표를 데이터 퓨전 방식으로 표시하는 표시부
    를 더 포함하는 타겟 검출 장치.
KR1020220141355A 2022-10-28 2022-10-28 타겟 검출 방법 및 장치 KR20240062227A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220141355A KR20240062227A (ko) 2022-10-28 2022-10-28 타겟 검출 방법 및 장치
US18/103,089 US20240142597A1 (en) 2022-10-28 2023-01-30 Method and apparatus with target detection
CN202310698753.3A CN117949940A (zh) 2022-10-28 2023-06-13 用于目标检测的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220141355A KR20240062227A (ko) 2022-10-28 2022-10-28 타겟 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240062227A true KR20240062227A (ko) 2024-05-09

Family

ID=90799218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220141355A KR20240062227A (ko) 2022-10-28 2022-10-28 타겟 검출 방법 및 장치

Country Status (3)

Country Link
US (1) US20240142597A1 (ko)
KR (1) KR20240062227A (ko)
CN (1) CN117949940A (ko)

Also Published As

Publication number Publication date
US20240142597A1 (en) 2024-05-02
CN117949940A (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
JP6838248B2 (ja) 情報処理装置
CA3168740C (en) Method for object avoidance during autonomous navigation
CN109927719B (zh) 一种基于障碍物轨迹预测的辅助驾驶方法和系统
Gandhi et al. Pedestrian protection systems: Issues, survey, and challenges
KR102614323B1 (ko) 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
US7266220B2 (en) Monitoring device, monitoring method and program for monitoring
KR101395089B1 (ko) 장애물 감지 시스템 및 방법
US9934690B2 (en) Object recognition apparatus and vehicle travel controller using same
US9934689B2 (en) Autonomous vehicle operation at blind intersections
US8605947B2 (en) Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP4235386B2 (ja) 物体存在検出装置
US7049945B2 (en) Vehicular blind spot identification and monitoring system
EP2463843A2 (en) Method and system for forward collision warning
US20120163671A1 (en) Context-aware method and apparatus based on fusion of data of image sensor and distance sensor
TW201704067A (zh) 防撞方法、實現該防撞方法之電腦程式產品及防撞系統
JPH10187930A (ja) 走行環境認識装置
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
CN111221342A (zh) 一种自动驾驶汽车环境感知系统
JP3857698B2 (ja) 走行環境認識装置
CN111252066A (zh) 紧急制动控制方法、装置、车辆及存储介质
JP3666332B2 (ja) 歩行者検知装置
CN111332288A (zh) 一种基于视觉系统的车辆行人碰撞避免方法
CN114415171A (zh) 一种基于4d毫米波雷达的汽车可行驶区域检测方法
Fuerstenberg et al. Multilayer laserscanner for robust object tracking and classification in urban traffic scenes
JP7122101B2 (ja) 車両用障害物検知装置