KR102690636B1 - 전처리된 레이더 영상 기반 객체 인식 방법 및 이를 수행하는 장치 - Google Patents

전처리된 레이더 영상 기반 객체 인식 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR102690636B1
KR102690636B1 KR1020220063487A KR20220063487A KR102690636B1 KR 102690636 B1 KR102690636 B1 KR 102690636B1 KR 1020220063487 A KR1020220063487 A KR 1020220063487A KR 20220063487 A KR20220063487 A KR 20220063487A KR 102690636 B1 KR102690636 B1 KR 102690636B1
Authority
KR
South Korea
Prior art keywords
obstacle
radar
recognition result
image
radar image
Prior art date
Application number
KR1020220063487A
Other languages
English (en)
Other versions
KR20230104804A (ko
Inventor
박별터
김한근
김동훈
Original Assignee
씨드로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨드로닉스(주) filed Critical 씨드로닉스(주)
Publication of KR20230104804A publication Critical patent/KR20230104804A/ko
Application granted granted Critical
Publication of KR102690636B1 publication Critical patent/KR102690636B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/937—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20—Feelers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/872—Combinations of primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Ocean & Marine Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)

Abstract

본 출원은 전처리된 레이더 영상 기반 객체 인식 방법에 관한 것으로, 일 실시예에 따른 전처리된 레이더 영상 기반 객체 인식 방법은, 레이더 영상을 획득하는 단계; 상기 레이더 영상에 포함된 픽셀들의 픽셀값을 고려하여 상기 레이더 영상을 전처리하는 단계; 상기 전처리된 레이더 영상을 기초로 이미지 세그멘테이션을 수행하여 상기 전처리된 레이더 영상에 포함된 픽셀들 중 적어도 일부를 장애물에 대응하는 장애물 픽셀들, 육지에 대응하는 육지 픽셀들 및 노이즈에 대응하는 노이즈 픽셀들로 분류하는 단계; 및 상기 장애물 픽셀들을 고려하여 상기 레이더 영상에 대한 장애물 인식 결과를 생성하는 단계 -상기 장애물 인식 결과는 장애물 거리 정보, 장애물 방향 정보 및 장애물 컨피던스 스코어 중 적어도 일부를 포함함- 를 포함한다.

Description

전처리된 레이더 영상 기반 객체 인식 방법 및 이를 수행하는 장치{METHOD FOR RECOGNIZING OBJECT BASED ON PRE-PROCESSED RADAR IMAGE AND DEVICE PERFORMING THE SAME}
본 출원은 전처리된 레이더 영상 기반 객체 인식 방법 및 이를 수행하는 장치에 관한 것이다.
선박의 운항 및 항만 내에서의 접안, 이안에 있어 많은 사고가 발생하고 있으며, 그 사고의 주요 원인은 사람의 운항 부주의로 알려져 있다. 여기서, 운항 부주의는 주로 선박 주변이나 항만 내의 상황을 육안을 통해서 정확하게 모니터링하지 못한다는 점에 의해 발생한다. 현재 다양한 종류의 장애물 센서 등을 이용해 이를 보완하고 있으나 아직까지는 한계점이 존재하는 상황이다. 예를 들어, ECDIS의 경우 GPS의 부정확성, AIS의 업데이트 주기 및 AIS 미등록 이동체 등으로 인한 한계가 존재한다. 그 결과 장애물의 정확한 감지를 위하여는 여전히 육안으로 확인하는 과정이 필요하다.
본 출원에서 해결하고자 하는 일 과제는 전처리된 레이더 영상 기반 객체 인식 방법 및 이를 수행하는 장치를 제공하는 것에 있다.
본 출원에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 출원으로부터 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따르면, 레이더 영상을 획득하는 단계; 상기 레이더 영상에 포함된 픽셀들의 픽셀값을 고려하여 상기 레이더 영상을 전처리하는 단계; 상기 전처리된 레이더 영상을 기초로 이미지 세그멘테이션을 수행하여 상기 전처리된 레이더 영상에 포함된 픽셀들 중 적어도 일부를 장애물에 대응하는 장애물 픽셀들, 육지에 대응하는 육지 픽셀들 및 노이즈에 대응하는 노이즈 픽셀들로 분류하는 단계; 및 상기 장애물 픽셀들을 고려하여 상기 레이더 영상에 대한 장애물 인식 결과를 생성하는 단계 -상기 장애물 인식 결과는 장애물 거리 정보, 장애물 방향 정보 및 장애물 컨피던스 스코어 중 적어도 일부를 포함함- 를 포함하는 전처리된 레이더 영상 기반 객체 인식 방법이 제공될 수 있다.
상기 전처리하는 단계에서는, 상기 픽셀값이 픽셀 기준값보다 작은 경우 상기 픽셀값을 미리 설정된 규칙에 따라 감소시키는 방향으로 변경하여 상기 제1 레이더 영상을 전처리할 수 있다.
상기 레이더 영상은, 복수의 레이더 영상들이 누적된 레이더 영상일 수 있다.
상기 복수의 레이더 영상들은 각각 서로 다른 시점에 대응할 수 있고, 상기 레이더 영상은, 상기 복수의 레이더 영상들이 대응하는 시점에 따른 가중치가 반영되어 상기 복수의 레이더 영상들이 누적된 레이더 영상일 수 있다.
상기 방법은, 상기 레이더 영상을 생성한 레이더 또는 상기 레이더가 설치된 물체의 자북(magnetic north)에 대한 방향 정보를 획득하는 단계; 및 상기 자북에 대한 방향 정보를 고려하여 상기 레이더 영상을 자북 보정하는 단계를 더 포함할 수 있다.
상기 이미지 세그멘테이션은, 세그멘테이션 모델을 통해 수행될 수 있고, 상기 세그멘테이션 모델은, 학습 레이더 영상, 상기 학습 레이더 영상이 입력된 상기 세그멘테이션 모델로부터 출력되는 출력 데이터 및 상기 학습 레이더 영상에 대응하는 라벨링 데이터를 이용하여 학습될 수 있고, 상기 라벨링 데이터는, 상기 학습 레이더 영상에 포함된 픽셀들 중 적어도 일부를 미리 정해진 레이블에 따라 분류하여 생성된 것일 수 있다.
상기 방법은, 상기 출력 데이터에 대한 요청을 확인하는 단계; 및 상기 요청이 존재하지 않는 경우, 상기 장애물 인식 결과를 전송하고, 상기 요청이 존재하는 경우, 상기 장애물 인식 결과와 함께 상기 출력 데이터를 전송하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 레이더와 통신하는 통신부; 상기 레이더로부터 수신한 레이더 영상을 저장하는 저장부; 및 상기 레이더 영상을 기초로 장애물 인식 결과를 생성하는 제어부를 포함하고, 상기 제어부는, 상기 레이더 영상에 포함된 픽셀들의 픽셀값을 고려하여 상기 레이더 영상을 전처리하고, 상기 전처리된 레이더 영상을 기초로 이미지 세그멘테이션을 수행하여 상기 전처리된 레이더 영상에 포함된 픽셀들 중 적어도 일부를 장애물에 대응하는 장애물 픽셀들, 육지에 대응하는 육지 픽셀들 및 노이즈에 대응하는 노이즈 픽셀들로 분류하고, 상기 장애물 픽셀들을 고려하여 상기 레이더 영상에 대한 장애물 인식 결과를 생성하는 -상기 장애물 인식 결과는 장애물 거리 정보, 장애물 방향 정보 및 장애물 컨피던스 스코어 중 적어도 일부를 포함함- 전처리된 레이더 영상 기반 객체 인식 장치가 제공될 수 있다.
본 출원의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 출원으로부터 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따르면, 경계 처리가 된 레이더 영상을 기초로 객체를 인식함에 따라 객체 인식의 정확도가 향상될 수 있다.
본 출원의 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 출원으로부터 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 레이더 영상 기반 객체 인식 및 추적에 관한 도면이다.
도 2는 일 실시예에 따른 장치에 관한 도면이다.
도 3은 일 실시예에 따른 레이더 영상 기반 객체 인식 방법에 관한 순서도이다.
도 4는 일 실시예에 따른 레이더 영상에 관한 도면이다.
도 5는 일 실시예에 따른 장애물 인식 결과에 관한 도면이다.
도 6은 일 실시예에 따른 제1 레이더 영상 및 제2 레이더 영상을 기초로 장애물 인식 결과를 생성하는 것에 관한 순서도이다.
도 7은 일 실시예에 따른 이미지 세그멘테이션에 관한 개념도이다.
도 8은 일 실시예에 따른 세그멘테이션 모델의 학습 방법에 관한 개념도이다.
도 9는 일 실시예에 따른 오브젝트 디텍션에 관한 개념도이다.
도 10은 일 실시예에 따른 오브젝트 디텍션 모델의 학습 방법에 관한 개념도이다.
도 11 내지 13은 실시예에 따른 제1 레이더 인식 결과 및 제2 레이더 인식 결과를 기초로 장애물 인식 결과를 생성하는 것에 관한 도면이다.
도 14는 일 실시예에 따른 객체 추적 방법에 관한 개념도이다.
도 15는 일 실시예에 따른 경계 처리에 관한 도면이다.
도 16은 일 실시예에 따른 레이더 영상의 누적에 관한 도면이다.
도 17은 일 실시예에 따른 레이더 영상의 누적에 의한 노이즈 저감에 관한 도면이다.
도 18은 일 실시예에 따른 세그멘테이션 결과 전송에 관한 도면이다.
본 출원에 기재된 실시예는 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 출원의 사상을 명확히 설명하기 위한 것이므로, 본 출원에 기재된 실시예에 의해 한정되는 것은 아니며, 본 출원의 범위는 본 출원의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 출원에서 사용되는 용어는 본 출원에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 출원에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 출원의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 출원의 도면은 본 출원을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 출원의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 출원이 도면에 의해 한정되는 것은 아니다.
본 출원에서 본 출원에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 출원의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다. 또한, 본 출원의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 별도의 언급이 없는 한 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 불과하다.
이하, 본 출원에 따른 레이더 영상 기반 객체 인식 및 추적에 대하여 설명한다.
도 1은 일 실시예에 따른 레이더 영상 기반 객체 인식 및 추적에 관한 도면이다. 도 1을 참고하면, 레이더 영상 기반 객체 인식 및 추적을 수행하는 시스템은 레이더(100), 장치(200) 및 외부 장치(300)를 포함할 수 있다.
레이더(100)는 레이더 영상을 생성할 수 있다. 예를 들어, 레이더(100)는 전자기파를 발사시키고 물체에서 반사되는 전자기파를 수신하여 그 주변 지역에 대한 레이더 영상을 생성할 수 있다.
레이더(100)는 그것의 위치를 기준으로 소정의 영역을 감지하고 그 결과로써 레이더 영상을 생성할 수 있다. 예를 들어, 레이더(100)는 그것의 위치를 중심으로 소정의 반경 내에 위치하는 영역을 감지하고 그 결과로써 레이더 영상을 생성할 수 있다.
레이더(100)는 해양 레이더일 수 있다. 레이더(100)는 x-band 레이더일 수 있다. 레이더(100)는 s-band 레이더일 수 있다. 이 외에도 다른 종류의 레이더(100)가 이용될 수 있다.
레이더(100)는 장치(200)로 레이더 영상을 전송할 수 있다.
시스템은 하나 이상의 레이더(100)를 포함할 수 있다. 예를 들어, 시스템은 레이더(100)를 하나만 포함할 수 있다. 다른 예를 들어, 시스템은 둘 이상의 레이더(100)를 포함할 수 있다.
장치(200)는 레이더 영상을 기초로 객체를 인식할 수 있다. 장치(200)는 객체를 인식하여 인식 결과를 생성할 수 있다. 장치(200)는 인식 결과를 기초로 객체를 추적할 수 있다. 장치(200)는 객체를 추적하여 추적 결과를 생성할 수 있다.
장치(200)는 인식 결과 또는 추적 결과를 외부로 전송할 수 있다. 예를 들어, 도 1을 참고하면, 장치(200)는 인식 결과 또는 추적 결과를 외부 장치(300)로 전송할 수 있다.
외부 장치(300)는 장치(200)로부터 수신한 인식 결과 또는 추적 결과를 출력할 수 있다. 또는, 외부 장치(300)는 장치(200)로부터 수신한 인식 결과 또는 추적 결과를 이용하여 추가적인 연산을 수행할 수 있다. 외부 장치(300)는 예시적으로 전자해도정보시스템(ECDIS: Electronic Chart Display and Information System), 자동조종시스템(autopilot system) 등 선박에 탑재되는 장비나 선박 운항을 관제하는 장비일 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따르면, 외부 장치(300)는 전자해도정보시스템일 수 있다. 이 경우, 장치(200)는 전자해도정보시스템으로 인식 결과 또는 추적 결과를 전송할 수 있다. 전자해도정보시스템은 수신한 인식 결과, 추적 결과 또는 이를 이용하여 생성한 데이터를 디스플레이할 수 있다.
다른 실시예에 따르면, 외부 장치(300)는 자동조종시스템일 수 있다. 이 경우, 장치(200)는 자동조종시스템으로 인식 결과 또는 추적 결과를 전송할 수 있다. 자동조종시스템은 수신한 인식 결과 또는 추적 결과를 이용하여 선박의 조종을 수행할 수 있다.
도 1에 도시된 구성 요소 모두가 시스템의 필수 구성 요소인 것은 아니다. 시스템은 도 1에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 뿐만 아니라, 도 1에 도시된 시스템의 구성 요소 중 적어도 일부가 생략될 수도 있다. 예를 들어, 시스템은 외부 장치(300)를 포함하지 않을 수 있다.
도 2는 일 실시예에 따른 장치에 관한 도면이다. 도 2를 참고하면, 장치(200)는 통신부(210), 출력부(220), 저장부(230) 및 제어부(240)를 포함할 수 있다.
장치(200)는 통신부(210)를 통해 레이더(100), 외부 장치(300) 등 외부와의 통신을 수행할 수 있다. 예를 들어, 장치(200)는 통신부(210)를 통해 레이더(100)로부터 레이더 영상을 수신할 수 있다. 다른 예를 들어, 장치(200)는 통신부(210)를 통해 외부 장치(300)로 인식 결과 또는 추적 결과를 전송할 수 있다.
통신부(210)는 유선 또는 무선 통신을 수행할 수 있다. 통신부(210)는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.
통신부(210)는 예시적으로 이더넷 모듈, RF 모듈, 유/무선 LAN(Local Area Network) 모듈, WAN 모듈, 블루투스(Bluetooth) 모듈, 지그비(Zigbee) 모듈, USB(Universal Serial Bus) 모듈, IEEE 1394 모듈, 와이파이(Wifi) 모듈, 이더캣(Ether-CAT) 모듈, 디바이스넷 모듈 또는 이들의 조합일 수 있으나, 이에 한정되는 것은 아니다.
장치(200)는 출력부(220)를 통해 수행한 연산의 결과 등을 출력할 수 있다. 예를 들어, 장치(200)는 출력부(220)를 통해 인식 결과 또는 추적 결과를 출력할 수 있다. 출력부(220)는 예시적으로 디스플레이, 스피커 등일 수 있으나, 이에 한정되는 것은 아니다.
장치(200)는 저장부(230)에 동작하는데 필요한 각종 데이터 및 프로그램 등을 저장할 수 있다. 저장부(230)는 장치(200)가 획득하는 정보를 저장할 수 있다. 예를 들어, 저장부(230)는 레이더 영상을 저장할 수 있다. 저장부(230)는 장치(200)가 수행한 연산의 결과 등을 저장할 수 있다. 예를 들어, 저장부(230)는 인식 결과 또는 추적 결과를 저장할 수 있다. 저장부(230)는 예시적으로 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 또는 이들의 조합이 있을 수 있으나, 이에 한정되는 것은 아니다.
장치(200)는 제어부(240)를 통해 각종 정보의 처리와 연산을 수행할 수 있다. 제어부(240)는 장치(200)를 구성하는 다른 구성 요소를 제어할 수 있다.
제어부(240)는 하드웨어, 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 제어부(240)는 하나 또는 복수의 프로세서(processor)일 수 있다. 또는, 제어부(240)는 물리적으로 이격되어 통신을 통해 협업하는 프로세서들로 제공될 수도 있다. 제어부(240)의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 또는 이들의 조합이 있을 수 있으나 이에 한정되는 것은 아니다. 소프트웨어적으로 제어부(240)는 하드웨어적인 제어부(240)를 구동시키는 프로그램 형태로 제공될 수 있다.
이하에서 특별한 언급이 없는 경우에는 장치(200)의 동작은 제어부(240)에 의해 수행되거나 제어부(240)의 제어에 의해 수행되는 것으로 해석될 수 있다.
도 2에 도시된 구성 요소 모두가 장치(200)의 필수 구성 요소인 것은 아니다. 장치(200)는 도 2에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 뿐만 아니라, 도 2에 도시된 장치(200)의 구성 요소 중 적어도 일부가 생략될 수도 있다. 예를 들어, 장치(200)는 출력부(220)를 포함하지 않을 수 있다.
이하에서는 레이더 영상을 기초로 객체를 인식하는 것에 대해 설명한다. 특별한 언급이 없는 경우, 상기 객체를 인식하는 것은 장치에서 수행되는 것으로 해석될 수 있다.
도 3은 일 실시예에 따른 레이더 영상 기반 객체 인식 방법에 관한 순서도이다. 도 3을 참고하면, 장치는 제1 레이더가 생성한 레이더 영상을 획득(S100)하고, 제2 레이더가 생성한 레이더 영상을 획득(S200)하고, 제1 레이더 영상 및 제2 레이더 영상을 기초로 장애물 인식 결과를 생성(S300)할 수 있다. 도 3의 각 단계들 중 적어도 일부는 그 순서가 변경되거나 생략될 수 있다.
장치는 레이더 영상을 획득할 수 있다.
장치는 제1 레이더가 생성한 레이더 영상을 획득할 수 있다. 예를 들어, 장치는 제1 레이더로부터 레이더 영상을 수신할 수 있다. 다른 예를 들어, 장치는 제1 레이더가 생성한 레이더 영상을 다른 장치를 통해 수신할 수 있다. 본 명세서에서, 제1 레이더가 생성한 레이더 영상은 제1 레이더 영상으로 지칭한다.
장치는 제2 레이더가 생성한 레이더 영상을 획득할 수 있다. 예를 들어, 장치는 제2 레이더로부터 레이더 영상을 수신할 수 있다. 다른 예를 들어, 장치는 제2 레이더가 생성한 레이더 영상을 다른 장치를 통해 수신할 수 있다. 본 명세서에서, 제2 레이더가 생성한 레이더 영상은 제2 레이더 영상으로 지칭한다.
상기 제2 레이더는 상기 제1 레이더와 상이한 종류일 수 있다. 예를 들어, 상기 제1 레이더는 x-band 레이더이고, 상기 제2 레이더는 s-band 레이더일 수 있다. 물론, 상기 제2 레이더는 상기 제1 레이더와 동일한 종류일 수도 있다.
상기 제2 레이더는 상기 제1 레이더를 보조하는 레이더일 수 있다. 이 경우, 상기 제1 레이더는 주 레이더(primary radar), 상기 제2 레이더는 보조 레이더(secondary radar)로 지칭될 수도 있다.
주 레이더 및 보조 레이더는 사용자에 의해 설정될 수 있다. 예를 들어, 장치는 주 레이더 및 보조 레이더 설정에 관한 사용자 입력을 획득하고, 상기 사용자 입력에 따라 주 레이더 및 보조 레이더를 설정할 수 있다.
주 레이더 및 보조 레이더는 장치에 의해 설정될 수 있다. 예를 들어, 장치는 레이더의 종류를 고려하여 주 레이더 및 보조 레이더를 설정할 수 있다.
상기 제1 레이더(또는 상기 제1 레이더 영상)의 감지 영역의 적어도 일부는 상기 제2 레이더(또는 상기 제2 레이더 영상)의 감지 영역의 적어도 일부와 중첩될 수 있다. 예를 들어, 상기 제1 레이더(또는 상기 제1 레이더 영상)의 감지 영역은 상기 제2 레이더(또는 상기 제2 레이더 영상)의 감지 영역과 실질적으로 동일할 수 있다. 다른 예를 들어, 상기 제1 레이더(또는 상기 제1 레이더 영상)의 감지 영역의 일부는 상기 제2 레이더(또는 상기 제2 레이더 영상)의 감지 영역과 중첩되고, 나머지 일부는 중첩되지 않을 수 있다.
상기 제1 레이더 및 상기 제2 레이더는 하나의 모듈로 구현될 수 있다. 예를 들어, 상기 제1 레이더 및 상기 제2 레이더를 포함하는 레이더 모듈이 제공될 수 있다. 이 경우, 상기 제1 레이더 및 상기 제2 레이더의 위치는 동일하거나, 적어도 실질적으로 동일하다고 볼 수 있을 것이다.
또는, 상기 제1 레이더 및 상기 제2 레이더는 별도의 모듈로 구현될 수 있다. 이 경우, 상기 제1 레이더 및 상기 제2 레이더는 서로 다른 위치에 제공될 수 있으나, 반드시 그래야 하는 것은 아니다.
도 4는 일 실시예에 따른 레이더 영상에 관한 도면이다.
레이더 영상은 2차원 이미지일 수 있다.
레이더 영상은 복수의 픽셀을 포함할 수 있다. 예를 들어, 레이더 영상은 (n 픽셀) x (m 픽셀) 사이즈의 2차원 이미지일 수 있다. (n, m은 자연수) 상기 픽셀은 이에 대응하는 픽셀값을 가질 수 있다. 도 4에 도시된 바와 같이, 상기 픽셀값은 레이더 반사 강도(radar reflection intensity)에 대응할 수 있다. 또는, 도시하지는 않았지만, 상기 픽셀값은 도플러 속도(Doppler velocity)에 대응할 수 있다.
레이더 영상은 색상 스케일(color scale)에 따라 표현될 수 있다. 예를 들어, 도 4에서는 픽셀값이 증가함에 따라 검정색, 파란색, 초록색, 빨간색 순으로 색상이 변하는 색상 스케일로 레이더 영상을 표현하였으나, 이에 한정되는 것은 아니다.
도 4에 도시된 바와 같이, 레이더 영상은 직교 좌표계(Cartesian coordinate system)로 표현될 수 있다. 또는, 도시하지는 않았지만, 레이더 영상은 극좌표계(polar coordinate system)로 표현될 수 있다.
레이더 영상의 중심은 레이더의 위치에 해당할 수 있다. 예를 들어, 레이더의 위치가 시간에 따라 변화하는 경우, 레이더 영상의 중심은 레이더가 상기 레이더 영상을 생성한 시점에서의 위치에 해당할 수 있다. 레이더가 선박이나 차량 등 물체에 설치된 경우, 레이더의 위치는 그것이 설치된 물체의 위치에 대응할 수 있다.
일 실시예에 따르면, 레이더 영상은 자북(magnetic north) 보정된 영상일 수 있다. 이 경우, 직교 좌표계로 표현된 레이더 영상의 위 방향(도 4에서의 +y축 방향)은 자북 방향일 수 있다.
장치는 자북 보정된 레이더 영상을 수신할 수 있다. 또는, 장치는 자북 보정되지 않은 레이더 영상을 수신하고, 상기 레이더 영상에 자북 보정을 수행하여 자북 보정된 영상을 획득할 수 있다. 예를 들어, 장치는 레이더 또는 레이더가 설치된 물체(예: 선박, 차량)의 방향에 대한 정보를 획득하고, 이를 고려하여 자북 보정을 수행할 수 있다. 장치는 자이로 컴퍼스, 지자기 컴퍼스 등 선박이나 차량에 탑재되는 컴퍼스로부터 상기 방향에 대한 정보를 획득할 수 있다. 상기 방향은 상기 물체의 진행 방향 또는 헤딩(heading)일 수 있으나, 이에 한정되는 것은 아니다.
다른 실시예에 따르면, 레이더 영상은 진북(true north) 보정된 영상일 수 있다. 이 경우, 직교 좌표계로 표현된 레이더 영상의 위 방향(도 4에서의 +y축 방향)은 진북 방향일 수 있다.
장치는 진북 보정된 레이더 영상을 수신할 수 있다. 또는, 장치는 진북 보정되지 않은 레이더 영상을 수신하고, 상기 레이더 영상에 진북 보정을 수행하여 진북 보정된 영상을 획득할 수 있다. 예를 들어, 장치는 레이더 또는 레이더가 설치된 물체(예: 선박, 차량)의 방향에 대한 정보를 획득하고, 이를 고려하여 진북 보정을 수행할 수 있다. 상기 방향은 상기 물체의 진행 방향 또는 헤딩일 수 있으나, 이에 한정되는 것은 아니다.
레이더 영상은 특정 시점에 대응할 수 있다. 상기 특정 시점은 레이더의 감지 시점에 대응할 수 있다. 일부 실시예에서, 상기 제1 레이더 영상이 대응하는 시점은 상기 제2 레이더 영상이 대응하는 시점과 실질적으로 동일할 수 있다.
장치는 미리 정해진 시간 간격으로 레이더 영상을 획득할 수 있다. 예를 들어, 장치는 0.1초, 0.2초, 0.5초, 1초, 2초, 5초 또는 10초 간격으로 레이더 영상을 획득할 수 있다. 일부 실시예에서, 상기 제1 레이더 영상을 획득하는 시간 간격은 상기 제2 레이더 영상을 획득하는 시간 간격과 실질적으로 동일할 수 있다.
장치는 제1 레이더 영상 및 제2 레이더 영상을 기초로 장애물 인식 결과를 생성할 수 있다. 장치는 제1 레이더 영상 및 제2 레이더 영상을 기초로 장애물을 인식하여 장애물 인식 결과를 생성할 수 있다.
장애물 인식 결과는 레이더 영상에 이미지된 장애물에 대한 정보(이하 "장애물 정보")를 포함할 수 있다. 예를 들어, 상기 장애물 인식 결과는 제1 레이더 영상 및 제2 레이더 영상 중 적어도 하나에 이미지된 장애물에 대한 장애물 정보를 포함할 수 있다.
장애물 정보는 장애물의 위치 정보를 포함할 수 있다. 상기 위치 정보는 장애물의 위치 좌표를 포함할 수 있다. 상기 위치 좌표는 실 공간 상에서의 좌표(예: GPS 좌표), 레이더 영상 상에서의 좌표 또는 이들의 조합을 포함할 수 있으나, 이에 한정되는 것은 아니다.
장애물 정보는 장애물의 거리 정보를 포함할 수 있다. 상기 거리 정보는 장애물까지의 거리를 포함할 수 있다. 상기 거리는 기준 위치로부터 장애물까지의 거리를 포함할 수 있다. 상기 기준 위치는 레이더 영상의 중심일 수 있다. 상기 기준 위치는 레이더의 위치에 해당할 수 있다. 상기 거리는 실 공간 상에서의 거리(예: 레이더 분야에서의 레인지(range)), 레이더 영상 상에서의 거리 또는 이들의 조합을 포함할 수 있으나, 이에 한정되는 것은 아니다.
장애물 정보는 장애물의 방향 정보를 포함할 수 있다. 상기 방향 정보는 각도로 표현될 수 있다. 예를 들어, 상기 방향 정보는 레이더 분야에서의 베어링(bearing)을 포함할 수 있다.
장애물 정보는 신뢰도(confidence, confidence score)를 포함할 수 있다. 상기 신뢰도는 객체의 존재 확률에 대응할 수 있다. 상기 신뢰도는 소정의 수치 범위(예: 0부터 1) 내의 값으로 표현될 수 있다. 상기 신뢰도는 머신 러닝, 딥 러닝 등 인공 지능 분야에서의 신뢰도에 대응할 수 있다.
도 5는 일 실시예에 따른 장애물 인식 결과에 관한 도면이다.
도 5의 (a)를 참고하면, 장애물 인식 결과(10)는 장애물 정보(10-1, 10-2, 10-3)를 포함하고, 상기 장애물 정보(10-1, 10-2, 10-3)는 레인지, 베어링, 신뢰도 및 GPS 좌표를 포함한다. 여기서, 상기 장애물 정보(10-1, 10-2, 10-3)는 각각 개별 장애물에 대응할 수 있다. 예를 들어, 도 5의 (a)를 참고하면, 제1 장애물(obs1)은 제1 레인지(r1), 제1 베어링(b1), 제1 신뢰도(c1) 및 제1 GPS 좌표(G1)에 대응할 수 있다. 제2 장애물(obs2)은 제2 레인지(r2), 제2 베어링(b2), 제2 신뢰도(c2) 및 제2 GPS 좌표(G2)에 대응할 수 있다. 제3 장애물(obs3)은 제3 레인지(r3), 제3 베어링(b3), 제3 신뢰도(c3) 및 제3 GPS 좌표(G3)에 대응할 수 있다.
도 5의 (b)는 (a)에 나타낸 장애물 인식 결과를 획득할 수 있는 레이더 영상의 일 예를 나타낸 개념도이다. 레이더 영상(11) 상에 3개의 장애물(obs1, obs2, obs3)이 나타나고, 대표적으로 제1 장애물(obs1)에 대한 제1 레인지(r1) 및 제1 베어링(b1)이 표시되어 있다.
도 5에 도시된 장애물 인식 결과 및 장애물 정보는 예시에 불과하고, 이와 다른 방식으로 장애물 인식 결과 및 장애물 정보가 표현될 수 있다.
이하에서는 제1 레이더 영상 및 제2 레이더 영상을 기초로 장애물 인식 결과를 생성하는 것에 대해 보다 구체적으로 설명한다.
도 6은 일 실시예에 따른 제1 레이더 영상 및 제2 레이더 영상을 기초로 장애물 인식 결과를 생성하는 것에 관한 순서도이다. 도 6을 참고하면, 장치는 제1 레이더 영상을 기초로 레이더 인식 결과를 생성(S310)하고, 제2 레이더 영상을 기초로 레이더 인식 결과를 생성(S320)하고, 제1 레이더 인식 결과 및 제2 레이더 인식 결과를 기초로 장애물 인식 결과를 생성(S330)할 수 있다. 도 6의 각 단계들 중 적어도 일부는 그 순서가 변경되거나 생략될 수 있다.
장치는 레이더 영상을 기초로 레이더 인식 결과를 생성할 수 있다.
장치는 제1 레이더 영상을 기초로 레이더 인식 결과를 생성할 수 있다. 상기 레이더 인식 결과는 상기 제1 레이더 영상에 이미지된 장애물에 대한 장애물 정보를 포함할 수 있다. 본 명세서에서, 제1 레이더 영상을 기초로 생성된 레이더 인식 결과는 제1 레이더 인식 결과로 지칭한다.
장치는 제2 레이더 영상을 기초로 레이더 인식 결과를 생성할 수 있다. 상기 레이더 인식 결과는 상기 제2 레이더 영상에 이미지된 장애물에 대한 장애물 정보를 포함할 수 있다. 본 명세서에서, 제2 레이더 영상을 기초로 생성된 레이더 인식 결과는 제2 레이더 인식 결과로 지칭한다.
장치는 레이더 영상의 이미지 처리를 통해 레이더 인식 결과를 생성할 수 있다.
일 실시예에 따르면, 장치는 이미지 세그멘테이션(segmentation)을 통해 레이더 인식 결과를 생성할 수 있다. 장치는 이미지 세그멘테이션을 통해 레이더 영상에 이미지된 장애물을 인식하여 레이더 인식 결과를 생성할 수 있다.
본 명세서에서, 이미지 세그멘테이션은 영상에 포함된 픽셀들 중 적어도 일부를 미리 정해진 레이블에 따라 분류하는 것을 의미할 수 있다. 여기서, 이미지 세그멘테이션을 통해 픽셀을 분류한다는 것은 레이블 또는 레이블에 대응하는 식별자를 픽셀에 대응시키는 것을 의미할 수 있다. 예를 들어, 상기 레이블이 장애물 레이블, 육지 레이블 및 노이즈 레이블을 포함하는 경우, 상기 식별자는 장애물에 대응하는 0, 육지에 대응하는 1, 노이즈에 대응하는 2를 포함할 수 있고, 이미지 세그멘테이션을 통해 분류된 픽셀에는 0, 1 또는 2가 대응될 수 있다. 상기 이미지 세그멘테이션은 예시적으로 인스턴스 세그멘테이션(instance segmentation), 시멘틱 세그멘테이션(semantic segmentation) 또는 파놉틱 세그멘테이션(panoptic segmentation)일 수 있으나, 이에 한정되는 것은 아니다.
이미지 세그멘테이션을 통해 분류된 픽셀에는 신뢰도가 대응될 수 있다. 상기 신뢰도는 이미지 세그멘테이션 분야에서의 신뢰도를 의미할 수 있다.
장치는 레이더 영상에 대해 이미지 세그멘테이션을 수행하여 세그멘테이션 결과를 획득하고, 세그멘테이션 결과를 이용하여 레이더 인식 결과를 생성할 수 있다.
장치는 레이더 영상에 대해 이미지 세그멘테이션을 수행하여 세그멘테이션 결과를 획득할 수 있다.
세그멘테이션 결과는 레이더 영상에 포함된 픽셀들 중 적어도 일부를 이미지 세그멘테이션을 통해 분류한 결과를 포함할 수 있다. 여기서, 세그멘테이션 결과는 픽셀에 대응하는 레이블 또는 레이블에 대응하는 식별자를 포함할 수 있다. 또한, 세그멘테이션 결과는 픽셀에 대응하는 신뢰도를 포함할 수 있다.
도 7은 일 실시예에 따른 이미지 세그멘테이션에 관한 개념도이다. 도 7을 참고하면, 장치는 이미지 세그멘테이션을 통해 레이더 영상(12)에 포함된 픽셀들 중 적어도 일부를 장애물, 육지 및 노이즈 중 하나로 분류할 수 있다. 다시 말해, 장치는 이미지 세그멘테이션을 통해 상기 픽셀들 중 적어도 일부를 장애물에 대응하는 장애물 픽셀(13), 육지에 대응하는 육지 픽셀(14) 및 노이즈에 대응하는 노이즈 픽셀(15)로 분류할 수 있다. 여기서, 육지는 육지에 설치된 구조물(예: 다리, 크레인 등)을 포함하는 개념일 수 있다. 여기서, 장애물은 육지와 노이즈 외의 객체를 의미할 수 있다. 예를 들어, 레이더가 해양을 탐지하는 경우 장애물은 해상의 선박이나 부표 등을 포함할 수 있다. 다른 예를 들어, 레이더가 도로를 탐지하는 경우 장애물은 도로상의 차량을 포함할 수 있다.
장치는 이미지 세그멘테이션을 통해 서로 다른 장애물을 구분하여 분류하거나, 구분하지 않고 분류할 수 있다.
일 예로, 장치는 이미지 세그멘테이션을 통해 서로 다른 장애물을 구분하여 분류할 수 있다. 보다 구체적인 예로, 도 7을 참고하면, 장치는 이미지 세그멘테이션을 통해 제1 장애물 픽셀(13a), 제2 장애물 픽셀(13b) 및 제3 장애물 픽셀(13c)을 구분하여 분류할 수 있다. 이 경우, 이미지 세그멘테이션은 인스턴스 세그멘테이션 또는 파놉틱 세그멘테이션일 수 있으나, 이에 한정되는 것은 아니다.
다른 예로, 장치는 이미지 세그멘테이션을 통해 서로 다른 장애물을 구분없이 분류할 수 있다. 보다 구체적인 예로, 도 7을 참고하면, 장치는 이미지 세그멘테이션을 통해 제1 장애물 픽셀(13a), 제2 장애물 픽셀(13b) 및 제3 장애물 픽셀(13c)을 모두 장애물 픽셀로 구분없이 분류할 수 있다. 이 경우, 이미지 세그멘테이션은 시멘틱 세그멘테이션일 수 있으나, 이에 한정되는 것은 아니다.
도 7에서 픽셀을 장애물, 육지 및 노이즈로 분류한 것은 예시적인 것으로, 이와 다르게 픽셀을 분류할 수도 있다. 예를 들어, 장치는 이미지 세그멘테이션을 통해 레이더 영상에 포함된 픽셀들 중 적어도 일부를 장애물 및 육지 중 하나로 분류할 수 있다.
장치는 세그멘테이션 모델을 이용하여 레이더 영상의 이미지 세그멘테이션을 수행할 수 있다. 예를 들어, 장치는 세그멘테이션 모델에 레이더 영상을 입력하여 상기 레이더 영상에 포함된 픽셀들 중 적어도 일부를 미리 정해진 레이블에 따라 분류할 수 있다. 세그멘테이션 모델은 예시적으로 Mask R-CNN 등의 인스턴스 세그멘테이션 계열 모델, DeepLab, BiSeNet, SFNet 등의 시멘틱 세그멘테이션 계열 모델, Mask2Former, Panoptic-DeepLab 등의 파놉틱 세그멘테이션 계열 모델 등일 수 있으나, 이에 한정되는 것은 아니다.
세그멘테이션 모델은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 준지도 학습(semi-supervised learning), 강화 학습(reinforcement learning) 등 다양한 방법을 통해 학습될 수 있다.
장치는 세그멘테이션 모델을 학습시킬 수 있다. 또는, 장치는 학습된 세그멘테이션 모델을 획득할 수 있다.
도 8은 일 실시예에 따른 세그멘테이션 모델의 학습 방법에 관한 개념도로, 지도 학습에 관한 개념도이다. 도 8을 참고하면, 세그멘테이션 모델은 학습 레이더 영상(16)을 입력 받아 출력 데이터(17)를 출력하고, 출력 데이터(17)와 라벨링 데이터(18)를 비교하여 오차의 역전파를 통해 세그멘테이션 모델이 학습될 수 있다.
라벨링 데이터는 학습 레이더 영상의 라벨링을 통해 생성될 수 있다. 여기서, 라벨링은 학습 레이더 영상에 포함된 픽셀들 중 적어도 일부를 미리 정해진 레이블에 따라 분류하는 것을 의미할 수 있다. 여기서, 라벨링은 학습 레이더 영상에 포함된 픽셀들 중 적어도 일부에 레이블 또는 레이블에 대응하는 식별자를 대응시키는 것을 의미할 수 있다. 예를 들어, 도 8을 참고하면, 상기 레이블이 장애물 레이블, 육지 레이블 및 노이즈 레이블을 포함하는 경우, 상기 식별자는 장애물에 대응하는 0, 육지에 대응하는 1, 노이즈에 대응하는 2를 포함할 수 있고, 라벨링을 통해 상기 학습 레이더 영상(16)에 포함된 픽셀들 중 적어도 일부에는 0, 1 또는 2가 대응될 수 있다.
레이더 영상에서, 노이즈란 적어도 레이더의 측정 에러, 이전 프레임의 레이더 영상으로부터 업데이트되지 않은 부분 및 도플러 왜곡 중 하나를 의미할 수 있다. 이 경우, 학습 레이더 영상에 포함된 픽셀들 중 레이더의 측정 에러, 이전 프레임의 레이더 영상으로부터 업데이트되지 않은 부분 및 도플러 왜곡 중 하나에 대응하는 픽셀을 노이즈로 분류하여 라벨링 데이터가 생성될 수 있다.
특정 시점에 대응하는 레이더 영상에서 노이즈를 라벨링하기 위해 상기 특정 시점 근방의 시점에 대응하는 레이더 영상이 참고될 수 있다. 예를 들어, 특정 시점에 대응하는 레이더 영상에서 노이즈를 라벨링하기 위해 상기 특정 시점의 이전 시점에 대응하는 하나 이상의 레이더 영상 및 상기 특정 시점의 이후 시점에 대응하는 하나 이상의 레이더 영상 중 적어도 일부가 참고될 수 있다.
장치는 세그멘테이션 결과를 이용하여 레이더 인식 결과를 생성할 수 있다.
레이더 인식 결과는 레이더 영상에 이미지된 장애물에 대한 장애물 정보를 포함할 수 있다.
상기 장애물 정보에 포함된 위치 정보는 레이더 영상에 포함된 장애물 픽셀의 위치 정보와 관련될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 위치 좌표는 상기 장애물 픽셀의 위치 좌표의 조합(예: 평균, 가중치 평균 등)에 대응할 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 위치 정보는 레이더 영상에 포함된 장애물 픽셀의 위치 정보를 기초로 산출될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 위치 좌표는 상기 장애물 픽셀의 위치 좌표의 조합(예: 평균, 가중치 평균 등)으로 산출될 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 거리 정보는 레이더 영상에 포함된 장애물 픽셀의 거리 정보와 관련될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 레인지는 상기 장애물 픽셀의 레인지의 조합(예: 평균, 가중치 평균 등)에 대응할 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 거리 정보는 레이더 영상에 포함된 장애물 픽셀의 거리 정보를 기초로 산출될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 레인지는 상기 장애물 픽셀의 레인지의 조합(예: 평균, 가중치 평균 등)으로 산출될 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 방향 정보는 레이더 영상에 포함된 장애물 픽셀의 방향 정보와 관련될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 베어링은 상기 장애물 픽셀의 베어링의 조합(예: 평균, 가중치 평균 등)에 대응할 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 방향 정보는 레이더 영상에 포함된 장애물 픽셀의 방향 정보를 기초로 산출될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 베어링은 상기 장애물 픽셀의 베어링의 조합(예: 평균, 가중치 평균 등)으로 산출될 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 신뢰도는 레이더 영상에 포함된 장애물 픽셀의 신뢰도와 관련될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 신뢰도는 상기 장애물 픽셀의 신뢰도의 조합(예: 평균, 가중치 평균, Bayesian data fusion 등)에 대응할 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 신뢰도는 레이더 영상에 포함된 장애물 픽셀의 신뢰도를 기초로 산출될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 신뢰도는 상기 장애물 픽셀의 신뢰도의 조합(예: 평균, 가중치 평균, Bayesian data fusion 등)으로 산출될 수 있으나, 이에 한정되는 것은 아니다.
이상에서는 이미지 세그멘테이션을 통해 레이더 인식 결과를 생성하는 것에 대해 설명하였으나, 레이더 인식 결과를 생성하는 방식이 전술한 실시예로 한정되는 것은 아니다. 이하에서는 레이더 인식 결과를 생성하는 다른 실시예에 대해 설명한다.
다른 실시예에 따르면, 장치는 오브젝트 디텍션(object detection)을 통해 레이더 인식 결과를 생성할 수 있다. 장치는 오브젝트 디텍션을 통해 레이더 영상에 이미지된 장애물을 인식하여 레이더 인식 결과를 생성할 수 있다.
본 명세서에서, 오브젝트 디텍션은 영상에 이미지된 객체를 검출하는 것을 의미할 수 있다. 여기서, 오브젝트 디텍션을 통해 객체를 검출한다는 것은 레이블 또는 레이블에 대응하는 식별자를 객체에 대응시키는 것을 의미할 수 있다. 예를 들어, 상기 레이블이 장애물 레이블을 포함하는 경우, 상기 식별자는 장애물에 대응하는 0을 포함할 수 있고, 오브젝트 디텍션을 통해 검출된 객체에는 0이 대응될 수 있다. 전술한 이미지 세그멘테이션과 비교하면 이미지 세그멘테이션은 픽셀 단위로 처리하는 반면 오브젝트 디텍션은 객체 단위로 처리하는 차이가 존재할 수 있다.
오브젝트 디텍션을 통해 검출된 객체에는 신뢰도가 대응될 수 있다. 상기 신뢰도는 오브젝트 디텍션 분야에서의 신뢰도를 의미할 수 있다.
장치는 레이더 영상에 대해 오브젝트 디텍션을 수행하여 디텍션 결과를 획득하고, 디텍션 결과를 이용하여 레이더 인식 결과를 생성할 수 있다.
장치는 레이더 영상에 대해 오브젝트 디텍션을 수행하여 디텍션 결과를 획득할 수 있다.
디텍션 결과는 레이더 영상에 이미지된 객체 중 적어도 일부를 오브젝트 디텍션을 통해 검출한 결과를 포함할 수 있다. 여기서, 디텍션 결과는 객체에 대응하는 레이블 또는 레이블에 대응하는 식별자를 포함할 수 있다. 또한, 디텍션 결과는 객체에 대응하는 신뢰도를 포함할 수 있다.
도 9는 일 실시예에 따른 오브젝트 디텍션에 관한 개념도이다. 도 9를 참고하면, 장치는 오브젝트 디텍션을 통해 레이더 영상(19)에 이미지된 장애물(20)을 검출할 수 있다. 여기서, 장애물은 육지와 노이즈 외의 객체를 의미할 수 있다. 예를 들어, 레이더가 해양을 탐지하는 경우 장애물은 해상의 선박이나 부표 등을 포함할 수 있다. 다른 예를 들어, 레이더가 도로를 탐지하는 경우 장애물은 도로상의 차량을 포함할 수 있다.
장치는 오브젝트 디텍션을 통해 서로 다른 장애물을 구분하여 검출할 수 있다. 예를 들어, 도 9를 참고하면, 장치는 오브젝트 디텍션을 통해 제1 장애물(20a), 제2 장애물(20b) 및 제3 장애물(20c)을 구분하여 검출할 수 있다. 이 경우, 서로 다른 장애물에는 서로 다른 레이블 또는 레이블에 대응하는 식별자가 대응될 수 있다.
장치는 오브젝트 디텍션 모델을 이용하여 레이더 영상의 오브젝트 디텍션을 수행할 수 있다. 예를 들어, 장치는 오브젝트 디텍션 모델에 레이더 영상을 입력하여 상기 레이더 영상에 이미지된 장애물을 검출할 수 있다. 오브젝트 디텍션 모델은 예시적으로 R-CNN 계열 모델, SSD(single shot detector) 계열 모델, YOLO(you only look once) 계열 모델 등일 수 있으나, 이에 한정되는 것은 아니다.
오브젝트 디텍션 모델은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 준지도 학습(semi-supervised learning), 강화 학습(reinforcement learning) 등 다양한 방법을 통해 학습될 수 있다.
장치는 오브젝트 디텍션 모델을 학습시킬 수 있다. 또는, 장치는 학습된 오브젝트 디텍션 모델을 획득할 수 있다.
도 10은 일 실시예에 따른 오브젝트 디텍션 모델의 학습 방법에 관한 개념도로, 지도 학습에 관한 개념도이다. 도 10을 참고하면, 오브젝트 디텍션 모델은 학습 레이더 영상(21)을 입력 받아 출력 데이터(22)를 출력하고, 출력 데이터(22)와 라벨링 데이터(23)를 비교하여 오차의 역전파를 통해 오브젝트 디텍션 모델이 학습될 수 있다.
라벨링 데이터는 학습 레이더 영상의 라벨링을 통해 생성될 수 있다. 여기서, 라벨링은 학습 레이더 영상에 이미지된 객체 중 적어도 일부를 장애물로 검출하는 것을 의미할 수 있다. 여기서, 라벨링은 학습 레이더 영상에 이미지된 객체 중 적어도 일부에 장애물에 대응하는 레이블 또는 식별자를 대응시키는 것을 의미할 수 있다. 예를 들어, 도 10을 참고하면, 상기 레이블이 장애물 레이블을 포함하는 경우, 상기 식별자는 장애물에 대응하는 0을 포함할 수 있고, 라벨링을 통해 상기 학습 레이더 영상(21)에 이미지된 객체 중 적어도 일부에는 0이 대응될 수 있다.
장치는 디텍션 결과를 이용하여 레이더 인식 결과를 생성할 수 있다.
레이더 인식 결과는 레이더 영상에 이미지된 장애물에 대한 장애물 정보를 포함할 수 있다.
상기 장애물 정보에 포함된 위치 정보는 오브젝트 디텍션을 통해 검출된 장애물의 위치 정보와 관련될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 위치 좌표는 상기 검출된 장애물의 위치 좌표에 대응할 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 위치 정보는 오브젝트 디텍션을 통해 검출된 장애물의 위치 정보를 기초로 산출될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 위치 좌표는 상기 검출된 장애물의 위치 좌표로 산출될 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 거리 정보는 오브젝트 디텍션을 통해 검출된 장애물의 거리 정보와 관련될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 레인지는 상기 검출된 장애물의 레인지에 대응할 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 거리 정보는 오브젝트 디텍션을 통해 검출된 장애물의 거리 정보를 기초로 산출될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 레인지는 상기 검출된 장애물의 레인지로 산출될 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 방향 정보는 오브젝트 디텍션을 통해 검출된 장애물의 방향 정보와 관련될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 베어링은 상기 검출된 장애물의 베어링에 대응할 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 방향 정보는 오브젝트 디텍션을 통해 검출된 장애물의 방향 정보를 기초로 산출될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 베어링은 상기 검출된 장애물의 베어링으로 산출될 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 신뢰도는 오브젝트 디텍션을 통해 검출된 장애물의 신뢰도와 관련될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 신뢰도는 상기 검출된 장애물의 신뢰도에 대응할 수 있으나, 이에 한정되는 것은 아니다.
상기 장애물 정보에 포함된 신뢰도는 오브젝트 디텍션을 통해 검출된 장애물의 신뢰도를 기초로 산출될 수 있다. 예를 들어, 상기 장애물 정보에 포함된 신뢰도는 상기 검출된 장애물의 신뢰도로 산출될 수 있으나, 이에 한정되는 것은 아니다.
장치는 제1 레이더 인식 결과 및 제2 레이더 인식 결과를 기초로 장애물 인식 결과를 생성할 수 있다. 장치는 제1 레이더 인식 결과에 포함된 장애물 정보 및 제2 레이더 인식 결과에 포함된 장애물 정보를 기초로 장애물 인식 결과에 포함된 장애물 정보를 생성할 수 있다.
제1 레이더 인식 결과 및 제2 레이더 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함된 경우, 장치는 상기 장애물에 대한 제1 레이더 인식 결과의 장애물 정보 및 제2 레이더 인식 결과의 장애물 정보를 이용하여 상기 장애물에 대한 장애물 인식 결과의 장애물 정보를 생성할 수 있다.
이 경우, 장치는 상기 장애물에 대한 제1 레이더 인식 결과의 장애물 정보에 포함된 위치 정보, 거리 정보 및/또는 방향 정보를 상기 장애물에 대한 장애물 인식 결과의 장애물 정보에 포함된 위치 정보, 거리 정보 및/또는 방향 정보로 설정할 수 있다. 다시 말해, 장치는 제2 레이더 인식 결과는 이용하지 않고 제1 레이더 인식 결과를 이용하여 장애물 인식 결과의 장애물 정보에 포함된 위치 정보, 거리 정보 및/또는 방향 정보를 설정할 수 있다. 이때 제1 레이더는 주 레이더이고, 제2 레이더는 보조 레이더일 수 있다.
또는, 장치는 상기 장애물에 대한 제1 레이더 인식 결과의 장애물 정보에 포함된 위치 정보, 거리 정보 및/또는 방향 정보 및 제2 레이더 인식 결과의 장애물 정보에 포함된 위치 정보, 거리 정보 및/또는 방향 정보를 조합(예: 평균, 가중치 평균 등)하여 상기 장애물에 대한 장애물 인식 결과의 위치 정보, 거리 정보 및/또는 방향 정보를 산출할 수 있다.
또한, 장치는 상기 장애물에 대한 제1 레이더 인식 결과의 장애물 정보에 포함된 신뢰도와 제2 레이더 인식 결과의 장애물 정보에 포함된 신뢰도를 이용하여 상기 장애물에 대한 장애물 인식 결과의 장애물 정보에 포함된 신뢰도를 산출할 수 있다. 예를 들어, 장치는 상기 장애물에 대한 제1 레이더 인식 결과의 장애물 정보에 포함된 신뢰도와 제2 레이더 인식 결과의 장애물 정보에 포함된 신뢰도를 조합(예: 평균, 가중치 평균, Bayesian data fusion 등)하여 상기 장애물에 대한 장애물 인식 결과의 장애물 정보에 포함된 신뢰도를 산출할 수 있다.
제2 레이더 인식 결과가 포함하지 않는 장애물에 대한 장애물 정보를 제1 레이더 인식 결과가 포함하는 경우, 장치는 상기 장애물에 대한 제1 레이더 인식 결과의 장애물 정보를 상기 장애물에 대한 장애물 인식 결과의 장애물 정보로 설정할 수 있다.
이 경우, 장치는 상기 장애물에 대한 제1 레이더 인식 결과의 장애물 정보에 포함된 위치 정보, 거리 정보, 방향 정보 및/또는 신뢰도를 상기 장애물에 대한 장애물 인식 결과의 장애물 정보에 포함된 위치 정보, 거리 정보, 방향 정보 및/또는 신뢰도로 설정할 수 있다.
제1 레이더 인식 결과가 포함하지 않는 장애물에 대한 장애물 정보를 제2 레이더 인식 결과가 포함하는 경우에도 전술한 제2 레이더 인식 결과가 포함하지 않는 장애물에 대한 장애물 정보를 제1 레이더 인식 결과가 포함하는 경우에 대한 내용이 유사하게 적용될 수 있으므로 이에 대한 중복되는 설명은 생략한다.
장치는 제1 레이더 인식 결과 및 제2 레이더 인식 결과를 비교할 수 있다. 장치는 제1 레이더 인식 결과 및 제2 레이더 인식 결과를 비교하여 제1 레이더 인식 결과 및 제2 레이더 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함되는지 여부를 판단할 수 있다.
장치는 제1 레이더 인식 결과의 장애물 정보 및 제2 레이더 인식 결과의 장애물 정보를 비교할 수 있다. 일 예로, 장치는 제1 레이더 인식 결과의 장애물 정보에 포함된 위치 정보 및 제2 레이더 인식 결과의 장애물 정보에 포함된 위치 정보를 비교할 수 있다. 다른 예로, 장치는 제1 레이더 인식 결과의 장애물 정보에 포함된 거리 정보 및 제2 레이더 인식 결과의 장애물 정보에 포함된 거리 정보를 비교할 수 있다. 또 다른 예로, 장치는 제1 레이더 인식 결과의 장애물 정보에 포함된 방향 정보 및 제2 레이더 인식 결과의 장애물 정보에 포함된 방향 정보를 비교할 수 있다.
장치는 제1 레이더 인식 결과의 장애물 정보 및 제2 레이더 인식 결과의 장애물 정보를 비교하여 제1 레이더 인식 결과 및 제2 레이더 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함되는지 여부를 판단할 수 있다.
장치는 제1 레이더 인식 결과의 장애물 정보와 제2 레이더 인식 결과의 장애물 정보에 포함된 위치 정보, 거리 정보 및 방향 정보 중 적어도 일부가 정합하는 경우 제1 레이더 인식 결과 및 제2 레이더 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함된 것으로 판단할 수 있다.
일 예로, 장치는 제1 레이더 인식 결과의 장애물 정보에 포함된 위치 정보 및 제2 레이더 인식 결과의 장애물 정보에 포함된 위치 정보가 정합하는 경우 제1 레이더 인식 결과 및 제2 레이더 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함된 것으로 판단할 수 있다. 여기서, 위치 정보가 정합한다는 것은 위치 정보가 (실질적으로) 동일하거나 그 차이가 미리 정해진 정도보다 작은 것을 의미할 수 있다.
다른 예로, 장치는 제1 레이더 인식 결과의 장애물 정보에 포함된 거리 정보 및 제2 레이더 인식 결과의 장애물 정보에 포함된 거리 정보가 정합하는 경우 제1 레이더 인식 결과 및 제2 레이더 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함된 것으로 판단할 수 있다. 여기서, 거리 정보가 정합한다는 것은 거리 정보가 (실질적으로) 동일하거나 그 차이가 미리 정해진 정도보다 작은 것을 의미할 수 있다.
또 다른 예로, 장치는 제1 레이더 인식 결과의 장애물 정보에 포함된 방향 정보 및 제2 레이더 인식 결과의 장애물 정보에 포함된 방향 정보가 정합하는 경우 제1 레이더 인식 결과 및 제2 레이더 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함된 것으로 판단할 수 있다. 여기서, 방향 정보가 정합한다는 것은 방향 정보가 (실질적으로) 동일하거나 그 차이가 미리 정해진 정도보다 작은 것을 의미할 수 있다.
도 11 내지 13은 실시예에 따른 제1 레이더 인식 결과 및 제2 레이더 인식 결과를 기초로 장애물 인식 결과를 생성하는 것에 관한 도면이다.
도 11은 제1 레이더 인식 결과 및 제2 레이더 인식 결과에 동일한 장애물에 대응하는 장애물 정보만이 포함된 경우의 일 예로, (a)는 제1 레이더 인식 결과 및 제2 레이더 인식 결과에 관한 도면이고, (b)는 장애물 인식 결과에 관한 도면이다.
도 11의 (a)를 참고하면, 제1 레이더 인식 결과(24)는 제1 장애물에 대한 장애물 정보(24-1), 제2 장애물에 대한 장애물 정보(24-2) 및 제3 장애물에 대한 장애물 정보(24-3)를 포함하고, 제2 레이더 인식 결과(25)는 제4 장애물에 대한 장애물 정보(25-1), 제5 장애물에 대한 장애물 정보(25-2) 및 제6 장애물에 대한 장애물 정보(25-3)를 포함한다.
도 11에서는 상기 제1 장애물과 상기 제4 장애물이 동일하고, 상기 제2 장애물과 상기 제5 장애물이 동일하고, 상기 제3 장애물과 상기 제6 장애물이 동일한 것으로 가정하였다.
도 11의 (b)를 참고하면, 장치는 상기 제1 레이더 인식 결과(24)의 상기 제1 장애물에 대한 장애물 정보(24-1) 및 상기 제2 레이더 인식 결과(25)의 상기 제4 장애물에 대한 장애물 정보(25-1)를 이용하여 상기 제1 장애물(또는 상기 제4 장애물)에 대한 장애물 인식 결과(26)의 장애물 정보(26-1)를 생성한다. 이와 마찬가지로, 장치는 상기 제2 장애물(또는 상기 제5 장애물)에 대한 장애물 인식 결과(26)의 장애물 정보(26-2) 및 상기 제3 장애물(또는 상기 제6 장애물)에 대한 장애물 인식 결과(26)의 장애물 정보(26-3)를 생성한다.
도 11의 (b)에서, 장치는 제1 레이더 인식 결과(24)에 포함된 레인지, 베어링 및 GPS 좌표를 장애물 인식 결과(26)에 포함된 레인지, 베어링 및 GPS 좌표로 설정한다. 다시 말해, 장치는 제2 레이더 인식 결과(25)는 이용하지 않고 제1 레이더 인식 결과(24)를 이용하여 장애물 인식 결과(26)에 포함된 레인지, 베어링 및 GPS 좌표를 설정한다.
장치는 제1 레이더 인식 결과(24)에 포함된 신뢰도 및 제2 레이더 인식 결과(25)에 포함된 신뢰도를 이용하여 장애물 인식 결과(26)에 포함된 신뢰도를 산출한다. 다시 말해, 장치는 제1 레이더 인식 결과(24) 및 제2 레이더 인식 결과(25) 둘 다를 이용하여 장애물 인식 결과(26)에 포함된 신뢰도를 산출한다.
도 12는 제1 레이더 인식 결과 및 제2 레이더 인식 결과 중 어느 하나가 다른 하나에 포함되지 않은 장애물 정보를 포함하는 경우의 일 예로, (a)는 제1 레이더 인식 결과 및 제2 레이더 인식 결과에 관한 도면이고, (b)는 장애물 인식 결과에 관한 도면이다.
도 12의 (a)를 참고하면, 제1 레이더 인식 결과(27)는 제1 장애물에 대한 장애물 정보(27-1) 및 제2 장애물에 대한 장애물 정보(27-2)를 포함하고, 제2 레이더 인식 결과(28)는 제3 장애물에 대한 장애물 정보(28-1), 제4 장애물에 대한 장애물 정보(28-2) 및 제5 장애물에 대한 장애물 정보(28-3)를 포함한다.
도 12에서는 상기 제1 장애물과 상기 제3 장애물이 동일하고, 상기 제2 장애물과 상기 제4 장애물이 동일한 것으로 가정하였다.
도 12의 (b)를 참고하면, 장치는 상기 제1 레이더 인식 결과(27)의 상기 제1 장애물에 대한 장애물 정보(27-1) 및 상기 제2 레이더 인식 결과(28)의 상기 제3 장애물에 대한 장애물 정보(28-1)를 이용하여 상기 제1 장애물(또는 상기 제3 장애물)에 대한 장애물 인식 결과(29)의 장애물 정보(29-1)를 생성한다. 이와 마찬가지로, 장치는 상기 제2 장애물(또는 상기 제4 장애물)에 대한 장애물 인식 결과(29)의 장애물 정보(29-2)를 생성한다. 장치는 상기 제2 레이더 인식 결과(28)의 상기 제5 장애물에 대한 장애물 정보(28-3)를 상기 제5 장애물에 대한 장애물 인식 결과(29)의 장애물 정보(29-3)로 설정한다.
도 12의 (b)에서, 장치는 제1 레이더 인식 결과(27)에 포함된 상기 제1 장애물 및 상기 제2 장애물에 대한 레인지, 베어링 및 GPS좌표를 장애물 인식 결과(29)에 포함된 상기 제1 장애물(또는 상기 제3 장애물) 및 상기 제2 장애물(또는 상기 제4 장애물)에 대한 레인지, 베어링 및 GPS좌표로 설정한다.
장치는 제1 레이더 인식 결과(27)에 포함된 상기 제1 장애물에 대한 신뢰도 및 제2 레이더 인식 결과(28)에 포함된 상기 제3 장애물에 대한 신뢰도를 이용하여 장애물 인식 결과(29)에 포함된 상기 제1 장애물(또는 상기 제3 장애물)에 대한 신뢰도를 산출한다. 이와 마찬가지로, 장치는 장애물 인식 결과(29)에 포함된 상기 제2 장애물(또는 상기 제4 장애물)에 대한 신뢰도를 산출한다.
장치는 제2 레이더 인식 결과(28)에 포함된 상기 제5 장애물에 대한 레인지(r5), 베어링(b5), GPS 좌표(G5) 및 신뢰도(c5)를 장애물 인식 결과(29)에 포함된 상기 제5 장애물에 대한 레인지(r5), 베어링(b5), GPS 좌표(G5) 및 신뢰도(c5)로 설정한다.
도 12에서는 제2 레이더 인식 결과가 제1 레이더 인식 결과에 포함되지 않는 장애물에 대한 장애물 정보를 포함하는 것으로 설명하였으나, 제1 레이더 인식 결과가 제2 레이더 인식 결과에 포함되지 않는 장애물에 대한 장애물 정보를 포함하는 경우에도 유사하게 적용될 수 있다.
도 13은 제1 레이더 인식 결과 및 제2 레이더 인식 결과 둘 다 다른 하나에 포함되지 않은 장애물 정보를 포함하는 경우의 일 예로, (a)는 제1 레이더 인식 결과 및 제2 레이더 인식 결과에 관한 도면이고, (b)는 장애물 인식 결과에 관한 도면이다.
도 13의 (a)를 참고하면, 제1 레이더 인식 결과(30)는 제1 장애물에 대한 장애물 정보(30-1), 제2 장애물에 대한 장애물 정보(30-2) 및 제3 장애물에 대한 장애물 정보(30-3)를 포함하고, 제2 레이더 인식 결과(31)는 제4 장애물에 대한 장애물 정보(31-1), 제5 장애물에 대한 장애물 정보(31-2) 및 제6 장애물에 대한 장애물 정보(31-3)를 포함한다.
도 13에서는 상기 제1 장애물과 상기 제4 장애물이 동일하고, 상기 제2 장애물과 상기 제5 장애물이 동일하고, 상기 제3 장애물과 상기 제6 장애물은 상이한 것으로 가정하였다.
도 13의 (b)를 참고하면, 장치는 상기 제1 레이더 인식 결과(30)의 상기 제1 장애물에 대한 장애물 정보(30-1) 및 상기 제2 레이더 인식 결과(31)의 상기 제4 장애물에 대한 장애물 정보(31-1)를 이용하여 상기 제1 장애물(또는 상기 제4 장애물)에 대한 장애물 인식 결과(32)의 장애물 정보(32-1)를 생성한다. 이와 마찬가지로, 장치는 상기 제2 장애물(또는 상기 제5 장애물)에 대한 장애물 인식 결과(32)의 장애물 정보(32-2)를 생성한다. 장치는 상기 제1 레이더 인식 결과(30)의 상기 제3 장애물에 대한 장애물 정보(30-3)를 상기 제3 장애물에 대한 장애물 인식 결과(32)의 장애물 정보(32-3)로 설정한다. 장치는 상기 제2 레이더 인식 결과(31)의 상기 제6 장애물에 대한 장애물 정보(31-3)를 상기 제6 장애물에 대한 장애물 인식 결과(32)의 장애물 정보(32-4)로 설정한다.
도 13의 (b)에서, 장치는 제1 레이더 인식 결과(30)에 포함된 상기 제1 장애물 및 상기 제2 장애물에 대한 레인지, 베어링 및 GPS좌표를 장애물 인식 결과(32)에 포함된 상기 제1 장애물(또는 상기 제4 장애물) 및 상기 제2 장애물(또는 상기 제5 장애물)에 대한 레인지, 베어링 및 GPS좌표로 설정한다.
장치는 제1 레이더 인식 결과(30)에 포함된 상기 제1 장애물에 대한 신뢰도 및 제2 레이더 인식 결과(31)에 포함된 상기 제4 장애물에 대한 신뢰도를 이용하여 장애물 인식 결과(32)에 포함된 상기 제1 장애물(또는 상기 제4 장애물)에 대한 신뢰도를 산출한다. 이와 마찬가지로, 장치는 장애물 인식 결과(32)에 포함된 상기 제2 장애물(또는 상기 제5 장애물)에 대한 신뢰도를 산출한다.
장치는 제1 레이더 인식 결과(30)에 포함된 상기 제3 장애물에 대한 레인지(r3), 베어링(b3), GPS 좌표(G3) 및 신뢰도(c3)를 장애물 인식 결과(32)에 포함된 상기 제3 장애물에 대한 레인지(r3), 베어링(b3), GPS 좌표(G3) 및 신뢰도(c3)로 설정한다.
장치는 제2 레이더 인식 결과(31)에 포함된 상기 제6 장애물에 대한 레인지(r6), 베어링(b6), GPS 좌표(G6) 및 신뢰도(c6)를 장애물 인식 결과(32)에 포함된 상기 제6 장애물에 대한 레인지(r6), 베어링(b6), GPS 좌표(G6) 및 신뢰도(c6)로 설정한다.
일부 실시예에서, 장치는 장애물 인식 결과에 포함된 신뢰도를 이용하여 장애물 인식 결과로부터 최종 장애물 인식 결과를 생성할 수 있다. 예를 들어, 장치는 상기 신뢰도를 미리 정해진 기준값과 비교하여 장애물 인식 결과로부터 최종 장애물 인식 결과를 생성할 수 있다. 보다 구체적인 예로, 장치는 장애물 인식 결과에 포함된 장애물 정보 중 기준값보다 큰 신뢰도를 포함하는 장애물 정보만을 포함하도록 최종 장애물 인식 결과를 생성할 수 있다.
예를 들어, 도 11의 (b)를 참고하면, 제1 장애물(또는 제4 장애물)에 대한 신뢰도(c1')가 기준값보다 큰 경우 장치는 상기 제1 장애물(또는 상기 제4 장애물)을 최종적으로 장애물로 판단할 수 있다. 만약 상기 신뢰도(c1')가 기준값보다 작은 경우라면 장치는 상기 제1 장애물(또는 상기 제4 장애물)을 장애물이 아닌 노이즈 등으로 판단할 수 있다.
상기 기준값은 예시적으로 0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9 또는 0.95일 수 있으나, 이에 한정되는 것은 아니다.
이상에서는 2대의 레이더로부터 획득한 2개의 레이더 영상을 기초로 한 객체 인식에 대해 주로 설명하였으나, 본 명세서가 이에 한정되는 것은 아니다.
예를 들어, 전술한 객체 인식은 3대 이상의 레이더로부터 획득한 3개 이상의 레이더 영상을 기초로 한 객체 인식에도 유사하게 적용될 수 있다.
다른 예를 들어, 전술한 객체 인식은 1대의 레이더로부터 획득한 2개 이상의 레이더 영상을 기초로 한 객체 인식에도 유사하게 적용될 수 있다. 이 경우, 전술한 제1 레이더 및 제2 레이더는 동일한 하나의 레이더를 지칭하고, 이로부터 획득한 2개 이상의 레이더 영상을 기초로 객체 인식을 수행할 수 있다. 보다 구체적인 예로, 장치는 1대의 레이더에서 설정을 달리하여 획득한 2개 이상의 레이더 영상을 기초로 객체 인식을 수행할 수 있다. 상기 설정을 달리한다는 것은 예시적으로 주파수 대역을 변경하는 것, 강도(intensity)를 변경하는 것 또는 이들의 조합일 수 있으나, 이에 한정되는 것은 아니다.
또 다른 예를 들어, 전술한 객체 인식은 1대의 레이더로부터 획득한 1개의 레이더 영상을 기초로 한 객체 인식에도 유사하게 적용될 수 있다. 이 경우, 장치는 상기 레이더 영상을 기초로 레이더 인식 결과를 생성할 수 있고, 상기 레이더 인식 결과가 곧 장애물 인식 결과에 대응할 수 있다. 다시 말해, 복수의 레이더로부터 획득한 복수의 레이더 영상을 기초로 한 객체 인식에서는 각 레이더 영상에 대해 레이더 인식 결과를 생성하고 그 결과를 종합하여 장애물 인식 결과를 생성하였으나, 1대의 레이더로부터 획득한 1개의 레이더 영상을 기초로 한 객체 인식에서는 레이더 영상에 대해 생성된 레이더 인식 결과가 곧 장애물 인식 결과에 대응할 수 있다.
또한, 이상에서는 1대의 레이더에 대해 1개의 레이더 영상을 획득하여 객체를 인식하는 것에 대해 주로 설명하였으나, 1대의 레이더에 대해 복수의 레이더 영상 또는 동영상을 획득하여 객체를 인식할 수도 있다. 동영상을 기초로 객체를 인식하는 것의 예로, 장치는 동영상을 입력 받아 세그멘테이션 결과를 출력하는 세그멘테이션 모델이나 동영상을 입력 받아 디텍션 결과를 출력하는 오브젝트 디텍션 모델을 이용하여 객체를 인식할 수 있다.
이하에서는 장애물 인식 결과를 기초로 객체를 추적하는 것에 대해 설명한다. 특별한 언급이 없는 경우, 상기 객체를 추적하는 것은 장치에서 수행되는 것으로 해석될 수 있다.
장치는 장애물 인식 결과를 기초로 장애물을 추적할 수 있다. 장치는 장애물 인식 결과를 기초로 장애물을 추적하여 장애물 추적 결과를 생성할 수 있다.
장치는 특정 시점의 장애물 인식 결과와 상기 특정 시점보다 이전인 하나 이상의 이전 시점들의 장애물 인식 결과를 이용하여 장애물을 추적할 수 있다. 예를 들어, 상기 특정 시점은 현재 시점이고, 상기 이전 시점들은 과거 시점들일 수 있다.
장치는 상기 이전 시점들의 장애물 인식 결과를 이용하여 상기 특정 시점에 대응하는 장애물 인식 결과를 예측할 수 있다. 예를 들어, 장치는 상기 이전 시점들의 위치 정보, 거리 정보, 방향 정보 및/또는 신뢰도를 이용하여 상기 특정 시점의 위치 정보, 거리 정보, 방향 정보 및/또는 신뢰도를 예측할 수 있다. 보다 구체적인 예로, 장치는 상기 이전 시점들의 레인지, 베어링 및/또는 레이더 영상 상에서의 좌표를 이용하여 상기 특정 시점의 레인지, 베어링 및/또는 레이더 영상 상에서의 좌표를 예측할 수 있다.
장치는 상기 예측된 장애물 인식 결과와 상기 특정 시점의 장애물 인식 결과를 비교하여 상기 특정 시점의 장애물 인식 결과에 반영된 장애물과 상기 이전 시점들의 장애물 인식 결과에 반영된 장애물 사이의 대응 관계(예: 동일한 장애물에 해당하는지 등)를 판단할 수 있다.
장치는 상기 예측된 장애물 인식 결과의 장애물 정보 및 상기 특정 시점의 장애물 인식 결과의 장애물 정보를 비교할 수 있다. 일 예로, 장치는 상기 예측된 장애물 인식 결과의 장애물 정보에 포함된 위치 정보 및 상기 특정 시점의 장애물 인식 결과의 장애물 정보에 포함된 위치 정보를 비교할 수 있다. 다른 예로, 장치는 상기 예측된 장애물 인식 결과의 장애물 정보에 포함된 거리 정보 및 상기 특정 시점의 장애물 인식 결과의 장애물 정보에 포함된 거리 정보를 비교할 수 있다. 또 다른 예로, 장치는 상기 예측된 장애물 인식 결과의 장애물 정보에 포함된 방향 정보 및 상기 특정 시점의 장애물 인식 결과의 장애물 정보에 포함된 방향 정보를 비교할 수 있다.
장치는 상기 예측된 장애물 인식 결과의 장애물 정보 및 상기 특정 시점의 장애물 인식 결과의 장애물 정보를 비교하여 상기 예측된 장애물 인식 결과 및 상기 특정 시점의 장애물 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함되는지 여부를 판단할 수 있다.
장치는 상기 예측된 장애물 인식 결과의 장애물 정보와 상기 특정 시점의 장애물 인식 결과의 장애물 정보에 포함된 위치 정보, 거리 정보 및 방향 정보 중 적어도 일부가 정합하는 경우 상기 예측된 장애물 인식 결과 및 상기 특정 시점의 장애물 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함된 것으로 판단할 수 있다.
일 예로, 장치는 상기 예측된 장애물 인식 결과의 장애물 정보에 포함된 위치 정보 및 상기 특정 시점의 장애물 인식 결과의 장애물 정보에 포함된 위치 정보가 정합하는 경우 상기 예측된 장애물 인식 결과 및 상기 특정 시점의 장애물 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함된 것으로 판단할 수 있다. 여기서, 위치 정보가 정합한다는 것은 위치 정보가 (실질적으로) 동일하거나 그 차이가 미리 정해진 정도보다 작은 것을 의미할 수 있다.
다른 예로, 장치는 상기 예측된 장애물 인식 결과의 장애물 정보에 포함된 거리 정보 및 상기 특정 시점의 장애물 인식 결과의 장애물 정보에 포함된 거리 정보가 정합하는 경우 상기 예측된 장애물 인식 결과 및 상기 특정 시점의 장애물 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함된 것으로 판단할 수 있다. 여기서, 거리 정보가 정합한다는 것은 거리 정보가 (실질적으로) 동일하거나 그 차이가 미리 정해진 정도보다 작은 것을 의미할 수 있다.
또 다른 예로, 장치는 상기 예측된 장애물 인식 결과의 장애물 정보에 포함된 방향 정보 및 상기 특정 시점의 장애물 인식 결과의 장애물 정보에 포함된 방향 정보가 정합하는 경우 상기 예측된 장애물 인식 결과 및 상기 특정 시점의 장애물 인식 결과에 동일한 장애물에 대응하는 장애물 정보가 포함된 것으로 판단할 수 있다. 여기서, 방향 정보가 정합한다는 것은 방향 정보가 (실질적으로) 동일하거나 그 차이가 미리 정해진 정도보다 작은 것을 의미할 수 있다.
레인지 및 베어링을 비교하여 객체를 추적함에 따라, IoU(Intersection over Union)를 이용하는 경우에 비해 객체 추적의 정확도가 향상될 수 있다. 레이더 영상을 기초로 객체를 추적하는 경우, 카메라 영상을 기초로 객체를 추적하는 경우에 비해 객체의 형태 정보가 영상에 반영되지 않을 수 있다. 다시 말해, 카메라 영상 상에서 나타나는 객체의 크기는 실제 객체의 크기를 상대적으로 잘 반영하는 반면, 레이더 영상 상에서 나타나는 객체의 크기는 실제 객체의 크기를 반영하지 않을 수 있다. 이와 같이 실제 객체의 크기가 반영되지 않는 경우에는 IoU를 이용하여 객체를 추적하는 경우 객체 추적의 정확도가 저하될 수 있고, 이러할 때 레인지 및 베어링을 이용하여 객체를 추적하는 경우 객체 추적의 정확도가 향상될 수 있다.
본 출원의 발명자는 100 프레임의 레이더 영상들로부터 100개의 장애물 인식 결과를 생성하고, 상기 100개의 장애물 인식 결과에 대해 (1) IoU 기반 객체 추적과 (2) 레인지 및 베어링 기반 객체 추적을 수행하였다. 그 결과, IoU 기반 객체 추적은 최대 3 프레임까지만 객체를 추적할 수 있었고, 레인지 및 베어링 기반 객체 추적은 최대 80 프레임까지 객체를 추적할 수 있었다.
다만, 본 명세서에 따른 실시예에서 객체 추적시 반드시 레인지 및 베어링을 이용해야 하는 것은 아니며, IoU를 이용하거나 다른 인자를 이용할 수도 있다.
상기 특정 시점의 장애물 인식 결과에 반영된 장애물이 상기 이전 시점들의 장애물 인식 결과에 반영된 장애물과 동일한 것으로 판단되는 경우, 장치는 상기 특정 시점의 장애물 인식 결과에 반영된 장애물에 상기 이전 시점들의 장애물 인식 결과에 반영된 장애물과 동일한 식별자를 부여할 수 있다.
도 14는 일 실시예에 따른 객체 추적 방법에 관한 개념도이다.
도 14를 참고하면, 상기 이전 시점들의 장애물 인식 결과(33)는 3개의 장애물(obsA, obsB, obsC)에 대한 장애물 정보를 포함한다. 또한, 상기 특정 시점의 장애물 인식 결과(35)는 3개의 장애물(obs1, obs2, obs3)에 대한 장애물 정보를 포함한다. 장치는 상기 이전 시점들의 장애물 인식 결과(33)를 이용하여 상기 특정 시점에 대응하는 장애물 인식 결과(34)를 예측할 수 있다. 상기 예측된 장애물 인식 결과(34) 또한 3개의 장애물(obsA, obsB, obsC)에 대한 장애물 정보를 포함한다. 다만, 상기 예측된 장애물 인식 결과(34)의 장애물 정보 중 적어도 일부는 상기 이전 시점들의 장애물 인식 결과(33)의 장애물 정보와 상이할 수 있다. 장치는 상기 특정 시점의 장애물 인식 결과(35)의 3개의 장애물(obs1, obs2, obs3)에 대한 장애물 정보와 상기 예측된 장애물 인식 결과(34)의 3개의 장애물(obsA, obsB, obsC)에 대한 장애물 정보를 비교하여 장애물 사이의 대응 관계를 판단할 수 있다. 도 14에서는 장애물(obsA)과 장애물(obs1)이 동일하고, 장애물(obsB)과 장애물(obs2)이 동일하고, 장애물(obsC)과 장애물(obsc3)이 동일한 것으로 가정하였다. 이에 따라, 장치는 상기 특정 시점에 대응하는 장애물 추적 결과(36)를 획득할 수 있다.
장치는 전처리된 레이더 영상을 기초로 객체를 인식하거나 추적할 수 있다.
장치는 레이더 영상에 전처리를 수행할 수 있다. 예를 들어, 장치는 전처리되지 않은 레이더 영상을 수신하고, 상기 레이더 영상에 전처리를 수행하여 전처리된 레이더 영상을 획득할 수 있다.
이하에서는 전처리의 일 예인 경계 처리에 대해 설명한다.
장치는 레이더 영상에 경계 처리를 수행할 수 있다. 예를 들어, 장치는 경계 처리되지 않은 레이더 영상을 수신하고, 상기 레이더 영상에 경계 처리를 수행하여 경계 처리된 레이더 영상을 획득할 수 있다.
도 15는 일 실시예에 따른 경계 처리에 관한 도면이다. (a)는 경계 처리 전후의 픽셀값을 레이더 영상(37) 상에서 나타낸 것으로, 레이더 영상(37)의 일 영역을 확대한 확대도(38) 및 경계 처리 후의 확대도(39)이다. (a)에서는 도 4에서와 동일한 색상 스케일로 레이더 영상을 표현하였다. (b)는 (a)의 y=y3에서의 경계 처리 전후의 픽셀값을 그래프로 나타낸 것으로, 빈 원은 경계 처리 전의 픽셀값이고 채워진 원은 경계 처리 후의 픽셀값이다. x=x1, x2, x3에 대해서는 빈 원과 채워진 원이 겹치는 상황이고, 빈 원만 표시하였다.
장치는 기준값보다 작은 픽셀값을 변경할 수 있다. 예를 들어, 장치는 기준값보다 작은 픽셀값을 소정의 규칙에 따라 변경할 수 있다. 도 15를 참고하면, 경계 처리 전후로 기준값보다 큰 픽셀값은 변하지 않지만 작은 픽셀값은 변하는 것을 볼 수 있다.
일 실시예에 따르면, 상기 기준값은 미리 정해진 특정 값일 수 있다.
다른 실시예에 따르면, 상기 기준값은 레이더 영상의 픽셀값을 고려하여 설정된 값일 수 있다. 예를 들어, 상기 기준값은 레이더 영상의 픽셀값의 최대값과 최소값 중 적어도 하나를 고려하여 설정된 값일 수 있다. 다른 예를 들어, 상기 기준값은 레이더 영상의 픽셀값의 평균을 고려하여 설정된 값일 수 있다.
장치는 픽셀값을 감소시키는 방향으로 변경시킬 수 있다. 예를 들어, 도 15를 참고하면, 장치는 기준값보다 작은 픽셀값을 감소시키는 방향으로 변경시킬 수 있다. 보다 구체적인 일 예로, 장치는 기준값보다 작은 픽셀값을 특정 값만큼 감소시킬 수 있다. 보다 구체적인 다른 예로, 장치는 기준값보다 작은 픽셀값을 특정 비율만큼 감소시킬 수 있다. 보다 구체적인 또 다른 예로, 장치는 기준값보다 작은 픽셀값을 상기 픽셀값보다 작은 특정 값으로 변경할 수 있다.
전술한 경계 처리 외에도, 장치는 레이더 영상에 이미지 사이즈 변경, 이미지 해상도 변경, 이미지 색상 변경, 이미지 크롭, 이미지 마스킹 또는 이들의 조합과 같은 전처리를 수행할 수 있다.
이상에서는 장치에서 경계 처리와 같은 전처리를 수행하는 것으로 설명하였으나, 다른 장치에서 전처리를 수행하고, 장치는 전처리된 레이더 영상을 획득하여 객체를 인식하거나 추적할 수 있다.
레이더 영상의 경계 처리를 통해 객체 인식의 정확도가 향상될 수 있다. 레이더 영상의 경계 처리를 통해 객체 추적의 정확도가 향상될 수 있다.
장치는 누적된 레이더 영상을 기초로 객체를 인식하거나 추적할 수 있다.
장치는 복수의 레이더 영상들을 누적(accumulation)하여 누적된 레이더 영상을 생성할 수 있다. 본 명세서에서, 복수의 레이더 영상들을 누적한다는 것은 레이더 영상들의 픽셀별로 픽셀값을 누적하는 것을 의미할 수 있다.
장치는 복수의 시점에 대응하는 복수의 레이더 영상들을 누적하여 누적된 레이더 영상을 생성할 수 있다. 일부 실시예에서, 장치는 전술한 경계 처리와 같은 전처리가 수행된 레이더 영상들을 누적할 수 있다.
도 16은 일 실시예에 따른 레이더 영상의 누적에 관한 도면이다.
일 실시예에 따르면, 장치는 특정 시점(예: 현재 시점)과 상기 특정 시점으로부터 미리 정해진 시간만큼 이전인 시점 사이의 시간에 대응하는 레이더 영상들을 누적하여 누적된 레이더 영상을 생성할 수 있다. 도 16의 (a)를 참고하면, 장치는 현재 시점 tc와 이로부터 미리 정해진 시간 Δtset 만큼 이전인 시점 사이의 시간에 대응하는 레이더 영상들을 누적하여 누적된 레이더 영상을 생성할 수 있다. 시간이 흘러 현재 시점이 tc에서 tf로 변화한 경우, 장치는 현재 시점 tf와 이로부터 미리 정해진 시간 Δtset 만큼 이전인 시점 사이의 시간에 대응하는 레이더 영상들을 누적하여 누적된 레이더 영상을 생성할 수 있다. 상기 미리 정해진 시간은 예시적으로 1초, 2초, 5초, 10초, 20초, 30초, 50초 또는 1분일 수 있으나, 이에 한정되는 것은 아니다.
다른 실시예에 따르면, 장치는 기준 시점부터 특정 시점(예: 현재 시점) 사이의 시간에 대응하는 레이더 영상들을 누적하여 누적된 레이더 영상을 생성할 수 있다. 도 16의 (b)를 참고하면, 장치는 기준 시점 tref부터 현재 시점 tc 사이의 시간 Δt1에 대응하는 레이더 영상들을 누적하여 누적된 레이더 영상을 생성할 수 있다. 시간이 흘러 현재 시점이 tc에서 tf로 변화한 경우, 장치는 기준 시점 tref부터 현재 시점 tf 사이의 시간 Δt2에 대응하는 레이더 영상들을 누적하여 누적된 레이더 영상을 생성할 수 있다.
상기 기준 시점은 일정 주기로 재설정될 수 있다. 상기 기준 시점은 특정 이벤트 발생시(예: 레이더의 움직임이 큰 경우, 레이더가 설치된 차량이나 선박의 움직임이 큰 경우 등) 재설정될 수 있다.
레이더 영상을 누적하는 누적 시간은 상황에 따라 다를 수 있다. 예를 들어, 레이더의 시간에 따른 움직임이 작을수록 상기 누적 시간이 길 수 있다. 보다 구체적인 일 예로, 큰 선박에 설치된 레이더가 생성한 레이더 영상을 누적하는 누적 시간은 작은 선박에 설치된 레이더가 생성한 레이더 영상을 누적하는 누적 시간보다 길 수 있다. (일반적으로 큰 선박의 움직임이 작은 선박보다 작으므로) 보다 구체적인 다른 예로, 기상 환경이 좋은 상황에서의 누적 시간은 기상 환경이 나쁜 상황에서의 누적 시간보다 길 수 있다.
누적 시간은 사용자에 의해 수동으로 설정될 수 있다. 또는, 누적 시간은 장치에 의해 설정될 수 있다. 예를 들어, 장치는 선박의 움직임 및 기상 환경 중 적어도 하나를 고려하여 누적 시간을 설정할 수 있다. 보다 구체적인 예로, 장치는 외부로부터 기상 환경에 관한 정보를 획득하고, 이에 따라 누적 시간을 가변적으로 설정할 수 있다.
장치는 미리 정해진 개수의 레이더 영상들을 누적하여 누적된 레이더 영상을 생성할 수 있다. 이 경우, 상기 미리 정해진 개수의 레이더 영상들은 서로 다른 시점에 대응할 수 있다. 상기 미리 정해진 개수의 예로는 3, 5, 10, 15, 20, 30, 40, 또는 50이 있으나, 이에 한정되는 것은 아니다.
상기 미리 정해진 개수는 상황에 따라 다를 수 있다. 예를 들어, 레이더의 시간에 따른 움직임이 작을수록 상기 미리 정해진 개수가 클 수 있다. 보다 구체적인 일 예로, 큰 선박에 설치된 레이더가 생성한 레이더 영상을 누적하는 경우의 상기 미리 정해진 개수는 작은 선박에 설치된 레이더가 생성한 레이더 영상을 누적하는 경우의 상기 미리 정해진 개수보다 클 수 있다. (일반적으로 큰 선박의 움직임이 작은 선박보다 작으므로) 보다 구체적인 다른 예로, 기상 환경이 좋은 상황에서의 상기 미리 정해진 개수는 기상 환경이 나쁜 상황에서의 상기 미리 정해진 개수보다 클 수 있다.
상기 미리 정해진 개수는 사용자에 의해 수동으로 설정될 수 있다. 또는, 상기 미리 정해진 개수는 장치에 의해 설정될 수 있다. 예를 들어, 장치는 선박의 움직임 및 기상 환경 중 적어도 하나를 고려하여 상기 미리 정해진 개수를 설정할 수 있다. 보다 구체적인 예로, 장치는 외부로부터 기상 환경에 관한 정보를 획득하고, 이에 따라 상기 미리 정해진 개수를 가변적으로 설정할 수 있다.
장치는 레이더 영상별 가중치에 따라 복수의 레이더 영상들을 누적하여 누적된 레이더 영상을 생성할 수 있다.
상기 가중치는 사용자에 의해 수동으로 설정될 수 있다. 또는, 상기 가중치는 장치에 의해 설정될 수 있다. 상기 가중치는 미리 설정되어 장치에 저장될 수 있다.
상기 가중치는 레이더 영상이 대응하는 시점에 의존할 수 있다. 예를 들어, 레이더 영상이 대응하는 시점이 과거일수록 가중치는 작아질 수 있다. 다시 말해, 제1 시점에 대응하는 레이더 영상의 가중치는 상기 제1 시점 이후인 제2 시점에 대응하는 레이더 영상의 가중치보다 작을 수 있다.
이동하는 객체의 경우 누적된 레이더 영상 상에서 테일(tail)이 존재하는 것으로 나타날 수 있다. 상기 누적된 레이더 영상 상에서는 상기 테일의 유무에 따라 이동하는 객체와 이동하지 않는 객체가 구분될 수 있다. 일부 실시예에서, 장치는 테일의 유무에 따라 이동하는 객체와 이동하지 않는 객체를 구분할 수 있다.
도 17은 일 실시예에 따른 레이더 영상의 누적에 의한 노이즈 저감에 관한 도면이다. 도 17을 참고하면, 복수의 레이더 영상들(40)이 누적됨에 따라 노이즈가 저감될 수 있다. 다시 말해, 누적된 레이더 영상(41)은 누적 전의 레이더 영상들(40)에 비해 노이즈가 저감된 영상일 수 있다.
이상에서는 장치에서 레이더 영상을 누적하는 것으로 설명하였으나, 다른 장치에서 레이더 영상을 누적하고, 장치는 누적된 레이더 영상을 획득하여 객체를 인식하거나 추적할 수 있다.
장치는 외부 장치와 통신을 수행할 수 있다. 이 경우, 통신 상황에 따라 장치는 외부 장치와 원활하게 통신을 수행할 수도 있지만, 그렇지 못할 수도 있다. 예를 들어, 해상과 같이 통신 상황에 한계나 제약이 있는 경우 장치는 외부 장치와 많은 양의 데이터를 주고받기 어려울 수 있거나, 데이터를 지속적으로 주고받기 어려울 수 있다.
일반적으로 레이더 영상이나 세그멘테이션 결과(예: 도 8의 출력 데이터(17) 등)는 위치 정보, 거리 정보, 방향 정도, 신뢰도 등에 비해 많은 양의 데이터를 요구한다. 따라서, 장치는 사용자로부터 요청이 있는 경우에만 레이더 영상이나 세그멘테이션 결과를 외부 장치로 전송할 수 있다.
도 18은 일 실시예에 따른 세그멘테이션 결과 전송에 관한 도면이다. 도 18을 참고하면, 장치는 세그멘테이션 결과를 전송해달라는 요청이 있는지 확인할 수 있다. 상기 요청이 없는 경우, 장치는 레인지, 베어링, 신뢰도, GPS 좌표 등의 장애물 인식 결과를 전송할 수 있다. 상기 요청이 있는 경우, 장치는 레인지, 베어링, 신뢰도, GPS 좌표 등의 장애물 인식 결과와 함께 세그멘테이션 결과를 전송할 수 있다. 여기서, 장애물 인식 결과와 함께 세그멘테이션 결과를 전송한다는 것은, 레인지, 베어링, 신뢰도, GPS 좌표 등의 장애물 인식 결과를 산출하기 위한 기초가 된 세그멘테이션 결과를 전송한다는 의미이고, 장애물 인식 결과와 세그멘테이션 결과를 동일한 패킷으로 전송하거나 동일한 시점에 전송하는 것에 한정되는 것은 아니다.
실시예에 따른 방법은 다양한 컴퓨팅 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 실시예를 기준으로 본 출원을 설명하였으나 본 출원은 이에 한정되지 않으며, 본 출원의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 출원이 속하는 기술 분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
100: 레이더
200: 장치
210: 통신부
220: 출력부
230: 저장부
240: 제어부
300: 외부 장치

Claims (9)

  1. 레이더 영상을 획득하는 단계;
    상기 레이더 영상에 포함된 픽셀들의 픽셀값을 고려하여 상기 레이더 영상을 전처리하는 단계;
    상기 전처리된 레이더 영상을 기초로 이미지 세그멘테이션을 수행하여 상기 전처리된 레이더 영상에 포함된 픽셀들 중 적어도 일부를 장애물에 대응하는 장애물 픽셀들, 육지에 대응하는 육지 픽셀들 및 노이즈에 대응하는 노이즈 픽셀들로 분류하는 단계; 및
    상기 장애물 픽셀들을 고려하여 상기 레이더 영상에 대한 장애물 인식 결과를 생성하는 단계 -상기 장애물 인식 결과는 장애물 거리 정보, 장애물 방향 정보 및 장애물 신뢰도 중 적어도 일부를 포함함- 를 포함하며,
    상기 이미지 세그멘테이션은, 세그멘테이션 모델을 통해 수행되고,
    상기 세그멘테이션 모델은, 학습 레이더 영상, 상기 학습 레이더 영상이 입력된 상기 세그멘테이션 모델로부터 출력되는 출력 데이터 및 상기 학습 레이더 영상에 대응하는 라벨링 데이터를 이용하여 학습되고,
    상기 라벨링 데이터는, 상기 학습 레이더 영상에 포함된 픽셀들 중 적어도 일부를 미리 정해진 레이블에 따라 분류하여 생성된 것인,
    전처리된 레이더 영상 기반 객체 인식 방법.
  2. 제1 항에 있어서,
    상기 전처리하는 단계에서는, 상기 픽셀값이 픽셀 기준값보다 작은 경우 상기 픽셀값을 미리 설정된 규칙에 따라 감소시키는 방향으로 변경하여 상기 레이더 영상을 전처리하는
    전처리된 레이더 영상 기반 객체 인식 방법.
  3. 제1 항에 있어서,
    상기 레이더 영상은, 복수의 레이더 영상들이 누적된 레이더 영상인
    전처리된 레이더 영상 기반 객체 인식 방법.
  4. 제3 항에 있어서,
    상기 복수의 레이더 영상들은 각각 서로 다른 시점에 대응하고,
    상기 레이더 영상은, 상기 복수의 레이더 영상들이 대응하는 시점에 따른 가중치가 반영되어 상기 복수의 레이더 영상들이 누적된 레이더 영상인
    전처리된 레이더 영상 기반 객체 인식 방법.
  5. 제1 항에 있어서,
    상기 레이더 영상을 생성한 레이더 또는 상기 레이더가 설치된 물체의 자북(magnetic north)에 대한 방향 정보를 획득하는 단계; 및
    상기 자북에 대한 방향 정보를 고려하여 상기 레이더 영상을 자북 보정하는 단계를 더 포함하는
    전처리된 레이더 영상 기반 객체 인식 방법.
  6. 삭제
  7. 제1 항에 있어서,
    상기 출력 데이터에 대한 요청을 확인하는 단계; 및
    상기 요청이 존재하지 않는 경우, 상기 장애물 인식 결과를 전송하고,
    상기 요청이 존재하는 경우, 상기 장애물 인식 결과와 함께 상기 출력 데이터를 전송하는 단계를 더 포함하는
    전처리된 레이더 영상 기반 객체 인식 방법.
  8. 컴퓨터에 제1 항 내지 제5 항 및 제7 항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  9. 레이더와 통신하는 통신부;
    상기 레이더로부터 수신한 레이더 영상을 저장하는 저장부; 및
    상기 레이더 영상을 기초로 장애물 인식 결과를 생성하는 제어부를 포함하고,
    상기 제어부는,
    상기 레이더 영상에 포함된 픽셀들의 픽셀값을 고려하여 상기 레이더 영상을 전처리하고,
    상기 전처리된 레이더 영상을 기초로 이미지 세그멘테이션을 수행하여 상기 전처리된 레이더 영상에 포함된 픽셀들 중 적어도 일부를 장애물에 대응하는 장애물 픽셀들, 육지에 대응하는 육지 픽셀들 및 노이즈에 대응하는 노이즈 픽셀들로 분류하고,
    상기 장애물 픽셀들을 고려하여 상기 레이더 영상에 대한 장애물 인식 결과를 생성하며 -상기 장애물 인식 결과는 장애물 거리 정보, 장애물 방향 정보 및 장애물 신뢰도 중 적어도 일부를 포함함-,
    상기 이미지 세그멘테이션은, 세그멘테이션 모델을 통해 수행되고,
    상기 세그멘테이션 모델은, 학습 레이더 영상, 상기 학습 레이더 영상이 입력된 상기 세그멘테이션 모델로부터 출력되는 출력 데이터 및 상기 학습 레이더 영상에 대응하는 라벨링 데이터를 이용하여 학습되고,
    상기 라벨링 데이터는, 상기 학습 레이더 영상에 포함된 픽셀들 중 적어도 일부를 미리 정해진 레이블에 따라 분류하여 생성된 것인,
    전처리된 레이더 영상 기반 객체 인식 장치.
KR1020220063487A 2021-12-31 2022-05-24 전처리된 레이더 영상 기반 객체 인식 방법 및 이를 수행하는 장치 KR102690636B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20210194380 2021-12-31
KR1020210194386 2021-12-31
KR1020210194380 2021-12-31
KR20210194386 2021-12-31
KR20210194373 2021-12-31
KR1020210194373 2021-12-31

Publications (2)

Publication Number Publication Date
KR20230104804A KR20230104804A (ko) 2023-07-11
KR102690636B1 true KR102690636B1 (ko) 2024-08-06

Family

ID=87155723

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220063486A KR20230104499A (ko) 2021-12-31 2022-05-24 레이더 영상 기반 객체 추적 방법 및 이를 수행하는 장치
KR1020220063487A KR102690636B1 (ko) 2021-12-31 2022-05-24 전처리된 레이더 영상 기반 객체 인식 방법 및 이를 수행하는 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020220063486A KR20230104499A (ko) 2021-12-31 2022-05-24 레이더 영상 기반 객체 추적 방법 및 이를 수행하는 장치

Country Status (1)

Country Link
KR (2) KR20230104499A (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031829A (ko) * 2015-09-11 2017-03-22 금호마린테크 (주) 선박 레이더를 이용한 물표의 획득 방법 및 이를 이용한 물표의 획득 시스템
KR101851635B1 (ko) * 2016-05-27 2018-04-24 국방과학연구소 고해상도 거리 프로파일을 이용한 다중 물체 판단 장치 및 방법
KR20180066669A (ko) * 2016-12-09 2018-06-19 포항공과대학교 산학협력단 트레이스 변환을 이용한 역합성 개구면 레이더 영상의 표적 분류 장치 및 그 방법
KR20210044197A (ko) * 2018-09-04 2021-04-22 씨드로닉스(주) 이미지 세그멘테이션을 이용한 자율 운항 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031829A (ko) * 2015-09-11 2017-03-22 금호마린테크 (주) 선박 레이더를 이용한 물표의 획득 방법 및 이를 이용한 물표의 획득 시스템
KR101851635B1 (ko) * 2016-05-27 2018-04-24 국방과학연구소 고해상도 거리 프로파일을 이용한 다중 물체 판단 장치 및 방법
KR20180066669A (ko) * 2016-12-09 2018-06-19 포항공과대학교 산학협력단 트레이스 변환을 이용한 역합성 개구면 레이더 영상의 표적 분류 장치 및 그 방법
KR20210044197A (ko) * 2018-09-04 2021-04-22 씨드로닉스(주) 이미지 세그멘테이션을 이용한 자율 운항 방법

Also Published As

Publication number Publication date
KR20230104499A (ko) 2023-07-10
KR20230104804A (ko) 2023-07-11
KR20230104803A (ko) 2023-07-11

Similar Documents

Publication Publication Date Title
CN112292711B (zh) 关联lidar数据和图像数据
Asvadi et al. 3D object tracking using RGB and LIDAR data
US11280630B2 (en) Updating map data
US20220024549A1 (en) System and method for measuring the distance to an object in water
US12026894B2 (en) System for predicting near future location of object
CN111611853A (zh) 一种传感信息融合方法、装置及存储介质
US20230213646A1 (en) Machine learning based object detection using radar information
Lin et al. Maritime environment perception based on deep learning
EP3703008A1 (en) Object detection and 3d box fitting
KR20240080189A (ko) 거리 측정 방법 및 이를 이용하는 거리 측정 장치
Muresan et al. Multimodal sparse LIDAR object tracking in clutter
Yao et al. LiDAR-based simultaneous multi-object tracking and static mapping in nearshore scenario
Schütz et al. Simultaneous tracking and shape estimation with laser scanners
Manivannan et al. Vision based intelligent vehicle steering control using single camera for automated highway system
CN111507126B (zh) 一种驾驶辅助系统的报警方法、装置及电子设备
KR102618680B1 (ko) 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적하는 시스템
KR102690636B1 (ko) 전처리된 레이더 영상 기반 객체 인식 방법 및 이를 수행하는 장치
Bernardi et al. High integrity lane-level occupancy estimation of road obstacles through LiDAR and HD map data fusion
KR102711819B1 (ko) 레이더 영상 기반 객체 인식 방법 및 이를 수행하는 장치
CN117635721A (zh) 目标定位方法及相关系统、存储介质
CN114882458A (zh) 一种目标跟踪方法、系统、介质及设备
Chen et al. Real-time tracking and berthing aid system with occlusion handling based on LiDAR
US20210129341A1 (en) Robot localization method and apparatus and robot using the same
KR102670260B1 (ko) 거리 측정 방법 및 이를 이용하는 거리 측정 장치
CN113792634B (zh) 一种基于车载相机的目标相似性评分计算方法及系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant