KR20220031106A - 타깃 검출 방법, 장치, 전자 기기 및 저장 매체 - Google Patents

타깃 검출 방법, 장치, 전자 기기 및 저장 매체 Download PDF

Info

Publication number
KR20220031106A
KR20220031106A KR1020227004542A KR20227004542A KR20220031106A KR 20220031106 A KR20220031106 A KR 20220031106A KR 1020227004542 A KR1020227004542 A KR 1020227004542A KR 20227004542 A KR20227004542 A KR 20227004542A KR 20220031106 A KR20220031106 A KR 20220031106A
Authority
KR
South Korea
Prior art keywords
target
detected
point cloud
information
frame
Prior art date
Application number
KR1020227004542A
Other languages
English (en)
Inventor
제 왕
후이 조우
지안핑 쉬
Original Assignee
상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 filed Critical 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Publication of KR20220031106A publication Critical patent/KR20220031106A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 타깃 검출 방법, 장치, 전자 기기 및 저장 매체를 제공하며, 여기서 상기 방법은, 레이더 장치로 스캔하여 얻은 멀티프레임의 포인트 클라우드 데이터 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보를 획득하는 단계; 각각의 프레임의 포인트 클라우드 데이터에 기반하여, 검출할 타깃의 위치 정보를 결정하는 단계; 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보에 기반하여, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보를 결정하는 단계; 및 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보에 따라 검출할 타깃의 이동 정보를 결정하는 단계를 포함한다. 본 발명은 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보 및 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃의 관련 정보를 결합하여 타깃의 이동 정보를 결정하며, 정확도가 비교적 높다.

Description

타깃 검출 방법, 장치, 전자 기기 및 저장 매체
관련 출원의 상호 참조
본 발명은 출원 번호가 202010712662.7이고, 출원일이 2020년 07월 22일이며, 출원 명칭이 “타깃 검출 방법, 장치, 전자 기기 및 저장 매체”인 중국 특허 출원을 제출하고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 전부 내용은 참조로서 본 발명에 인용된다.
본 발명은 데이터 처리 기술 분야에 관한 것으로, 구체적으로 타깃 검출 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.
현재, 자동차 자율 주행 시스템(Motor Vehicle Auto Driving System, MVADS) 또는 지능형 차량-도로 협업 시스템(Intelligent Vehicle Infrastructure Cooperative Systems, IVICS)에서 레이저 레이더 기반의 타깃 검출은 점점 더 중요해지고 있다. 여기서 레이저 레이더는 방출된 레이저 빔을 회전 및 스캔 방출하여 스캔 섹션을 형성함으로써 포인트 클라우드 데이터를 획득한다.
타깃의 이동 정보를 검출할 경우, 각 프레임의 포인트 클라우드 데이터 중 타깃이 스캔된 스캔 타임스탬프에 기반하여 결정할 수 있다. 관련 기술에서 일반적으로 포인트 클라우드 데이터의 타임스탬프를 타깃이 스캔된 스캔 타임스탬프로 사용한다. 여기서, 일반적으로 포인트 클라우드 스캔의 종료 시간을 포인트 클라우드 데이터의 타임스탬프로서 선택할 수 있고, 또한 포인트 클라우드 스캔의 시작 시간 및 종료 시간 사이의 중간 시각을 포인트 클라우드 데이터의 타임스탬프로서 선택할 수 있다.
그러나, 상기 어떠한 방식으로 포인트 클라우드 데이터의 타임스탬프를 결정하든, 타깃이 스캔되는 시간과 상기 타임스탬프는 실질적으로 동일하지 않다. 따라서, 여전히 상기 타깃 검출 방법으로 타깃의 이동 정보를 결정하면, 검출 정확도를 저하시킬 것이다.
본 발명의 실시예는 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보 및 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃의 관련 정보를 결합하여 타깃의 이동 정보를 결정하는 타깃 검출 방법을 적어도 제공하며, 정확도가 비교적 높다.
제1 양태로서, 본 발명의 실시예는,
레이더 장치로 스캔하여 얻은 멀티프레임의 포인트 클라우드 데이터 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보를 획득하는 단계;
각각의 프레임의 포인트 클라우드 데이터에 기반하여, 검출할 타깃의 위치 정보를 결정하는 단계;
각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보에 기반하여, 각각의 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 상기 레이더 장치에 의해 스캔되는 스캔 방향 각도 정보를 결정하는 단계; 및
각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 상기 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보에 따라, 상기 검출할 타깃의 이동 정보를 결정하는 단계를 포함하는 타깃 검출 방법을 제공한다.
상기 타깃 검출 방법에 있어서, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃의 위치 정보에 기반하여 레이더 장치로 스캔하는 과정에서 검출할 타깃의 이동 궤적 포인트를 결정할 수 있고, 각각의 이동 궤적 포인트 사이의 관련 오프셋 정보를 기준으로 비교적 정확한 스캔 방향 각도 정보를 결정할 수 있으며, 다시 각 프레임의 포인트 클라우드 데이터의 시간 정보를 결합하여 보다 정확한 검출할 타깃의 이동 정보(예를 들어, 이동 속도 정보)를 획득할 수 있다.
제2 양태로서, 본 발명의 실시예는,
레이더 장치로 스캔하여 얻은 멀티프레임의 포인트 클라우드 데이터 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보를 획득하도록 구성되는 정보 획득 모듈;
각각의 프레임의 포인트 클라우드 데이터에 기반하여, 검출할 타깃의 위치 정보를 결정하도록 구성되는 위치 결정 모듈;
각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보에 기반하여, 각각의 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 상기 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보를 결정하도록 구성되는 방향 각도 결정 모듈; 및
각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 상기 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보에 따라, 상기 검출할 타깃의 이동 정보를 결정하도록 구성되는 타깃 검출 모듈을 포함하는 타깃 검출 장치를 더 제공한다.
제3 양태로서, 본 발명의 실시예는 프로세서, 메모리 및 버스를 포함하고, 상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 경우 제1 양태 및 이의 다양한 실시형태 중 어느 하나에 따른 타깃 검출 방법의 단계를 수행하는 전자 기기를 더 제공한다.
제4 양태로서, 본 발명의 실시예는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1 양태 및 이의 다양한 실시형태 중 어느 하나에 따른 타깃 검출 방법의 단계를 수행하는 컴퓨터 판독 가능 저장 매체를 더 제공한다.
상기 타깃 검출 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체의 효과에 관한 설명은 상기 타깃 검출 방법의 설명을 참조하며, 여기서 더이상 반복 서술하지 않는다.
본 발명의 상기 목적, 특징 및 장점을 보다 명확하고 쉽게 이해하도록 하기 위해, 첨부된 도면과 함께 아래에 비교적 바람직한 실시예를 상세하게 설명하게 하기와 같다.
본 발명의 실시예의 기술적 해결수단을 보다 명확하게 설명하기 위해, 아래에 실시예에 사용되어야 하는 도면을 간단히 소개할 것이며, 여기서의 도면은 명세서에 병합되어 본 명세서의 일부분을 구성하고, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 기술적 해결수단을 설명하기 위한 것이다. 이해해야 할 것은 이하 도면은 본 발명의 일부 실시예를 도시할 뿐 범위에 대한 한정으로 간주하여서는 안되며, 본 기술분야의 통상의 기술자들은 진보성 창출에 힘을 쓰지 않는 전제하에 또한 이러한 도면으로부터 다른 관련된 도면을 얻을 수 있을 것이다.
도 1은 본 발명의 실시예 1에 제공되는 타깃 검출 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예 1에 제공되는 타깃 검출 방법의 응용 모식도를 도시한다.
도 3(a)는 본 발명의 실시예 1에 제공되는 인코딩 전의 래스터 매트릭스의 모식도를 도시한다.
도 3(b)는 본 발명의 실시예 1에 제공되는 희소 매트릭스의 모식도를 도시한다.
도 3(c)는 본 발명의 실시예 1에 제공되는 인코딩 후의 래스터 매트릭스의 모식도를 도시한다.
도 4(a)는 본 발명의 실시예 1에 제공되는 좌측으로 이동한 후의 래스터 매트릭스의 모식도를 도시한다.
도 4(b)는 본 발명의 실시예 1에 제공되는 논리합 연산의 모식도를 도시한다.
도 5(a)는 본 발명의 실시예 1에 제공되는 제1 부정 동작 후의 래스터 매트릭스의 모식도를 도시한다.
도 5(b)는 본 발명의 실시예 1에 제공되는 콘볼루션 연산 후의 래스터 매트릭스의 모식도를 도시한다.
도 6은 본 발명의 실시예 2에 제공되는 타깃 검출 장치의 모식도를 도시한다.
도 7은 본 발명의 실시예 3에 제공되는 전자 기기의 모식도를 도시한다.
본 발명의 실시예의 목적, 기술적 해결수단 및 장점이 보다 명확해지도록 하기 위해, 아래에 본 발명의 실시예 중 도면을 결부하여 본 발명의 실시예 중의 기술적 해결수단에 대해 명확하고 완전하게 설명하되, 설명된 실시예는 본 발명의 일부 실시예일 뿐 전체 실시예가 아님은 분명하다. 일반적으로 여기 도면에서 설명되고 도시된 본 발명의 실시예의 컴포넌트는 다양하고 상이한 구성으로 배치되거나 설계될 수 있다. 따라서, 이하 도면에 제공되는 본 발명의 실시예에 대한 상세한 설명은 청구된 본 발명의 범위를 한정하려는 것이 아니라, 본 발명의 선택된 실시예를 나타내는 것에 불과하다. 본 발명의 실시예를 기반으로, 본 분야의 기술자들이 진보성 창출에 힘을 쓰지 않은 전제 하에 획득한 모든 다른 실시예들은 전부 본 발명의 보호 범위에 속한다.
연구 결과, 타깃의 이동 정보를 검출할 경우, 각 프레임의 포인트 클라우드 데이터 중 타깃이 스캔된 스캔 타임스탬프에 기반하여 결정할 수 있다. 관련 기술에서 일반적으로 포인트 클라우드 데이터의 타임스탬프를 타깃이 스캔된 스캔 타임스탬프로 사용한다. 그러나, 레이저 레이더의 이미징 원리로부터 알 수 있는바, 타깃이 스캔된 시간과 포인트 클라우드 데이터의 타임스탬프는 실질적으로 동일하지 않다. 여전히 상기 타깃 검출 방법으로 타깃의 이동 정보를 결정하면, 검출 정확도를 저하시킬 것이다.
상기 연구에 기반해보면, 본 발명은 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보 및 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃의 관련 정보를 결합하여 타깃의 이동 정보를 결정하는 타깃 검출 방법을 적어도 제공하며, 정확도가 비교적 높다.
이상 해결수단에 존재하는 결함의 경우, 모두 발명자가 실천하고 세심하게 연구하여 얻은 결과이므로, 상기 문제의 발견 과정 및 아래 본 발명의 상기 문제에 대해 제출한 해결수단은 모두 발명자가 본 발명의 과정에서 본 발명에 대해 기여한 것이다.
유의해야 할 것은, 유사한 부호와 자모는 아래 도면에서 유사한 항을 표시하므로, 일단 어느 항이 하나의 도면에서 정의되면 잇따른 도면에서는 이에 대해 더 정의하고 해석할 필요가 없다.
본 실시예의 이해를 용이하게 하기 위해, 우선 본 발명의 실시예에 개시되는 타깃 검출 방법에 대해 상세하게 소개하며, 본 발명의 실시예에 제공되는 타깃 검출 방법의 수행 주체는 일반적으로 일정한 컴퓨팅 기능을 가진 전자 기기이고, 상기 전자 기기는 예를 들어, 단말 기기 또는 서버 또는 다른 처리 기기를 포함하며, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말기, 단말기, 셀룰러 폰, 무선 전화, 개인 정보 단말기(Personal Digital Assistant, PDA), 핸드헬드 기기, 컴퓨팅 기기, 차량 내 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 구현 형태에서, 상기 타깃 검출 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 방식에 의해 구현될 수 있다.
아래 수행 추제가 단말 기기인 것을 예로 들어 본 발명의 실시예에 제공되는 타깃 검출 방법을 추가로 설명한다.
도 1을 참조하면, 본 발명의 실시예에 제공되는 타깃 검출 방법의 흐름도이고, 방법은 단계 S101 내지 단계 S104를 포함하며, 여기서,
단계 S101에서, 레이더 장치로 스캔하여 얻은 멀티프레임의 포인트 클라우드 데이터 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보를 획득하고;
단계 S102에서, 각각의 프레임의 포인트 클라우드 데이터에 기반하여, 검출할 타깃의 위치 정보를 결정하며;
단계 S103에서, 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보에 기반하여, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보를 결정하고;
단계 S104에서, 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보에 따라, 검출할 타깃의 이동 정보를 결정한다.
여기서, 본 발명의 실시예에 제공되는 타깃 검출 방법을 용이하게 이해하기 위해, 우선 상기 타깃 검출 방법의 기술 장면에 대해 간단하게 설명한다. 본 발명의 실시예에 제공되는 타깃 검출 방법은 레이더 장치에 적용될 수 있고, 회전식 스캔 레이더를 예로 들면, 상기 회전식 스캔 레이더는 수평 방향에서 회전 및 스캔할 때 주변 환경 내 타깃과 관계가 있는 포인트 클라우드 데이터를 획득할 수 있다. 회전 및 스캔을 수행하는 과정에서, 레이저 레이더는 다중 라인 스캔 방식을 사용할 수 있으며, 즉, 방출은 복수의 레이저 튜브를 사용하여 순차적으로 방출하고, 복수의 레이저 튜브가 세로로 배열된 구조이며, 즉 수평 방향에서 회전 및 스캔하는 과정에서, 수직 방향의 다층 스캔을 수행한다. 각각의 레이저 튜브 사이에는 일정한 협각이 있고, 수직 방출 시야는 30° ~ 40°일 수 있으며, 이와 같이 레이저 레이더 기기가 하나의 스캔 각도로 회전할 때마다 복수의 레이저 튜브에서 레이저가 방출되어 반환된 하나의 데이터 패킷을 획득할 수 있고, 각각의 스캔 각도에 의해 획득한 데이터 패킷을 스플라이싱하여 포인트 클라우드 데이터를 얻을 수 있다.
상기 레이저 레이더의 스캔 원리로부터 타깃이 레이저 레이더에 의해 스캔되는 시각이 동일하지 않다는 것을 알 수 있다. 만약 포인트 클라우드 데이터의 타임스탬프를 모든 타깃에 공유되는 타임스탬프로 직접 간주하면 타깃의 타임스탬프에 크기가 T인 노이즈가 도입될 것이며, T는 상기 프레임의 포인트 클라우드를 스캔하는데 소모되는 시간이고, 이는 결정된 이동 타깃의 정확도를 저하시킬 것이다.
이 문제를 해결하기 위해, 본 발명의 실시예는 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보 및 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃의 관련 정보를 결합하여 타깃의 이동 정보를 결정하는 방법을 제공한다.
본 발명의 실시예 중의 포인트 클라우드 데이터는 하나의 회전 주기(360° 회전 각도에 대응됨)로 스캔하여 얻은 복수의 데이터 패킷을 스플라이싱하여 얻은 각각의 포인트 클라우드 포인트의 데이터 집합일 수 있고, 절반 회전 주기(180° 회전 각도에 대응됨)로 스캔하여 얻은 데이터 패킷을 스플라이싱하여 얻은 각각의 포인트 클라우드 포인트의 데이터 집합일 수도 있으며, 4분의 1의 회전 주기(90° 회전 각도에 대응됨)로 스캔하여 얻은 데이터 패킷을 스플라이싱하여 얻은 각각의 포인트 클라우드 포인트의 데이터 집합일 수도 있다.
이와 같이, 각각의 프레임의 포인트 클라우드 데이터에 기반하여 검출할 타깃의 위치 정보를 결정한 이후, 상기 위치 정보에 기반하여 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때의 스캔 방향 각도 정보를 결정할 수 있다. 이 오프셋 각도 정보 및 일 프레임의 포인트 클라우드 데이터를 스캔하는데 필요한 시간 정보에 기반하여 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때의 스캔 시간 정보를 결정할 수 있고, 다시 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보를 결합하여 검출할 타깃의 이동 정보를 결정할 수 있다.
여기서, 상기 검출할 타깃에 대응되는 스캔 방향 각도 정보는 검출할 타깃의 오프셋에 의해 정의된 정방향 X축의 오프셋 각도를 지시할 수 있는 바, 예를 들어, 스캔 레이더가 검출할 타깃에 대해 스캔을 시작하고 있을 때 레이더 장치의 위치를 원점으로 하고, 검출할 타깃을 가리키는 방향을 정방향 X축으로 할 수 있으며, 이 때 검출할 타깃의 스캔 방향 각도는 0도이다. 검출할 타깃이 정방향 X축에서 15°만큼 오프셋하면 대응되는 스캔 방향 각도는 즉 15도이다.
구체적인 응용에서, 검출할 타깃의 위치 정보에 기반하여 대응되는 스캔 방향 각도 정보를 결정할 수 있다. 여기서 상기 정의된 정방향 X축을 0도의 방향으로 하면, 삼각 코사인 관계에 기반하여, 좌표 정보를 대응되는 스캔 방향 각도 정보로 대응되게 전환할 수 있다.
본 발명의 실시예에서, 각각의 프레임의 포인트 클라우드 데이터가 4분의 1, 절반, 또는 하나의 회전 주기와 같은 선택 방식에 기반하여 수집된 것을 고려하여, 상이한 선택 방식으로 수집된 일 프레임의 포인트 클라우드 데이터의 경우, 이의 스캔 시작 및 종료 각도 정보는 일정한 정도에서 일 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때의 스캔 시간 정보에 대해 영향을 미쳐 이동 정보의 결정에 영향을 미치므로, 상이한 선택 방식에 대해 상이한 스캔 시작 및 종료 각도 정보 결정 방법을 사용할 수 있다.
본 발명의 실시예에 사용되는 방법이 하나의 회전 주기 선택 방식이면, 정방향 X축을 스캔 시작 각도로 할 수 있으며, 이러면 하나의 회전 주기에 대응되는 스캔 종료 각도는 즉 360°이고, 스캔 시작 및 종료 각도 정보에 관하여 직접 결정할 수 있거나 레이더 장치의 드라이버의 기록 결과를 이용하여 결정할 수 있으며; 본 발명의 실시예에 사용되는 방법이 절반 또는 4분의 1의 회전 주기 선택 방식이면, 이때 각각의 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 각도 정보를 결정해야 하고, 상기 스캔 시작 및 종료 각도 정보 중의 스캔 시작 각도 및 스캔 종료 각도는 정방향 X축에 대한 오프셋 각도일 수 있으며, 스캔 시작 및 종료 각도 정보에 관하여 레이더 장치의 드라이버의 기록 결과를 이용하여 결정할 수 있다.
본 발명의 실시예에서, 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보가 각각의 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보를 포함하는 경우, 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 각각의 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보에 따라 검출할 타깃의 이동 정보를 결정할 수 있다.
여기서, 스캔 시작 및 종료 시간 정보는 일 프레임의 포인트 클라우드 데이터 스캔이 시작될 때의 스캔 시작 시간 정보 및 일 프레임의 포인트 클라우드 데이터 스캔이 종료될 때의 스캔 종료 시간 정보를 포함하고, 스캔 시작 및 종료 각도 정보는 스캔 시작 각도 정보 및 스캔 종료 각도 정보는 스캔 시작 각도 정보 및 스캔 종료 각도 정보를 포함하며, 스캔 시작 시간 정보 및 스캔 시작 각도 정보는 일 프레임의 포인트 클라우드 데이터 스캔이 시작될 때의 스캔 시작 위치에 대응될 수 있고, 스캔 종료 시간 정보 및 스캔 종료 각도 정보는 일 프레임의 포인트 클라우드 데이터 스캔이 종료될 때의 스캔 종료 위치에 대응될 수 있다.
스캔 방향 각도 정보, 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보를 결정하는 경우, 스캔 시작 및 종료 정보를 기준으로 하여, 검출할 타깃의 이동 정보가 어떠한 상태에서 상기 검출할 타깃이 상기 스캔 방향 각도가 속한 스캔 위치에 있도록 할 수 있는지 결정함으로써, 검출할 타깃의 이동 정보를 결정할 수 있다.
본 발명의 실시예 중의 이동 정보는 이동 속도 정보일 수 있고, 본 발명의 실시예는 하기와 같은 단계에 따라 상기 이동 속도 정보를 결정할 수 있다.
단계 1에서, 각각의 프레임의 포인트 클라우드 데이터의 경우, 상기 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때 스캔 방향 각도 정보 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보에 기반하여, 상기 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때 스캔 시간 정보를 결정한다.
단계 2에서, 멀티프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 좌표 정보에 기반하여, 검출할 타깃의 변위 정보를 결정한다.
단계 3에서, 멀티프레임의 포인트 클라우드 데이터 중의 검출할 타깃이 각각 스캔될 때 스캔 시간 정보 및 검출할 타깃의 변위 정보에 기반하여, 검출할 타깃의 이동 속도 정보를 결정한다.
여기서, 본 발명의 실시예에 제공되는 타깃 검출 방법은, 각각의 프레임의 포인트 클라우드 데이터에 대해 모두 검출할 타깃이 레이더 장치에 의해 스캔될 때 스캔 시간 정보를 결정할 수 있으며, 이와 같이, 상기 스캔 시간 정보에 기반하여 두 프레임의 포인트 클라우드 데이터에 대응되는 검출할 타깃의 스캔 시간 차이 정보를 결정할 수 있다. 검출할 타깃의 변위 정보를 결정하는 경우, 속도 계산 방법을 이용하여 변위 정보 및 상기 스캔 시간 차이 정보에 대해 비값 연산을 수행할 수 있으며, 이로써 검출할 타깃의 이동 속도 정보를 얻는다. 여기서, 검출할 타깃의 이동 속도 정보는 검출할 타깃의 이동 속도 및/또는 이동 가속도를 포함한다.
여기서, 검출할 타깃의 변위 정보를 결정하는 과정에서, 우선 멀티프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 각각의 프레임의 포인트 클라우드 데이터의 위치 정보에 기반하여, 두 프레임의 포인트 클라우드 데이터 중 검출할 타깃의 위치 오프셋을 결정할 수 있고, 상기 위치 오프셋을 실제 장면에 매핑하여 검출할 타깃의 변위 정보를 결정할 수 있다.
이 밖에, 각각의 프레임의 포인트 클라우드 데이터의 경우, 검출할 타깃이 상기 프레임의 포인트 클라우드 데이터에 의해 스캔될 때 스캔 방향 각도 정보 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보에 기반하여, 상기 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때 스캔 시간 정보를 결정할 수 있다.
여기서, 상기 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보는 레이더 장치에 내장된 드라이버에 의해 기록된 것일 수 있다. 이론적으로, 레이더 장치는 정격 동작 주파수를 가지며, 일반적인 동작 주파수는 10헤르츠(HZ)이고, 따라서 1초에 10 프레임의 포인트 클라우드 데이터를 출력할 수 있다. 각각의 프레임의 포인트 클라우드 데이터의 경우, 스캔 종료 시간과 스캔 시작 시간 사이의 시간 차이는 100 밀리초일 수 있고, 360° 원형 스캔 레이더 장치의 경우, 이의 일 프레임의 포인트 클라우드 데이터의 시작 각도와 종료 각도는 일반적으로 중합되며, 즉 그 스캔 종료 각도와 스캔 시작 각도 사이의 각도 차이는 360°일 수 있다.
그러나, 레이더 장치의 실제 작동 과정에서 기계적 마모, 외부 저항, 데이터 손실 등 원인으로 인해, 상기 시간 차이가 100 밀리초보다 작고, 각도 차이가 360°보다 작아질 수 있다. 본 발명의 실시예에서 결정된 스캔 시간 정보의 정확성을 확보하기 위해, 본 발명의 실시예는 레이더 장치에 내장된 드라이버를 사용하여 상기 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보를 실시간으로 기록하고, 즉 본 발명의 실시예에 사용되는 것은 실제 측정값일 수 있으며, 예를 들어, 시간 차이는 99 밀리초이고, 각도 차이는 359°이다.
이와 같이, 상기 스캔 시작 및 종료 정보에 관한 실제 측정값 및 검출할 타깃에 대응되는 스캔 방향 각도 정보에 기반하여 보다 정확한 스캔 시작 정보를 획득할 수 있다. 각각의 프레임의 포인트 클라우드 데이터에서, 검출할 타깃이 스캔될 때 스캔 시간 정보의 결정 과정은 하기와 같은 단계를 통해 구현될 수 있다.
단계 1에서, 각각의 프레임의 포인트 클라우드 데이터의 경우, 상기 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때 스캔 방향 각도 정보 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 각도 정보 중의 스캔 시작 각도 정보에 기반하여, 검출할 타깃의 방향 각도와 스캔 시작 각도 사이의 제1 각도 차이를 결정하고; 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 각도 정보 중의 스캔 종료 각도 정보 및 스캔 시작 각도 정보에 기반하여, 스캔 종료 각도와 스캔 시작 각도 사이의 제2 각도 차이를 결정하며; 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보 중 상기 프레임의 포인트 클라우드 데이터 스캔이 종료될 때 스캔 종료 시간 정보 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보 중 상기 프레임의 포인트 클라우드 데이터 스캔이 시작될 때 스캔 시작 시간 정보에 기반하여, 스캔 종료 시간 정보와 스캔 시작 시간 정보 사이의 시간 차이를 결정한다.
단계 2에서, 제1 각도 차이, 제2 각도 차이, 시간 차이 및 스캔 시작 시간 정보에 기반하여, 상기 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때 스캔 시간 정보를 결정한다.
여기서, 검출할 타깃에 대응되는 스캔 시간 정보를 결정할 경우, 스캔 시작 시간 정보를 결정하는 전제 하에, 스캔 시작 시간부터 검출할 타깃이 스캔될 때까지의 스캔 시간 길이를 결정할 수 있고, 여기서 스캔 시간 길이는 시간 차이 및 제1 각도 차이와 제2 각도 차이 사이의 비값 연산을 기반으로 결정된 각도 차이 점유율에 의해 결정될 수 있으며, 이와 같이, 즉 스캔 시작 시간의 기초상에서, 결정된 상기 스캔 시간 길이 이후에 얻은 검출할 타깃의 스캔 시간 정보를 계산할 수 있다.
여기서, 레이더 장치의 스캔 과정이 일정한 속도로 진행될 수 있다는 점을 고려할 때, 스캔된 각도는 완전한 원(스캔 종료 각도 및 스캔 시작 각도 사이의 각도 차이에 대응됨)의 일정한 비율을 차지할 수 있다. 하나의 스캔 위치에 검출할 타깃이 존재한다고 결정될 경우, 이 비율 관계를 이용하여 검출할 타깃에 대응되는 스캔 시간 정보를 결정할 수 있다.
상기 스캔 시간 정보의 결정 과정을 쉽게 이해하기 위해, 도 2를 결합하여 구체적으로 설명할 수 있다.
도 2에 도시된 바와 같이, 레이더 장치는 (t1, a1)에 대응되는 스캔 시작 위치로부터 스캔하기 시작하고, 시계 방향으로 스캔하며, (t3, a3)에 대응되는 검출할 타깃 위치가 스캔된 후, 계속하여 시계 방향을 따라 스캔하여, (t2, a2)에 대응되는 스캔 종료 위치까지 스캔하고 스캔을 종료한다. 여기서, 상기 t3, t2 및 t1은 각각 검출할 타깃에 대응되는 스캔 시간 정보, 스캔 종료 시간 정보 및 스캔 시작 시간 정보를 나타내고; a3, a2 및 a1은 각각 검출할 타깃에 대응되는 스캔 방향 각도 정보, 스캔 종료 각도 정보 및 스캔 시작 각도 정보를 나타낸다.
설명해야 할 것은, 본 발명의 실시예에 제공되는 타깃 검출 방법은 스캔 시간 정보를 결정하기 이전에, 포인트 클라우드 데이터로부터 검출할 타깃을 감지하여야 한다. 예를 들어, 실시간으로 수집된 포인트 클라우드 데이터의 경우, 포인트 클라우드 특징 기술 벡터를 기반으로 타깃 포인트 클라우드와 유사도가 가장 높은 포인트 클라우드 블록을 찾을 수 있으며, 이에 따라 검출할 타깃을 결정한다. 일반적으로 3차원(3-Dimensional) 프레임, 2차원(2-Dimensional) 프레임, 다각형 등의 표현 방법을 사용할 수 있으며 구체적인 표현 방법은 사용하는 구체적인 감지 방법과 관련이 있으며 여기서 구체적으로 한정되지 않습니다.
어떠한 방법에 따라 결정된 검출할 타깃이던지, 이의 기하학적 중심이 레이저에 의해 스캔된 시간을 상기 검출할 타깃의 타임스탬프(스캔 시간 정보에 대응됨)로 사용할 수 있다. 여기서, 검출할 타깃을 레이저 레이더 좌표계의 하나의 기하학적 질점으로 추상화할 수 있다.
전방 감지 알고리즘에 의해 제공된 것이 3D 프레임이면, 3D 프레임의 중심점을 기하학적 중심으로 사용할 수 있고, 전방 감지 알고리즘에 의해 제공된 것이 평면도의 2D 프레임이면, 2D 프레임의 중심점을 기하학적 중심(도 2에 도시된 바와 같음)으로 사용할 수 있으며, 전방 알고리즘에 의해 제공된 것이 평면도의 다각형이면, 다각형 노드의 평균 좌표를 기하학적 중심으로 사용할 수 있다. 이와 같이, 검출할 타깃의 기하학적 중심을 기반으로, 상기 기하학적 중심점과 레이저 레이더 좌표계의 원점 사이의 연결선의 정방향 X축에 대한 오프셋 각도를 결정할 수 있고, 즉 검출할 타깃에 대응되는 스캔 방향 각도 정보 a3을 결정한다.
도 2로부터 알 수 있는바, a2-a1은 360° 미만이고, 즉 여기서 사용되는 것은 실제 측정 각도 차이이다. 이와 같이, 레이더 장치에 의해 스캔된 각도는 전체 스캔 총 각도에서 일정한 비율을 차지하며, 하기와 같은 등식(1)을 통해 설명할 수 있다.
Figure pct00001
(1)
여기서, a3-a1은 검출할 타깃의 방향 각도와 스캔 시작 각도 사이의 제1 각도 차이를 나타내고; a2-a1은 스캔 종료 각도와 스캔 시작 각도 사이의 제2 각도 차이를 나타내며, t2-t1은 스캔 종료 시간 정보와 스캔 시작 시간 정보 사이의 시간 차이를 나타낸다.
상기 식으로부터 알 수 있는바, 레이더 장치에 의해 검출할 타깃이 스캔된 경우, 스캔된 각도가 총 각도에서 차지하는 비율은, 스캔 과정의 시간 길이가 총 시간 길이에서 차지하는 비율과 일치하다. 이와 같이, 상기 공식을 t3에 관한 하기와 같은 표현식(2)으로 전환할 수 있다. 즉
Figure pct00002
(2)
보다시피, 본 발명의 실시예에 제공되는 타깃 검출 방법은 제1 각도 차이, 제2 각도 차이, 시간 차이 및 스캔 시작 시간 정보를 기반으로 검출할 타깃이 스캔될 때 스캔 시간 정보를 결정할 수 있다.
검출할 타깃에 대응되는 스캔 시간 정보를 결정할 경우, 우선 제1 각도 차이 및 제2 각도 차이 사이의 비값을 기반으로 연산할 수 있고, 검출할 타깃에 대응되는 각도 차이의 점유율을 결정한 다음, 각도 차이 점유율 및 시간 차이에 대해 곱 연산을 수행하여, 스캔 시작 시간으로부터 검출할 타깃이 스캔될 때까지의 스캔 시간 길이를 획득할 수 있으며, 다음 상기 스캔 시간 길이와 스캔 시작 시간 정보의 합계를 구하여 대응되는 스캔 시간 정보를 획득할 수 있다.
상기 방법에 따라 스캔 시간 정보를 결정한 이후, 검출할 타깃의 이동 속도 정보를 결정한다.
검출할 타깃의 이동 정보의 결정에 대한 검출할 타깃의 위치 정보의 핵심 작용을 고려하여, 이어서 상세하게 설명한다.
본 발명의 실시예에 제공되는 타깃 검출 방법에서, 하기와 같은 단계에 따라 검출할 타깃의 위치 정보를 결정할 수 있다.
단계 1에서, 각각의 프레임의 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여, 래스터 매트릭스를 획득하되, 래스터 매트릭스 중 각각의 요소의 값은 대응되는 래스터 부분에 포인트 클라우드 포인트가 존재하는지 여부를 나타내기 위한 것이다.
단계 2에서, 래스터 매트릭스 및 검출할 타깃의 사이즈 정보에 따라, 검출할 타깃에 대응되는 희소 매트릭스를 생성한다.
단계 3에서, 생성된 희소 매트릭스에 기반하여, 검출할 타깃의 위치 정보를 결정한다.
본 발명의 실시예에서, 각각의 프레임의 포인트 클라우드 데이터의 경우, 우선 래스터화 처리를 수행할 수 있고, 이후 래스터화 처리에 의해 획득된 래스터 매트릭스에 대해 희소 처리를 수행하여 희소 매트릭스를 생성할 수 있다. 여기서의 래스터화 처리 과정은 각각의 포인트 클라우드 포인트를 포함하는 공간적으로 분포된 포인트 클라우드 데이터를 설정된 래스터 내에 매핑하고, 래스터에 대응되는 포인트 클라우드 포인트에 대해 래스터 인코딩(0-1 매트릭스에 대응됨)을 수행하는 과정을 의미할 수 있고, 희소 처리 과정은 타깃 장면 중의 검출할 타깃의 사이즈 정보를 기반으로 상기 0-1 매트릭스에 대해 팽창 처리 동작(0-1 매트릭스에서 1로 표시된 요소를 증가시킨 처리 결과에 대응됨) 또는 부식 처리 동작(0-1 매트릭스에서 1로 표시된 요소를 감소시킨 처리 결과에 대응됨)을 수행하는 과정을 의미할 수 있다. 이어서 상기 래스터화 처리 과정 및 희소 처리 과정에 대해 더 설명한다.
여기서, 상기 래스터화 처리 과정에서, 데카르트 연속 실수 좌표계에 분포된 포인트 클라우드 포인트를 래스터화된 이산 좌표계로 변환할 수 있다.
상기 래스터화 처리 과정을 쉽게 이해하기 위해, 이어서 하나의 예시와 결합하여 구체적으로 설명할 수 있다. 본 발명의 실시예는 포인트A(0.32m,0.48m), 포인트B(0.6m,0.4801m) 및 포인트C(2.1m,3.2m) 등 포인트 클라우드 포인트를 가지며, 1m를 래스터 폭으로 하여 래스터화하고, (0m,0m)부터 (1m, 1m)까지의 범위는 첫 번째 래스터에 대응되며, (0m,1m)부터 (1m, 2m)까지의 범위는 두 번째 래스터에 대응되고, 이와 같이 유추한다. 래스터화된 A'(0, 0), B'(0,0)는 모두 제1행 제1열의 래스터에 있고, C'(2, 3)는 제2행 제3열의 래스터에 있을 수 있으며, 따라서 데카르트 연속 실수 좌표계로부터 이산 좌표계로의 변환을 구현한다. 여기서, 포인트 클라우드 포인트에 대한 좌표 정보는 기준점(예를 들어, 포인트 클라우드 데이터를 수집하는 레이더 장치의 위치)을 참조하여 결정된 것일 수 있으며 여기서 더이상 반복 서술하지 않는다.
본 발명의 실시예에서 2차원 래스터화를 수행할 수 있고, 3차원 래스터화를 수행할 수도 있으며, 3차원 래스터화는 2차원 래스터화의 기초상에 높이 정보를 추가하는 것이다. 이어서 2차원 래스터화를 예로 들어 구체적으로 설명한다.
2차원 래스터화의 경우, 제한된 공간을 N*M의 래스터로 나눌 수 있고, 일반적으로 같은 간격으로 나누며, 간격 크기는 구성될 수 있다. 이 경우, 0-1 매트릭스(즉 상기 래스터 매트릭스)을 사용하여 래스터화된 포인트 클라우드 데이터를 인코딩할 수 있고, 각각의 래스터는 하나의 고유한 행 번호와 열 번호로 구성된 좌표로 나타낼 수 있으며, 상기 래스터 중에 하나 이상의 포인트 클라우드 포인트가 존재하면, 상기 래스터를 1로 인코딩하고, 그렇지 않으면 0으로 함으로써, 인코딩된 0-1 매트릭스를 획득할 수 있다.
상기 방법에 따라 래스터 매트릭스를 결정한 이후, 검출할 타깃의 사이즈 정보에 따라, 상기 래스터 매트릭스 중의 요소에 대해 희소 처리 동작을 수행하여, 대응되는 희소 매트릭스를 생성할 수 있다.
여기서, 검출할 타깃의 사이즈 정보는 미리 획득될 수 있고, 여기서 포인트 클라우드 데이터에 의해 동기적으로 수집된 이미지 데이터를 결합하여 검출할 타깃의 사이즈 정보를 결정할 수 있으며, 본 발명의 실시예에 제공되는 타깃 검출 방법의 구체적인 응용 장면을 기반으로 상기 검출할 타깃의 사이즈 정보를 대력적으로 추정할 수도 있다. 예를 들어, 자율 주행 분야에서, 차량 전방의 물체는 차량일 수 있고, 그 일반적인 사이즈 정보가 4m×4m인 것으로 결정할 수 있다. 이 밖에, 본 발명의 실시예는 다른 방식에 기반하여 검출할 타깃의 사이즈 정보를 결정할 수도 있으며, 본 발명의 실시예는 이에 대해 구체적으로 한정하지 않는다.
본 발명의 실시예에서, 희소 처리에 관한 동작은 래스터 매트릭스 중의 타깃 요소(즉 대응되는 래스터 부분에 포인트 클라우드 포인트 존재를 나타내는 요소)에 대해 적어도 한 번의 팽창 처리 동작을 수행하는 것일 수 있고, 여기서 팽창 처리 동작은 래스터 매트릭스의 좌표 범위 크기가 타깃 장면 중의 검출할 타깃의 사이즈 크기보다 작은 경우에 수행된 것일 수 있으며, 즉 한 번 이상의 팽창 처리 동작을 통해, 대응되는 래스터 부분에 포인트 클라우드 포인트 존재를 나타내는 요소 범위를 단계적으로 확대하여, 확대된 후의 요소 범위가 검출할 타깃과 매칭될 수 있도록 하며, 따라서 위치 결정을 구현하고; 이 밖에, 본 발명의 실시예 중의 희소 처리 동작은 래스터 매트릭스 중의 타깃 요소에 대해 적어도 한 번의 부식 처리 동작을 수행하는 것일 수 있고, 여기서 부식 처리 동작은 래스터 매트릭스의 좌표 범위 크기가 타깃 장면 중의 검출할 타깃의 사이즈 크기보다 큰 경우에 수행된 것일 수 있으며, 즉 한 번 이상의 부식 처리 동작을 통해, 대응되는 래스터 부분에 포인트 클라우드 포인트 존재를 나타내는 요소 범위를 단계적으로 축소하여, 축소된 후의 요소 범위가 검출할 타깃과 매칭될 수 있도록 하며, 따라서 위치 결정을 구현한다.
구체적인 응용에서, 한 번의 팽창 처리 동작을 수행할지, 여러 차례 팽창 처리 동작을 수행할지, 한 번의 부식 처리 동작을 수행할지, 여러 차례 부식 처리 동작을 수행할지 여부는 적어도 한 번의 변위 처리 및 논리 연산 처리를 수행하여 획득한 희소 매트릭스의 좌표 범위 크기와 타깃 장면 중의 검출할 타깃의 사이즈 크기 사이의 차이값이 기설정 임계값 범위 내에 있는지 여부에 의해 결정되며, 즉 본 발명에 사용되는 팽창 또는 부식 처리 동작은 검출할 타깃의 사이즈 정보의 제약을 기반으로 수행된 것이므로 결정된 희소 매트릭스이 나타내는 정보가 검출할 타깃의 관련 정보에 더 부합되도록 한다.
이해할 수 있는 것은, 팽창 처리 동작을 기반으로 하던지 부식 처리 동작을 기반으로 하던지 구현된 희소 처리 목적은 생성된 희소 매트릭스이 보다 정확한 검출할 타깃의 관련 정보를 나타낼 수 있도록 하는 것이다.
본 발명의 실시예에서, 상기 팽창 처리 동작은 변위 동작 및 논리합 동작을 기반으로 구현된 것일 수 있고, 부정 후 콘볼루션을 기반으로, 콘볼루션 후 다시 부정하여 구현된 것일 수도 있다. 두 가지 동작의 구체적인 사용 방법은 상이하지만 최종 생성된 희소 매트릭스의 효과는 일치할 수 있다.
또한, 상기 부식 처리 동작은 변위 동작 및 논리곱 동작을 기반으로 구현된 것일 수 있고, 직접 콘볼루션 동작을 기반으로 구현된 것일 수 있다. 마찬가지로, 두 가지 동작의 구체적인 사용 방법은 상이하지만 최종 생성된 희소 매트릭스의 효과는 일치할 수 있다.
이어서 팽창 처리 동작을 예로 들면, 도 3(a) 내지 도 3(b)에 도시된 희소 매트릭스 생성의 구체적인 예시도와 결합하여 상기 희소 매트릭스의 생성 과정을 더 설명한다.
도 3(a)는 래스터화 처리 후 획득한 래스터 매트릭스(인코딩 이전에 대응됨)의 모식도이고, 상기 래스터 매트릭스 중의 각각의 타깃 요소(충진 효과를 갖는 래스터에 대응됨)에 대해 한 번의 8-근방 팽창 동작을 수행하여, 대응되는 희소 매트릭스를 획득할 수 있으며 도 3(b)에 도시된 바와 같다. 이로부터 알 수 있는바, 본 발명의 실시예는 도 3(a) 중 대응되는 래스터 부분에 포인트 클라우드 포인트가 존재하는 타깃 요소의 경우, 8-근방의 팽창 동작을 수행하여, 각각의 타깃 요소가 팽창 후 하나의 요소 집합으로 되도록 하며, 상기 요소 집합에 대응되는 래스터 폭은 검출할 타깃의 사이즈 크기와 매칭될 수 있다.
여기서, 상기 8-근방의 팽창 동작은 상기 요소와의 횡좌표 또는 종좌표의 절대치가 모두 1을 초과하지 않는 요소를 결정하는 과정일 수 있고, 래스터 에지를 제외한 요소의 경우, 일반적으로 하나의 요소의 근방 내에는 모두 8개 요소(상기 요소 집합에 대응됨)가 있으며, 팽창 처리 결과 입력은 6개의 타깃 요소의 좌표 정보일 수 있고, 출력은 상기 타깃 요소 8-근방 내의 요소 집합의 좌표 정보일 수 있으며, 도 3(b)에 도시된 바와 같다.
설명해야 할 것은, 실제 응용에서, 상기 8-근방의 팽창 동작을 수행할 수 있는 외에, 4-근방의 팽창 동작을 수행할 수도 있으며, 후자의 다른 팽창 동작에 대해서 구체적으로 한정하지 않는다. 이 밖에, 본 발명의 실시예는 또한 여러 차례의 팽창 동작을 수행할 수 있으며, 예를 들어, 도 3(b)에 도시된 팽창 결과의 기초에서, 다시 팽창 동작을 수행하여, 요소 집합 범위가 더 큰 희소 매트릭스를 획득하며, 여기서 더이상 반복 서술하지 않는다.
본 발명의 실시예에서 생성된 희소 매트릭스에 기반하여, 검출할 타깃의 위치 정보를 결정할 수 있다. 본 발명의 실시예에서는 하기와 같은 두 양태를 통해 구체적으로 구현될 수 있다.
제1 양태에서, 여기서는 래스터 매트릭스 중 각각의 요소와 각각의 포인트 클라우드 포인트 좌표 범위 정보 사이의 대응 관계에 기반하여, 검출할 타깃의 위치 정보를 결정할 수 있으며, 구체적으로 하기와 같은 단계를 통해 구현될 수 있다.
단계 1에서, 래스터 매트릭스 중 각각의 요소와 각각의 포인트 클라우드 포인트 좌표 범위 정보 사이의 대응 관계에 기반하여, 생성된 희소 매트릭스 중 각각의 타깃 요소에 대응되는 좌표 정보를 결정한다.
단계 2에서, 희소 매트릭스 중 각각의 타깃 요소에 대응되는 좌표 정보를 조합하여, 검출할 타깃의 위치 정보를 결정한다.
여기서, 상기 래스터화 처리에 관한 설명을 기반으로 알 수 있는바, 래스터 매트릭스 중의 각각의 타깃 요소는 복수의 포인트 클라우드 포인트에 대응될 수 있고, 이와 같이, 관련 요소와 복수의 포인트 클라우드 포인트에 대응되는 포인트 클라우드 포인트 좌표 범위 정보는 미리 결정될 수 있다. 여기서, 여전히 N*M차원의 래스터 매트릭스를 예로 들며, 포인트 클라우드 포인트가 존재하는 타깃 요소는 P개의 포인트 클라우드 포인트에 대응될 수 있고, 각각의 포인트 좌표는 (Xi, Yi)이며, i는 0부터 P-1에 속하고, Xi, Yi는 래스터 매트릭스 중 포인트 클라우드 포인트의 위치를 나타내며, 0<=Xi<N, 0<=Yi<M이다.
이와 같이, 희소 매트릭스를 생성한 이후, 미리 결정된 상기 각각의 요소와 각각의 포인트 클라우드 포인트 좌표 범위 정보 사이의 대응 관계를 기반으로 상기 희소 매트릭스 중 각각의 타깃 요소에 대응되는 좌표 정보를 결정할 수 있으며, 즉 역 래스터화 처리 동작이 수행된다.
설명해야 할 것은, 희소 매트릭스은 래스터 매트릭스 중 대응되는 래스터 부분에 포인트 클라우드 포인트 존재를 나타내는 요소를 기반으로 희소 처리를 수행하여 획득된 것이므로, 여기서의 희소 매트릭스 중의 타깃 요소가 나타내는 것은 대응되는 래스터 부분에 포인트 클라우드 포인트가 존재하는 요소일 수 있다.
상기 역 래스터화 처리 과정을 쉽게 이해하기 위해, 이어서 하나의 예시를 결합하여 구체적으로 설명할 수 있다. 여기서 희소 매트릭스에 의해 지시된 포인트 A'(0, 0), 포인트B'(0,0)은 제1행 제1열 래스터에 있고, 포인트 C' (2, 3)은 제2행 제3열의 래스터에 있는 것을 예로 들며, 역 래스터화 처리를 수행하는 과정에서, 첫 번째 래스터(0,0)는 그 중심을 이용하여 데카르트 좌표계에 다시 매핑하여, (2.5m, 3.5m)를 획득할 수 있으며, (0.5m, 0.5m) 및 (2.5m, 3.5m)를 매핑된 좌표 정보로 결정할 수 있고, 이와 같이, 매핑된 좌표 정보를 조합하여, 검출할 타깃의 위치 정보를 결정할 수 있다.
본 발명의 실시예는 상기 희소 매트릭스와 타깃 검출 결과의 유사 관계를 기반으로 검출할 타깃의 위치 정보의 결정을 구현할 수 있을 뿐만 아니라, 트레이닝된 콘볼루션 신경망을 기반으로 검출할 타깃의 위치 정보를 결정할 수도 있다.
제2 양태에서, 본 발명의 실시예는 우선 트레이닝된 콘볼루션 신경망을 기반으로 생성된 희소 매트릭스에 대해 적어도 한 번의 콘볼루션 처리를 수행할 수 있고, 이어서 콘볼루션 처리를 기반으로 획득한 콘볼루션 결과에 기반하여 검출할 타깃의 위치 정보를 결정할 수 있다.
콘볼루션 신경망을 이용하여 타깃 검출를 구현하는 관련 기술에서, 모든 입력 데이터를 순회하고, 입력 포인트의 근방 포인트(Neighborhood point)를 순차적으로 찾아 콘볼루션 연산을 수행하며, 마지막에 모든 근방 포인트의 집합을 출력해야 하지만, 본 발명의 실시예에 제공되는 타깃 검출 방법은 단지 희소 매트릭스 중의 타깃 요소를 쾌속으로 순회하여 유효 포인트가 속한 위치(즉0-1 매트릭스 중 1인 요소)를 찾아 콘볼루션 연산을 수행하면 됨으로써, 콘볼루션 신경망의 계산 과정을 크게 가속화하여 검출할 타깃의 위치 정보 결정 효율을 향상시킨다.
본 발명의 실시예에 제공되는 타깃 검출 방법에 대한 희소 처리 동작의 핵심 작용을 고려하여, 이어서 하기와 같은 2개의 양태에 의해 각각 설명한다.
제1 양태에서, 희소 처리 동작이 팽창 처리 동작인 경우, 본 발명의 실시예는 변위 처리 및 논리 연산을 결합하여 구현될 수 있고, 부정 후 콘볼루션, 콘볼루션 후 다시 부정하는 것을 기반으로 구현될 수도 있다.
첫 째, 본 발명의 실시예에서, 적어도 한 번의 변위 처리 및 논리합 연산을 기반으로 한 번 이상의 팽창 처리 동작을 수행할 수 있고, 구체적인 구현 과정에서, 구체적인 팽창 처리 동작의 횟수는 타깃 장면 중의 검출할 타깃의 사이즈 정보를 결합하여 결정될 수 있다.
여기서, 최초 팽창 처리 동작의 경우, 대응되는 래스터 부분에 포인트 클라우드 포인트 존재를 나타내는 타깃 요소에 대해 복수의 기설정 방향의 변위 처리를 수행하여, 대응되는 복수의 변위된 래스터 매트릭스를 획득할 수 있고, 다음 래스터 매트릭스 및 최초 팽창 처리 동작에 대응되는 복수의 변위된 래스터 매트릭스에 대해 논리합 연산을 수행하여, 최초 팽창 처리 동작 후의 희소 매트릭스를 획득할 수 있으며, 여기서 획득된 희소 매트릭스의 좌표 범위 크기가 검출할 타깃의 사이즈 크기보다 작은지 여부와, 대응되는 차이값이 충분하게 큰지(예를 들어, 기설정 임계값보다 큰지) 여부를 판단할 수 있고, 그렇다면, 상기 방법에 따라 최초 팽창 처리 동작 후의 희소 매트릭스 중의 타깃 요소에 대해 복수의 기설정 방향의 변위 처리 및 논리합 연산을 수행하여 두 번째 팽창 처리 동작 후의 희소 매트릭스를 획득할 수 있으며, 이와 같이 유추하여, 최신 획득된 희소 매트릭스의 좌표 범위 크기와 타깃 장면 중의 검출할 타깃의 사이즈 크기 사이의 차이값이 기설정 임계값 범위에 속하는 것으로 결정될 때까지 희소 매트릭스를 결정한다.
설명해야 할 것은, 어떠한 팽창 처리 동작 후 획득한 희소 매트릭스이던지 본질적으로 하나의 0이 하나의 매트릭스이다. 팽창 처리 동작 횟수의 증가에 따라, 획득한 희소 매트릭스 중 대응되는 래스터 부분에 포인트 클라우드 포인트 존재를 나타내는 타깃 요소의 개수도 증가되며, 0-1매트릭스에 의해 매핑된 래스터는 폭 정보를 가지므로, 여기서 희소 매트릭스 중 각각의 타깃 요소에 대응되는 좌표 범위 크기를 이용하여 타깃 장면 중의 검출할 타깃의 사이즈 크기에 도달하는지 여부를 검증할 수 있음으로써, 후속의 타깃 검출 응용의 정확성을 향상시킨다.
여기서, 상기 논리합 연산은 하기와 같은 단계에 따라 구현될 수 있다.
단계 1에서, 복수의 변위된 래스터 매트릭스로부터 하나의 변위된 래스터 매트릭스를 선택한다.
단계 2에서, 현재 팽창 처리 동작 이전의 래스터 매트릭스와 선택된 변위된 래스터 매트릭스에 대해 논리합 연산을 수행하여, 연산 결과를 획득한다.
단계 3에서, 모든 래스터 매트릭스이 선택되어 현재 팽창 처리 동작 후의 희소 매트릭스를 획득할 때까지 복수의 변위된 래스터 매트릭스로부터 연산에 참여하지 않은 래스터 매트릭스를 선택하고, 선택된 래스터 매트릭스와 가장 마지막의 연산 결과에 대해 논리합 연산을 수행하는 과정을 순환한다.
여기서, 우선 복수의 변위된 래스터 매트릭스로부터 하나의 변위된 래스터 매트릭스를 선택할 수 있고, 이와 같이, 현재 팽창 처리 동작 이전의 래스터 매트릭스와 선택된 변위된 래스터 매트릭스에 대해 논리합 연산을 수행하여, 연산 결과를 획득할 수 있으며, 여기서 모든 변위된 래스터 매트릭스이 선택되어 현재 팽창 처리 동작 후의 희소 매트릭스를 획득할 때까지 복수의 변위된 래스터 매트릭스로부터 연산에 참여하지 않은 래스터 매트릭스를 선택하여 논리합 연산에 참여시키는 과정을 순환할 수 있다.
본 발명의 실시예 중의 팽창 처리 동작은 타깃 요소를 중심으로 하는 4-근방 팽창일 수 있고, 타깃 요소를 중심으로 하는 8-근방 팽창일 수도 있으며, 다른 근방 처리 동작 방식일 수도 있고, 구체적인 응용에서, 검출할 타깃의 사이즈 정보를 기반으로 대응되는 근방 처리 동작 방식을 선택할 수 있으며, 여기서 구체적으로 한정하지 않는다.
설명해야 할 것은, 상이한 근방 처리 동작 방식의 경우, 대응되는 변위 처리의 기설정 방향은 동일하지 않으며, 4-근방 팽창을 예로 들면, 래스터 매트릭스에 대해 4개의 기설정 방향에 따라 변위 처리를 각각 수행할 수 있고, 각각 왼쪽으로의 이동, 오른쪽으로의 이동, 위로의 이동 및 아래로의 이동이며, 8-근방 팽창을 예로 들면, 래스터 매트릭스에 대해 4개의 기설정 방향에 따라 변위 처리를 각각 수행할 수 있고, 각각 왼쪽으로의 이동, 오른쪽으로의 이동, 위로의 이동, 아래로의 이동, 왼쪽으로의 이동 전제 하에 위로의 이동 및 아래로의 이동 및 오른쪽으로의 이동 전제 하에 위로의 이동 및 아래로의 이동이다. 이 밖에, 후속의 논리합 연산에 적응하기 위해, 복수의 변위 방향을 기반으로 변위된 래스터 매트릭스를 결정한 이후에, 먼저 한 번의 논리합 연산을 수행한 후, 논리합 연산 결과에 대해 복수의 변위 방향의 변위 동작을 수행한 다음, 다시 다음 번의 논리합 연산을 수행할 수 있으며, 팽창 처리 후의 희소 매트릭스를 획득할 때까지 이와 같이 유추한다.
상기 팽창 처리 동작을 쉽게 이해하기 위해, 먼저 도 3(a)에 도시된 인코딩 이전의 래스터 매트릭스를 도 3(c)에 도시된 인코딩 후의 래스터 매트릭스로 전환할 수 있고, 이어서 도 4(a)~도 4(b)를 결합하여 최초 팽창 처리 동작을 예시적으로 설명한다.
도 3(c)에 도시된 래스터 매트릭스에 있어서, 상기 래스터 매트릭스은 0-1 매트릭스로서, 매트릭스 중 모든 1의 위치는 타깃 요소가 속한 래스터를 나타낼 수 있고, 매트릭스 중 모든 0은 배경을 나타낼 수 있다.
본 발명의 실시예에서, 우선 매트릭스 변위를 사용하여 0-1 매트릭스 중 모든 요소값이 1인 요소의 근방을 결정할 수 있다. 여기서 4개의 기설정 방향의 변위 처리를 정의할 수 있으며, 각각 왼쪽으로의 이동, 오른쪽으로의 이동, 위로의 이동 및 아래로의 이동이다. 여기서, 도 4(a)에 도시된 바와 같이, 왼쪽으로의 이동은 즉 0-1 매트릭스 중 모든 요소값이 1인 요소에 대응되는 열 좌표에서 1을 뺀 것을 의미하고; 오른쪽으로의 이동은 즉 0-1 매트릭스 중 모든 요소값이 1인 요소에 대응되는 열 좌표에 1을 가한 것을 의미하며; 위로의 이동은 즉 0-1 매트릭스 중 모든 요소값이 1인 요소에 대응되는 행 좌표에서 1을 뺀 것을 의미하고; 아래로의 이동은 즉 0-1 매트릭스 중 모든 요소값이 1인 요소에 대응되는 행 좌표에 1을 가한 것을 의미한다.
다음으로, 본 발명의 실시예는 매트릭스 논리합 동작을 사용하여 모든 근방의 결과를 병합할 수 있다. 매트릭스 논리합, 즉 두 그룹의 크기가 동일한 0-1 매트릭스 입력이 수신된 경우, 두 그룹의 매트릭스의 동일한 위치의 0-1에 대해 순차적으로 논리합 동작을 수행하며, 획득된 결과를 하나의 새로운 0-1 매트릭스로 조성하여 출력으로 사용하고, 도 4(b)에 도시된 바와 같이, 하나의 논리합 연산의 구체적인 예시이다.
논리합 연산을 구현하는 구체적인 과정에서, 순차적으로 왼쪽으로 이동된 래스터 매트릭스, 오른쪽으로 이동된 래스터 매트릭스, 위로 이동된 래스터 매트릭스, 아래로 이동된 래스터 매트릭스를 선택하여 논리합 연산에 참여시킬 수 있다. 예를 들면, 먼저 래스터 매트릭스와 왼쪽으로 이동된 래스터 매트릭스를 논리합하여 획득한 연산 결과를 다시 오른쪽으로 이동된 래스터 매트릭스와 논리합하고, 획득한 연산 결과를 위로 이동된 래스터 매트릭스와 논리합하며, 획득한 연산 결과를 다시 아래로 이동된 래스터 매트릭스와 논리합함으로써, 최초 팽창 처리 동작 후의 희소 매트릭스를 획득한다.
설명해야 할 것은, 상기 수평으로 이동된 래스터 매트릭스의 선택 순서는 단지 하나의 구체적인 예시로 되며, 실제 응용에서, 또한 다른 방식으로 결합되어 선택될 수 있으며, 수평 이동 동작의 대칭성을 고려하여, 여기서 위로의 이동과 아래로의 이동을 페어링한 후 논리합 연산을 을 수행할 수 있고, 왼쪽으로의 이동과 오른쪽으로의 이동을 페어링한 후 논리 연산을 수행할 수 있으며, 2개의 논리합 연산은 동기적으로 수행될 수 있어 계산 시간을 절약할 수 있다.
둘 째, 본 발명의 실시예에서, 콘볼루션과 두 번의 부정 처리를 결합하여 팽창 처리 동작을 구현하되, 구체적으로 하기와 같은 단계에 의해 구현될 수 있다.
단계 1에서, 현재 팽창 처리 동작 이전의 래스터 매트릭스 중의 요소에 대해 제1 부정 동작을 수행하여, 제1 부정 동작 후의 래스터 매트릭스를 획득한다.
단계 2에서, 제1 기설정 콘볼루션 커널을 기반으로 제1 부정 동작 후의 래스터 매트릭스에 대해 적어도 한 번의 콘볼루션 연산을 수행하여, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 획득하되, 기설정 희소도는 타깃 장면 중의 검출할 타깃의 사이즈 정보에 의해 결정된 것이다.
단계 3에서, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스 중의 요소에 대해 제2 부정 동작을 수행하여, 희소 매트릭스를 획득한다.
본 발명의 실시예는 부정 후 콘볼루션, 콘볼루션 후 다시 부정하는 동작을 통해 팽창 처리 동작을 구현할 수 있고, 획득된 희소 매트릭스은 일정한 정도에서 검출할 타깃의 관련 정보를 나타낼 수 있으며, 이 밖에, 상기 콘볼루션 동작이 자동적으로 후속의 타깃 검출 등 응용에 사용되는 콘볼루션 신경망과 결합될 수 있으므로, 일정한 정도에서 검출 효율을 향상시킬 수 있다.
본 발명의 실시예에서, 부정 동작은 콘볼루션 연산을 기반으로 구현된 것일 수 있고, 다른 부정 동작 방식을 기반으로 구현된 것일 수도 있다. 후속의 응용 네트워크(예를 들어, 타깃 검출에 사용되는 콘볼루션 신경망)와 쉽게 페어링하기 위해, 여기서 콘볼루션 연산을 사용하여 구체적으로 구현할 수 있으며, 이어서 상기 제1 부정 동작에 대해 구체적으로 설명한다.
여기서, 제2 기설정 콘볼루션 커널을 기반으로 현재 팽창 처리 동작 이전의 래스터 매트릭스 중 타깃 요소를 제외한 다른 요소에 대해 콘볼루션 연산을 수행하여 제1 부정 요소를 획득할 수 있고, 제2 기설정 콘볼루션 커널을 기반으로, 현재 팽창 처리 동작 이전의 래스터 매트릭스 중의 타깃 요소에 대해 콘볼루션 연산을 수행하여 제2 부정 요소를 획득할 수도 있으며, 상기 제1 부정 요소와 제2 부정 요소를 기반으로 제1 부정 동작 후의 래스터 매트릭스를 결정할 수 있다.
제2 부정 동작에 관한 구현 과정은 상기 제1 부정 동작의 구현 과정을 참조할 수 있으며, 여기서 더이상 반복 서술하지 않는다.
본 발명의 실시예에서, 제1 기설정 콘볼루션 커널을 이용하여 제1 부정 동작 후의 래스터 매트릭스에 대해 적어도 한 번의 콘볼루션 연산을 수행할 수 있으며, 이로써 기설정 희소도를 가진 래스터 매트릭스를 획득한다. 팽창 처리 동작이 래스터 매트릭스 중의 타깃 요소 개수를 증폭시키는 수단으로 사용될 수 있으면, 상기 콘볼루션 연산은 래스터 매트릭스 중의 타깃 요소 개수를 감소시키는 과정(부식 처리 동작에 대응됨)으로 간주될 수 있고, 본 발명의 실시예에서의 콘볼루션 연산은 제1 부정 동작 후의 래스터 매트릭스에 대해 수행된 것이므로, 부정 동작에 부식 처리 동작을 결합하고, 이후 다시 부정 동작을 수행하여 상기 팽창 처리 동작에 등가되는 등가 동작을 구현한다.
여기서, 최초 콘볼루션 연산의 경우, 제1 부정 동작 후의 래스터 매트릭스와 제1 기설정 콘볼루션 커널에 대해 콘볼루션 연산을 수행하여, 최초 콘볼루션 연산 후의 래스터 매트릭스를 획득하며, 최초 콘볼루션 연산 후의 래스터 매트릭스의 희소도가 기설정 희소도에 도달하지 않은 것으로 판단된 이후, 최초 콘볼루션 연산 후의 래스터 매트릭스와 제1 기설정 콘볼루션 커널에 대해 다시 콘볼루션 연산을 수행하여, 두 번째 콘볼루션 연산 후의 래스터 매트릭스를 획득할 수 있으며, 기설정 희소도를 가진 래스터 매트릭스를 결정할 때까지 이와 같이 유추한다.
여기서, 상기 희소도는 래스터 매트릭스 중 타깃 요소와 비 타깃 요소의 점유율 분포에 의해 결정될 수 있고, 타깃 요소 점유율이 많을수록 이에 대응되게 나타내는 검출할 타깃의 사이즈 정보가 더 크고, 반대로, 타깃 요소 점유율이 적을수록, 이에 대응되게 나타내는 검출할 타깃의 사이즈 정보가 더 작으며, 본 발명의 실시예는 점유율 분포가 기설정 희소도에 도달할 때 콘볼루션 연산을 중지한다.
본 발명의 실시예에서의 콘볼루션 연산은 한 번일 수 있고, 여러 차례일 수 있으며, 여기서 최초 콘볼루션 연산의 구체적인 연산 과정을 설명할 수 있으며, 하기와 같은 단계를 포함한다.
단계 1에서, 최초 콘볼루션 연산의 경우, 제1 기설정 콘볼루션 커널의 크기 및 기설정 스텝 길이에 따라, 제1 부정 동작 후의 래스터 매트릭스로부터 각각의 래스터 서브 매트릭스를 선택한다.
단계 2에서, 선택된 각각의 래스터 서브 매트릭스의 경우, 상기 래스터 서브 매트릭스와 가중치 매트릭스에 대해 곱 연산을 수행하여 제1 연산 결과를 획득하고, 제1 연산 결과와 오프셋에 대해 가법 연산을 수행하여 제2 연산 결과를 획득한다.
단계 3에서, 각각의 상기 래스터 서브 매트릭스에 대응되는 제2 연산 결과에 기반하여, 최초 콘볼루션 연산 후의 래스터 매트릭스를 결정한다.
여기서, 순회 방식을 사용하여 제1 부정 동작 후의 래스터 매트릭스에 대해 순회할 수 있고, 이와 같이, 순회된 각각의 래스터 서브 매트릭스의 경우, 래스터 서브 매트릭스와 가중치 매트릭스에 대해 곱 연산을 수행하여, 제1 연산 결과를 획득할 수 있으며, 제1 연산 결과와 오프셋에 대해 가법 연산을 수행하여, 제2 연산 결과를 획득하는바, 이와 같이, 각각의 래서트 서브 매트릭스에 대응되는 제2 연산 결과를 대응되는 매트릭스 요소에 조합하여 최초 콘볼루션 연산 후의 래스터 매트릭스를 획득할 수 있다.
상기 팽창 처리 동작을 쉽게 이해하기 위해, 여기서 여전히 도 3(c)에 도시된 인코딩된 래스터 매트릭스를 예로 들며, 도 5(a) 내지 도 5(b)를 결합하여 팽창 처리 동작을 예시적으로 설명한다.
여기서, 1*1 콘볼루션 커널(즉, 제2 기설정 콘볼루션 커널)을 사용하여 제1 부정 동작을 구현할 수 있으며, 상기 제2 기설정 콘볼루션 커널의 가중치는 -1이고, 오르셋은 1이며, 이때 가중치와 오프셋을 {출력=입력의 래스터 매트릭스*가중치+오프셋} 이 콘볼루션 공식에 대입하여, 입력이 래스터 매트릭스 중의 타깃 요소로 값이 1에 대응하면, 출력=1*-1+1=0이고; 입력이 래스터 매트릭스 중의 비 타깃 요소로 값이 0에 대응하면, 출력=0*-1+1=1이며; 이와 같이, 1*1 콘볼루션 커널을 입력에 작용시킨 후, 0-1 매트릭스이 부정되어, 요소값이 0으로부터 1로 변하고, 요소값이 1로부터 0으로 변하도록 할 수 있으며, 도 5(a)에 도시된 바와 같다.
상기 부식 처리 동작의 경우, 구체적인 응용에서, 3*3 콘볼루션 커널(즉 제1 기설정 콘볼루션 커널) 및 정류 선형 유닛(Rectified Linear Unit, ReLU)을 이용하여 구현할 수 있다. 상기 제1 기설정 콘볼루션 커널 가중치 매트릭스에 포함되는 각각의 가중치는 모두 1이고, 오프셋은 8이며, 이와 같이, 공식{출력=ReLU(입력의 제1 부정 동작 후의 래스터 매트릭스*가중치+오프셋)}을 이용하여 상기 부식 처리 동작을 구현할 수 있다.
여기서, 입력의 3*3 래스터 서브 매트릭스 내 모든 요소가 1인 경우에만 출력=ReLU (9-8)=1이고, 그렇지 않으면 출력= ReLU(입력의 래스터 서브 매트릭스*1-8)=0이며, 여기서, (입력의 래스터 서브 매트릭스*1-8)<0은 도 5(b)에 도시된 바와 같이 콘볼루션 연산 후의 래스터 매트릭스이다.
여기서, 제2 기설정 콘볼루션 커널을 갖는 콘볼루션 네트워크의 각 중첩 계층에 한 번의 부식 동작을 중첩시켜 고정 희소도의 래스터 매트릭스를 획득할 수 있고 다시 동작을 부정하면 한 번의 팽창 처리 동작과 등가될 수 있으므로, 희소 매트릭스의 생성을 구현할 수 있다.
제2 양태에서, 희소 처리 동작이 부식 처리 동작인 경우, 본 발명의 실시예는 변위 처리 및 논리 연산을 결합하여 구현될 수 있고, 콘볼루션 연산을 기반으로 구현될 수도 있다.
첫 째, 본 발명의 실시예에서, 적어도 한 번의 변위 처리 및 논리곱 연산을 기반으로 한 번 이상의 부식 처리 동작을 수행할 수 있으며, 구체적인 구현 과정에서, 구체적인 부식 처리 동작의 횟수는 타깃 장면 중의 검출할 타깃의 사이즈 정보를 결합하여 결정할 수 있다.
제1 양태 중 변위 처리 및 논리합 연산에 기반한 팽창 처리와 유사하게, 부식 처리 동작을 수행하는 과정에서, 먼저 래스터 매트릭스의 변위 처리를 수행할 수 있으며, 상기 팽창 처리와 상이한 점은, 여기서의 논리 연산은 변위된 래스터 매트릭스에 대한 논리곱 연산일 수 있다. 변위 처리 및 논리곱 연산을 기반으로 부식 처리 동작을 구현하는 과정에 관하여 구체적으로 상기 설명된 내용을 참조하며, 여기서 더이상 반복 서술하지 않는다.
마찬가지로, 본 발명의 실시예 중의 부식 처리 동작은 타깃 요소를 중심으로 하는 4-근방 부식일 수 있고, 타깃 요소를 중심으로 하는 8-근방 부식일 수도 있으며, 다른 근방 처리 동작의 방식일 수도 있고, 구체적인 응용에서, 검출할 타깃의 사이즈 정보를 기반으로 대응되는 근방 처리 동작 방식을 선택할 수 있으며, 여기서 구체적으로 한정하지 않는다.
둘 째, 본 발명의 실시예에서, 콘볼루션 처리를 결합하여 부식 처리 동작을 구현할 수 있으며, 구체적으로 하기 단계를 통해 구현될 수 있다.
단계 1에서, 제3 기설정 콘볼루션 커널을 기반으로 래스터 매트릭스에 대해 적어도 한 번의 콘볼루션 연산을 수행하여, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 획득하되, 기설정 희소도는 타깃 장면 중의 검출할 타깃의 사이즈 정보에 의해 결정된 것이다.
단계 2에서, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 검출할 타깃에 대응되는 희소 매트릭스로 결정한다.
상기 콘볼루션 연산은 래스터 매트릭스 중의 타깃 요소 개수를 감소시키는 과정, 즉 부식 처리 과정으로 간주할 수 있다. 여기서, 최초 콘볼루션 연산의 경우, 래스터 매트릭스와 제1 기설정 콘볼루션 커널에 대해 콘볼루션 연산을 수행하여, 최초 콘볼루션 연산 후의 래스터 매트릭스를 획득하고, 최초 콘볼루션 연산 후의 래스터 매트릭스의 희소도가 기설정 희소도에 도달하지 않은 것으로 판단된 이후, 최초 콘볼루션 연산 후의 래스터 매트릭스와 제3 기설정 콘볼루션 커널에 대해 다시 콘볼루션 연산을 수행하여, 두 번째 콘볼루션 연산 후의 래스터 매트릭스를 획득할 수 있으며, 기설정 희소도를 가진 래스터 매트릭스를 결정하여 검출할 타깃에 대응되는 희소 매트릭스를 획득할 때까지 이와 같이 유추한다.
본 발명의 실시예에서의 콘볼루션 연산은 한 번일 수 있고, 여러 차례일 수 있으며, 콘볼루션 연산의 구체적인 과정에 관하여 상기 제1 양태에서 콘볼루션 및 부정을 기반으로 팽창 처리를 구현하는 관련 설명을 참조하며, 여기서 더이상 반복 서술하지 않는다.
설명해야 할 것은, 구체적인 응용에서, 데이터 처리 비트 폭이 상이한 콘볼루션 신경망을 사용하여 희소 매트릭스의 생성을 구현할 수 있으며, 예를 들어, 4비트(bit)로 네트워크의 입력, 출력 및 계산에 사용되는 파라미터를 나타낼 수 있는바, 예를 들어 래스터 매트릭스의 요소값(0 또는 1), 가중치, 오프셋 등이며, 이 밖에, 8bit로 나타내여 네트워크 처리 비트 폭에 적응하도록 할 수 있으며, 연산 효율을 향상시킨다.
본 발명의 실시예에 제공되는 타깃 검출 방법의 구체적인 응용에서, 레이더 장치는 지능형 차량, 지능형 가로등, 로봇과 같은 지능형 기기에 설치될 수 있다. 레이더 장치로 스캔된 인접한 두 프레임의 포인트 클라우드 데이터에 의해 각각 동일한 타깃이 검출된 경우, 상대적으로 L만큼 변위되면 타깃이 제1 프레임에 나타나는 시각은 t1이고, 제2 프레임에 나타나는 시각은 t2이며, 관련 기술에서 t2-t1은 두 프레임의 고정 간격 T와 같고, 따라서 타깃의 속도는 L/T이다. 본 발명의 실시예에 제공되는 상기 방법에 의해 결정된 t2-t1은 실제 타겟이 스캔되는 시간 간격을 반영하며, 범위는 [0,2T] 사이에 있고, 이 실제 스캔 시간 간격을 이용하여 결정되는 타깃 속도는 보다 더 정확하다.
상기 속도 결정 공식에 기반하여 알 수 있는바, 속도가 클수록 대응되는 상대적 변위가 더 크고, 타깃의 속도를 정확하게 판단할 수 없으면, 지능형 기기가 상대적 변위에 의한 변화에 잘 대응하지 못할 수 있다. 본 발명의 실시예는 이러한 문제를 해결하기 위해, 타깃의 스캔 시간 정보를 정확하게 결정하는 방법을 제공하며, 따라서 더 정확한 속도를 추정할 수 있음으로써 지능형 기기 자체의 속도 정보를 결합하여, 신속하게 제동해야 하는지 추월할 수 있는지 여부와 같은 판단을 합리적으로 하도록 지능형 기기를 제어한다.
‘F티 타깃 추적 알고리즘에서, 현재 프레임의 포인트 클라우드 데이터 중의 각각의 검출 타깃 및 이력 프레임의 모든 궤적을 매칭하여 매칭 유사도를 획득함으로써 상기 검출 타깃이 이력에 나타난 어느 궤적에 속하는지 결정할 수 있다. 매칭 시, 타깃이 움직이는 것일 수 있으므로, 이력 궤적에 대해 움직임 보상을 수행하며, 보상 방식은 이력 궤적 중 타깃의 위치와 속도에 기반할 수 있고, 따라서 현재 프레임에서 타깃의 위치를 예측할 수 있으며, 여기서, 정확한 타임스탬프는 결정된 속도를 보다 정확해지도록 하여, 현재 프레임에서 타깃의 예측 위치가 보다 정확해지도록 한다. 이와 같이, 다중 타깃 추적일지라도, 정확한 예측 위치에 기반한 추적은 타깃 추적의 실패율을 크게 감소시킬 것이다.
이 밖에, 본 발명의 실시예에 제공되는 타깃 검출 방법은 검출할 타깃의 이동 속도 정보 및 이력 움직임 궤적 정보에 기반하여, 검출할 타깃의 미래 시간대에서의 움직임 궤적을 예측할 수도 있다. 구체적인 응용에서, 로봇 러닝 방법 또는 다른 궤적 예측 방법을 사용하여 궤적예측을 구현할 수 있다. 예를 들어, 검출할 타깃의 이동 속도 정보 및 이력 움직임 궤적 정보를 트레이닝된 신경망에 입력하여, 미래 시간대에서 예측되는 움직임 궤적을 획득할 수 있다.
본 기술분야의 기술자라면, 구체적인 실시형태의 상기 방법에서, 각 단계의 쓰기 순서가 엄격한 수행 순서를 의미하는 것이 아니며 구현 과정에 대한 임의의 한정으로 구성되는 것이 아니라, 각 단계의 구체적인 수행 순서는 그 기능과 가능한 내적 논리에 따라 결정되어야 함을 이해할 것이다.
동일한 발명 구상을 기반으로, 본 발명의 실시예에서는 타깃 검출 방법에 대응되는 타깃 검출 장치를 더 제공하며, 본 발명의 실시예에서의 장치의 문제 해결 원리는 본 발명의 실시예에서 상기 타깃 검출 방법과 유사하므로, 장치의 구현은 방법의 구현을 참조할 수 있고, 반복된 부분은 더이상 반복 서술하지 않는다.
도 6을 참조하면, 본 발명의 실시예에 제공되는 타깃 검출 장치의 구조 모식도이고, 상기 장치는 정보 획득 모듈(601), 위치 결정 모듈(602), 방향 각도 결정 모듈(603) 및 타깃 검출 모듈(604)을 포함하며; 여기서,
정보 획득 모듈(601)은 레이더 장치로 스캔하여 얻은 멀티프레임의 포인트 클라우드 데이터 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보를 획득하도록 구성되고;
위치 결정 모듈(602)은 각각의 프레임의 포인트 클라우드 데이터에 기반하여, 검출할 타깃의 위치 정보를 결정하도록 구성되며;
방향 각도 결정 모듈(603)은 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보에 기반하여, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보를 결정하도록 구성되고;
타깃 검출 모듈(604)은 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보에 따라, 검출할 타깃의 이동 정보를 결정하도록 구성된다.
일 실시형태에서, 타깃 검출 모듈(604)은 하기 단계에 따라 검출할 타깃의 이동 정보를 결정하도록 구성되고, 즉
각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 각각의 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보에 따라, 검출할 타깃의 이동 정보를 결정한다.
일 실시형태에서, 타깃 검출 모듈(604)은 하기 단계에 따라 검출할 타깃의 이동 정보를 결정하도록 구성되고, 즉
각각의 프레임의 포인트 클라우드 데이터의 경우, 상기 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때 스캔 방향 각도 정보 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보에 기반하여, 상기 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때 스캔 시간 정보를 결정하며;
멀티프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보에 기반하여, 검출할 타깃의 변위 정보를 결정하고;
멀티프레임의 포인트 클라우드 데이터 중의 검출할 타깃이 각각 스캔되는 스캔 시간 정보 및 검출할 타깃의 변위 정보에 기반하여, 검출할 타깃의 이동 속도 정보를 결정한다.
일 실시형태에서, 타깃 검출 모듈(604)은 하기 단계에 따라 상기 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때 스캔 시간 정보를 결정하도록 구성되고, 즉
각각의 프레임의 포인트 클라우드 데이터의 경우, 상기 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때 스캔 방향 각도 정보 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 각도 정보 중의 스캔 시작 각도 정보에 기반하여, 검출할 타깃의 방향 각도와 스캔 시작 각도 사이의 제1 각도 차이를 결정하며;
상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 각도 정보 중의 스캔 종료 각도 정보 및 스캔 시작 각도 정보에 기반하여, 스캔 종료 각도와 스캔 시작 각도 사이의 제2 각도 차이를 결정하고;
상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보 중 상기 프레임의 포인트 클라우드 데이터 스캔이 종료될 때 스캔 종료 시간 정보 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보 중 상기 프레임의 포인트 클라우드 데이터 스캔이 시작될 때 스캔 시작 시간 정보에 기반하여, 스캔 종료 시간 정보와 스캔 시작 시간 정보 사이의 시간 차이를 결정하며;및
제1 각도 차이, 제2 각도 차이, 시간 차이 및 스캔 시작 시간 정보에 기반하여, 상기 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 스캔될 때 스캔 시간 정보를 결정한다.
일 실시형태에서, 장치는,
검출할 타깃의 이동 속도 정보 및 레이더 장치가 설치된 지능형 기기의 속도 정보에 기반하여, 지능형 기기에 대해 제어하도록 구성되는 기기 제어 모듈(605)을 더 포함한다.
일 실시형태에서, 상기 장치는,
검출할 타깃의 이동 속도 정보 및 이력 움직임 궤적 정보에 기반하여, 검출할 타깃의 미래 시간대에서의 움직임 궤적을 예측하도록 구성되는 궤적 예측 모듈(606)을 더 포함한다.
일 실시형태에서, 위치 결정 모듈(602)은 하기 단계에 따라 각각의 프레임의 포인트 클라우드 데이터에 기반하여, 검출할 타깃의 위치 정보를 결정하도록 구성되고, 즉
각각의 프레임의 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여, 래스터 매트릭스를 획득하되, 래스터 매트릭스 중 각각의 요소의 값은 대응되는 래스터 부분에 포인트 클라우드 포인트가 존재하는지 여부를 나타내기 위한 것이며;
래스터 매트릭스 및 검출할 타깃의 사이즈 정보에 따라, 검출할 타깃에 대응되는 희소 매트릭스를 생성하고;
생성된 희소 매트릭스에 기반하여, 검출할 타깃의 위치 정보를 결정한다.
일 실시형태에서, 위치 결정 모듈(602)은 하기 단계에 따라 래스터 매트릭스 및 검출할 타깃의 사이즈 정보에 따라, 검출할 타깃에 대응되는 희소 매트릭스를 생성하도록 구성되고, 즉
래스터 매트릭스 및 검출할 타깃의 사이즈 정보에 따라, 래스터 매트릭스 중의 타깃 요소에 대해 적어도 한 번의 팽창 처리 동작 또는 부식 처리 동작을 수행하여, 검출할 타깃에 대응되는 희소 매트릭스를 생성하되,
여기서, 타깃 요소는 대응되는 래스터 부분에 포인트 클라우드 포인트의 존재를 나타내는 요소이다.
일 실시형태에서, 위치 결정 모듈(602)은 하기 단계에 따라 검출할 타깃에 대응되는 희소 매트릭스를 생성하도록 구성되고, 즉
래스터 매트릭스 중의 타깃 요소에 대해 적어도 한 번의 변위 처리 및 논리 연산 처리를 수행하여, 검출할 타깃에 대응되는 희소 매트릭스를 획득하되, 여기서 획득한 희소 매트릭스의 좌표 범위 크기와 검출할 타깃의 사이즈 크기 사이의 차이값은 기설정 임계값 범위 내에 있다.
일 실시형태에서, 위치 결정 모듈(602)은 하기 단계에 따라 검출할 타깃에 대응되는 희소 매트릭스를 생성하도록 구성되고, 즉
현재 팽창 처리 동작 이전의 래스터 매트릭스 중의 요소에 대해 제1 부정 동작을 수행하여, 제1 부정 동작 후의 래스터 매트릭스를 획득하며;
제1 기설정 콘볼루션 커널을 기반으로 제1 부정 동작 후의 래스터 매트릭스에 대해 적어도 한 번의 콘볼루션 연산을 수행하여, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 획득하되, 기설정 희소도는 검출할 타깃의 사이즈 정보에 의해 결정되고;
적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스 중의 요소에 대해 제2 부정 동작을 수행하여, 희소 매트릭스를 획득한다.
일 실시형태에서, 위치 결정 모듈(602)은 하기 단계에 따라 현재 팽창 처리 동작 이전의 래스터 매트릭스 중의 요소에 대해 제1 부정 동작을 수행하여, 제1 부정 동작 후의 래스터 매트릭스를 획득하도록 구성되고, 즉
제2 기설정 콘볼루션 커널을 기반으로, 현재 팽창 처리 동작 이전의 래스터 매트릭스 중 타깃 요소를 제외한 다른 요소에 대해 콘볼루션 연산을 수행하여 제1 부정 요소를 획득하고, 제2 기설정 콘볼루션 커널을 기반으로, 현재 팽창 처리 동작 이전의 래스터 매트릭스 중의 타깃 요소에 대해 콘볼루션 연산을 수행하여 제2 부정 요소를 획득하며;
제1 부정 요소 및 제2 부정 요소에 기반하여, 제1 부정 동작 후의 래스터 매트릭스를 획득한다.
일 실시형태에서, 위치 결정 모듈(602)은 하기 단계에 따라 제1 기설정 콘볼루션 커널을 기반으로 제1 부정 동작 후의 래스터 매트릭스에 대해 적어도 한 번의 콘볼루션 연산을 수행하여, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 획득하도록 구성되고, 즉
최초 콘볼루션 연산의 경우, 제1 부정 동작 후의 래스터 매트릭스와 제1 기설정 콘볼루션 커널에 대해 콘볼루션 연산을 수행하여, 최초 콘볼루션 연산 후의 래스터 매트릭스를 획득하며;
최초 콘볼루션 연산 후의 래스터 매트릭스의 희소도가 기설정 희소도에 도달하는지 여부를 판단하고;
그렇지 않으면, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 획득할 때까지, 바로 이전의 콘볼루션 연산 후의 래스터 매트릭스와 제1 기설정 콘볼루션 커널에 대해 콘볼루션 연산을 수행하여, 현재 콘볼루션 연산 후의 래스터 매트릭스를 획득하는 단계를 순환하여 수행한다.
일 실시형태에서, 제1 기설정 콘볼루션 커널은 가중치 매트릭스 및 상기 가중치 매트릭스에 대응되는 오프셋을 가지고; 위치 결정 모듈(602)은 하기 단계에 따라 최초 콘볼루션 연산의 경우, 제1 부정 동작 후의 래스터 매트릭스와 제1 기설정 콘볼루션 커널에 대해 콘볼루션 연산을 수행하여, 최초 콘볼루션 연산 후의 래스터 매트릭스를 획득하도록 구성되고, 즉
최초 콘볼루션 연산의 경우, 제1 기설정 콘볼루션 커널의 크기 및 기설정 스텝 길이에 따라, 제1 부정 동작 후의 래스터 매트릭스로부터 각각의 래스터 서브 매트릭스를 선택하며;
선택된 각각의 래스터 서브 매트릭스의 경우, 상기 래스터 서브 매트릭스와 가중치 매트릭스에 대해 곱 연산을 수행하여 제1 연산 결과를 획득하고, 제1 연산 결과와 오프셋에 대해 가법 연산을 수행하여 제2 연산 결과를 획득하며;
각각의 상기 래스터 서브 매트릭스에 대응되는 제2 연산 결과에 기반하여, 최초 콘볼루션 연산 후의 래스터 매트릭스를 결정한다.
일 실시형태에서, 위치 결정 모듈(602)은 하기 단계에 따라 래스터 매트릭스 및 검출할 타깃의 사이즈 정보에 따라, 래스터 매트릭스 중의 요소에 대해 적어도 한 번의 부식 처리 동작을 수행하여, 검출할 타깃에 대응되는 희소 매트릭스를 생성하도록 구성되고, 즉
제3 기설정 콘볼루션 커널을 기반으로 처리할 래스터 매트릭스에 대해 적어도 한 번의 콘볼루션 연산을 수행하여, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 획득하되, 기설정 희소도는 상기 검출할 타깃의 사이즈 정보에 의해 결정되며;
적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 검출할 타깃에 대응되는 희소 매트릭스로 결정한다.
일 실시형태에서, 위치 결정 모듈(602)은 하기 단계에 따라 생성된 희소 매트릭스에 기반하여, 검출할 타깃의 위치 정보를 결정하도록 구성되고, 즉
각각의 프레임의 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여, 래스터 매트릭스 및 상기 래스터 매트릭스 중 각각의 요소와 각각의 포인트 클라우드 포인트 좌표 범위 정보 사이의 대응 관계를 획득하며;
래스터 매트릭스 중 각각의 요소와 각각의 포인트 클라우드 포인트 좌표 범위 정보 사이의 대응 관계에 기반하여, 생성된 희소 매트릭스 중 각각의 타깃 요소에 대응되는 좌표 정보를 결정하고;
희소 매트릭스 중 각각의 타깃 요소에 대응되는 좌표 정보를 조합하여, 검출할 타깃의 위치 정보를 결정한다.
일 실시형태에서, 위치 결정 모듈(602)은 하기 단계에 따라 생성된 희소 매트릭스에 기반하여, 검출할 타깃의 위치 정보를 결정하도록 구성되고, 즉
트레이닝된 콘볼루션 신경망을 기반으로 생성된 희소 매트릭스 중의 각각의 타깃 요소에 대해 적어도 한 번의 콘볼루션 처리를 수행하여, 콘볼루션 결과를 획득하며;
콘볼루션 결과에 기반하여, 검출할 타깃의 위치 정보를 결정한다.
본 발명의 실시예는 전자 기기를 더 제공하며, 도 7에 도시된 바와 같이, 본 발명의 실시예에 제공되는 전자 기기의 구조 모식도이고, 프로세서(701), 메모리(702) 및 버스(703)를 포함한다. 메모리(702)에는 프로세서(701)에 의해 실행 가능한 기계 판독 가능 명령(도 6에 도시된 타깃 검출 장치에서, 정보 획득 모듈(601), 위치 결정 모듈(602), 방향 각도 결정 모듈(603) 및 타깃 검출 모듈(604)에 대응되게 실행되는 명령)이 저장되고, 전자 기기가 작동할 경우, 프로세서(701)와 메모리(702)는 버스(703)를 통해 통신하며, 기계 판독 가능 명령은 프로세서(701)에 의해 실행될 경우, 레이더 장치로 스캔하여 얻은 멀티프레임의 포인트 클라우드 데이터 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보를 획득하는 단계; 각각의 프레임의 포인트 클라우드 데이터에 기반하여, 검출할 타깃의 위치 정보를 결정하는 단계; 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보에 기반하여, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔되는 스캔 방향 각도 정보를 결정하는 단계; 및 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보에 따라, 검출할 타깃의 이동 정보를 결정하는 단계를 수행한다.
본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 상기 방법 실시예에 따른 타깃 검출 방법의 단계를 수행한다. 여기서, 상기 저장 매체는 휘발성 또는 비 휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.
본 발명의 실시예에 제공되는 타깃 검출 방법의 컴퓨터 프로그램 제품은 프로그램 코드를 저장하는 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로그램 코드에 포함되는 명령은 상기 방법 실시예에 따른 타깃 검출 방법의 단계를 수행하는데 사용될 수 있으며, 구체적으로 상기 방법 실시예를 참조할 수 있고, 여기서 더이상 반복 서술하지 않는다.
본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 전술한 실시예의 어느 하나의 방법을 구현한다. 상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이의 결합된 방식으로 구현될 수 있다. 선택 가능한 일 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되고, 다른 선택 가능한 실시예에서, 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK)와 같은 소프트웨어 제품으로 구현된다.
본 기술분야의 통상의 기술자는 설명의 편의와 간결함을 위해 상기에 설명된 시스템 및 장치의 구체적인 동작 과정은 전술한 방법 실시예 중의 대응되는 과정을 참조할 수 있음을 이해할 것이며, 여기서 더이상 반복 서술하지 않는다. 본 발명에 제공된 다수의 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 할 것이다. 이상 설명된 장치 실시예는 단지 예시적인 것이고, 예를 들면 상기 유닛의 구획은 단지 논리적 기능 구획일 뿐이며 실제 구현 시 다른 구획 방식이 있을 수 있고, 또한 예를 들면 다수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 결합되거나 집적될 수 있거나, 일부 특징은 무시하거나 실행하지 않을 수 있다. 또한, 표시되거나 논의된 상호 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스를 통한 것일 수 있고, 장치 또는 유닛의 간접 커플링 또는 통신 연결은 전기적, 기계적 또는 다른 형태일 수 있다.
이상에서 분리 부재로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 것일 수 있고, 유닛으로 표시된 부재는 물리적 유닛일 수 있거나, 물리적 유닛이 아닐 수 있으며, 하나의 장소에 위치하거나, 다수의 네트워크 유닛에 분포될 수도 있다. 실제 수요에 따라 그중의 일부 또는 전부 유닛을 선택하여 본 실시예의 해결수단의 목적을 구현할 수 있다.
이밖에, 본 발명의 각각의 실시예의 각 기능 유닛은 하나의 프로세싱 유닛에 집적될 수 있고, 각각의 유닛이 별도로 물리적으로 존재할 수도 있으며, 둘 또는 둘 이상의 유닛이 하나의 유닛에 집적될 수도 있다.
상기 기능이 만약 소프트웨어 기능 유닛의 형태로 구현되고 별도의 제품으로 판매되거나 사용될 경우, 프로세서에 의해 실행 가능한 비 휘발성 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반해보면, 본 발명의 기술적 해결수단은 본질적으로 또는 선행기술에 기여하는 부분 또는 상기 기술적 해결수단의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 다수의 명령을 포함하여 하나의 전자 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)가 본 발명의 각각의 실시예에 따른 방법의 전부 또는 일부 단계를 실행하도록 할 수 있다. 전술한 저장 매체는 USB 메모리, 외장 하드, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 디스켓 또는 CD 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
마지막에 설명해야 할 것은, 이상 실시예는 단지 본 발명의 구체적인 실시형태로 본 발명의 기술적 해결수단을 설명하기 위한 것일 뿐 이에 한정되지 않으며 본 발명의 보호 범위는 이에 한정되지 않고, 전술한 실시예를 참조하여 본 발명에 대해 상세하게 설명하였지만 본 기술분야의 통상의 기술자는 본 기술분야에서 통상의 지식을 가진 자라면 본 발명이 개시된 기술 범위 내에서 여전히 전술한 실시예에 기재된 기술적 해결수단에 대해 수정할 수 있거나 변경될 수 있음을 쉽게 생각해낼 수 있거나, 그 중 일부 기술 특징에 대해 등가 교체를 수행할 수 있음을 이해해야 할 것이며, 이러한 수정, 변경 또는 교체는 해당하는 기술적 해결수단의 본질이 본 발명의 실시예의 기술적 해결수단의 정신 및 범위를 벗어나지 않고 모두 본 발명의 보호 범위 이내에 포함되도록 해야 한다. 따라서, 본 발명의 보호 범위는 청구 범위의 보호 범위를 기준으로 한다.
본 발명의 실시예는 타깃 검출 방법, 장치, 전자 기기 및 저장 매체를 개시하며, 여기서 타깃 검출 방법은, 레이더 장치로 스캔하여 얻은 멀티프레임의 포인트 클라우드 데이터 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보를 획득하는 단계; 각각의 프레임의 포인트 클라우드 데이터에 기반하여, 검출할 타깃의 위치 정보를 결정하는 단계; 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보에 기반하여, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔되는 스캔 방향 각도 정보를 결정하는 단계; 및 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃이 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보에 따라, 검출할 타깃의 이동 정보를 결정하는 단계를 포함한다. 상기 해결수단은 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보 및 각각의 프레임의 포인트 클라우드 데이터 중 검출할 타깃의 관련 정보를 결합하여 타깃의 이동 정보를 결정하며, 정확도가 비교적 높다.

Claims (19)

  1. 타깃 검출 방법으로서,
    레이더 장치로 스캔하여 얻은 멀티프레임의 포인트 클라우드 데이터 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보를 획득하는 단계;
    각각의 프레임의 포인트 클라우드 데이터에 기반하여, 검출할 타깃의 위치 정보를 결정하는 단계;
    각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보에 기반하여, 각각의 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 상기 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보를 결정하는 단계; 및
    각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 상기 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보에 따라, 상기 검출할 타깃의 이동 정보를 결정하는 단계를 포함하는 타깃 검출 방법.
  2. 제1항에 있어서,
    상기 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보는 상기 각각의 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보를 포함하고, 상기 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 상기 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보에 따라, 상기 검출할 타깃의 이동 정보를 결정하는 단계는,
    각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 상기 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 각각의 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보에 따라, 상기 검출할 타깃의 이동 정보를 결정하는 단계를 포함하는 타깃 검출 방법.
  3. 제2항에 있어서,
    상기 각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 상기 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 각각의 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보에 따라, 상기 검출할 타깃의 이동 정보를 결정하는 단계는,
    상기 각각의 프레임의 포인트 클라우드 데이터에 대해, 상기 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 스캔될 때의 스캔 방향 각도 정보 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보에 기반하여, 상기 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 스캔될 때의 스캔 시간 정보를 결정하는 단계;
    멀티프레임의 포인트 클라우드 데이터 중의 상기 검출할 타깃의 위치 정보에 기반하여, 상기 검출할 타깃의 변위 정보를 결정하는 단계; 및
    상기 멀티프레임의 포인트 클라우드 데이터 중의 상기 검출할 타깃이 각각 스캔될 때의 스캔 시간 정보 및 상기 검출할 타깃의 변위 정보에 기반하여, 상기 검출할 타깃의 이동 속도 정보를 결정하는 단계를 포함하는 타깃 검출 방법.
  4. 제3항에 있어서,
    상기 각각의 프레임의 포인트 클라우드 데이터에 대해, 상기 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 스캔될 때의 스캔 방향 각도 정보 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보와 스캔 시작 및 종료 각도 정보에 기반하여, 상기 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 스캔될 때의 스캔 시간 정보를 결정하는 단계는,
    상기 각각의 프레임의 포인트 클라우드 데이터에 대해, 상기 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 스캔될 때의 스캔 방향 각도 정보 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 각도 정보 중의 스캔 시작 각도 정보에 기반하여, 상기 검출할 타깃의 방향 각도와 스캔 시작 각도 사이의 제1 각도 차이를 결정하는 단계;
    상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 각도 정보 중의 스캔 종료 각도 정보 및 상기 스캔 시작 각도 정보에 기반하여, 상기 스캔 종료 각도와 상기 스캔 시작 각도 사이의 제2 각도 차이를 결정하는 단계;
    상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보 중 상기 프레임의 포인트 클라우드 데이터 스캔이 종료될 때의 스캔 종료 시간 정보 및 상기 프레임의 포인트 클라우드 데이터에 대응되는 스캔 시작 및 종료 시간 정보 중 상기 프레임의 포인트 클라우드 데이터 스캔이 시작될 때의 스캔 시작 시간 정보에 기반하여, 상기 스캔 종료 시간 정보와 상기 스캔 시작 시간 정보 사이의 시간 차이를 결정하는 단계; 및
    상기 제1 각도 차이, 상기 제2 각도 차이, 상기 시간 차이 및 상기 스캔 시작 시간 정보에 기반하여, 상기 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 스캔될 때의 스캔 시간 정보를 결정하는 단계를 포함하는 타깃 검출 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 타깃 검출 방법은,
    상기 검출할 타깃의 이동 속도 정보 및 상기 레이더 장치가 설치된 지능형 기기의 속도 정보에 기반하여, 상기 지능형 기기를 제어하는 단계를 더 포함하는 타깃 검출 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 타깃 검출 방법은,
    상기 검출할 타깃의 이동 정보 및 이력 움직임 궤적 정보에 기반하여, 상기 검출할 타깃의 미래 시간대에서의 움직임 궤적을 예측하는 단계를 더 포함하는 타깃 검출 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 각각의 프레임의 포인트 클라우드 데이터에 기반하여, 검출할 타깃의 위치 정보를 결정하는 단계는,
    각각의 프레임의 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여, 래스터 매트릭스를 획득하는 단계 - 상기 래스터 매트릭스 중 각각의 요소의 값은 대응되는 래스터 부분에 포인트 클라우드 포인트가 존재하는지 여부를 나타내기 위한 것임 - ;
    상기 래스터 매트릭스 및 상기 검출할 타깃의 사이즈 정보에 따라, 상기 검출할 타깃에 대응되는 희소 매트릭스를 생성하는 단계; 및
    생성된 상기 희소 매트릭스에 기반하여, 상기 검출할 타깃의 위치 정보를 결정하는 단계를 포함하는 타깃 검출 방법.
  8. 제7항에 있어서,
    상기 래스터 매트릭스 및 상기 검출할 타깃의 사이즈 정보에 따라, 상기 검출할 타깃에 대응되는 희소 매트릭스를 생성하는 단계는,
    상기 래스터 매트릭스 및 상기 검출할 타깃의 사이즈 정보에 따라, 상기 래스터 매트릭스 중의 타깃 요소에 대해 적어도 한 번의 팽창 처리 동작 또는 부식 처리 동작을 수행하여, 상기 검출할 타깃에 대응되는 희소 매트릭스를 생성하는 단계를 포함하되,
    상기 타깃 요소는 대응되는 래스터 부분에서 포인트 클라우드 포인트 존재를 나타내는 요소인 타깃 검출 방법.
  9. 제8항에 있어서,
    상기 래스터 매트릭스 및 상기 검출할 타깃의 사이즈 정보에 따라, 상기 래스터 매트릭스 중의 타깃 요소에 대해 적어도 한 번의 팽창 처리 동작 또는 부식 처리 동작을 수행하여, 상기 검출할 타깃에 대응되는 희소 매트릭스를 생성하는 단계는,
    상기 래스터 매트릭스 중의 타깃 요소에 대해 적어도 한 번의 변위 처리 및 논리 연산 처리를 수행하여, 상기 검출할 타깃에 대응되는 희소 매트릭스를 획득하는 단계를 포함하되, 획득한 희소 매트릭스의 좌표 범위 크기와 상기 검출할 타깃의 사이즈 크기 사이의 차이값은 기설정 임계값 범위 내에 있는 타깃 검출 방법.
  10. 제8항에 있어서,
    상기 래스터 매트릭스 및 상기 검출할 타깃의 사이즈 정보에 따라, 상기 래스터 매트릭스 중의 요소에 대해 적어도 한 번의 팽창 처리 동작을 수행하여, 상기 검출할 타깃에 대응되는 희소 매트릭스를 생성하는 단계는,
    현재 팽창 처리 동작 이전의 래스터 매트릭스 중의 요소에 대해 제1 부정 동작을 수행하여, 제1 부정 동작 후의 래스터 매트릭스를 획득하는 단계;
    제1 기설정 콘볼루션 커널을 기반으로 상기 제1 부정 동작 후의 래스터 매트릭스에 대해 적어도 한 번의 콘볼루션 연산을 수행하여, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 획득하는 단계 - 상기 기설정 희소도는 상기 검출할 타깃의 사이즈 정보에 의해 결정됨 - ; 및
    상기 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스 중의 요소에 대해 제2 부정 동작을 수행하여, 상기 희소 매트릭스를 획득하는 단계를 포함하는 타깃 검출 방법.
  11. 제10항에 있어서,
    상기 현재 팽창 처리 동작 이전의 래스터 매트릭스 중의 요소에 대해 제1 부정 동작을 수행하여, 제1 부정 동작 후의 래스터 매트릭스를 획득하는 단계는,
    제2 기설정 콘볼루션 커널을 기반으로, 현재 팽창 처리 동작 이전의 래스터 매트릭스 중 상기 타깃 요소를 제외한 다른 요소에 대해 콘볼루션 연산을 수행하여 제1 부정 요소를 획득하고, 제2 기설정 콘볼루션 커널을 기반으로, 현재 팽창 처리 동작 이전의 래스터 매트릭스 중의 타깃 요소에 대해 콘볼루션 연산을 수행하여 제2 부정 요소를 획득하는 단계; 및
    상기 제1 부정 요소 및 상기 제2 부정 요소에 기반하여, 제1 부정 동작 후의 래스터 매트릭스를 획득하는 단계를 포함하는 타깃 검출 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 제1 기설정 콘볼루션 커널을 기반으로 상기 제1 부정 동작 후의 래스터 매트릭스에 대해 적어도 한 번의 콘볼루션 연산을 수행하여, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 획득하는 단계는,
    최초 콘볼루션 연산의 경우, 상기 제1 부정 동작 후의 래스터 매트릭스와 상기 제1 기설정 콘볼루션 커널에 대해 콘볼루션 연산을 수행하여, 최초 콘볼루션 연산 후의 래스터 매트릭스를 획득하는 단계;
    상기 최초 콘볼루션 연산 후의 래스터 매트릭스의 희소도가 기설정 희소도에 도달하는지 여부를 판단하는 단계; 및
    그렇지 않으면, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 획득할 때까지, 바로 이전의 콘볼루션 연산 후의 래스터 매트릭스와 상기 제1 기설정 콘볼루션 커널에 대해 콘볼루션 연산을 수행하여, 현재 콘볼루션 연산 후의 래스터 매트릭스를 획득하는 단계를 순환하여 수행하는 단계를 포함하는 타깃 검출 방법.
  13. 제12항에 있어서,
    상기 제1 기설정 콘볼루션 커널은 가중치 매트릭스 및 상기 가중치 매트릭스에 대응되는 오프셋을 가지고; 최초 콘볼루션 연산의 경우, 상기 제1 부정 동작 후의 래스터 매트릭스와 상기 제1 기설정 콘볼루션 커널에 대해 콘볼루션 연산을 수행하여, 최초 콘볼루션 연산 후의 래스터 매트릭스를 획득하는 단계는,
    최초 콘볼루션 연산의 경우, 상기 제1 기설정 콘볼루션 커널의 크기 및 기설정 스텝 길이에 따라, 상기 제1 부정 동작 후의 래스터 매트릭스로부터 각각의 래스터 서브 매트릭스를 선택하는 단계;
    선택된 각각의 상기 래스터 서브 매트릭스의 경우, 상기 래스터 서브 매트릭스와 상기 가중치 매트릭스에 대해 곱 연산을 수행하여 제1 연산 결과를 획득하고, 상기 제1 연산 결과와 상기 오프셋에 대해 가법 연산을 수행하여 제2 연산 결과를 획득하는 단계; 및
    각각의 상기 래스터 서브 매트릭스에 대응되는 제2 연산 결과에 기반하여, 최초 콘볼루션 연산 후의 래스터 매트릭스를 결정하는 단계를 포함하는 타깃 검출 방법.
  14. 제7항에 있어서,
    상기 래스터 매트릭스 및 상기 검출할 타깃의 사이즈 정보에 따라, 상기 래스터 매트릭스 중의 요소에 대해 적어도 한 번의 부식 처리 동작을 수행하여, 상기 검출할 타깃에 대응되는 희소 매트릭스를 생성하는 단계는,
    제3 기설정 콘볼루션 커널을 기반으로 처리할 래스터 매트릭스에 대해 적어도 한 번의 콘볼루션 연산을 수행하여, 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 획득하는 단계 - 상기 기설정 희소도는 상기 검출할 타깃의 사이즈 정보에 의해 결정됨 - ; 및
    상기 적어도 한 번의 콘볼루션 연산 후의 기설정 희소도를 가진 래스터 매트릭스를 상기 검출할 타깃에 대응되는 희소 매트릭스로 결정하는 단계를 포함하는 타깃 검출 방법.
  15. 제7항 내지 제14항 중 어느 한 항에 있어서,
    각각의 프레임의 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여, 래스터 매트릭스를 획득하는 단계는,
    각각의 프레임의 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여, 래스터 매트릭스 및 상기 래스터 매트릭스 중 각각의 요소와 각각의 포인트 클라우드 포인트 좌표 범위 정보 사이의 대응 관계를 획득하는 단계를 포함하고,
    상기 생성된 상기 희소 매트릭스에 기반하여, 상기 검출할 타깃의 위치 정보를 결정하는 단계는,
    상기 래스터 매트릭스 중 각각의 요소와 각각의 포인트 클라우드 포인트 좌표 범위 정보 사이의 대응 관계에 기반하여, 생성된 상기 희소 매트릭스 중 각각의 타깃 요소에 대응되는 좌표 정보를 결정하는 단계; 및
    상기 희소 매트릭스 중 각각의 상기 타깃 요소에 대응되는 좌표 정보를 조합하여, 상기 검출할 타깃의 위치 정보를 결정하는 단계를 포함하는 타깃 검출 방법.
  16. 제7항 내지 제14항 중 어느 한 항에 있어서,
    상기 생성된 상기 희소 매트릭스에 기반하여, 상기 검출할 타깃의 위치 정보를 결정하는 단계는,
    트레이닝된 콘볼루션 신경망을 기반으로 생성된 상기 희소 매트릭스 중의 각각의 타깃 요소에 대해 적어도 한 번의 콘볼루션 처리를 수행하여, 콘볼루션 결과를 획득하는 단계; 및
    상기 콘볼루션 결과에 기반하여, 상기 검출할 타깃의 위치 정보를 결정하는 단계를 포함하는 타깃 검출 방법.
  17. 타깃 검출 장치로서,
    레이더 장치로 스캔하여 얻은 멀티프레임의 포인트 클라우드 데이터 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보를 획득하도록 구성되는 정보 획득 모듈;
    각각의 프레임의 포인트 클라우드 데이터에 기반하여, 검출할 타깃의 위치 정보를 결정하도록 구성되는 위치 결정 모듈;
    각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보에 기반하여, 각각의 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 상기 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보를 결정하도록 구성되는 방향 각도 결정 모듈; 및
    각각의 프레임의 포인트 클라우드 데이터 중의 검출할 타깃의 위치 정보, 각각의 프레임의 포인트 클라우드 데이터 중 상기 검출할 타깃이 상기 레이더 장치에 의해 스캔될 때의 스캔 방향 각도 정보 및 스캔하여 얻은 각각의 프레임의 포인트 클라우드 데이터의 시간 정보에 따라, 상기 검출할 타깃의 이동 정보를 결정하도록 구성되는 타깃 검출 모듈을 포함하는 타깃 검출 장치.
  18. 전자 기기로서,
    프로세서, 메모리 및 버스를 포함하고, 상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 경우 제1항 내지 제16항 중 어느 한 항에 따른 타깃 검출 방법의 단계를 수행하는 전자 기기.
  19. 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제16항 중 어느 한 항에 따른 타깃 검출 방법의 단계를 수행하는 컴퓨터 판독 가능 저장 매체.
KR1020227004542A 2020-07-22 2021-04-28 타깃 검출 방법, 장치, 전자 기기 및 저장 매체 KR20220031106A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010712662.7A CN113970752A (zh) 2020-07-22 2020-07-22 一种目标检测方法、装置、电子设备及存储介质
CN202010712662.7 2020-07-22
PCT/CN2021/090540 WO2022016942A1 (zh) 2020-07-22 2021-04-28 一种目标检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
KR20220031106A true KR20220031106A (ko) 2022-03-11

Family

ID=79584954

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227004542A KR20220031106A (ko) 2020-07-22 2021-04-28 타깃 검출 방법, 장치, 전자 기기 및 저장 매체

Country Status (4)

Country Link
US (1) US20220113418A1 (ko)
KR (1) KR20220031106A (ko)
CN (1) CN113970752A (ko)
WO (1) WO2022016942A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627017B (zh) * 2022-03-17 2022-12-13 南京航空航天大学 一种基于多层次注意力感知的点云去噪方法
CN115631215B (zh) * 2022-12-19 2023-04-07 中国人民解放军国防科技大学 一种移动目标监测方法、系统、电子设备和存储介质
CN116359938B (zh) * 2023-05-31 2023-08-25 未来机器人（深圳）有限公司 对象检测方法、装置及运载装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0781860B2 (ja) * 1987-05-30 1995-09-06 株式会社小松製作所 移動体の位置計測装置
JP6767107B2 (ja) * 2015-12-07 2020-10-14 株式会社トプコン 角度検出装置及び測量装置
CN106997049B (zh) * 2017-03-14 2020-07-03 奇瑞汽车股份有限公司 一种基于激光点云数据的检测障碍物的方法和装置
CN108196225B (zh) * 2018-03-27 2021-07-20 北京凌宇智控科技有限公司 一种融合编码信息的三维空间定位方法及系统
WO2020103110A1 (zh) * 2018-11-22 2020-05-28 深圳市大疆创新科技有限公司 一种基于点云地图的图像边界获取方法、设备及飞行器
CN109782015A (zh) * 2019-03-21 2019-05-21 同方威视技术股份有限公司 激光测速方法、控制装置和激光测速仪
CN111144211B (zh) * 2019-08-28 2023-09-12 华为技术有限公司 点云显示方法和装置
CN110717918B (zh) * 2019-10-11 2022-06-07 北京百度网讯科技有限公司 行人检测方法和装置

Also Published As

Publication number Publication date
CN113970752A (zh) 2022-01-25
US20220113418A1 (en) 2022-04-14
WO2022016942A1 (zh) 2022-01-27

Similar Documents

Publication Publication Date Title
KR20220031106A (ko) 타깃 검출 방법, 장치, 전자 기기 및 저장 매체
KR102463720B1 (ko) 차량의 경로 생성 시스템 및 방법
CN109961440B (zh) 一种基于深度图的三维激光雷达点云目标分割方法
US10748061B2 (en) Simultaneous localization and mapping with reinforcement learning
WO2019212811A1 (en) Associating lidar data and image data
EP3767332B1 (en) Methods and systems for radar object detection
US20220108544A1 (en) Object detection apparatus, system and method
CN112166458B (zh) 目标检测与跟踪方法、系统、设备及存储介质
KR20230070253A (ko) 포인트 클라우드들로부터의 효율적인 3차원 객체 검출
CN111292369A (zh) 激光雷达的伪点云数据生成方法
CN113536920B (zh) 一种半监督三维点云目标检测方法
Zheng et al. Robustness of trajectory prediction models under map-based attacks
Alsfasser et al. Exploiting polar grid structure and object shadows for fast object detection in point clouds
Buder Dense real-time stereo matching using memory efficient semi-global-matching variant based on FPGAs
CN116523970B (zh) 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN117389305A (zh) 一种无人机巡检路径规划方法、系统、设备及介质
CN117351234A (zh) 基于时空域和包围盒信息的三维运动目标追踪方法和装置
KR20220044777A (ko) 포인트 클라우드 데이터 처리 방법 및 장치
CN112433193B (zh) 一种基于多传感器的模位置定位方法及系统
CN111208785B (zh) 一种运动控制方法及装置
CN111295694A (zh) 点云的孔洞填充的方法和设备
CN116485868A (zh) 一种四维光场图像深度获取方法及装置
CN109215134B (zh) 三维模型的遮挡确定方法、装置、计算机设备和存储介质
Wei et al. A binocular reconstruction based on perspective projection constraints and its application on robot eye‐hand coordination
CN112700471B (zh) 碰撞检测方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination