KR20220019272A - 무선 통신 기반 개체 분류 - Google Patents

무선 통신 기반 개체 분류 Download PDF

Info

Publication number
KR20220019272A
KR20220019272A KR1020227000502A KR20227000502A KR20220019272A KR 20220019272 A KR20220019272 A KR 20220019272A KR 1020227000502 A KR1020227000502 A KR 1020227000502A KR 20227000502 A KR20227000502 A KR 20227000502A KR 20220019272 A KR20220019272 A KR 20220019272A
Authority
KR
South Korea
Prior art keywords
data
vehicle
signal
wireless
objects
Prior art date
Application number
KR1020227000502A
Other languages
English (en)
Inventor
조나단 하임 아비르
슐로미 아티아스
Original Assignee
에이.디 나이트 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이.디 나이트 리미티드 filed Critical 에이.디 나이트 리미티드
Publication of KR20220019272A publication Critical patent/KR20220019272A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/02—Systems for determining distance or velocity not using reflection or reradiation using radio waves
    • G01S11/04—Systems for determining distance or velocity not using reflection or reradiation using radio waves using angle measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/02—Systems for determining distance or velocity not using reflection or reradiation using radio waves
    • G01S11/06—Systems for determining distance or velocity not using reflection or reradiation using radio waves using intensity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0284—Relative positioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/12—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves by co-ordinating position lines of different shape, e.g. hyperbolic, circular, elliptical or radial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N7/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

복수의 물리적 장면 내의 복수의 객체와 연관된 복수의 무선 주파수(RF) 무선 전송과 연관된 데이터를 포함하는 데이터 세트를 수신하는 단계; 학습 단계에서, 상기 데이터 세트 및 상기 객체 각각의 유형을 표현하는 레이블을 포함하는 학습 세트에 대하여 기계 학습 모델을 훈련하는 단계; 및 추론 단계에서, 학습된 상기 기계 학습 모델을 신호 파라미터, 데이터 및 물리적 장면 내의 타겟 객체와 연관된 무선 전송으로부터 획득된 위치 파라미터를 포함하는 타겟 데이터 세트에 적용하여 상기 타겟 객체의 유형을 예측하는 단계를 포함하며, 상기 데이터 세트는 각각의 상기 객체와 관련하여: (i) 연관된 무선 전송의 신호 파라미터, (ii) 연관된 무선 전송에 포함된 데이터, 및 (iii) 상기 객체에 대한 위치 파라미터 중 적어도 하나를 포함하는 방법을 제공한다.

Description

무선 통신 기반 개체 분류
본 발명은 기계 학습 분야에 관한 것이다.
본 출원은 2019년 6월 7일에 출원된 미국 특허 출원 제62/858,364호에 대한 우선권을 주장하며, 그 내용은 "개인 통신 장치 감지 시스템을 사용하여 시각적으로 가려진 위험을 감지하는 방법 및 시스템"이다. 그 전체가 여기에 참조로 포함된다.
최근, 다양한 형태의 첨단 운전자 보조 시스템(ADAS)이 개발되어 차량에 적용되고 있다.
ADAS는 무선 주파수(RF) 검출기, 거리 측정(ranging)(RADAR), 카메라, 광 검출 및 거리 측정(LiDAR) 센서, 및 초음파 센서와 같은 센서를 필요로 한다. 이러한 시스템은 경로 계획 및 장애물 회피와 같은 의사 결정 작업과 가속, 감속, 제동 및 조향과 같은 작동 작업을 수행한다. 따라서 ADAS 시스템의 안전과 성능을 보장하기 위해서는 검사, 교정, 검증, 검사 및 고장 및 오류 감지가 필수적이다.
이러한 센서는 일반적으로 탐지할 객체에 대한 명확한 시선에 의존하므로 지형, 기반 시설(건물, 교차로 등), 차량 등에 의해 야기되는 장애물은 탐지 능력을 제한한다.
관련 기술의 전술한 예시 및 이와 관련된 제한은 배타적이지 않고 예시적인 것으로 의도된다. 관련 기술의 다른 한계는 명세서를 참고하고, 도면을 연구하면 당업자에게 명백해질 것이다.
각 타겟과 관련된 하나 이상의 RF 장치로부터 방출된 무선 전송의 다양한 파라미터를 분석하는 것에 적어도 부분적으로 기초하여 물리적 환경 내에서 하나 이상의 타겟을 검출 및 분류하기 위한 시스템, 방법, 및 컴퓨터 프로그램 제품이 여기에 개시된다.
다음의 실시예 및 그 양태는 범위를 제한하지 않고 예시적이고 실례적인 것으로 의도된 시스템, 도구 및 방법과 함께 기술되고 예시된다.
일실시예에서, 적어도 하나의 하드웨어 프로세서; 그리고 프로그램 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 포함하며, 상기 프로그램 명령은 상기 적어도 하나의 하드웨어 프로세서에 의해 실행 가능하여, 복수의 물리적 장면(physical scenes) 내의 복수의 객체와 연관된 복수의 무선 주파수(RF) 무선 전송과 연관된 데이터를 포함하는 데이터 세트를 수신하고, 상기 데이터 세트는 각각의 상기 객체와 관련하여: (i) 연관된 무선 전송의 신호 파라미터, (ii) 연관된 무선 전송에 포함된 데이터, 및 (iii) 상기 객체에 대한 위치 파라미터 중 적어도 하나를 포함하며, 학습 단계에서, 상기 데이터 세트 및 상기 객체 각각의 유형을 표현하는 레이블을 포함하는 학습 세트에 대하여 기계 학습 모델을 훈련하고, 추론 단계에서, 학습된 상기 기계 학습 모델을 신호 파라미터, 데이터 및 물리적 장면 내의 타겟 객체와 연관된 무선 전송으로부터 획득된 위치 파라미터를 포함하는 타겟 데이터 세트에 적용하여 상기 타겟 객체의 유형을 예측하는 시스템을 제공한다.
또한, 일실시예에서, 복수의 물리적 장면 내의 복수의 객체와 연관된 복수의 무선 주파수(RF) 무선 전송과 연관된 데이터를 포함하는 데이터 세트를 수신하는 단계; 학습 단계에서, 상기 데이터 세트 및 상기 객체 각각의 유형을 표현하는 레이블을 포함하는 학습 세트에 대하여 기계 학습 모델을 훈련하는 단계; 및 추론 단계에서, 학습된 상기 기계 학습 모델을 신호 파라미터, 데이터 및 물리적 장면 내의 타겟 객체와 연관된 무선 전송으로부터 획득된 위치 파라미터를 포함하는 타겟 데이터 세트에 적용하여 상기 타겟 객체의 유형을 예측하는 단계를 포함하며, 상기 데이터 세트는 각각의 상기 객체와 관련하여: (i) 연관된 무선 전송의 신호 파라미터, (ii) 연관된 무선 전송에 포함된 데이터, 및 (iii) 상기 객체에 대한 위치 파라미터 중 적어도 하나를 포함하는 방법을 제공한다.
또한, 일실시예에서, 프로그램 명령이 구현된 비일시적 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 프로그램 명령은 다음을 수행하도록 적어도 하나의 하드웨어 프로세서에 의해 실행 가능하여, 복수의 물리적 장면(physical scenes) 내의 복수의 객체와 연관된 복수의 무선 주파수(RF) 무선 전송과 연관된 데이터를 포함하는 데이터 세트를 수신하고, 상기 데이터 세트는 각각의 상기 객체와 관련하여: (i) 연관된 무선 전송의 신호 파라미터, (ii) 연관된 무선 전송에 포함된 데이터, 및 (iii) 상기 객체에 대한 위치 파라미터 중 적어도 하나를 포함하며, 학습 단계에서, 상기 데이터 세트 및 상기 객체 각각의 유형을 표현하는 레이블을 포함하는 학습 세트에 대하여 기계 학습 모델을 훈련하고, 추론 단계에서, 학습된 상기 기계 학습 모델을 신호 파라미터, 데이터 및 물리적 장면 내의 타겟 객체와 연관된 무선 전송으로부터 획득된 위치 파라미터를 포함하는 타겟 데이터 세트에 적용하여 상기 타겟 객체의 유형을 예측하는 컴퓨터 프로그램 제품을 제공한다.
일부 실시예에서, 상기 복수의 물리적 장면은 각각 도로 장면이고, 상기 복수의 객체 각각은 보행자, 자전거 라이더, 스쿠터 라이더, 차량 운전자, 차량 탑승자, 차량 승객 및 대중 교통 승객 중 하나이다.
일부 실시예에서, 상기 복수의 장면은 도로, 고속 도로, 공공 도로, 대중 교통 시스템, 공공 장소, 작업장, 제조 시설 및 창고 시설로 구성된 그룹으로부터 선택된다.
일부 실시예에서, 상기 무선 전송은 상기 객체 각각과 연관된 적어도 하나의 무선 장치로부터 전송된다.
일부 실시예에서, 상기 무선 장치 중 적어도 일부는 하나 이상의 송신기를 포함한다.
일부 실시예에서, 상기 무선 장치는 모바일 장치, 스마트 폰, 스마트 워치, 무선 헤드폰, 태블릿, 랩톱, 마이크로 모빌리티 탑재 텔레매틱스 유닛, 차량 탑재 텔레매틱스 유닛, 차량 인포테인먼트 시스템, 차량 핸즈프리 시스템, 차량 타이어 압력 모니터링 시스템, 드론, 카메라, 대시캠, 프린터, 액세스 포인트 및 주방 가전으로 구성된 그룹으로부터 선택된다.
일부 실시예에서, 상기 무선 전송의 상기 신호 파라미터는 신호 주파수, 신호 대역폭, 신호 강도, 신호 위상, 신호 상관성(signal coherence) 및 신호 타이밍으로 구성된 그룹으로부터 선택된다.
일부 실시예에서, 상기 무선 전송에 포함된 상기 데이터는 데이터 패킷 파라미터, 고유 장치 식별자, MAC 주소, 서비스 세트 식별자(SSID), 기본 서비스 세트 식별자(BSSID), 확장 기본 서비스 집합(ESS), 국제 모바일 가입자 ID(IMSI) 및 임시 IMSI로 구성된 그룹으로부터 선택된다.
일부 실시예에서, 상기 데이터 세트는 상기 레이블로 레이블링된다.
일부 실시예에서, 상기 레이블링은: (i) 상기 객체들 중 하나와 연관된 상기 데이터 세트 내의 적어도 하나의 데이터 인스턴스에 기초하여 객체 유형을 자동으로 결정하는 단계; 및 (ii) 상기 객체 중 하나와 연관된 모든 상기 데이터 인스턴스에 레이블로서 상기 객체 유형을 적용하는 단계를 포함한다.
위에서 설명된 예시적인 양태 및 실시예에 더하여, 추가 양태 및 실시예는 도면을 참조하고 다음의 상세한 설명의 연구에 의해 명백해질 것이다.
일부 실시예에서, 본 개시는 이러한 타겟과 관련된 무선 장치에 의해 방출되는 무선 전송의 다양한 파라미터 및/또는 이러한 타겟과 관련된 다양한 이동 파라미터를 분석하는 것에 기반하여, 물리적 환경 또는 장면 내에서 하나 이상의 타겟을 검출 및 분류하는 것을 제공한다.
일부 실시예에서, 본 개시는 물리적 환경 또는 장면 내에서 하나 이상의 타겟을 검출하고 분류하는 것을 제공하며, 이러한 타겟 및/또는 다양한 이들 표적과 연관된 이동 파라미터로서, 검출은 타겟 유형에 기초하여 타겟을 하나 이상의 카테고리 또는 클래스로 식별 및/또는 분류하는 것을 더 포함한다.
예시적인 실시예가 참조 도면에 도시되어 있다. 도면에 표시된 구성요소 및 특징의 면적은 일반적으로 설명의 편의와 명확성을 위해 선택되며, 반드시 축척으로 표시되지는 않는다. 도면 목록은 아래와 같다.
도 1은 본 개시내용의 특정 실시예에 따른 물리적 환경 내에서 타겟을 검출 및 분류하기 위한 예시적인 시스템의 개략적인 상위 레벨 블록도이다;
도 2는 본 개시내용의 특정 실시예에 따른, 물리적 환경 내의 타겟을 검출 및 분류하기 위한 프로세스의 기능적 단계의 블록도이다;
도 3a는 본 개시내용의 특정 실시예에 따른, RF 검출 어레이의 예시적인 아키텍처를 개략적으로 도시한다;
도 3b는 본 발명의 특정 실시예에 따른 RF 어레이 및 신호 처리 모듈을 개략적으로 도시한다;
도 4a는 본 개시내용의 특정 실시예에 따른, 비협조 블루투스 장치의 거리 추정을 위한 방법의 단계적 흐름도이다;
도 4b는 본 개시내용의 특정 실시예에 따른, 장치에서 블루투스 송신기의 식별에 기초하여 와이파이 장치를 식별하기 위한 방법의 단계적 흐름도이다;
도 5는 본 개시내용의 특정 실시예에 따른, 위치 파라미터에 기초한 타겟 분류를 예시한다;
도 6은 본 개시내용의 특정 실시예에 따른, 보충 양식을 제기하는 타겟 분류를 위한 방법의 단계의 흐름도이다;
도 7a 내지 도 7c는 본 개시내용의 특정 실시예에 따른 다양한 도로 시나리오를 예시한다;
도 8 및 도 9는 본 개시내용의 특정 실시예에 따른 다양한 기계 학습 모델 구조를 도시한다; 그리고
도 10 및 11은 본 개시내용의 특정 실시예에 따른, 작업 현장 및 창고 환경에서의 본 방법의 예시적인 적용을 도시한다.
각 타겟과 관련된 하나 이상의 RF 장치로부터 방출된 무선 전송의 다양한 파라미터를 분석하는 것에 적어도 부분적으로 기초하여 물리적 환경 내에서 하나 이상의 타겟을 검출 및 분류하기 위한 시스템, 방법, 및 컴퓨터 프로그램 제품이 여기에 개시된다.
일부 실시예에서, 무선 송신 파라미터는 적어도 무선 송신 신호 파라미터, 무선 송신 데이터 콘텐츠, 및/또는 무선 송신 위치 파라미터를 포함한다.
일부 실시예에서, 본 개시는 이러한 타겟과 관련된 무선 장치에 의해 방출되는 무선 전송의 다양한 파라미터 및/또는 이러한 타겟과 관련된 다양한 이동 파라미터를 분석하는 것에 기반하여, 물리적 환경 또는 장면 내에서 하나 이상의 타겟을 검출 및 분류하는 것을 제공한다.
일부 실시예에서, 본 개시는 물리적 환경 또는 장면 내에서 하나 이상의 타겟을 검출하고 분류하는 것을 제공하며, 이러한 타겟 및/또는 다양한 이들 표적과 연관된 이동 파라미터로서, 검출은 타겟 유형에 기초하여 타겟을 하나 이상의 카테고리 또는 클래스로 식별 및/또는 분류하는 것을 더 포함한다.
일부 실시예에서, 본 개시 내용은 물리적 환경 또는 장면 내에서 하나 이상의 타겟을 검출하고 분류하는 것을 제공하며, 여기서 검출 및 식별은 다음 중 적어도 하나를 포함할 수 있다:
· 장치 감지: 주파수 분석, 신호 강도 분석 등과 같은 무선 전송 파라미터를 기반으로 환경 내 무선 장치와 관련된 타겟의 존재를 감지한다.
· 장치 식별: 전송 파라미터(예: 타임 스탬프, 전송 주파수, 위치 등)와 전송에 인코딩 된 데이터 및/또는 일련의 식별 파라미터(예: MAC 주소, 블루투스 주소, 주파수 호핑 패턴(frequency hopping pattern), 캐리어 주파수, 시차 이중 패턴(time difference duplex pattern) 등)를 기반으로 장치 유형을 식별한다.
· 타겟 분류:전송기 유형(휴대폰, 무선 헤드폰, 헤드셋, 스마트워치 등), 전송 프로토콜(2G, 3G, 4G, 5G, LTE, 와이파이 등), 사용자 유형(차량, 사람) 및 사용자 하위 유형(자동차, 스쿠터, 자전거, 오토바이, 승객, 운전자, 보행자 등)과 같은 일련의 기능을 특징으로 하는 개별 클래스로 타겟을 분류한다.
본 개시 내용은 무선 방출에 기초하여 물리적 장면 내의 타겟을 검출하고 위치시키는 것이 작동 및/또는 안전상의 이유로 바람직하거나 중요할 수 있는 다양한 애플리케이션으로 구현될 수 있다. 예를 들어, 일부 실시예에서, 본 개시에 따른 타겟 탐지 및 분류는 보행자, 자전거 이용자 및 마이크로 모빌리티 사용자를 탐지하고 위치를 파악하기 위해 시 또는 도시 교통 안전 프로그램의 일부로 구현될 수 있으며, 이러한 사용자와 관련된 위험한 상황을 평가한다. 또한, 사용자 및 당국에 적절한 경보를 발령하고/하거나 위험을 피하거나 완화시키기 위해 도로 표지판 및 신호를 작동시킨다.
유사한 시스템이 다른 환경, 예를 들어 도보로 일하는 작업자가 중장비와 결합하는 작업장 및 광산 현장, 제조 시설 및 창고, 공공 건물 및 장소, 주차장, 해양 응용 분야, 전투 시나리오 등등에서 구현될 수 있다.
일부 실시예에서, 본 개시 내용은 시각적 검출 양식이 실현가능하지 않거나 비실용적인 타겟의 검출과 관련하여 특히 유용할 수 있다. 예를 들어, 부분적으로 또는 완전히 불분명한 타겟의 경우. 예를 들어 일반적으로 시각적 탐지 기술을 사용하여 탐지하기 어려운 타겟 가시적 탐지 양식의 시야 또는 가시선 밖에 있는 타겟. 반사 표면 뒤에 있는 타겟(예: 유리 앞유리 뒤에 위치한 차량 탑승자) 또는 조명 및 가시성 조건이 까다롭거나 다양한 영역에 있는 타겟 등등 탐지를 용이하게 하기 위한 비교적 잘 정의되지 않은 특징을 가지고 있기 때문이다.
일부 실시예에서, 물리적 장면은 그 파라미터가 애플리케이션에 기초하여 결정될 수 있는 관심 영역(ROI)으로 정의될 수 있다. 일부 실시예에서, 본 발명은 관심 영역에 위치한 객체를 타겟으로 정의할 수 있다.
예를 들어, 움직이는 차량의 자동차 애플리케이션의 경우, 본 개시내용의 ROI는 차량을 둘러싸는 물리적 엔벨롭(physical envelope)에 대응하는 환경 좌표 필드를 포함하는 영역일 수 있다. 일부 실시예에서, ROI는 정의된 형상, 예를 들어 원형, 직사각형, 타원형 또는 차량 주위의 추상 형상을 가질 수 있다.
다른 애플리케이션에서 시설 또는 조경 기반 설치의 경우 좌표 필드는 지역, 경로, 교차점, 필드, 건물, 장소, 시설, 공원 및/또는 그 일부와 같은 특정 영역에 해당할 수 있다.
일부 실시예에서, ROI는 특정 차량, 예를 들어 자동차, 버스, 기차 차량, 선박 등으로 정의될 수 있다.
일부 실시예에서, 환경 좌표 필드는 비차량 중심 좌표 필드, 예를 들어 월드 좌표계, 경로 중심 좌표 필드 등에 대응할 수 있다.
본 개시는 비제한적인 예로서 교통 안전 및 자동차 애플리케이션의 맥락에서 타겟 검출 및 분류를 위한 본 방법의 사용을 광범위하게 논의할 것이다. 그러나, 위에서 언급한 바와 같이, 유사한 시스템은 많은 다른 애플리케이션 및 구현에서 이점을 제공할 수 있다.
예를 들어, 본 개시 내용에 따른 타겟 검출 및 분류 시스템은 기본 또는 보조 검출 시스템으로서 자율 주행(AD) 및 지능형 운전자 보조 시스템(ADAS)의 맥락에서 특정 이점을 제공할 수 있다.
이에 대한 배경으로, 대부분의 현재 차량은 적응형 순항 제어(ACC) 시스템, 사각 지대 모니터링, 충돌 방지 시스템, 보행자 보호 시스템 등과 같이 향상된 안전성, 운전자 지원 및 자율 주행 기능의 조합을 제공하는 ADAS 시스템 제품군을 가지고 있다. ADAS 시스템은 차량의 안전한 작동과 관련된 환경 정보의 감지를 포함하여 차량 운전자의 운전 작업의 일부를 수행할 수 있다.
ADAS 시스템을 포함하는 차량은 일반적으로 ADAS 시스템의 기능을 가능하게 하는 카메라 기반, 레이더 기반 및/또는 라이다(LiDAR) 기반 센서 세트와 같으나 이에 국한되지 않는 하나 이상의 센서를 포함하는 센서 세트를 포함한다. 센서의 데이터는 예를 들어 차량이 위치한 물리적 환경 또는 도로 환경, 이러한 물리적 환경 내의 정적 및 동적 객체, 정적 및 동적 객체에 대한 차량의 위치, 날씨, 기타 자연 현상, 물리적 환경 내에서 정적 및 동적 개체에 대한 응답으로 ADAS 시스템 제품군의 작동을 설명할 수 있다..
동적 객체는 도로에 존재하는 다른 차량, 보행자, 동물, 신호등 및/또는 환경 요인과 같이 모션 또는 작동 면에서 동적인 도로 환경의 하나 이상의 객체를 포함할 수 있다(예: 바람, 물, 얼음, 태양광의 변화).
ADAS 및/또는 자율 차량 환경 인식은 중요한 구성요소이다. ADAS 인식은 다양한 센서(예: 카메라, 레이더, Lidar 등)의 데이터를 사용하여 ADAS 시스템의 작동, 그리고 더 나아가 차량과 탑승자의 작동 및 안전과 관련될 수 있는 환경(예: 다른 차량, 보행자, 표지판, 도로 위험 요소)의 객체를 감지한다. 따라서, 정확한 환경 인식을 통해 ADAS 시스템은 가속, 감속, 제동 및/또는 조향과 같은 차량에 대한 작동 명령을 올바르게 결정할 수 있다.
ADAS 및 자율 주행(AD) 시스템은 감지 및 결정 작업을 위해 센서(예: 무선 감지 및 범위(RADAR), 카메라, 광 감지 및 범위(LiDAR) 센서, 초음파 센서)를 사용하고 있다. 인식 알고리즘은 객체(차량, 보행자, 도로 위험 요소)의 감지, 추적 및 위치 파악(차량의 정확한 위치)에 사용되며, 결정 알고리즘은 경로 계획 및 장애물 회피에 사용되며, 작동 알고리즘은 차량 가속, 감속, 제동 및 조향 명령을 설정하는 데 사용된다.
ADAS 센서는 일반적으로 탐지 타겟에 대한 명확한 시선에 의존하므로 지형, 기반 시설(건물, 교차로 등), 차량, 날씨 등에 의해 야기되는 장애물은 탐지 능력을 제한한다. 시야 제한으로 인해 이러한 센서는 일반적으로 최대 120˚의 특정 시야를 갖는다. 따라서 서라운드(360˚) 감지에는 차량 비용에 영향을 미치며 비용 효율적인 솔루션이 아닌 3개 이상의 센서가 필요하게 된다. 일반적으로 제품 설계 단계에서 탐지 확률을 최대한 높이면서 경보 오류 확률을 줄이기 위한 탐지 알고리즘의 최적화 프로세스가 존재한다. 예를 들어, 일반적인 시나리오는 두 차량 사이를 걷는 동안 부분적으로 가려진 보행자이다. 유사한 시나리오에서 탐지 확률을 높이면 다른 시나리오에서 경보 오류 확률이 증가할 수 있다.
따라서, 현재의 ADAS 시스템은 보행자, 기타 비차량 및/또는 부분적으로 가시적이거나 시각적으로 가려진 도로 타겟, 예를 들어 도로 사용자를 감지, 식별 및 분류하는 능력이 제한적이다. 예를 들어, 보행자, 자전거 라이더 및 기타 유사한 비차량 도로 사용자는 주로 길가와 인도에 있기 때문에 도로 차량의 시야에서 부분적으로 또는 완전히 가려지는 경우가 많다. 이러한 도로 사용자가 인프라 기능의 장애물 뒤에서 갑자기 도로에 나타나면 ADAS가 잠재적 위험을 피하기 위해 충분히 신속하게 조치하기에는 너무 늦을 수 있다.
또한, 시야 및 레이더 센서 양식에만 기초한 비차량 및/또는 적어도 부분적으로 가려진 타겟의 탐지 및 식별은 이러한 타겟이 일반적으로 탐지를 용이하게 하는 비교적 잘 정의되지 않은 특징을 갖기 때문에 더 어렵다.
대부분의 ADAS 시스템은 걷거나, 자전거를 타거나, 길을 건너거나, 차량 사이를 빠져나가는 동안 보행자를 식별하는 복잡한 작업을 수행해야 하는 시각적 및/또는 레이더 탐지 방식에 기반한다. 이러한 감지 방식은 다음과 같다. 변화하는 조명 조건, 안개, 비, 직사광선 등과 같은 환경 조건에 매우 민감하다. 주변 조건은 경보 오류 확률이 높은 ADAS 시스템을 초래할 수 있다.
몇 가지 가능한 솔루션은 보행자를 감지하기 위한 것이며, 예를 들어 보행자의 무선 장치에 애플리케이션을 설치하여 교통 환경에서 보행자를 감지할 수 있다. 이 솔루션은 차량 이외의 객체 감지와 관련된 일부 제한 사항을 극복할 수 있지만 몇 가지 단점이 있다. 일반적으로 이러한 응용 프로그램은 정확도가 제한되어 충분한 해상도로 위치를 결정할 수 없는 타겟 무선 장치의 GPS 정보에 의존한다. 예를 들어, 휴대폰 GPS 센서로 얻은 위치 정확도에 대한 최상의 시나리오는 일반적으로 5미터 이내이므로 일반적인 도로 환경 내에서 정확한 위치를 결정하기에는 정확도가 충분하지 않다. 또 다른 잠재적인 제한 사항은 사용자의 무선 장치에 애플리케이션을 설치해야 하고 위치 메시지를 주고받을 때 네트워크 대기 시간이 있다는 것이다.
따라서, 일부 실시예에서, 본 개시내용은 물리적 환경 내의 타겟의 검출, 식별 및/또는 분류를 제공한다. 일부 실시예에서, 교통 및 도로 환경의 맥락에서, 그러한 타겟은 예를 들어 보행자, 자전거 라이더, 및 기타 유사한 비차량 도로 사용자이다. 일부 실시예들에서, 검출 및 분류는, 적어도 부분적으로, 각각의 타겟과 연관된 하나 이상의 무선 장치들로부터 방출된 무선 전송들을 검출 및 분석하는 것에 기초한다. 이러한 타겟 무선 장치는 이동 전화, 무선 헤드폰, 헤드셋, 스마트워치 등 중 임의의 하나 이상을 포함할 수 있다.
다른 실시예에서, 본 개시는 타겟 무선 장치 검출 및 분석에 기초한 독립형 검출 시스템을 제공한다. 일부 실시예에서, 본 개시는 1차, 추가, 또는 보조 검출 양식으로서 하나 이상의 다른 검출 양식, 예를 들어 차량의 ADAS 시스템과 함께 사용되도록 구성될 수 있다. 일반적인 ADAS 탐지 양식을 타겟 무선 장치 탐지와 결합함으로써, 본 개시 내용은 탐지 정확도를 높이고 잠재적으로 위험한 상황의 비율을 줄이는 데 도움이 될 수 있다.
따라서, 본 개시물의 잠재적인 이점은 그것이 타겟과 연관된 무선 전송에 기초한 환경에서 타겟 또는 객체의 강력한 검출, 식별 및/또는 분류를 제공하는 것이다. 따라서, 예를 들어, 차량 애플리케이션, 해양 애플리케이션, 산업 및 상업 시설, 군사 애플리케이션 등에 사용하기 위한 조기 탐지 및 경보 시스템을 허용할 수 있다.
도 1은 본 개시내용의 특정 실시예에 따른 물리적 환경 내에서 타겟을 검출하기 위한 예시적인 시스템(100)의 상위 레벨 개략 블록도이다.
일부 실시예에서, 시스템(100)은 육상 및/또는 항공 및/또는 해상 차량 장착형, 도시의 마이크로 이동성 장착형, 보행자 장착형, 인력 장착형, 기반 시설 장착형, 산업 및 상업용 장비 장착형, 자동화 조립 라인 시설 및 장비 장착형 및/또는 가전 제품 장착형일 수 있다.
여기에 설명된 시스템(100)은 본 발명의 예시적인 실시예일 뿐이며, 실제로는 도시된 것보다 많거나 더 적은 구성요소를 가질 수 있거나, 둘 이상의 구성요소를 결합할 수 있거나, 다른 구성 또는 구성 요소의 배열을 가질 수 있다. 여기에 설명된 다양한 구성요소는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 다양한 실시예에서, 이러한 시스템은 전용 하드웨어 장치를 포함할 수 있거나 기존 장치에 대한 추가/또는 확장을 형성할 수 있다.
시스템(100)은 처리 모듈(110)(또는 "CPU" 또는 간단히 "프로세서")을 작동하도록 구성된 소프트웨어 명령 또는 구성요소를 저장 장치(118)에 저장할 수 있다. 일부 실시예에서, 소프트웨어 구성요소는 일반적인 시스템 작업(예: 메모리 관리, 저장 장치 제어, 전원 관리 등)을 제어 및 관리하고 다양한 하드웨어 및 소프트웨어 구성 요소간의 통신을 용이하게 하기 위한 다양한 소프트웨어 구성요소 및/또는 드라이버를 포함하는 운영 체제를 포함할 수 있다.
일부 실시예에서, 시스템(100)의 소프트웨어 구성요소는 일반적인 시스템 작업(예를 들어, 메모리 관리, 저장 시스템 제어, 전원 관리 등) 및 다양한 하드웨어 및 소프트웨어 구성 요소 간의 통신을 촉진한다.
일부 실시예에서, 처리 모듈(110)은 예를 들어, RF 센서 모듈(112), 신호 처리 모듈(114), 분류 모듈(116), 통신 모듈(120), 및/또는 사용자 인터페이스(122)를 제어하고 동작시킨다.
일부 실시예에서, 시스템(100)은 RF 센서 모듈(112)을 포함한다. 일부 실시예에서, RF 센서 모듈(112)은 예를 들어, 무선 주파수(RF) 신호와 같은 무선 신호와 관련하여 송신, 수신, 전력 공급, 증폭 및/또는 임의의 다른 동작을 수행하기 위해 구성된 하나 이상의 센서 또는 임의의 다른 구성요소를 포함하는 센서 어레이를 포함할 수 있다. 일부 실시예에서, RF 센서 모듈(112)은 RF 신호를 검출하도록 구성된 적어도 하나의 안테나이다. 일부 실시예에서, RF 센서 모듈(112)은 차량 내의 임의의 센서 어레이, 예를 들어, ADAS 센서 어레이와 통합되거나 그 일부를 형성할 수 있다.
일부 실시예에서, RF 센서 모듈(112)은 예를 들어, 하나 이상의 초음파 센서; 하나 이상의 RADAR 센서; 하나 이상의 광 감지 및 범위("LiDAR") 센서; 하나 이상의 서라운드 카메라(일반적으로 차체 전체의 영역을 이미지화하기 위해 차체의 다양한 위치에 위치함); 하나 이상의 스테레오 카메라(예: 차량 경로에서 객체 감지 및 객체 인식을 위한 깊이 인식 제공); 하나 이상의 적외선 카메라; 위치 좌표를 제공하는 GPS 장치; 조향각을 감지하는 조향센서; 속도 센서(각 바퀴에 하나씩); 차체의 움직임을 모니터링하는 관성 센서 또는 관성 측정 장치("IMU")(이 센서는 예를 들어 가속도계 및/또는 자이로 센서 및/또는 자기 나침반일 수 있음); 타이어 진동 센서; 및/또는 차량 주변 및 내부에 배치된 마이크를 더 포함할 수 있다. 일부 실시예에서, 센서 유닛(112)은 예를 들어, 글로벌 포지셔닝 시스템(GPS) 센서; 적외선 감지기; 움직임 감지기; 온도 조절기(thermostat); 음파 감지기, 일산화탄소 센서; 이산화탄소 센서; 산소 센서; 공기 유량 센서(mass air flow sensor); 엔진 냉각수 온도 센서(engine coolant temperature sensor); 스로틀 위치 센서(throttle position sensor;); 크랭크 샤프트 위치 센서; 자동차 엔진 센서; 밸브 타이머; 공연비 측정기(air-fuel ratio meter); 사각지대 측정기(blind spot meter); 연석 촉수(curb feeler); 결함 검출기; 홀 효과 센서; 매니폴드 절대 압력 센서(manifold absolute pressure sensor); 주차 센서; 레이더 건(radar gun); 속도계; 속도 센서; 타이어 공기압 모니터링 센서; 토크 센서; 변속기 유체 온도 센서(transmission fluid temperature sensor); 터빈 속도 센서(TSS, turbine speed sensor); 가변 저항 센서; 차량 속도 센서(VSS); 물 센서; 휠 속도 센서; 및 기타 모든 유형의 자동차 센서를 포함할 수 있다. 일부 실시예에서, 당업자에게 알려진 바와 같이 다른 센서가 사용될 수 있다.
일부 실시예에서, 분류 모듈(116)은 수신된 데이터에 대해 분류 알고리즘을 실행하여 물리적 환경 또는 장면 내에서 타겟을 검출 및 분류하는 것과 관련된 예측을 생성할 수 있다. 일부 실시예에서, 분류는 새로운 데이터에 적용될 알려진 구조를 일반화하는 작업으로 정의될 수 있다. "검출", "분류" 및 "예측"이라는 용어는 단순함을 위해 여기에서 상호 교환 가능하게 사용되며 기계 학습 모델의 모든 유형의 출력을 참조하도록 의도되었다. 이 출력은 입력이 해당 클래스에 속한다는 확실성을 나타내는 클래스 및 점수의 형태일 수 있다. 다양한 유형의 기계 학습 모델은 서로 다른 유형의 입력을 처리하고 각각의 유형의 출력을 생성하도록 구성될 수 있다. 이러한 모든 유형은 본 실시예에 의해 커버되도록 의도된다. “클래스”, “카테고리”, “카테고리 레이블”, “레이블” 및 “유형”이라는 용어는 객체를 지칭할 때 객체의 분류와 관련하여 동의어로 간주될 수 있다. "기계학습 모델"과 "기계학습 분류기"라는 용어는 혼용되어 사용되며, 편의상 "모델" 또는 "분류기"로 약칭할 수 있다. 이러한 용어는 입력을 기반으로 분류, 예측 또는 새로운 데이터 생성과 같은 출력을 생성할 수 있는 모든 유형의 기계 학습 모델을 참조하기 위한 것이다. 분류 알고리즘에는 선형 판별 분석, 분류 및 회귀 트리/의사결정 트리 학습/랜덤 포레스트 모델링, 최근접 이웃, 지원 벡터 머신, 로지스틱 회귀, 일반화 선형 모델, 나이브 베이지안 분류, 신경망 등이 포함될 수 있다.
일부 실시예에서, 신호 처리 모듈(114)은 RF 센서 모듈(112)에 의해 수신된 RF 신호를 분석하고, RF 방출 장치의 상대 위치, 방향, 거리, 속도 및/또는 가속도를 측정하고 추정하는 것을 포함하지만 이에 제한되지 않는 방출 장치에 대한 하나 이상의 파라미터를 추정하도록 구성된다.
일부 실시예에서, 통신 모듈(120)은 시스템(100)을 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 네트워크와 같은 네트워크에 연결하도록 구성될 수 있다. 일부 실시예에서, 네트워크는 차량 내의 로컬 네트워크이다. 일부 실시예에서, 통신 모듈(120)은 하나 이상의 외부 포트를 통해 다른 장치와의 통신을 용이하게 하고, 또한 시스템(100)에 의해 수신된 데이터를 처리하기 위한 다양한 소프트웨어 구성요소를 포함한다.
일부 실시예에서, 사용자 인터페이스(122)는 시스템(100)을 제어하기 위한 제어 패널, 버튼, 디스플레이 모니터, 및/또는 오디오 명령을 제공하기 위한 스피커 중 하나 이상을 포함한다. 일부 실시예에서, 시스템(100)은 물리적 또는 가상 조이스틱, 마우스, 및/또는 클릭 휠과 같은 하나 이상의 사용자 입력 제어 장치를 포함한다. 일부 실시예에서, 사용자 인터페이스(122)는 예를 들어 시스템(100)이 설치된 차량의 운전자 및/또는 다른 운전자 인터페이스에 통합될 수 있다. 일부 실시예에서, 사용자 인터페이스(122)는 시스템(100)의 사용자, 예를 들어, 운전자, 차량의 조작자 등에게 경보를 발행하도록 구성될 수 있다.
다른 변형 예시에서, 시스템(100)은 주변 인터페이스, RF 회로, 오디오 회로, 마이크로폰, 입/출력(I/O) 서브시스템, 다른 입력 또는 제어 장치, 광학 또는 기타 센서, 및 외부 포트 중 하나 이상을 포함한다. 위에서 식별된 모듈 및 애플리케이션 각각은 위에서 설명된 하나 이상의 기능을 수행하기 위한 명령 세트에 대응한다. 이들 모듈(즉, 명령어 세트)은 별도의 소프트웨어 프로그램, 절차 또는 모듈로서 구현될 필요가 없고, 따라서 이러한 모듈의 다양한 서브세트는 다양한 실시예에서 결합되거나 다양하게 재배열될 수 있다.
일부 실시예에서, 시스템(100)은 데이터를 ADAS 제품군에 제공하기 위해, 예를 들어 통신 모듈(120)을 통해 시스템(100)이 설치된 차량의 ADAS 제품군과 통신 및/또는 협력하도록 추가로 구성될 수 있다. 이는 가속, 감속, 제동 및/또는 조향과 같은 차량에 대한 작동 명령의 조정으로 이어질 수 있다. 일부 실시예에서, 처리 모듈(110)은 차량 경로의 전방 계획을 위해 RF 센서 모듈(112), 신호 처리 모듈(114), 및/또는 분류 모듈(116)로부터의 데이터를 사용하는 결정 및/또는 계획 기능을 수행하도록 추가로 구성될 수 있다. 그런 다음 전방 계획 결정은 예를 들어 브레이크, 가속, 조향, 앞유리 와이퍼 등을 제어하는 데 사용되는 최신 자동차 내부의 네트워크인 컨트롤러 영역 네트워크 데이터 인터페이스("CAN 버스")를 통해 차량 시스템을 작동하기 위한 명령 신호로 전송될 수 있다.
일부 실시예에서, 시스템(100) 및/또는 시스템의 임의의 모듈 또는 구성요소는 차량의 온 보드 및/또는 차량의 외부(예: 클라우드)에 설치될 수 있다. 일부 실시예에서, 시스템(100)은 차량 탑재 시스템이고 그 구성 요소는 차량의 임의의 부분에 탑재될 수 있다.
일부 실시예에서, 시스템(100)의 모듈 및 구성요소의 일부 또는 전부는 차량의 시스템에 통합될 수 있다. 일부 실시예에서, 시스템(100)은 차량 및 그 주변 환경에서 주요 포인트 및 특징을 검출하는 컴퓨터 비전 알고리즘 및/또는 신호 처리 알고리즘을 포함하지만 이에 제한되지 않는 다양한 기술을 추가로 구현할 수 있다. 일부 실시예에서, 알고리즘은 정확도, 정밀도 및 처리 시간을 개선하기 위해 미리 정의된 매개변수의 데이터베이스를 사용할 수 있다. 또한 알고리즘은 제조사, 모델, 연식 등과 같은 측정 중인 차량에 대한 사용자 입력을 사용할 수 있다.
현재, 차량, 보행자 및 도로 기반 시설은 V2X(V2V, V2I, V2P, V2C), 모바일 네트워크(2G, 3G, 4G, 5G, LTE, 4G-FDD, 4G-TDD, CV2X), 근거리 전용 통신(DSRC), WiFi, Zigbee, LoRa, Bluetooth 및 차동 GPS(DGPS 를 포함하지만 이에 국한되지 않는 다양한 프로토콜 중 어느 하나를 사용하는 RF 및/또는 기타 무선 통신 프로토콜을 사용할 수 있다. 또한 레이더 센서와 같은 다른 차량 구성 요소는 RF 방출 장치일 수 있다.
일반적으로, 모든 RF 전송은 무선 전송을 위한 알려진 표준 및 프로토콜 중 하나 이상을 따른다. 따라서 다양한 전송 파라미터(예: 주파수 대역)를 모니터링하여 RF 방출 장치, 특히 스마트폰, 휴대폰, 무선 헤드셋, 스마트 워치 등과 같은 무선 장치를 감지, 식별 및 분류할 수 있다.
도 2는 물리적 환경 내에서 타겟을 검출하기 위한 프로세스의 기능적 단계의 블록도이고, 본 개시의 특정 실시예에 따르면, 적어도 부분적으로, 이들 타겟과 연관된 하나 이상의 무선 장치로부터 방출된 무선 송신을 검출 및 분석하는 것에 기초한다. 이러한 타겟 무선 장치는 휴대폰, 무선 헤드폰, 헤드셋, 스마트 워치 중 임의의 하나 이상을 포함할 수 있다.
일부 실시예에서, 본 프로세스는 RF 감지 및/또는 검출, 국부화(localization), 우선 순위화, 추적, 예측/분류 및 경보 발행의 기능적 단계를 포함한다.
일부 실시예에서, 위에서 언급한 바와 같이, 시스템(100)은 와이파이 인식 등일 수 있으며, 즉, 예를 들어, 와이파이, 블루투스 등과 같은 임의의 RF 프로토콜을 통해 주변 환경 장치와의 빠른 감지, 연결 및 데이터 교환을 제공하도록 구성될 수 있다. 일부 실시예에서, RF 센서 모듈(112)은 RF 수신기, 검출기, 및 송신기를 포함하는 RF 어레이를 포함할 수 있다. 일부 실시예에서, 센서 어레이(112)는 또한 예를 들어, 와이파이 및/또는 블루투스 네트워크 통신 및 관리 기능을 포함할 수 있다. 일부 실시예에서, RF 센서 모듈(112)은 와이파이, 블루투스, 및/또는 NAN(neighbor Aware network), 무선 LAN 네트워크 및/또는 유선 LAN 네트워크, 셀룰러 네트워크, 및/또는 V2X 통신 네트워크와 호환될 수 있다. RF 감지 어레이에 의해 타겟 장치의 RF 전송 신호를 감지 및 식별한 후 신호 처리 어레이는 해당 장치까지의 방향 및 거리를 추정하고, 물리적 계층과 데이터 계층 모두에서 블루투스, 와이파이, 셀룰러 및/또는 V2X 전송 매개변수를 사용할 수 있다.
예를 들어, 장치에 의해 사용되는 송신 주파수를 검출함으로써, 시스템(100)은 임의의 주변 작동 및 송신 개인 장치를 분류하고 위치를 지정할 수 있다. 그 후, 시스템(100)은 동일한 위치에 위치한 송신기 또는 통신 개인용 장치를 하나의 식별된 장치 또는 객체로 융합할 수 있다(예를 들어, 셀룰러 폰은 와이파이, 블루투스 및 셀룰러에서 동시에 전송할 수 있음). 사용자 또는 객체가 휴대하는 개인 장치는 주 처리 장치에 의해 추적될 수 있고, 우선 순위가 지정될 수 있으며, 해당 파라미터는 차량 ADAS 시스템으로 전송될 수 있다.
도 3a는 일부 실시예에 따른 RF 센서 모듈(112)의 일부로서 시스템(100)에 의해 사용되는 RF 검출 어레이(300)의 예시적인 아키텍처를 개략적으로 도시한다. 도 3b는 RF 센서 모듈(112) 및 신호 처리 모듈(114)의 일부일 수 있는 RF 어레이(300)를 개략적으로 도시한다.
어레이(300)는 하나 이상의 안테나 및/또는 안테나 어레이 및/또는 유사한 요소 및/또는 구성요소를 포함하여 시스템(100)이 거리, 위치, 방위 및/또는 궤적을 검출, 계산 및/또는 추정할 수 있다. 시스템은 RF 신호를 수신하는 수동형이거나 RF 신호를 송수신하는 능동형일 수 있다. 정확도와 탐지 능력을 향상시키기 위해 하나 이상의 탐지 시스템이 사용될 수 있다.
RF 검출 어레이는 예를 들어 전방향성 및/또는 지향성 안테나, BPF(대역 통과 필터), 및/또는 또는 LNA(Low Noise Amplifier)를 사용하여 수신 신호 SNR(Signal to Noise Ratio)을 개선한다. 어레이(300)는 소프트웨어 정의 라디오(SDR, Software Defined Radio), 아날로그-디지털 변환기(ADC), RF 믹서, 저역 통과 필터(LPF), 및 신호 처리 유닛을 포함할 수 있다. 어레이(300)는 수신된 RF 전력 신호 각각의 신호 강도를 검출하기 위한 하나 이상의 RF 전력 검출기, 및 이를 나타내는 출력 신호를 생성하는 위상 검출기를 더 포함할 수 있다.
일부 실시예에서, 신호 처리 모듈(114)은 RF 방출 장치의 상대 위치를 측정 및 추정하도록 구성될 수 있다. 일부 실시예에서, 수신 신호 강도 표시기(RSSI, Signal Strength Indicator), 왕복 시간(RTT, round-trip time　), 삼각 측량, DRSSI(differential RSSI) 및 비행 시간 측정(FTM) 방법이 수신 신호 강도 및 다중 측량(알려진 다른 지점에서 다중 거리 측정)의 측정을 기반으로 하는 RF 방출 장치와 검출기 사이의 거리를 측정하는 데 사용될 수 있다. 일부 실시예들에서, 다음 파라미터들 중 하나 이상이 사용될 수 있다: AOA(Angle of Arrival), CRLB(Cramer Rao Lower Bound), CEP(Circular Error Probable), DDOP(Differential Doppler), DF(Direction Finding), DFOA(Differential Frequency of Arrival), DOA(Direction of Arrival), DPD(Direct Position Determination), DTOA(Differential Time of Arrival), EM(Expectation Maximization), ESPRIT(Estimation of Signal Parameters via Rotational Invariance Techniques), FDOA(Frequency Difference of Arrival), GDOP(Geometric Dilution of Precision), IQML(Iterative Quadratic Maximum Likelihood), LOP(Line of Position), ML(Maximum Likelihood), MLE(Maximum Likelihood Estimator), 및 MUSIC(Multiple Signal Characterization). 일부 실시예에서, 이들 기술 중 임의의 하나 이상이 시스템(100)의 위치에 대한 RF 방출 장치의 위치를 결정하는 데 사용될 수 있다. 일부 실시예에서, 시스템(100)은 더 높은 성능을 달성하기 위해, 예를 들어 관심 영역 외부에 있어 시스템과 관련이 없는 객체 생략(예: 도로에서 멀리 떨어진 사람 감지)과 같은 2D, 3D, 및/또는 고화질 매핑 데이터를 사용할 수 있다. 일부 실시예에서, 어레이(300)는 정의된 영역, 예를 들어 상업 및/또는 제조 시설, 창고, 학교 구역 등의 정의된 영역 내의 객체에 의해 운반되는 짝을 이루는 비콘의 검출 능력을 개선하기 위해 하나 이상의 전용 RF 비콘을 더 포함할 수 있다. RF 비콘은 고유한 승인된 RF 주파수를 사용하거나 블루투스, 와이파이, 지그비(ZigBee), 셀룰러(V2X, DSRC, 5G, LTE, 4G, 3G, 2G) 송신기 또는 RFID와 같은 수동 RF 요소 같은(이에 국한되지 않음) 공통 프로토콜을 기반으로 할 수 있다.
일부 실시예에서, 시스템(100)은 타겟 무선 장치에 설치된 전용 애플리케이션과 통신하도록 구성되어, 타겟 무선 장치가 타겟 무선 장치의 이용 가능한 송신기 중 임의의 것을 사용하여 주기적 식별 신호를 전송하게 할 수 있다(LTE, 5G, 와이파이, 블루투스, CV2X 등).
일부 실시예에서, 시스템(100)은 임의의 전송 프로토콜(와이파이, 와이파이 인식 , 블루투스, 지그비 등)에 의해 타겟 무선 장치의 메시지 및/또는 패킷 및 주소를 관리하고 제어하는 네트워크의 사용을 검출하고 판독할 수 있다. 일부 실시예에서, 이러한 정보를 물리적 신호 파라미터와 상관시키는 것은 시스템 정확도를 개선하고/개선하거나 장치 상태(예를 들어, 페어링됨, 페어링되지 않음, 사용 중 등)에 관한 의미론적(semantic) 컨텍스트를 추가할 수 있다.
일부 실시예에서, 시스템(100)은 객체 추적 모듈을 더 포함할 수 있다. 이 모듈은 타겟 장치 파라미터, 주파수 호핑 패턴 및/또는 속도, 거리, 방향, 유형 등과 같은 개인 장치 속성을 추적하여 개인 기기 분류, 위치 및 신뢰 수준을 개선하는 도플러 기반 알고리즘 또는 위치 추적 알고리즘을 기반으로 하는 다양한 유형의 추적 알고리즘을 사용할 수 있다.
일부 실시예에서, 시스템(100)은 시스템(100)에 연관될 수 있는 차량의 존재를 장치 사용자에게 경고하기 위해 메시지 및/또는 네트워크 제어 메시지를 주변에 있는 타겟 무선 장치에 신속하게 연결하고 전송하도록 구성될 수 있다. 일부 실시예에서, 이것은 근처의 이미터(emitter)와 순간적인 무선 연결을 설정함으로써 수행될 수 있다. 이는 이미터가 근처에 있는 액세스 포인트를 검색하고 감지하도록 권장하여 수행할 수 있다. 또한, 와이파이 인식 기능 또는 NAN 네트워크를 사용하여 수행할 수도 있다.
일부 실시예에서, 시스템(100)은 환경(예: 제어 채널, 음성용 다운링크 채널, 데이터용 다운링크 채널, 음성용 업링크 채널, 데이터용 업링크 채널)에서 타겟 무선 장치를 방출함으로써 모든 RF 전송 채널을 스캔 및/또는 검출하도록 구성될 수 있다. 일부 실시예에서, 시스템(100)은 이들 채널 모두를 모니터링할 수 있고/있거나 검출 범위, 신호 속도, 식별 정보 등과 같은 더 나은 성능을 허용하는 특정 채널을 모니터링할 수 있다.
일부 실시예에서, 타겟 무선 장치의 식별은 장치 식별 파라미터, 장치 특징, 장치 제조사 및 모델 중 하나 이상을 검출하는 것을 포함할 수 있다.
거리 추정
일부 실시예에서, 시스템(100)의 신호 처리 모듈(114)은 예를 들어 차동 수신 신호 강도 측정에 의해 시스템(100)의 환경 내에서 송신기/이미터 타겟 무선 장치까지의 거리를 추정하도록 구성될 수 있다.
일부 실시예에서, 비제한적인 예로서, 타겟 무선 장치와 같은 RF 전송 장치까지의 거리를 측정하는 것은 RSSI(수신 신호 강도 표시기)를 사용하여 수행될 수 있으며, 여기서 에미터는 수신된 신호의 강도를 기반으로 추정될 수 있다. 그러나 이 방법은 수신 신호 레벨이 송신기 이득, 송신기 위치, 송신기 안테나 이득, 차폐, 반사 등으로 인해 크게 다를 수 있기 때문에 정확도가 상대적으로 낮다.
RSSI에 의한 거리 추정 공식은 다음과 같이 표현될 수 있다:
Figure pct00001
여기서:
Figure pct00002
Figure pct00003
Figure pct00004
Figure pct00005
Figure pct00006
거리는 다음과 같이 주어질 수 있다:
Figure pct00007
여기서,
Figure pct00008
Figure pct00009
Figure pct00010
Figure pct00011
Pt ,Gt 및 α는 거리 오차에 기여하는 미지의 계수이다.
오류를 줄이기 위해 신호 처리 모듈(114)은 차동 RSSI 방법을 사용할 수 있다. 여기서 관측된 전력 Pr은 짧은 시간 내에 적어도 3개의 다른 위치에서 측정되고, 시스템(100)이 설치된 차량의 속도와 샘플링 지점 사이의 거리는 알려져 있다. 이것은 3개의 미지의 변수(Pt+Gt; α; d)를 제공한다. 송신기가 거리에 대해 샘플간 이동을 많이 하지 않았다고 가정하면 다음과 같이 표준 RSSI보다 더 높은 정확도로 d를 추정할 수 있다:
Figure pct00012
위와 같이 거리 d는 높은 연산 능력을 사용하지 않고도 수치 연산으로 추정할 수 있다.
일부 실시예에서, 신호 처리 모듈(114)은 분류 및 위치 데이터를 사용하여 송신기/이미터 장치에 대한 거리 추정을 개선하도록 추가로 구성될 수 있다. 위에서 설명한 것처럼 RSSI를 사용할 때 추정해야 하는 세 가지 자유 계수(free coefficients)가 있으며 이로 인해 부정확성이 발생할 수 있다. 계수는 다음과 같다:
Figure pct00013
Figure pct00014
Figure pct00015
변수 α는 자유 공간에서 α = 2의 값에서 실내 및 밀집된 도시 환경에서 최대 α = 4까지의 환경과 관련된다. 차량 내비게이션에서 제공하는 위치와 매핑 데이터를 이용하여 α파라미터를 보다 정확하게 평가할 수 있다. 그런 다음 Pt 및 Gt는 장치 유형의 식별 및/또는 분류를 기반으로 추정될 수 있다. 예를 들어 스마트폰 송신 전력(Pt)은 약 25dBm이고, 안테나 이득은 약 3dBi이다. 이러한 파라미터를 더 잘 추정함으로써 더 정확한 거리 추정을 달성할 수 있다.
일부 실시예에서, 신호 처리 모듈(114)은 와이파이 장치까지의 거리 추정을 제공할 수 있다. 와이파이 송신기까지의 거리를 추정할 때, 신호 처리 모듈(114)은 차량 운반 시스템(100)과 보행자가 운반할 수 있는 타겟 무선 장치 사이의 거리를 추정하기 위해 FTM(flight time measurement) 또는 RTT(round trip time)를 사용할 수 있다.
일부 실시예에서, 신호 처리 모듈(114)은 방향 찾기에 의해 송신기/이미터까지의 거리 추정을 제공할 수 있다. 타겟 무선 장치까지의 거리를 추정하기 위해, 신호 처리 모듈(114)은 각각 타겟 무선 장치에 대한 방위를 개별적으로 측정하도록 구성된 둘 이상의 RF 어레이를 사용할 수 있다. 2개 이상의 각도를 측정함으로써, 신호 처리 모듈(114)은 삼각 측량에 의해 상대 거리를 계산할 수 있다.
일부 실시예에서, 추가적인 및/또는 다른 거리 추정 방법이 사용될 수 있다.
장치 감지 및 식별
일부 실시예에서, 신호 처리 모듈(114)은 비협조 블루투스 장치를 탐지, 식별 및 분류하기 위해 제공될 수 있다. 일반적인 블루투스 장치는 비협조 모드에 있을 수 있다(예: 장치가 다른 장치와 페어링된 경우(예: 헤드폰과 페어링된 휴대폰) 또는 검색 불가능 모드에 있는 경우). 그러한 경우에, 신호 처리 모듈(114)은 이것의 MAC(미디어 액세스 제어) 주소 또는 블루투스 주소(BD_ADDR)를 사용하여 타겟 무선 장치와 통신하도록 구성될 수 있다. 블루투스 주소의 구조는 다음과 같다:
Figure pct00016
·OUI - 조직적 고유 식별자(Organizationally Unique Identifier)
·NAP - 중요하지 않은 주소 부분(2바이트). OUI의 처음 16비트를 포함한다. NAP 값은 주파수 도약 동기화 프레임에서 사용된다.
·UAP - 상위 주소 부분(1바이트). OUI의 나머지 8비트를 포함한다. UAP 값은 다양한 블루투스 사양 알고리즘에서 씨딩(seeding)에 사용된다.
·LAP - 하위 주소 부분(3바이트). 블루트스 주소의 이 부분은 장치 공급업체에서 할당한다. LAP 값은 전송된 모든 프레임에서 액세스 코드의 일부로 블루투스 장치를 고유하게 식별한다.
도 4a는 비협조 블루투스 장치의 거리 추정을 위한 방법을 위한 단계 들의 흐름도이다. 일부 실시예에서, 장치 LAP만이 검출될 수 있다. 일부 실시예에서, 블루투스 장치가 감지 불가능한 경우, 그 주소 요소 중 어느 것도 감지할 수 없을 수 있다. 일부 모바일 장치에서 와이파이 및 블루투스 MAC 주소는 동일하거나 LAP 마지막 섹션의 미세한 차이만 반영한다. 따라서 장치의 Bluetooth UAP MAC 주소는 다음과 같을 수 있다:
·기기의 와이파이 UAP MAC 주소를 감지하여 결정되거나, 또는
·와이파이 LAP MAC 주소를 기반으로 추정된다.
블루투스 장치로의 통신은 장치가 전송하는 파라미터 세트에 기초하여 장치를 분류할 수 있게 하는 장치의 LAP 및 UAP를 알면 달성될 수 있다. 이 프로세스를 사용하여 완전한 페어링 프로세스를 달성할 수 있다.
일부 실시예에서, 신호 처리 모듈(114)은 페어링 된 블루투스 장치를 검출하고 식별하도록 구성될 수 있다. 일부 경우에, 타겟 무선 장치는 다른 블루투스 장치, 예를 들어 헤드셋, 이어폰, 무선 스피커 및/또는 차량 핸즈프리 시스템과 페어링될 수 있다. 이러한 상황에서 타겟 무선 장치는 "마스터"로 선언되고 다른 블루투스 장치는 "슬레이브"로 선언된다. 여기서 마스터와 슬레이브의 블루투스 MAC 주소는 모두 마스터의 MAC 주소에 병합된다. 따라서, 페어링된 장치를 감지하기 위해 신호 처리 모듈(114)은 타겟 무선 장치 및/또는 블루투스 장치에 의해 전송된 파라미터를 사용할 수 있다. 그리고 예를 들어, 페어링 된 장치들 사이에서 전송된 데이터 패킷의 양 및 패턴에 기초하여 페어링 된 블루투스 장치가 제시되는지 여부를 분석한다.
일부 실시예에서, 신호 처리 모듈(114)은 와이파이 전송에 기초하여 타겟 무선 장치 검출 및 식별을 제공할 수 있다. IEEE 802.11 프로토콜을 사용하는 와이파이 장치는 모바일 장치, 액세스 포인트 등에 일반적으로 사용된다. 장치가 작동하는 동안 무선 네트워크 또는 이웃 인식 네트워크를 식별하기 위해 MAC 주소를 전송한다.
일부 실시예에서, 신호 처리 모듈(114)은 SSID(Service Set Identifier), BSSID(Basic Service Set Identifier), ESS(Extended Basic Service Set), 신호 강도 및 MAC 주소 중 하나에 기초하여 와이파이 가능 타겟 무선 장치를 분류할 수 있다.
일부 실시예에서, 도 4b에 도시된 바와 같이, 와이파이 장치를 식별하는 것은 장치가 와이파이 및 블루투스 송신기를 모두 포함하는 장치에서 블루투스 송신기의 식별에 기초할 수 있다.
일부 실시예에서, 신호 처리 모듈(114)은 다수의 추가 데이터 포인트, 예를 들어 시스템(100)의 위치에 대한 무선 장치의 속도, 위치, 거리 및 방향에 기초하여 타겟 무선 장치 식별을 제공할 수 있다. 예를 들어, 스마트폰으로 식별되고 고속으로 이동하는 것으로 감지된 타겟 무선 장치는 이동하는 차량 내의 위치를 나타낼 수 있고, 걷는 속도로 진행하는 스마트폰은 도 5와 같이 보행자 또는 자전거 라이더인 타겟을 나타낼 수 있다. 일부 실시예에서, 속도, 위치, 거리 및 방향과 같은(이에 국한되지 않음) 동일한 속성을 공유하는 RF 방출 장치의 집합이 식별을 위해 사용될 수 있다. 예를 들어, 휴대폰, 핸즈프리 블루투스 장치, 와이파이 장치 및 LTE 장치가 모두 같은 속도와 방향으로 움직이는 바를 이용하여 전기 스쿠터 객체를 정의할 수 있다.
일부 실시예에서, 본 개시내용은 이러한 양식에 내재된 약점을 극복하기 위해 공통 ADAS 시각 기반 검출 양식과 결합될 수 있다. 타겟 무선 장치 감지를 사용하면 시각적으로 감지된 타겟과 관련된 무선 장치를 감지할 수 있으므로, ADAS의 감지 견고성 및 성능이 향상된다. 또한 예측 알고리즘을 사용하여 시야가 확보되지 않거나 차량이 잘 보이지 않는 상황에서 발생할 수 있는 위험한 상황을 예측할 수 있다. 예시는 도 6에 도시되어 있다. 1차 타겟 탐지는 ADAS 시스템의 시각적 탐지 방식에 의해 수행될 수 있다. 예를 들어, 타겟이 부분적으로 가려진 경우, ADAS 탐지 알고리즘은 탐지를 낮은 수준의 확실성과 연관시킬 수 있다. 그런 다음 ADAS 시스템은 시각적 탐지를 타겟 무선 장치 기반 탐지와 결합하여 1차 탐지를 검증하고 확인할 수 있다. 따라서 ADAS 시스템은 탐지 확실성의 수준을 향상시킬 수 있다.
기계 학습 분류
일부 실시예에서, 본 개시는 또한 무선 전송의 다양한 파라미터, 그리고 이러한 타겟과 관련된 모션 파라미터를 분석하는 것에 적어도 부분적으로 기초하여 물리적 환경 내에서 타겟 유형을 분류 및/또는 예측하기 위한 학습된 기계 학습 모델을 제공한다.
일부 실시예에서, 본 개시의 학습된 기계 학습 모델은 무선 장치에 의해 타겟과 관련된 무선 장치에 의해 방출되는 무선 전송의 다양한 파라미터를 분석하는 것에 기초하여 물리적 환경 또는 장면 내에서 타겟 유형을 분류 및/또는 예측하기 위해 제공할 수 있다.
일부 실시예에서, 이러한 장치는 다음 중 하나 이상일 수 있다: 모바일 장치, 스마트 폰, 스마트 워치, 무선 헤드폰, 태블릿, 랩톱, 마이크로 모빌리티 탑재 텔레매틱스 유닛, 차량 탑재 텔레매틱스 유닛, 차량 인포테인먼트 시스템, 차량 핸즈프리 시스템, 차량 타이어 압력 모니터링 시스템, 드론, 카메라, 대시캠, 프린터, 액세스 포인트 및 주방 가전.
일부 실시예에서, 본 개시 내용의 학습된 기계 학습 모델은 타겟 유형을 다음 중 하나로 분류 및/또는 예측하는 것을 추가로 제공할 수 있다: 보행자, 차량 운전자, 차량 승객, 버스 운전자, 버스 승객, 트럭 운전자, 트럭 승객, 공유 스쿠터 라이더, 공유 자전거 라이더, 스쿠터 라이더, 자전거 라이더, 오토바이 라이더, 이동성 스쿠터 라이더, 트램 승객, 경열차 승객, 기차 승객 , 자동차, 버스, 트럭, 공유 스쿠터, 공유 자전거, 스쿠터, 자전거, 오토바이, 이동성 스쿠터, 트램, 경전철, 기차.
일부 실시예에서, 본 개시의 학습된 기계 학습 모델은 예를 들어, 스마트폰, 데이터 애플리케이션, 음성 통화, 콘텐츠 스트리밍 등을 사용하여 타겟의 상황 인식 및/또는 장치 사용 파라미터를 예측하는 것을 추가로 제공할 수 있다.
일부 실시예에서, 본 개시의 기계 학습 모델은 적어도 하나의 타겟을 포함하는 다양한 장면과 연관된 데이터를 포함하는 학습 데이터 세트에 대해 훈련될 수 있으며, 각각의 타겟과 연관된 데이터 포인트는 하나 이상의 장치 및/또는 타겟과 연관되고/되거나 타겟을 제외하고 운반되는 하나 이상의 RF 송신기에 의해 방출되는 무선 전송과 관련된다. 일부 실시예에서, 이러한 데이터 포인트는 다음에 관련된 데이터를 포함할 수 있다::
·무선 전송 신호 파라미터,
·무선 전송 데이터 콘텐츠 및/또는
·무선 전송 위치 파라미터.
일부 실시예에서, 무선 전송 신호 파라미터 및/또는 데이터 콘텐츠는 다음을 포함할 수 있지만 이에 국한되지는 않는다: 신호 주파수, 신호 대역폭, 신호 강도, 신호 위상, 신호 상관성(coherence), 패킷 파라미터(유형, 크기 등), 네트워크 토폴로지, 고유 장치 식별자(예: MAC, SSID, BSSID, ESS, UUID, TIMSI, IMSI 등), 신호 타이밍(예: 무선 장치가 시분할 다중 액세스 또는 시분할 이중 프로토콜을 사용할 때), 데이터 패킷 파라미터(유형, 크기 등), 네트워크 토폴로지, 신호 부반송파(예: OFDM(Frequency-Division Multiplexing)) 및 FDD(Frequency Division Duplex).
일부 실시예에서, 위치 파라미터는 무선 전송 패턴에 기초하여, 타겟과 연관된 위치 및/또는 움직임 파라미터(예: 위치, 속도, 가속도, 궤적, 저크(jerk) 및 이러한 각 파라미터와 관련된 과거 정보)를 포함할 수 있지만, 이에 제한되지는 않는다. 일부 실시예에서, 위치 파라미터는 타겟 오버타임의 위치 파라미터를 지속적으로 추적하는 것에 기초하여 획득될 수 있으며, 여기서 다양한 파라미터는 타임 스탬프로 표시된다. 일부 실시예에서, 위치 파라미터는 적절한 시간 표시로 주석이 달린 위치 이력을 포함할 수 있다.
일부 실시예에서, 본 개시 내용의 학습 데이터 세트는 각각의 타겟과 연관된 타겟 카테고리 레이블로 주석이 달릴 수 있다. 일부 실시예에서, 본 개시의 학습 데이터 세트에 주석(annotation)을 달고/달거나 레이블링(labeling)하는 것은 수동 주석 기술을 사용하여 수행될 수 있다.
일부 실시예에서, 주석은 셀프 레이블링(self-labeling) 및/또는 셀프 감독(self-supervised) 기술을 포함할 수 있으며, 여기서 학습 세트의 데이터 포인트는 예를 들어 다른 상관 및/또는 관련된 데이터 포인트에 기초하여 자동으로 레이블링 된다. 일부 예시에서, 타겟은 복수의 데이터 포인트 또는 그와 관련된 데이터 인스턴스를 가질 수 있으며, 여기서 하나 이상의 이러한 데이터 포인트는 타겟의 식별 및/또는 분류에 대한 표지를 제공할 수 있다. 그러한 경우에, 단일 또는 다수의 데이터 포인트가 타겟의 식별 및/또는 분류에 대한 실제 지표를 제공할 때, 데이터 포인트의 전체 세트는 그에 따라 주석이 달릴 수 있다. 예를 들어, 무선 전송에서 얻은 데이터 콘텐츠는 타겟 카테고리 또는 클래스에 대한 표지를 제공할 수 있다. 예를 들어, SSID에 "버스"라는 단어가 포함된 와이파이 신호는 버스 범주에 속하는 것으로 가정할 수 있다(예: 버스에 설치된 와이파이 게이트웨이 또는 액세스 포인트). 다른 예시에서, 무선 전송이 "아이폰"이라는 단어를 포함하는 장치 이름을 나타내는 경우, 장치는 스마트 폰으로 가정될 수 있다. 또 다른 예시에서, 타겟의 위치, 예를 들어 고속도로, 보행자 보도, 또는 자전거 도로는 타겟 유형에 대한 실측 표시를 제공할 수 있다. 일부 실시예에서, 동일한 장치에 포함된 서로 다른 RF 전송 방식의 유사하거나 동일한 MAC 주소가 교차 레이블링 목적으로 사용될 수 있다.
따라서, 동일한 타겟과 연관 및/또는 상관된 학습 세트의 모든 데이터 포인트는 유사한 카테고리 레이블을 수신할 수 있다.
일부 실시예에서, 본 발명의 학습 데이터 세트는 하나 이상의 가상의 정적 및/또는 동적 타겟을 포함하는 하나 이상의 생성 및/또는 인지 테스트 장면과 관련하여 획득된 데이터를 포함할 수 있다. 일부 실시예에서, 가상 장면 생성은 예를 들어 현실 세계에서 차량이 마주할 수 있는 운전 시나리오를 현실적으로 나타내는 복수의 정적 및/또는 동적 객체를 포함하는 도로 환경을 가상화하는 것을 포함할 수 있다. 일부 실시예에서, 가상 타겟은 환경 내에서 생성 및/또는 전송되는 하나 이상의 신호로 표시될 수 있다. 일부 실시예에서, 생성된 테스트 환경을 사용하여 획득된 데이터의 주석은 생성된 테스트 환경과 연관된 실측 파라미터에 기초하여 수행될 수 있다.
분류
일부 실시예에서, 본 개시 내용의 학습 데이터 세트는 어휘(lexicon)로서 이용될 수 있고 및/또는 초기 타겟 분류를 수행하기 위해 데이터베이스화될 수 있다.
일부 실시예에서, 초기 타겟 분류는 테스트 타겟과 관련하여 하나 이상의 데이터 포인트를 획득하는 것을 포함할 수 있으며, 여기서 데이터 포인트는 타겟에 대하여 다음과 관련된 데이터를 포함할 수 있다:
·무선 전송 신호 파라미터,
·무선 전송 데이터 콘텐츠 및/또는
·무선 전송 위치 파라미터,
일부 실시예에서, 이러한 데이터 포인트의 일부 또는 전부는 어휘에 포함된 데이터 포인트와의 비교에 기초하여 초기 분류에 사용될 수 있으며, 여기서 분류는 테스트 데이터 포인트 세트에 대한 어휘에 포함된 주석을 할당함으로써 획득될 수 있다.
일부 실시예에서, 초기 분류는 이들 카테고리 각각으로부터의 다수의 파라미터의 조합에 기초할 수 있다. 예를 들어, NB-IoT 스펙트럼의 신호 주파수와 보도의 위치는 공유 스쿠터로 분류될 수 있다. 다른 예로, "버스"라는 단어가 포함된 SSID로 액세스 포인트에 연결된 휴대폰의 와이파이 MAC 주소 OUI를 갖는 장치는 버스 내부 승객으로 분류될 수 있다. 일부 실시예에서, 초기 분류는 장치 이름에 기초할 수 있고, 예를 들어 '에어팟' 또는 '자동차'라는 단어를 포함하는 블루투스 장치 이름은 장치의 표지를 제공할 수 있고, 따라서 이 장치의 사용자/타겟을 제공할 수 있다. 또 다른 예에서, 휴대폰 제조사 또는 차량 인포테인먼트 시스템 제조사의 와이파이 MAC 주소 OUI(Organizationally Unique Identifier)는 인포테인먼트 시스템이 탑재된 휴대폰 및 차량을 각각 나타낼 수 있다.
일부 실시예에서, 본 개시의 어휘는 SSID, BSSID, ESS, UUID, TIMSI, IMSI MAC, 및 OUI와 같은 알려진 고유 식별자의 데이터베이스를 포함할 수 있다.
일부 실시예에서, 무선 전송 데이터 콘텐츠는 예를 들어 패킷 정보를 포함할 수 있으며, 여기서 많은 양의 데이터 또는 음성 트래픽은 사용자에 의한 장치의 활성 사용을 나타낼 수 있고, 따라서 사용자의 일부에 대한 잠재적으로 낮은 인식을 나타낼 수 있다.
일부 실시예에서, 위치 파라미터는 예를 들어 보도 또는 도로 상의 위치를 포함할 수 있다.
기계 학습 분류
일부 실시예에서, 학습 단계에서, 하나 이상의 기계 학습 모델이 본 개시의 학습 데이터 세트에 대해 학습될 수 있다. 예를 들어, 학습 단계에서, 하나 이상의 기계 학습 모델은 복수의 시나리오 및 적어도 무선 송신 신호 파라미터, 무선 송신 데이터 콘텐츠, 및/또는 무선 송신 위치 파라미터를 포함하는 관련 무선 데이터를 포함하여 구성되는 학습 세트를 기반으로 목표 유형을 예측하도록 학습될 수 있다.일부 실시예에서, 추론 단계에서, 도 8에 도시된 바와 같이, 본 개시 내용의 학습된 기계 학습 모델은 테스트 시나리오와 관련된 하나 이상의 타겟 유형을 예측하기 위해 테스트 시나리오와 연관된 데이터 포인트 세트에 적용될 수 있다.
일부 실시예에서, 본 개시는 계층적 방식으로 동작하는 캐스케이드(cascading) 분류기를 제공할 수 있으며, 여기서 다중 제1 인스턴스 분류기의 출력은 분류기를 집계하기 위한 추가 정보로서 사용될 수 있다.
예를 들어, 도 9에 도시된 바와 같이, 일부 실시예에서, 타겟 분류는 단일 타겟과 연관된 2개 이상의 RF 장치에 기초할 수 있다. 예를 들어 보행자는 스마트 폰과 블루투스 헤드폰을 모두 들고 다닐 수 있다. 이 경우 두 RF 장치는 유사한 위치 파라미터와 연관된다. 다른 예시에서, 차량 탑승자가 사용하는 단일 장치는 와이파이 및 블루투스 모두에서 전송할 수 있다. 이 경우 두 RF 전송 모두 동일하거나 매우 유사한 고유 식별자(예: MAC 주소)를 가져야 한다.
따라서, 본 개시의 하나 이상의 학습된 기계 학습 모델은 각각의 RF 장치로부터 획득된 무선 전송 데이터에 기초하여 타겟에 대한 예측을 출력하기 위해 각각의 RF 장치 또는 개체(entity)로부터 개별적으로 획득된 데이터에 적용될 수 있다. 일부 실시예에서, 개별 예측은 다음과 관련하여 결합된 예측을 발행하는 집계 분류기로 입력될 수 있다.
특정 사용 사례
일부 실시예에서, 도 1의 시스템(100)과 같은 본 발명의 시스템은 도로를 횡단하는 보행자를 감지하도록 구성될 수 있다. 길을 건너는 보행자를 감지하는 것은 ADAS 시스템에서 가장 중요한 작업 중 하나이다. 특히 어린이나 노인과 같이 상황 인식 수준이 낮은 취약한 인구를 고려할 때, 횡단 보행자는 차량에 대하여 높은 수준의 충돌 위험이 있기 때문이다. 타겟 무선 장치 감지를 사용하여 보행자가 운반하는 장치(예: 스마트 폰, 휴대폰, 블루투스 핸즈프리, 와이파이 등)를 감지할 수 있다. 일부 실시예에서, 장치는 전용 RF 비컨 또는 장치가 주기적 및/또는 정의된 검출 신호를 방출하게 하도록 구성된 애플리케이션을 포함할 수 있다.
일부 실시예에서, 시스템(100)은 보행자 상황 인식을 평가하도록 구성될 수 있다. 보행자 행동을 예측하는 것은 ADAS 시스템에서 가장 어려운 작업 중 하나이며, 보행자가 모바일 장치를 집중적으로 사용하면 보행자의 상황 인식이 낮아져 혼잡한 도로를 건너거나 빨간색 신호에서 건널 수 있다. 따라서, 일부 실시예에서, 타겟 장치 신호 특성(예를 들어, 전송 속도, 데이터 패킷 크기, 전송 장치 유형 등)을 분석함으로써 보행자의 상황 인식을 평가하는 것이 가능하다. 신호 특성 분석을 통해 보행자가 문자 메시지, 음성 통화, 오디오 또는 비디오 콘텐츠를 무선 이어폰으로 스트리밍하는 등, 휴대폰 스마트폰을 적극적으로 사용하고 있는지 여부를 평가할 수 있다.
일부 실시예에서, 신호 처리 모듈(114)은 완전히 가려진 차량 중 부분적으로 가려진 차량을 감지하기 위해 제공될 수 있다. 예를 들어, 차량이 기반 시설, 주차 차량 및/또는 지형적 높이 차이로 인해 가려질 수 있는 교차로에서 도로 상태, 지형, 센서 시야 및 기타 파라미터가 ADAS 시스템의 차량 감지 기능을 제한할 수 있다. 다른 예에서 트럭 운전자는 사각지대 내에서 측면을 감지하기 어려울 수 있다.
따라서, 일부 실시예에서, 본 개시 내용의 타겟 무선 장치 검출 시스템은 환경 내에 위치하지만 적어도 부분적으로 가려진 이미터로부터의 무선 송신을 검출하기 위해 제공할 수 있다. 일부 실시예에서, 타겟 무선 장치 검출은 무선 전송 분석에 기초하여 타겟을 검출하고 분류하는 것을 제공할 수 있다.
도 7a는 교차로에 접근하는 차량(700)이 시각 기반 또는 레이더 기반 ADAS 검출 양식만을 사용하여 타겟 차량(702)을 검출할 수 없는 예시적인 장면을 도시한다. 도 7b 내지 도 7c는 차량, 오토바이 및 자전거가 사각지대에 위치하여 차량의 운전자가 볼 수 없는 다양한 추가 시나리오를 예시한다. 일부 실시예에서, 타겟 무선 장치 검출은 무선 전송 분석에 기초하여 타겟을 검출하고 분류하는 것을 제공할 수 있다.
일부 실시예에서, 타겟 무선 장치 검출 시스템은 보행자, 자전거, 차량 등의 검출 확률을 향상시키는 면에서 매우 유리할 수 있다. 일부 실시예에서, 이 확률은 보행자, 자전거, 차량 등이 운반하는 전용 RF 비콘의 사용으로 증가할 수 있다. 이러한 비콘 사용은 보행자 및 개인용 자전거 및/또는 차량에서 일반적이지 않을 수 있지만 임대 스쿠터, 자전거 및/또는 차량과 같은 상업용 차량에 광범위하게 사용될 수 있다. 운영 회사는 수많은 차량에 대한 정책을 관리한다. 차량에서 이러한 전용 RF 비콘 사용은 낮은 사고율, 낮은 보험료 등에 기여할 수 있다.
일부 실시예에서, 본 발명의 타겟 무선 장치 검출 시스템은 보행자가 휴대한 장치를 감지하고 보행자에게 경고 메시지를 장치로 전송함으로써 위험한 상황에 대해 보행자에게 경고함으로써 위험한 상황을 검출할 수 있다. 일부 실시예에서, 시스템은 데이터 링크 관리 및/또는 전용 비상 채널을 수행하는 동안 장치에 통신되는 합의된 프로토콜 또는 정의된 MAC 주소, 블루투스 주소 또는 SSID를 사용할 수 있다. 보행자/기기 사용자에게 경고하려면 기기에 애플리케이션을 사전에 설치해야 할 수 있다.
일부 실시예에서, 본 개시내용의 타겟 무선 장치 검출 시스템은 타겟 정보, 예를 들어 특정 영역 및/또는 시간에서 보행자 및/또는 다른 타겟의 수에 관한 타겟 정보를 수집하고 저장할 수 있다. 이러한 데이터는 수집되어 지정된 데이터베이스에 저장될 수 있다. 일부 실시예에서, 이러한 데이터는 대중 교통 시스템, 예를 들어 역, 버스, 기차 차량, 지하철 차량 등과 같은 특정 대중 교통 도메인의 승객 수에 관한 데이터를 포함할 수 있다. 일부 실시예에서, 대중교통 차량에 탑재된 전용 탐지 대중교통을 이용할 수 있다. 일부 실시예에서 이러한 데이터는 건물, 쇼핑몰, 사무실 등과 같은 인프라 또는 특정 공공 장소의 방문자 수를 포함할 수 있다.
건설 현장, 광산 등과 같은 중장비를 사용하는 작업 현장에서는 중장비, 특히 도저, 휠 로더, 트랙터, 굴절식 험지 트럭 등과 같은 토공 장비를 광범위하게 사용한다. 이러한 중장비의 운전자는 일반적으로 시야가 제한된다. 따라서 이러한 작업 현장의 많은 위험한 시나리오에는 일상의 일부로 속해 있는 중장비 근처의 직원이 포함된다. 따라서 중장비 작업장 기계에는 도 10에서 설명한 바와 같이 타겟 무선 장치 감지 시스템이 장착될 수 있다. 이 시스템은 RF 방출 장치(개인 휴대폰, 블루투스 헤드셋, 와이파이, 전용 비콘, 안전 애플리케이션을 사용하는 스마트 폰 등)를 사용하여 미리 정의된 안전 영역으로 이동한다. 이 경우 시스템은 안전 구역에 사람이 있음을 장비 운영자에게 알릴 수 있다. 시스템은 장비에 의해 수행되는 자동화, 자율 또는 로봇 작업을 즉시 중지하기 위해 기계 컴퓨터에 보고할 수 있다.
현대의 창고, 제조 시설 및 조립 라인은 자동화 상품, 부품 및 자재 운송(자율 지게차, 화물 로봇 및 드론), 제조 및 조립 로봇과 같은 로봇 장비를 사용한다. 이러한 고도로 자동화 된 로봇 시스템은 고하중을 운반하고 고출력 도구를 사용하도록 설계되어 작업 영역을 공유하는 직원에게 큰 위험을 초래할 수 있다. 이와 같은 타겟 무선 장치 탐지 시스템이 장착된 화물 로봇을 도 11에 나타내었다. 시스템은 RF 방출 장치(개인 휴대전화, 블루투스 헤드셋, 와이파이, 전용 비콘, 안전 애플리케이션을 사용하는 스마트폰 등)를 소지한 사람이 미리 정의된 안전 구역에 진입하는 것을 감지한다. 이 경우 로봇은 개인 인식을 위해 경보 신호를 활성화하거나 사람이 안전 영역을 벗어날 때까지 멈출 수 있다. 또 다른 시나리오에는 자동화 지게차 주변이나 밑에 사람이 있는 경우 창고 선반의 적재 또는 하역을 중지하는 것이 포함될 수 있다.
인구 밀집 지역에서 자율 드론을 작동하는 것은 예를 들어 온라인으로 구매한 상품의 상업적 배송을 수행하는 일반적인 작업이다. 대부분의 국가의 항공 규정은 사람 위에 드론을 운용하는 것을 금지하고 있으며, 위에서 설명한 개인 통신 장치 감지 시스템 및 방법은 해당 지역의 개인 장치의 수량을 추정하여 인구 밀집 지역 또는 혼잡한 지역을 감지하고 드론 자율 시스템 또는 경보 시스템 또는 비행 경로에서 비행하거나 호버링하는 운영자에게 경고할 수 있다. 이 정보를 사용하여 드론 자율 시스템 또는 운영자는 경로를 변경할 수 있다. 드론은 설치된 전용 시스템을 사용할 수도 있고, 위에서 설명한 감지 방식으로 자체 송수신기를 사용할 수도 있다.
자율 드론을 작동하면 특히 공항, 군사 기지 및 기밀 시설 근처에서 비행할 때 안전 문제가 발생할 수 있다. 비행 경로는 사전에 계획되어 있지만, 항법 오류나 드론에 대한 악의적인 사이버 공격으로 인해 비행 금지 구역 위로 표류 및 비행 상황이 발생할 수 있다. 금지 구역을 정의하는 신호 비콘 세트와 드론에 장착된 통신 장치 감지 시스템을 사용하여 드론이 금지 구역에 진입하는 것을 방지할 수 있다. 언급된 비콘은 휴대용이거나 개인 장치의 신호 응용 프로그램을 사용하여 필요한 경우 일시적으로 비행 금지 구역을 만들 수 있다.
인구 밀집 지역에서 드론을 운용하는 동안 특정 지점에 드론을 안전하게 착륙시킬 필요가 있을 수 있다. 드론에 탑재된 시그널링 비콘과 통신장비 감지 시스템을 이용하여 드론의 정확한 착륙 지점을 정의할 수 있다. 언급된 비콘은 맞춤형이거나 개인 장치의 신호 응용 프로그램을 사용하여 필요한 경우 드론에 대한 정확한 착륙 지점을 생성할 수 있다.
스마트 홈 또는 건물에서 사람의 존재를 감지하는 것은 예를 들어 건물에 거주하는 사람의 수를 산출하고, 건물 내부에 있는 사람의 위치를 추적하고, 제한구역의 진입을 경고하는 등 절전 및 안전 애플리케이션에서 요구되는 기능이다.
건물의 방과 공공 장소에서 타겟 무선 장치 감지 시스템을 구현함으로써, 건물에 거주하는 사람의 존재와 수 및 위치를 감지하고 추적하는 것이 가능하다.
예를 들어, 타겟 무선 장치 감지 시스템을 사용하는 호텔은 방에서 휴대 전화가 감지되지 않으면 에어컨과 조명(또는 기타 장비)을 끌 수 있다.
당업자에 의해 이해되는 바와 같이, 본 발명의 양태는 시스템, 방법 또는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 따라서, 본 발명의 측면은 전체 하드웨어 실시예, 전체 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로코드 등을 포함함), 또는 본 명세서에서 모두 일반적으로 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있는 소프트웨어 및 하드웨어 측면을 결합한 실시예의 형태를 취할 수 있다. 또한, 본 발명의 양태는 컴퓨터 판독가능 프로그램 코드가 구현된 하나 이상의 컴퓨터 판독가능 매체(들)에 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독가능 매체(들)의 임의의 조합이 이용될 수 있다. 컴퓨터가 읽을 수 있는 매체는 컴퓨터가 읽을 수 있는 신호 매체 또는 컴퓨터가 읽을 수 있는 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치 또는 디바이스, 또는 이들의 임의의 적절한 조합일 수 있지만 이에 제한되지는 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(비제한적 목록)는 다음을 포함한다: 하나 이상의 전선을 갖는 전기 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, RAM(Random Access Memory), 읽기- 전용 메모리(ROM), 삭제되는 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 기타 위의 적절한 조합. 이 문서의 맥락에서, 컴퓨터 판독 가능 저장 매체는 명령 실행 시스템, 장치 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 유형의 매체일 수 있다.
컴퓨터 판독가능 신호 매체는 예를 들어 기저대역에서 또는 반송파의 일부로서 내부에 구현된 컴퓨터 판독가능 프로그램 코드와 함께 전파된 데이터 신호를 포함할 수 있다. 이러한 전파된 신호는 전자기, 광학 또는 이들의 임의의 적절한 조합을 포함하지만 이에 제한되지 않는 다양한 형태를 취할 수 있다. 컴퓨터 판독가능 신호 매체는 컴퓨터 판독가능 저장 매체가 아니고 명령 실행 시스템, 장치 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 통신, 전파 또는 전송할 수 있는 임의의 컴퓨터 판독가능 매체일 수 있다.
컴퓨터 판독 가능 매체에 구현된 프로그램 코드는 무선, 유선, 광섬유 케이블, RF 등, 또는 이들의 임의의 적절한 조합을 포함하지만 이에 제한되지 않는 임의의 적절한 매체를 사용하여 전송될 수 있다.
본 발명의 양태에 대한 동작을 수행하기 위한 컴퓨터 프로그램 코드는 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같이, Java, Smalltalk, C++, 기존의 절차적 프로그래밍 언어 등과 같은 객체 지향 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 프로그램 코드는 전적으로 사용자의 컴퓨터에서 실행되거나, 또는 부분적으로 사용자의 컴퓨터에서 실행되거나, 또는 부분적으로는 사용자의 컴퓨터에, 부분적으로는 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터나 서버에 독립 실행형 소프트웨어 패키지로 실행될 수 있다. 후자의 시나리오에서 원격 컴퓨터는 LAN(Local Area Network) 또는 WAN(Wide Area Network)을 포함한 모든 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어 인터넷 서비스 공급자를 사용하여 인터넷을 통해).
본 발명의 양태는 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 영역 다이어그램을 참조하여 여기에서 설명된다. 흐름도 예시 및/또는 영역 다이어그램의 각 영역, 및 흐름도 예시 및/또는 블록 다이어그램의 블록 조합은 컴퓨터 프로그램 명령에 의해 구현될 수 있음이 이해될 것이다. 이러한 컴퓨터 프로그램 명령은 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 하드웨어 프로세서에 제공되어 기계를 생산할 수 있다. 처리 장치, 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능/동작을 구현하기 위한 수단을 생성한다.
이러한 컴퓨터 프로그램 명령은 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치, 또는 다른 장치가 특정 방식으로 기능하게 지시할 수 있는 컴퓨터 판독 가능한 매체에 저장될 수 있다. 매체는 순서도 및/또는 블록 다이어그램 블록 또는 블록들에 지정된 기능/행위를 구현하는 지침을 포함하는 제조 물품을 생성한다.
컴퓨터 프로그램 명령은 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 또는 컴퓨터에서 일련의 작동 단계를 수행하도록 하는 기타 장치 또는 컴퓨터 또는 다른 프로그램 가능한 장치에서 실행되는 명령이 흐름도 및/또는 블록도 블록 또는 블록들에 명시된 기능/동작을 구현하기 위한 프로세스를 제공하도록 컴퓨터 구현 프로세스를 생성하기 위한 다른 프로그램 가능한 장치 또는 다른 장치에 로드될 수 있다. 도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 예시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 이는 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함한다. 또한, 일부 대안적인 구현에서, 블록에 언급된 기능은 도면에 언급된 순서와 다르게 발생할 수 있다는 점에 유의해야 한다. 예를 들어, 연속적으로 표시된 두 개의 블록은 실제로 실질적으로 동시에 실행되거나 관련된 기능에 따라 블록이 때때로 역순으로 실행될 수 있다. 블록 다이어그램 및/또는 순서도 그림의 각 블록과 블록 다이어그램 및/또는 순서도 그림의 블록 조합은 지정된 기능 또는 동작, 또는 특수 목적 하드웨어와 컴퓨터 명령의 조합을 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현될 수 있다.
본 발명의 다양한 실시예에 대한 설명은 예시의 목적으로 제시되었지만, 개시된 실시예를 완전하게 하거나 제한하려는 의도는 아니다. 기술된 실시예의 범위 및 기술 사상을 벗어나지 않으면서 많은 수정 및 변형이 당업자에게 명백할 것이다. 본 명세서에서 사용된 용어는 실시예의 원리, 시장에서 발견되는 기술에 대한 실질적인 응용 또는 기술적 개선을 가장 잘 설명하거나, 또는 당업자가 본 명세서에 개시된 실시예를 이해할 수 있게 하기 위해 선택되었다.
본 출원의 설명 및 청구범위에서, 각각의 단어 "포함하다" "구성하다" 및 "갖는다", 및 그 형태는 반드시 그 단어가 연관될 수 있는 목록의 구성원으로 제한되지 않는다. 또한, 본 출원과 참조로 포함된 문서 사이에 불일치가 있는 경우, 본 출원이 우선하는 것으로 의도된다.
본 출원 전반에 걸쳐, 본 발명의 다양한 실시예는 범위 형식으로 제시될 수 있다. 범위 형식의 설명은 단지 편의와 간결함을 위한 것이며, 본 발명의 범위에 대한 융통성 없는 제한으로 해석되어서는 안 된다는 것을 이해해야 할 것이다. 따라서 범위에 대한 설명은 가능한 모든 서브 범위와 해당 범위 내의 개별 수치를 구체적으로 공개한 것으로 간주되어야 한다. 예를 들어, 1에서 6과 같은 범위의 설명은 1에서 3, 1에서 4, 1에서 5, 2에서 4, 2에서 6, 3에서 6과 같이 해당 범위 내의 개별 숫자(예: 1, 2, 3, 4, 5 및 6)의 서브 범위를 구체적으로 공개한 것으로 간주되어야 한다. 이는 범위의 폭과 관계없이 적용된다.
수치 범위가 본 명세서에 표시될 때마다, 그것은 표시된 범위 내에 임의의 인용된 숫자(분수 또는 정수)를 포함하는 것을 의미한다. 제1 표시 번호 및 제2 표시 번호 사이에(의) "이르는/범위"라는 문구 및 제1 표시 번호 "~까지"에(의) "이르는/범위"는 본 명세서에서 상호 교환 가능하게 사용되며 제1 및 제2 표시 번호와 그리고 그 사이의 모든 분수 및 정수를 포함하는 것을 의미한다.
본 출원의 설명 및 청구범위에서, 각각의 단어 "포함하다", "구성하다" 및 "갖는다", 및 그 형태는 그 단어가 연관될 수 있는 목록의 구성원으로 반드시 제한되는 것은 아니다. 또한, 본 출원과 참조로 포함된 문서 사이에 불일치가 있는 경우, 본 출원이 우선하는 것으로 의도된다.
본 발명의 다양한 실시예에 대한 설명은 예시의 목적으로 제시되었지만, 개시된 실시예를 완전하게 하거나 제한하도록 의도된 것은 아니다. 기술된 실시예의 범위 및 기술 사상을 벗어나지 않으면서 많은 수정 및 변형이 당업자에게 명백할 것이다. 본 명세서에서 사용된 용어는 실시예의 원리, 시장에서 발견되는 기술에 대한 실질적인 응용 또는 기술적 개선을 가장 잘 설명하거나, 또는 당업자가 본 명세서에 개시된 실시예를 이해할 수 있게 하기 위해 선택되었다.

Claims (30)

  1. 적어도 하나의 하드웨어 프로세서; 그리고
    프로그램 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 포함하며,
    상기 프로그램 명령은 상기 적어도 하나의 하드웨어 프로세서에 의해 실행 가능하여,
    복수의 물리적 장면(physical scenes) 내의 복수의 객체와 연관된 복수의 무선 주파수(RF) 무선 전송과 연관된 데이터를 포함하는 데이터 세트를 수신하고,
    상기 데이터 세트는 각각의 상기 객체와 관련하여:
    (i) 연관된 무선 전송의 신호 파라미터,
    (ii) 연관된 무선 전송에 포함된 데이터, 및
    (iii) 상기 객체에 대한 위치 파라미터 중 적어도 하나를 포함하며,
    학습 단계에서, 상기 데이터 세트 및 상기 객체 각각의 유형을 표현하는 레이블을 포함하는 학습 세트에 대하여 기계 학습 모델을 훈련하고,
    추론 단계에서, 학습된 상기 기계 학습 모델을 신호 파라미터, 데이터 및 물리적 장면 내의 타겟 객체와 연관된 무선 전송으로부터 획득된 위치 파라미터를 포함하는 타겟 데이터 세트에 적용하여 상기 타겟 객체의 유형을 예측하는 시스템.
  2. 제1항에 있어서, 상기 복수의 물리적 장면은 각각 도로 장면이고, 상기 복수의 객체 각각은 보행자, 자전거 라이더, 스쿠터 라이더, 차량 운전자, 차량 탑승자, 차량 승객 및 대중 교통 승객 중 하나인 시스템.
  3. 제1항에 있어서, 상기 복수의 장면은 도로, 고속 도로, 공공 도로, 대중 교통 시스템, 공공 장소, 작업장, 제조 시설 및 창고 시설로 구성된 그룹으로부터 선택되는 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 무선 전송은 상기 객체 각각과 연관된 적어도 하나의 무선 장치로부터 전송되는 시스템.
  5. 제4항에 있어서, 상기 무선 장치 중 적어도 일부는 하나 이상의 송신기를 포함하는 시스템.
  6. 제4항 또는 제5항에 있어서, 상기 무선 장치는 모바일 장치, 스마트 폰, 스마트 워치, 무선 헤드폰, 태블릿, 랩톱, 마이크로 모빌리티 탑재 텔레매틱스 유닛, 차량 탑재 텔레매틱스 유닛, 차량 인포테인먼트 시스템, 차량 핸즈프리 시스템, 차량 타이어 압력 모니터링 시스템, 드론, 카메라, 대시캠, 프린터, 액세스 포인트 및 주방 가전으로 구성된 그룹으로부터 선택되는 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 무선 전송의 상기 신호 파라미터는 신호 주파수, 신호 대역폭, 신호 강도, 신호 위상, 신호 상관성(signal coherence) 및 신호 타이밍으로 구성된 그룹으로부터 선택되는 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 무선 전송에 포함된 상기 데이터는 데이터 패킷 파라미터, 고유 장치 식별자, MAC 주소, 서비스 세트 식별자(SSID), 기본 서비스 세트 식별자(BSSID), 확장 기본 서비스 집합(ESS), 국제 모바일 가입자 ID(IMSI) 및 임시 IMSI로 구성된 그룹으로부터 선택되는 시스템.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 데이터 세트는 상기 레이블로 레이블링되는 시스템.
  10. 제9항에 있어서, 상기 레이블링은:
    (i) 상기 객체들 중 하나와 연관된 상기 데이터 세트 내의 적어도 하나의 데이터 인스턴스에 기초하여 객체 유형을 자동으로 결정하는 단계; 및
    (ii) 상기 객체 중 하나와 연관된 모든 상기 데이터 인스턴스에 레이블로서 상기 객체 유형을 적용하는 단계를 포함하는 시스템.
  11. 복수의 물리적 장면 내의 복수의 객체와 연관된 복수의 무선 주파수(RF) 무선 전송과 연관된 데이터를 포함하는 데이터 세트를 수신하는 단계;
    학습 단계에서, 상기 데이터 세트 및 상기 객체 각각의 유형을 표현하는 레이블을 포함하는 학습 세트에 대하여 기계 학습 모델을 훈련하는 단계; 및
    추론 단계에서, 학습된 상기 기계 학습 모델을 신호 파라미터, 데이터 및 물리적 장면 내의 타겟 객체와 연관된 무선 전송으로부터 획득된 위치 파라미터를 포함하는 타겟 데이터 세트에 적용하여 상기 타겟 객체의 유형을 예측하는 단계를 포함하며,
    상기 데이터 세트는 각각의 상기 객체와 관련하여:
    (i) 연관된 무선 전송의 신호 파라미터,
    (ii) 연관된 무선 전송에 포함된 데이터, 및
    (iii) 상기 객체에 대한 위치 파라미터 중 적어도 하나를 포함하는 방법.
  12. 제11항에 있어서, 상기 복수의 물리적 장면은 각각 도로 장면이고, 상기 복수의 객체 각각은 보행자, 자전거 라이더, 스쿠터 라이더, 차량 운전자, 차량 탑승자, 차량 승객 및 대중 교통 승객 중 하나인 방법.
  13. 제11항에 있어서, 상기 복수의 장면은 도로, 고속 도로, 공공 도로, 대중 교통 시스템, 공공 장소, 작업장, 제조 시설 및 창고 시설로 구성된 그룹에서 선택되는 방법.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서, 상기 무선 전송은 상기 객체 각각과 연관된 적어도 하나의 무선 장치로부터 전송되는 방법.
  15. 제14항에 있어서, 상기 무선 장치 중 적어도 일부는 하나 이상의 송신기를 포함하는 방법.
  16. 제14항 또는 제15항에 있어서, 상기 무선 장치는 모바일 장치, 스마트 폰, 스마트 워치, 무선 헤드폰, 태블릿, 랩톱, 마이크로 모빌리티 탑재 텔레매틱스 유닛, 차량 탑재 텔레매틱스 유닛, 차량 인포테인먼트 시스템, 차량 핸즈프리 시스템, 차량 타이어 압력 모니터링 시스템, 드론, 카메라, 대시캠, 프린터, 액세스 포인트 및 주방 가전으로 구성된 그룹으로부터 선택되는 방법.
  17. 제11항 내지 제16항 중 어느 한 항에 있어서, 상기 무선 전송의 상기 신호 파라미터는 신호 주파수, 신호 대역폭, 신호 강도, 신호 위상, 신호 상관성(signal coherence) 및 신호 타이밍으로 구성된 그룹으로부터 선택되는 방법.
  18. 제11항 내지 제17항 중 어느 한 항에 있어서, 상기 무선 전송에 포함된 상기 데이터는 데이터 패킷 파라미터, 고유 장치 식별자, MAC 주소, 서비스 세트 식별자(SSID), 기본 서비스 세트 식별자(BSSID), 확장 기본 서비스 집합(ESS), 국제 모바일 가입자 ID(IMSI) 및 임시 IMSI로 구성된 그룹으로부터 선택되는 방법.
  19. 제11항 내지 제18항 중 어느 한 항에 있어서, 상기 데이터 세트는 상기 레이블로 레이블링되는 방법.
  20. 제19항에 있어서, 상기 레이블링은:
    (i) 상기 객체들 중 하나와 연관된 상기 데이터 세트 내의 적어도 하나의 데이터 인스턴스에 기초하여 객체 유형을 자동으로 결정하는 단계; 및
    (ii) 상기 객체 중 하나와 연관된 모든 상기 데이터 인스턴스에 레이블로서 상기 객체 유형을 적용하는 단계를 포함하는 방법.
  21. 프로그램 명령이 구현된 비일시적 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 프로그램 명령은 다음을 수행하도록 적어도 하나의 하드웨어 프로세서에 의해 실행 가능하여,
    복수의 물리적 장면(physical scenes) 내의 복수의 객체와 연관된 복수의 무선 주파수(RF) 무선 전송과 연관된 데이터를 포함하는 데이터 세트를 수신하고,
    상기 데이터 세트는 각각의 상기 객체와 관련하여:
    (i) 연관된 무선 전송의 신호 파라미터,
    (ii) 연관된 무선 전송에 포함된 데이터, 및
    (iii) 상기 객체에 대한 위치 파라미터 중 적어도 하나를 포함하며,
    학습 단계에서, 상기 데이터 세트 및 상기 객체 각각의 유형을 표현하는 레이블을 포함하는 학습 세트에 대하여 기계 학습 모델을 훈련하고,
    추론 단계에서, 학습된 상기 기계 학습 모델을 신호 파라미터, 데이터 및 물리적 장면 내의 타겟 객체와 연관된 무선 전송으로부터 획득된 위치 파라미터를 포함하는 타겟 데이터 세트에 적용하여 상기 타겟 객체의 유형을 예측하는 컴퓨터 프로그램 제품.
  22. 제21항에 있어서, 상기 복수의 물리적 장면은 각각 도로 장면이고, 상기 복수의 객체 각각은 보행자, 자전거 라이더, 스쿠터 라이더, 차량 운전자, 차량 탑승자, 차량 승객 및 대중 교통 승객 중 하나인 컴퓨터 프로그램 제품.
  23. 제21항에 있어서, 상기 복수의 장면은 도로, 고속 도로, 공공 도로, 대중 교통 시스템, 공공 장소, 작업장, 제조 시설 및 창고 시설로 구성된 그룹으로부터 선택되는 컴퓨터 프로그램 제품.
  24. 제21항 내지 제23항 중 어느 한 항에 있어서, 상기 무선 전송은 상기 객체 각각과 연관된 적어도 하나의 무선 장치로부터 전송되는 컴퓨터 프로그램 제품.
  25. 제24항에 있어서, 상기 무선 장치 중 적어도 일부는 하나 이상의 송신기를 포함하는 컴퓨터 프로그램 제품.
  26. 제24항 또는 제25항에 있어서, 상기 무선 장치는 모바일 장치, 스마트 폰, 스마트 워치, 무선 헤드폰, 태블릿, 랩톱, 마이크로 모빌리티 탑재 텔레매틱스 유닛, 차량 탑재 텔레매틱스 유닛, 차량 인포테인먼트 시스템, 차량 핸즈프리 시스템, 차량 타이어 압력 모니터링 시스템, 드론, 카메라, 대시캠, 프린터, 액세스 포인트 및 주방 가전으로 구성된 그룹으로부터 선택되는 컴퓨터 프로그램 제품.
  27. 제21항 내지 제26항 중 어느 한 항에 있어서, 상기 무선 전송의 상기 신호 파라미터는 신호 주파수, 신호 대역폭, 신호 강도, 신호 위상, 신호 상관성(signal coherence) 및 신호 타이밍으로 구성된 그룹으로부터 선택되는 컴퓨터 프로그램 제품.
  28. 제21항 내지 제27항 중 어느 한 항에 있어서, 상기 무선 전송에 포함된 상기 데이터는 데이터 패킷 파라미터, 고유 장치 식별자, MAC 주소, 서비스 세트 식별자(SSID), 기본 서비스 세트 식별자(BSSID), 확장 기본 서비스 집합(ESS), 국제 모바일 가입자 ID(IMSI) 및 임시 IMSI로 구성된 그룹으로부터 선택되는 컴퓨터 프로그램 제품.
  29. 제21항 내지 제28항 중 어느 한 항에 있어서, 상기 데이터 세트는 상기 레이블로 레이블링되는 컴퓨터 프로그램 제품.
  30. 제29항에 있어서, 상기 레이블링은:
    (i) 상기 객체들 중 하나와 연관된 상기 데이터 세트 내의 적어도 하나의 데이터 인스턴스에 기초하여 객체 유형을 자동으로 결정하는 단계; 및
    (ii) 상기 객체 중 하나와 연관된 모든 상기 데이터 인스턴스에 레이블로서 상기 객체 유형을 적용하는 단계를 포함하는 컴퓨터 프로그램 제품.
KR1020227000502A 2019-06-07 2020-06-07 무선 통신 기반 개체 분류 KR20220019272A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962858364P 2019-06-07 2019-06-07
US62/858,364 2019-06-07
PCT/IL2020/050634 WO2020245834A1 (en) 2019-06-07 2020-06-07 Wireless communication-based classification of objects

Publications (1)

Publication Number Publication Date
KR20220019272A true KR20220019272A (ko) 2022-02-16

Family

ID=73651939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227000502A KR20220019272A (ko) 2019-06-07 2020-06-07 무선 통신 기반 개체 분류

Country Status (6)

Country Link
US (1) US20220299593A1 (ko)
EP (1) EP3980982A4 (ko)
JP (1) JP2022535454A (ko)
KR (1) KR20220019272A (ko)
CN (1) CN114175126A (ko)
WO (1) WO2020245834A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11776405B2 (en) * 2018-10-29 2023-10-03 Lg Electronics Inc. Apparatus and method for V2X communication
EP4196816A1 (en) * 2020-08-14 2023-06-21 Invensense, Inc. Method and system for radar-based odometry
WO2022203761A2 (en) * 2021-01-28 2022-09-29 DeepSig Inc. Estimating direction of arrival of electromagnetic energy using machine learning
US20230040437A1 (en) * 2021-08-03 2023-02-09 Textron Inc. Vehicle access and fleet management control via bluetooth beacons
WO2023070348A1 (en) * 2021-10-27 2023-05-04 Qualcomm Incorporated Configuring a user equipment with machine learning models based on compute resource limits
CN115767772B (zh) * 2022-12-03 2023-09-19 河南龙翼信息技术有限公司 基于人工智能的无线通信数据处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010022282A1 (de) * 2010-05-31 2011-12-01 Andreas Lewandowski Verfahren und Funksystem zur Warnung von bewegten Personen und Objekten im Straßenverkehr
CN105074792A (zh) * 2013-03-15 2015-11-18 科布拉电子有限公司 移动通信系统及用于分析与车辆行驶相关联的告警的方法
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
US20170124878A1 (en) * 2015-11-03 2017-05-04 Quantum Dimension, Inc. Collision advoidance devices utilizing low power wireless networks, methods and systems utilizing same
DE102016224516A1 (de) * 2016-12-08 2018-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen zumindest eines Fußgängers durch ein Fahrzeug
US10318827B2 (en) * 2016-12-19 2019-06-11 Waymo Llc Object detection neural networks
GB2562706A (en) 2017-03-22 2018-11-28 Pelotron Ltd Apparatus for enhancing safety of a vulnerable road user
US11601812B2 (en) * 2017-03-29 2023-03-07 The Johns Hopkins University System and method for small unmanned aerial systems (sUAS) defense
US10262234B2 (en) * 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
US11768292B2 (en) * 2018-03-14 2023-09-26 Uatc, Llc Three-dimensional object detection
US11370423B2 (en) * 2018-06-15 2022-06-28 Uatc, Llc Multi-task machine-learned models for object intention determination in autonomous driving
US11182607B2 (en) * 2018-10-26 2021-11-23 Here Global B.V. Method, apparatus, and system for determining a ground control point from image data using machine learning

Also Published As

Publication number Publication date
WO2020245834A1 (en) 2020-12-10
EP3980982A1 (en) 2022-04-13
JP2022535454A (ja) 2022-08-08
US20220299593A1 (en) 2022-09-22
CN114175126A (zh) 2022-03-11
EP3980982A4 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
US20220299593A1 (en) Wireless communication-based classification of objects
EP3791376B1 (en) Method and system for vehicle-to-pedestrian collision avoidance
KR102325049B1 (ko) 보행자의 안전과 연관된 통신 신호를 송신하는 전자 장치 및 그 동작 방법
US10176715B2 (en) Navigation system with dynamic mapping mechanism and method of operation thereof
US20210014643A1 (en) Communication control device, communication control method, and computer program
US20180090005A1 (en) Method And Apparatus For Vulnerable Road User Incidence Avoidance
US20190239040A1 (en) Millimeter wave vehicle-to-vehicle communication system for data sharing
US11511767B2 (en) Techniques for utilizing CV2X registration data
TW202209906A (zh) 用於在v2x環境中管理資料分發的技術
KR20220093321A (ko) 센서 지원을 갖는 v2x 통신
KR102634073B1 (ko) 루트 정보를 사용한 차량의 궤적 계획
US20220169287A1 (en) Method and apparatus for computing an estated time of arrivalvia a route based on a degraded state of a vehicle after an accident and/or malfunction
US11922805B1 (en) Systems and methods for intelligent traffic control
KR20190104476A (ko) 자율 주행 시스템에서 차량을 제어하기 위한 방법 및 장치
US11341847B1 (en) Method and apparatus for determining map improvements based on detected accidents
JP2023528116A (ja) 操縦協調メッセージにおける優先度指示
CN116491204A (zh) 用于与交通有关的物理测距信号的基于几何的“先听后说”（lbt）感测
JP6172458B2 (ja) 車両の歩行者検出装置
KR101944478B1 (ko) 자율주행자동차가 시스템우선모드로 구동됨을 외부 차량으로 알리기 위한 자율주행표시장치 및 방법
CN114503177A (zh) 信息处理装置、信息处理系统和信息处理方法
US20220187098A1 (en) Safety and performance integration device for non-autonomous vehicles
US11480436B2 (en) Method and apparatus for requesting a map update based on an accident and/or damaged/malfunctioning sensors to allow a vehicle to continue driving
Garcia-Carrillo et al. Ad-hoc collision avoidance system for industrial iot
KR20240093189A (ko) 교차로에서 uwb 통신 기반 차량의 우회전 보조를 위한 장치 및 방법