JP2024025803A - センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ - Google Patents

センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ Download PDF

Info

Publication number
JP2024025803A
JP2024025803A JP2023206804A JP2023206804A JP2024025803A JP 2024025803 A JP2024025803 A JP 2024025803A JP 2023206804 A JP2023206804 A JP 2023206804A JP 2023206804 A JP2023206804 A JP 2023206804A JP 2024025803 A JP2024025803 A JP 2024025803A
Authority
JP
Japan
Prior art keywords
dimensional space
vehicle
information
sensed
sensing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023206804A
Other languages
English (en)
Inventor
ハン ビン イ，
Han Bin Lee
ジェ イル パク，
Jae Il Park
ホン ミン チュオン，
Hong Minh Truong
オ ラン クォン，
O Ran Kwon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seoul Robotics Co Ltd
Original Assignee
Seoul Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/KR2019/011949 external-priority patent/WO2020141694A1/en
Application filed by Seoul Robotics Co Ltd filed Critical Seoul Robotics Co Ltd
Publication of JP2024025803A publication Critical patent/JP2024025803A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/228—Command input arrangements located on-board unmanned vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバの提供。【解決手段】少なくとも１つのセンサを利用し、三次元空間を連続して感知し、感知された三次元空間に係わる時間別空間情報を獲得し、獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、感知された三次元空間内の少なくとも１つの客体を識別し、識別された少なくとも１つの客体を含む感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を活用する車及びセンシング装置、そしてそのためサーバを開示する。【選択図】図１１

Description

本発明は、センサを利用して獲得した空間情報を活用する車両及びセンシング装置、並びにそのためのサーバに関する。
四次産業革命により、自律走行車、ドローン、ロボットのような技術分野への関心が高まっている。自律走行車、ドローン、ロボットなどが安定して正確な動作を行うためには、動作制御に必要なデータを収集することが重要である。それに関連し、多種のセンサを活用する方案に係わる研究がなされてきた。
本発明が解決しようとする課題は、センサを利用して獲得した空間情報を活用する車両及びセンシング装置、並びにそのためのサーバを提供することである。
追加の側面は、以下の説明において、部分的に説明され、その説明から明白であり、または本開示の提示された実施形態の実施によって知ることができる。
第１側面による車両は、少なくとも１つのセンサを利用し、三次元空間を連続して感知するセンサ部と、コンピュータで実行可能な命令語（computer executable instruction）を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記感知された三次元空間に係わる時間別空間情報を獲得し、前記獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、前記感知された三次元空間内の少なくとも１つの客体を識別し、前記識別された少なくとも１つの客体を含む前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報と、車両の移動及び姿勢に係わる情報とに基づき、前記車両の走行を制御するプロセッサと、を含むことにもなる。
第２側面によるセンシング装置は、少なくとも１つのセンサを利用し、三次元空間を連続して感知するセンサ部と、通信インターフェース装置と、コンピュータで実行可能な命令語を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記感知された三次元空間に係わる時間別空間情報を獲得し、前記獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、前記感知された三次元空間内の少なくとも１つの客体を識別し、前記識別された少なくとも１つの客体を含む前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報を前記通信インターフェース装置を介して外部に伝送するプロセッサと、を含むことにもなる。
第３側面によるサーバは、通信インターフェース装置と、コンピュータで実行可能な命令語を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記通信インターフェース装置を介して、少なくとも１台の車両によって追跡された、前記少なくとも１台の車両の移動位置に対応する三次元空間に係わる情報を受信し、前記車両が移動する経路に設けられた少なくとも１つのセンシング装置によって追跡された、前記少なくとも１つのセンシング装置の固定された位置に対応する三次元空間に係わる情報を受信し、前記少なくとも１台の車両の移動位置に対応する三次元空間に係わる情報と、前記少なくとも１つのセンシング装置の固定された位置に対応する三次元空間に係わる情報とに基づき、前記少なくとも１台の車両の移動位置と、前記少なくとも１つのセンシング装置の固定された位置とがいずれも属する所定の区域に対応する三次元空間に係わる情報を再構成するプロセッサと、を含むことにもなる。
本開示の一実施形態の前述の側面及び他の側面、特徴及び利点は、添付図面と共になされた以下の説明からさらに明確になるであろう。
一実施形態による、車両とセンシング装置とが位置する任意の走行環境を示した図面である。 一実施形態による車両の構成を示したブロック図である。 一実施形態によるセンシング装置の構成を示したブロック図である。 一実施形態によるサーバの構成を示したブロック図である。 一実施形態によるサーバの階層的構造を示したブロック図である。 一実施形態による、車両が追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。 他の実施形態による、車両が追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。 一実施形態による、センシング装置がセンシング装置の固定された位置に対応する三次元空間に係わる情報を追跡する様子について説明するための図面である。 一実施形態による、車両が車両で追跡された、車両の移動位置に対応する三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。 一実施形態による、車両が車両で追跡された、車両の移動位置に対応する三次元空間に係わる情報とセンシング装置で追跡された、センシング装置の固定された位置に対応する三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程について説明するためのフローチャートである。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。
本開示の一実施形態による車両は、少なくとも１つのセンサを利用し、三次元空間を連続して感知するセンサ部と、コンピュータで実行可能な命令語（computer executable instruction）を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記感知された三次元空間に係わる時間別空間情報を獲得し、前記獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、前記感知された三次元空間内の少なくとも１つの客体を識別し、前記識別された少なくとも１つの客体を含む前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報と、車両の移動及び姿勢に係わる情報とに基づき、前記車両の走行を制御するプロセッサと、を含んでもよい。
以下においては、図面を参照し、多様な実施形態について詳細に説明する。以下において説明される実施形態は、さまざまに異なる形態に変形されても実施される。本実施形態の特徴についてさらに明確に説明するために、以下の実施形態が属する技術分野で当業者に周知の事項については、詳細な説明は、省略する。
本実施形態は、センサを利用して獲得した空間情報を活用する車両、センシング装置、及びそのためのサーバに係わるものであり、以下の実施形態が属する技術分野で当業者に周知の事項については、詳細な説明を省略する。
図１は、一実施形態による、車両１００とセンシング装置２００とが位置する任意の走行環境を示した図面である。
図１を参照すれば、車両１００が走行中に交差点で停止し、信号待機中であり、交差路の各コーナー近辺には、センシング装置２００－１，２００－２，２００－３，２００－４（以下、「センシング装置２００」ともする）が位置する。
車両１００は、道路上や線路上を走る車、列車のような走行手段にもなる。ただし、道路上や線路上ではない空中を運行するときには、ドローン、飛行機のような飛行手段、または海上を運航するときには、ボート、船のような船舶手段を代表する名称にもその意味が拡張されうる。以下においては、説明の便宜上、車両１００は、自律走行車両であることを前提に説明する。車両１００は、自律走行のために、センサを利用し、周辺の空間を感知し、空間情報を獲得することができる。
センシング装置２００は、周辺の空間を感知し、空間情報を獲得することができる装置であり、少なくとも１つのセンサを含んでもよい。センシング装置２００は、地上または地面から所定高さに位置したところにも設けられる。センシング装置２００は、既存の施設物に付着または固定させる方式によっても設けられる。
車両１００とセンシング装置２００とのそれぞれは、ライダー（ＬｉＤＡＲ：light detection and ranging）センサ、レーダ（radar）センサ、カメラセンサ、赤外線映像センサ、超音波センサのような多種のセンサのうち少なくとも一つを含んでもよい。車両１００とセンシング装置２００とのそれぞれは、三次元空間に係わる空間情報を獲得するため、各種のセンサが有している感知範囲（sensing range）や、獲得することができるデータの種類などを考慮し、同種のセンサを複数個利用したり、異種のセンサを組み合わせて利用したりすることができる。
車両１００とセンシング装置２００とに具備されたセンサの種類により、車両１００とセンシング装置２００とのそれぞれが感知することができる感知範囲は、同一であっても、異なっていてもよい。図１を参照すれば、車両１００とセンシング装置２００とのそれぞれが感知することができる感知範囲が図示されている。図１に図示されているように、車両１００が感知することができる第１感知範囲（sensing range １）は、センシング装置２００が感知することができる第２感知範囲（sensing range ２）より狭いようにも図示されているが、それに限定されるものではない。車両１００とセンシング装置２００とに具備されたセンサの種類が同じであるとしても、車両１００とセンシング装置２００とのそれぞれにおいて、センサが設けられた位置や周辺環境により、感知範囲が異なりもする。例えば、センシング装置２００は、車両１００より高いところに位置することができ、移動する車両１００は、固定されているセンシング装置２００に比べ、三次元空間感知を妨害する多様な客体に、近接位置で出合うこともあるために、センシング装置２００が感知することができる第２感知範囲が、車両１００が感知することができる第１感知範囲よりも広いのである。
車両１００は、自律走行のために、センサを利用し、周辺の三次元空間に係わる空間情報を直接獲得することができる。車両１００は、走行方向に対応するさらに広い空間に係わる空間情報を事前に獲得するために、直接獲得することができなかった空間情報を外部から受信することができる。例えば、車両１００は、周辺の他の車両やセンシング装置２００から、それぞれが獲得した空間情報を伝達されうる。
以下、車両１００で獲得された空間情報を自律走行に利用する方式、センシング装置２００で獲得された空間情報を、周辺の他装置に伝送する方式、車両１００とセンシング装置２００とのそれぞれで獲得された空間情報を結合し、さらに広い三次元空間に係わる空間情報を獲得して活用する方式などについて詳細に述べる。
図２は、一実施形態による車両の構成を示したブロック図である。
図２を参照すれば、一実施形態による車両１００は、メモリ１１０、プロセッサ１２０、通信インターフェース装置１３０、センサ部１４０、ユーザインターフェース装置１５０を含んでもよい。本実施形態と係わる技術分野で当業者であるならば、図２に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということを知ることができるであろう。
メモリ１１０は、ソフトウェア及び／またはプログラムを保存することができる。例えば、メモリ１１０は、アプリケーション、アプリケーションプログラミングインターフェース（ＡＰＩ）のようなプログラム、及び多種のデータを保存することができる。メモリ１１０は、プロセッサ１２０によって実行可能な命令語を保存することができる。
プロセッサ１２０は、メモリ１１０に保存されたデータにアクセスし、それを利用したり、新たなデータをメモリ１１０に保存したりすることができる。プロセッサ１２０は、メモリ１１０に保存された命令語を実行することができる。プロセッサ１２０は、車両１００にインストールされたコンピュータプログラムを実行することができる。また、プロセッサ１２０は、外部から受信したコンピュータプログラムまたはアプリケーションを、メモリ１１０にインストールすることもできる。プロセッサ１２０は、少なくとも１つのプロセッシングモジュールを含んでもよい。該プロセッシングモジュールは、所定のプログラムを実行するための専用プロセッシングモジュールでもある。例えば、プロセッサ１２０は、先進運転支援システム（ＡＤＡＳ：advanced driver assistance system）のように、自律走行のための車両制御プログラムを実行する多種のプロセッシングモジュールや、三次元空間追跡プログラムを実行するプロセッシングモジュールを、それぞれ別途の専用チップ形態で含んでもよい。プロセッサ１２０は、命令語またはコンピュータプログラムのような実行結果に対応する動作を遂行するように、車両１００に含まれた他の構成を制御することができる。
通信インターフェース装置１３０は、他の装置またはネットワークと無線通信を行うことができる。そのために、通信インターフェース装置１３０は、多様な無線通信方法のうち少なくとも一つを支援する通信モジュールを含んでもよい。例えば、Ｗｉ－Ｆｉ（wireless fidelity）のような近距離通信、３Ｇ・４Ｇ・５Ｇのような多種の移動通信または超広帯域通信を行う通信モジュールが含まれてもよい。通信インターフェース装置１３０は、車両１００の外部に位置した装置と連結され、信号またはデータを送受信することができる。車両１００は、通信インターフェース装置１３０を介し、センシング装置２００、または他の車両と通信を行うか、あるいは車両１００が位置する区域を管理する地域サーバとも連結される。
センサ部１４０は、三次元空間を感知するための、少なくとも１つのセンサを含んでもよい。センサ部１４０は、感知範囲内に位置した客体を感知することができ、感知された客体の三次元空間上の座標を生成することができるデータを獲得することができる。センサ部１４０は、感知範囲内に位置した客体に係わる形状データまたは距離データを獲得することができる。センサ部１４０は、ライダー（ＬｉＤＡＲ）センサ、レーダセンサ、カメラセンサ、赤外線映像センサ、超音波センサのような多種のセンサのうち少なくとも一つを含んでもよい。例えば、センサ部１４０は、少なくとも１つの三次元ライダーセンサを含み、３６０°範囲の空間に係わるデータを獲得し、レーダセンサ及び超音波センサのうち少なくとも一つをさらに含み、三次元ライダーセンサが感知することができない死角領域、または車両１００から所定距離内の近接空間に係わるデータを獲得することができる。
ユーザインターフェース装置１５０は、ユーザから、ユーザ入力などを受信することができる。ユーザインターフェース装置１５０は、車両１００におけるコンピュータプログラムの実行結果、ユーザ入力に対応する処理結果、車両１００の状態のような情報をディスプレイすることができる。例えば、ユーザは、車両１００にインストールされている多種のコンピュータプログラムのうち、実行するコンピュータプログラムを、ユーザインターフェース装置１５０を介して選択して実行させることができる。ユーザインターフェース装置１５０は、入力を受信したり、出力を提供したりするためのハードウェアユニットを含み、それらを駆動するための専用ソフトウェアモジュールを含むことにもなる。例えば、ユーザインターフェース装置１５０は、タッチスクリーンにもなるが、それに限定されるものではない。
図２に図示されていないが、車両１００は、ＧＰＳ（global positioning system）、ＩＭＵ（inertial measurement units）のような自律走行に要求される構成をさらに含んでもよい。該ＧＰＳは、ＧＰＳ衛星に送る信号を受信し、車両１００の現在位置を計算する衛星航法システムである。該ＩＭＵは、車両１００の速度及び方向、重力、並びに加速度を測定する装置である。プロセッサ１２０は、ＧＰＳとＩＭＵとを利用し、車両１００の移動及び姿勢に係わる情報を獲得することができる。プロセッサ１２０は、車両１００に具備された他のセンサやメモリから、車両１００制御に係わるそれ以外の情報を獲得することもできる。
プロセッサ１２０は、コンピュータで実行可能な命令語を実行することにより、少なくとも１つのセンサを利用し、連続して感知された三次元空間に係わる時間別空間情報を獲得することができる。プロセッサ１２０は、獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、感知された三次元空間内の少なくとも１つの客体を識別し、識別された少なくとも１つの客体を含む感知された三次元空間を追跡することができる。プロセッサ１２０は、追跡された三次元空間に係わる情報と、車両の移動及び姿勢に係わる情報とに基づき、車両１００の走行を制御することができる。追跡された三次元空間に係わる情報は、識別された少なくとも１つの客体が位置する空間に係わる空間情報、及び識別された少なくとも１つの客体の移動に係わる動的情報を含んでもよい。
プロセッサ１２０は、センサ部１４０から時間情報を記録したタイムスタンプと、感知された三次元空間に係わるデータとを受信し、感知された三次元空間に係わる時間別空間情報を、三次元映像に生成することができる。感知された三次元空間に係わる空間情報は、車両１００の移動位置に対応する移動座標値を、ＧＰＳを介して得ることができるので、所定の座標を基準にする座標系、例えば、原点を基準にする絶対座標系の対応する部分にもマッピングされる。
センサ部１４０は、複数個の三次元ライダーセンサを介し、同心球関係にある互いに異なるセンシング範囲において、三次元空間をそれぞれ連続して感知することができる。プロセッサ１２０は、互いに異なるセンシング範囲にそれぞれ感知された三次元空間に係わるそれぞれの時間別空間情報を獲得し、獲得したそれぞれの時間別空間情報から、共通に識別される客体に対し、正確度に係わる加重値を与え、三次元空間を追跡することができる。
プロセッサ１２０は、感知された三次元空間内の識別された少なくとも１つの客体の種類、三次元形状、位置、姿勢、サイズ、軌跡及び速度のうち少なくとも１つの属性情報を判断して三次元空間を追跡し、追跡された三次元空間に係わる情報を予測し、予測された情報にさらに基づき、車両１００の走行を制御することができる。
プロセッサ１２０は、車両１００の移動によって変更される、追跡された三次元空間に係わる情報と、車両１００の移動及び姿勢に係わる情報とを、１０Ｈｚないし２０Ｈｚの処理速度でリアルタイムで反映させ、車両１００の走行を制御することができる。
プロセッサ１２０は、車両１００が移動する経路に設けられた少なくとも１つのセンシング装置２００から、少なくとも１つのセンシング装置２００によって追跡された、少なくとも１つのセンシング装置２００の固定された位置に対応する三次元空間に係わる情報を、通信インターフェース装置１３０を介して受信することができる。プロセッサ１２０は、少なくとも１つのセンシング装置２００の固定された位置に対応する三次元空間に係わる情報にさらに基づき、車両１００の走行を制御することができる。
プロセッサ１２０は、神経網基盤の客体分類モデルを利用して識別された少なくとも１つの客体を、所定の基準以上の自動車に該当する第１タイプの客体、所定の基準未満の軽自動車または二輪自動車に該当する第２タイプの客体、歩行者に該当する第３タイプの客体、車両１００の移動路に該当する第４タイプの客体、及び第１タイプの客体ないし第４タイプの客体ではないその他感知物に該当する第５タイプの客体のうちいずれか一つに分類することができる。プロセッサ１２０は、ユーザインターフェース装置１５０を介し、分類された少なくとも１つの客体を、追跡された三次元空間に区別してディスプレイすることができる。
図３は、一実施形態によるセンシング装置２００の構成を示したブロック図である。
図３を参照すれば、一実施形態によるセンシング装置２００は、メモリ２１０、プロセッサ２２０、通信インターフェース装置２３０、センサ部２４０を含んでもよい。本実施形態と係わる技術分野において当業者であるならば、図３に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということを知ることができるであろう。
メモリ２１０は、ソフトウェア及び／またはプログラムを保存することができる。メモリ２１０は、プロセッサ２２０によって実行可能な命令語を保存することができる。
プロセッサ２２０は、メモリ２１０に保存されたデータにアクセスし、それを利用したり、新たなデータをメモリ２１０に保存したりすることができる。プロセッサ２２０は、メモリ２１０に保存された命令語を実行することができる。プロセッサ２２０は、センシング装置２００にインストールされたコンピュータプログラムを実行することができる。また、プロセッサ２２０は、外部から受信したコンピュータプログラムまたはアプリケーションを、メモリ２１０にインストールすることもできる。プロセッサ２２０は、少なくとも１つのプロセッシングモジュールを含んでもよい。例えば、プロセッサ２２０は、三次元空間追跡プログラムを実行するプロセッシングモジュールを、専用プロセッシングモジュール形態で含んでもよい。プロセッサ２２０は、命令語またはコンピュータプログラムなどの実行結果に対応する動作を遂行するように、センシング装置２００に含まれた他の構成を制御することができる。
通信インターフェース装置２３０は、他の装置またはネットワークと有無線通信を行うことができる。そのために、通信インターフェース装置２３０は、多様な有無線通信方法のうち少なくとも一つを支援する通信モジュールを含んでもよい。例えば、Ｗｉ－Ｆｉのような近距離通信、多種の移動通信のような無線通信、または同軸ケーブルや光ケーブルなどを利用する有線通信を行う通信モジュールが含まれてもよい。通信インターフェース装置２３０は、センシング装置２００外部に位置した装置と連結され、信号またはデータを送受信することができる。センシング装置２００は、通信インターフェース装置２３０を介し、車両１００、または他のセンシング装置と通信を行うか、あるいはセンシング装置２００が位置する区域を管理する地域サーバとも連結される。
センサ部２４０は、三次元空間を感知するための少なくとも１つのセンサを含んでもよい。センサ部２４０は、感知範囲内に位置した客体を感知することができ、感知された客体の三次元空間上の座標を生成することができるデータを獲得することができる。センサ部２４０は、感知範囲内に位置した客体に係わる形状データまたは距離データを獲得することができる。センサ部２４０は、ライダー（ＬｉＤＡＲ）センサ、レーダセンサ、カメラセンサ、赤外線映像センサ、超音波センサのような多種のセンサのうち少なくとも一つを含んでもよい。例えば、センサ部２４０は、少なくとも１つの三次元ライダーセンサを含み、３６０°範囲の空間に係わるデータを獲得し、レーダセンサ及び超音波センサのうち少なくとも一つをさらに含み、三次元ライダーセンサが感知することができない死角領域、またはセンシング装置２００から所定距離内の近接空間に係わるデータを獲得することができる。
プロセッサ２２０は、コンピュータで実行可能な命令語を実行することにより、少なくとも１つのセンサを利用し、連続して感知された三次元空間に係わる時間別空間情報を獲得することができる。プロセッサ２２０は、獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、感知された三次元空間内の少なくとも１つの客体を識別し、識別された少なくとも１つの客体を含む感知された三次元空間を追跡することができる。プロセッサ２２０は、追跡された三次元空間に係わる情報を、通信インターフェース装置２３０を介して外部に伝送することができる。
プロセッサ２２０は、センサ部２４０から、時間情報を記録したタイムスタンプと、感知された三次元空間に係わるデータとを受信し、感知された三次元空間に係わる時間別空間情報を、三次元映像に生成することができる。感知された三次元空間に係わる空間情報は、センシング装置２００の固定された位置に対応する固定座標値を有することができるので、所定の座標を基準にする座標系、例えば、原点を基準にする絶対座標系の対応する部分にもマッピングされる。
プロセッサ２２０は、感知された三次元空間内の識別された少なくとも１つの客体の種類、三次元形状、位置、姿勢、サイズ、軌跡及び速度のうち少なくとも１つの属性情報を判断し、三次元空間を追跡することができる。プロセッサ２２０は、追跡された三次元空間に係わる情報を、通信インターフェース装置２３０を介し、センシング装置２００から所定距離内の車両１００、他のセンシング装置２００及びサーバ３００のうち少なくとも一つに伝送することができる。
図４は、一実施形態によるサーバ３００の構成を示したブロック図である。
図４を参照すれば、一実施形態によるサーバ３００は、メモリ３１０、プロセッサ３２０、通信インターフェース装置３３０を含んでもよい。本実施形態と係わる技術分野において当業者であるならば、図４に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということを知ることができるであろう。
メモリ３１０は、ソフトウェア及び／またはプログラムを保存することができる。メモリ３１０は、プロセッサ３２０によって実行可能な命令語を保存することができる。
プロセッサ３２０は、メモリ３１０に保存されたデータを利用したり、新たなデータをメモリ３１０に保存したりすることができる。プロセッサ３２０は、メモリ２１０に保存された命令語を実行することができる。プロセッサ３２０は、サーバ３００にインストールされたコンピュータプログラムを実行することができる。プロセッサ３２０は、少なくとも１つのプロセッシングモジュールを含んでもよい。プロセッサ３２０は、命令語またはコンピュータプログラムなどの実行結果に対応する動作を遂行するように、サーバ３００に含まれた他の構成を制御することができる。
通信インターフェース装置３３０は、他の装置またはネットワークと有無線通信を行うことができる。通信インターフェース装置３３０は、サーバ３００の外部に位置した装置と連結され、信号またはデータを送受信することができる。サーバ３００は、通信インターフェース装置３３０を介し、車両１００またはセンシング装置２００と通信を行うか、あるいはネットワークに連結された他のサーバとも連結される。
プロセッサ３２０は、コンピュータで実行可能な命令語を実行することにより、通信インターフェース装置３３０を介し、少なくとも１台の車両１００によって追跡された、少なくとも１台の車両１００の移動位置に対応する三次元空間に係わる情報を受信し、車両１００が移動する経路に設けられた少なくとも１つのセンシング装置２００によって追跡された、少なくとも１つのセンシング装置２００の固定された位置に対応する三次元空間に係わる情報を受信することができる。プロセッサ３２０は、少なくとも１台の車両１００の移動位置に対応する三次元空間に係わる情報と、少なくとも１つのセンシング装置２００の固定された位置に対応する三次元空間に係わる情報とに基づき、少なくとも１台の車両１００の移動位置と、少なくとも１つのセンシング装置２００の固定された位置とがいずれも属する所定の区域に対応する三次元空間に係わる情報を再構成することができる。
プロセッサ３２０は、再構成された、所定の区域に対応する三次元空間に係わる情報を、通信インターフェース装置３３０を介し、上位階層の統合サーバに伝送することができる。
図５は、一実施形態によるサーバ３００－１，３００－２ないし３００－Ｎ，４００の階層的構造を示したブロック図である。
図５を参照すれば、車両１００とセンシング装置２００とがそれぞれ感知することができる感知範囲は、いずれも所定の区域に属するということが分かる。そのような所定の区域は、地域サーバに該当するサーバ３００－１，３００－２ないし３００－Ｎ（以下、サーバ３００と代表しても称される）のうち、当該区域に対応するいずれか１つのサーバ３００によっても管理される。
サーバ３００は、サーバ３００が管理する当該区域内において、車両１００やセンシング装置２００によって追跡された三次元空間に係わる情報を収集し、当該区域内の対応する空間にマッピングさせることにより、当該区域全体に対応する三次元空間に係わる情報を再構成することができる。言い替えれば、地域サーバに該当するサーバ３００は、自体が管理する区域に係わる三次元空間に係わる情報を獲得することができる。地域サーバに該当するサーバ３００は、所定の条件を満足したり、要請があったりする場合、自体が管理する区域に係わる三次元空間に係わる情報の一部または全体を、当該区域内に位置した車両１００やセンシング装置２００に伝送することができる。また、サーバ３００は、自体が管理する区域に係わる三次元空間に係わる情報を、地域サーバを管理する全域サーバに該当するサーバ４００に伝送することができる。サーバ４００は、サーバ３００の上位階層の統合サーバでもある。
サーバ４００は、地域サーバによって再構成された、所定の区域に対応する三次元空間に係わる情報を収集し、全域内の対応する空間にマッピングさせることにより、サーバ４００が管理する全域に対応する三次元空間に係わる情報を獲得することができる。言い替えれば、全域サーバに該当するサーバ４００は、自体が管理する全域に係わる三次元空間に係わる情報を獲得することができる。全域サーバに該当するサーバ４００は、所定の条件を満足したり、要請があったりする場合、自体が管理する全域に係わる三次元空間に係わる情報の一部または全体を、地域サーバに該当するサーバ３００に伝送することができる。
図５に図示されているように、センサ部１４０を含む車両１００、センサ部２４０を含むセンシング装置２００、地域サーバに該当するサーバ３００、及び全域サーバに該当するサーバ４００の間には、階層的構造が形成されうるということが分かる。車両１００とセンシング装置２００とで追跡された三次元空間に係わる情報は、上位階層に伝達されながら統合される過程を経て、全体空間に対応する三次元空間に係わる情報にもなる。
図６は、一実施形態による、車両１００が追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。
図６を参照すれば、車両１００が、車両１００の移動位置に対応する三次元空間に係わる情報と、車両１００の移動及び姿勢に係わる情報とに基づいて走行することが分かる。車両１００の移動位置に対応する三次元空間に係わる情報には、少なくとも１つの客体（object）が含まれてもよい。図６に図示されているように、所定の基準以上の自動車は、第１タイプの客体（object of type １）であり、所定の基準未満の軽自動車または二輪自動車は、第２タイプの客体（object of type ２）で、歩行者は、第３タイプの客体（object of type ３）であり、車両１００の移動路は、第４タイプの客体（object of type ４）であり、第１タイプの客体ないし第４タイプの客体ではないその他感知物は、第５タイプの客体（object of type ５）にもそれぞれ区別され、各タイプの客体は、高さを含む三次元形状や大きさ、色相などが互いに異なりうる。車両１００の移動位置によって追跡された三次元空間に係わる情報に基づき、各客体の位置、姿勢、速度などが決定され、各客体を持続的に追跡することにより、変位、変化量、軌跡、推移などを確認または予測することができる。車両１００が自律走行車両である場合、車両１００の移動によって変わる周辺の客体を追跡し、車両１００の走行を制御する資料としても使用される。
図６の右側下端に表示されているように、車両１００の速度、方向及び操向（steering）装置の角度を確認することができ、車両１００の移動により、その変化を追跡することができる。
図７は、他の実施形態による、車両１００が、追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。
図７を参照すれば、車両１００が、車両１００の移動位置に対応する三次元空間に係わる情報と、車両１００の移動及び姿勢に係わる情報とに基づいて走行することが分かる。先に説明した図６と比較すれば、車両１００を取り囲んでいる同心円の筋数及び間隔が異なるということが分かる。図７の場合、車両１００が、複数個の三次元ライダーセンサを介し、同心球関係にある互いに異なるセンシング範囲において、三次元空間をそれぞれ連続して感知し、互いに異なるセンシング範囲にそれぞれ感知された三次元空間に係わるそれぞれの時間別空間情報を獲得し、車両１００の移動位置に対応する三次元空間を追跡することができるということが分かる。
図８は、一実施形態による、センシング装置２００がセンシング装置２００の固定された位置に対応する三次元空間に係わる情報を追跡する様子について説明するための図面である。
図８を参照すれば、２つのセンシング装置２００が所定距離を置いて位置しており、各センシング装置２００は、少なくとも１つのセンサを利用し、三次元空間を連続して感知し、センシング装置２００の固定された位置に対応する三次元空間に係わる情報を追跡するということが分かる。ＩＤ １８５に該当する自動車が、約２０ｋｍ／ｈ速度でセンシング装置２００から遠くなり、ＩＤ １５６に該当する歩行者が、約５ｋｍ／ｈ速度で、左側にあるセンシング装置２００から右側にあるセンシング装置２００に移動していることが分かる。このとき、各客体の進行方向を知ることができるように、各客体の進行方向に対応する矢印を示すことができる。そのようなセンシング装置２００は、感知範囲内に、いかなる客体が通過するか、あるいは入り込むかということを知ることができるので、保安用途においても活用され、特定区域に対する通行量観測のようなモニタリング用途としても活用される。
図９は、一実施形態による、車両１００が、車両１００で追跡された、車両１００の移動位置に対応する三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。図１０は、一実施形態による、車両１００が、車両１００で追跡された、車両１００の移動位置に対応する三次元空間に係わる情報と、センシング装置２００で追跡された、センシング装置２００の固定された位置に対応する三次元空間に係わる情報とに基づいて走行する様子について説明するための図面である。
図９及び図１０を参照すれば、図９に図示された車両１００は、車両１００に具備されたセンサのみを利用し、車両１００の移動位置に対応する三次元空間に係わる情報を獲得するので、車両１００を取り囲んだ客体がある場合、センサが感知することができる感知範囲が制限的になってしまう。それに反し、図１０に図示された車両１００は、車両１００に具備されたセンサを利用し、車両１００の移動位置に対応する三次元空間に係わる情報を獲得するだけではなく、車両１００が移動する経路に設けられた少なくとも１つのセンシング装置２００に具備されたセンサを利用し、センシング装置２００の固定された位置に対応する三次元空間に係わる情報も獲得するので、図９の車両１００が感知することができる三次元空間より、図１０の車両１００が感知することができる三次元空間がはるかに広いということが分かる。図１０の車両１００は、第３タイプの客体に該当する歩行者と、第１タイプの客体に該当する全ての自動車とを追跡し、それに係わる情報を確認することができるが、図９の車両１００は、第３タイプの客体に該当する歩行者と、第１タイプの客体に該当する一部自動車とを追跡することができない。
図１１は、三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程について説明するためのフローチャートである。図１２ないし図１６は、三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。以下、図１１ないし図１６を参照し、三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程について説明する。
１１１０段階において、車両１００またはセンシング装置２００は、三次元空間に係わる時間別空間情報から、地面領域と客体領域とを区分することができる。車両１００またはセンシング装置２００で感知された三次元空間に係わる時間別空間情報は、ポイントクラウドデータ形態でもある。
車両１００またはセンシング装置２００は、三次元空間に係わる時間別空間情報から、地面領域を区分することができる。車両１００またはセンシング装置２００は、ポイントクラウドデータのうち、地面領域に該当するポイントクラウドデータを区分することができる。車両１００またはセンシング装置２００は、三次元空間に係わる時間別空間情報から、地面領域をまず区分し、残り部分を、少なくとも１つの客体を含む客体領域に区分することができる。車両１００またはセンシング装置２００は、地面推定モデル（ground estimation model）を探すために、確率的モデル（stochastic model）に基づいたフィッティングを適用することができる。車両１００またはセンシング装置２００は、リアルタイムで地面形態を学習することができ、それぞれのポイントクラウドデータにつき、地面領域に該当するポイントクラウドデータであるか否かということで分類することができる。
図１２を参照すれば、車両１００またはセンシング装置２００が感知した三次元空間に係わる特定時間における、空間情報から地面領域と客体領域とを区分する過程が示されている。説明の便宜のために、図１２ないし図１６においては、図示されているように、３個の客体と、地面とを含む空間情報の場合を例として挙げて説明する。
車両１００またはセンシング装置２００が感知した三次元空間に係わる特定時間における空間情報は、図１２の上段に図示されているように、客体と地面との区分がないポイントクラウドデータであり、感知された全ての対象に対応するポイントクラウドデータでもある。車両１００またはセンシング装置２００は、図１２の上段に図示されているような全体ポイントクラウドデータから、地面領域と推定されるポイントクラウドデータを分離することにより、図１２の下段に図示されているように、地面領域に対応するポイントクラウドデータと、客体領域に対応するポイントクラウドデータとを区分することができる。このとき、該客体領域は、少なくとも１つの客体を含むが、各客体別に区分された状態ではなく、全体客体に対応するポイントクラウドデータでもある。
再び図１１を参照すれば、１１２０段階において、車両１００またはセンシング装置２００は、客体領域をクラスタリングすることにより、個別客体領域を区分することができる。車両１００またはセンシング装置２００は、地面領域と区分された客体領域を、さらに各客体別に区分されうるように、個別客体領域にさらに区分することができる。地面領域と、区分された客体領域は、全体客体に対応するポイントクラウドデータに該当するので、車両１００またはセンシング装置２００は、全体客体に対応するポイントクラウドデータをクラスタリングすることにより、各客体別に、ポイントクラウドデータを区分することができる。
図１３を参照すれば、車両１００またはセンシング装置２００が、地面領域と、区分された客体領域とから、各客体に対応する個別客体領域を区分する過程が示されている。
図１３の上段に図示されているように、地面を除いた全体客体を含む客体領域に対応するポイントクラウドデータは、地面領域に対応するポイントクラウドデータと区分されうる。車両１００またはセンシング装置２００は、客体領域に対応するポイントクラウドデータを、距離情報、形状情報、分布情報のうち少なくとも一つに基づいてクラスタリングすることにより、全体客体を含む客体領域に対応するポイントクラウドデータから、図１３の下段に図示されているように、「客体１」、「客体２」及び「客体３」それぞれの、個別客体領域に対応するポイントクラウドデータを区分することができる。その結果、車両１００またはセンシング装置２００は、客体の位置や形状、個数などに係わる情報を獲得することができる。
再び図１１を参照すれば、１１３０段階において、車両１００またはセンシング装置２００は、三次元空間に係わる時間別空間情報につき、神経網基盤の客体分類モデルを利用して識別された少なくとも１つの客体の客体情報を獲得することができる。車両１００またはセンシング装置２００は、神経網基盤の客体分類モデルに、三次元空間に係わる時間別空間情報を入力し、少なくとも１つの客体を識別し、識別された客体の客体情報を獲得することができる。該神経網基盤の客体分類モデルは、各客体につき、データベース化された学習用映像を利用して学習されたものでもある。該神経網基盤の客体分類モデルは、感知された全ての対象に対応するポイントクラウドデータにつき、距離情報、形状情報、分布情報のうち少なくとも一つに基づいて識別される各客体の客体情報を推定することができる。車両１００またはセンシング装置２００は、神経網基盤の客体分類モデルを介し、自動車、軽自動車、二輪自動車、歩行者のような動くことができる関心客体のみを識別し、関心客体についてのみ客体情報を推定することもできる。１１３０段階は、１１１０段階及び１１２０段階と並列的に処理されうる。
図１４を参照すれば、車両１００またはセンシング装置２００が感知した三次元空間に係わる特定時間における空間情報から、各客体の客体情報を獲得する過程が示されている。
車両１００またはセンシング装置２００が感知した三次元空間に係わる特定時間における空間情報は、図１４の上段に図示されているように、感知された全ての対象に対応するポイントクラウドデータでもある。車両１００またはセンシング装置２００は、図１４の上段に図示されているような全体ポイントクラウドデータにつき、神経網基盤の客体分類モデルを利用し、「客体１」、「客体２」及び「客体３」を識別して分類し、「客体１」、「客体２」及び「客体３」の客体情報を獲得することができる。「客体１」に該当するタイプの客体を、関心客体として事前に設定しておくことにより、関心客体である「客体１」のみを識別して分類し、「客体１」についてのみ客体情報を獲得するようにすることもできる。図１４の下段に図示されているように、車両１００またはセンシング装置２００は、各客体の種類、位置及び大きさの値を推定することができ、各客体に係わる多様な形態のバウンダリライン（boundary line）またはバウンディングボックス（Bounding box）を決定することができる。
再び図１１を参照すれば、１１４０段階において、車両１００またはセンシング装置２００は、１１３０段階で獲得した、三次元空間に係わる時間別空間情報につき、神経網基盤の客体分類モデルを利用して識別された少なくとも１つの客体の客体情報と、１１２０段階で獲得した、個別客体領域とに基づき、感知された三次元空間を追跡することができる。１１３０段階で活用される神経網基盤の客体分類モデルは、十分に学習されていない客体については、客体の識別、及び客体情報の推定が困難であるので、車両１００またはセンシング装置２００は、そのような識別不可能な客体については、１１２０段階で獲得した個別客体領域から、客体の位置や形状または個数などに係わる情報を獲得することができる。また、１１３０段階で活用される神経網基盤の客体分類モデルが推定した客体の情報は、感知された三次元空間上の客体の実際情報と異なりもするので、１１２０段階で獲得した個別客体領域から獲得することができる客体の位置や形状または個数などに係わる情報を利用して補正することもできる。結果として、神経網基盤の客体分類モデルが推定した客体の情報と、クラスタリングを介して区分された個別客体領域から獲得した客体に係わる情報とを統合し、各客体を識別し、客体の位置や形状などに係わる正確な情報を獲得することができる。また、神経網基盤の客体分類モデルを介し、識別または分類することができない客体についても、クラスタリングを介して区分された個別客体領域から獲得した客体に係わる情報を利用することにより、感知された三次元空間上の全ての客体を逃さずに追跡することができる。
図１５及び図１６を参照すれば、車両１００またはセンシング装置２００が、クラスタリングを介して区分された個別客体領域から獲得した客体に係わる情報と、神経網基盤の客体分類モデルが推定した客体の情報とを統合し、感知された三次元空間上の客体を追跡する過程が示されている。
図１５を参照すれば、車両１００またはセンシング装置２００は、「客体１」、「客体２」及び「客体３」それぞれの、個別客体領域に対応するポイントクラウドデータに基づいて獲得した各客体に係わる情報と、「客体１」、「客体２」及び「客体３」で識別されて分類された各客体の客体情報とを統合し、感知された三次元空間上の全ての客体に係わる正確な情報を獲得することができる。車両１００またはセンシング装置２００は、各客体に係わる多様な形態のバウンダリラインまたはバウンディングボックスを、個別客体領域に対応するポイントクラウドデータに基づいて獲得した各客体に係わる情報によって補正することにより、客体に係わる正確な情報を獲得することができる。
図１６を参照すれば、車両１００またはセンシング装置２００は、感知された三次元空間に係わる時間別空間情報から、経時的に、感知された三次元空間上の全ての客体に係わる連続的な情報を獲得し、感知された三次元空間上の全ての客体を追跡することができる。例えば、車両１００またはセンシング装置２００は、カルマンフィルタを利用した客体追跡方式により、各客体を経時的に追跡することができる。図１６に図示されているように、車両１００またはセンシング装置２００は、経時的な連続フレーム情報から、各客体の位置の変化量に基づき、速度と移動方向とを追跡することができ、追跡した結果を記録することもできる。
再び図１１を参照すれば、１１５０段階において、車両１００またはセンシング装置２００は、追跡された三次元空間に係わる情報を予測することができる。車両１００またはセンシング装置２００は、客体を追跡した情報を累積し、累積された追跡情報から、客体の動きパターンを分析し、客体の動きを予測することができる。車両１００またはセンシング装置２００は、識別された少なくとも１つの客体のうち、関心客体についてのみ追跡された三次元空間における動きを予測することにより、それと係わるプロセッシングの演算量を減らし、効率的な走行または監視を計画することができる。
前述の実施形態それぞれは、電子装置において、センサを利用して獲得した空間情報を活用する所定の段階を含む方法を遂行させるコンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムまたはアプリケーション形態にも提供される。言い替えれば、前述の実施形態それぞれは、電子装置をして、センサを利用して獲得した空間情報を活用する所定の段階を含む方法を実行させるためのコンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムまたはアプリケーション形態にも提供される。
前述の実施形態は、コンピュータまたはプロセッサによって実行可能な命令語及びデータを保存するコンピュータで読み取り可能な記録媒体の形態にも具現される。前述の命令語及びデータのうち少なくとも一つは、プログラムコードの形態にも保存され、プロセッサによって実行されたとき、所定のプログラムモジュールを生成し、所定の動作を遂行することができる。そのようなコンピュータで読み取り可能な記録媒体は、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、フラッシュメモリ、ＣＤ－ＲＯＭｓ、ＣＤ－Ｒｓ、ＣＤ＋Ｒｓ、ＣＤ－ＲＷｓ、ＣＤ＋ＲＷｓ、ＤＶＤ－ＲＯＭｓ、ＤＶＤ－Ｒｓ、ＤＶＤ＋Ｒｓ、ＤＶＤ－ＲＷｓ、ＤＶＤ＋ＲＷｓ、ＤＶＤ－ＲＡＭｓ、ＢＤ－ＲＯＭｓ、ＢＤ－Ｒｓ、ＢＤ－ＲＬＴＨｓ、ＢＤ－ＲＥｓ、マグネチックテープ、フロッピーディスク、光磁気データ保存装置、光学データ保存装置、ハードディスク、ソリッドステートディスク（ＳＳＤ）、並びに命令語またはソフトウェア、関連データ、データファイル及びデータ構造を保存することができ、プロセッサやコンピュータが命令語を実行するように、プロセッサやコンピュータに命令語またはソフトウェア、関連データ、データファイル及びデータ構造を提供することができるいかなる装置でもある。
以上、本実施形態を中心に説明した。開示された実施形態が属する技術分野で当業者であるならば、開示された実施形態が、本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。発明の範囲は、前述の実施形態の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、発明の範囲に含まれたものであると解釈されなければならないのである。

Claims (17)

  1. 三次元空間を感知するセンサ部と、
    １つ以上の命令語を保存するメモリと、
    前記１つ以上の命令語を実行することにより、前記感知された三次元空間に係わるポイントクラウドデータを獲得して、前記獲得されたポイントクラウドデータから個別客体領域を区分し、客体分類モデルを用いて識別された客体の客体情報を獲得し、前記客体情報と前記個別客体領域に基づいて獲得される客体に係わる情報を用いて前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報に基づき、前記車両の走行を制御するプロセッサと、を含む、車両。
  2. 前記プロセッサは、前記１つ以上の命令語を実行することにより、
    前記客体分類モデルを通じて識別不可能な客体の場合、前記個別客体領域から獲得される客体に係わる情報を用いて前記感知された三次元空間を追跡する、請求項１に記載の車両。
  3. 前記プロセッサは、前記１つ以上の命令語を実行することにより、
    前記客体情報を前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項１に記載の車両。
  4. 前記プロセッサは、前記１つ以上の命令語を実行することにより、
    前記客体情報に対応するバウンディングボックスを前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項１に記載の車両。
  5. 前記プロセッサは、前記１つ以上の命令語を実行することにより、
    前記追跡された三次元空間に係わる情報から客体の動きパターンを分析し、前記追跡された三次元空間に係わる情報を予測する、請求項１に記載の車両。
  6. 前記プロセッサは、前記１つ以上の命令語を実行することにより、
    前記獲得されたポイントクラウドデータから客体領域を抽出し、前記客体領域をクラスタリングすることにより、前記個別客体領域を区分し、前記獲得されたポイントクラウドデータから前記客体分類モデルを用いて前記三次元空間上の客体を識別し、前記識別された客体の客体情報を推定する、請求項１に記載の車両。
  7. 前記客体に係わる情報は、前記個別客体領域に対応するポイントクラウドデータに基づいて獲得される客体の位置、形状、及び個数に係わる情報である、請求項１に記載の車両。
  8. 通信インターフェース装置をさらに含み、前記プロセッサは、前記１つ以上の命令語を実行することにより、前記追跡された三次元空間に係わる情報を前記通信インターフェース装置を通じて外部に伝送する、請求項１に記載の車両。
  9. 三次元空間を感知するセンサ部と、
    １つ以上の命令語を保存するメモリと、
    前記１つ以上の命令語を実行することにより、前記感知された三次元空間に係わるポイントクラウドデータを獲得し、前記獲得されたポイントクラウドデータから個別客体領域を区分し、客体分類モデルを用いて識別された客体の客体情報を獲得し、前記個別客体領域に基づいて獲得される客体に係わる情報と前記客体情報とを用いて前記感知された三次元空間を追跡するプロセッサと、を含む、センシング装置。
  10. 前記プロセッサは、前記１つ以上の命令語を実行することにより、前記客体分類モデルを通じて識別不可能な客体の場合、前記個別客体領域から獲得される客体に係わる情報を用いて前記感知された三次元空間を追跡する、請求項９に記載のセンシング装置。
  11. 前記プロセッサは、前記１つ以上の命令語を実行することにより、
    前記客体情報を前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項９に記載のセンシング装置。
  12. 前記プロセッサは、前記１つ以上の命令語を実行することにより、
    前記客体情報に対応するバウンディングボックスを前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項９に記載のセンシング装置。
  13. 前記プロセッサは、前記１つ以上の命令語を実行することにより、前記追跡された三次元空間に係わる情報から客体の動きパターンを分析し、前記追跡された三次元空間に係わる情報を予測する、請求項９に記載のセンシング装置。
  14. 前記プロセッサは、前記１つ以上の命令語を実行することにより、前記獲得されたポイントクラウドデータから客体領域を抽出し、前記客体領域をクラスタリングすることにより、前記個別客体領域を区分し、前記獲得されたポイントクラウドデータから前記客体分類モデルを用いて前記三次元空間上の客体を識別し、前記識別された客体の客体情報を推定する、請求項９に記載のセンシング装置。
  15. 前記客体に係わる情報は、前記個別客体領域に対応するポイントクラウドデータに基づいて獲得される客体の位置、形状、及び個数に係わる情報である、請求項９に記載のセンシング装置。
  16. 通信インターフェース装置をさらに含み、前記プロセッサは、前記１つ以上の命令語を実行することにより、前記追跡された三次元空間に係わる情報を前記通信インターフェース装置を通じて外部に伝送する、請求項９に記載のセンシング装置。
  17. 電子装置において、
    三次元空間に係わるポイントクラウドデータを獲得する段階と、
    前記獲得されたポイントクラウドデータから個別客体領域を区分する段階と、
    前記獲得されたポイントクラウドデータについて客体分類モデルを用いて識別された客体の客体情報を獲得する段階と、
    前記個別客体領域に基づいて獲得される客体に係わる情報と前記客体情報とを用いて前記感知された三次元空間を追跡する段階と、を含む方法を遂行するようにする、記録媒体に保存されたコンピュータープログラム。


JP2023206804A 2019-01-04 2023-12-07 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ Pending JP2024025803A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20190001312 2019-01-04
KR10-2019-0001312 2019-01-04
KR10-2019-0029372 2019-03-14
KR1020190029372A KR102193950B1 (ko) 2019-01-04 2019-03-14 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버
JP2021539135A JP7405451B2 (ja) 2019-01-04 2019-09-16 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ
PCT/KR2019/011949 WO2020141694A1 (en) 2019-01-04 2019-09-16 Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021539135A Division JP7405451B2 (ja) 2019-01-04 2019-09-16 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ

Publications (1)

Publication Number Publication Date
JP2024025803A true JP2024025803A (ja) 2024-02-26

Family

ID=72048729

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021539135A Active JP7405451B2 (ja) 2019-01-04 2019-09-16 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ
JP2023206804A Pending JP2024025803A (ja) 2019-01-04 2023-12-07 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021539135A Active JP7405451B2 (ja) 2019-01-04 2019-09-16 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ

Country Status (5)

Country Link
US (2) US11914388B2 (ja)
EP (1) EP3756056A4 (ja)
JP (2) JP7405451B2 (ja)
KR (3) KR102193950B1 (ja)
AU (2) AU2019419781B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
CN114078325B (zh) * 2020-08-19 2023-09-05 北京万集科技股份有限公司 多感知系统配准方法、装置、计算机设备和存储介质
FR3116127B1 (fr) * 2020-11-12 2022-11-11 Thales Sa Système radar d'imagerie à entrées et sorties multiples de type MIMO.
KR102446500B1 (ko) * 2020-12-18 2022-09-23 한국건설기술연구원 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버
KR102310609B1 (ko) * 2021-05-14 2021-10-13 주식회사 인피닉 3d 데이터를 이용한 2d 이미지의 전처리 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310612B1 (ko) * 2021-06-17 2021-10-13 주식회사 인피닉 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343051B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 라이다 점군으로부터 카메라 이미지의 바운딩 박스를 조정하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113419233A (zh) * 2021-06-18 2021-09-21 阿波罗智能技术(北京)有限公司 感知效果的测试方法、装置和设备
KR102425271B1 (ko) * 2021-12-29 2022-07-27 주식회사 파이엇 장애물회피방법을 구비한 자율주행로봇
KR102501806B1 (ko) * 2021-12-31 2023-02-21 수퍼빈 주식회사 객체 선별을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102531281B1 (ko) * 2022-06-03 2023-05-12 포티투닷 주식회사 센싱부를 활용한 통행객체 정보 생성 방법 및 시스템
KR102548791B1 (ko) * 2023-01-04 2023-06-29 영남대학교 산학협력단 다수의 라이다 센서를 이용하여 사각지대 정보를 제공하는 장치, 방법 및 시스템

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825761B1 (ko) 2006-12-08 2008-04-29 한국전자통신연구원 무선 센서 노드를 이용하여 비신호 교차로에서 차량의 정지및 통과 순서를 제어하기 위한 비신호 교차로 정보 제공시스템 및 그 방법
KR20100118313A (ko) * 2009-04-28 2010-11-05 한국전자통신연구원 정보통신 인프라를 이용한 차량 유도 장치와 이를 위한 서버 장치 및 그 방법
JP2011209867A (ja) 2010-03-29 2011-10-20 Sumitomo Electric Ind Ltd 路側通信機及び送信電力調整方法
KR102015533B1 (ko) * 2012-09-07 2019-08-28 한국전자통신연구원 차량의 주변 정보 획득 장치
FR3007179B1 (fr) 2013-06-13 2016-12-09 Airbus Operations Sas Procede et systeme d'aide au pilotage d'un aeronef
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US10137890B2 (en) * 2016-06-28 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded obstacle classification for vehicles
US10730531B1 (en) * 2017-02-02 2020-08-04 Uatc, Llc Machine-learning based vehicle motion control system
US10262234B2 (en) * 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
WO2018196001A1 (en) 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Sensing assembly for autonomous driving
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
EP3645972A4 (en) 2017-06-30 2021-01-13 SZ DJI Technology Co., Ltd. CARD GENERATION SYSTEMS AND METHODS
US10648832B2 (en) 2017-09-27 2020-05-12 Toyota Research Institute, Inc. System and method for in-vehicle display with integrated object detection
US10935978B2 (en) * 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
CN110162026B (zh) * 2018-02-11 2022-06-21 北京图森智途科技有限公司 一种物体识别系统、方法及装置
JP2019215775A (ja) 2018-06-14 2019-12-19 本田技研工業株式会社 移動体支援システム及び移動体支援方法
US10809073B2 (en) 2018-12-05 2020-10-20 Here Global B.V. Local window-based 2D occupancy grids for localization of autonomous vehicles

Also Published As

Publication number Publication date
US11914388B2 (en) 2024-02-27
US20240345591A1 (en) 2024-10-17
KR102453933B1 (ko) 2022-10-14
KR102338370B1 (ko) 2021-12-13
KR102193950B1 (ko) 2020-12-22
AU2022201618A1 (en) 2022-03-31
JP2022518369A (ja) 2022-03-15
EP3756056A1 (en) 2020-12-30
AU2019419781A1 (en) 2020-10-15
US20230077393A1 (en) 2023-03-16
KR20200092819A (ko) 2020-08-04
KR20200141422A (ko) 2020-12-18
KR20210152051A (ko) 2021-12-14
JP7405451B2 (ja) 2023-12-26
AU2019419781B2 (en) 2021-12-09
EP3756056A4 (en) 2022-02-23
AU2022201618B2 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
JP7405451B2 (ja) センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ
US11741696B2 (en) Advanced path prediction
US10121367B2 (en) Vehicle lane map estimation
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
JP7289470B2 (ja) 三次元空間に対応するマップを生成する車両、及びその方法
US11507101B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
US11961304B2 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
US11961241B2 (en) Systems and methods for deriving an agent trajectory based on tracking points within images
US11210941B2 (en) Systems and methods for mitigating anomalies in lane change detection
JP6507841B2 (ja) 先行車両推定装置及びプログラム
US20220198714A1 (en) Camera to camera calibration
US20240104757A1 (en) Systems and methods for using image data to identify lane width
Szabó et al. Smartphone based HD map building for autonomous vehicles
EP4141482A1 (en) Systems and methods for validating camera calibration in real-time
US20240265707A1 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
EP4160154A1 (en) Methods and systems for estimating lanes for a vehicle
EP4160153A1 (en) Methods and systems for estimating lanes for a vehicle
US20240104939A1 (en) Systems and methods for using image data to identify lane width
EP3789907A1 (en) A system, a method for training a machine learning based processor circuitry suitable for characterizing an envi-ronment of a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231221