JP2024025803A - センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ - Google Patents

センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ Download PDF

Info

Publication number
JP2024025803A
JP2024025803A JP2023206804A JP2023206804A JP2024025803A JP 2024025803 A JP2024025803 A JP 2024025803A JP 2023206804 A JP2023206804 A JP 2023206804A JP 2023206804 A JP2023206804 A JP 2023206804A JP 2024025803 A JP2024025803 A JP 2024025803A
Authority
JP
Japan
Prior art keywords
dimensional space
vehicle
information
sensed
sensing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023206804A
Other languages
English (en)
Inventor
ハン ビン イ,
Han Bin Lee
ジェ イル パク,
Jae Il Park
ホン ミン チュオン,
Hong Minh Truong
オ ラン クォン,
O Ran Kwon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seoul Robotics Co Ltd
Original Assignee
Seoul Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/KR2019/011949 external-priority patent/WO2020141694A1/en
Application filed by Seoul Robotics Co Ltd filed Critical Seoul Robotics Co Ltd
Publication of JP2024025803A publication Critical patent/JP2024025803A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/247Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/228Command input arrangements located on-board unmanned vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバの提供。【解決手段】少なくとも1つのセンサを利用し、三次元空間を連続して感知し、感知された三次元空間に係わる時間別空間情報を獲得し、獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、感知された三次元空間内の少なくとも1つの客体を識別し、識別された少なくとも1つの客体を含む感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を活用する車及びセンシング装置、そしてそのためサーバを開示する。【選択図】図11

Description

本発明は、センサを利用して獲得した空間情報を活用する車両及びセンシング装置、並びにそのためのサーバに関する。
四次産業革命により、自律走行車、ドローン、ロボットのような技術分野への関心が高まっている。自律走行車、ドローン、ロボットなどが安定して正確な動作を行うためには、動作制御に必要なデータを収集することが重要である。それに関連し、多種のセンサを活用する方案に係わる研究がなされてきた。
本発明が解決しようとする課題は、センサを利用して獲得した空間情報を活用する車両及びセンシング装置、並びにそのためのサーバを提供することである。
追加の側面は、以下の説明において、部分的に説明され、その説明から明白であり、または本開示の提示された実施形態の実施によって知ることができる。
第1側面による車両は、少なくとも1つのセンサを利用し、三次元空間を連続して感知するセンサ部と、コンピュータで実行可能な命令語(computer executable instruction)を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記感知された三次元空間に係わる時間別空間情報を獲得し、前記獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、前記感知された三次元空間内の少なくとも1つの客体を識別し、前記識別された少なくとも1つの客体を含む前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報と、車両の移動及び姿勢に係わる情報とに基づき、前記車両の走行を制御するプロセッサと、を含むことにもなる。
第2側面によるセンシング装置は、少なくとも1つのセンサを利用し、三次元空間を連続して感知するセンサ部と、通信インターフェース装置と、コンピュータで実行可能な命令語を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記感知された三次元空間に係わる時間別空間情報を獲得し、前記獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、前記感知された三次元空間内の少なくとも1つの客体を識別し、前記識別された少なくとも1つの客体を含む前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報を前記通信インターフェース装置を介して外部に伝送するプロセッサと、を含むことにもなる。
第3側面によるサーバは、通信インターフェース装置と、コンピュータで実行可能な命令語を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記通信インターフェース装置を介して、少なくとも1台の車両によって追跡された、前記少なくとも1台の車両の移動位置に対応する三次元空間に係わる情報を受信し、前記車両が移動する経路に設けられた少なくとも1つのセンシング装置によって追跡された、前記少なくとも1つのセンシング装置の固定された位置に対応する三次元空間に係わる情報を受信し、前記少なくとも1台の車両の移動位置に対応する三次元空間に係わる情報と、前記少なくとも1つのセンシング装置の固定された位置に対応する三次元空間に係わる情報とに基づき、前記少なくとも1台の車両の移動位置と、前記少なくとも1つのセンシング装置の固定された位置とがいずれも属する所定の区域に対応する三次元空間に係わる情報を再構成するプロセッサと、を含むことにもなる。
本開示の一実施形態の前述の側面及び他の側面、特徴及び利点は、添付図面と共になされた以下の説明からさらに明確になるであろう。
一実施形態による、車両とセンシング装置とが位置する任意の走行環境を示した図面である。 一実施形態による車両の構成を示したブロック図である。 一実施形態によるセンシング装置の構成を示したブロック図である。 一実施形態によるサーバの構成を示したブロック図である。 一実施形態によるサーバの階層的構造を示したブロック図である。 一実施形態による、車両が追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。 他の実施形態による、車両が追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。 一実施形態による、センシング装置がセンシング装置の固定された位置に対応する三次元空間に係わる情報を追跡する様子について説明するための図面である。 一実施形態による、車両が車両で追跡された、車両の移動位置に対応する三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。 一実施形態による、車両が車両で追跡された、車両の移動位置に対応する三次元空間に係わる情報とセンシング装置で追跡された、センシング装置の固定された位置に対応する三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程について説明するためのフローチャートである。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。 三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。
本開示の一実施形態による車両は、少なくとも1つのセンサを利用し、三次元空間を連続して感知するセンサ部と、コンピュータで実行可能な命令語(computer executable instruction)を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記感知された三次元空間に係わる時間別空間情報を獲得し、前記獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、前記感知された三次元空間内の少なくとも1つの客体を識別し、前記識別された少なくとも1つの客体を含む前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報と、車両の移動及び姿勢に係わる情報とに基づき、前記車両の走行を制御するプロセッサと、を含んでもよい。
以下においては、図面を参照し、多様な実施形態について詳細に説明する。以下において説明される実施形態は、さまざまに異なる形態に変形されても実施される。本実施形態の特徴についてさらに明確に説明するために、以下の実施形態が属する技術分野で当業者に周知の事項については、詳細な説明は、省略する。
本実施形態は、センサを利用して獲得した空間情報を活用する車両、センシング装置、及びそのためのサーバに係わるものであり、以下の実施形態が属する技術分野で当業者に周知の事項については、詳細な説明を省略する。
図1は、一実施形態による、車両100とセンシング装置200とが位置する任意の走行環境を示した図面である。
図1を参照すれば、車両100が走行中に交差点で停止し、信号待機中であり、交差路の各コーナー近辺には、センシング装置200-1,200-2,200-3,200-4(以下、「センシング装置200」ともする)が位置する。
車両100は、道路上や線路上を走る車、列車のような走行手段にもなる。ただし、道路上や線路上ではない空中を運行するときには、ドローン、飛行機のような飛行手段、または海上を運航するときには、ボート、船のような船舶手段を代表する名称にもその意味が拡張されうる。以下においては、説明の便宜上、車両100は、自律走行車両であることを前提に説明する。車両100は、自律走行のために、センサを利用し、周辺の空間を感知し、空間情報を獲得することができる。
センシング装置200は、周辺の空間を感知し、空間情報を獲得することができる装置であり、少なくとも1つのセンサを含んでもよい。センシング装置200は、地上または地面から所定高さに位置したところにも設けられる。センシング装置200は、既存の施設物に付着または固定させる方式によっても設けられる。
車両100とセンシング装置200とのそれぞれは、ライダー(LiDAR:light detection and ranging)センサ、レーダ(radar)センサ、カメラセンサ、赤外線映像センサ、超音波センサのような多種のセンサのうち少なくとも一つを含んでもよい。車両100とセンシング装置200とのそれぞれは、三次元空間に係わる空間情報を獲得するため、各種のセンサが有している感知範囲(sensing range)や、獲得することができるデータの種類などを考慮し、同種のセンサを複数個利用したり、異種のセンサを組み合わせて利用したりすることができる。
車両100とセンシング装置200とに具備されたセンサの種類により、車両100とセンシング装置200とのそれぞれが感知することができる感知範囲は、同一であっても、異なっていてもよい。図1を参照すれば、車両100とセンシング装置200とのそれぞれが感知することができる感知範囲が図示されている。図1に図示されているように、車両100が感知することができる第1感知範囲(sensing range 1)は、センシング装置200が感知することができる第2感知範囲(sensing range 2)より狭いようにも図示されているが、それに限定されるものではない。車両100とセンシング装置200とに具備されたセンサの種類が同じであるとしても、車両100とセンシング装置200とのそれぞれにおいて、センサが設けられた位置や周辺環境により、感知範囲が異なりもする。例えば、センシング装置200は、車両100より高いところに位置することができ、移動する車両100は、固定されているセンシング装置200に比べ、三次元空間感知を妨害する多様な客体に、近接位置で出合うこともあるために、センシング装置200が感知することができる第2感知範囲が、車両100が感知することができる第1感知範囲よりも広いのである。
車両100は、自律走行のために、センサを利用し、周辺の三次元空間に係わる空間情報を直接獲得することができる。車両100は、走行方向に対応するさらに広い空間に係わる空間情報を事前に獲得するために、直接獲得することができなかった空間情報を外部から受信することができる。例えば、車両100は、周辺の他の車両やセンシング装置200から、それぞれが獲得した空間情報を伝達されうる。
以下、車両100で獲得された空間情報を自律走行に利用する方式、センシング装置200で獲得された空間情報を、周辺の他装置に伝送する方式、車両100とセンシング装置200とのそれぞれで獲得された空間情報を結合し、さらに広い三次元空間に係わる空間情報を獲得して活用する方式などについて詳細に述べる。
図2は、一実施形態による車両の構成を示したブロック図である。
図2を参照すれば、一実施形態による車両100は、メモリ110、プロセッサ120、通信インターフェース装置130、センサ部140、ユーザインターフェース装置150を含んでもよい。本実施形態と係わる技術分野で当業者であるならば、図2に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということを知ることができるであろう。
メモリ110は、ソフトウェア及び/またはプログラムを保存することができる。例えば、メモリ110は、アプリケーション、アプリケーションプログラミングインターフェース(API)のようなプログラム、及び多種のデータを保存することができる。メモリ110は、プロセッサ120によって実行可能な命令語を保存することができる。
プロセッサ120は、メモリ110に保存されたデータにアクセスし、それを利用したり、新たなデータをメモリ110に保存したりすることができる。プロセッサ120は、メモリ110に保存された命令語を実行することができる。プロセッサ120は、車両100にインストールされたコンピュータプログラムを実行することができる。また、プロセッサ120は、外部から受信したコンピュータプログラムまたはアプリケーションを、メモリ110にインストールすることもできる。プロセッサ120は、少なくとも1つのプロセッシングモジュールを含んでもよい。該プロセッシングモジュールは、所定のプログラムを実行するための専用プロセッシングモジュールでもある。例えば、プロセッサ120は、先進運転支援システム(ADAS:advanced driver assistance system)のように、自律走行のための車両制御プログラムを実行する多種のプロセッシングモジュールや、三次元空間追跡プログラムを実行するプロセッシングモジュールを、それぞれ別途の専用チップ形態で含んでもよい。プロセッサ120は、命令語またはコンピュータプログラムのような実行結果に対応する動作を遂行するように、車両100に含まれた他の構成を制御することができる。
通信インターフェース装置130は、他の装置またはネットワークと無線通信を行うことができる。そのために、通信インターフェース装置130は、多様な無線通信方法のうち少なくとも一つを支援する通信モジュールを含んでもよい。例えば、Wi-Fi(wireless fidelity)のような近距離通信、3G・4G・5Gのような多種の移動通信または超広帯域通信を行う通信モジュールが含まれてもよい。通信インターフェース装置130は、車両100の外部に位置した装置と連結され、信号またはデータを送受信することができる。車両100は、通信インターフェース装置130を介し、センシング装置200、または他の車両と通信を行うか、あるいは車両100が位置する区域を管理する地域サーバとも連結される。
センサ部140は、三次元空間を感知するための、少なくとも1つのセンサを含んでもよい。センサ部140は、感知範囲内に位置した客体を感知することができ、感知された客体の三次元空間上の座標を生成することができるデータを獲得することができる。センサ部140は、感知範囲内に位置した客体に係わる形状データまたは距離データを獲得することができる。センサ部140は、ライダー(LiDAR)センサ、レーダセンサ、カメラセンサ、赤外線映像センサ、超音波センサのような多種のセンサのうち少なくとも一つを含んでもよい。例えば、センサ部140は、少なくとも1つの三次元ライダーセンサを含み、360°範囲の空間に係わるデータを獲得し、レーダセンサ及び超音波センサのうち少なくとも一つをさらに含み、三次元ライダーセンサが感知することができない死角領域、または車両100から所定距離内の近接空間に係わるデータを獲得することができる。
ユーザインターフェース装置150は、ユーザから、ユーザ入力などを受信することができる。ユーザインターフェース装置150は、車両100におけるコンピュータプログラムの実行結果、ユーザ入力に対応する処理結果、車両100の状態のような情報をディスプレイすることができる。例えば、ユーザは、車両100にインストールされている多種のコンピュータプログラムのうち、実行するコンピュータプログラムを、ユーザインターフェース装置150を介して選択して実行させることができる。ユーザインターフェース装置150は、入力を受信したり、出力を提供したりするためのハードウェアユニットを含み、それらを駆動するための専用ソフトウェアモジュールを含むことにもなる。例えば、ユーザインターフェース装置150は、タッチスクリーンにもなるが、それに限定されるものではない。
図2に図示されていないが、車両100は、GPS(global positioning system)、IMU(inertial measurement units)のような自律走行に要求される構成をさらに含んでもよい。該GPSは、GPS衛星に送る信号を受信し、車両100の現在位置を計算する衛星航法システムである。該IMUは、車両100の速度及び方向、重力、並びに加速度を測定する装置である。プロセッサ120は、GPSとIMUとを利用し、車両100の移動及び姿勢に係わる情報を獲得することができる。プロセッサ120は、車両100に具備された他のセンサやメモリから、車両100制御に係わるそれ以外の情報を獲得することもできる。
プロセッサ120は、コンピュータで実行可能な命令語を実行することにより、少なくとも1つのセンサを利用し、連続して感知された三次元空間に係わる時間別空間情報を獲得することができる。プロセッサ120は、獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、感知された三次元空間内の少なくとも1つの客体を識別し、識別された少なくとも1つの客体を含む感知された三次元空間を追跡することができる。プロセッサ120は、追跡された三次元空間に係わる情報と、車両の移動及び姿勢に係わる情報とに基づき、車両100の走行を制御することができる。追跡された三次元空間に係わる情報は、識別された少なくとも1つの客体が位置する空間に係わる空間情報、及び識別された少なくとも1つの客体の移動に係わる動的情報を含んでもよい。
プロセッサ120は、センサ部140から時間情報を記録したタイムスタンプと、感知された三次元空間に係わるデータとを受信し、感知された三次元空間に係わる時間別空間情報を、三次元映像に生成することができる。感知された三次元空間に係わる空間情報は、車両100の移動位置に対応する移動座標値を、GPSを介して得ることができるので、所定の座標を基準にする座標系、例えば、原点を基準にする絶対座標系の対応する部分にもマッピングされる。
センサ部140は、複数個の三次元ライダーセンサを介し、同心球関係にある互いに異なるセンシング範囲において、三次元空間をそれぞれ連続して感知することができる。プロセッサ120は、互いに異なるセンシング範囲にそれぞれ感知された三次元空間に係わるそれぞれの時間別空間情報を獲得し、獲得したそれぞれの時間別空間情報から、共通に識別される客体に対し、正確度に係わる加重値を与え、三次元空間を追跡することができる。
プロセッサ120は、感知された三次元空間内の識別された少なくとも1つの客体の種類、三次元形状、位置、姿勢、サイズ、軌跡及び速度のうち少なくとも1つの属性情報を判断して三次元空間を追跡し、追跡された三次元空間に係わる情報を予測し、予測された情報にさらに基づき、車両100の走行を制御することができる。
プロセッサ120は、車両100の移動によって変更される、追跡された三次元空間に係わる情報と、車両100の移動及び姿勢に係わる情報とを、10Hzないし20Hzの処理速度でリアルタイムで反映させ、車両100の走行を制御することができる。
プロセッサ120は、車両100が移動する経路に設けられた少なくとも1つのセンシング装置200から、少なくとも1つのセンシング装置200によって追跡された、少なくとも1つのセンシング装置200の固定された位置に対応する三次元空間に係わる情報を、通信インターフェース装置130を介して受信することができる。プロセッサ120は、少なくとも1つのセンシング装置200の固定された位置に対応する三次元空間に係わる情報にさらに基づき、車両100の走行を制御することができる。
プロセッサ120は、神経網基盤の客体分類モデルを利用して識別された少なくとも1つの客体を、所定の基準以上の自動車に該当する第1タイプの客体、所定の基準未満の軽自動車または二輪自動車に該当する第2タイプの客体、歩行者に該当する第3タイプの客体、車両100の移動路に該当する第4タイプの客体、及び第1タイプの客体ないし第4タイプの客体ではないその他感知物に該当する第5タイプの客体のうちいずれか一つに分類することができる。プロセッサ120は、ユーザインターフェース装置150を介し、分類された少なくとも1つの客体を、追跡された三次元空間に区別してディスプレイすることができる。
図3は、一実施形態によるセンシング装置200の構成を示したブロック図である。
図3を参照すれば、一実施形態によるセンシング装置200は、メモリ210、プロセッサ220、通信インターフェース装置230、センサ部240を含んでもよい。本実施形態と係わる技術分野において当業者であるならば、図3に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということを知ることができるであろう。
メモリ210は、ソフトウェア及び/またはプログラムを保存することができる。メモリ210は、プロセッサ220によって実行可能な命令語を保存することができる。
プロセッサ220は、メモリ210に保存されたデータにアクセスし、それを利用したり、新たなデータをメモリ210に保存したりすることができる。プロセッサ220は、メモリ210に保存された命令語を実行することができる。プロセッサ220は、センシング装置200にインストールされたコンピュータプログラムを実行することができる。また、プロセッサ220は、外部から受信したコンピュータプログラムまたはアプリケーションを、メモリ210にインストールすることもできる。プロセッサ220は、少なくとも1つのプロセッシングモジュールを含んでもよい。例えば、プロセッサ220は、三次元空間追跡プログラムを実行するプロセッシングモジュールを、専用プロセッシングモジュール形態で含んでもよい。プロセッサ220は、命令語またはコンピュータプログラムなどの実行結果に対応する動作を遂行するように、センシング装置200に含まれた他の構成を制御することができる。
通信インターフェース装置230は、他の装置またはネットワークと有無線通信を行うことができる。そのために、通信インターフェース装置230は、多様な有無線通信方法のうち少なくとも一つを支援する通信モジュールを含んでもよい。例えば、Wi-Fiのような近距離通信、多種の移動通信のような無線通信、または同軸ケーブルや光ケーブルなどを利用する有線通信を行う通信モジュールが含まれてもよい。通信インターフェース装置230は、センシング装置200外部に位置した装置と連結され、信号またはデータを送受信することができる。センシング装置200は、通信インターフェース装置230を介し、車両100、または他のセンシング装置と通信を行うか、あるいはセンシング装置200が位置する区域を管理する地域サーバとも連結される。
センサ部240は、三次元空間を感知するための少なくとも1つのセンサを含んでもよい。センサ部240は、感知範囲内に位置した客体を感知することができ、感知された客体の三次元空間上の座標を生成することができるデータを獲得することができる。センサ部240は、感知範囲内に位置した客体に係わる形状データまたは距離データを獲得することができる。センサ部240は、ライダー(LiDAR)センサ、レーダセンサ、カメラセンサ、赤外線映像センサ、超音波センサのような多種のセンサのうち少なくとも一つを含んでもよい。例えば、センサ部240は、少なくとも1つの三次元ライダーセンサを含み、360°範囲の空間に係わるデータを獲得し、レーダセンサ及び超音波センサのうち少なくとも一つをさらに含み、三次元ライダーセンサが感知することができない死角領域、またはセンシング装置200から所定距離内の近接空間に係わるデータを獲得することができる。
プロセッサ220は、コンピュータで実行可能な命令語を実行することにより、少なくとも1つのセンサを利用し、連続して感知された三次元空間に係わる時間別空間情報を獲得することができる。プロセッサ220は、獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、感知された三次元空間内の少なくとも1つの客体を識別し、識別された少なくとも1つの客体を含む感知された三次元空間を追跡することができる。プロセッサ220は、追跡された三次元空間に係わる情報を、通信インターフェース装置230を介して外部に伝送することができる。
プロセッサ220は、センサ部240から、時間情報を記録したタイムスタンプと、感知された三次元空間に係わるデータとを受信し、感知された三次元空間に係わる時間別空間情報を、三次元映像に生成することができる。感知された三次元空間に係わる空間情報は、センシング装置200の固定された位置に対応する固定座標値を有することができるので、所定の座標を基準にする座標系、例えば、原点を基準にする絶対座標系の対応する部分にもマッピングされる。
プロセッサ220は、感知された三次元空間内の識別された少なくとも1つの客体の種類、三次元形状、位置、姿勢、サイズ、軌跡及び速度のうち少なくとも1つの属性情報を判断し、三次元空間を追跡することができる。プロセッサ220は、追跡された三次元空間に係わる情報を、通信インターフェース装置230を介し、センシング装置200から所定距離内の車両100、他のセンシング装置200及びサーバ300のうち少なくとも一つに伝送することができる。
図4は、一実施形態によるサーバ300の構成を示したブロック図である。
図4を参照すれば、一実施形態によるサーバ300は、メモリ310、プロセッサ320、通信インターフェース装置330を含んでもよい。本実施形態と係わる技術分野において当業者であるならば、図4に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということを知ることができるであろう。
メモリ310は、ソフトウェア及び/またはプログラムを保存することができる。メモリ310は、プロセッサ320によって実行可能な命令語を保存することができる。
プロセッサ320は、メモリ310に保存されたデータを利用したり、新たなデータをメモリ310に保存したりすることができる。プロセッサ320は、メモリ210に保存された命令語を実行することができる。プロセッサ320は、サーバ300にインストールされたコンピュータプログラムを実行することができる。プロセッサ320は、少なくとも1つのプロセッシングモジュールを含んでもよい。プロセッサ320は、命令語またはコンピュータプログラムなどの実行結果に対応する動作を遂行するように、サーバ300に含まれた他の構成を制御することができる。
通信インターフェース装置330は、他の装置またはネットワークと有無線通信を行うことができる。通信インターフェース装置330は、サーバ300の外部に位置した装置と連結され、信号またはデータを送受信することができる。サーバ300は、通信インターフェース装置330を介し、車両100またはセンシング装置200と通信を行うか、あるいはネットワークに連結された他のサーバとも連結される。
プロセッサ320は、コンピュータで実行可能な命令語を実行することにより、通信インターフェース装置330を介し、少なくとも1台の車両100によって追跡された、少なくとも1台の車両100の移動位置に対応する三次元空間に係わる情報を受信し、車両100が移動する経路に設けられた少なくとも1つのセンシング装置200によって追跡された、少なくとも1つのセンシング装置200の固定された位置に対応する三次元空間に係わる情報を受信することができる。プロセッサ320は、少なくとも1台の車両100の移動位置に対応する三次元空間に係わる情報と、少なくとも1つのセンシング装置200の固定された位置に対応する三次元空間に係わる情報とに基づき、少なくとも1台の車両100の移動位置と、少なくとも1つのセンシング装置200の固定された位置とがいずれも属する所定の区域に対応する三次元空間に係わる情報を再構成することができる。
プロセッサ320は、再構成された、所定の区域に対応する三次元空間に係わる情報を、通信インターフェース装置330を介し、上位階層の統合サーバに伝送することができる。
図5は、一実施形態によるサーバ300-1,300-2ないし300-N,400の階層的構造を示したブロック図である。
図5を参照すれば、車両100とセンシング装置200とがそれぞれ感知することができる感知範囲は、いずれも所定の区域に属するということが分かる。そのような所定の区域は、地域サーバに該当するサーバ300-1,300-2ないし300-N(以下、サーバ300と代表しても称される)のうち、当該区域に対応するいずれか1つのサーバ300によっても管理される。
サーバ300は、サーバ300が管理する当該区域内において、車両100やセンシング装置200によって追跡された三次元空間に係わる情報を収集し、当該区域内の対応する空間にマッピングさせることにより、当該区域全体に対応する三次元空間に係わる情報を再構成することができる。言い替えれば、地域サーバに該当するサーバ300は、自体が管理する区域に係わる三次元空間に係わる情報を獲得することができる。地域サーバに該当するサーバ300は、所定の条件を満足したり、要請があったりする場合、自体が管理する区域に係わる三次元空間に係わる情報の一部または全体を、当該区域内に位置した車両100やセンシング装置200に伝送することができる。また、サーバ300は、自体が管理する区域に係わる三次元空間に係わる情報を、地域サーバを管理する全域サーバに該当するサーバ400に伝送することができる。サーバ400は、サーバ300の上位階層の統合サーバでもある。
サーバ400は、地域サーバによって再構成された、所定の区域に対応する三次元空間に係わる情報を収集し、全域内の対応する空間にマッピングさせることにより、サーバ400が管理する全域に対応する三次元空間に係わる情報を獲得することができる。言い替えれば、全域サーバに該当するサーバ400は、自体が管理する全域に係わる三次元空間に係わる情報を獲得することができる。全域サーバに該当するサーバ400は、所定の条件を満足したり、要請があったりする場合、自体が管理する全域に係わる三次元空間に係わる情報の一部または全体を、地域サーバに該当するサーバ300に伝送することができる。
図5に図示されているように、センサ部140を含む車両100、センサ部240を含むセンシング装置200、地域サーバに該当するサーバ300、及び全域サーバに該当するサーバ400の間には、階層的構造が形成されうるということが分かる。車両100とセンシング装置200とで追跡された三次元空間に係わる情報は、上位階層に伝達されながら統合される過程を経て、全体空間に対応する三次元空間に係わる情報にもなる。
図6は、一実施形態による、車両100が追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。
図6を参照すれば、車両100が、車両100の移動位置に対応する三次元空間に係わる情報と、車両100の移動及び姿勢に係わる情報とに基づいて走行することが分かる。車両100の移動位置に対応する三次元空間に係わる情報には、少なくとも1つの客体(object)が含まれてもよい。図6に図示されているように、所定の基準以上の自動車は、第1タイプの客体(object of type 1)であり、所定の基準未満の軽自動車または二輪自動車は、第2タイプの客体(object of type 2)で、歩行者は、第3タイプの客体(object of type 3)であり、車両100の移動路は、第4タイプの客体(object of type 4)であり、第1タイプの客体ないし第4タイプの客体ではないその他感知物は、第5タイプの客体(object of type 5)にもそれぞれ区別され、各タイプの客体は、高さを含む三次元形状や大きさ、色相などが互いに異なりうる。車両100の移動位置によって追跡された三次元空間に係わる情報に基づき、各客体の位置、姿勢、速度などが決定され、各客体を持続的に追跡することにより、変位、変化量、軌跡、推移などを確認または予測することができる。車両100が自律走行車両である場合、車両100の移動によって変わる周辺の客体を追跡し、車両100の走行を制御する資料としても使用される。
図6の右側下端に表示されているように、車両100の速度、方向及び操向(steering)装置の角度を確認することができ、車両100の移動により、その変化を追跡することができる。
図7は、他の実施形態による、車両100が、追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。
図7を参照すれば、車両100が、車両100の移動位置に対応する三次元空間に係わる情報と、車両100の移動及び姿勢に係わる情報とに基づいて走行することが分かる。先に説明した図6と比較すれば、車両100を取り囲んでいる同心円の筋数及び間隔が異なるということが分かる。図7の場合、車両100が、複数個の三次元ライダーセンサを介し、同心球関係にある互いに異なるセンシング範囲において、三次元空間をそれぞれ連続して感知し、互いに異なるセンシング範囲にそれぞれ感知された三次元空間に係わるそれぞれの時間別空間情報を獲得し、車両100の移動位置に対応する三次元空間を追跡することができるということが分かる。
図8は、一実施形態による、センシング装置200がセンシング装置200の固定された位置に対応する三次元空間に係わる情報を追跡する様子について説明するための図面である。
図8を参照すれば、2つのセンシング装置200が所定距離を置いて位置しており、各センシング装置200は、少なくとも1つのセンサを利用し、三次元空間を連続して感知し、センシング装置200の固定された位置に対応する三次元空間に係わる情報を追跡するということが分かる。ID 185に該当する自動車が、約20km/h速度でセンシング装置200から遠くなり、ID 156に該当する歩行者が、約5km/h速度で、左側にあるセンシング装置200から右側にあるセンシング装置200に移動していることが分かる。このとき、各客体の進行方向を知ることができるように、各客体の進行方向に対応する矢印を示すことができる。そのようなセンシング装置200は、感知範囲内に、いかなる客体が通過するか、あるいは入り込むかということを知ることができるので、保安用途においても活用され、特定区域に対する通行量観測のようなモニタリング用途としても活用される。
図9は、一実施形態による、車両100が、車両100で追跡された、車両100の移動位置に対応する三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。図10は、一実施形態による、車両100が、車両100で追跡された、車両100の移動位置に対応する三次元空間に係わる情報と、センシング装置200で追跡された、センシング装置200の固定された位置に対応する三次元空間に係わる情報とに基づいて走行する様子について説明するための図面である。
図9及び図10を参照すれば、図9に図示された車両100は、車両100に具備されたセンサのみを利用し、車両100の移動位置に対応する三次元空間に係わる情報を獲得するので、車両100を取り囲んだ客体がある場合、センサが感知することができる感知範囲が制限的になってしまう。それに反し、図10に図示された車両100は、車両100に具備されたセンサを利用し、車両100の移動位置に対応する三次元空間に係わる情報を獲得するだけではなく、車両100が移動する経路に設けられた少なくとも1つのセンシング装置200に具備されたセンサを利用し、センシング装置200の固定された位置に対応する三次元空間に係わる情報も獲得するので、図9の車両100が感知することができる三次元空間より、図10の車両100が感知することができる三次元空間がはるかに広いということが分かる。図10の車両100は、第3タイプの客体に該当する歩行者と、第1タイプの客体に該当する全ての自動車とを追跡し、それに係わる情報を確認することができるが、図9の車両100は、第3タイプの客体に該当する歩行者と、第1タイプの客体に該当する一部自動車とを追跡することができない。
図11は、三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程について説明するためのフローチャートである。図12ないし図16は、三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。以下、図11ないし図16を参照し、三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程について説明する。
1110段階において、車両100またはセンシング装置200は、三次元空間に係わる時間別空間情報から、地面領域と客体領域とを区分することができる。車両100またはセンシング装置200で感知された三次元空間に係わる時間別空間情報は、ポイントクラウドデータ形態でもある。
車両100またはセンシング装置200は、三次元空間に係わる時間別空間情報から、地面領域を区分することができる。車両100またはセンシング装置200は、ポイントクラウドデータのうち、地面領域に該当するポイントクラウドデータを区分することができる。車両100またはセンシング装置200は、三次元空間に係わる時間別空間情報から、地面領域をまず区分し、残り部分を、少なくとも1つの客体を含む客体領域に区分することができる。車両100またはセンシング装置200は、地面推定モデル(ground estimation model)を探すために、確率的モデル(stochastic model)に基づいたフィッティングを適用することができる。車両100またはセンシング装置200は、リアルタイムで地面形態を学習することができ、それぞれのポイントクラウドデータにつき、地面領域に該当するポイントクラウドデータであるか否かということで分類することができる。
図12を参照すれば、車両100またはセンシング装置200が感知した三次元空間に係わる特定時間における、空間情報から地面領域と客体領域とを区分する過程が示されている。説明の便宜のために、図12ないし図16においては、図示されているように、3個の客体と、地面とを含む空間情報の場合を例として挙げて説明する。
車両100またはセンシング装置200が感知した三次元空間に係わる特定時間における空間情報は、図12の上段に図示されているように、客体と地面との区分がないポイントクラウドデータであり、感知された全ての対象に対応するポイントクラウドデータでもある。車両100またはセンシング装置200は、図12の上段に図示されているような全体ポイントクラウドデータから、地面領域と推定されるポイントクラウドデータを分離することにより、図12の下段に図示されているように、地面領域に対応するポイントクラウドデータと、客体領域に対応するポイントクラウドデータとを区分することができる。このとき、該客体領域は、少なくとも1つの客体を含むが、各客体別に区分された状態ではなく、全体客体に対応するポイントクラウドデータでもある。
再び図11を参照すれば、1120段階において、車両100またはセンシング装置200は、客体領域をクラスタリングすることにより、個別客体領域を区分することができる。車両100またはセンシング装置200は、地面領域と区分された客体領域を、さらに各客体別に区分されうるように、個別客体領域にさらに区分することができる。地面領域と、区分された客体領域は、全体客体に対応するポイントクラウドデータに該当するので、車両100またはセンシング装置200は、全体客体に対応するポイントクラウドデータをクラスタリングすることにより、各客体別に、ポイントクラウドデータを区分することができる。
図13を参照すれば、車両100またはセンシング装置200が、地面領域と、区分された客体領域とから、各客体に対応する個別客体領域を区分する過程が示されている。
図13の上段に図示されているように、地面を除いた全体客体を含む客体領域に対応するポイントクラウドデータは、地面領域に対応するポイントクラウドデータと区分されうる。車両100またはセンシング装置200は、客体領域に対応するポイントクラウドデータを、距離情報、形状情報、分布情報のうち少なくとも一つに基づいてクラスタリングすることにより、全体客体を含む客体領域に対応するポイントクラウドデータから、図13の下段に図示されているように、「客体1」、「客体2」及び「客体3」それぞれの、個別客体領域に対応するポイントクラウドデータを区分することができる。その結果、車両100またはセンシング装置200は、客体の位置や形状、個数などに係わる情報を獲得することができる。
再び図11を参照すれば、1130段階において、車両100またはセンシング装置200は、三次元空間に係わる時間別空間情報につき、神経網基盤の客体分類モデルを利用して識別された少なくとも1つの客体の客体情報を獲得することができる。車両100またはセンシング装置200は、神経網基盤の客体分類モデルに、三次元空間に係わる時間別空間情報を入力し、少なくとも1つの客体を識別し、識別された客体の客体情報を獲得することができる。該神経網基盤の客体分類モデルは、各客体につき、データベース化された学習用映像を利用して学習されたものでもある。該神経網基盤の客体分類モデルは、感知された全ての対象に対応するポイントクラウドデータにつき、距離情報、形状情報、分布情報のうち少なくとも一つに基づいて識別される各客体の客体情報を推定することができる。車両100またはセンシング装置200は、神経網基盤の客体分類モデルを介し、自動車、軽自動車、二輪自動車、歩行者のような動くことができる関心客体のみを識別し、関心客体についてのみ客体情報を推定することもできる。1130段階は、1110段階及び1120段階と並列的に処理されうる。
図14を参照すれば、車両100またはセンシング装置200が感知した三次元空間に係わる特定時間における空間情報から、各客体の客体情報を獲得する過程が示されている。
車両100またはセンシング装置200が感知した三次元空間に係わる特定時間における空間情報は、図14の上段に図示されているように、感知された全ての対象に対応するポイントクラウドデータでもある。車両100またはセンシング装置200は、図14の上段に図示されているような全体ポイントクラウドデータにつき、神経網基盤の客体分類モデルを利用し、「客体1」、「客体2」及び「客体3」を識別して分類し、「客体1」、「客体2」及び「客体3」の客体情報を獲得することができる。「客体1」に該当するタイプの客体を、関心客体として事前に設定しておくことにより、関心客体である「客体1」のみを識別して分類し、「客体1」についてのみ客体情報を獲得するようにすることもできる。図14の下段に図示されているように、車両100またはセンシング装置200は、各客体の種類、位置及び大きさの値を推定することができ、各客体に係わる多様な形態のバウンダリライン(boundary line)またはバウンディングボックス(Bounding box)を決定することができる。
再び図11を参照すれば、1140段階において、車両100またはセンシング装置200は、1130段階で獲得した、三次元空間に係わる時間別空間情報につき、神経網基盤の客体分類モデルを利用して識別された少なくとも1つの客体の客体情報と、1120段階で獲得した、個別客体領域とに基づき、感知された三次元空間を追跡することができる。1130段階で活用される神経網基盤の客体分類モデルは、十分に学習されていない客体については、客体の識別、及び客体情報の推定が困難であるので、車両100またはセンシング装置200は、そのような識別不可能な客体については、1120段階で獲得した個別客体領域から、客体の位置や形状または個数などに係わる情報を獲得することができる。また、1130段階で活用される神経網基盤の客体分類モデルが推定した客体の情報は、感知された三次元空間上の客体の実際情報と異なりもするので、1120段階で獲得した個別客体領域から獲得することができる客体の位置や形状または個数などに係わる情報を利用して補正することもできる。結果として、神経網基盤の客体分類モデルが推定した客体の情報と、クラスタリングを介して区分された個別客体領域から獲得した客体に係わる情報とを統合し、各客体を識別し、客体の位置や形状などに係わる正確な情報を獲得することができる。また、神経網基盤の客体分類モデルを介し、識別または分類することができない客体についても、クラスタリングを介して区分された個別客体領域から獲得した客体に係わる情報を利用することにより、感知された三次元空間上の全ての客体を逃さずに追跡することができる。
図15及び図16を参照すれば、車両100またはセンシング装置200が、クラスタリングを介して区分された個別客体領域から獲得した客体に係わる情報と、神経網基盤の客体分類モデルが推定した客体の情報とを統合し、感知された三次元空間上の客体を追跡する過程が示されている。
図15を参照すれば、車両100またはセンシング装置200は、「客体1」、「客体2」及び「客体3」それぞれの、個別客体領域に対応するポイントクラウドデータに基づいて獲得した各客体に係わる情報と、「客体1」、「客体2」及び「客体3」で識別されて分類された各客体の客体情報とを統合し、感知された三次元空間上の全ての客体に係わる正確な情報を獲得することができる。車両100またはセンシング装置200は、各客体に係わる多様な形態のバウンダリラインまたはバウンディングボックスを、個別客体領域に対応するポイントクラウドデータに基づいて獲得した各客体に係わる情報によって補正することにより、客体に係わる正確な情報を獲得することができる。
図16を参照すれば、車両100またはセンシング装置200は、感知された三次元空間に係わる時間別空間情報から、経時的に、感知された三次元空間上の全ての客体に係わる連続的な情報を獲得し、感知された三次元空間上の全ての客体を追跡することができる。例えば、車両100またはセンシング装置200は、カルマンフィルタを利用した客体追跡方式により、各客体を経時的に追跡することができる。図16に図示されているように、車両100またはセンシング装置200は、経時的な連続フレーム情報から、各客体の位置の変化量に基づき、速度と移動方向とを追跡することができ、追跡した結果を記録することもできる。
再び図11を参照すれば、1150段階において、車両100またはセンシング装置200は、追跡された三次元空間に係わる情報を予測することができる。車両100またはセンシング装置200は、客体を追跡した情報を累積し、累積された追跡情報から、客体の動きパターンを分析し、客体の動きを予測することができる。車両100またはセンシング装置200は、識別された少なくとも1つの客体のうち、関心客体についてのみ追跡された三次元空間における動きを予測することにより、それと係わるプロセッシングの演算量を減らし、効率的な走行または監視を計画することができる。
前述の実施形態それぞれは、電子装置において、センサを利用して獲得した空間情報を活用する所定の段階を含む方法を遂行させるコンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムまたはアプリケーション形態にも提供される。言い替えれば、前述の実施形態それぞれは、電子装置をして、センサを利用して獲得した空間情報を活用する所定の段階を含む方法を実行させるためのコンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムまたはアプリケーション形態にも提供される。
前述の実施形態は、コンピュータまたはプロセッサによって実行可能な命令語及びデータを保存するコンピュータで読み取り可能な記録媒体の形態にも具現される。前述の命令語及びデータのうち少なくとも一つは、プログラムコードの形態にも保存され、プロセッサによって実行されたとき、所定のプログラムモジュールを生成し、所定の動作を遂行することができる。そのようなコンピュータで読み取り可能な記録媒体は、ROM(read only memory)、RAM(random access memory)、フラッシュメモリ、CD-ROMs、CD-Rs、CD+Rs、CD-RWs、CD+RWs、DVD-ROMs、DVD-Rs、DVD+Rs、DVD-RWs、DVD+RWs、DVD-RAMs、BD-ROMs、BD-Rs、BD-RLTHs、BD-REs、マグネチックテープ、フロッピーディスク、光磁気データ保存装置、光学データ保存装置、ハードディスク、ソリッドステートディスク(SSD)、並びに命令語またはソフトウェア、関連データ、データファイル及びデータ構造を保存することができ、プロセッサやコンピュータが命令語を実行するように、プロセッサやコンピュータに命令語またはソフトウェア、関連データ、データファイル及びデータ構造を提供することができるいかなる装置でもある。
以上、本実施形態を中心に説明した。開示された実施形態が属する技術分野で当業者であるならば、開示された実施形態が、本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。発明の範囲は、前述の実施形態の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、発明の範囲に含まれたものであると解釈されなければならないのである。

Claims (17)

  1. 三次元空間を感知するセンサ部と、
    1つ以上の命令語を保存するメモリと、
    前記1つ以上の命令語を実行することにより、前記感知された三次元空間に係わるポイントクラウドデータを獲得して、前記獲得されたポイントクラウドデータから個別客体領域を区分し、客体分類モデルを用いて識別された客体の客体情報を獲得し、前記客体情報と前記個別客体領域に基づいて獲得される客体に係わる情報を用いて前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報に基づき、前記車両の走行を制御するプロセッサと、を含む、車両。
  2. 前記プロセッサは、前記1つ以上の命令語を実行することにより、
    前記客体分類モデルを通じて識別不可能な客体の場合、前記個別客体領域から獲得される客体に係わる情報を用いて前記感知された三次元空間を追跡する、請求項1に記載の車両。
  3. 前記プロセッサは、前記1つ以上の命令語を実行することにより、
    前記客体情報を前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項1に記載の車両。
  4. 前記プロセッサは、前記1つ以上の命令語を実行することにより、
    前記客体情報に対応するバウンディングボックスを前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項1に記載の車両。
  5. 前記プロセッサは、前記1つ以上の命令語を実行することにより、
    前記追跡された三次元空間に係わる情報から客体の動きパターンを分析し、前記追跡された三次元空間に係わる情報を予測する、請求項1に記載の車両。
  6. 前記プロセッサは、前記1つ以上の命令語を実行することにより、
    前記獲得されたポイントクラウドデータから客体領域を抽出し、前記客体領域をクラスタリングすることにより、前記個別客体領域を区分し、前記獲得されたポイントクラウドデータから前記客体分類モデルを用いて前記三次元空間上の客体を識別し、前記識別された客体の客体情報を推定する、請求項1に記載の車両。
  7. 前記客体に係わる情報は、前記個別客体領域に対応するポイントクラウドデータに基づいて獲得される客体の位置、形状、及び個数に係わる情報である、請求項1に記載の車両。
  8. 通信インターフェース装置をさらに含み、前記プロセッサは、前記1つ以上の命令語を実行することにより、前記追跡された三次元空間に係わる情報を前記通信インターフェース装置を通じて外部に伝送する、請求項1に記載の車両。
  9. 三次元空間を感知するセンサ部と、
    1つ以上の命令語を保存するメモリと、
    前記1つ以上の命令語を実行することにより、前記感知された三次元空間に係わるポイントクラウドデータを獲得し、前記獲得されたポイントクラウドデータから個別客体領域を区分し、客体分類モデルを用いて識別された客体の客体情報を獲得し、前記個別客体領域に基づいて獲得される客体に係わる情報と前記客体情報とを用いて前記感知された三次元空間を追跡するプロセッサと、を含む、センシング装置。
  10. 前記プロセッサは、前記1つ以上の命令語を実行することにより、前記客体分類モデルを通じて識別不可能な客体の場合、前記個別客体領域から獲得される客体に係わる情報を用いて前記感知された三次元空間を追跡する、請求項9に記載のセンシング装置。
  11. 前記プロセッサは、前記1つ以上の命令語を実行することにより、
    前記客体情報を前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項9に記載のセンシング装置。
  12. 前記プロセッサは、前記1つ以上の命令語を実行することにより、
    前記客体情報に対応するバウンディングボックスを前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項9に記載のセンシング装置。
  13. 前記プロセッサは、前記1つ以上の命令語を実行することにより、前記追跡された三次元空間に係わる情報から客体の動きパターンを分析し、前記追跡された三次元空間に係わる情報を予測する、請求項9に記載のセンシング装置。
  14. 前記プロセッサは、前記1つ以上の命令語を実行することにより、前記獲得されたポイントクラウドデータから客体領域を抽出し、前記客体領域をクラスタリングすることにより、前記個別客体領域を区分し、前記獲得されたポイントクラウドデータから前記客体分類モデルを用いて前記三次元空間上の客体を識別し、前記識別された客体の客体情報を推定する、請求項9に記載のセンシング装置。
  15. 前記客体に係わる情報は、前記個別客体領域に対応するポイントクラウドデータに基づいて獲得される客体の位置、形状、及び個数に係わる情報である、請求項9に記載のセンシング装置。
  16. 通信インターフェース装置をさらに含み、前記プロセッサは、前記1つ以上の命令語を実行することにより、前記追跡された三次元空間に係わる情報を前記通信インターフェース装置を通じて外部に伝送する、請求項9に記載のセンシング装置。
  17. 電子装置において、
    三次元空間に係わるポイントクラウドデータを獲得する段階と、
    前記獲得されたポイントクラウドデータから個別客体領域を区分する段階と、
    前記獲得されたポイントクラウドデータについて客体分類モデルを用いて識別された客体の客体情報を獲得する段階と、
    前記個別客体領域に基づいて獲得される客体に係わる情報と前記客体情報とを用いて前記感知された三次元空間を追跡する段階と、を含む方法を遂行するようにする、記録媒体に保存されたコンピュータープログラム。


JP2023206804A 2019-01-04 2023-12-07 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ Pending JP2024025803A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20190001312 2019-01-04
KR10-2019-0001312 2019-01-04
KR10-2019-0029372 2019-03-14
KR1020190029372A KR102193950B1 (ko) 2019-01-04 2019-03-14 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버
JP2021539135A JP7405451B2 (ja) 2019-01-04 2019-09-16 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ
PCT/KR2019/011949 WO2020141694A1 (en) 2019-01-04 2019-09-16 Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021539135A Division JP7405451B2 (ja) 2019-01-04 2019-09-16 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ

Publications (1)

Publication Number Publication Date
JP2024025803A true JP2024025803A (ja) 2024-02-26

Family

ID=72048729

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021539135A Active JP7405451B2 (ja) 2019-01-04 2019-09-16 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ
JP2023206804A Pending JP2024025803A (ja) 2019-01-04 2023-12-07 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021539135A Active JP7405451B2 (ja) 2019-01-04 2019-09-16 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ

Country Status (5)

Country Link
US (2) US11914388B2 (ja)
EP (1) EP3756056A4 (ja)
JP (2) JP7405451B2 (ja)
KR (3) KR102193950B1 (ja)
AU (2) AU2019419781B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
CN114078325B (zh) * 2020-08-19 2023-09-05 北京万集科技股份有限公司 多感知系统配准方法、装置、计算机设备和存储介质
FR3116127B1 (fr) * 2020-11-12 2022-11-11 Thales Sa Système radar d'imagerie à entrées et sorties multiples de type MIMO.
KR102446500B1 (ko) * 2020-12-18 2022-09-23 한국건설기술연구원 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버
KR102310609B1 (ko) * 2021-05-14 2021-10-13 주식회사 인피닉 3d 데이터를 이용한 2d 이미지의 전처리 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310612B1 (ko) * 2021-06-17 2021-10-13 주식회사 인피닉 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343051B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 라이다 점군으로부터 카메라 이미지의 바운딩 박스를 조정하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113419233A (zh) * 2021-06-18 2021-09-21 阿波罗智能技术(北京)有限公司 感知效果的测试方法、装置和设备
KR102425271B1 (ko) * 2021-12-29 2022-07-27 주식회사 파이엇 장애물회피방법을 구비한 자율주행로봇
KR102501806B1 (ko) * 2021-12-31 2023-02-21 수퍼빈 주식회사 객체 선별을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102531281B1 (ko) * 2022-06-03 2023-05-12 포티투닷 주식회사 센싱부를 활용한 통행객체 정보 생성 방법 및 시스템
KR102548791B1 (ko) * 2023-01-04 2023-06-29 영남대학교 산학협력단 다수의 라이다 센서를 이용하여 사각지대 정보를 제공하는 장치, 방법 및 시스템

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825761B1 (ko) 2006-12-08 2008-04-29 한국전자통신연구원 무선 센서 노드를 이용하여 비신호 교차로에서 차량의 정지및 통과 순서를 제어하기 위한 비신호 교차로 정보 제공시스템 및 그 방법
KR20100118313A (ko) * 2009-04-28 2010-11-05 한국전자통신연구원 정보통신 인프라를 이용한 차량 유도 장치와 이를 위한 서버 장치 및 그 방법
JP2011209867A (ja) 2010-03-29 2011-10-20 Sumitomo Electric Ind Ltd 路側通信機及び送信電力調整方法
KR102015533B1 (ko) * 2012-09-07 2019-08-28 한국전자통신연구원 차량의 주변 정보 획득 장치
FR3007179B1 (fr) 2013-06-13 2016-12-09 Airbus Operations Sas Procede et systeme d'aide au pilotage d'un aeronef
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US10137890B2 (en) * 2016-06-28 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded obstacle classification for vehicles
US10730531B1 (en) * 2017-02-02 2020-08-04 Uatc, Llc Machine-learning based vehicle motion control system
US10262234B2 (en) * 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
WO2018196001A1 (en) 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Sensing assembly for autonomous driving
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
EP3645972A4 (en) 2017-06-30 2021-01-13 SZ DJI Technology Co., Ltd. CARD GENERATION SYSTEMS AND METHODS
US10648832B2 (en) 2017-09-27 2020-05-12 Toyota Research Institute, Inc. System and method for in-vehicle display with integrated object detection
US10935978B2 (en) * 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
CN110162026B (zh) * 2018-02-11 2022-06-21 北京图森智途科技有限公司 一种物体识别系统、方法及装置
JP2019215775A (ja) 2018-06-14 2019-12-19 本田技研工業株式会社 移動体支援システム及び移動体支援方法
US10809073B2 (en) 2018-12-05 2020-10-20 Here Global B.V. Local window-based 2D occupancy grids for localization of autonomous vehicles

Also Published As

Publication number Publication date
US11914388B2 (en) 2024-02-27
US20240345591A1 (en) 2024-10-17
KR102453933B1 (ko) 2022-10-14
KR102338370B1 (ko) 2021-12-13
KR102193950B1 (ko) 2020-12-22
AU2022201618A1 (en) 2022-03-31
JP2022518369A (ja) 2022-03-15
EP3756056A1 (en) 2020-12-30
AU2019419781A1 (en) 2020-10-15
US20230077393A1 (en) 2023-03-16
KR20200092819A (ko) 2020-08-04
KR20200141422A (ko) 2020-12-18
KR20210152051A (ko) 2021-12-14
JP7405451B2 (ja) 2023-12-26
AU2019419781B2 (en) 2021-12-09
EP3756056A4 (en) 2022-02-23
AU2022201618B2 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
JP7405451B2 (ja) センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ
US11741696B2 (en) Advanced path prediction
US10121367B2 (en) Vehicle lane map estimation
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
JP7289470B2 (ja) 三次元空間に対応するマップを生成する車両、及びその方法
US11507101B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
US11961304B2 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
US11961241B2 (en) Systems and methods for deriving an agent trajectory based on tracking points within images
US11210941B2 (en) Systems and methods for mitigating anomalies in lane change detection
JP6507841B2 (ja) 先行車両推定装置及びプログラム
US20220198714A1 (en) Camera to camera calibration
US20240104757A1 (en) Systems and methods for using image data to identify lane width
Szabó et al. Smartphone based HD map building for autonomous vehicles
EP4141482A1 (en) Systems and methods for validating camera calibration in real-time
US20240265707A1 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
EP4160154A1 (en) Methods and systems for estimating lanes for a vehicle
EP4160153A1 (en) Methods and systems for estimating lanes for a vehicle
US20240104939A1 (en) Systems and methods for using image data to identify lane width
EP3789907A1 (en) A system, a method for training a machine learning based processor circuitry suitable for characterizing an envi-ronment of a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231221