JP7034530B2 - 情報処理方法、デバイス、および端末 - Google Patents
情報処理方法、デバイス、および端末 Download PDFInfo
- Publication number
- JP7034530B2 JP7034530B2 JP2017565896A JP2017565896A JP7034530B2 JP 7034530 B2 JP7034530 B2 JP 7034530B2 JP 2017565896 A JP2017565896 A JP 2017565896A JP 2017565896 A JP2017565896 A JP 2017565896A JP 7034530 B2 JP7034530 B2 JP 7034530B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- ground
- road traffic
- traffic sign
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 12
- 230000010365 information processing Effects 0.000 title description 2
- 230000011218 segmentation Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 32
- 230000000877 morphologic effect Effects 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/18—Stabilised platforms, e.g. by gyroscope
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3819—Road shape data, e.g. outline of a route
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Description
本出願は、その全体が参照によって組み込まれた2016年1月18日出願の「INFORMATION PROCESSING METHOD, DEVICE, AND TERMINAL」と題された中国特許出願第201610031452.5号への優先権を主張する。
本出願は、コンピュータ技術の分野に関し、具体的には、道路データ処理の技術分野、特に、データ処理方法、データ処理装置、および端末に関する。
カーナビゲーション、車両自動運転、および安全運転秘訣の既存の分野では、最も基本的で重要な技術は、車線境界線および道路標識のような道路交通標識に関する検出技術である。現在、主流の技術的ソリューションは、主として次の2つの種類を含む。1つのソリューションは、地面反射率の変化に基づく検出方法であり、道路交通標識の反射率は、一般に、道路表面の他の部分の反射率よりも高い。したがって、道路シーン空間の3次元ポイントクラウドが最初に取得され得、次に、この特徴に従って、3次元ポイントクラウドから道路交通標識を抽出し得る。このソリューションは、3次元ポイントクラウドから道路交通標識をダイレクトに検出し、抽出するので、3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合には検出結果が影響され得る。さらに、地面反射率が、弱くなる、または、不均一になると、検出結果の精度が、ダイレクトに影響され得る。もう一方のソリューションは、手動検出方法であり、道路シーン空間の2次元街路風景画像および3次元ポイントクラウドを取得し、カラフルなポイントクラウドを生成するように、2次元街路風景画像を使用して3次元ポイントクラウドに色を適用し、その後、2次元街路風景画像に従って、カラフルなポイントクラウドから、道路交通標識を手動で抽出する。このソリューションもやはり3次元ポイントクラウドから、道路交通標識をダイレクトに抽出するため、3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合には検出結果が影響を受け得る可能性がある。さらに、手動検出は、非実用的であり、低効率であり、誤りを容易に引き起こす。
本出願の実施形態は、データ処理方法、装置、および端末を提供する。2次元街路風景画像における道路交通標識を検出することによって、検出結果の精度と、データ処理の実用性とが向上され得る。
本出願の実施形態の第1の態様は、データ処理方法を提供し、この方法は、
道路データを収集するステップであって、道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む、ステップと、
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するステップと、
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップであって、道路交通標識は、車線境界線および/または道路標識を含む、ステップと、
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップとを含み得る。
道路データを収集するステップであって、道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む、ステップと、
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するステップと、
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップであって、道路交通標識は、車線境界線および/または道路標識を含む、ステップと、
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップとを含み得る。
好適には、2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するステップは、
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するステップと、
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するステップと、
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するステップとを含む。
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するステップと、
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するステップと、
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するステップとを含む。
好適には、地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップは、
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するステップと、
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するステップと、
地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップとを含む。
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するステップと、
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するステップと、
地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップとを含む。
好適には、地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップは、
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するステップと、
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすステップと、
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するステップと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるステップとを含む。
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するステップと、
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすステップと、
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するステップと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるステップとを含む。
好適には、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップは、
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するステップであって、形態学的データは、位置データおよび姿勢データを含む、ステップと、
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するステップとを含む。
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するステップであって、形態学的データは、位置データおよび姿勢データを含む、ステップと、
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するステップとを含む。
本出願の実施形態の第2の態様は、データ処理装置を提供し、この装置は、
道路データを収集するように構成された収集ユニットであって、道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む、収集ユニットと、
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、道路交通標識は、車線境界線および/または道路標識を含む、検出ユニットと、
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットとを含み得る。
道路データを収集するように構成された収集ユニットであって、道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む、収集ユニットと、
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、道路交通標識は、車線境界線および/または道路標識を含む、検出ユニットと、
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットとを含み得る。
好適には、セグメント化処理ユニットは、
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するように構成された登録ユニットと、
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行するように構成された領域セグメント化ユニットと、
地面領域画像を抽出するように構成された画像抽出ユニットとを含む。
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するように構成された登録ユニットと、
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行するように構成された領域セグメント化ユニットと、
地面領域画像を抽出するように構成された画像抽出ユニットとを含む。
好適には、検出ユニットは、
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットとを含む。
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットとを含む。
好適には、標識抽出ユニットは、
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニットと、
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニットと、
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニットとを含む。
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニットと、
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニットと、
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニットとを含む。
好適には、計算ユニットは、
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、形態学的データは、位置データおよび姿勢データを含む、形態学的データ取得ユニットと、
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するように構成された座標発見ユニットとを含む。
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、形態学的データは、位置データおよび姿勢データを含む、形態学的データ取得ユニットと、
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するように構成された座標発見ユニットとを含む。
本出願の実施形態の第3の態様は、端末を提供する。この端末は、先述した2つの態様のデータ処理装置を含み得る。
本出願の実施形態を実施することによって、以下の有用な効果が取得される。
本出願の実施形態では、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出することと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転させることと。3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合に検出結果が影響を受けることが回避され得る。なぜなら、3次元ポイントクラウドではなく、2次元街路風景画像から、道路交通標識が検出され、取得されるからである。それに加えて、慣性ナビゲーションデータおよび3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化を正確に実行し、2次元街路風景画像を検出し、抽出することによって、検出結果の精度と、データ処理の実用性とが効果的に向上され得る。
本願の実施形態における、または、先行技術における技術的ソリューションをより明確に例示するために、以下は、実施形態または先行技術を説明するために必要とされる添付図面を手短に紹介する。明らかに、以下の説明における添付図面は、本願の単なるいくつかの実施形態を図示しているだけであり、当業者であればまだ、創造的な努力なしで、これら添付図面から、他の図面を導出し得る。
本願の実施形態における技術的ソリューションは、添付図面を参照して以下に明確に説明される。明らかに、説明されるべき実施形態は、本願の実施形態のすべてではなく、単なる一部である。創造的な努力なしで本発明の実施形態に基づいて当業者によって取得された他のすべての実施形態は、本発明の保護範囲内にあるものとする。
本出願の実施形態では、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、検出結果の精度とデータ処理の実用性とを向上させる目的に到達するように、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出することと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転させることと。
先述した原理に基づいて、本出願の実施形態は、データ処理方法を提供する。図1に図示されるように、この方法は、以下のステップS101～ステップS104を含む。
S101:道路データを収集する。道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む。
2次元街路風景画像は、道路を撮影するために、カメラおよびカメラレンズのようなカメラ機器を使用することによって取得され得る。2次元街路風景画像は、通常、地面領域の画像と、非地面領域の画像とを含み、地面領域の画像は、道路表面状態、道路交通標識、道路上を走行する車両、道路の分離ストリップのようなデータを描写し得る。非地面領域の画像は、ビル、道路の周囲の植物等を描写し得る。さらに、道路交通標識は、交通案内情報、制限、警告等を伝達するために使用される線、単語、矢印、物体マーク、道路鋲、および誘導標のような標識を称する。道路交通標識は、限定されないが、車線境界線および/または道路標識を含み、道路標識は、限定されないが、操舵標識、減速標識、禁止ゾーン標識等を含む。3次元ポイントクラウドは、レーザスキャナによって取得され得る。レーザスキャナは、各空間点の3次元座標を取得するために、スキャン範囲において多数の空間ポイントをスキャンし得、各空間ポイントに対応するレーザパルス強度に関する3次元ポイントクラウドを形成し得る。慣性ナビゲーションデータは、スキャンするために、慣性ナビゲーションシステム(Inertial Navigation System、INS)と慣性測定ユニット(Inertial Measurement Unit、IMU)とを使用することによって取得され得る。具体的には、INSは、スキャン位置の全地球測位システム(Global Positioning System、GPS)データと、速度、加速度等を含むキャリア走行データとを取得し得、IMUは、キャリアの回転、ピッチ、およびヨーデータを取得し得る。
S102:2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出する。
本出願の実施形態では、収集された2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータが、すべて同じシーン空間に由来する。したがって、これら3つの空間的位置関係に基づいて、および、3次元ポイントクラウドを使用することによって、2次元街路風景画像に対して領域セグメント化が実行され得る。具体的な実施では、この方法がステップS102を実行した場合、この方法は具体的に、以下のステップs11～s13を実行する。
s11:慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立する。
INSは、外部情報に依存せず、外部へエネルギを放出しない自動ナビゲーションシステムである。IMUは、物体の3軸姿勢角度(または角速度)および加速度を測定するために使用される装置である。INSおよびIMUはともに、ジャイロスコープおよび加速度計を含み、ジャイロスコープは、慣性ナビゲーションの座標系を形成し、加速度計の測定軸を、慣性ナビゲーションの座標系における進路および姿勢角度を安定して形成させる。加速度計は、キャリアが走行した場合における加速度を測定し、一連の計算および変換を使用することによって、速度、変位、回転、およびピッチのようなキャリアの慣性ナビゲーションデータを取得するために使用される。したがって、3次元空間において使用される慣性ナビゲーションの座標系は、収集された慣性ナビゲーションデータに従って逆計算され得る。慣性ナビゲーションの座標系は、スキャン処理における3次元空間の位置基準である。
s12:慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録する。
慣性ナビゲーションの座標系を位置基準として見なし、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録する。具体的な実施では、シーン空間におけるある3次元ポイントP(xi,yi,zi)が、レーザスキャナを使用することによって取得される。3次元ポイントP(xi,yi,zi)は、カメラ機器による画像化後、2次元街路風景画像におけるある2次元ポイントP'(xj,yj)を取得し得る。登録の目的は、3次元ポイントクラウドおよび2次元街路風景画像から、マッチしたすべての3次元ポイントP(xi,yi,zi)および2次元ポイントP'(xj,yj)を発見することである。
s13:登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出する。
3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録した後、3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化が便利に実施される。3次元ポイントクラウドにおける各ポイントは、3次元座標(x,y,z)によって表され、よって、領域セグメント化は、x、y、およびzの値に従って、3次元空間へ直観的に実行され得る。たとえば、地面領域における3次元ポイントのz軸の値が零であれば、そのz軸の値が3次元ポイントクラウドにおける零であるすべての3次元ポイントを用いて構築された空間領域は、地面空間領域であり、同様に、ターゲット空間領域における3次元ポイントのx軸の値が、事前設定された値であれば、そのx軸の値が3次元ポイントクラウドにおける事前設定された値であるすべての3次元ポイントを抽出することによって構築された空間領域は、ターゲット空間領域である。これに基づいて、ステップは、3次元空間における領域セグメント化を実行するために、3次元ポイントクラウドにおける各ポイントの3次元座標を使用し得、地面空間領域に各3次元ポイントとともに登録しているすべての2次元ポイントを発見し得る。2次元街路風景画像における2次元ポイントを用いて構築された領域画像は、地面領域画像である。
先述したステップs11～s13を目標とし、図2a～図2cを参照して、図2aは、収集された2次元街路風景画像を図示する。ステップs12では、慣性ナビゲーションの座標系に基づいて、図2aに図示された2次元街路風景画像を、3次元ポイントクラウドへ登録した後、図2aに図示される画像が形成され得る。図2cに図示される地面領域画像は、s13におけるように、図2bに図示される画像への領域セグメント化を実行した後に取得され得る。
S103:地面領域画像における少なくとも1つのターゲット道路交通標識を検出する。道路交通標識は、車線境界線および/または道路標識を含む。
2次元街路風景画像の撮影中に、地面領域画像の撮影方式は、通常、非正射であり、カメラ機器および道路表面は、基本的には、ヘッドアップ範囲にあり、すなわち、カメラ機器の撮像軸は、地面に対して垂直ではなく、ある角度を有しており、慣性ナビゲーションの座標系における角度は、カメラ機器のヨー角度および/またはピッチ角度を表す。非正射方式で取得された地面領域画像のフィールドの深さは、比較的大きく、近くから遠くへ緩やかな遷移を伴っている。これは、道路交通標識を抽出するための基本を与える。しかしながら、非正射方式は、地面領域画像における道路交通標識を変形させ得、検出の困難さを増す。これに基づいて、ステップは、検出中に、地面領域画像を処理する必要があり、方法がステップS103を実行する場合、方法は、具体的に、以下のステップs21～s23を実行する。
s21:バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行する。
一般に、収集された2次元街路風景画像は、カラフルな画像であり、2次元街路風景画像から抽出された地面領域画像もまた、カラフルな画像であるが、道路交通標識は白である。地面領域画像における道路交通標識をより明確に、かつ、より検出し易くするために、バイナリ地面領域画像を取得するように、ステップにおいて、カラフルな地面領域画像に対してバイナリ処理が実行される必要がある。
s22:地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行する。
正射投影変換の目的は、地面領域画像の光学軸の方向が垂直になるように調節することである。具体的には、バイナリ地面領域画像は、地面正射投影画像を生成するために、3次元ポイントクラウドによって説明される地面空間領域へ投影され得る。
s23:地面正射投影画像から、少なくとも1つの道路交通標識を抽出する。
地面正射投影画像は、車線境界線および道路標識のような道路交通標識を明確に表し、これによって、少なくとも1つの道路交通標識が、画像再構築化を使用することによって認識および抽出されることが可能になり、具体的な実施では、地面正射投影画像における車線境界線を認識するために、Hough変換(Hough Transform)の方法が使用され得、地面正射投影画像における道路標識を認識するために、モジュールマッチングの方法が使用され得る。
先述したステップs21～s23を目標とし、図3a～図3bを参照して、ステップs21におけるバイナリ処理後、図2cに図示される抽出された地面領域画像を目標として、図3aに図示されたバイナリ地面領域画像が取得され得る。図3bに図示される地面正射投影は、図3aに図示されるバイナリ地面領域画像に対してステップs21において正射投影変換が実行された後に取得され得る。少なくとも1つの道路交通標識は、画像再構築化を使用することによって、図3bに図示される地面正射投影から抽出され得る。
実用的な応用では、地面領域画像には、走行中の車両、分離帯、および道路の汚れのような干渉物が常に存在する。したがって、バイナリ地面正射投影画像には干渉画像が存在し、干渉画像は、道路交通標識の検出結果に影響を与え得る。この問題を解決するために、本出願の実施形態に従う方法は、具体的には、方法がステップs23を実行した場合に、以下のステップs231～s234を実行する。
s231:地面正射投影画像から少なくとも1つの道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出する。
s232:干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なす。
s233:画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出する。
s234:少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせる。
ステップs231～ステップs234は、干渉物の影響が、除去され得、次に、道路交通標識を抽出することによって、道路交通標識の検出結果の精度が、向上され得ることを図示する。具体的には、最初に、地面正射投影画像から、道路交通標識を一回抽出し、同時に、干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして抽出する。地面正射投影画像における干渉画像は、反応によって除去され得る。そして、2つの道路交通標識を組み合わせるために、地面正射投影画像から、もう1回道路交通標識を抽出する。干渉の影響を除去するために、2回目の抽出方式は限定されず、たとえば、多数の抽出された道路交通標識を組み合わせるために、3回目以降の抽出が使用され得ることが注目されるべきである。2回目の抽出と比較して、3回目以降の抽出は、低効率にはなるもののより完全に干渉の影響を除去し得、よって、具体的な実施における選択は、現実的なニーズに従ってなされ得る。
S104:2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算する。
具体的な実施では、この方法がステップS104を実行する場合、この方法は、具体的には、以下のステップs31～s32を実行する。
s31:慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得し、形態学的データは、位置データおよび姿勢データを含む。
s32:形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見する。
先述したステップs31～s32では、慣性ナビゲーションの座標系における地面正射投影画像の位置データおよび姿勢データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて取得され得る。なぜなら、地面正射投影画像は、2次元街路風景画像に由来するからである。道路交通標識の3次元座標は、慣性ナビゲーションの座標系における地面正射投影画像の位置データおよび姿勢データを使用することによって反転され得る。
本出願の実施形態は、データ処理方法を提供する。2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出するステップと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転させるステップと。3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合に検出結果が影響を受けることが回避され得る。なぜなら、3次元ポイントクラウドではなく、2次元街路風景画像から、道路交通標識が検出され、取得されるからである。それに加えて、慣性ナビゲーションデータおよび3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化を正確に実行し、2次元街路風景画像を検出し、抽出することによって、検出結果の精度と、データ処理の実用性とが効果的に向上され得る。
本出願の実施形態は、ラップトップ、電話、パッド(PAD)、および車両端末のようなデバイスを含む端末を提供する。図4を参照して示すように、端末の内部構成は、限定されないが、プロセッサ、ユーザインターフェース、ネットワークインターフェース、およびメモリを含み得る。端末におけるプロセッサ、ユーザインターフェース、ネットワークインターフェース、およびメモリは、バスを用いて、または他の手法で接続され得る。本出願の実施形態の図4では、例としてバス接続を採用する。
ユーザインターフェースは、ユーザと端末との間のインタラクションおよび情報交換媒体であり、具体的には、出力するために使用されるディスプレイ(Display)、入力するために使用されるキーボード(Keyboard)等を含む。本明細書におけるキーボードは、物理的なキーボード、またはタッチスクリーン仮想キーボード、または物理的かつタッチスクリーン仮想キーボードであり得ることが注目されるべきである。プロセッサ(または中央処理装置(CPU))は、端末の計算コアおよび制御コアであり、端末における命令と、処理端末のデータとを分析し得、たとえば、CPUは、ユーザによって端末へ送信されたオン/オフ命令を分析し、端末がオン/オフ操作を実行することを制御するために使用され得、別の例としては、CPUは、端末の内部構成間でインタラクションデータを送信し得る等である。メモリ(Memory)は、プログラムおよびデータを記憶するために使用される、端末におけるメモリデバイスである。本明細書におけるメモリは、端末の内部メモリを含み得、また、端末によってサポートされる拡張メモリをも含み得ることが理解されるべきである。メモリは、端末のオペレーティングシステムを記憶するストレージ空間を提供する。本出願の実施形態では、メモリのストレージ空間はまた、データ処理装置を記憶する。端末は、メモリにおいてデータ処理装置を実行することによって、先述した図1～図3に図示される方法手順の対応するステップを実行する。図5を参照して示すように、データ処理装置は、以下のユニットを実行する。
道路データを収集するように構成された収集ユニット101。道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む。
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニット102。
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニット103。道路交通標識は、車線境界線および/または道路標識を含む。
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニット104。
道路データを収集するように構成された収集ユニット101。道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む。
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニット102。
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニット103。道路交通標識は、車線境界線および/または道路標識を含む。
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニット104。
具体的な実施では、デバイスが、セグメント化処理ユニット102を操作する場合、デバイスは具体的に以下のユニットを操作する。
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニット1001。
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するように構成された登録ユニット1002。
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行するように構成された領域セグメント化ユニット1003。
地面領域画像を抽出するように構成された画像抽出ユニット1004。
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニット1001。
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するように構成された登録ユニット1002。
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行するように構成された領域セグメント化ユニット1003。
地面領域画像を抽出するように構成された画像抽出ユニット1004。
具体的な実施では、デバイスが、検出ユニット103を操作した場合、デバイスは、具体的に以下のユニットを操作する。
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニット2001。
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニット2002。
地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニット2003。
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニット2001。
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニット2002。
地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニット2003。
具体的な実施では、デバイスが標識抽出ユニット2003を操作する場合、デバイスは具体的に以下のユニットを操作する。
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニット2331。
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニット2332。
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニット2333。
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニット2334。
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニット2331。
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニット2332。
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニット2333。
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニット2334。
具体的な実施では、デバイスが計算ユニット104を操作する場合、デバイスは具体的に以下のユニットを操作する。
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニット3001。形態学的データは、位置データおよび姿勢データを含む。
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するように構成された座標発見ユニット3002。
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニット3001。形態学的データは、位置データおよび姿勢データを含む。
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するように構成された座標発見ユニット3002。
図1～図3に図示されるデータ処理方法は、本出願の実施形態に従って、図5に図示されたデータ処理装置におけるすべてのユニットによって実行され得る。たとえば、図1に図示されるステップS101、S102、S103、およびS104は、図5に図示される収集ユニット101、セグメント化処理ユニット102、検出ユニット103、および計算ユニット104によって個別に実行され得、ステップs11、s12、およびs13は、図5に図示される確立ユニット1001、登録ユニット1002、領域セグメント化ユニット1003、および画像抽出ユニット1004によって個別に実行され得、ステップs21、s22、およびs23は、図5に図示されるバイナリ処理ユニット2001、変換ユニット2002、および標識抽出ユニット2003によって個別に実行され得、ステップs231、s232、s233およびs234は、図5に図示される第1の抽出ユニット2331、反応処理ユニット2332、第2の抽出ユニット2333、および組合せ処理ユニット2334によって個別に実行され得、ステップs31およびs32は、図5に図示される形態学的データ取得ユニット3001および座標発見ユニット3002によって個別に実行され得る。
本出願の別の実施形態に従って、図5に図示されるデータ処理装置のためのシステムのユニットは、1つもしくはいくつかの他のユニットへ個別にもしくは全体的に組み合わされ得るか、または、本明細書に記載されたユニットのうちの1つ(もしくは複数)はさらに、より小さな機能の多数のユニットへ分割され得る。このように、同じ操作が実施され得、本出願の実施形態の技術的効果の実施は影響されない。先述したユニットは、論理的な機能に基づいて分割される。実際の適用例では、1つのユニットの機能はまた、多数のユニットによって実施され得るか、または、多数のユニットの機能が、1つのユニットによって実施される。本出願の他の実施形態では、端末デバイスは、他のモジュールを含み得る。しかしながら、実際の適用例では、これら機能はまた、別のユニットによって協調的に実施され得、多数のユニットによって協調的に実施され得る。
本出願の別の実施形態に従って、図5に図示されるデータ処理装置が構築され得、データ処理方法は、中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)等を含むプロセシング素子およびメモリ素子、たとえば、コンピュータの汎用コンピューティングデバイスにおいて、図1に図示されるデータ処理方法を実行し得るコンピュータプログラム(プログラムコードを含む)を実行することによって、本出願の実施形態に従って実施され得る。コンピュータプログラムは、たとえば、コンピュータ読取可能な記録媒体に記録され得、コンピュータ読取可能な記録媒体を使用することによって、先述したコンピューティングデバイスへロードされ得、コンピューティングデバイスにおいて実行され得る。
本出願の実施形態は、この方法と同じであるデータ処理装置を提供する。2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出することと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転することと。3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合に検出結果が影響を受けることが回避され得る。なぜなら、3次元ポイントクラウドではなく、2次元街路風景画像から、道路交通標識が検出され、取得されるからである。それに加えて、慣性ナビゲーションデータおよび3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化を正確に実行し、2次元街路風景画像を検出し、抽出することによって、検出結果の精度と、データ処理の実用性とが効果的に向上され得る。
本出願の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せを使用することによって実施され得ることが理解されるべきである。先述した実施では、複数のステップまたは方法が、メモリに記憶され適切な命令実行システムによって実行されるソフトウェアまたはファームウェアを使用することによって実施され得る。たとえば、別の実施におけるものと同じように、実施するためにハードウェアを使用するのであれば、この分野で知られた以下の技術、すなわち、デジタル信号のための論理機能を実施するために使用される論理ゲート回路のディスクリート論理回路、組合せの論理ゲート回路の適切な特定の集積回路、プログラマブルゲートアレイ(PGA)、フィールドプログラマブルゲートアレイ(FPGA)等のうちの任意の1つまたはそれらの組合せが、実施するために使用され得る。
当業者であれば、この実施形態における方法の処理のうちのすべてまたはいくつかが、関連するハードウェアに対して命令するコンピュータプログラムによって実施され得ることを理解し得る。プログラムは、コンピュータ読取可能な記憶媒体に記憶され得る。プログラムが実行された場合、実施形態における方法の処理が実行される。それに加えて、本願の実施形態における機能ユニットが、1つの処理モジュールへ統合され得るか、または、ユニットの各々が、物理的に単独で存在し得るか、または、2つ以上のユニットが、1つのモジュールへ統合される。統合されたモジュールは、ハードウェアまたはソフトウェア機能モジュールの形態で実施され得る。ソフトウェア機能モジュールの形態で実施され、独立した製品として販売または使用されるのであれば、統合されたモジュールはまた、コンピュータ読取可能な記憶媒体に記憶され得る。記憶媒体は、磁気ディスク、光ディスク、読取専用メモリ(Read-Only Memory、ROM)またはランダムアクセスメモリ(Random Access Memory、RAM)等であり得る。
上記で開示されたものは単に、本出願の例示的な実施形態であり、本出願の保護範囲を限定することは当然ながら意図されていない。したがって、本出願の特許請求の範囲に従ってなされた等価な変形は、本出願の範囲内にあるものとする。
101 収集ユニット
102 セグメント化処理ユニット
103 検出ユニット
104 計算ユニット
1001 確立ユニット
1002 登録ユニット
1003 領域セグメント化ユニット
1004 画像抽出ユニット
2001 バイナリ処理ユニット
2002 変換ユニット
2003 標識抽出ユニット
2331 第1の抽出ユニット
2332 反応処理ユニット
2333 第2の抽出ユニット
2334 組合せ処理ユニット
3001 形態学的データ取得ユニット
3002 座標発見ユニット
102 セグメント化処理ユニット
103 検出ユニット
104 計算ユニット
1001 確立ユニット
1002 登録ユニット
1003 領域セグメント化ユニット
1004 画像抽出ユニット
2001 バイナリ処理ユニット
2002 変換ユニット
2003 標識抽出ユニット
2331 第1の抽出ユニット
2332 反応処理ユニット
2333 第2の抽出ユニット
2334 組合せ処理ユニット
3001 形態学的データ取得ユニット
3002 座標発見ユニット
Claims (12)
- 道路データを収集するステップであって、前記道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを備える、ステップと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するステップと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップであって、前記少なくとも1つのターゲット道路交通標識は、車線境界線および/または道路標識を備える、ステップと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップと
を含み、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出する前記ステップは、
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するステップと、
前記慣性ナビゲーションの前記座標系を位置基準として見なして、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間にレジストレーションするステップと、
前記レジストレーションされた3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行し、前記地面領域画像を抽出するステップと
を含む、データ処理方法。 - 前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出する前記ステップは、
バイナリ地面領域画像を取得するために、前記地面領域画像に対してバイナリ処理を実行するステップと、
地面正射投影画像を生成するために、前記バイナリ地面領域画像への正射投影変換を実行するステップと、
前記地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップと
を含む、請求項1に記載の方法。 - 前記地面正射投影画像から少なくとも1つの道路交通標識を抽出する前記ステップは、
画像認識方法を使用することによって、前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、干渉画像を抽出するステップと、
前記干渉画像を、バイナリマスクとして前記地面正射投影画像において反作用させるステップと、
前記画像認識方法を使用することによって、前記反作用された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するステップと、
抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせて、前記少なくとも1つのターゲット道路交通標識を取得するステップと
を含む、請求項2に記載の方法。 - 前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算する前記ステップは、
慣性ナビゲーションの座標系における前記地面正射投影画像の形態学的データを取得するステップであって、前記形態学的データは、位置データおよび姿勢データを備える、ステップと、
前記形態学的データに従って、前記少なくとも1つのターゲット道路交通標識の前記3次元座標を発見するステップと
を含む、請求項2に記載の方法。 - 道路データを収集するように構成された収集ユニットであって、前記道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを備える、収集ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、前記少なくとも1つのターゲット道路交通標識は、車線境界線および/または道路標識を備える、検出ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットと
を備え、
前記セグメント化処理ユニットは、
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
前記慣性ナビゲーションの前記座標系を位置基準として見なして、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間にレジストレーションするように構成されたレジストレーションユニットと、
前記レジストレーションされた3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行するように構成された領域セグメント化ユニットと、
前記地面領域画像を抽出するように構成された画像抽出ユニットと
を備える、データ処理装置。 - 前記検出ユニットは、
バイナリ地面領域画像を取得するために、前記地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、前記バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
前記地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットと
を備える、請求項5に記載のデータ処理装置。 - 前記標識抽出ユニットは、
画像認識方法を使用することによって、前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、干渉画像を抽出するように構成された第1の抽出ユニットと、
前記干渉画像を、バイナリマスクとして前記地面正射投影画像において反作用させるように構成された反作用処理ユニットと、
前記画像認識方法を使用することによって、前記反作用された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
前記抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせて、少なくとも1つのターゲット道路交通標識を取得するように構成された組合せ処理ユニットと
を備える、請求項6に記載のデータ処理装置。 - 前記計算ユニットは、
慣性ナビゲーションの座標系における前記地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、前記形態学的データは、位置データおよび姿勢データを備える、形態学的データ取得ユニットと、
前記形態学的データに従って、前記少なくとも1つのターゲット道路交通標識の前記3次元座標を発見するように構成された座標発見ユニットと
を備える、請求項6に記載のデータ処理装置。 - データ処理装置を備えた端末であって、前記データ処理装置は、
道路データを収集するように構成された収集ユニットであって、前記道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを備える、収集ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、前記少なくとも1つのターゲット道路交通標識は、車線境界線および/または道路標識を備える、検出ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットと
を備え、
前記セグメント化処理ユニットは、
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
前記慣性ナビゲーションの前記座標系を位置基準として見なして、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間にレジストレーションするように構成されたレジストレーションユニットと、
前記レジストレーションされた3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行するように構成された領域セグメント化ユニットと、
前記地面領域画像を抽出するように構成された画像抽出ユニットと
を備える、端末。 - 前記検出ユニットは、
バイナリ地面領域画像を取得するために、前記地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、前記バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
前記地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットと
を備える、請求項9に記載の端末。 - 前記標識抽出ユニットは、
画像認識方法を使用することによって、前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、干渉画像を抽出するように構成された第1の抽出ユニットと、
前記干渉画像を、バイナリマスクとして前記地面正射投影画像において反作用させるように構成された反作用処理ユニットと、
前記画像認識方法を使用することによって、前記反作用された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせて、少なくとも1つのターゲット道路交通標識を取得するように構成された組合せ処理ユニットと
を備える、請求項10に記載の端末。 - 前記計算ユニットは、
慣性ナビゲーションの座標系における前記地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、前記形態学的データは、位置データおよび姿勢データを備える、形態学的データ取得ユニットと、
前記形態学的データに従って、前記少なくとも1つのターゲット道路交通標識の前記3次元座標を発見するように構成された座標発見ユニットと
を備える、請求項10に記載の端末。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610031452.5A CN105719284B (zh) | 2016-01-18 | 2016-01-18 | 一种数据处理方法、装置及终端 |
| CN201610031452.5 | 2016-01-18 | ||
| PCT/CN2016/112671 WO2017124901A1 (zh) | 2016-01-18 | 2016-12-28 | 一种数据处理方法、装置及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018523865A JP2018523865A (ja) | 2018-08-23 |
| JP7034530B2 true JP7034530B2 (ja) | 2022-03-14 |
Family
ID=56147331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017565896A Active JP7034530B2 (ja) | 2016-01-18 | 2016-12-28 | 情報処理方法、デバイス、および端末 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US10712747B2 (ja) |
| EP (1) | EP3407294B1 (ja) |
| JP (1) | JP7034530B2 (ja) |
| KR (1) | KR102003152B1 (ja) |
| CN (1) | CN105719284B (ja) |
| MY (1) | MY188758A (ja) |
| WO (1) | WO2017124901A1 (ja) |
Families Citing this family (72)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105719284B (zh) * | 2016-01-18 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及终端 |
| US10683034B2 (en) | 2017-06-06 | 2020-06-16 | Ford Global Technologies, Llc | Vehicle remote parking systems and methods |
| US10775781B2 (en) | 2017-06-16 | 2020-09-15 | Ford Global Technologies, Llc | Interface verification for vehicle remote park-assist |
| US10585430B2 (en) | 2017-06-16 | 2020-03-10 | Ford Global Technologies, Llc | Remote park-assist authentication for vehicles |
| US11269346B2 (en) * | 2017-06-22 | 2022-03-08 | Agjunction Llc | 3-d image system for vehicle control |
| US10580304B2 (en) | 2017-10-02 | 2020-03-03 | Ford Global Technologies, Llc | Accelerometer-based external sound monitoring for voice controlled autonomous parking |
| US10627811B2 (en) | 2017-11-07 | 2020-04-21 | Ford Global Technologies, Llc | Audio alerts for remote park-assist tethering |
| US10578676B2 (en) | 2017-11-28 | 2020-03-03 | Ford Global Technologies, Llc | Vehicle monitoring of mobile device state-of-charge |
| CN107944425A (zh) * | 2017-12-12 | 2018-04-20 | 北京小米移动软件有限公司 | 道路标志的识别方法和装置 |
| US10974717B2 (en) | 2018-01-02 | 2021-04-13 | Ford Global Technologies, I.LC | Mobile device tethering for a remote parking assist system of a vehicle |
| US10583830B2 (en) | 2018-01-02 | 2020-03-10 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10737690B2 (en) | 2018-01-02 | 2020-08-11 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10814864B2 (en) | 2018-01-02 | 2020-10-27 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US11148661B2 (en) | 2018-01-02 | 2021-10-19 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10585431B2 (en) | 2018-01-02 | 2020-03-10 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10688918B2 (en) | 2018-01-02 | 2020-06-23 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10684773B2 (en) | 2018-01-03 | 2020-06-16 | Ford Global Technologies, Llc | Mobile device interface for trailer backup-assist |
| US10747218B2 (en) | 2018-01-12 | 2020-08-18 | Ford Global Technologies, Llc | Mobile device tethering for remote parking assist |
| US10917748B2 (en) | 2018-01-25 | 2021-02-09 | Ford Global Technologies, Llc | Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning |
| US10684627B2 (en) | 2018-02-06 | 2020-06-16 | Ford Global Technologies, Llc | Accelerometer-based external sound monitoring for position aware autonomous parking |
| US11188070B2 (en) | 2018-02-19 | 2021-11-30 | Ford Global Technologies, Llc | Mitigating key fob unavailability for remote parking assist systems |
| US10507868B2 (en) | 2018-02-22 | 2019-12-17 | Ford Global Technologies, Llc | Tire pressure monitoring for vehicle park-assist |
| CN110316106B (zh) * | 2018-03-30 | 2021-09-03 | 比亚迪股份有限公司 | 车辆及其显示终端系统和通过其建立立体地形数据库的方法 |
| US10732622B2 (en) | 2018-04-05 | 2020-08-04 | Ford Global Technologies, Llc | Advanced user interaction features for remote park assist |
| US10759417B2 (en) | 2018-04-09 | 2020-09-01 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
| US10683004B2 (en) | 2018-04-09 | 2020-06-16 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
| US10493981B2 (en) | 2018-04-09 | 2019-12-03 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
| US10793144B2 (en) | 2018-04-09 | 2020-10-06 | Ford Global Technologies, Llc | Vehicle remote park-assist communication counters |
| CN109099901B (zh) * | 2018-06-26 | 2021-09-24 | 中科微易(苏州)智能科技有限公司 | 基于多源数据融合的全自动压路机定位方法 |
| CN109271861B (zh) * | 2018-08-15 | 2021-08-17 | 武汉中海庭数据技术有限公司 | 多尺度融合的点云交通标识牌自动提取方法 |
| KR102146451B1 (ko) * | 2018-08-17 | 2020-08-20 | 에스케이텔레콤 주식회사 | 좌표계 변환 정보 획득 장치 및 방법 |
| US10384605B1 (en) | 2018-09-04 | 2019-08-20 | Ford Global Technologies, Llc | Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers |
| CN110148196B (zh) * | 2018-09-12 | 2022-03-25 | 腾讯大地通途（北京）科技有限公司 | 一种图像处理方法、装置以及相关设备 |
| US10717432B2 (en) | 2018-09-13 | 2020-07-21 | Ford Global Technologies, Llc | Park-assist based on vehicle door open positions |
| US10821972B2 (en) | 2018-09-13 | 2020-11-03 | Ford Global Technologies, Llc | Vehicle remote parking assist systems and methods |
| US10529233B1 (en) | 2018-09-24 | 2020-01-07 | Ford Global Technologies Llc | Vehicle and method for detecting a parking space via a drone |
| US10967851B2 (en) | 2018-09-24 | 2021-04-06 | Ford Global Technologies, Llc | Vehicle system and method for setting variable virtual boundary |
| CN110969592B (zh) * | 2018-09-29 | 2024-03-29 | 北京嘀嘀无限科技发展有限公司 | 图像融合方法、自动驾驶控制方法、装置和设备 |
| US10908603B2 (en) | 2018-10-08 | 2021-02-02 | Ford Global Technologies, Llc | Methods and apparatus to facilitate remote-controlled maneuvers |
| US10628687B1 (en) | 2018-10-12 | 2020-04-21 | Ford Global Technologies, Llc | Parking spot identification for vehicle park-assist |
| US11097723B2 (en) | 2018-10-17 | 2021-08-24 | Ford Global Technologies, Llc | User interfaces for vehicle remote park assist |
| US11137754B2 (en) | 2018-10-24 | 2021-10-05 | Ford Global Technologies, Llc | Intermittent delay mitigation for remote vehicle operation |
| US10976747B2 (en) * | 2018-10-29 | 2021-04-13 | Here Global B.V. | Method and apparatus for generating a representation of an environment |
| JP7138718B2 (ja) * | 2018-10-30 | 2022-09-16 | 三菱電機株式会社 | 地物検出装置、地物検出方法および地物検出プログラム |
| CN110869974B (zh) * | 2018-11-19 | 2024-06-11 | 深圳市卓驭科技有限公司 | 点云处理方法、设备及存储介质 |
| CN110163064B (zh) * | 2018-11-30 | 2022-04-05 | 腾讯科技（深圳）有限公司 | 一种道路标志物的识别方法、装置及存储介质 |
| CA3122865A1 (en) * | 2018-12-13 | 2020-06-18 | Continental Holding China Co., Ltd. | Method for detecting and modeling of object on surface of road |
| CN109901139B (zh) * | 2018-12-28 | 2023-07-04 | 文远知行有限公司 | 激光雷达标定方法、装置、设备和存储介质 |
| US11789442B2 (en) | 2019-02-07 | 2023-10-17 | Ford Global Technologies, Llc | Anomalous input detection |
| US11195344B2 (en) | 2019-03-15 | 2021-12-07 | Ford Global Technologies, Llc | High phone BLE or CPU burden detection and notification |
| US11275368B2 (en) | 2019-04-01 | 2022-03-15 | Ford Global Technologies, Llc | Key fobs for vehicle remote park-assist |
| US11169517B2 (en) | 2019-04-01 | 2021-11-09 | Ford Global Technologies, Llc | Initiation of vehicle remote park-assist with key fob |
| CN111712828A (zh) * | 2019-06-06 | 2020-09-25 | 深圳市大疆创新科技有限公司 | 物体检测方法、电子设备和可移动平台 |
| CN110648389A (zh) * | 2019-08-22 | 2020-01-03 | 广东工业大学 | 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 |
| US11455813B2 (en) * | 2019-11-14 | 2022-09-27 | Nec Corporation | Parametric top-view representation of complex road scenes |
| CN112907659B (zh) * | 2019-11-19 | 2024-07-12 | 浙江菜鸟供应链管理有限公司 | 移动设备定位系统、方法及设备 |
| US11584377B2 (en) * | 2019-11-21 | 2023-02-21 | Gm Cruise Holdings Llc | Lidar based detection of road surface features |
| CN111862337B (zh) * | 2019-12-18 | 2024-05-10 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| CN113091757B (zh) * | 2019-12-23 | 2022-09-27 | 百度在线网络技术（北京）有限公司 | 地图生成方法和装置 |
| CN111127459B (zh) * | 2019-12-30 | 2023-05-26 | 武汉理工大学 | 路面车辙检测的图像实时处理系统 |
| CN111414809B (zh) * | 2020-02-28 | 2024-03-05 | 上海牙典软件科技有限公司 | 一种三维图形识别方法、装置、设备及存储介质 |
| CN111144388B (zh) * | 2020-04-03 | 2020-07-14 | 速度时空信息科技股份有限公司 | 一种基于单目影像的道路标志标线的更新方法 |
| CN111551976A (zh) * | 2020-05-20 | 2020-08-18 | 四川万网鑫成信息科技有限公司 | 一种结合多种数据对异常定位进行自动补全的方法 |
| US11030893B1 (en) * | 2020-06-05 | 2021-06-08 | Samuel Messinger | System for reducing speed of a vehicle and method thereof |
| CN112863194B (zh) * | 2021-01-20 | 2022-08-23 | 青岛以萨数据技术有限公司 | 一种图像处理方法、装置、终端及介质 |
| CN112907746A (zh) * | 2021-03-25 | 2021-06-04 | 上海商汤临港智能科技有限公司 | 电子地图的生成方法、装置、电子设备及存储介质 |
| CN113222965B (zh) * | 2021-05-27 | 2023-12-29 | 西安交通大学 | 放电通道的三维观测方法 |
| WO2023286217A1 (ja) * | 2021-07-14 | 2023-01-19 | 日本電信電話株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
| US11608084B1 (en) * | 2021-08-27 | 2023-03-21 | Motional Ad Llc | Navigation with drivable area detection |
| CN114419231B (zh) * | 2022-03-14 | 2022-07-19 | 幂元科技有限公司 | 基于点云数据和ai技术的交通设施矢量识别提取分析系统 |
| CN115578433B (zh) * | 2022-09-30 | 2023-09-01 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN116468870B (zh) * | 2023-06-20 | 2024-01-23 | 佛山科学技术学院 | 一种城市道路三维可视化建模方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008187347A (ja) | 2007-01-29 | 2008-08-14 | Toshiba Corp | 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法 |
| JP2009199284A (ja) | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | 道路地物認識方法 |
| JP2009266003A (ja) | 2008-04-25 | 2009-11-12 | Hitachi Ltd | 物体認識装置、および物体認識方法 |
| JP2011233165A (ja) | 2008-08-29 | 2011-11-17 | Mitsubishi Electric Corp | 俯瞰画像生成装置、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム |
| JP2012517652A (ja) | 2009-02-13 | 2012-08-02 | ハリス コーポレイション | シーン補間及び登録性能評価のための２ｄ電子光学的画像及び３ｄ点群データの融合 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005251106A (ja) * | 2004-03-08 | 2005-09-15 | Mitsubishi Electric Corp | 車線認識装置 |
| EP3112802B1 (en) | 2007-02-16 | 2019-10-09 | Mitsubishi Electric Corporation | Road feature measurement apparatus and road feature measuring method |
| KR20130085235A (ko) * | 2012-01-19 | 2013-07-29 | 김동용 | 자동차의 무인 운전 시스템 |
| GB2520338A (en) * | 2013-11-19 | 2015-05-20 | Nokia Corp | Automatic scene parsing |
| CN104063499A (zh) * | 2014-07-04 | 2014-09-24 | 纵横皆景（北京)信息技术有限公司 | 基于车载空间信息采集的空间矢量poi提取方法 |
| CN104899858A (zh) * | 2015-02-15 | 2015-09-09 | 北京联合大学 | 基于双摄像机图像融合的车道线识别方法 |
| CN104766058B (zh) * | 2015-03-31 | 2018-04-27 | 百度在线网络技术（北京）有限公司 | 一种获取车道线的方法和装置 |
| CN105719284B (zh) * | 2016-01-18 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及终端 |
-
2016
- 2016-01-18 CN CN201610031452.5A patent/CN105719284B/zh active Active
- 2016-12-28 EP EP16886160.7A patent/EP3407294B1/en active Active
- 2016-12-28 KR KR1020177036734A patent/KR102003152B1/ko active IP Right Grant
- 2016-12-28 JP JP2017565896A patent/JP7034530B2/ja active Active
- 2016-12-28 WO PCT/CN2016/112671 patent/WO2017124901A1/zh unknown
- 2016-12-28 MY MYPI2017704510A patent/MY188758A/en unknown
-
2018
- 2018-04-05 US US15/946,621 patent/US10712747B2/en active Active
-
2020
- 2020-06-03 US US16/892,039 patent/US11320833B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008187347A (ja) | 2007-01-29 | 2008-08-14 | Toshiba Corp | 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法 |
| JP2009199284A (ja) | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | 道路地物認識方法 |
| JP2009266003A (ja) | 2008-04-25 | 2009-11-12 | Hitachi Ltd | 物体認識装置、および物体認識方法 |
| JP2011233165A (ja) | 2008-08-29 | 2011-11-17 | Mitsubishi Electric Corp | 俯瞰画像生成装置、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム |
| JP2012517652A (ja) | 2009-02-13 | 2012-08-02 | ハリス コーポレイション | シーン補間及び登録性能評価のための２ｄ電子光学的画像及び３ｄ点群データの融合 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3407294A1 (en) | 2018-11-28 |
| US20180224863A1 (en) | 2018-08-09 |
| US20200293058A1 (en) | 2020-09-17 |
| US11320833B2 (en) | 2022-05-03 |
| MY188758A (en) | 2021-12-29 |
| CN105719284B (zh) | 2018-11-06 |
| KR20180010238A (ko) | 2018-01-30 |
| EP3407294B1 (en) | 2021-03-31 |
| KR102003152B1 (ko) | 2019-07-23 |
| US10712747B2 (en) | 2020-07-14 |
| EP3407294A4 (en) | 2019-10-23 |
| JP2018523865A (ja) | 2018-08-23 |
| WO2017124901A1 (zh) | 2017-07-27 |
| CN105719284A (zh) | 2016-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7034530B2 (ja) | 情報処理方法、デバイス、および端末 | |
| JP6918885B2 (ja) | 相対的位置姿勢の標定方法、相対的位置姿勢の標定装置、機器及び媒体 | |
| WO2020098316A1 (zh) | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 | |
| CN108694882B (zh) | 用于标注地图的方法、装置和设备 | |
| CN105512646B (zh) | 一种数据处理方法、装置及终端 | |
| JP6107081B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4232167B1 (ja) | 対象特定装置、対象特定方法および対象特定プログラム | |
| CN110426051A (zh) | 一种车道线绘制方法、装置及存储介质 | |
| EP4016457A1 (en) | Positioning method and apparatus | |
| Li et al. | A novel system for object pose estimation using fused vision and inertial data | |
| CN109300143B (zh) | 运动向量场的确定方法、装置、设备、存储介质和车辆 | |
| CN109844457B (zh) | 用于产生数字道路模型的系统和方法 | |
| JP4978615B2 (ja) | 対象特定装置 | |
| JP2012185011A (ja) | 移動体位置測定装置 | |
| JP2016157197A (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
| CN112771576A (zh) | 位置信息获取方法、设备及存储介质 | |
| CN110673107A (zh) | 基于多线激光雷达的路沿检测方法及装置 | |
| CN111145248B (zh) | 位姿信息确定方法、确定装置和电子设备 | |
| CN114677435A (zh) | 一种点云全景融合要素提取方法和系统 | |
| CN111353453A (zh) | 用于车辆的障碍物检测方法和装置 | |
| CN116997771A (zh) | 车辆及其定位方法、装置、设备、计算机可读存储介质 | |
| JP7179687B2 (ja) | 障害物検知装置 | |
| CN110298320B (zh) | 一种视觉定位方法、装置及存储介质 | |
| CN108564626B (zh) | 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置 | |
| CN111191596A (zh) | 一种封闭区域制图方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190325 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191209 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200616 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200616 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200625 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200629 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200710 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200720 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200914 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211018 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20211220 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220131 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7034530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |