JP7263308B2 - 車両が位置する車線を決定する方法、装置、機器、および記憶媒体 - Google Patents

車両が位置する車線を決定する方法、装置、機器、および記憶媒体 Download PDF

Info

Publication number
JP7263308B2
JP7263308B2 JP2020205106A JP2020205106A JP7263308B2 JP 7263308 B2 JP7263308 B2 JP 7263308B2 JP 2020205106 A JP2020205106 A JP 2020205106A JP 2020205106 A JP2020205106 A JP 2020205106A JP 7263308 B2 JP7263308 B2 JP 7263308B2
Authority
JP
Japan
Prior art keywords
lane
information
image
vehicle
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020205106A
Other languages
English (en)
Other versions
JP2021173745A (ja
Inventor
リー,インホイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2021173745A publication Critical patent/JP2021173745A/ja
Application granted granted Critical
Publication of JP7263308B2 publication Critical patent/JP7263308B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • G01C21/3822Road feature data, e.g. slope data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Description

本願の実施例は、画像処理技術の分野、特に自動運転技術に関する。具体的には、本願の実施例は、車両が位置する車線を決定する方法、装置、機器、および記憶媒体を提供する。
ナビゲーションの精度を向上させるためには、通常、車両が位置する車線を決定し、車両が位置する車線に応じて車線レベルのナビゲーションの技術サポートを提供する必要がある。
車両が位置する車線を決定する従来の方法は、主に以下の2つの方法を含む。
1)高精度の位置決めと高精度地図を組み合わせて、車両が位置する車線を決定する。
2)車両が位置する車線を感知するために、センサモジュールを道路に敷設する。
しかしながら、上記2つの方法には、以下の欠点がある。
1)高精度の位置決めと高精度地図は、コストが高く、現在、広範囲に適用可能ではない。
2)センサモジュールを道路に敷設することは、コストが高いだけでなく、既存のすべての道路を改修することも非現実的であり、また、大規模な普及の条件を備えていない。
本願の実施例は、車両が位置する車線を決定するためのコストを削減するために、車両が位置する車線を決定する方法、装置、機器、および記憶媒体を提供する。
本願の実施例は、車両が位置する車線を決定する方法を提供し、この方法は、
車線境界線画像に基づいて車両位置の画像車線情報を決定するステップと、
前記車両の位置決め情報に基づいて既存の車線情報から前記車両位置の実車線情報を取得するステップと、
前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定するステップと、を含む。
本願の実施例は、画像車線情報および実車線情報に基づいて車両が位置する実車線を決定する。画像車線情報が車線境界線画像に基づいて決定でき、実車線情報が既存の車線情報から取得できるので、本願の実施例は、センサを敷設して未使用範囲の高精度地図を決定する必要がない。従って、本願の実施例は、車両が位置する車線を決定するためのコストを削減し、さらに適用範囲を拡大することができる。
さらに、前述した車線境界線画像に基づいて車両位置の画像車線情報を決定するステップは、
前記車線境界線画像を認識するステップと、
認識された車線境界線情報に基づいて前記画像車線情報を決定するステップと、を含む。
この技術的特徴によれば、本願の実施例は、認識された車線境界線情報に基づいて画像車線情報を決定する。車線境界線情報と車線情報との間に固有の関連付け関係がある。従って、車線境界線画像から車線情報を直接検出する場合と比べて、本願の実施例は、車線境界線情報に基づいて、車線情報のさらなるマイニングを実現することができる。
さらに、前述した認識された車線境界線情報に基づいて前記画像車線情報を決定するステップは、
認識された車線境界線情報に基づいて、車線境界線からなる画像車線の車線種類を決定するステップと、
決定された車線種類を前記画像車線情報として決定するステップと、を含む。
この技術的特徴に基づいて、本願の実施例は、車線種類を決定し、決定された車線種類を画像車線情報として決定する。車線種類は、車線を他の車線情報より正確に認識でき、データ占有量が少ない。従って、他の車線情報を使用して車両が位置する実車線を決定する場合と比べて、本願の実施例は、車線決定精度を向上させ、データ計算量を低減することができる。
さらに、前述した認識された車線境界線情報に基づいて、車線境界線からなる画像車線の車線種類を決定するステップは、
前記車線境界線情報に基づいて、前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つを決定するステップと、
前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つに基づいて、前記画像車線の車線種類を決定するステップと、を含む。
この技術的特徴によれば、本願の実施例は、画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つに基づいて、車両が位置する実車線を決定する。画像車線の走行方向、走行車両の種類、および走行位置は車線位置認識性能が良好であるため、車両が位置する実車線は、このような車線に基づいて正確に決定され得る。
さらに、前述した前記車両の位置決め情報に基づいて既存の車線情報から前記車両位置の実車線情報を取得するステップは、
前記位置決め情報における位置決め用の緯度経度に基づいて、前記車両が位置する道路の位置を決定するステップと、
前記位置決め情報における進行方向角度に基づいて、前記車両の走行方向を決定するステップと、
前記車両が位置する道路の位置、および前記車両の走行方向に基づいて、既存の車線情報から前記車両位置の実車線情報を取得するステップと、を含む。
この技術的特徴によれば、本願の実施例は、前記車両が位置する道路の位置、および前記車両の走行方向に基づいて、既存の車線情報から前記車両位置の実車線情報を取得することにより、車両の走行方向と逆方向の車線情報をフィルタリングし、実車線情報の精度を向上させる。
さらに、前述した前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定するステップは、
前記画像車線情報を前記実車線情報とマッチングするステップと、
マッチング結果に基づいて、前記車線境界線画像に関連付けられた画像車線と前記既存の車線情報に関連付けられた実車線との関連付け関係を確立するステップと、
前記関連付け関係、および前記車両が位置する画像車線に基づいて、前記車両が位置する実車線を決定するステップと、を含む。
この技術的特徴によれば、本願の実施例は、画像車線情報と実車線情報とのマッチング結果に基づいて、画像車線と実車線との関連付け関係を確立し、この関連付け関係に基づいて、車両が位置する実車線を決定することにより、車両が位置する実車線の決定を実現する。
さらに、前述した前記関連付け関係、および前記車両が位置する画像車線に基づいて、前記車両が位置する実車線を決定するステップの前に、前記方法は、
前記車線境界線画像の画像収集装置と前記車両との位置関係、および前記画像収集装置の校正結果に基づいて、前記車両の画像位置を決定するステップと、
前記車両の画像位置、および前記画像車線の画像領域に基づいて、前記車両が位置する画像車線を決定するステップと、をさらに含む。
この技術的特徴によれば、本願の実施例は、前記車両の画像位置を決定し、前記車両の画像位置、および前記画像車線の画像領域に基づいて、前記車両が位置する画像車線を決定することにより、車両が位置する画像車線の決定を実現する。
さらに、前述した前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定するステップの後に、前記方法は、
前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するステップをさらに含む。
この技術的特徴によれば、本願の実施例は、前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正することにより、既存の車線情報の精度を向上させる。
さらに、前述した前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するステップは、
前記車線境界線画像の画像収集装置の校正結果に基づいて、前記車両が位置する実車線と前記画像収集装置との相対位置関係を決定するステップと、
決定された相対位置関係、および前記画像収集装置の実位置に基づいて、前記車両が位置する実車線の新規位置を決定するステップと、
決定された新規位置を使用して、前記既存の車線情報における前記車両が位置する実車線の原位置を補正するステップと、を含む。
この技術的特徴によれば、本願の実施例は、前記車両が位置する実車線と前記画像収集装置との相対位置関係を決定し、決定された相対位置関係、および前記画像収集装置の実位置に基づいて、前記車両が位置する実車線の新規位置を決定することにより、既存の車両情報における車線位置情報の補正を実現する。
さらに、前述した決定された相対位置関係、および前記画像収集装置の実位置に基づいて、前記車両が位置する実車線の新規位置を決定するステップの前に、前記方法は、
前記画像収集装置が車載画像収集装置である場合、前記車両の位置情報に基づいて前記画像収集装置の実位置を決定するステップをさらに含む。
この技術的特徴に基づいて、本願の実施例は、前記画像収集装置が車載画像収集装置である場合、前記車両の位置情報に基づいて前記画像収集装置の実位置を決定することにより、車載画像収集装置の適用シナリオに応じた画像収集装置の実位置の決定を実現する。
さらに、前述した前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するステップは、
前記車両が位置する実車線の画像車線情報の情報量が所定量の閾値よりも大きい場合、前記車両が位置する実車線の画像車線情報をクラスタリングするステップと、
クラスタリング結果に基づいて、前記車両が位置する実車線の画像車線情報から目標車線情報を決定するステップと、
前記目標車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するステップと、を含む。
この技術的特徴によれば、本願の実施例は、車両が位置する実車線の画像車線情報をクラスタリングし、クラスタリング結果に基づいて、目標車線情報を決定することにより、目標車線情報の精度を向上させ、さらに既存の車線情報の補正精度を向上させる。
本願の実施例は、車両が位置する車線を決定する装置をさらに提供し、この装置は、
車線境界線画像に基づいて車両位置の画像車線情報を決定するために使用される情報決定モジュールと、
前記車両の位置決め情報に基づいて既存の車線情報から前記車両位置の実車線情報を取得するために使用される情報取得モジュールと、
前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定するために使用される車線決定モジュールと、を含む。
前記情報決定モジュールは、さらに、
前記車線境界線画像を認識するために使用される画像認識ユニットと、
認識された車線境界線情報に基づいて前記画像車線情報を決定するために使用される情報決定ユニットと、を含む。
さらに、前記情報決定ユニットは、
認識された車線境界線情報に基づいて、車線境界線からなる画像車線の車線種類を決定するために使用される車線種類決定サブユニットと、
決定された車線種類を前記画像車線情報として決定するために使用される車線情報決定サブユニットと、を含む。
前記車線種類決定サブユニットはさらに、
前記車線境界線情報に基づいて、前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つを決定するステップと、
前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つに基づいて、前記画像車線の車線種類を決定するステップと、を実行するために使用される。
前記情報取得モジュールは、さらに、
前記位置決め情報における位置決め用の緯度経度に基づいて、前記車両が位置する道路の位置を決定するために使用される道路位置決定ユニットと、
前記位置決め情報における進行方向角度に基づいて、前記車両の走行方向を決定するために使用される走行方向決定ユニットと、
前記車両が位置する道路の位置、および前記車両の走行方向に基づいて、既存の車線情報から前記車両位置の実車線情報を取得するために使用される車線情報取得ユニットと、を含む。
前記車線決定モジュールは、さらに、
前記画像車線情報を前記実車線情報とマッチングするために使用される情報マッチングユニットと、
マッチング結果に基づいて、前記車線境界線画像に関連付けられた画像車線と前記既存の車線情報に関連付けられた実車線との関連付け関係を確立するために使用される関係確立ユニットと、
前記関連付け関係、および前記車両が位置する画像車線に基づいて、前記車両が位置する実車線を決定するために使用される車線決定ユニットと、を含む。
前記装置は、さらに、
前述した前記関連付け関係、および前記車両が位置する画像車線に基づいて、前記車両が位置する実車線を決定するステップの前に、前記車線境界線画像の画像収集装置と前記車両との位置関係、および前記画像収集装置の校正結果に基づいて、前記車両の画像位置を決定するために使用される位置決定モジュールと、
前記車両の画像位置、および前記画像車線の画像領域に基づいて、前記車両が位置する画像車線を決定するために使用される車線決定モジュールと、をさらに含む。
前記装置は、さらに、
前述した前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定するステップの後に、前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するために使用される情報補正モジュールをさらに含む。
前記情報補正モジュールは、さらに、
前記車線境界線画像の画像収集装置の校正結果に基づいて、前記車両が位置する実車線と前記画像収集装置との相対位置関係を決定するために使用される位置関係決定ユニットと、
決定された相対位置関係、および前記画像収集装置の実位置に基づいて、前記車両が位置する実車線の新規位置を決定するために使用される新規位置決定ユニットと、
決定された新規位置を使用して、前記既存の車線情報における前記車両が位置する実車線の原位置を補正するために使用される位置補正ユニットと、を含む。
前記装置は、さらに、
前述した決定された相対位置関係、および前記画像収集装置の実位置に基づいて、前記車両が位置する実車線の新規位置を決定するステップの前に、前記画像収集装置が車載画像収集装置である場合、前記車両の位置情報に基づいて前記画像収集装置の実位置を決定するために使用される位置決定モジュールをさらに含む。
前記情報補正モジュールは、さらに、
前記車両が位置する実車線の画像車線情報の情報量が所定量の閾値よりも大きい場合、前記車両が位置する実車線の画像車線情報をクラスタリングするために使用されるクラスタリングユニットと、
クラスタリング結果に基づいて、前記車両が位置する実車線の画像車線情報から目標車線情報を決定するために使用される情報決定ユニットと、
前記目標車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するために使用される情報補正ユニットと、を含む。
本願の実施例は、電子機器をさらに提供し、この機器は、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信可能に接続されたメモリと、を含み、
前記メモリには、前記少なくとも1つのプロセッサが本願の実施例のいずれか1つに記載の方法を実行できるように前記少なくとも1つのプロセッサによって実行される、前記少なくとも1つのプロセッサによって実行可能な命令が記憶されている。
本願の実施例は、コンピュータ命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令が、本願の実施例のいずれか1つに記載の方法を前記コンピュータに実行させる非一時的コンピュータ可読記憶媒体をさらに提供する。
本願の実施例は、コンピュータプログラムであって、前記コンピュータプログラムが、プロセッサにより実行されると、本願の実施例のいずれか1つに記載の方法を前記コンピュータに実行させるコンピュータプログラムを提供する。
添付の図面は、本実施例をよりよく理解するために使用されており、本願を限定するものではない。
本願の第一実施例に係る、車両が位置する車線を決定する方法を示すフローチャートである。 本願の第一実施例に係る、適用シナリオを示す概略図である。 本願の第一実施例に係る、別の適用シナリオを示す概略図である。 本願の第二実施例に係る、車両が位置する車線を決定する方法を示すフローチャートである。 本願の第三実施例に係る、車両が位置する車線を決定する方法を示すフローチャートである。 本願の第四実施例に係る、車両が位置する車線を決定する方法を示すフローチャートである。 本願の第五実施例に係る、車両が位置する車線を決定する装置を示す構造概略図である。 本願の実施例に係る、車両が位置する車線を決定する方法を実施するための電子機器を示すブロック図である。
本願の例示的な実施例は、理解を容易にするための本願の実施例の様々な詳細を含む添付の図面を参照して以下に説明され、単なる例示と見なされるべきである。従って、本願の範囲および精神から逸脱することなく、本明細書に記載の実施例に様々な変更および修正を加えることができることは、当業者に理解されるであろう。同様に、明瞭性と簡潔性の観点から、公知の機能と構造に関する説明は、以下の説明において省略される。
第一実施例
図1は、本願の第一実施例に係る、車両が位置する車線を決定する方法を示すフローチャートである。本実施例は、車両が位置する車線が、低コストで決定される場合に適用可能である。この方法は、ソフトウェアおよび/またはハードウェアによって実装され得る、車両が位置する車線を決定する装置によって実施され得る。図1を参照すると、本願の実施例に係る、車両が位置する車線を決定する方法は、以下を含む。
S110、車線境界線画像に基づいて車両位置の画像車線情報を決定する。
ここで、車線境界線画像とは、画像収集装置によって収集された車両位置における車線境界線の画像を指す。
通常、車線境界線画像は車両が位置する車線境界線の一部のみを含むので、車両が位置する車線は、車線境界線画像に基づいて直接決定することができない。
画像収集装置は、画像を収集できる任意の装置であってもよく、具体的には、画像収集装置はカメラである。
任意選択的に、上記画像収集装置は、道路脇の固定物に設置されてもよいし、車両に設置されてもよい。
典型的には、上記画像収集装置は、収集された車線境界線画像がより多くの車線境界線を含むように、車両の頭部または尾部に取り付けられ得る。
画像車線情報とは、車線境界線画像に基づいて決定される、車両が位置する車線の車線情報を指す。
具体的には、車線情報は、車線の幅、車線の数、車線の分布、車線内の案内矢印、車線に関連付けられた車線境界線の色、または車線に関連付けられた車線境界線の虚実など、任意の車線情報であってもよい。
具体的には、車線境界線画像に基づいて車両位置の画像車線情報を決定するステップは、
車線境界線画像に基づいて車線を検出するステップと、
検出された車線に基づいて車線情報を決定するステップと、を含む。
ここで、車線検出ロジックは、本実施例において何ら限定されない、先行技術における任意の目標検出ロジックであってもよい。
S120、前記車両の位置決め情報に基づいて既存の車線情報から前記車両位置の実車線情報を取得する。
ここで、既存の車線情報とは、既に存在する車線情報を指す。
この情報は、車両が位置する車線をユーザまたはダウンストリームロジックが明確に認識できるように、車両が位置する実車線を認識するための車線標識を含む。
典型的には、一般的な地図が現在広く普及している場合、既存の車線情報は、一般的な地図から取得され得る。
任意選択的に、高精度地図が将来広く普及する場合、既存の車線情報は、高精度地図からも取得され得る。
既存の車線情報のソースは、本願の実施例において限定されない。
既存の車線情報が既に存在する車線情報であるため、既存の車線情報から実車線情報を取得するためのコストは低い。
実車線情報とは、既存の車線情報から取得される、車両が位置する車線の車線情報を指す。
具体的には、上記車両の位置情報は、位置決め用の緯度経度のみを含んでもよいし、位置決め用の緯度経度と進行方向角度の両方も含んでもよい。
位置決め情報が位置決め用の緯度経度のみを含む場合、前記車両の位置決め情報に基づいて既存の車線情報から前記車両位置の実車線情報を取得するステップは、
前記車両の位置を既存の車線情報におけるインデックス位置とマッチングするステップと、
マッチングされたインデックス位置に関連付けられた車線情報を前記車両位置の実車線情報として決定するステップと、を含む。
実車線情報の精度を向上させるために、位置決め情報が位置決め用の緯度経度と進行方向角度の両方を含む場合、前述した前記車両の位置決め情報に基づいて既存の車線情報から前記車両位置の実車線情報を取得するステップは、
前記位置決め情報における位置決め用の緯度経度に基づいて、前記車両が位置する道路の位置を決定するステップと、
前記位置決め情報における進行方向角度に基づいて、前記車両の走行方向を決定するステップと、
前記車両が位置する道路の位置、および前記車両の走行方向に基づいて、既存の車線情報から前記車両位置の実車線情報を取得するステップと、を含む。
この技術的特徴に基づいて、本願の実施例は、既存の車線情報から車両位置および車両の走行方向の車線情報を取得することにより、実車線情報の精度を向上させる。
S130、前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定する。
ここで、実車線とは、既存の車線情報における車線を指す。
具体的には、前述した前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定するステップは、
前記画像車線情報を前記実車線情報とマッチングするステップと、
マッチング結果に基づいて、前記車線境界線画像に関連付けられた画像車線と前記既存の車線情報に関連付けられた実車線との関連付け関係を確立するステップと、
前記関連付け関係、および前記車両が位置する画像車線に基づいて、前記車両が位置する実車線を決定するステップと、を含む。
ここで、画像車線とは、車線境界線画像における車線を指す。
車両が位置する画像車線の決定を実現するためには、前述した前記関連付け関係、および前記車両が位置する画像車線に基づいて、前記車両が位置する実車線を決定するステップの前に、前記方法は、
前記車線境界線画像の画像収集装置と前記車両との位置関係、および前記画像収集装置の校正結果に基づいて、前記車両の画像位置を決定するステップと、
前記車両の画像位置、および前記画像車線の画像領域に基づいて、前記車両が位置する画像車線を決定するステップと、をさらに含む。
ここで、車両の画像位置とは、車線境界線画像における車両の位置を指す。
具体的には、前記車線境界線画像の画像収集装置と前記車両との位置関係は、予め設定されてもよいし、両者の位置に応じて設定されてもよい。
画像車線の画像領域は、車線境界線画像から認識され得る。
本願の実施例の適用シナリオは、以下のように説明され得る。
典型的な適用シナリオは、図2に示す車線境界線画像201の画像収集装置202が車両に設置されることである。車線情報に基づいて、車線境界線画像201における画像車線を既存の情報203における実車線とマッチングして、画像車線と実車線との関連付け関係を確立する。確立された関連付け関係、および前記車両が位置する画像車線に基づいて、車両が位置する実車線を決定する。このシナリオの利点は、リアルタイムで収集された車線境界線画像に基づいて、車両が位置する車線をリアルタイムで決定できることである。
任意の適用シナリオは、図3に示す車線境界線画像301の画像収集装置302が道路脇の固定物に設置されることである。このシナリオのマッチングロジックは、上記適用シナリオと同様である。このシナリオの利点は、本適用シナリオにおける画像収集装置が通常、違反行為が発生し得る道路セグメントに設定されるため、このシナリオで決定された、車両が位置する車線が、ユーザナビゲーションに重要な案内機能を発揮することである。また、車両が位置する道路をリアルタイムで決定する必要がないため、計算量を低減する。
本願の実施例は、画像車線情報および実車線情報に基づいて車両が位置する実車線を決定する。画像車線情報が車線境界線画像に基づいて決定でき、実車線情報が既存の車線情報から取得できるので、本願の実施例は、センサを敷設して未使用範囲の高精度地図を決定する必要がない。従って、本願の実施例は、車両が位置する車線を決定するためのコストを削減し、さらに適用範囲を拡大することができる。
第二実施例
図4は、本願の第二実施例に係る、車両が位置する車線を決定する方法を示すフローチャートである。本実施例は、上記実施例に基づくS110の展開例である。図4を参照すると、本願の実施例に係る、車両が位置する車線を決定する方法は、以下を含む。
S210、車線境界線画像を認識し、認識された車線境界線情報に基づいて画像車線情報を決定する。
任意選択的に、車線境界線画像を認識する方法は、任意の画像認識方法であってもよい。
具体的には、車線境界線情報は、車線境界線の幅、車線境界線の色、車線境界線の虚実、および車線内の案内矢印のうちの少なくとも1つを含む。
具体的には、認識された車線境界線情報に基づいて画像車線情報を決定するステップは、
前記車線境界線情報に基づいて、前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つを決定するステップと、
前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つを画像車線情報として決定するステップと、を含む。
典型的には、前述した認識された車線境界線情報に基づいて前記画像車線情報を決定するステップは、
認識された車線境界線情報に基づいて、車線境界線からなる画像車線の車線種類を決定するステップと、
決定された車線種類を前記画像車線情報として決定するステップと、を含む。
この技術的特徴に基づいて、本願の実施例は、車線種類を決定し、決定された車線種類を画像車線情報として決定する。車線種類は、車線を他の車線情報より正確に認識でき、データ占有量が少ない。従って、他の車線情報を使用して車両が位置する実車線を決定する場合と比べて、本願の実施例は、車線決定精度を向上させ、データ計算量を低減することができる。
車両が位置する実車線の精度を向上させるために、前述した認識された車線境界線情報に基づいて、車線境界線からなる画像車線の車線種類を決定するステップは、
前記車線境界線情報に基づいて、前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つを決定するステップと、
前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つに基づいて、前記画像車線の車線種類を決定するステップと、を含む。
具体的には、前記車線種類は、左側車線、右側車線、バス車線、および目標走行方向車線のうちの少なくとも1つを含む。
走行位置に基づいて、前記画像車線の車線種類を決定するステップは、
前記走行位置が道路の最左側である場合、車線種類を左側車線として決定するステップと、
前記走行位置が道路の最右側である場合、車線種類を右側車線として決定するステップと、を含む。
走行方向に基づいて、前記画像車線の車線種類を決定するステップは、
走行方向が左折走行することである場合、車線種類を左折車線として決定するステップと、
走行方向が右折走行することである場合、車線種類を右折車線として決定するステップと、
走行方向が直進することである場合、車線種類を直進車線として決定するステップと、を含む。
走行車両の種類に基づいて、前記画像車線の車線種類を決定するステップは、
走行車両の種類がバスである場合、車線種類をバス車線として決定するステップを含む。
S220、車両位置に基づいて既存の車線情報から前記車両位置の実車線情報を取得する。
S230、前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定する。
本願の実施例は、認識された車線境界線情報に基づいて画像車線情報を決定する。車線境界線情報と車線情報との間に固有の関連付け関係がある。従って、車線境界線画像から車線情報を直接検出する場合と比べて、本願の実施例は、車線境界線情報に基づいて、車線情報のさらなるマイニングを実現することにより、マイニングされた車線情報に基づいて車両が位置する車線の正確な決定を実現することができる。
第三実施例
図5は、本願の第三実施例に係る、車両が位置する車線を決定する方法を示すフローチャートである。本実施例は、上記実施例に基づいて提供された任意の実施例である。図5を参照すると、本願の実施例に係る、車両が位置する車線を決定する方法は、以下を含む。
S310、車線境界線画像に基づいて車両位置の画像車線情報を決定する。
S320、前記車両の位置決め情報に基づいて既存の車線情報から前記車両位置の実車線情報を取得する。
S330、前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定する。
S340、前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正する。
具体的には、前記車線境界線画像から認識された車線情報を使用して、前記既存の車線情報を補正するステップは、
前記車線境界線画像から認識された車線位置以外の情報を使用して、前記既存の車線情報を補正するステップを含む。
既存の車線情報における車線位置の補正を実現するために、前述した前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するステップは、
前記車線境界線画像の画像収集装置の校正結果に基づいて、前記車両が位置する実車線と前記画像収集装置との相対位置関係を決定するステップと、
決定された相対位置関係、および前記画像収集装置の実位置に基づいて、前記車両が位置する実車線の新規位置を決定するステップと、
決定された新規位置を使用して、前記既存の車線情報における前記車両が位置する実車線の原位置を補正するステップと、を含む。
画像収集装置の実位置の決定を実現するために、前述した決定された相対位置関係、および前記画像収集装置の実位置に基づいて、前記車両が位置する実車線の新規位置を決定するステップの前に、前記方法は、
前記画像収集装置が車載画像収集装置である場合、前記車両の位置情報に基づいて前記画像収集装置の実位置を決定するステップをさらに含む。
既存の車線情報の補正精度を向上させるために、前述した前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するステップは、
前記車両が位置する実車線の画像車線情報の情報量が所定量の閾値よりも大きい場合、前記車両が位置する実車線の画像車線情報をクラスタリングするステップと、
クラスタリング結果に基づいて、前記車両が位置する実車線の画像車線情報から目標車線情報を決定するステップと、
前記目標車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するステップと、を含む。
ここで、所定量の閾値は2よりも大きく、特定の所定量の閾値の値は実際のニーズに応じて決定され得る。
具体的には、クラスタリング結果に基づいて、前記車両が位置する実車線の画像車線情報から目標車線情報を決定するステップは、
クラスタリングによって得られたクラスタに対して画像車線情報の統計を実行するステップと、
統計数が最も多いクラスタを目標クラスタとして決定するステップと、
目標クラスタにおける画像車線情報に基づいて目標車線情報を決定するステップと、を含む。
任意選択的に、目標クラスタにおける画像車線情報に基づいて目標車線情報を決定するステップは、
目標クラスタにおける目標車線情報の平均値を計算するステップと、
計算された平均値を目標車線情報として決定するステップ、または
目標クラスタの中央にある画像車線情報を目標車線情報として決定するステップと、を含む。
第四実施例
図6は、本願の第四実施例に係る、車両が位置する車線を決定する方法を示すフローチャートである。本実施例は、画像収集装置を車載リアビューカメラとして使用して一般的な地図から既存の車線情報を取得することを例として、上記実施例に基づいて提供された任意の実施例である。図6を参照すると、本願の実施例に係る、車両が位置する車線を決定する方法は、
リアビューカメラにより路面上の車線境界線を収集するステップと、
車線境界線画像を認識し、車線境界線の属性情報を取得するステップと、
車線境界線の属性情報に基づいて車線種類を決定するステップと、
車線種類に基づいて、車線境界線画像における車線を、車両の位置決め用の緯度経度および走行方向に基づいて取得され得る、一般的な地図における車両が位置する車線と関連付けるステップと、
関連付け関係に基づいて、車両が位置する車線を決定するステップと、を含む。
具体的には、車線種類に基づいて、車線境界線画像における車線を一般的な地図における車両が位置する道路上の車線と関連付けるステップは、
左側車線、右側車線、バス車線、および目標走行方向車線のうちの少なくとも1つに基づいて、車線境界線画像における車線を一般的な地図における車両が位置する道路上の車線と関連付けるステップを含む。
関連付けに失敗した場合、
カメラの校正結果に基づいて、車線境界線画像における車線とカメラとの相対位置関係を決定するステップと、
前記相対位置関係と、車両の位置情報に基づいて決定されたカメラの位置とに基づいて、車線位置を決定するステップと、
決定された車線位置と、車線位置以外の情報を指す前記車線の他の情報とを記憶するステップと、
目標位置の車線情報を補正する要求に応じて、記憶された目標位置の少なくとも2つの車線位置をクラスタリングし、クラスタリング結果に基づいて目標位置の車線を位置決めして他の情報を補正するステップと、を実行する。
本実施例は、
様々な車線情報を組み合わせてナビゲーション情報に基づいて車線を位置決めすることにより、大部分の運転シナリオに低コストで適用することができるという効果と、
車線認識結果に基づいて既存の車線情報を補正することができるという効果と、
カメラの校正結果および組み合わせ/位置決め結果に基づいて高精度の車線情報を取得することができるという効果と、を実現することができる。
第五実施例
図7は、本願の第五実施例に係る、車両が位置する車線を決定する装置を示す構造概略図である。図7を参照すると、本願の実施例は、車両が位置する車線を決定する装置700をさらに提供し、この装置700は、情報決定モジュール701、情報取得モジュール702、および車線決定モジュール703を含む。
ここで、情報決定モジュール701は、車線境界線画像に基づいて車両位置の画像車線情報を決定するために使用される。
情報取得モジュール702は、前記車両の位置決め情報に基づいて既存の車線情報から前記車両位置の実車線情報を取得するために使用される。
車線決定モジュール703は、前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定するために使用される。
本願の実施例は、画像車線情報および実車線情報に基づいて車両が位置する実車線を決定する。画像車線情報が車線境界線画像に基づいて決定でき、実車線情報が既存の車線情報から取得できるので、本願の実施例は、センサを敷設して未使用範囲の高精度地図を決定する必要がない。従って、本願の実施例は、車両が位置する車線を決定するためのコストを削減し、さらに適用範囲を拡大することができる。
さらに、前記情報決定モジュールは、
前記車線境界線画像を認識するために使用される画像認識ユニットと、
認識された車線境界線情報に基づいて前記画像車線情報を決定するために使用される情報決定ユニットと、を含む。
さらに、前記情報決定ユニットは、
認識された車線境界線情報に基づいて、車線境界線からなる画像車線の車線種類を決定するために使用される車線種類決定サブユニットと、
決定された車線種類を前記画像車線情報として決定するために使用される車線情報決定サブユニットと、を含む。
さらに、前記車線種類決定サブユニットは具体的に、
前記車線境界線情報に基づいて、前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つを決定するステップと、
前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つに基づいて、前記画像車線の車線種類を決定するステップと、を実行するために使用される。
さらに、前記情報取得モジュールは、
前記位置決め情報における位置決め用の緯度経度に基づいて、前記車両が位置する道路の位置を決定するために使用される道路位置決定ユニットと、
前記位置決め情報における進行方向角度に基づいて、前記車両の走行方向を決定するために使用される走行方向決定ユニットと、
前記車両が位置する道路の位置、および前記車両の走行方向に基づいて、既存の車線情報から前記車両位置の実車線情報を取得するために使用される車線情報取得ユニットと、を含む。
さらに、前記車線決定モジュールは、
前記画像車線情報を前記実車線情報とマッチングするために使用される情報マッチングユニットと、
マッチング結果に基づいて、前記車線境界線画像に関連付けられた画像車線と前記既存の車線情報に関連付けられた実車線との関連付け関係を確立するために使用される関係確立ユニットと、
前記関連付け関係、および前記車両が位置する画像車線に基づいて、前記車両が位置する実車線を決定するために使用される車線決定ユニットと、を含む。
さらに、前記装置は、
前述した前記関連付け関係、および前記車両が位置する画像車線に基づいて、前記車両が位置する実車線を決定するステップの前に、前記車線境界線画像の画像収集装置と前記車両との位置関係、および前記画像収集装置の校正結果に基づいて、前記車両の画像位置を決定するために使用される位置決定モジュールと、
前記車両の画像位置、および前記画像車線の画像領域に基づいて、前記車両が位置する画像車線を決定するために使用される車線決定モジュールと、をさらに含む。
さらに、前記装置は、
前述した前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定するステップの後に、前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するために使用される情報補正モジュールをさらに含む。
さらに、前記情報補正モジュールは、
前記車線境界線画像の画像収集装置の校正結果に基づいて、前記車両が位置する実車線と前記画像収集装置との相対位置関係を決定するために使用される位置関係決定ユニットと、
決定された相対位置関係、および前記画像収集装置の実位置に基づいて、前記車両が位置する実車線の新規位置を決定するために使用される新規位置決定ユニットと、
決定された新規位置を使用して、前記既存の車線情報における前記車両が位置する実車線の原位置を補正するために使用される位置補正ユニットと、を含む。
さらに、前記装置は、
前述した決定された相対位置関係、および前記画像収集装置の実位置に基づいて、前記車両が位置する実車線の新規位置を決定するステップの前に、前記画像収集装置が車載画像収集装置である場合、前記車両の位置情報に基づいて前記画像収集装置の実位置を決定するために使用される位置決定モジュールをさらに含む。
さらに、前記情報補正モジュールは、
前記車両が位置する実車線の画像車線情報の情報量が所定量の閾値よりも大きい場合、前記車両が位置する実車線の画像車線情報をクラスタリングするために使用されるクラスタリングユニットと、
クラスタリング結果に基づいて、前記車両が位置する実車線の画像車線情報から目標車線情報を決定するために使用される情報決定ユニットと、
前記目標車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するために使用される情報補正ユニットと、を含む。
第六実施例
本願の実施例によれば、本願は、電子機器および可読記憶媒体をさらに提供する。
図8は、本願の実施例に係る、車両が位置する車線を決定する方法を実施するための電子機器を示すブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、およびその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを示すことを意図する。電子機器は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、およびその他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを示すこともできる。本明細書に示されるコンポーネント、それらの接続と関係、およびそれらの機能は単なる例であり、本明細書に説明および/または要求される本願の実施を制限することを意図したものではない。
図8に示すように、この電子機器は、1つまたは複数のプロセッサ801と、メモリ802と、高速インターフェースおよび低速インターフェースを含む、様々なコンポーネントを接続するために使用されるインターフェースとを含む。様々なコンポーネントは、異なるバスを介して互いに接続されており、パブリックマザーボードに取り付けられてもよいし、必要に応じて他の方法で取り付けられてもよい。プロセッサは、GUIのグラフィック情報が外部入力/出力装置(例えば、インターフェースに結合された表示装置)に表示されるようにメモリ内またはメモリ上に記憶される命令を含む、電子機器で実行された命令を処理することができる。他の実施形態では、複数のプロセッサおよび/または複数本のバスは、必要に応じて、複数のメモリとともに使用され得る。同様に、それは、(例えば、サーバアレイ、ブレードサーバ群、またはマルチプロセッサシステムとして)いくつかの必要な操作を提供する複数の電子機器に接続され得る。図8には、プロセッサ801が例として挙げられる。
メモリ802は、本願に係る非一時的コンピュータ可読記憶媒体である。ここで、前記メモリには、前記少なくとも1つのプロセッサが、本願に係る車両が位置する車線を決定する方法を実行できるように、少なくとも1つのプロセッサによって実行され得る命令が記憶されている。本願の非一時的コンピュータ可読記憶媒体には、本願に係る車両が位置する車線を決定する方法をコンピュータに実行させるために使用されるコンピュータ命令が記憶されている。
非一時的コンピュータ可読記憶媒体として、メモリ802は、非一時的ソフトウェアプログラムと、非一時的コンピュータ実行可能プログラムと、本願の実施例における車両が位置する車線を決定する方法に対応するプログラム命令/モジュール(例えば、図7に示す情報決定モジュール701、情報取得モジュール702、および車線決定モジュール703)などのモジュールとを記憶するために使用され得る。プロセッサ801は、メモリ802に記憶された非一時的ソフトウェアプログラム、命令、およびモジュールを実行することにより、サーバの様々な機能アプリケーションおよびデータ処理を実行する、即ち、上記方法の実施例における車両が位置する車線を決定する方法を実施する。
メモリ802は、オペレーティングシステムおよび少なくとも1つの機能に必要なアプリケーションプログラムを記憶することができるプログラム記憶領域と、車両が位置する車線を決定する電子機器によって作成されたデータなどを記憶することができるデータ記憶領域とを含み得る。さらに、メモリ802は、高速ランダムアクセスメモリを含み得、少なくとも1つの磁気ディスクメモリ、フラッシュメモリ、または他の非一時的ソリッドステートメモリなどの非一時的メモリをさらに含み得る。いくつかの実施例では、メモリ802は、任意選択で、プロセッサ801に対して遠隔的に設定されたメモリを含み、これらの遠隔メモリは、ネットワークを介して車両が位置する車線を決定する電子機器に接続され得る。上記ネットワークの例には、インターネット、企業イントラネット、ブロックチェーンネットワーク、ローカルエリアネットワーク、モバイル通信ネットワーク、およびそれらの組み合わせが含まれるが、これらに限定されない。
車両が位置する車線を決定する方法の電子機器は、入力装置803および出力装置804をさらに含み得る。プロセッサ801、メモリ802、入力装置803、および出力装置804は、バスを介して、または他の方法で接続され得るが、図8にはバスによる接続が例として挙げられる。
入力装置803は、入力された数字または文字情報を受信し、車両が位置する車線を決定する電子機器のユーザ設定および機能制御に関連するキー信号入力を生成することができるものであって、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、1つまたは複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置804は、表示装置、補助照明装置(例えば、LED)、触覚フィードバック装置(例えば、振動モータ)などを含み得る。この表示装置は、液晶ディスプレイ(LDC)、発光ダイオード(LED)ディスプレイ、およびプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、表示装置は、タッチスクリーンであってもよい。
本明細書に記載のシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせで実装され得る。これらの様々な実施形態は、記憶システム、少なくとも1つの入力装置、および少なくとも1つの出力装置からデータおよび命令を受信したり、この記憶システム、この少なくとも1つの入力装置、およびこの少なくとも1つの出力装置にデータおよび命令を送信したりすることができる専用又は汎用のプログラマブルプロセッサであり得る少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行および/または解釈され得る1つまたは複数のコンピュータプログラムに実装されることを含み得る。
これらの計算プログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる)は、プログラマブルプロセッサの機械命令を含み、高水準手続き型またはオブジェクト指向型のプログラミング言語、および/またはアセンブリ/機械言語で実装され得る。本明細書で使用される「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受信するための機械可読媒体を含む、機械命令および/またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、および/または装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指す。「機械可読信号」という用語は、機械命令および/またはデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとの対話を提供するために、本明細書に記載のシステムおよび技術は、情報をユーザに表示するための表示装置(例えば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ)と、ユーザが入力をコンピュータに提供することを可能にするキーボードとポインティングデバイス(例えば、マウスまたはトラックボール)とを備えたコンピュータ上で実装され得る。他のタイプの装置は、ユーザとの対話を提供するためにも使用されており、例えば、任意の形態の感覚フィードバック(例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバック)をユーザに提供したり、任意の形態(音響入力、音声入力、触覚入力を含む形態)を利用してユーザからの入力を受信したりするために使用され得る。
本明細書に記載のシステムおよび技術は、バックエンドコンポーネント(例えば、データサーバ)を含むコンピュータシステム、またはミドルウェアコンポーネント(例えば、アプリケーションサーバ)を含むコンピュータシステム、またはフロントエンドコンポーネント(例えば、ユーザが本明細書に記載のシステムおよび技術の実施形態と対話することを可能にするグラフィカルユーザインターフェースまたはウェブブラウザを備えたユーザコンピュータ)を含むコンピュータシステム、または、このバックエンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントの任意の組み合わせを含むコンピュータシステムに実装され得る。システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体(例えば、通信ネットワーク)を介して互いに接続され得る。通信ネットワークの例には、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、およびブロックチェーンネットワークが含まれる。
コンピュータシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは通常、互いに遠く離れており、通信ネットワークを介して対話する。クライアントとサーバとの関係は、対応するコンピュータ上で実行された、クライアント-サーバの関係があるコンピュータプログラムによって生成される。
ステップの並べ替え、追加、または削除は、上記に示す様々な形態のプロセスによって実行され得ることを理解されたい。例えば、本願に記載の各ステップは、本願に開示された技術的解決手段の所望の結果が達成できる限り、並行して、順次、または異なる順序で実行され得るが、本明細書に限定されない。
上記特定の実施形態は、本願の保護範囲を限定するものではない。設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的組み合わせおよび置換を行うことができることは、当業者にとって明らかであろう。本願の精神と原則の範囲内で行われた修正、同等置換、改良などは、本願の保護範囲に含まれるべきである。

Claims (17)

  1. 車線境界線画像に基づいて車両位置の画像車線情報を決定するステップと、
    前記車両の位置決め情報に基づいて既存の車線情報から前記車両位置の実車線情報を取得するステップと、
    前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定するステップと、
    前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するステップと、を含み、
    前記補正するステップは、
    前記車両が位置する実車線の画像車線情報の情報量が所定量の閾値よりも大きい場合、前記車両が位置する実車線の画像車線情報をクラスタリングするステップと、
    クラスタリング結果に基づいて、前記車両が位置する実車線の画像車線情報から目標車線情報を決定するステップと、
    前記目標車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するステップと、を含み、
    前記目標車線情報を決定するステップは、
    クラスタリングによって得られたクラスタに対して画像車線情報の統計を実行するステップと、
    統計数が最も多いクラスタを目標クラスタとして決定するステップと、
    目標クラスタにおける画像車線情報に基づいて目標車線情報を決定するステップと、を含む、
    ことを特徴とする車両が位置する車線を決定する方法。
  2. 前述した車線境界線画像に基づいて車両位置の画像車線情報を決定するステップは、
    前記車線境界線画像を認識するステップと、
    認識された車線境界線情報に基づいて前記画像車線情報を決定するステップと、を含むことを特徴とする請求項1に記載の方法。
  3. 前述した認識された車線境界線情報に基づいて前記画像車線情報を決定するステップは、
    認識された車線境界線情報に基づいて、車線境界線からなる画像車線の車線種類を決定するステップと、
    決定された車線種類を前記画像車線情報として決定するステップと、を含むことを特徴とする請求項2に記載の方法。
  4. 前述した認識された車線境界線情報に基づいて、車線境界線からなる画像車線の車線種類を決定するステップは、
    前記車線境界線情報に基づいて、前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つを決定するステップと、
    前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つに基づいて、前記画像車線の車線種類を決定するステップと、を含むことを特徴とする請求項3に記載の方法。
  5. 前述した前記車両の位置決め情報に基づいて既存の車線情報から前記車両位置の実車線情報を取得するステップは、
    前記位置決め情報における位置決め用の緯度経度に基づいて、前記車両が位置する道路の位置を決定するステップと、
    前記位置決め情報における進行方向角度に基づいて、前記車両の走行方向を決定するステップと、
    前記車両が位置する道路の位置、および前記車両の走行方向に基づいて、既存の車線情報から前記車両位置の実車線情報を取得するステップと、を含むことを特徴とする請求項1~4のいずれか一項に記載の方法。
  6. 前述した前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定するステップは、
    前記画像車線情報を前記実車線情報とマッチングするステップと、
    マッチング結果に基づいて、前記車線境界線画像に関連付けられた画像車線と前記既存の車線情報に関連付けられた実車線との関連付け関係を確立するステップと、
    前記関連付け関係、および前記車両が位置する画像車線に基づいて、前記車両が位置する実車線を決定するステップと、を含むことを特徴とする請求項1~4のいずれか一項に記載の方法。
  7. 前述した前記関連付け関係、および前記車両が位置する画像車線に基づいて、前記車両が位置する実車線を決定するステップの前に、
    前記車線境界線画像の画像収集装置と前記車両との位置関係、および前記画像収集装置の校正結果に基づいて、前記車両の画像位置を決定するステップと、
    前記車両の画像位置、および前記画像車線の画像領域に基づいて、前記車両が位置する画像車線を決定するステップと、をさらに含むことを特徴とする請求項6に記載の方法。
  8. 前述した前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するステップは、
    前記車線境界線画像の画像収集装置の校正結果に基づいて、前記車両が位置する実車線と前記画像収集装置との相対位置関係を決定するステップと、
    決定された相対位置関係、および前記画像収集装置の実位置に基づいて、前記車両が位置する実車線の新規位置を決定するステップと、
    決定された新規位置を使用して、前記既存の車線情報における前記車両が位置する実車線の原位置を補正するステップと、を含むことを特徴とする請求項に記載の方法。
  9. 前述した決定された相対位置関係、および前記画像収集装置の実位置に基づいて、前記車両が位置する実車線の新規位置を決定するステップの前に、
    前記画像収集装置が車載画像収集装置である場合、前記車両の位置情報に基づいて前記画像収集装置の実位置を決定するステップをさらに含むことを特徴とする請求項に記載の方法。
  10. 車線境界線画像に基づいて車両位置の画像車線情報を決定するために使用される情報決定モジュールと、
    前記車両の位置決め情報に基づいて既存の車線情報から前記車両位置の実車線情報を取得するために使用される情報取得モジュールと、
    前記画像車線情報および前記実車線情報に基づいて前記車両が位置する実車線を決定するために使用される車線決定モジュールと、
    前記車両が位置する実車線の画像車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するために使用される情報補正モジュールと、を含み、
    前記情報補正モジュールは、
    前記車両が位置する実車線の画像車線情報の情報量が所定量の閾値よりも大きい場合、前記車両が位置する実車線の画像車線情報をクラスタリングし、
    クラスタリング結果に基づいて、前記車両が位置する実車線の画像車線情報から目標車線情報を決定し、
    前記目標車線情報を使用して、前記既存の車線情報における前記車両が位置する実車線の実車線情報を補正するように構成され、
    前記目標車線情報を決定することは、
    クラスタリングによって得られたクラスタに対して画像車線情報の統計を実行することと、
    統計数が最も多いクラスタを目標クラスタとして決定することと、
    目標クラスタにおける画像車線情報に基づいて目標車線情報を決定することと、を含む、
    ことを特徴とする車両が位置する車線を決定する装置。
  11. 前記情報決定モジュールは、
    前記車線境界線画像を認識するために使用される画像認識ユニットと、
    認識された車線境界線情報に基づいて前記画像車線情報を決定するために使用される情報決定ユニットと、を含むことを特徴とする請求項10に記載の装置。
  12. 前記情報決定ユニットは、
    認識された車線境界線情報に基づいて、車線境界線からなる画像車線の車線種類を決定するために使用される車線種類決定サブユニットと、
    決定された車線種類を前記画像車線情報として決定するために使用される車線情報決定サブユニットと、を含むことを特徴とする請求項11に記載の装置。
  13. 前記車線種類決定サブユニットはさらに、
    前記車線境界線情報に基づいて、前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つを決定するステップと、
    前記画像車線の走行方向、走行車両の種類、および走行位置のうちの少なくとも1つに基づいて、前記画像車線の車線種類を決定するステップと、を実行するために使用されることを特徴とする請求項12に記載の装置。
  14. 前記車線決定モジュールは、
    前記画像車線情報を前記実車線情報とマッチングするために使用される情報マッチングユニットと、
    マッチング結果に基づいて、前記車線境界線画像に関連付けられた画像車線と前記既存の車線情報に関連付けられた実車線との関連付け関係を確立するために使用される関係確立ユニットと、
    前記関連付け関係、および前記車両が位置する画像車線に基づいて、前記車両が位置する実車線を決定するために使用される車線決定ユニットと、を含むことを特徴とする請求項1013のいずれか一項に記載の装置。
  15. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信可能に接続されたメモリと、を含み、
    前記メモリには、前記少なくとも1つのプロセッサが請求項1~のいずれか一項に記載の方法を実行できるように前記少なくとも1つのプロセッサによって実行される、前記少なくとも1つのプロセッサによって実行可能な命令が記憶されていることを特徴とする電子機器。
  16. コンピュータ命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令が、請求項1~のいずれか一項に記載の方法を前記コンピュータに実行させることを特徴とする非一時的コンピュータ可読記憶媒体。
  17. コンピュータプログラムであって、
    前記コンピュータプログラムが、プロセッサにより実行されると、請求項1~のいずれか一項に記載の方法を前記コンピュータに実行させることを特徴とするコンピュータプログラム。
JP2020205106A 2020-04-23 2020-12-10 車両が位置する車線を決定する方法、装置、機器、および記憶媒体 Active JP7263308B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010327968.0 2020-04-23
CN202010327968.0A CN111523471B (zh) 2020-04-23 2020-04-23 车辆所在车道的确定方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
JP2021173745A JP2021173745A (ja) 2021-11-01
JP7263308B2 true JP7263308B2 (ja) 2023-04-24

Family

ID=71902993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020205106A Active JP7263308B2 (ja) 2020-04-23 2020-12-10 車両が位置する車線を決定する方法、装置、機器、および記憶媒体

Country Status (4)

Country Link
US (1) US11867513B2 (ja)
EP (1) EP3901581A3 (ja)
JP (1) JP7263308B2 (ja)
CN (1) CN111523471B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541437A (zh) * 2020-12-15 2021-03-23 北京百度网讯科技有限公司 车辆定位方法、装置、电子设备及存储介质
CN112733778B (zh) * 2021-01-18 2021-08-10 国汽智控(北京)科技有限公司 一种车辆前导车确定方法、装置及计算机设备
CN112749680A (zh) * 2021-01-25 2021-05-04 蔚来汽车科技(安徽)有限公司 用于构建道路模型的方法和设备
US11379817B1 (en) * 2021-01-26 2022-07-05 Ford Global Technologies, Llc Smart toll application determining for various toll applications using V2X communications
US11676426B2 (en) * 2021-03-19 2023-06-13 Ford Global Technologies, Llc Toll advertisement message road topologies

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005214883A (ja) 2004-01-30 2005-08-11 Denso Corp カーナビゲーション装置
JP2007004669A (ja) 2005-06-27 2007-01-11 Honda Motor Co Ltd 車両及び車線認識装置

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3357749B2 (ja) * 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
US7295925B2 (en) * 1997-10-22 2007-11-13 Intelligent Technologies International, Inc. Accident avoidance systems and methods
JP3435623B2 (ja) * 1996-05-15 2003-08-11 株式会社日立製作所 交通流監視装置
JP2006208223A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
JP3885818B2 (ja) * 2005-05-27 2007-02-28 トヨタ自動車株式会社 車両逸脱判定装置
JP4365350B2 (ja) * 2005-06-27 2009-11-18 本田技研工業株式会社 車両及び車線認識装置
JP4506790B2 (ja) * 2007-07-05 2010-07-21 アイシン・エィ・ダブリュ株式会社 道路情報生成装置、道路情報生成方法および道路情報生成プログラム
JP4446204B2 (ja) * 2007-10-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 車両用ナビゲーション装置及び車両用ナビゲーションプログラム
JP4905840B2 (ja) * 2008-02-28 2012-03-28 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びナビゲーションプログラム
US8325800B2 (en) * 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
US8704653B2 (en) * 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
JP5389002B2 (ja) * 2010-12-07 2014-01-15 日立オートモティブシステムズ株式会社 走行環境認識装置
JP6049542B2 (ja) * 2013-05-31 2016-12-21 日立オートモティブシステムズ株式会社 車両制御システム
JP6049541B2 (ja) * 2013-05-31 2016-12-21 日立オートモティブシステムズ株式会社 車両制御システム
JP6183799B2 (ja) * 2013-06-14 2017-08-23 日立オートモティブシステムズ株式会社 車両制御システム
US20160216521A1 (en) * 2013-10-22 2016-07-28 Nippon Seiki Co., Ltd. Vehicle information projection system and projection device
JP6516089B2 (ja) * 2014-12-17 2019-05-22 日本精機株式会社 車両情報投影システム及び車両情報投影方法
KR102622571B1 (ko) * 2015-02-10 2024-01-09 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术(北京)有限公司 一种车道线数据的处理方法及装置
WO2017056249A1 (ja) * 2015-09-30 2017-04-06 日産自動車株式会社 走行制御方法および走行制御装置
US9494438B1 (en) * 2015-12-15 2016-11-15 Honda Motor Co., Ltd. System and method for verifying map data for a vehicle
JP2017161501A (ja) * 2016-03-07 2017-09-14 株式会社デンソー 走行位置検出装置、走行位置検出方法
CN106052705A (zh) * 2016-05-31 2016-10-26 惠州华阳通用电子有限公司 一种车载综合导航方法及装置
US20190271550A1 (en) 2016-07-21 2019-09-05 Intelligent Technologies International, Inc. System and Method for Creating, Updating, and Using Maps Generated by Probe Vehicles
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US10558222B2 (en) * 2016-07-21 2020-02-11 Mobileye Vision Technologies Ltd. Navigating a vehicle using a crowdsourced sparse map
JP6515898B2 (ja) * 2016-09-29 2019-05-22 トヨタ自動車株式会社 物標レーン関係認識装置
KR102466737B1 (ko) * 2016-11-26 2022-11-14 팅크웨어(주) 경로 안내를 위한 장치, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP6575492B2 (ja) * 2016-11-29 2019-09-18 トヨタ自動車株式会社 自動運転システム
CN108303103B (zh) * 2017-02-07 2020-02-07 腾讯科技(深圳)有限公司 目标车道的确定方法和装置
US10279807B2 (en) * 2017-02-17 2019-05-07 GM Global Technology Operations LLC System and method for predicting a possible lane departure when driving a vehicle autonomously or semi-autonomously, and for taking a remedial action to prevent a lane departure
KR20180106417A (ko) * 2017-03-20 2018-10-01 현대자동차주식회사 차량의 위치 인식 시스템 및 방법
US11193782B2 (en) * 2017-03-27 2021-12-07 Mitsubishi Electric Corporation Vehicle position estimation apparatus
WO2019049308A1 (ja) * 2017-09-08 2019-03-14 三菱電機株式会社 運転支援装置および運転支援方法
KR102300836B1 (ko) * 2017-09-12 2021-09-13 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
KR101969030B1 (ko) * 2017-09-13 2019-04-16 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
JP7053211B2 (ja) * 2017-10-04 2022-04-12 株式会社Soken 運転支援装置
JP2019075008A (ja) * 2017-10-18 2019-05-16 トヨタ自動車株式会社 車両制御装置
CN108229438A (zh) * 2018-02-05 2018-06-29 海信集团有限公司 车道线检测方法、装置、终端和存储介质
EP3832261A1 (en) * 2018-04-03 2021-06-09 Mobileye Vision Technologies Ltd. Systems and methods for determining navigational parameters
CN111937055A (zh) * 2018-04-05 2020-11-13 三菱电机株式会社 驾驶辅助装置
KR102420476B1 (ko) * 2018-05-25 2022-07-13 에스케이텔레콤 주식회사 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2020012208A1 (ja) * 2018-07-11 2020-01-16 日産自動車株式会社 走行環境情報の生成方法、運転制御方法、走行環境情報生成装置
CN112400193B (zh) * 2018-07-11 2023-11-14 日产自动车株式会社 行驶环境信息的生成方法、驾驶控制方法、行驶环境信息生成装置
US11830364B2 (en) * 2018-09-11 2023-11-28 Nissan Motor Co., Ltd. Driving assist method and driving assist device
KR20200046167A (ko) * 2018-10-17 2020-05-07 주식회사 만도 가상 차량 경계를 결정하는 제어방법 및 그 제어방법을 제공하는 차량
WO2020163311A1 (en) * 2019-02-04 2020-08-13 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
CN109931939B (zh) * 2019-02-27 2020-11-03 杭州飞步科技有限公司 车辆的定位方法、装置、设备及计算机可读存储介质
CN113538919B (zh) * 2019-03-11 2022-10-28 百度在线网络技术(北京)有限公司 车道偏离识别方法、装置、设备和存储介质
CN110687562B (zh) * 2019-09-12 2022-08-19 华为技术有限公司 一种定位方法及车载装置
CN110556012B (zh) * 2019-09-16 2022-03-08 北京百度网讯科技有限公司 车道定位方法及车辆定位系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005214883A (ja) 2004-01-30 2005-08-11 Denso Corp カーナビゲーション装置
JP2007004669A (ja) 2005-06-27 2007-01-11 Honda Motor Co Ltd 車両及び車線認識装置

Also Published As

Publication number Publication date
US11867513B2 (en) 2024-01-09
JP2021173745A (ja) 2021-11-01
US20210334552A1 (en) 2021-10-28
CN111523471A (zh) 2020-08-11
EP3901581A3 (en) 2022-01-05
EP3901581A2 (en) 2021-10-27
CN111523471B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
JP7263308B2 (ja) 車両が位置する車線を決定する方法、装置、機器、および記憶媒体
JP7262545B2 (ja) 車両位置の判定方法、車両位置の判定装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
JP7314213B2 (ja) 車両測位方法、装置、電子デバイス、記憶媒体及びプログラム
US20220051032A1 (en) Road event detection method, apparatus, device and storage medium
JP7287999B2 (ja) 測位方法及び装置、自動運転車両、電子機器、並びに記憶媒体
JP2021119507A (ja) 車線の決定方法、車線測位精度の評価方法、車線の決定装置、車線測位精度の評価装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム
US11703332B2 (en) Vehicle positioning method, apparatus, electronic device, vehicle and storage medium
KR102564430B1 (ko) 차량의 제어 방법, 장치 및 차량
KR20210074245A (ko) 지도 품질의 검출 처리 방법, 장치, 전자기기 및 저장매체
US11447153B2 (en) Method and apparatus for annotating virtual lane at crossing
US11953605B2 (en) Method, device, equipment, and storage medium for determining sensor solution
US11380035B2 (en) Method and apparatus for generating map
CN111652112B (zh) 一种车道流向的识别方法、装置、电子设备及存储介质
CN111721305B (zh) 定位方法和装置、自动驾驶车辆、电子设备和存储介质
CN111540010B (zh) 一种道路监测的方法、装置、电子设备及存储介质
CN112577524A (zh) 信息校正方法和装置
US20220003566A1 (en) Vehicle position determining method, apparatus and electronic device
JP2022172481A (ja) 車両測位方法及び装置、車両、記憶媒体並びにコンピュータプログラム
WO2022183674A1 (zh) 导航提示方法和导航提示装置、存储介质以及电子设备
CN112729187B (zh) 用于生成车辆长度信息的方法、装置、路侧设备和云控平台

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210707

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220928

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230412

R150 Certificate of patent or registration of utility model

Ref document number: 7263308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150