JP7233575B2 - 地図生成システム、地図生成方法及び地図生成プログラム - Google Patents

地図生成システム、地図生成方法及び地図生成プログラム Download PDF

Info

Publication number
JP7233575B2
JP7233575B2 JP2022005008A JP2022005008A JP7233575B2 JP 7233575 B2 JP7233575 B2 JP 7233575B2 JP 2022005008 A JP2022005008 A JP 2022005008A JP 2022005008 A JP2022005008 A JP 2022005008A JP 7233575 B2 JP7233575 B2 JP 7233575B2
Authority
JP
Japan
Prior art keywords
information
unit
point data
linearization
candidate point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022005008A
Other languages
English (en)
Other versions
JP2022051770A (ja
Inventor
由華子 ▲高▼橋
卓磨 角谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2022051770A publication Critical patent/JP2022051770A/ja
Application granted granted Critical
Publication of JP7233575B2 publication Critical patent/JP7233575B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • G01C21/3819Road shape data, e.g. outline of a route
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/003Simulators for teaching or training purposes for military purposes and tactics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Description

この発明は、計測装置によって得られた車道の周辺の計測情報に基づき、車道の区画線と路肩縁といった情報を生成する技術に関する。
近年、自動走行車の開発が進められている。自動走行の実現には、自動走行車に取り付けられるカメラとレーザレーダといった様々なセンサに加え、高精度な地図情報が必要とされる。高精度な地図情報の生成方法としては、MMS(モービルマッピングシステム)と呼ばれる計測車両を走行させることにより、道路面と道路脇の設備といった地物の3次元点群情報を取得し、3次元点群情報を基に地図情報を生成することが考えられている。
ここで、3次元点群情報を基に地図情報を生成する図化処理は、例えば、3次元点群情報から、道路上の区画線や道路の路肩縁を表す線といった、地図情報として必要な境界の位置を示す線を生成する処理である。この線を表す情報を線形化情報と呼ぶ。
特許文献1には、道路の撮影画像を真上から見た状態の正射画像を生成し、2次元画像から道路標識を認識することが示されている。特許文献2には、道路の複数の静止画像から地物の線形化情報を生成し、異なる画像の比較から線形化情報のずれを検出することが示されている。
特開2009-223221号公報 特開2018-73208号公報
特許文献1,2に示された方法は、複数の画像を比較し合成して線形化情報を生成するため、画像の比較及び合成処理が煩雑化する。そのため、線形化情報の誤り部分の自動検出が困難であり、線形化情報の誤り部分を人手で見つけて誤り訂正処理を行う必要がある。しかし、誤り部分を人手で見つける作業は、非常に手間がかかる。
この発明は、線形化情報の人手による誤り訂正を効率的に行えるようにすることを目的とする。
この発明に係る地図生成システムは、
計測装置によって得られた計測情報であって、車道の周辺の地物の位置を表す複数の点データである点群データを含む計測情報に基づき、前記点群データに含まれる点データをノードとして選択し、選択したノードをリンクにより接続することにより、前記車道の区画線と路肩縁との少なくともいずれかを表す線形化情報を生成する図化部と、
前記図化部によって生成された前記線形化情報を構成する部分情報毎に、前記部分情報の信頼度を示す評価値を計算する評価部と、
前記線形化情報を示す前記ノード及び前記リンクと、前記点群データとを重畳させて表示する表示部であって、前記評価部によって計算された前記評価値が示す前記信頼度が閾値よりも低い前記部分情報を、他の前記部分情報と異なる表示態様で表示する表示部と
を備える。
この発明では、評価値に応じて異なる表示態様で線形化情報の部分情報を表示する。これにより、線形化情報のうち誤りである可能性が高い部分を容易に特定可能である。そのため、線形化情報の人手による誤り訂正を効率的に行うことが可能である。
実施の形態1に係る地図生成システム1の構成図。 実施の形態1に係る地図生成装置10の構成図。 実施の形態1に係る評価部113の構成図。 実施の形態1に係る地図編集装置20の構成図。 実施の形態1に係る地図生成システム1の全体的な処理のフローチャート。 実施の形態1に係る図化処理のフローチャート。 実施の形態1に係る区画線を表す点データを特定する処理の説明図。 実施の形態1に係る区画線を表す点データを特定する処理の説明図。 実施の形態1に係る路肩縁を表す点データを特定する処理の説明図。 実施の形態1に係る路肩縁を表す点データを特定する処理の説明図。 実施の形態1に係るグループ分け処理の説明図。 実施の形態1に係る候補点データを除外する処理の説明図。 実施の形態1に係るグループ間を接続する処理の説明図。 実施の形態1に係るグループ間を接続する処理の説明図。 実施の形態1に係る補正1の説明図。 実施の形態1に係る補正2の説明図。 実施の形態1に係る補正3の説明図。 実施の形態1に係る線形化情報が区画線を表す場合の評価処理のフローチャート。 実施の形態1に係る平行性評価部82の処理の説明図。 実施の形態1に係る線形化情報が路肩縁を表す場合の評価処理のフローチャート。 実施の形態1に係る表示処理のフローチャート。 実施の形態1に係る線形化情報表示処理の説明図。 実施の形態1に係る編集処理のフローチャート。 実施の形態1に係る表示部211の処理の説明図。 実施の形態1に係るノードの位置を移動する処理の説明図。 実施の形態1に係る新たなリンクを追加する処理の説明図。 実施の形態1に係る新たなリンクを追加する処理の説明図。 変形例2に係る地図生成装置10の構成図。 変形例2に係る地図編集装置20の構成図。 実施の形態2に係る地図編集装置20の構成図。 実施の形態2に係る同じグループに属する部分情報を連続的に表示させるときの画面の遷移例を示す図。 実施の形態2に係る同じグループに属する部分情報を連続的に表示させるときの画面の遷移例を示す図。 実施の形態3に係る地図生成装置10の構成図。 実施の形態3に係る評価関数学習部117が学習に用いるデータの例を示す図。 実施の形態3に係る学習後の総合的な評価値の例を示す図。
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る地図生成システム1の構成を説明する。
地図生成システム1は、地図生成装置10と、地図編集装置20と、計測情報記憶装置30と、一次地図記憶装置40と、二次地図記憶装置50とを備える。
地図生成装置10は、計測情報記憶装置30及び一次地図記憶装置40と伝送路60を
介して接続される。地図編集装置20は、一次地図記憶装置40及び二次地図記憶装置50と伝送路70を介して接続される。
図1では、地図生成装置10と地図編集装置20とは別の装置として構成された。しかし、地図生成装置10と地図編集装置20とは1つの装置として構成されてもよい。
図2を参照して、実施の形態1に係る地図生成装置10の構成を説明する。
地図生成装置10は、コンピュータである。
地図生成装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
地図生成装置10は、機能構成要素として、計測情報取得部111と、図化部112と、評価部113とを備える。図化部112は、候補点抽出部114と、候補点接続部115と、補正部116とを備える。地図生成装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、地図生成装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、地図生成装置10の各機能構成要素の機能が実現される。
図3を参照して、実施の形態1に係る評価部113の構成を説明する。
評価部113は、区画線評価部113aと、路肩縁評価部113bとを備える。
区画線評価部113aは、反射強度変化量評価部81と、平行性評価部82と、関数近似誤差量評価部83と、計測条件評価部84とを備える。
路肩縁評価部113bは、高さ変化評価部91と、平行性評価部92と、関数近似誤差量評価部93と、計測条件評価部94とを備える。
図4を参照して、実施の形態1に係る地図編集装置20の構成を説明する。
地図編集装置20は、コンピュータである。
地図編集装置20は、プロセッサ21と、メモリ22と、ストレージ23と、通信インタフェース24とのハードウェアを備える。プロセッサ21は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
地図編集装置20は、通信インタフェース24を介して、入力装置25及び表示装置26と接続されている。
地図編集装置20は、機能構成要素として、表示部211と、編集部212とを備える。地図編集装置20の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ23には、地図編集装置20の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ21によりメモリ22に読み込まれ、プロセッサ21によって実行される。これにより、地図編集装置20の各機能構成要素の機能が実現される。
プロセッサ11,21は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11,21は、具体例としては、CPU(Central
Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
メモリ12,22は、データを一時的に記憶する記憶装置である。メモリ12,22は
、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
ストレージ13,23は、データを保管する記憶装置である。ストレージ13,23は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13,23は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
通信インタフェース14,24は、外部の装置と通信するためのインタフェースである。通信インタフェース14,24は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High-Definition Multimedia Interface)のポートである。
入力装置25は、ユーザからの入力を受け付ける装置である。入力装置25は、具体例としては、キーボード、マウスである。
表示装置26は、情報を表示する装置である。表示装置26は、具体例としては、LCD(Liquid Crystal Display)である。
図2では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。同様に、図4では、プロセッサ21は、1つだけ示されていた。しかし、プロセッサ21は、複数であってもよく、複数のプロセッサ21が、各機能を実現するプログラムを連携して実行してもよい。
***動作の説明***
図5から図26を参照して、実施の形態1に係る地図生成システム1の動作を説明する。
実施の形態1に係る地図生成システム1の動作は、実施の形態1に係る地図生成方法に相当する。また、実施の形態1に係る地図生成システム1の動作は、実施の形態1に係る地図生成プログラムの処理に相当する。
図5を参照して、実施の形態1に係る地図生成システム1の全体的な処理を説明する。
(図5のステップS11:計測情報取得処理)
地図生成装置10の計測情報取得部111は、計測情報記憶装置30に記憶された計測情報を取得する。
計測情報は、MMSといった計測車両が車道を走行しながら、計測車両に搭載された計測装置によって車道の周辺が計測されて得られた情報である。計測装置は、具体例としては、レーザレーダと、カメラといった装置である。計測情報には、レーザレーダよって得られた車道の周辺の地物の位置を表す複数の点データである点群データと、カメラによって得られた車道の周辺の画像データとが含まれる。また、計測情報には、計測車両の走行位置の軌跡を示す移動軌跡情報が含まれる。また、計測情報には、計測車両の姿勢を示す姿勢データと、計測装置の位置及び姿勢を示すキャリブレーションデータとが含まれる。
なお、計測車両の走行位置は、計測車両に搭載された測位アンテナによって受信された測位信号に基づき特定される。測位アンテナは、具体例としては、GPS(グローバルポジショニングシステム)アンテナである。
計測情報は、計測車両に搭載された計測装置によって得られた情報に限らず、航空機、ドローンといった他の移動体に搭載された計測装置によって得られた情報でもよい。この場合には、移動軌跡情報は、移動体の移動した位置の軌跡を示す情報である。
(図5のステップS12:図化処理)
地図生成装置10の図化部112は、ステップS11で取得された計測情報に基づき、車道の端部を表す線形化情報を生成する。具体的には、図化部112は、車道の端部を表す線形化情報として、車道の区画線と路肩縁との少なくともいずれかを表す線形化情報を生成する。図化部112は、線形化情報を一次地図記憶装置40に書き込む。
(図5のステップS13:評価処理)
地図生成装置10の評価部113は、ステップS12で生成された線形化情報を構成する部分情報毎に、部分情報の位置情報の信頼度を示す評価値を計算する。評価部113は、評価値を線形化情報と対応付けて一次地図記憶装置40に書き込む。
部分情報は、車道の分岐点及び合流点毎に線形化情報が区切られて規定される、あるいは、一定距離毎(例えば、数メートルから数100メートル毎)に線形化情報が区切られて規定される。信頼度は、部分情報の位置の確からしさを意味する。
(図5のステップS14:表示処理)
地図編集装置20の表示部211は、一次地図記憶装置40に記憶された線形化情報及び評価値を取得する。表示部211は、通信インタフェース24を介して接続された表示装置26に、評価値に応じて異なる表示態様で部分情報を表示することにより、線形化情報を表示する。
具体的には、表示部211は、評価値が示す信頼度が閾値よりも低い部分情報を、他の部分情報と異なる表示態様で表示する。例えば、表示部211は、信頼度が閾値よりも低い部分情報を、他の部分情報と異なる色又は線種で表示する。
(図5のステップS15:編集処理)
地図編集装置20の編集部212は、ステップS14で表示された線形化情報に対する編集情報の入力を受け付ける。編集部212は、編集情報に従い、線形化情報を編集する。編集部212は、編集後の線形化情報を二次地図記憶装置50に書き込む。
具体的には、編集部212は、ユーザによって入力装置25が操作され入力された編集情報を受け付ける。編集部212は、編集情報を受け付ける度に、編集情報に従い、線形化情報を編集する。編集部212は、ユーザによって入力装置25が操作され編集終了が入力されると、編集後の線形化情報を二次地図記憶装置50に書き込む。
図6から図16を参照して、実施の形態1に係る図化処理(図5のステップS12)を説明する。
(図6のステップS21:分割処理)
候補点抽出部114は、計測情報に含まれる点群データを、計測車両の進行方向に対して垂直な板状の複数の断面領域毎に分割する。計測車両の進行方向は、移動軌跡情報が示す軌跡から特定可能である。移動軌跡情報は、例えば0.1秒毎の計測車両の位置情報から構成される。
具体的には、候補点抽出部114は、計測車両の進行方向に対して垂直な板状の複数の断面領域を設定する。候補点抽出部114は、各断面領域を対象として、空間検索を行うことにより対象の断面領域に含まれる点群データを特定する。
レーザレーダが計測車両の進行方向に垂直な方向に回転しながら計測を行う場合がある。この場合には、レーザレーダの1回転で計測される範囲を1つの断面領域とし、1回転分のデータを1つの断面領域のデータとして扱ってもよい。この場合には、レーザレーダが1回転している間に計測車両が進行するため、1回転分のデータは、厳密な断面のデー
タではなく、螺旋状のデータである。MMSでは、ある軸上で計測方向を回転させるレーザレーダによって、空間的な情報を取得する。1回転分のデータを1つの断面領域のデータとして利用する場合、例えば1秒間100回転し、レーザレーダが1秒間に20万点の点データを取得すると仮定すると、1つの断面領域は、2000個の点群データを含むことになる。
なお、候補点抽出部114は、計測車両の進行方向に対して一定間隔毎に断面領域を設定してもよい。つまり、断面領域間に一定の間隔を設けてもよい。これにより、計測情報に含まれる点群データのデータ量が必要以上に多い場合に、処理対象とするデータ量を削減し、処理の遅延を抑制できる。
(図6のステップS22:候補点抽出処理)
候補点抽出部114は、ステップS21で分割された各断面領域を対象として、対象の断面領域の点群データから車道の端部を示す可能性がある複数の点データを候補点データとして抽出する。具体的には、候補点抽出部114は、車道の端部を表す区画線と路肩縁との少なくともいずれかを表す可能性がある点データを候補点データとして抽出する。
候補点抽出部114は、区画線を表す点データを特定する場合には、路面上の点データにおいて、反射強度が変化する場所を区画線の範囲として特定する。点データがレーザレーダといった計測装置によって取得された場合には、点データは、反射点の位置と、反射点で反射した際の反射強度とを有する。図7に示すように、候補点抽出部114は、周囲に比べて反射強度が一定値以上高くなる箇所の重心部分の点データを、区画線を表す可能性が高い点データとして特定する。路面上の点データは、点データの高さから特定可能である。
図7では、縦軸が点データの反射強度を示し、横軸が断面領域における道路の右方向を示す。道路の右方向とは、車両の進行方向と鉛直上方向との両方に垂直で、かつ、車両の進行方向に向かって右側を正とする方向である。座標原点はどこに取ってもよいが、実施の形態1では、縦軸は0[W/sr/m]を原点位置とし、横軸は平面内の点群データに含まれる点データで道路の右方向の座標値が最も小さい点データの位置を原点位置とする。
候補点抽出部114は、点群データに含まれる点データのうち道路の右方向の座標値が小さい点データから順に反射強度を調べていき、反射強度が急激に大きくなる点データ、すなわち直前の点データとの反射強度の差が所定値(例えばレーザ光の反射光の反射強度変位の設定値)より大きくなっている点データXと、反射強度が急激に小さくなる点データ、すなわち次の点データとの反射強度の差が所定値より大きくなっている点データYとを特定する。そして、点データXと点データYとの点間幅が指定した上下限幅以内である場合、反射強度が大きい複数の点データ、すなわち点データXから点データYまでの複数の点データの重心位置を区画線の候補要素として候補点データZを特定する。重心位置に点データが存在する場合には、その点データを候補点データとし、点データが存在しない場合には、候補点データとして新たな点データを生成する。もしくは、点データXと点データYとの点間幅が指定した上下限幅以内である場合、点データXと点データYとの中心位置を区画線の候補点データとしもよい。
これによって区画線上に車両の進行方向に並ぶ区画線の候補点データの点列が特定される。
なお、区画線の候補点データを特定する方法は、上記のように隣の点データとの反射強度の差を用いるのではなく、例えば、図8のように反射強度に対して閾値th1を予め設定し、点群データに含まれる閾値th1以上の点データP1、点データP2、点データP3、点データP4を抽出し、抽出された複数の点データを区画線の範囲とし、区画線の範囲の幅が指定した上下限幅以内である場合、これらの重心位置を区画線の候補点データZとしてもよい。
候補点抽出部114は、路肩縁を表す点データを特定する場合には、図9に示すように、点データの高さに基づき、路面上の点データと、設置物の点データとに点群データを分類する。候補点抽出部114は、設置物の点データのうち、最も移動軌跡情報が示す軌跡に近い点データを、路肩縁を表す可能性が高い点データとして特定する。なお、図9は、ガードレールといった設置物がある場合を想定している。
図9では、縦軸が断面領域における高さ方向、つまり鉛直上方向を示し、横軸が断面領域における道路の右方向を示す。座標原点は、どこに取ってもよいが、実施の形態1では、縦軸は平面内の点群データに含まれる点データでもっとも低い位置にある点データの位置を原点位置とし、横軸は平面内の点群データに含まれる点データで道路の右方向の座標値が最も小さい点データの位置を原点位置とする。
候補点抽出部114は、まず、点群データを道路上の点データと縁石及び設置物といった道路以外の地物の点データとに分類する。この分類は、予め高さ方向に対して閾値th2を設定しておき、閾値th2未満の点データを道路、閾値th2以上の点データを道路以外の点データとすることで行われる。そして、道路以外の点データに分類された点データのうち、移動軌跡情報が示す軌跡に最も近い点データを抽出する。図9の例では、軌跡は図示されていないが、軌跡は原点より左に位置しているので、軌跡に最も近い点データとして、点データP1が抽出される。さらに、候補点抽出部114は、この抽出された点データP1の位置から道路面に下した垂線の足の位置を路肩縁の候補点データP2として特定する。ここで、道路面は閾値th2と同じように予め設定してもよいし、あるいは、閾値th2未満で道路上の点データとして判定された複数の点データから近似平面を生成し、生成された平面を道路面としてもよい。
路肩縁は道路の端を示す境界であり、地図情報として用いられる路肩縁は車両の進行方向に対して左右に1本ずつしか設定しない。そのため、候補点抽出部114は、1つの断面領域における路肩縁の候補点データは車両の走行軌跡に対して左右1点ずつしか特定しないようにする。
これによって車両の進行方向に並ぶ路肩縁の候補点データの点列が特定される。
なお、路肩縁の候補点データを特定する方法は、上記の方法に限らず、例えば、点群データに含まれる点データのうち道路の右方向の座標値が小さい点データから順に点データの高さ方向の座標値を調べていき、座標値が急激に低くなる点データと、急激に高くなる点を抽出し、これらを路肩縁の候補点データとしてもよい。また、図10に示すように、道路の路肩より外側が土手等の傾斜になっており、さらに点群データが荒い場合には、高さが急激に変化する複数の点データに基づき近似直線L1を生成し、この直線と道路面の交点を路肩縁の候補点データZとしてもよい。
(図6のステップS23:グループ分け処理)
候補点接続部115は、各断面領域から抽出された候補点データを、同じ区画線又は同じ路肩縁を表す候補点データのグループに分ける。
区画線のグループ分けについて説明する。
候補点接続部115は、候補点データを位置に基づきグループ分けする。ここでは、候補点接続部115は、候補点データと移動軌跡情報が示す軌跡との距離と、候補点データ間の距離との両方を考慮して、候補点データをグループ分けする。より正確には、候補点接続部115は、対象とする2つの候補点データについて、軌跡との距離の差が小さく、候補点データ間の距離が短い候補点データが同じグループになるようにグループ分けする。言い換えると、候補点接続部115は、軌跡と平行に近い方向に離れた候補点データ間ほど、候補点データ間の距離に小さい値の重みを乗じ、軌跡と垂直に近い方向に離れた候補点データ間ほど、候補点データ間の距離に大きい値の重みを乗じた上で、重み付けされ
た距離が基準値以内の候補点データを同じグループにする。
例えば、図11に示すように、候補点データX,Y,Zがあるとする。候補点データXと候補点データYとの間の距離と、候補点データXと候補点データZとの間の距離とは概ね同じである。しかし、同じ白線上に位置する2つの候補点データX及び候補点データYは、軌跡との距離が概ね同じであるのに対して、異なる白線上に位置する候補点データX及び候補点データZは、軌跡との距離が異なる。そのため、候補点データXと候補点データYとは同じグループにされ易く、候補点データXと候補点データZとは同じグループにされ難い。なお、軌跡との距離の差がほとんどない候補点データであっても、候補点データ間の距離が長い候補点データについては、同じグループにされ難い。
これにより、道路面上の汚れ、あるいは区画線とは異なる線といった外乱要因を含まないグループを形成することができる。
ここで、軌跡は各時刻における車両の位置を示す点列である。そのため、実際には、区画線の各候補点データと軌跡の点列に含まれる各点との距離を算出し、各候補点データにおいて最も近くにある軌跡の点データとの距離を区画線の候補点データと軌跡との距離とする。軌跡を点列ではなく、曲線として扱う場合には、各候補点データから曲線に垂線を下し、その垂線の長さを区画線の候補点データと軌跡との距離として計算すればよい。
区画線のグループ分けの方法は上記に限らず、2つの候補点データに対して、それぞれの候補点データと軌跡との距離の差を取らず、軌跡との距離の絶対値について所定の範囲内の候補点データをグループ化するようにしてもよい。
路肩縁のグループ分けについて説明する。
候補点接続部115は、路肩縁を構成する構成点列の線形化情報を生成する場合には、大きく軌跡との距離が変化する場合のみグループを分け、それ以外の場合には計測車両の左側か右側かのみによりグループ分けを行う。
MMSに搭載されたレーザスキャナによる計測では、草木や並走車の影響で、点群データの計測が正確に行えない場合がある。このように正確に計測できなかった点群データから得られた候補点データを用いて、上記の方法によりグループ化を行うと、軌跡に対する左右いずれかに位置するかで区別して全ての候補点データを二つのグループのいずれかに振り分けるだけであるため、左右方向に凹凸が激しく、滑らかでない路肩縁、すなわち現実の路肩縁の形状から逸脱した路肩縁が生成される可能性がある。そのため、候補点データの配置が左右方向に大きい凹凸がある区間を誤検出と判断し、誤検出と判断された区間に含まれる候補点データを候補点データから除外してもよい。
候補点接続部115は、候補点データのグループと軌跡の形状との比較を行う。具体的には、候補点接続部115は、グループ内の各候補点データと軌跡との距離を算出し、この距離が隣接する候補点データに対して所定の閾値以上変化する点データを抽出する。これにより、草木や並走車の影響によりレーザで点群データが正確に取得出来ておらず、現実の路肩縁の形状から逸脱した路肩縁を生成しそうな候補点データが存在する箇所を検知し、検知された候補点データを除外することで、走行軌跡に対応した候補点データを選定することができる。
これにより、道路面上の汚れ等の外乱要因を排除して、境界の生成に用いる候補点データを選定することができる。
上記の方法について図12を用いて具体的に説明する。
候補点接続部115は、点群データに含まれる点データは計測時刻の情報を持つため、計測時刻が早い点データから遅い点データへと順に、各候補点データと軌跡との距離を調べていく。そして、候補点接続部115は、軌跡との距離が急激に変化する点データ、すなわち、次の候補点データP2と軌跡との距離が急激に小さくなる候補点データP1と、
前の候補点データP3と軌跡との距離が急激に大きくなる候補点データP4とを特定する。候補点データP1と候補点データP4とが正確に特定された候補点データの端であり、候補点データP2及び候補点データP3と、候補点データP2と候補点データP3との間にある複数の候補点データP5とは誤検出である。そのため、候補点データP2及び候補点データP3と、複数の候補点データP5とを路肩縁の位置情報を生成するのに用いる候補点データから除外する。
(図6のステップS24:候補点接続処理)
候補点接続部115は、同じグループに所属する候補点データをノードとし、計測車両の進行方向にノードをリンクにより接続して、区画線と路肩縁との少なくともいずれかを構成する構成点列の線形化情報を生成する。
具体的には、候補点接続部115は、同じグループに所属する候補点データのうち近い位置にある候補点データであるノード同士をリンクにより接続する。この際、候補点接続部115は、軌跡に平行に近い方向に離れた候補点データ間ほど、候補点データ間の距離に小さい値の重みを乗じ、軌跡と垂直に近い方向に離れた候補点データ間ほど、候補点データ間の距離に大きい値の重みを乗じる。その上で、候補点接続部115は、計測車両の進行方向の手前の断面領域の候補点データのノードから順に、重み付けされた距離の閾値以内の候補点データのノードとリンクにより接続していく。閾値以内の候補点データのノードがリンクにより接続されるため、一部不連続になる線形化情報が生成される可能性もある。
さらに、候補点接続部115は、異なるグループから生成された線形化情報を接続してもよい。例えば、図13に示すように、候補点接続部115は、軌跡との位置関係が近い線形化情報同士を、軌跡と平行な、あるいは、平行に近いリンクにより接続する。これにより、車道が曲がっている場合であっても、車道の曲りに沿った線形化情報を生成することが可能である。
具体的には、候補点接続部115は、グループに含まれる候補点データの重心位置を計算し、片方のグループの重心と別のグループに含まれる候補点データとの距離を計算する。候補点接続部115は、この距離が小さいものから順に候補点データを数点抽出する。候補点接続部115は、グループの役割を逆にして、逆のグループからの候補点データを数点抽出する。そして、候補点接続部115は、各グループにおいて、抽出された複数の候補点の重心位置を計算し、この重心間の距離を計算する。候補点接続部115は、この重心間の距離が所定の範囲内であれば、2つのグループを接続する。
上記の方法について、図14を用いて具体的に説明する。
軌跡Tを用いて、区画線のグループg1とグループg2とを接続する。グループg1とグループg2とが所定の距離の範囲内にあれば、この2つのグループを繋ぐように複数の候補点データSを生成する。これら複数の候補点データSは、グループg1及びグループg2と、複数の候補点データSとがなす近似曲線が軌跡Tと相似形になるように生成される。
軌跡は計測車両の位置を示す点列である。そのため、候補点接続部115は、軌跡を表す点列から近似曲線を生成し、この近似曲線が2つのグループと新しく生成された候補点データにより生成される近似曲線と相似形になるように、2つのグループを接続する。しかし、2つのグループを接続する方法は、上記の方法に限らず、近似曲線を生成せず、軌跡を表す点列の位置関係のみを用いてグループの接続を行ってもよい。例えば、軌跡を表す点列の各点を直線で繋いだ時になす角度が、2つのグループ間に新しく生成した各候補点データを直線で繋いだ時になす角度と同じになるように、新しい候補点データを生成し、グループの接続を行ってもよい。
(図6のステップS25:補正処理)
補正部116は、ステップS24で生成された線形化情報を補正して信頼度の高い線形化情報を生成する。具体的には、補正部116は、以下の補正1から補正3の3つの補正を行う。補正部116は、補正後の線形化情報を一次地図記憶装置40に書き込む。
図15に示すように、軌跡と平行して連続して出現する道路標示を区画線として、線形化情報を生成してしまう可能性がある。このような線形化情報は誤りであるため、補正が行われる。
(補正1)補正部116は、候補点接続部によって生成された前記線形化情報のうち第1基準距離(例えば、10メートル)以下の長さの線形化情報を対象として、軌跡と逆側に、対象の線形化情報よりも長い他の線形化情報が存在する場合には、対象の線形化情報を削除する。つまり、補正部116は、軌跡と逆側に長い他の線形化情報が存在する線形化情報は、区画線ではなく道路標示であるとして、削除する。
ステップS23で候補点接続部115は、路肩縁を構成する構成点列の線形化情報を生成する場合には、大きく軌跡との距離が変化する場合のみグループを分け、それ以外の場合には計測車両の左側か右側かのみによりグループ分けを行う。そのため、路肩縁を表す線形化情報は、ガタつきのある線形化情報、又は、不連続な線形化情報になる可能性がある。このような線形化情報は、草木又は並走車両による誤検出の可能性があるため、補正が行われる。なお、ステップS23で、誤検出と判断された区間に含まれる候補点データを候補点データから除外する処理が実行されたとしても、なお誤検出された候補点データから線形化情報が生成されている可能性がある。そのため、以下の補正2,3を実行することにより、より信頼度の高い線形化情報を生成することが可能である。
(補正2)補正部116は、線形化情報の一部を構成する区間情報を対象として、対象の区間情報の前後両方に隣接する他の区間情報に比べて第2基準距離(例えば、2メートル)以上軌跡側に近くなる場合には、対象の区間情報を削除する。つまり、補正部116は、線形化情報の一部の区間が一旦軌跡側に第2基準距離以上に移動し、再び元の位置付近に戻る場合には、その区間は並走車両による遮蔽の影響を受けた遮蔽区間であるとして、削除する。この場合には、図16に示すように、補正部116は、計測車両の進行方向に対して、削除した区間情報の前の区間情報と、後の区間情報との間を、軌跡と平行なリンクにより接続して、削除した区間情報を再生成する。
(補正3)補正部116は、線形化情報の一部を構成する10メートル程度毎の区間情報を対象として、対象の区間情報を構成する点データを3次関数近似した近似曲線と対象の区間情報との間の平均距離が第3基準距離以上である場合には、対象の区間情報を削除する。つまり、補正部116は、線形化情報の一部の区間に基準を超えるガタつきがある場合には、その区間は草木等の影響を受けているとして、削除する。すなわち、通常の路肩縁であれば、3次関数により概ね表現可能である。そのため、3次関数近似した近似曲線との差が大きい場合には、草木等の影響を受けていると判定可能である。この場合には、図17に示すように、補正部116は、削除した区間情報を構成する軌跡に近い点データのみをリンクにより接続することにより、削除した区間情報を再生成する。軌跡に近い点データのみをリンクにより接続することにより、路肩縁が車道の中心寄りに移動する。線形化情報が示す路肩縁が実際の路肩縁よりも外側に位置すると、車両が路肩縁に接触する可能性が高くなる。しかし、線形化情報が示す路肩縁が車道の中心寄りに移動するので、この線形化情報に基づき車両を走行させた場合に、車両が路肩縁に接触する可能性を低くすることができる。
図18から図20を参照して、実施の形態1に係る評価処理(図5のステップS13)を説明する。
図18を参照して、線形化情報が区画線を表す場合について説明する。
(図18のステップS31:分割処理)
区画線評価部113aは、線形化情報を構成する部分情報毎に線形化情報を分割する。
(図18のステップS32:個別評価処理)
区画線評価部113aは、各部分情報が示す区画線の位置の信頼度を示す評価値を計算する。
具体的には、反射強度変化量評価部81と平行性評価部82と関数近似誤差量評価部83と計測条件評価部84とは、以下の説明する方法により、部分情報が示す区画線の位置の信頼度を示す評価値を計算する。
反射強度変化量評価部81は、区画線として抽出された箇所の反射強度とその周囲の反射強度との差である反射強度変化量(図7参照)を求め、反射強度変化量の大きさを評価する。反射強度変化量が大きければ、はっきりとした区画線の位置を取得できていると考えられるため、反射強度変化量評価部81は、反射強度変化量が大きいほど、区画線の位置情報の評価値を高くする。
ここでは区画線として抽出された箇所の反射強度とその周囲の反射強度との差を評価項目としたが、区画線として抽出された箇所の反射強度の絶対値を評価項目としてもよい。
平行性評価部82は、区画線構成点の並びの方向と計測車両の移動軌跡との平行性を評価する。図19に示すように、区画線構成点の並びが、計測車両の移動軌跡と平行でない場合、停止線やその他の道路標示等が区画線として誤抽出された可能性が高いため、平行性評価部82は、区画線の位置情報の評価値を低くする。
関数近似誤差量評価部83は、区画線構成点の並びを最小二乗法により3次関数近似したときの誤差量和の大きさを評価する。誤差量は線形のガタつきの程度を表すため、関数近似誤差量評価部83は、誤差量和が小さいほど、区画線の位置情報の評価値を高くする。なお、近似の方法は3次関数近似に限らない。
計測条件評価部84は、区画線の推定に用いられた計測情報を計測装置が取得した時点での計測車両の位置と当該区画線構成点との間の距離、ならびに、区画線の推定に用いられた計測情報を計測装置が取得したときの天候から、区画線の位置情報の評価値を求める。例えば、区画線構成点が計測車両から遠いとデータ密度が薄くなり、データの信頼性が低下するため、計測条件評価部84は、区画線構成点が計測車両から遠いほど、区画線の位置情報の評価値を低くする。また、雨天等の悪天候時には、計測装置が取得するデータの信頼性が低下するため、計測条件評価部84は、計測情報取得時の天候が悪いほど、計測条件評価部84は、区画線の位置情報の評価値を低くする。
(図18のステップS33:総合評価処理)
区画線評価部113aは、ステップS32で反射強度変化量評価部81と平行性評価部82と関数近似誤差量評価部83と計測条件評価部84とによって計算された評価値を総合して、部分情報の評価値を計算する。具体例としては、区画線評価部113aは、反射強度変化量評価部81と平行性評価部82と関数近似誤差量評価部83と計測条件評価部84とによって計算された評価値を重み付けした上で合計して、部分情報の評価値を計算する。
区画線評価部113aは、部分情報の評価値を、部分情報と対応させて一次地図記憶装置40に書き込む。また、区画線評価部113aは、反射強度変化量評価部81と平行性評価部82と関数近似誤差量評価部83と計測条件評価部84とのそれぞれが計算した評価値も、部分情報と対応させて一次地図記憶装置40に書き込んでもよい。
図20を参照して、線形化情報が路肩縁を表す場合について説明する。
(図20のステップS41:分割処理)
路肩縁評価部113bは、線形化情報を構成する部分情報毎に線形化情報を分割する。
(図20のステップS42:個別評価処理)
路肩縁評価部113bは、各部分情報が示す路肩縁の位置の信頼度を示す評価値を計算する。
具体的には、高さ変化評価部91と平行性評価部92と関数近似誤差量評価部93と計測条件評価部94とは、以下の説明する方法により、部分情報が示す路肩縁の位置の信頼度を示す評価値を計算する。
高さ変化評価部91は、路肩縁として抽出された箇所とその周囲との高度差(段差)を求め、その高度差の大きさを評価する。高度差が大きければ、はっきりとした路肩縁の位置を取得できていると考えられるため、高さ変化評価部91は、高度差が大きいほど、路肩縁の位置情報の評価値を高くする。
ここでは路肩縁として抽出された箇所とその周囲との高度差を評価項目としたが、例えば、路肩縁として抽出された箇所とその周囲との境界部分における高度変化の傾きの大きさ、すなわち傾斜の大きさを評価項目としてもよい。
平行性評価部92、関数近似誤差量評価部93及び計測条件評価部94は、区画線評価部113aの平行性評価部82、関数近似誤差量評価部83、計測条件評価部84と同様の方法で、路肩縁の位置情報の評価を行う。
すなわち、平行性評価部92は、路肩縁構成点の並びが計測車両の移動軌跡に対する平行性を評価する。路肩縁構成点の並びが、計測車両の移動軌跡と平行でない場合は、道路の凸凹等が路肩縁として誤抽出された可能性が高いため、平行性評価部92は路肩縁の位置情報の評価値を低くする。
関数近似誤差量評価部93は、路肩縁構成点の並びを最小二乗法により3次関数近似したときの誤差量和の大きさを評価する。この値が小さいほど、関数近似誤差量評価部93は路肩縁の位置情報の評価値を高くする。
計測条件評価部94は、路肩の推定に用いられた計測情報を計測装置が取得した時点での計測車両の位置と当該路肩縁構成点との間の距離、ならびに、路肩縁の推定に用いられた計測情報を計測装置が取得したときの天候から、路肩縁の位置情報の評価値を求める。例えば、路肩縁構成点が計測車両から遠いとデータ密度が薄くなり、データの信頼性が低下するため、計測条件評価部94は、路肩縁構成点が計測車両から遠いほど、路肩縁の位置情報の評価値を低くする。また、雨天等の悪天候時には、計測装置が取得するデータの信頼性が低下するため、計測条件評価部94は、計測情報取得時の天候が悪いほど、路肩縁の位置情報の評価値を低くする。
(図20のステップS43:総合評価処理)
路肩縁評価部113bは、ステップS42で高さ変化評価部91と平行性評価部92と関数近似誤差量評価部93と計測条件評価部94とによって計算される評価値を総合して、部分情報の評価値を計算する。具体例としては、路肩縁評価部113bは、高さ変化評価部91と平行性評価部92と関数近似誤差量評価部93と計測条件評価部94とによって計算される評価値を重み付けした上で合計して、部分情報の評価値を計算する。
路肩縁評価部113bは、部分情報の評価値を、部分情報と対応させて一次地図記憶装置40に書き込む。また、路肩縁評価部113bは、高さ変化評価部91と平行性評価部92と関数近似誤差量評価部93と計測条件評価部94とのそれぞれが計算した評価値も
、部分情報と対応させて一次地図記憶装置40に書き込んでもよい。
図21及び図22を参照して、実施の形態1に係る表示処理(図5のステップS14)を説明する。
(図21のステップS51:情報取得処理)
表示部211は、一次地図記憶装置40に記憶された線形化情報と、線形化情報を構成する各部分情報についての評価値とを取得する。
(図21のステップS52:線形化情報表示処理)
表示部211は、通信インタフェース24を介して接続された表示装置26に、評価値に応じて異なる表示態様で部分情報を表示することにより、線形化情報を表示する。この際、表示部211は、線形化情報を構成するノードとリンクとに、他の点群データを重畳させて表示する。
具体的には、図22に示すように、表示部211は、線形化情報を構成する部分情報のうち、評価値が閾値よりも低い部分情報を特定する。表示部211は、特定された部分情報以外の部分情報、つまり評価値が閾値以上の部分情報を第1表示態様で表示し、特定された部分情報、つまり評価値が閾値よりも低い部分情報を第1表示態様とは異なる第2表示態様で表示させる。図22では、評価値が閾値以上の部分情報を実線で示し、評価値が閾値よりも低い部分情報を破線で示している。表示部211は、評価値が閾値以上の部分情報を青で表示し、評価値が閾値よりも低い部分情報を赤で表示する、又は、評価値が閾値よりも低い部分情報を評価値が閾値以上の部分情報よりも太い線で表示する、又は、評価値が閾値よりも低い部分情報を評価値が閾値以上の部分情報よりも高い輝度で表示する、又は、評価値が閾値よりも低い部分情報を点滅させて表示するようにしてもよい。
なお、表示部211は、評価値が示す信頼度の高さ毎に、部分情報を異なる表示態様で表示してもよい。例えば、表示部211は、評価値が示す信頼度の高さ毎に、部分情報を異なる色で表示してもよい。また、表示部211は、評価値が示す信頼度が低いほど、部分情報を高い輝度で表示してもよい。
表示部211は、図6のステップS25において、補正された部分情報についても、他の部分情報とは異なる表示態様で表示してもよい。この際、表示部211は、補正した内容、例えば補正1から補正3のいずれの補正をしたかに応じて、異なる表示態様で補正された部分情報を表示してもよい。
図23から図28を参照して、実施の形態1に係る編集処理(図5のステップS15)を説明する。
(図23のステップS61:確定判定処理)
編集部212は、線形化情報を確定させる確定入力がされたか否かを判定する。
具体的には、編集部212は、ユーザによって入力装置25が操作され確定入力がされたか否かを判定する。例えば、編集部212は、ユーザによって編集終了を意味する確定ボタンが押下された場合には、確定入力がされたと判定する。
編集部212は、確定入力がされた場合には、線形化情報を二次地図記憶装置50に書き込んで、処理を終了する。一方、編集部212は、確定入力がされない場合には、処理をステップS62に進める。
(図23のステップS62:編集情報受付処理)
編集部212は、線形化情報を構成するノードとリンクとの少なくともいずれかの位置を変更する編集情報の入力を受け付ける。編集部212は、編集情報を受け付けると、編集情報に従い、線形化情報を編集する。
具体的には、編集部212は、線形化情報における編集する対象となる部分の指定を受け付ける。例えば、入力装置25であるマウスによってクリックされると、編集部212は、クリックされた位置の周囲を対象となる部分として受け付ける。すると、図24に示すように、表示部211は、指定された部分を拡大して、指定された部分における線形化情報を構成するノード及びリンクと、点群データとを、3次元座標系を表すグリッドラインが表示された画面に表示する。そして、編集部212は、拡大表示されたノード及びリンクの位置を編集する編集情報の入力を受け付ける。例えば、入力装置25であるマウスによってノードがドラッグされ、移動先でドロップされる。すると、編集部212は、ドラッグされたノードの位置をドロップされた位置に変更し、ドラッグされたノードに接続されたリンクの位置をノードの移動に合わせて変更する。図24に示すノードXがドラッグされ、位置Pでドロップされた場合には、図25に示すように、ノードXが位置Pに変更され、これに伴いノードXに接続していたリンクL1,L2の位置が変更される。
この際、表示部211は、ユーザの操作に応じて、ノード及びリンクと、点群データとを表示する表示角度を変更してもよい。つまり、表示部211は、ユーザの操作に応じて異なる視点から、ノード及びリンクと、点群データとを表示してもよい。
編集部212は、ノードとリンクとの少なくともいずれかの位置を変更する編集情報に限らず、新たなリンクを追加するといった編集情報を受け付けてもよい。例えば、図26に示すように、区画線の一部が擦れて切れてしまっているとする。この場合には、編集部212は、新たなリンクを追加する編集情報の入力を受け付け、図27に示すようにリンクを追加することにより区画線を接続する。
なお、表示部211は、編集する対象となる部分と、その周囲について、カメラによって得られた画像情報を、線形化情報及び点群情報とは別に表示してもよい。これにより、ユーザは、画像情報に基づき区画線又は路肩縁の状態を確かめながら編集作業を行うことが可能になる。
表示部211は、編集部212によって編集された部分情報については、表示態様を変更してもよい。例えば、表示部211は、編集部212によって評価値が閾値よりも低い部分情報が編集された場合には、編集された部分情報を、評価値が閾値以上である部分情報と同じ表示態様で表示する。
***実施の形態1の効果***
以上のように、実施の形態1に係る地図生成システム1では、評価値に応じて異なる表示態様で線形化情報の部分情報を表示する。これにより、線形化情報のうち誤りである可能性が高い部分を容易に特定可能である。そのため、線形化情報の人手による誤り訂正を効率的に行うことが可能である。
また、実施の形態1に係る地図生成システム1では、編集する対象となる部分を拡大して、編集する対象となる部分を、3次元座標系を表すグリッドラインが表示された画面に表示する。これにより、ユーザは、図化部112によって生成された線形化情報を適切に編集することが容易になる。
***他の構成***
<変形例1>
図5のステップ12で図化部112は、計測情報に基づき、車道の周辺の標識と、道路標示と、停止線といった他の道路地物の位置を特定し、特定された他の道路地物を表すベクトルデータを生成してもよい。図化部112は、他の道路地物を表すベクトルデータを生成した場合には、ベクトルデータを一次地図記憶装置40に書き込む。また、この場合には、評価部113は、ベクトルデータの信頼度を示す評価値を計算する。そして、表示部211は、線形化情報とともに、評価値に応じて異なる表示態様でベクトルデータを表示し、編集部212は、ベクトルデータについての編集情報の入力を受け付ける。
<変形例2>
図28を参照して、変形例2に係る地図生成装置10の構成を説明する。
機能がハードウェアで実現される場合、地図生成装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、地図生成装置10の機能構成要素と、メモリ12とストレージ13との機能とを実現する専用の回路である。
図29を参照して、変形例2に係る地図編集装置20の構成を説明する。
機能がハードウェアで実現される場合、地図編集装置20は、プロセッサ21とメモリ22とストレージ23とに代えて、電子回路27を備える。電子回路27は、地図編集装置20の機能構成要素と、メモリ22とストレージ23との機能とを実現する専用の回路である。
電子回路15,27は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
地図生成装置10の各機能構成要素の機能を1つの電子回路15で実現してもよいし、各機能構成要素の機能を複数の電子回路15に分散させて実現してもよい。同様に、地図編集装置20について、各機能構成要素の機能を1つの電子回路27で実現してもよいし、各機能構成要素の機能を複数の電子回路27に分散させて実現してもよい。
<変形例3>
変形例3として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、各機能構成要素のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
プロセッサ11,21とメモリ12,22とストレージ13,23と電子回路15,27とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
実施の形態2.
実施の形態2では、評価値が低い部分情報を、評価値が低くなった原因毎にグループ分けする点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
***構成の説明***
図30を参照して、実施の形態2に係る地図編集装置20の構成を説明する。
実施の形態2に係る地図編集装置20は、図化情報分類部213を備える点が実施の形態1に係る地図編集装置20と異なる。
***動作の説明***
図化情報分類部213は、評価値が低い部分情報を、評価値が低くなった原因毎にグループ分けする。具体的には、図化情報分類部213は、評価値が低い部分情報を、複数の評価項目のうちのどの評価項目の評価値が低いかによって分類する。評価項目とは、区画線であれば、反射強度変化量評価部81と平行性評価部82と関数近似誤差量評価部83と計測条件評価部84とのそれぞれが評価する項目であり、路肩縁であれば、高さ変化評価部91と平行性評価部92と関数近似誤差量評価部93と計測条件評価部94とのそれぞれが評価する項目である。
グループ分けの一例として、図化情報分類部213が区画線をグループ分けする例を示す。図化情報分類部213は、まず、地図情報の中で位置情報の信頼度が一定以下の区画線を抽出する。そして、図化情報分類部213は、抽出された区画線を、例えば、関数近似の誤差量の評価値が一定値以下の区画線のグループである第1のグループと、第1のグループに該当せず、計測車両の移動軌跡に対する平行性の評価値が一定値以下の区画線のグループである第2のグループと、第1及び第2のグループに該当せず、反射強度の変化量の評価値が一定値以下の区画線のグループである第3のグループと、第1、第2及び第3のグループに該当せず、計測条件の評価値が一定値以下の区画線のグループである第4のグループとに分類する。
表示部211は、線形化情報を表示する際、同じグループに属する部分情報が連続的に表示されるように画面表示を切り替えることができる。同じグループに属する部分情報を連続的に表示させるときの画面の遷移例を、図31及び図32に示す。ユーザは、入力装置25を操作することにより、図31及び図32のように、表示装置26の画面に同じ原因で位置情報の評価値が低くなった部分情報(太線で表された区画線)が連続的に表示されるように、画面表示を切り替えることができる。
***実施の形態2の効果***
以上のように、実施の形態2に係る地図生成システム1では、評価値が低い部分情報を、評価値が低くなった原因毎にグループ分けする。これにより、線形化情報を表示する際、同じグループに属する部分情報が連続的に表示されるように画面表示を切り替えることが可能になる。
その結果、ユーザは、同じ原因で評価値が低くなった部分情報の確認及び修正を、続けて行うことができる。同じ原因で評価値が低くなった部分情報の修正作業は、似通った内容になることが多いため、それらの修正を連続的に行うことで、線形化情報の修正作業が円滑化される。
実施の形態3.
実施の形態3は、過去の修正の有無により計算される評価値を変更する点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
***構成の説明***
図33を参照して、実施の形態3に係る地図生成装置10の構成を説明する。
実施の形態3に係る地図生成装置10は、評価部113が評価関数学習部117を備える点が実施の形態1,2に係る地図生成装置10と異なる。
***動作の説明***
評価関数学習部117は、部分情報についての複数の評価項目の評価値と、地図編集装置20によるその部分情報についての修正の有無との対応を学習する。そして、評価関数学習部117は、過去に修正された部分情報に各評価項目の評価値が類似する部分情報の総合的な評価値が低くなり、過去に修正されなかった部分情報に各評価項目の評価値が類似する部分情報の総合的な評価値が高くなるように、総合的な評価値の算出するための評価方法を修正する。総合的な評価値とは、図18のステップS33及び図20のステップS43で計算される評価値である。
図34及び図35を参照して、具体的に説明する。
図34の例では、評価項目Aの評価値が低い部分情報(図化データ番号2,3)、もしくは評価項目値B,Cの評価値がともに低い部分情報(図化データ番号6,8)に対して
、地図編集装置20による修正が実施されやすい傾向にある。評価関数学習部117がこの傾向を学習すると、区画線評価部113a及び路肩縁評価部113bは、例えば図35のように、評価項目Aの評価値が低い部分情報(図化データ番号12)、及び、評価項目値B,Cの評価値がともに低い部分情報(図化データ番号14)に対する総合的な評価値が低くするようになる。
***実施の形態3の効果***
以上のように、実施の形態3に係る地図生成システム1では、過去の修正の有無により計算される評価値を変更する。これにより、部分情報の評価値に、修正の必要性が加味されるようになる。その結果、ユーザは、評価値の高さから修正の要否を適切に判断できるようになる。
以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
1 地図生成システム、10 地図生成装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、111 計測情報取得部、112 図化部、113 評価部、113a 区画線評価部、113b 路肩縁評価部、114 候補点抽出部、115 候補点接続部、116 補正部、117 評価関数学習部、20 地図編集装置、21 プロセッサ、22 メモリ、23 ストレージ、24 通信インタフェース、25 入力装置、26 表示装置、27 電子回路、211 表示部、212 編集部、213 図化情報分類部、30 計測情報記憶装置、40 一次地図記憶装置、50 二次地図記憶装置、60 伝送路、70 伝送路、81 反射強度変化量評価部、82 平行性評価部、83 関数近似誤差量評価部、84 計測条件評価部、91 高さ変化評価部、92 平行性評価部、93 関数近似誤差量評価部、94 計測条件評価部。

Claims (12)

  1. 計測装置によって得られた計測情報であって、車道の周辺の地物の位置を表す複数の点データである点群データを含む計測情報に基づき、前記点群データに含まれる点データをノードとして選択し、選択したノードをリンクにより接続することにより、前記車道の区画線と路肩縁との少なくともいずれかを表す線形化情報を生成する図化部と、
    前記図化部によって生成された前記線形化情報を構成する部分情報毎に、前記部分情報の信頼度を示す評価値を計算する評価部と、
    前記線形化情報を示す前記ノード及び前記リンクと、前記点群データとを重畳させて表示する表示部であって、前記評価部によって計算された前記評価値が示す前記信頼度が閾値よりも低い前記部分情報を、他の前記部分情報と異なる表示態様で表示する表示部と
    を備える地図生成システム。
  2. 前記表示部は、指定された部分における前記線形化情報及び前記点群データを拡大表示する
    請求項1に記載の地図生成システム。
  3. 前記表示部は、指定された部分における前記線形化情報及び前記点群データを、3次元座標系を表すグリッドラインが表示された画面に表示する
    請求項1又は2に記載の地図生成システム。
  4. 前記計測情報は、前記計測装置を搭載した移動体が移動しながら前記計測装置によって得られ、前記移動体の位置の軌跡を示す移動軌跡情報を含み、
    前記図化部は、前記移動軌跡情報に基づき、前記点群データに含まれる点データをノードとして選択し、リンクにより接続することにより、前記線形化情報を生成する
    請求項1から3までのいずれか1項に記載の地図生成システム。
  5. 前記図化部は、
    前記点群データから前記車道の端部を示す可能性がある複数の点データを候補点データとして抽出する候補点抽出部と、
    前記候補点抽出部によって抽出された前記候補点データを位置に基づきグループ分けし、各グループに含まれる前記候補点データについて、前記候補点データ間の距離と、前記候補点データと前記移動軌跡情報が示す軌跡との間の距離とに基づき、前記候補点データを接続することにより、前記各グループについての前記線形化情報を生成する候補点接続部と
    を備える請求項4に記載の地図生成システム。
  6. 前記図化部は、さらに、
    前記候補点接続部によって生成された前記線形化情報のうち第1基準距離以下の長さの線形化情報を対象として、前記軌跡と逆側に、対象の線形化情報よりも長い他の線形化情報が存在する場合には、前記対象の線形化情報を削除する補正部
    を備える請求項5に記載の地図生成システム。
  7. 前記図化部は、さらに、
    前記候補点接続部によって生成された前記線形化情報の一部を構成する区間情報を対象として、対象の区間情報の前後両方に隣接する他の区間情報に比べて第2基準距離以上前記軌跡側に近くなる場合には、前記対象の区間情報を削除する補正部
    を備える請求項5に記載の地図生成システム。
  8. 前記図化部は、さらに、
    前記候補点接続部によって生成された前記線形化情報の一部を構成する区間情報を対象として、対象の区間情報を構成する点データを3次関数近似した近似曲線と前記対象の区間情報との間の平均距離が第3基準距離以上である場合には、前記対象の区間情報を削除する補正部
    を備える請求項5に記載の地図生成システム。
  9. 前記補正部は、削除された前記対象の区間情報を構成する前記軌跡に近い点データを接続することにより、前記対象の区間情報を再生成する
    請求項8に記載の地図生成システム。
  10. 前記計測情報は、前記計測装置を搭載した移動体が移動しながら前記計測装置によって得られ、前記移動体の位置の軌跡を示す移動軌跡情報を含み、
    前記線形化情報は、前記移動軌跡情報に基づき複数の前記部分情報に区切られた
    請求項1から9までのいずれか1項に記載の地図生成システム。
  11. 地図生成システムの図化部が、計測装置によって得られた計測情報であって、車道の周辺の地物の位置を表す複数の点データである点群データを含む計測情報に基づき、前記点群データに含まれる点データをノードとして選択し、選択したノードをリンクにより接続することにより、前記車道の区画線と路肩縁との少なくともいずれかを表す線形化情報を生成し、
    前記地図生成システムの評価部が、前記線形化情報を構成する部分情報毎に、前記部分情報の信頼度を示す評価値を計算し、
    前記地図生成システムの表示部が、前記線形化情報を示す前記ノード及び前記リンクと、前記点群データとを重畳させて表示し、前記評価値が示す前記信頼度が閾値よりも低い前記部分情報を、他の前記部分情報と異なる表示態様で表示する地図生成方法。
  12. 図化部が、計測装置によって得られた計測情報であって、車道の周辺の地物の位置を表す複数の点データである点群データを含む計測情報に基づき、前記点群データに含まれる点データをノードとして選択し、選択したノードをリンクにより接続することにより、前記車道の区画線と路肩縁との少なくともいずれかを表す線形化情報を生成する図化処理と、
    評価部が、前記図化処理によって生成された前記線形化情報を構成する部分情報毎に、前記部分情報の信頼度を示す評価値を計算する評価処理と、
    表示部が、前記線形化情報を示す前記ノード及び前記リンクと、前記点群データとを重畳させて表示する表示処理であって、前記評価処理によって計算された前記評価値が示す前記信頼度が閾値よりも低い前記部分情報を、他の前記部分情報と異なる表示態様で表示する表示処理と
    をコンピュータに実行させる地図生成プログラム。
JP2022005008A 2018-10-29 2022-01-17 地図生成システム、地図生成方法及び地図生成プログラム Active JP7233575B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018202601 2018-10-29
JP2018202601 2018-10-29
PCT/JP2019/039806 WO2020090388A1 (ja) 2018-10-29 2019-10-09 地図生成システム、地図生成方法及び地図生成プログラム
JP2020553724A JP7012170B2 (ja) 2018-10-29 2019-10-09 地図生成システム、地図生成方法及び地図生成プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020553724A Division JP7012170B2 (ja) 2018-10-29 2019-10-09 地図生成システム、地図生成方法及び地図生成プログラム

Publications (2)

Publication Number Publication Date
JP2022051770A JP2022051770A (ja) 2022-04-01
JP7233575B2 true JP7233575B2 (ja) 2023-03-06

Family

ID=70464009

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020553724A Active JP7012170B2 (ja) 2018-10-29 2019-10-09 地図生成システム、地図生成方法及び地図生成プログラム
JP2022005008A Active JP7233575B2 (ja) 2018-10-29 2022-01-17 地図生成システム、地図生成方法及び地図生成プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020553724A Active JP7012170B2 (ja) 2018-10-29 2019-10-09 地図生成システム、地図生成方法及び地図生成プログラム

Country Status (4)

Country Link
US (1) US11521337B2 (ja)
EP (1) EP3876203A4 (ja)
JP (2) JP7012170B2 (ja)
WO (1) WO2020090388A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7444123B2 (ja) 2021-03-30 2024-03-06 トヨタ自動車株式会社 データ補正装置、データ補正方法、データ補正プログラム及び車両
WO2023192515A1 (en) * 2022-03-31 2023-10-05 Zoox, Inc. Ground profile estimation for sensor data
DE102022207736B3 (de) 2022-07-27 2023-08-03 Continental Autonomous Mobility Germany GmbH Verfahren zur Bestimmung des rückwärtigen Verlaufs einer Straßengrenze eines Fahrzeuges sowie Assistenzsystem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271162A (ja) 2009-05-21 2010-12-02 Mitsubishi Electric Corp 道路レーンデータ生成装置、道路レーンデータ生成方法および道路レーンデータ生成プログラム
JP2017026417A (ja) 2015-07-21 2017-02-02 トヨタ自動車株式会社 情報提示システム
JP2017037472A (ja) 2015-08-10 2017-02-16 富士重工業株式会社 車線認識装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3722487B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP4915739B2 (ja) * 2007-05-31 2012-04-11 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP2008309529A (ja) 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP5285311B2 (ja) 2008-03-18 2013-09-11 株式会社ゼンリン 路面標示地図生成方法
JP5007840B2 (ja) * 2009-05-22 2012-08-22 トヨタ自動車株式会社 運転支援装置
JP5286214B2 (ja) * 2009-09-30 2013-09-11 日立オートモティブシステムズ株式会社 車両制御装置
JP5281664B2 (ja) * 2011-02-23 2013-09-04 クラリオン株式会社 車線逸脱警報装置および車線逸脱警報システム
JP6185418B2 (ja) 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
JP2018510373A (ja) * 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
JP6666826B2 (ja) 2016-10-31 2020-03-18 株式会社トヨタマップマスター 地図データ作成装置、地図データ作成方法およびプログラム
US10670416B2 (en) * 2016-12-30 2020-06-02 DeepMap Inc. Traffic sign feature creation for high definition maps used for navigating autonomous vehicles
JP2018173834A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御装置
CN108664016B (zh) * 2017-03-31 2020-09-15 腾讯科技(深圳)有限公司 确定车道中心线的方法及装置
WO2019103150A1 (ja) 2017-11-27 2019-05-31 三菱電機株式会社 地図整備システムおよび地図整備方法
JP7323493B2 (ja) * 2020-06-22 2023-08-08 株式会社Soken 道路形状認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271162A (ja) 2009-05-21 2010-12-02 Mitsubishi Electric Corp 道路レーンデータ生成装置、道路レーンデータ生成方法および道路レーンデータ生成プログラム
JP2017026417A (ja) 2015-07-21 2017-02-02 トヨタ自動車株式会社 情報提示システム
JP2017037472A (ja) 2015-08-10 2017-02-16 富士重工業株式会社 車線認識装置

Also Published As

Publication number Publication date
JP7012170B2 (ja) 2022-01-27
WO2020090388A1 (ja) 2020-05-07
JP2022051770A (ja) 2022-04-01
EP3876203A1 (en) 2021-09-08
EP3876203A4 (en) 2021-12-29
US11521337B2 (en) 2022-12-06
US20210319602A1 (en) 2021-10-14
JPWO2020090388A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
JP7233575B2 (ja) 地図生成システム、地図生成方法及び地図生成プログラム
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
CN110084895B (zh) 对点云数据进行标注的方法和设备
CN101163940B (zh) 摄影位置分析方法
CN111542860A (zh) 用于自主车辆的高清地图的标志和车道创建
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
US11280630B2 (en) Updating map data
US20220035378A1 (en) Image segmentation
CA2684416A1 (en) Method of and apparatus for producing road information
CN104376297A (zh) 道路上的线型指示标志的检测方法和装置
WO2020156923A2 (en) Map and method for creating a map
Ravi et al. Lane width estimation in work zones using LiDAR-based mobile mapping systems
Song et al. End-to-end learning for inter-vehicle distance and relative velocity estimation in ADAS with a monocular camera
WO2019239477A1 (ja) 地図生成装置および地図生成システム
CN114969221A (zh) 一种更新地图的方法及相关设备
TW202022804A (zh) 路面影像重建與載具定位之方法與系統
EP4334186A1 (en) Automatic digital inspection of railway environment
JP7378893B2 (ja) 地図生成装置、地図生成方法及び地図生成プログラム
US20220270371A1 (en) Determining Distance of Objects
Xia High-definition map creation and update for autonomous driving
Takahashi et al. Trajectory-based Visualization of MMS Point Clouds
Harvey et al. Automatic compilation of 3D road features using LIDAR and multi-spectral source data
CN115164924A (zh) 基于视觉ai的融合定位方法、系统、设备及存储介质
JP2024037165A (ja) オブジェクトをモデリングするための方法、機器、記憶媒体及び車両制御方法
GB2620460A (en) Automatic digital inspection of railway environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7233575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150