JP7207359B2 - 道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラム - Google Patents

道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラム Download PDF

Info

Publication number
JP7207359B2
JP7207359B2 JP2020068673A JP2020068673A JP7207359B2 JP 7207359 B2 JP7207359 B2 JP 7207359B2 JP 2020068673 A JP2020068673 A JP 2020068673A JP 2020068673 A JP2020068673 A JP 2020068673A JP 7207359 B2 JP7207359 B2 JP 7207359B2
Authority
JP
Japan
Prior art keywords
road
partial
area
road area
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020068673A
Other languages
English (en)
Other versions
JP2021165913A (ja
Inventor
雅浩 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020068673A priority Critical patent/JP7207359B2/ja
Priority to EP21165338.1A priority patent/EP3893149A1/en
Priority to CN202110330059.7A priority patent/CN113495940B/zh
Priority to US17/217,062 priority patent/US11842494B2/en
Publication of JP2021165913A publication Critical patent/JP2021165913A/ja
Application granted granted Critical
Publication of JP7207359B2 publication Critical patent/JP7207359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像上の道路を表す道路領域を補正する道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラムに関する。
衛星写真または航空写真が表された画像から地図を生成する技術が提案されている(例えば、特許文献1~3を参照)。例えば、特許文献1に開示された地図情報の表示方法では、地図部分を表示する面の表示が、2次元ビューまたは3次元ビューにおいて少なくとも部分的に航空写真および/または衛星写真に基づく。また、特許文献2に開示された技術では、リモートセンシング画像から地図を生成する場合において、陰影の領域が認識される。さらに、特許文献3に開示された道路認識システムは、画像中の道路を表す部分を抽出した道路範囲画像を生成し、その道路範囲画像中の地上物を表す部分をマーキングした地上物抽出画像を生成する。そして道路認識システムは、地上物抽出画像中の道路ベクトルに平行な直線成分を抽出し、その直線成分に沿って地上物抽出画像を領域分割した道路領域分割画像を生成し、道路領域分割画像の各領域に含まれる地上物の大きさ及び占有割合に基づいて、その領域の属性を分類する。
特表2008-509441号公報 特開平11-283012号公報 特開2007-33931号公報
しかしながら上記の技術では、画像上の道路を表す領域(以下、単に道路領域と呼ぶことがある)が正確に抽出されないことがあった。
そこで、本発明は、鳥瞰画像から抽出された道路領域を、対応する個々の道路のそれぞれを正しく覆うように補正できる道路領域補正装置を提供することを目的とする。
本発明の一つの形態として、道路領域補正装置が提供される。この道路領域補正装置は、鳥瞰画像から抽出された道路が表された道路領域を複数の部分道路領域に区分する区分部と、複数の部分道路領域のそれぞれについて、その部分道路領域を、複数の道路区間のそれぞれの位置を表す地図情報に示される、その部分道路領域の位置にある道路区間と対応付ける対応付け部と、複数の部分道路領域のそれぞれについて、その部分道路領域が対応する道路区間を覆うように道路領域を補正する補正部とを有する。
この道路領域補正装置において、区分部は、道路領域を細線化あるいはスケルトン化することで道路領域の骨格線の集合を求め、骨格線の集合を、その骨格線の集合に含まれる端点または骨格線同士の分岐点が個々の骨格線の端点となるように個々の骨格線に分割し、道路領域に含まれる各画素を、分割された個々の骨格線のうちの最も近い骨格線に関連付け、分割された個々の骨格線のそれぞれについて、その骨格線に関連付けられた画素の集合を複数の部分道路領域の一つとすることで、道路領域を複数の部分道路領域に区分することが好ましい。
あるいは、この道路領域補正装置において、区分部は、道路領域の境界を表す画素のそれぞれを母点として道路領域をボロノイ分割することで道路領域についてのボロノイ境界の集合を求め、そのボロノイ境界の集合を、ボロノイ境界の集合に含まれるボロノイ点または端点が個々のボロノイ境界の端点となるように個々のボロノイ境界に分割し、道路領域に含まれる各画素を、分割された個々のボロノイ境界のうちの最も近いボロノイ境界に関連付け、分割された個々のボロノイ境界のそれぞれについて、そのボロノイ境界に関連付けられた画素の集合を複数の部分道路領域の一つとすることで、道路領域を複数の部分道路領域に区分することが好ましい。
さらに、この道路領域補正装置において、対応付け部は、鳥瞰画像が表す実空間の領域の位置及び範囲を表す情報を取得し、複数の部分道路領域のそれぞれについて、鳥瞰画像におけるその部分道路領域の基準点の位置と鳥瞰画像が表す実空間の領域の位置及び範囲とに基づいて、その部分道路領域の実空間での位置を求め、複数の道路区間のうち、その部分道路領域の実空間での位置に最も近い道路区間を、その部分道路領域の位置にある道路区間とすることが好ましい。
さらに、この道路領域補正装置において、補正部は、複数の道路区間のうちの同じ道路区間に対応付けられた、複数の部分道路領域のうちの1以上の部分道路領域に挟まれ、あるいは囲まれた、道路領域に含まれない鳥瞰画像の画素を道路領域に含めるよう、道路領域を補正することが好ましい。
本発明の他の形態として、道路領域補正方法が提供される。この道路領域補正方法は、鳥瞰画像から抽出された道路が表された道路領域を複数の部分道路領域に区分し、複数の部分道路領域のそれぞれについて、その部分道路領域を、複数の道路区間のそれぞれの位置を表す地図情報に示される、部分道路領域の位置にある道路区間と対応付け、複数の部分道路領域のそれぞれについて、その部分道路領域が対応する道路区間を覆うように道路領域を補正する、ことを含む。
本発明のさらに他の形態として、道路領域補正用コンピュータプログラムが提供される。この道路領域補正用コンピュータプログラムは、鳥瞰画像から抽出された道路が表された道路領域を複数の部分道路領域に区分し、複数の部分道路領域のそれぞれについて、その部分道路領域を、複数の道路区間のそれぞれの位置を表す地図情報に示される、部分道路領域の位置にある道路区間と対応付け、複数の部分道路領域のそれぞれについて、その部分道路領域が対応する道路区間を覆うように道路領域を補正する、ことをコンピュータに実行させるための命令を含む。
本発明に係る道路領域補正装置は、鳥瞰画像から抽出された道路領域を、対応する個々の道路のそれぞれを正しく覆うように補正することができるという効果を奏する。
一つの実施形態による、道路領域補正装置のハードウェア構成図である。 道路領域補正装置のプロセッサの機能ブロック図である。 鳥瞰画像及び抽出された道路領域の一例を示す図である。 道路領域を分割して得られる複数の部分道路領域の一例を示す図である。 補正前の道路領域と補正後の道路領域の一例を示す図である。 道路領域補正処理の動作フローチャートである。
以下、図を参照しつつ、道路領域補正装置、及び、その道路領域補正装置で利用される道路領域補正方法及び道路領域補正用コンピュータプログラムについて説明する。
車両の自動運転制御に利用される、いわゆる高精度地図情報には、車両制御装置が、その高精度地図情報を参照して、車線変更、合流、または追い越しなどに関する制御を適切に行うことができるよう、個々の道路における車線ごとの情報が含まれることが好ましい。そのような高精度地図情報を生成するために、航空写真または衛星写真が表された画像といった、道路が表された鳥瞰画像を利用することが考えられる。このような場合、鳥瞰画像から抽出された道路領域が対応する個々の道路を正しく覆っていることが求められる。
そこで、この道路領域補正装置は、鳥瞰画像から抽出された道路領域を複数の部分道路領域に区分し、複数の部分道路領域のそれぞれについて、その部分道路領域を、個々の道路区間の実空間での位置を表す地図情報(以下、道路地図情報と呼ぶことがある)に示される、その部分道路領域の位置にある道路区間と対応付ける。そしてこの道路領域補正装置は、複数の部分道路領域のそれぞれについて、その部分道路領域が対応する道路区間を覆うように道路領域を補正する。
なお、以下に説明する各実施形態または変形例において、道路領域補正処理の対象となる鳥瞰画像は、例えば、高解像度の衛星写真あるいは航空写真が表された画像とすることができる。また、道路地図情報は、例えば、ナビゲーション装置において目的地までのルート探索のために使用される地図情報とすることができる。しかし、道路地図情報は、これに限らず、個々の道路区間の実空間での位置を表すものであればよい。さらに、道路地図情報は、個々の道路区間の接続関係を表す情報を含んでもよい。
以下、一つの実施形態による道路領域補正装置について説明する。この道路領域補正装置は、鳥瞰画像上の道路を表す道路領域を抽出し、抽出した道路領域を、対応する個々の道路を正しく覆うように補正する。
図1は、道路領域補正装置のハードウェア構成図である。図1に示されるように、道路領域補正装置1は、通信インターフェース2と、入力装置3と、表示装置4と、メモリ5と、記憶媒体アクセス装置6と、プロセッサ7とを有する。
通信インターフェース2は、イーサネット(登録商標)などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。通信インターフェース2は、通信ネットワークを介して接続される他の機器(図示せず)から、様々な情報あるいはデータを受信してプロセッサ7へわたす。通信インターフェース2が受信するデータには、道路領域補正処理の対象となる、道路が表された鳥瞰画像と、その鳥瞰画像に表された地理的範囲を表す情報(例えば、その鳥瞰画像に表された領域の所定の位置(例えば、左上端または中心)の緯度及び経度、その領域の水平方向及び垂直方向の実空間でのサイズ、及び方位)が含まれていてもよい。さらに、通信インターフェース2が受信するデータには、道路地図情報が含まれてもよい。また通信インターフェース2は、プロセッサ7から受け取った、道路領域補正処理の実行結果として得られた道路領域を表す情報(以下、単に道路領域情報と呼ぶことがある)を、通信ネットワークを介して他の機器へ出力してもよい。
入力装置3は、例えば、キーボードと、マウスといったポインティングデバイスとを有する。そして入力装置3は、ユーザによる操作、例えば、道路領域補正処理の対象となる鳥瞰画像を選択する操作、道路領域補正処理の実行開始を指示する操作、あるいは、生成された道路領域情報を表示装置4に表示させる操作に応じた操作信号を生成し、その操作信号をプロセッサ7へ出力する。
表示装置4は、例えば、液晶ディスプレイまたは有機ELディスプレイを有する。そして表示装置4は、プロセッサ7から受け取った表示用のデータ、例えば、道路領域補正処理が実行される鳥瞰画像の候補を表すデータ、あるいは、生成された道路領域情報またはその一部を表示する。
なお、入力装置3と表示装置4とは、タッチパネルディスプレイのように一体化された装置であってもよい。
メモリ5は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリである。そしてメモリ5は、例えば、プロセッサ7で実行される道路領域補正処理用のコンピュータプログラム、その道路領域補正処理で用いられる各種のデータ、例えば、道路領域補正処理の対象となる鳥瞰画像及びその鳥瞰画像に表される地理的範囲を表す情報、道路地図情報、道路領域補正処理で用いられる識別器を規定するパラメータ群、及び、その道路領域補正処理の実行中に生成される各種のデータを記憶する。さらに、メモリ5は、生成された道路領域情報を記憶してもよい。
記憶媒体アクセス装置6は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体8にアクセスする装置である。なお、記憶媒体アクセス装置6は、記憶媒体8とともに、記憶部の他の一例を構成する。記憶媒体アクセス装置6は、例えば、記憶媒体8に記憶された、プロセッサ7上で実行される道路領域補正処理用のコンピュータプログラム、あるいは、道路領域補正処理の対象となる鳥瞰画像及びその鳥瞰画像に表される地理的範囲を表す情報を読み込み、プロセッサ7に渡す。あるいは、記憶媒体アクセス装置6は、生成された道路領域情報をプロセッサ7から受け取って、その道路領域情報を記憶媒体8に書き込んでもよい。
プロセッサ7は、処理部の一例であり、例えば、1個または複数個のCPU及びその周辺回路を有する。さらに、プロセッサ7は、数値演算用の演算回路、グラフィック処理用の演算回路及び論理演算用の演算回路を有していてもよい。そしてプロセッサ7は、道路領域補正装置1全体を制御する。また、プロセッサ7は、道路領域補正処理の対象となる、道路が表された鳥瞰画像に対して道路領域補正処理を実行する。
図2は、プロセッサ7の機能ブロック図である。図2に示されるように、プロセッサ7は、抽出部11と、区分部12と、対応付け部13と、補正部14とを有する。プロセッサ7が有するこれらの各部は、例えば、プロセッサ7上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、プロセッサ7が有するこれらの各部は、プロセッサ7に設けられる、専用の演算回路であってもよい。
抽出部11は、対象となる鳥瞰画像から道路領域を抽出する。そのために、抽出部11は、例えば、対象となる鳥瞰画像を、画像の画素ごとに、その画素に表された物体の種類を出力するように予め学習された識別器に入力することで道路領域を抽出する。
抽出部11は、識別器として、例えば、コンボリューショナルニューラルネットワーク(Convolutional Neural Network, CNN)型のアーキテクチャを持つ、いわゆるディープニューラルネットワーク(Deep Neural Network, DNN)を用いることができる。具体的には、抽出部11は、識別器として、セマンティックセグメンテーション用のCNN、例えば、Fully Convolutional Network(FCN)(Long, J., Shelhamer他, 「Fully convolutional networks for semantic segmentation」, In CVPR, 2015年)、U-Net、SegNet、PSPNetあるいはRefineNetといったCNNを用いることができる。あるいはまた、抽出部11は、識別器として、ランダムフォレストといった他のセマンティックセグメンテーション技術に従った識別器を用いてもよい。
図3は、鳥瞰画像及び抽出された道路領域の一例を示す図である。図3において、画像300は、道路領域抽出の対象となる鳥瞰画像の一例であり、2値画像310は、鳥瞰画像300から抽出された道路領域311を表す。なお、この例では、道路領域311は、黒色で表される。鳥瞰画像300に表された道路301に建物の影が掛かるといった理由により、道路301の一部に関して、道路として識別することが困難な箇所がある。そのため、道路領域が正確に抽出されず、その結果として、道路301が途切れていないにもかかわらず、道路領域311では途切れている箇所311aが存在する。同様に、道路301の車線間に空間が無いにもかかわらず、道路領域311内に穴311bが存在する。このような途切れ箇所311a及び穴311bは、道路領域311を参照して高精度地図情報を生成する際に、高精度地図情報に含まれる車線ごとの接続関係を表すレーンネットワークが正確に求められなくなる要因となり得る。そのため、途切れ箇所311a及び穴311bが無くなるように、道路領域311は補正されることが好ましい。
抽出部11は、抽出した道路領域を表す情報を、区分部12及び補正部14へわたす。なお、道路領域を表す情報は、例えば、道路領域の抽出対象となった鳥瞰画像と同サイズを有し、かつ、道路領域に含まれる画素と道路領域に含まれない画素とが互いに異なる値を有する2値画像とすることができる。
区分部12は、道路領域を複数の部分道路領域に区分する。本実施形態では、区分部12は、複数の部分道路領域のそれぞれについて、道路地図情報において表される個々の道路区間の何れかと対応付けることが容易となるよう、例えば、道路領域の延伸方向における何れかの端部または交差点などの分岐点が何れかの部分道路領域の一端となるように、道路領域を複数の部分道路領域に区分する。そのために、区分部12は、例えば、道路領域をスケルトン化あるいは細線化することで、道路領域の骨格を表す、1画素幅で連続する骨格線の集合(以下、スケルトンネットリンクスと呼ぶことがある)を求める。なお、区分部12は、様々なスケルトン処理のアルゴリズムまたは様々な細線化処理のアルゴリズムの何れかを道路領域に適用して、道路領域のスケルトンネットリンクスを求めればよい。
区分部12は、道路領域のスケルトンネットリンクスを、複数の部分骨格線に分割する。その際、区分部12は、個々の部分骨格線の一端が、スケルトンネットリンクスに含まれる骨格線同士の分岐点または骨格線の端点となるように個々の部分骨格線を決定すればよい。さらに、区分部12は、骨格線が所定角度以上で屈折する位置を、骨格線の端点としてもよい。
区分部12は、道路領域に含まれる各画素について、複数の部分骨格線のうち、その画素から最も近い部分骨格線に関連付ける。そして区分部12は、各部分骨格線について、その部分骨格線に関連付けられた画素の集合となる領域を、一つの部分道路領域とする。これにより、区分部12は、道路領域を、道路地図情報に示される何れかの道路区間との対応付けが容易となるように複数の部分道路領域に区分することができる。
図4は、道路領域を分割して得られる複数の部分道路領域の一例を示す図である。図4の左側に示される2値画像400において、道路領域401は黒色で表される。道路領域401に対して細線化処理またはスケルトン処理を適用することで、白線で表されるスケルトンネットリンクス402が得られる。そして図4の右側に示される画像410のように、道路領域401内の各画素が、スケルトンネットリンクス402に含まれる各部分骨格線の何れかに関連付けられることで、個々の部分道路領域411が得られる。
区分部12は、個々の部分道路領域を表す情報を、対応付け部13へわたす。なお、個々の部分道路領域を表す情報は、例えば、道路領域の抽出対象となった鳥瞰画像と同サイズを有し、かつ、部分道路領域ごとに、その部分道路領域に含まれる画素の値が他の部分道路領域に含まれる画素の値と異なる値を有する画像とすることができる。
対応付け部13は、複数の部分道路領域のそれぞれについて、その部分道路領域を、道路地図情報に示される、その部分道路領域の位置にある道路区間と対応付ける。本実施形態では、対応付け部13は、複数の部分道路領域に対して同じ処理を行って道路区間と対応付ければよいので、以下では、着目する一つの部分道路領域に対する処理を説明する。
対応付け部13は、道路領域の抽出対象となった元の鳥瞰画像の地理的範囲を表す情報、すなわち、その鳥瞰画像に表された実空間の領域の位置及び範囲を表す情報を、通信インターフェース2を介して、あるいは、メモリ5または記憶媒体8から取得する。そして対応付け部13は、着目する部分道路領域の基準点の鳥瞰画像における位置とその鳥瞰画像が表す実空間の領域の位置及び範囲とに基づいて、その部分道路領域の実空間での位置を求める。例えば、対応付け部13は、着目する部分道路領域の重心位置、あるいは、対応する骨格線の中点の位置を、その部分道路領域の基準点として求める。そして対応付け部13は、鳥瞰画像の水平方向及び垂直方向のそれぞれについて、その鳥瞰画像のサイズに対する、その鳥瞰画像の所定位置(例えば、左上端または中心)から着目する部分道路領域の基準点の位置までの距離の比に、その鳥瞰画像に表された領域の実空間でのサイズを乗じることで、鳥瞰画像の所定位置に対応する実空間での位置からその部分道路領域の実空間での位置までのずれ量をもとめることができる。さらに、対応付け部13は、そのずれ量と、鳥瞰画像の所定位置に対応する実空間での位置の緯度及び経度と、その鳥瞰画像の水平方向または垂直方向の方位とに基づいて、実空間での着目する部分道路領域の位置を求めることができる。
対応付け部13は、道路地図情報に表される個々の道路区間の位置を参照して、その個々の道路区間のうち、着目する部分道路領域の実空間の位置に最も近い道路区間を特定する。そして対応付け部13は、特定した道路区間を、着目する部分道路領域の位置にある道路区間として、着目する部分道路領域に対応付ければよい。これにより、対応付け部13は、着目する部分道路領域を、その部分道路領域の位置にある道路区間に正しく対応付けることができる。なお、対応付け部13は、一つの部分道路領域に対して複数の基準点を設定してもよい。そして対応付け部13は、複数の基準点のそれぞれに対して上記の処理と同様の処理を行うことで、その部分道路領域に対して複数の道路区間を対応付けてもよい。あるいは、対応付け部13は、2以上の部分道路領域を、一つの道路区間に対応付けてもよい。
対応付け部13は、複数の部分道路領域のそれぞれについて、その部分道路領域と対応付けられた道路区間を表す情報を補正部14へ通知する。なお、道路区間を表す情報は、例えば、道路地図情報においてその道路区間に割り当てられた識別番号(例えば、リンクID)とすることができる。
補正部14は、複数の部分道路領域のそれぞれについて、その部分道路領域を、対応する道路区間を覆うように補正する。その際、補正部14は、同じ道路区間に対応付けられた1以上の部分道路領域に挟まれ、あるいは囲まれた、道路領域に含まれない鳥瞰画像の画素(例えば、図3における途切れ箇所311aまたは穴311bに相当する画素)についても、道路領域に含まれるように補正すればよい。そのために、補正部14は、例えば、各部分道路領域に対して、モルフォロジーによる膨張収縮演算を所定回数以上実行することで、部分道路領域内に含まれる穴を塞ぎ、あるいは、対応する道路区間を横切るよう途切れ部分を無くして、対応する道路区間を覆うように各部分道路領域を補正することができる。ただし、補正部14は、異なる道路区間と対応付けられた二つの部分道路領域に挟まれ、あるいは囲まれた、何れの部分道路領域にも含まれない画素についてはそのままとする。そのような補正対象とならない画素同士が連続して存在する領域は、補正対象となる画素が連続して存在する領域と異なり、異なる道路区間と対応付けられた二つ以上の部分道路領域と接する。そのため、対応付け部13は、補正対象となる画素と補正対象とならない画素とを区別することができる。
なお、各部分道路領域について、道路区間との対応付けを行わず、道路領域に対してモルフォロジーによる膨張収縮演算を直接適用すると、ラウンドアバウトのように道路自体に穴のように見える部分が有る場合、誤ってそのような部分が塞がれてしまうことがある。しかし、本実施形態によれば、補正部14は、そのような誤った道路領域の補正を防止することができる。
図5は、補正前の道路領域と補正後の道路領域の一例を示す図である。左側に示される2値画像500は、補正前の道路領域501を表し、一方、右側に示される2値画像510は、補正後の道路領域511を表す。2値画像500及び2値画像510のそれぞれにおいて、道路領域は黒色で表される。補正前の道路領域501では、途切れ箇所501a及び穴501bが含まれているのに対して、補正後の道路領域511では、そのような途切れ箇所及び穴が無くなっている。そのため、補正前の道路領域501よりも、補正後の道路領域511の方が、道路全体を正確に表していることが分かる。
補正部14は、補正後の道路領域を表す情報を、記憶媒体アクセス装置6を介して記憶媒体8に書き込む。あるいは、補正部14は、補正後の道路領域を表す情報を、通信インターフェース2を介して他の機器へ出力してもよい。あるいはまた、補正部14は、補正後の道路領域を表す情報を、表示装置4に表示させてもよい。
補正後の道路領域を表す情報は、例えば、元の鳥瞰画像において車線区画線、一時停止線などの道路標示の検出対象となる領域を表す情報として利用される。そして例えば、元の鳥瞰画像において、補正後の道路領域以外をマスクすることで得られる画像が、道路標示を検出するように予め学習された識別器に入力されることで、道路標示が検出される。そして検出された道路標示を利用して、高精度地図情報が生成される。
図6は、道路領域補正処理の動作フローチャートである。プロセッサ7は、道路領域補正処理の対象となる鳥瞰画像ごとに、下記の動作フローチャートに従って道路領域補正処理を実行すればよい。
プロセッサ7の抽出部11は、鳥瞰画像を識別器に入力することで、その鳥瞰画像上の道路領域を抽出する(ステップS101)。プロセッサ7の区分部12は、抽出された道路領域を複数の部分道路領域に区分する(ステップS102)。
プロセッサ7の対応付け部13は、複数の部分道路領域のそれぞれについて、その部分道路領域を、道路地図情報に示される、その部分道路領域の位置にある道路区間と対応付ける(ステップS103)。そしてプロセッサ7の補正部14は、複数の部分道路領域のそれぞれについて、その部分道路領域を、対応する道路区間を覆うように補正する(ステップS104)。ステップS104の後、プロセッサ7は、道路領域補正処理を終了する。
以上に説明してきたように、この道路領域補正装置は、鳥瞰画像から抽出された道路領域を複数の部分道路領域に区分し、複数の部分道路領域のそれぞれについて、その部分道路領域を、道路地図情報に示される、その部分道路領域の位置にある道路区間と対応付ける。そしてこの道路領域補正装置は、複数の部分道路領域のそれぞれについて、その部分道路領域が対応する道路区間を覆うように、道路領域を補正する。そのため、この道路領域補正装置は、鳥瞰画像から抽出された道路領域を、対応する個々の道路のそれぞれを正しく覆うように補正することができる。
変形例によれば、区分部12は、細線化処理またはスケルトン処理以外の手法に従って道路領域を複数の部分道路領域に区分してもよい。例えば、区分部12は、道路領域に対してボロノイ分割処理を適用することで、道路領域を複数の部分道路領域に区分してもよい。この場合、区分部12は、道路領域を表す2値画像における、道路領域の境界を表す画素のそれぞれを母点としてその2値画像をボロノイ分割することでボロノイ境界を求める。なお、区分部12は、ボロノイ分割を実行する任意のアルゴリズムに従ってボロノイ境界を求めればよい。
ボロノイ境界は、直近の二つの母点から等距離となる位置に設けられる。したがって、道路領域の境界を表す画素のそれぞれを母点とした場合、ボロノイ境界は、個々の道路に沿って延伸し、かつ、個々の道路内に位置するように求められることになる。さらに、交差点では、ボロノイ境界同士が交差する。したがって、個々の交差点には、ボロノイ境界が交差する点、すなわち、ボロノイ点が出現する。したがって、区分部12は、ボロノイ点またはボロノイ境界の端点をそれぞれ一端とするように、ボロノイ境界を分割することで、上記の実施形態におけるスケルトンネットリンクスと同様の骨格線の集合を求めることができる。そして区分部12は、上記の実施形態と同様に、道路領域に含まれる各画素について、分割された個々のボロノイ境界のうち、その画素から最も近いボロノイ境界に関連付ける。そして区分部12は、分割された個々のボロノイ境界について、そのボロノイ境界に関連付けられた画素の集合となる領域を、一つの部分道路領域とすればよい。この変形例によれば、交差点ごとに一つのボロノイ点が求められるので、区分部12は、交差点において複数の部分道路領域が設定されることを抑制できる。そのため、区分部12は、道路領域をより適切に複数の部分道路領域に分割することができる。
他の実施形態によれば、道路領域補正装置は、道路領域補正処理の対象となる鳥瞰画像とともに、その鳥瞰画像から抽出された道路領域を表す情報を他の機器から通信インターフェース2を介して受信してもよい。この場合には、抽出部11は省略されてもよい。
さらに、上記の各実施形態または変形例による道路領域補正装置のプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。なお、コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリとすることができる。
1 道路領域補正装置
2 通信インターフェース
3 入力装置
4 表示装置
5 メモリ
6 記憶媒体アクセス装置
7 プロセッサ
8 記憶媒体
11 抽出部
12 区分部
13 対応付け部
14 補正部

Claims (8)

  1. 鳥瞰画像から抽出された道路が表された道路領域を複数の部分道路領域に区分する区分部と、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域を、複数の道路区間のそれぞれの位置を表す地図情報に示される、当該部分道路領域の位置にある道路区間と対応付ける対応付け部と、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域が対応する前記道路区間を覆うように前記道路領域を補正する補正部と、
    を有し、
    前記区分部は、前記道路領域を細線化あるいはスケルトン化することで前記道路領域の骨格線の集合を求め、前記骨格線の集合を、前記骨格線の集合に含まれる端点または骨格線同士の分岐点が個々の骨格線の端点となるように前記個々の骨格線に分割し、前記道路領域に含まれる各画素を、分割された前記個々の骨格線のうちの最も近い骨格線に関連付け、分割された前記個々の骨格線のそれぞれについて、当該骨格線に関連付けられた画素の集合を前記複数の部分道路領域の一つとすることで、前記道路領域を前記複数の部分道路領域に区分する道路領域補正装置。
  2. 鳥瞰画像から抽出された道路が表された道路領域を複数の部分道路領域に区分する区分部と、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域を、複数の道路区間のそれぞれの位置を表す地図情報に示される、当該部分道路領域の位置にある道路区間と対応付ける対応付け部と、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域が対応する前記道路区間を覆うように前記道路領域を補正する補正部と、
    を有し、
    前記区分部は、前記道路領域の境界を表す画素のそれぞれを母点として前記道路領域をボロノイ分割することで前記道路領域についてのボロノイ境界の集合を求め、前記ボロノイ境界の集合を、前記ボロノイ境界の集合に含まれるボロノイ点または端点が個々のボロノイ境界の端点となるように前記個々のボロノイ境界に分割し、前記道路領域に含まれる各画素を、分割された前記個々のボロノイ境界のうちの最も近いボロノイ境界に関連付け、分割された前記個々のボロノイ境界のそれぞれについて、当該ボロノイ境界に関連付けられた画素の集合を前記複数の部分道路領域の一つとすることで、前記道路領域を前記複数の部分道路領域に区分する道路領域補正装置。
  3. 前記対応付け部は、前記鳥瞰画像が表す実空間の領域の位置及び範囲を表す情報を取得し、前記複数の部分道路領域のそれぞれについて、前記鳥瞰画像における当該部分道路領域の基準点の位置と前記鳥瞰画像が表す前記実空間の領域の位置及び範囲とに基づいて、当該部分道路領域の実空間での位置を求め、前記複数の道路区間のうち、当該部分道路領域の実空間での位置に最も近い道路区間を、当該部分道路領域の位置にある道路区間とする、請求項1または2に記載の道路領域補正装置。
  4. 前記補正部は、前記複数の道路区間のうちの同じ道路区間に対応付けられた、前記複数の部分道路領域のうちの1以上の部分道路領域に挟まれ、あるいは囲まれた、前記道路領域に含まれない前記鳥瞰画像の画素を前記道路領域に含めるよう、前記道路領域を補正する、請求項1~3の何れか一項に記載の道路領域補正装置。
  5. 鳥瞰画像から抽出された道路が表された道路領域を複数の部分道路領域に区分し、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域を、複数の道路区間のそれぞれの位置を表す地図情報に示される、当該部分道路領域の位置にある道路区間と対応付け、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域が対応する前記道路区間を覆うように前記道路領域を補正する、
    ことを含み、
    前記道路領域を前記複数の部分道路領域に区分することは、
    前記道路領域を細線化あるいはスケルトン化することで前記道路領域の骨格線の集合を求め、前記骨格線の集合を、前記骨格線の集合に含まれる端点または骨格線同士の分岐点が個々の骨格線の端点となるように前記個々の骨格線に分割し、前記道路領域に含まれる各画素を、分割された前記個々の骨格線のうちの最も近い骨格線に関連付け、分割された前記個々の骨格線のそれぞれについて、当該骨格線に関連付けられた画素の集合を前記複数の部分道路領域の一つとすることで、前記道路領域を前記複数の部分道路領域に区分する、道路領域補正方法。
  6. 鳥瞰画像から抽出された道路が表された道路領域を複数の部分道路領域に区分し、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域を、複数の道路区間のそれぞれの位置を表す地図情報に示される、当該部分道路領域の位置にある道路区間と対応付け、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域が対応する前記道路区間を覆うように前記道路領域を補正する、
    ことを含み、
    前記道路領域を前記複数の部分道路領域に区分することは、
    前記道路領域の境界を表す画素のそれぞれを母点として前記道路領域をボロノイ分割することで前記道路領域についてのボロノイ境界の集合を求め、前記ボロノイ境界の集合を、前記ボロノイ境界の集合に含まれるボロノイ点または端点が個々のボロノイ境界の端点となるように前記個々のボロノイ境界に分割し、前記道路領域に含まれる各画素を、分割された前記個々のボロノイ境界のうちの最も近いボロノイ境界に関連付け、分割された前記個々のボロノイ境界のそれぞれについて、当該ボロノイ境界に関連付けられた画素の集合を前記複数の部分道路領域の一つとすることで、前記道路領域を前記複数の部分道路領域に区分する、道路領域補正方法。
  7. 鳥瞰画像から抽出された道路が表された道路領域を複数の部分道路領域に区分し、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域を、複数の道路区間のそれぞれの位置を表す地図情報に示される、当該部分道路領域の位置にある道路区間と対応付け、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域が対応する前記道路区間を覆うように前記道路領域を補正する、
    ことをコンピュータに実行させ
    前記道路領域を前記複数の部分道路領域に区分することは、
    前記道路領域を細線化あるいはスケルトン化することで前記道路領域の骨格線の集合を求め、前記骨格線の集合を、前記骨格線の集合に含まれる端点または骨格線同士の分岐点が個々の骨格線の端点となるように前記個々の骨格線に分割し、前記道路領域に含まれる各画素を、分割された前記個々の骨格線のうちの最も近い骨格線に関連付け、分割された前記個々の骨格線のそれぞれについて、当該骨格線に関連付けられた画素の集合を前記複数の部分道路領域の一つとすることで、前記道路領域を前記複数の部分道路領域に区分する、道路領域補正用コンピュータプログラム。
  8. 鳥瞰画像から抽出された道路が表された道路領域を複数の部分道路領域に区分し、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域を、複数の道路区間のそれぞれの位置を表す地図情報に示される、当該部分道路領域の位置にある道路区間と対応付け、
    前記複数の部分道路領域のそれぞれについて、当該部分道路領域が対応する前記道路区間を覆うように前記道路領域を補正する、
    ことをコンピュータに実行させ、
    前記道路領域を前記複数の部分道路領域に区分することは、
    前記道路領域の境界を表す画素のそれぞれを母点として前記道路領域をボロノイ分割することで前記道路領域についてのボロノイ境界の集合を求め、前記ボロノイ境界の集合を、前記ボロノイ境界の集合に含まれるボロノイ点または端点が個々のボロノイ境界の端点となるように前記個々のボロノイ境界に分割し、前記道路領域に含まれる各画素を、分割された前記個々のボロノイ境界のうちの最も近いボロノイ境界に関連付け、分割された前記個々のボロノイ境界のそれぞれについて、当該ボロノイ境界に関連付けられた画素の集合を前記複数の部分道路領域の一つとすることで、前記道路領域を前記複数の部分道路領域に区分する、道路領域補正用コンピュータプログラム。
JP2020068673A 2020-04-06 2020-04-06 道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラム Active JP7207359B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020068673A JP7207359B2 (ja) 2020-04-06 2020-04-06 道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラム
EP21165338.1A EP3893149A1 (en) 2020-04-06 2021-03-26 Apparatus, method, and computer program for correcting road region
CN202110330059.7A CN113495940B (zh) 2020-04-06 2021-03-29 道路区域校正装置、道路区域校正方法以及能够由计算机读取的记录介质
US17/217,062 US11842494B2 (en) 2020-04-06 2021-03-30 Apparatus, method, and computer program for correcting road region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020068673A JP7207359B2 (ja) 2020-04-06 2020-04-06 道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2021165913A JP2021165913A (ja) 2021-10-14
JP7207359B2 true JP7207359B2 (ja) 2023-01-18

Family

ID=75252477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020068673A Active JP7207359B2 (ja) 2020-04-06 2020-04-06 道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラム

Country Status (4)

Country Link
US (1) US11842494B2 (ja)
EP (1) EP3893149A1 (ja)
JP (1) JP7207359B2 (ja)
CN (1) CN113495940B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113899384B (zh) * 2021-12-09 2022-02-22 腾讯科技(深圳)有限公司 车道级道路的路口面显示方法、装置、设备、介质及程序
CN115294489B (zh) * 2022-06-22 2023-06-09 太原理工大学 一种灾害视频数据的语义分割方法和系统
CN115292305B (zh) * 2022-10-09 2023-01-24 交通运输部科学研究院 一种地物抽稀方法和装置
CN117409328B (zh) * 2023-12-14 2024-02-27 城云科技(中国)有限公司 用于道路病害检测的无因果性目标检测模型、方法及应用
CN118038084A (zh) * 2024-04-15 2024-05-14 江西核工业测绘院集团有限公司 一种用于地理数据测绘的多元化骨架线提取处理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132353A (ja) 2001-10-29 2003-05-09 Pasuko:Kk 中心線生成プログラム
JP2006023958A (ja) 2004-07-07 2006-01-26 Hitachi Software Eng Co Ltd 道路領域決定可能プログラム及び道路領域決定方法
JP2017054346A (ja) 2015-09-10 2017-03-16 株式会社パスコ 道路データ生成装置、道路データ生成方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11283012A (ja) 1998-03-31 1999-10-15 Hitachi Software Eng Co Ltd 陰の認識方法
JP3222438B2 (ja) * 1999-07-28 2001-10-29 株式会社ゼンリン 地図表示装置及びその方法
JP3707770B2 (ja) * 2000-02-14 2005-10-19 松下電器産業株式会社 地図情報修正装置および地図情報修正方法
US7613331B2 (en) * 2003-01-22 2009-11-03 Increment P Corporation Recording medium storing map information, map information processing device, map information processing system, map information processing method, map information processing program and recording medium storing the map information processing program
US7660441B2 (en) * 2004-07-09 2010-02-09 Southern California, University System and method for fusing geospatial data
DE102004038739A1 (de) 2004-08-10 2006-02-23 Robert Bosch Gmbh Verfahren zur Darstellung von Karteninformationen
CN101010710A (zh) * 2005-07-07 2007-08-01 松下电器产业株式会社 地图信息校正装置、地图信息校正方法、程序、和使用地图信息校正装置的信息提供装置和信息获取装置
JP2007033931A (ja) 2005-07-27 2007-02-08 Hitachi Software Eng Co Ltd 衛星画像等を用いた地図作成のための道路認識システム
JP4902575B2 (ja) 2008-02-27 2012-03-21 日立オートモティブシステムズ株式会社 道路標示認識装置、および道路標示認識方法
US8060271B2 (en) * 2008-06-06 2011-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Detecting principal directions of unknown environments
CN105676253B (zh) * 2016-01-15 2019-01-01 武汉光庭科技有限公司 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法
CN108242203A (zh) * 2016-12-23 2018-07-03 中兴通讯股份有限公司 一种区域划分方法及装置
CN106997466B (zh) * 2017-04-12 2021-05-04 百度在线网络技术(北京)有限公司 用于检测道路的方法和装置
JP2019027965A (ja) * 2017-08-01 2019-02-21 パイオニア株式会社 補正装置、補正方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132353A (ja) 2001-10-29 2003-05-09 Pasuko:Kk 中心線生成プログラム
JP2006023958A (ja) 2004-07-07 2006-01-26 Hitachi Software Eng Co Ltd 道路領域決定可能プログラム及び道路領域決定方法
JP2017054346A (ja) 2015-09-10 2017-03-16 株式会社パスコ 道路データ生成装置、道路データ生成方法、及びプログラム

Also Published As

Publication number Publication date
EP3893149A1 (en) 2021-10-13
US11842494B2 (en) 2023-12-12
CN113495940A (zh) 2021-10-12
JP2021165913A (ja) 2021-10-14
US20210312176A1 (en) 2021-10-07
CN113495940B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
JP7207359B2 (ja) 道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラム
US11486727B2 (en) Map generation device, map generation method, and map generation computer program
EP4145393B1 (en) Vehicle localization
US11294392B2 (en) Method and apparatus for determining road line
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN110155053A (zh) 提供用于驾驶车辆的信息的方法和设备
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN111178253A (zh) 自动驾驶的视觉感知方法、装置、计算机设备和存储介质
US10185880B2 (en) Method and apparatus for augmenting a training data set
US20220155097A1 (en) Apparatus, method, and computer program for generating map
KR102218881B1 (ko) 차량 위치 결정 방법 및 시스템
CN113033497B (zh) 车道线识别方法、装置、设备及计算机可读存储介质
EP3796261A1 (en) Method and apparatus with location estimation
JP7418281B2 (ja) 地物の分類システム、分類方法及びそのプログラム
CN112348116A (zh) 利用空间上下文的目标检测方法、装置和计算机设备
CN114758086A (zh) 一种城市道路信息模型的构建方法及装置
JP2001117487A (ja) ポリゴン道路網データ作成装置及び方法
JP7435483B2 (ja) 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム
CN114519819A (zh) 一种基于全局上下文感知的遥感图像目标检测方法
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
US11835359B2 (en) Apparatus, method and computer program for generating map
CN112767477A (zh) 一种定位方法、装置、存储介质及电子设备
JP7310957B2 (ja) 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム
CN113033593A (zh) 基于深度学习的文本检测训练方法及装置
US20240119740A1 (en) Method and apparatus with lane line determination

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R151 Written notification of patent or utility model registration

Ref document number: 7207359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151