JP7314693B2 - 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム - Google Patents

路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム Download PDF

Info

Publication number
JP7314693B2
JP7314693B2 JP2019141784A JP2019141784A JP7314693B2 JP 7314693 B2 JP7314693 B2 JP 7314693B2 JP 2019141784 A JP2019141784 A JP 2019141784A JP 2019141784 A JP2019141784 A JP 2019141784A JP 7314693 B2 JP7314693 B2 JP 7314693B2
Authority
JP
Japan
Prior art keywords
road surface
surface condition
information
section
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019141784A
Other languages
English (en)
Other versions
JP2021026353A (ja
Inventor
泉 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019141784A priority Critical patent/JP7314693B2/ja
Publication of JP2021026353A publication Critical patent/JP2021026353A/ja
Application granted granted Critical
Publication of JP7314693B2 publication Critical patent/JP7314693B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、路面性状調査システム、路面性状調査方法、及び路面性状調査プログラムに関する。
道路、線路、トンネル等は、車両の通行、気候、外部からの圧力等によって損傷し、その損傷が拡大すると、重大な事故等の発生に繋がる。そのため、損傷状態の評価を行うために定期的な点検が必要とされている。道路の路面については、代表的な損傷点検項目として、ひび割れ、わだち掘れ(道路の幅方向の凹凸)、平坦性(車両進行方向の凹凸)がある。
例えば特許文献1には、車両に搭載したステレオカメラの撮像画像に基づき、車両が走行する路面の三次元形状データや輝度画像を生成して、これらの情報に基づき上記の損傷点検項目を算出することが記載されている。
ところで、道路の路面は天候(濡れているか乾いているか)や季節(落葉の有無など)、周囲の環境(アンダーパス、トンネルなど)などのさまざまな要因によって撮像画像に差異が出る場合が考えられる。このため、撮像画像に基づき算出される路面性状に関する情報にも誤差やご検出の影響が出ると考えられ、路面性状情報の算出精度向上の点でさらなる改善の余地がある。
本発明は、路面性状情報を高精度に算出可能とすることを目的とする。
上述した課題を解決するために、本発明の一観点に係る路面性状調査システムは、車両が走行する道路の路面性状に関する路面性状情報を算出する路面性状算出部と、前記車両が走行する道路の路面画像を取得する路面画像取得部と、前記車両が走行する道路の周辺情報を取得する周辺情報取得部と、前記路面画像及び前記周辺情報に基づき、前記路面性状算出部により算出される前記路面性状情報の精度低下の可能性が高い精度低下区間を抽出する区間抽出部と、前記路面性状算出部により算出された前記路面性状情報を対応する走行区間と関連付けた路面性状データを、前記区間抽出部により抽出された前記精度低下区間の情報を反映させて出力する出力部と、を備え、前記区間抽出部は、前記路面性状情報の精度低下の可能性が高い区間として、前記路面画像及び前記周辺情報に基づき前記路面性状情報の算出が困難と判断し得る計測困難シーン、前記路面画像及び前記周辺情報に基づき前記路面性状情報の誤差が増大すると判断し得る誤差発生可能性シーン、及び、前記周辺情報に基づき前記路面性状情報の算出から除外すべきと判断し得る計測除外推奨シーン、の少なくとも1つの区間を抽出し、前記路面性状算出部は、前記車両が走行する道路の複数の所定区間ごとに前記路面性状情報を算出し、前記出力部は、前記区間抽出部により抽出された区間に基づき、前記計測困難シーン及び前記誤差発生可能性シーンの区間が、前記複数の所定区間のうちの1つの所定区間の全体を含む場合には、当該所定区間の前記路面性状情報の前記路面性状データへの出力を中止する
路面性状情報を高精度に算出することができる。
実施形態に係る路面性状調査システムの全体構成図 データ管理装置及び評価装置のハードウェア構成図 評価装置の機能ブロック図 本実施形態で抽出する計測困難シーン、誤差発生可能性シーン、及び計測除外推奨シーンの詳細を説明する図 路面性状調査処理のフローチャート 本実施形態で作成される調書の一例を示す図
以下、添付図面を参照しながら実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
図1は、実施形態に係る路面性状調査システム10の全体構成図である。路面性状調査システム10は、路面rs1等の構造物のひび割れ等の性状を調査する調査機器システム20を搭載した車両1、及び調査機器システム20で取得された各種データを解析する評価装置8によって構成されている。
なお、路面性状調査システム10は、車が走行する車道面に限らず、他のさまざまな構造物の性状を調査することができる。構造物は、歩道面、電車が走行する線路、法面、又はトンネルの内面、道路上の構造物等を含む。なお、道路上の構造物は、例えば、路端部上に設置される標識や電柱等である。本実施形態では、これらの構造物の性状を纏めて「路面性状」と表記する。
以降は、車が走行する路面rs1の性状を調査する場合について説明する。この路面性状調査システム10は、例えば、一方に長く延びる構造物を一定の区間に区切ってその表面性状を調査する場合に利用される。
図1に示されているように、車両1には、調査機器システム20が搭載されている。調査機器システム20は、路面カメラ2、周辺カメラ3、データ管理装置4、GNSS(Global Navigation Satellite System:全球測位衛星システム)センサ5、及び距離計測装置6を有している。なお、「路面カメラ2」は、複数の路面カメラの総称である。GNSSは、GPS(Global Positioning System)や準天頂衛星(QZSS)等の衛星測位システムの総称である。
路面カメラ2は、車両1のルーフ後部に、進行方向とは反対の方向に向けて設けられ、車両1の後方の路面rs1を撮像するステレオカメラである。ステレオカメラは、例えば左右に並べた2つのカメラの視差情報を利用し、評価対象の路面rs1に形成された凹凸等の奥行き情報を得るためのカメラである。路面カメラ2は、車両1の進行方向に対して画像の一部が重なり合うタイミングで撮像を繰り返し行う。路面カメラ2は、路面rs1の幅方向全体を撮像可能なように複数台設置されるため、幅方向に対しても画像の一部が重なり合うように複数台が同時に撮像を行う。なお、路面カメラ2は、車両1の前方のナンバープレート周辺に設置されてもよい。また、路面カメラ2は、車両1に3つ以上設置されてもよい。道路幅が狭い場合には、車両1に路面カメラを1つだけ設置されるようにしてもよい。
なお、路面カメラ2は、車両1のルーフの前部に進行方向と同じ方向に向けて設けてもよく、車両1のルーフの側部に進行方向と直角(又は略直角)方向に向けて設けてもよい。
車両1は、路面rs1上を走行しながら、路面カメラ2で路面rs1の所定範囲を、進行方向にその一部が重なるように撮像していく。
周辺カメラ3は、車両1のルーフ前部に設けられ、車両1の前方の周辺(例えば、前方の路面rs1、標識、風景等)を撮像する撮像装置である。周辺カメラ3は、路面カメラ2を構成する左右2つのカメラのうちの1つのカメラと同様の構成を採用することができる。なお、周辺カメラ3は、路面カメラ2と同様に、ステレオカメラにしてもよい。また、周辺カメラ3は、車両1のフロントガラス付近など車内に取り付けられてもよい。なお、以降では周辺カメラ3を「前方カメラ」とも表記する場合がある。
データ管理装置4は、路面カメラ2、周辺カメラ3、GNSSセンサ5、及び距離計測装置6から取得した各種データを管理するPC(Personal Computer)である。各調査データは、評価装置8に受け渡され、評価装置8でのデータ解析に用いられる。なお、データ管理装置4から評価装置8への調査データの受け渡し方法は、Wi-Fi(登録商標)等を使った無線通信、USBケーブル等を使った有線通信、USBメモリ等を使った人的な移動が挙げられる。
GNSSセンサ5は、複数のGNSS衛星が発信した各時間の信号を受信し、各信号を受信した時刻との差で衛星までの距離を算出することで、地球上の位置を計測する測位手段の一例である。測位手段は、測位専用の装置であってもよく、PCやスマートフォン等にインストールされた測位専用のアプリケーションであってもよい。
距離計測装置6は、例えば、車両1の車輪の円周の長さの情報を保持し、回転数を計測することで、走行距離を算出する。走行距離は、車輪の円周の長さと計測した回転数との積により算出することができる。これは一例であるため、その他の方法により距離を計測してもよい。なお、距離計測装置は、距離計測手段の一例である。
また、上記各計測データには、各路面映像データ、測定位置データ、周辺画像データ、及び走行距離データが含まれている。これらのうち、各路面映像データは、各路面カメラ2a,2bによって得られた映像(動画)のデータである。この各路面映像データでは、映像のフレームデータ毎に、メタデータとして撮影された時刻を示す撮影時刻情報が付加されている。なお、各路面カメラ2によって、映像(動画)の路面映像データだけでなく、静止画又は静止画の集合によるデータを得るようにしてもよい。
測定位置データは、GNSSセンサ5によって得られたデータである。この測定位置データには、メタデータとして測位された時刻を示す測位時刻情報が付加されている。周辺画像データは、周辺カメラ3によって得られた静止画のデータである。走行距離データは、距離計測装置6によって得られた走行距離を示すデータである。
評価装置8は、データ管理装置4から受け渡された各調査データに基づいて、構造物の性状を解析するPC又はスマートフォン等である。評価装置8は、各路面映像データから路面rs1の凹凸等の表面性状を計測し、計測結果に基づいて、路面rs1の損傷の有無、損傷の度合いを評価する。
また、評価装置8は、構造物性状の評価結果、測定位置データ、周辺画像データ、走行距離データ、及び自治体又は国(以下、「道路管理者」と記す)から取得した道路台帳等のデータを利用して、道路管理者が定めるフォーマットに従った提出書類のデータを作成する。道路台帳には、実際の正確な道路の位置を示す実際位置データが含まれている。なお、道路台帳には、道路地図が掲載されているが、正確な道路位置情報(測位情報:緯度、経度値)が含まれていない場合がある。この場合、正確な道路測位情報を得るためには、道路地図と、測位地図情報(国土地理院等が保有している、緯度、経度値情報)を照合する必要がある。そして、評価装置8によって作成された提出書類のデータは、道路管理者に、電子データ又は書類に印刷した状態で提出される。
次に、図2を用いて、データ管理装置4、及び評価装置8のハードウェア構成について説明する。図2は、データ管理装置4、及び評価装置8のハードウェア構成図である。
図2に示されているように、データ管理装置4は、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403、HD(Hard Disk)404、HDD(Hard Disk Drive)コントローラ405、メディアI/F407、ディスプレイ408、ネットワークI/F409、キーボード411、マウス412、DVD-RW(Digital Versatile Disc-ReWritable)ドライブ214、及び、バスライン410を備えている。
これらのうち、CPU401は、データ管理装置4全体の動作を制御する。ROM402は、CPU401の駆動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。HD404は、プログラム等の各種データを記憶する。HDDコントローラ405は、CPU401の制御にしたがってHD404に対する各種データの読み出し又は書き込みを制御する。メディアI/F407は、フラッシュメモリ等の記録メディア406に対するデータの読み出し又は書き込み(記憶)を制御する。ディスプレイ408は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。タッチパネル409は、利用者がディスプレイ408を押下することで、データ管理装置4を操作する入力手段の一種である。ネットワークI/F409は、インターネット等の通信ネットワークを利用してデータ通信をするためのインターフェースである。キーボード411は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス412は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ414は、着脱可能な記録媒体の一例としてのDVD-RW413に対する各種データの読み出し又は書き込みを制御する。
また、評価装置8は、CPU801、ROM802、RAM803、HD804、HDDコントローラ805、メディアI/F807、ディスプレイ808、ネットワークI/F809、キーボード811、マウス812、DVD-RWドライブ814、及び、バスライン810を備えている。これらは、それぞれ上述の構成(CPU401、ROM402、RAM403、HD404、HDDコントローラ405、メディアI/F407、ディスプレイ408、ネットワークI/F409、キーボード411、マウス412、CD-RWドライブ414、及び、バスライン420)と同様の構成であるため、これらの説明を省略する。
なお、DVD-RWドライブではなく、DVD-Rドライブ等であってもよい。また、データ管理装置4、及び評価装置8は、それぞれ単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
図3は、評価装置8の機能ブロック図である。図3に示すように、評価装置8は、記憶部81と、路面性状算出部82と、調書作成部83(出力部)と、路面画像取得部84と、周辺情報取得部85と、計測困難シーン抽出部86と、誤差発生可能性シーン抽出部87と、計測除外推奨シーン抽出部88とを備える。これら各部は、図2に示されている各構成要素のいずれかが、HD804からRAM803上に展開されたプログラムに従ったCPU801からの命令によって動作することで実現される機能、又は機能する手段である。また、記憶部81は、図2に示されているRAM803及びHD804によって構築される。
記憶部81には、各路面映像データ、測定位置データ、周辺画像データ、走行距離データ、及び実際位置データが記憶されている。これらのうち、各路面映像データ、測定位置データ、周辺画像データ、及び走行距離データは、データ管理装置4から受け渡されたデータである。各路面映像データには、上述の撮影時刻情報が含まれている。測定位置データには、上述の測位時刻情報が含まれている。
路面性状算出部82は、車両1が走行する道路の路面性状に関する路面性状情報を、車両が走行する道路の複数の所定区間ごとに算出する。路面性状情報は、本実施形態では路面rs1のひび割れ率、わだち掘れ、MCI(Maintenance Control Index:舗装の維持管理指数)を含む。また、路面性状算出部82は、後述する計測困難シーン抽出部86または計測除外推奨シーン抽出部88により抽出される路面性状情報の精度低下の可能性が高い精度低下区間では、当該区間の前記路面性状情報の算出を中止する。言い換えると、計測困難シーン及び前記誤差発生可能性シーンの区間を除外して路面性状情報を算出する。
調書作成部83は、路面性状算出部82により算出された路面性状情報を対応する走行区間と関連付けた路面性状データを調書Rとして出力する。また、調書作成部83は、後述する計測困難シーン抽出部86、誤差発生可能性シーン抽出部87、または計測除外推奨シーン抽出部88により抽出される路面性状情報の精度低下の可能性が高い精度低下区間では、路面性状情報の精度低下の可能性が高い旨の注意情報を追加して路面性状データへ出力する。
路面画像取得部84は、車両1が走行する道路の路面画像を取得する。路面画像取得部84は、例えば記憶部81から各路面映像データや測位位置データ、走行距離データを参照して、路面カメラ2が撮像した路面rs1の画像と、位置や時刻情報とを紐づけて、後段の区間抽出部に路面画像として出力する。
周辺情報取得部85は、車両1が走行する道路の周辺情報を取得する。周辺情報取得部85は、例えば記憶部81から周辺画像データ、測位位置データ、走行距離データを参照して、周辺カメラ3が撮像した路面rs1の画像から道路の周辺情報を抽出して、位置や時刻情報と紐づけて、後段の区間抽出部に周編情報として出力する。
計測困難シーン抽出部86は、路面性状情報の精度低下の可能性が高い区間として、路面画像及び周辺情報に基づき、路面性状情報の算出が困難と判断し得る「計測困難シーン」を抽出する。
誤差発生可能性シーン抽出部87は、路面性状情報の精度低下の可能性が高い区間として、路面画像及び周辺情報に基づき、路面性状情報の誤差が増大すると判断し得る「誤差発生可能性シーン」を抽出する。
計測除外推奨シーン抽出部88は、路面性状情報の精度低下の可能性が高い区間として、周辺情報に基づき、路面性状情報の算出から除外すべきと判断し得る「計測除外推奨シーン」を抽出する。
これらの計測困難シーン抽出部86、誤差発生可能性シーン抽出部87、計測除外推奨シーン抽出部88が、路面画像取得部84により取得された路面画像と、周辺情報取得部85により取得された周辺情報に基づき、路面性状算出部82により算出される路面性状情報の精度低下の可能性が高い精度低下区間を抽出する区間抽出部89として機能する。区間抽出部89は、計測困難シーン、誤差発生可能性シーン、及び計測除外推奨シーンの少なくとも1つを抽出する構成でもよい。
図4は、本実施形態で抽出する計測困難シーン、誤差発生可能性シーン、及び計測除外推奨シーンの詳細を説明する図である。本実施形態では、路面計測において遭遇する計測困難シーン、誤差発生可能性シーン、計測除外推奨シーンの情報を、路面撮影画像、前方撮影画像から抽出し、調書Rに反映する。
計測困難シーンでは、調書への反映内容としては、当該区間を除外して計測値(路面性状情報)を出力する、除外した理由(走行シーン)を明記する、などが挙げられる。調書反映のための判断情報1(路面カメラ画像とその画像処理から得られる情報)としては、データ処理が不可能なレベルの低輝度画像が得られることをシーン検出の条件にできる。また、調書反映のための判断情報2(前方カメラ画像とその画像処理から得られる情報)としては、アンダーパス、トンネル、樹木遮蔽(暗所区間)の走行履歴や、濡れ(湿潤した低反射率路面)がある区間の走行履歴をシーン検出の理由として利用できる。
誤差発生可能性シーンでは、調書への反映内容としては、誤差が増大している可能性とその理由(走行シーン)を明記する、などが挙げられる。調書反映のための判断情報1(路面カメラ画像とその画像処理から得られる情報)としては、計測値(ひび割れ率、わだち掘れ量)が、誤差を含み、より高い数値を示すことをシーン検出の条件にできる。また、調書反映のための判断情報2(前方カメラ画像とその画像処理から得られる情報)としては、濡れ(水たまり、水面で日照が散乱反射している路面)がある区間の走行履歴や、落ち葉がある区間の走行履歴をシーン検出の理由として利用できる。
計測除外推奨シーンでは、調書への反映内容としては、当該区間を除外して計測値(路面性状情報)を出力する、除外した理由(走行シーン)を明記する、などが挙げられる。調書反映のための判断情報1(路面カメラ画像とその画像処理から得られる情報)としては、画像処理、AI処理によりレンガや踏切、が検出しうることをシーン検出の条件にできる。また、調書反映のための判断情報2(前方カメラ画像とその画像処理から得られる情報)としては、路駐や工事区間の迂回蛇行走行履歴(蛇行した区間は、対象路面を撮影できていない状態)や、レンガや踏切等の計測対象外・特殊路面の走行履歴(路面調査での計測対象はアスファルトのみ、あるいはそれに加えてコンクリート)をシーン検出の条件や除外理由として利用できる。なお、計測除外推奨シーンは、判断情報1(路面カメラ画像)を利用せずに、判断情報2(前方カメラ画像)のみを利用してシーン検出を行ってもよい。
本実施形態では、路面性状算出部82により算出される路面性状情報の精度低下の可能性が高い精度低下区間として、計測困難シーン、誤差発生可能性シーン、計測除外推奨シーンを抽出して、これらの抽出シーンを調書Rへ反映させることによって、計測値(路面性状情報)の推定に悪影響が出る区間を除外して路面性状情報を算出可能となって推定精度を向上できる。また、調書Rに記載されたシーン抽出の理由を調書Rの読み手(主に道路管理者)が読めば、例えば抽出シーンの路面性状情報の信用度を読み手自らが下げて読むことが可能となるなど、読み手に計測データを適切に解釈させることができ、修繕判断する上で必要な情報を提供することが可能となる。これにより、本来は修繕が不要だが路面性状情報では劣化と誤判定し得るような状況であっても、調書Rの読み手に路面の修繕が必要という誤った判断を行わせることを好適に防止できる。
図3に示す評価装置8の各機能は、図2に示すCPU801、RAM803等のハードウェア上に所定のコンピュータソフトウェア(路面性状調査プログラム)を読み込ませることにより、CPU801の制御のもとでネットワークI/F809、キーボード811、マウス812、ディスプレイ808などを動作させるとともに、RAM803やHD804におけるデータの読み出し及び書き込みを行うことで実現される。すなわち、本実施形態の路面性状調査プログラムをコンピュータ上で実行させることで、路面性状調査システム10は、図3の記憶部81、路面性状算出部82、調書作成部83、路面画像取得部84、周辺情報取得部85、計測困難シーン抽出部86、誤差発生可能性シーン抽出部87、計測除外推奨シーン抽出部88、区間抽出部89として機能する。
本実施形態の路面性状調査プログラムは、例えばコンピュータが備える記憶装置内に格納される。なお、表面特性評価プログラムは、その一部又は全部が、通信回線等の伝送媒体を介して伝送され、コンピュータが備える通信モジュール等により受信されて記録(インストールを含む)される構成としてもよい。また、路面性状調査プログラムは、その一部又は全部が、CD-ROM、DVD-ROM、フラッシュメモリなどの持ち運び可能な記憶媒体に格納された状態から、コンピュータ内に記録(インストールを含む)される構成としてもよい。
図5を参照して、本実施形態による路面性状調査方法を説明する。図5は、路面性状調査処理のフローチャートである。
まず「1.撮影走行動作」が実行される。動作1-1では撮影走行が開始される。動作1-2の撮影走行中には、路面カメラ2と、前方カメラ3で逐次撮影しながら走行する(1-2a)。例えば、車両1が一定距離(例えば1.0m)走行するごとにカメラシャッタを切りつづける。各々のカメラ画像は、併せて稼働しているGNSSセンサ5、距離計測装置6と同期して動作し、撮影箇所、時刻、走行起点からの距離を把握できる。
動作1-3では、撮影走行中の「要・調書反映状態」が検知・記録される。より詳細には、交通状況や路面状態により、路面性状を計測できないことがあった場合には、それを検知記録する。具体的には、前方カメラ3の撮影画像から、計測困難・誤差可能性シーンや計測除外推奨シーンを記録する(1-3a)。計測困難・誤差可能性シーンは、例えば、(1)アンダーパス、トンネルの通過、樹木遮蔽による暗所通過、路面の濡れ、(2)落ち葉等による路面遮蔽状態が前方カメラ画像に含まれるときに検出できる。また、計測除外推奨シーンは、例えば、路駐、工事による迂回、レンガ、踏切等特殊路面が前方カメラ画像に含まれるときに検出できる。
なお、上記のシーン検出のための各事象は、前方カメラ3で撮像した画像の画像処理により検出を行う。上記の事象が出現する度に、検知、記録が行われる。
動作1-4にて撮影走行が終了すると、車両1の走行中に取得されたデータがデータ管理装置4から評価装置8に送信されて、「2.データ処理(計測値出力)」が実行される。
まず処理2-1では、ひび割れ判別などの通常出力処理が行われる。より詳細には、路面カメラ画像のデータ処理が行われ(2-1a)、路面カメラ2で撮像したステレオカメラ画像をデータ処理し、ひび割れ等計測値を出力し、それらを調書Rに書き出す。路面カメラ画像に基づき算出される路面性状情報の種類とその算出手法は周知のものを適用できる。例えば、ステレオカメラ画像を画像結合してAIによる損傷自動判別を行って、路面rs1のひび割れ率を検出できる。また、ステレオカメラ画像を用いて3D処理による幅員方向の画像結合・計測を行うことで、路面rs1のわだち掘れを検出できる。また、ステレオカメラ画像を用いて3D処理による進行方向の画像結合・計測を行うことで、路面rs1の平坦性を検出できる。
処理2-2では、データ処理困難、誤差可能性区間および、対象シーン区間抽出処理が行われる。より詳細には、路面カメラ画像に基づき、誤差発生可能性画像区間の抽出処理が行われる(2-2a)。路面カメラ2の画像に対して、予め学習を施したAIによる判別処理を行うことにより、濡れ(湿潤状態)や路面上に落ち葉がある状態を検出することができる。または、ひび割れ率が一定値よりも高い場合に、濡れ(湿潤)や落ち葉による誤検知可能性個所とし、抽出することも可能である。路面rs1の濡れ状態が湿潤状態であったり、落ち葉が落ちている場合、画像のコントラストが非常に高くなる部分が生じやすく、この部分をひびと誤認する場合がある。このため、ひび割れ率が所定の閾値以上のときに、濡れ(湿潤状態)や路面上に落ち葉がある状態を検出として検知することもできる。
なお、上記の誤差発生可能性個所については、対象の画像として検出されるが、前述の動作1-2でも述べたように、GPSSセンサ5などの測位機器で計測されている位置情報と対応付けられ、濡れや落葉といった誤検知要因とその対象区間を組み合わせ、「濡れ可能性区間〇m~〇m」、「落ち葉可能性区間〇m~〇m」を検出結果として得ることができる。
また、処理2-2では、路面カメラ画像に基づき、データ処理困難画像区間の抽出処理も行われる(2-2b)。より詳細には、路面カメラ2の画像に対して、 輝度値の最低値を抽出し、予め設定された閾値との比較することにより、データ処理困難画像を抽出することができる。前述の閾値は、データ処理の可否をあらかじめ検証確認を行うことにより取得しておくことができる。この情報も、対象の画像として検出されたのち、GPSSセンサ5などの測位機器との情報と併せ、「低輝度区間〇m~〇m」を検出結果として得ることができる。
また、処理2-2では、前方カメラ画像に基づき、計測困難可能性シーン区間・誤差可能性シーン区間の設定処理も行われる(2-2c)。動作1-3でも述べた通り、前方カメラ画像により把握される、計測困難・誤差可能性シーンとしては、アンダーパス、トンネルの通過、樹木遮蔽による暗所通過、路面の濡れ、落ち葉等による路面遮蔽状態、などの情報が記録される。この情報についても、GPSSセンサ5などの測位機器情報と整合され、例えば「アンダーパス〇m~〇m」と記録される。
処理2-3では、除外推奨シーン区間の設定処理が行われる。より詳細には、前方カメラ画像に基づき、除外推奨シーン区間の設定処理が行われる。前方カメラ画像から得られた、路上駐車車両や工事区間の迂回蛇行走行の記録、レンガや踏切等の計測対象外・特殊路面の走行の記録を、前述の測位機器で計測された位置情報と対応付け、先の処理2-2の情報と同様に例えば「迂回区間〇m~〇m」のように区間情報が付記される。
処理2-4では、データ処理困難、誤差可能性区間および、対象シーン区間抽出処理の紐づけ(理由生成)処理が行われる。より詳細には、誤差発生可能性画像区間の理由が生成される(2-4a)。上記2-2aにて抽出された誤差発生可能性画像区間と、上記2-2cで誤差可能性シーン区間として記録された情報とを対応区間「〇m~〇m」ごとに整合し、例えば「誤検知可能性:濡れ有り〇m~〇m」、「誤検知可能性:落葉有り〇m~〇m」のような、誤検知可能性の明示とその要因事象、対応区間の出力がなされる。なお、本ステップにおいて「誤差発生可能性画像区間」と「誤差可能性シーン区間」とを組み合わせて生成された情報が、図4に示す「誤差発生可能性シーン」に対応する。
また、処理2-4では、データ処理困難画像区間の理由も生成される(2-4b)。上記2-2bにて抽出されたデータ処理困難画像区間と、上記2-2cで計測困難可能性シーン区間として記録された情報とを対応区間「〇m~〇m」ごとに整合し、例えば「低輝度による処理見合わせ:アンダーパスによる暗所〇m~〇m」のような、処理困難である旨の明示とその要因事象、対応区間の出力がなされる。
次に「3.データ処理(調書書き出し)」が実行される。まず処理3-1では、ひび割れ判別結果などの出力処理(上記各シーンの計測値への影響の除去含む)が行われる。より詳細には、上記2-4bで生成されたデータ処理困難画像・シーン区間と、上記2-3aで設定された除外推奨シーン区間の数値影響除外処理が行われる(3-1a)。なお、データ処理困難画像・シーン区間とは、2-2bで抽出された「データ処理困難画像区間」と、2-2cで設定された「計測困難可能性シーン区間」とを組み合わせた情報であり、図4に示す「計測困難シーン」に対応する。除外推奨シーン区間とは、図4に示す「計測除外推奨シーン」に対応する。
この除外処理では、処理困難区間、除外推奨区間が、調書出力対象区間の一部に掛かっている場合には、その部位を除いて計測値を算出する。例えば、100mの計測対象のうち、80~90mが上記該当区間の場合は、0~80m、90~100mの区間を選択して処理を行う。一方、処理困難区間、除外区間が、調書出力対象区間の全体に掛かっている場合には、対象調書出力区間の計測値をブランクにする。
処理3-2では、上記各区間の理由書き出し処理が行われる。より詳細には、異常理由や具体的区間距離(〇m~〇m)の備考欄への追記処理が行われる(3-2a)。例えば、調書Rの備考欄に、「計測見合わせ:アンダーパスによる暗所通過のため 〇m~〇m」、「誤差発生可能性:落ち葉あり 〇m~〇m」などの情報が追記される。
処理3-2が完了すると、調書Rが出力されて本制御フローを終了する。
図6は、本実施形態で作成される調書Rの一例を示す図である。図6の「車線数」「路線・位置情報」、「ひび割れ率」「わだち掘れ」「MCI」などの項目は、従来から国や自治体などの道路管理者に提出されている周知の調書と同様である。「備考」欄には、誤差発生可能性シーンの抽出理由が記載されている。また、「調査見合わせ理由」欄には、計測困難シーンまたは計測除外推奨シーンの抽出理由と調査除外区間とが記載される。
例えば図6のL1行は、計測困難シーンが抽出された例であり、抽出理由は該当区間がトンネルであって暗所のため計測困難なためであることが記載されている。また、抽出区間はこの区間全体に亘っているため、ひび割れ率などの路面性状情報の算出は行われず該当欄はブランクとなっている。
図6のL2行は、計測除外推奨シーンが抽出された例であり、抽出理由は該当区間が踏切であって点検対象外の路面のため計測除外されたことが記載されている。また、抽出区間はこの区間の一部であるため、該当区間が除外された上で残りの区間の計測情報に基づきひび割れ率などの路面性状情報の算出が行われて該当欄にその数値が記載されている。
図6のL3行は、誤差発生可能性シーンが抽出された例であり、抽出理由は該当区間に落ち葉が多数あって、誤差発生の可能性が高い旨の注意喚起が記載されている。誤差発生可能性シーンでは路面性状情報の算出から除外されないので、この区間では誤差発生可能性シーンの区間も含む全区間で路面性状情報の算出が行われて該当欄にその数値が記載されている。
このように本実施形態の路面性状調査システム10は、車両1が走行する道路の路面rs1の性状に関する路面性状情報を算出する路面性状算出部82と、車両1が走行する道路の路面画像を取得する路面画像取得部84と、車両1が走行する道路の周辺情報を取得する周辺情報取得部85と、路面画像及び周辺情報に基づき、路面性状算出部82により算出される路面性状情報の精度低下の可能性が高い精度低下区間を抽出する区間抽出部89と、路面性状算出部82により算出された路面性状情報を対応する走行区間と関連付けた路面性状データを、区間抽出部89により抽出された精度低下区間の情報を反映させて調書Rとして出力する調書作成部83と、を備える。
この構成により、路面性状情報の精度低下の可能性が高い精度低下区間の情報を反映させて路面性状データを出力することができるので、例えば、路面性状の推定に悪影響が出る区間を除外して路面性状データを算出したり、精度低下区間がある場合に注意喚起するなどの対処が可能となる。この結果、本実施形態の路面性状調査システム10は、路面性状情報を高精度に算出することができる。
また、本実施形態の路面性状調査システム10では、調書作成部83は、区間抽出部89により抽出された精度低下区間について、当該区間の路面性状情報の路面性状データへの出力を中止するか、または、路面性状情報の精度低下の可能性が高い旨の注意情報を追加して路面性状データへ出力する。
この構成により、調書Rに記載する路面性状情報(路面rs1のひび割れ率、わだち掘れ、MCIなど)の推定精度を向上でき、かつ、調書Rの読み手である道路管理者へ精度低下区間が有ることを確実に報知できる。これにより、道路管理者にとって路面性状の判断のためにより有用な調書Rを作成することができる。
また、本実施形態の路面性状調査システム10では、区間抽出部89は、路面性状情報の精度低下の可能性が高い区間として、路面画像及び周辺情報に基づき路面性状情報の算出が困難と判断し得る「計測困難シーン」、路面画像及び周辺情報に基づき路面性状情報の誤差が増大すると判断し得る「誤差発生可能性シーン」、及び、周辺情報に基づき路面性状情報の算出から除外すべきと判断し得る「計測除外推奨シーン」を抽出する。
この構成により、路面性状情報の精度低下の可能性が高い精度低下区間を、複数の要因に基づき多角的に抽出することが可能となり、より高精度に精度低下区間を検出でき、路面性状情報の推定精度をさらに向上できる。
また、本実施形態の路面性状調査システム10では、路面性状算出部82は、区間抽出部89により抽出された精度低下区間に基づき、計測困難シーン及び誤差発生可能性シーンの区間を除外して路面性状情報を算出する。この構成により、路面性状情報の推定精度が悪化する虞のある区間が路面性状情報の計算に利用されなくなるので、確実に路面性状情報の推定精度を向上できる。
また、本実施形態の路面性状調査システム10では、調書作成部83は、区間抽出部89により抽出された精度低下区間に基づき、誤差発生可能性シーンの区間については、路面性状情報の精度低下の可能性が高い旨の注意情報を追加して路面性状データへ出力する。誤差発生可能性シーンは、計測困難シーン及び計測除外推奨シーンと比べて、路面性状情報の推定精度の悪化への影響は相対的に少ないため、誤差発生可能性シーンは路面性状情報の計算から除外はされないものの、誤差発生可能性シーンを含む区間の路面性状情報に誤差が全く生じないわけではない。そこで誤差発生可能性シーンについては調書Rにて注意喚起を行うことで、調書Rの読み手である道路管理者へ精度低下区間が有ることを確実に報知できる。
以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。
上記実施形態では、周辺情報を取得するための入力情報として周辺カメラ3により撮像された周辺画像データを利用する構成を例示したが、周辺画像データ以外の情報を利用してもよい。例えば、車両1に乗員による入力装置を搭載し、車両1の走行中に乗員が車両前方を視認(目視)して得られる情報を、入力装置を介して登録することで、周辺情報を取得する構成などが挙げられる。この場合、入力装置により、登録時の時刻情報が併せて記録される。記録時刻と、前述の測位機器の測位時刻とを対応づけることで、登録情報の位置を特定するとともに、路面カメラ画像の該当部分と対応づけて保存することができる。
また、上記実施形態では、評価装置8が車両1に搭載されずデータ管理装置4と別装置となる構成を例示したが、評価装置8を車両1に搭載する構成でもよいし、データ管理装置4と纏めて単一の装置とする構成でもよい。
また、上記実施形態では、路面性状算出部82により算出された路面性状情報に基づき、調書作成部83が路面性状情報を反映させて調書Rを作成して出力する構成を例示したが、調書R以外のデータや書類として路面性状データを出力する構成でもよい。
上記実施形態では、路面性状情報の精度低下の可能性が高い精度低下区間のうち「計測除外推奨シーン」については、図5のフローチャートのステップ2-3aや3-1aにて説明したように、前方カメラ3の撮像画像に基づく周辺情報のみに基づいて計測除外推奨シーンを抽出する構成を例示したが、計測困難シーンや誤差発生可能性シーンと同様に、周辺情報に加えて、路面カメラ2が撮影した路面画像も利用して計測除外推奨シーンを抽出する構成でもよい。
10 路面性状調査システム
82 路面性状算出部
83 調書作成部(出力部)
84 路面画像取得部
85 周辺情報取得部
86 計測困難シーン抽出部
87 誤差発生可能性シーン抽出部
88 計測除外推奨シーン抽出部
89 区間抽出部
R 調書(路面性状データ)
特開2017-142613号公報

Claims (6)

  1. 車両が走行する道路の路面性状に関する路面性状情報を算出する路面性状算出部と、
    前記車両が走行する道路の路面画像を取得する路面画像取得部と、
    前記車両が走行する道路の周辺情報を取得する周辺情報取得部と、
    前記路面画像及び前記周辺情報に基づき、前記路面性状算出部により算出される前記路面性状情報の精度低下の可能性が高い精度低下区間を抽出する区間抽出部と、
    前記路面性状算出部により算出された前記路面性状情報を対応する走行区間と関連付けた路面性状データを、前記区間抽出部により抽出された前記精度低下区間の情報を反映させて出力する出力部と、
    を備え
    前記区間抽出部は、前記路面性状情報の精度低下の可能性が高い区間として、前記路面画像及び前記周辺情報に基づき前記路面性状情報の算出が困難と判断し得る計測困難シーン、前記路面画像及び前記周辺情報に基づき前記路面性状情報の誤差が増大すると判断し得る誤差発生可能性シーン、及び、前記周辺情報に基づき前記路面性状情報の算出から除外すべきと判断し得る計測除外推奨シーン、の少なくとも1つの区間を抽出し、
    前記路面性状算出部は、前記車両が走行する道路の複数の所定区間ごとに前記路面性状情報を算出し、
    前記出力部は、前記区間抽出部により抽出された区間に基づき、前記計測困難シーン及び前記誤差発生可能性シーンの区間が、前記複数の所定区間のうちの1つの所定区間の全体を含む場合には、当該所定区間の前記路面性状情報の前記路面性状データへの出力を中止する、
    路面性状調査システム。
  2. 前記出力部は、前記区間抽出部により抽出された前記精度低下区間について、前記路面性状情報の精度低下の可能性が高い旨の注意情報を追加して前記路面性状データへ出力する、
    請求項1に記載の路面性状調査システム。
  3. 前記路面性状算出部は、前記区間抽出部により抽出された区間に基づき、前記計測困難シーン及び前記誤差発生可能性シーンの区間を除外して前記路面性状情報を算出する、
    請求項1または2に記載の路面性状調査システム。
  4. 前記出力部は、前記区間抽出部により抽出された区間に基づき、前記誤差発生可能性シーンの区間については、前記路面性状情報の精度低下の可能性が高い旨の注意情報を追加して前記路面性状データへ出力する、
    請求項1~3のいずれか1項に記載の路面性状調査システム。
  5. 情報処理装置により実行される路面性状調査方法であって、
    車両が走行する道路の路面性状に関する路面性状情報を算出する路面性状算出ステップと、
    前記車両が走行する道路の路面画像を取得する路面画像取得ステップと、
    前記車両が走行する道路の周辺情報を取得する周辺情報取得ステップと、
    前記路面画像及び前記周辺情報に基づき、前記路面性状算出ステップにて算出される前記路面性状情報の精度低下の可能性が高い精度低下区間を抽出する区間抽出ステップと、
    前記路面性状算出ステップにて算出された前記路面性状情報を対応する走行区間と関連付けた路面性状データを、前記区間抽出ステップにて抽出された前記精度低下区間の情報を反映させて出力する出力ステップと、
    を含み、
    前記区間抽出ステップは、前記路面性状情報の精度低下の可能性が高い区間として、前記路面画像及び前記周辺情報に基づき前記路面性状情報の算出が困難と判断し得る計測困難シーン、前記路面画像及び前記周辺情報に基づき前記路面性状情報の誤差が増大すると判断し得る誤差発生可能性シーン、及び、前記周辺情報に基づき前記路面性状情報の算出から除外すべきと判断し得る計測除外推奨シーン、の少なくとも1つの区間を抽出し、
    前記路面性状算出ステップは、前記車両が走行する道路の複数の所定区間ごとに前記路面性状情報を算出し、
    前記出力ステップは、前記区間抽出ステップにより抽出された区間に基づき、前記計測困難シーン及び前記誤差発生可能性シーンの区間が、前記複数の所定区間のうちの1つの所定区間の全体を含む場合には、当該所定区間の前記路面性状情報の前記路面性状データへの出力を中止する、
    路面性状調査方法。
  6. コンピュータに実現させるための路面性状調査プログラムであって、
    車両が走行する道路の路面性状に関する路面性状情報を算出する路面性状算出機能と、
    前記車両が走行する道路の路面画像を取得する路面画像取得機能と、
    前記車両が走行する道路の周辺情報を取得する周辺情報取得機能と、
    前記路面画像及び前記周辺情報に基づき、前記路面性状算出機能により算出される前記路面性状情報の精度低下の可能性が高い精度低下区間を抽出する区間抽出機能と、
    前記路面性状算出機能により算出された前記路面性状情報を対応する走行区間と関連付けた路面性状データを、前記区間抽出機能により抽出された前記精度低下区間の情報を反映させて出力する出力機能と、
    有し、
    前記区間抽出機能は、前記路面性状情報の精度低下の可能性が高い区間として、前記路面画像及び前記周辺情報に基づき前記路面性状情報の算出が困難と判断し得る計測困難シーン、前記路面画像及び前記周辺情報に基づき前記路面性状情報の誤差が増大すると判断し得る誤差発生可能性シーン、及び、前記周辺情報に基づき前記路面性状情報の算出から除外すべきと判断し得る計測除外推奨シーン、の少なくとも1つの区間を抽出し、
    前記路面性状算出機能は、前記車両が走行する道路の複数の所定区間ごとに前記路面性状情報を算出し、
    前記出力機能は、前記区間抽出機能により抽出された区間に基づき、前記計測困難シーン及び前記誤差発生可能性シーンの区間が、前記複数の所定区間のうちの1つの所定区間の全体を含む場合には、当該所定区間の前記路面性状情報の前記路面性状データへの出力を中止する、
    路面性状調査プログラム。
JP2019141784A 2019-07-31 2019-07-31 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム Active JP7314693B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019141784A JP7314693B2 (ja) 2019-07-31 2019-07-31 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019141784A JP7314693B2 (ja) 2019-07-31 2019-07-31 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム

Publications (2)

Publication Number Publication Date
JP2021026353A JP2021026353A (ja) 2021-02-22
JP7314693B2 true JP7314693B2 (ja) 2023-07-26

Family

ID=74663135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019141784A Active JP7314693B2 (ja) 2019-07-31 2019-07-31 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム

Country Status (1)

Country Link
JP (1) JP7314693B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022195677A1 (ja) * 2021-03-15 2022-09-22 日本電気株式会社 道路劣化診断装置、道路劣化診断方法、及び、記録媒体
JP7025080B1 (ja) * 2021-08-18 2022-02-24 株式会社アーバンエックステクノロジーズ 識別装置、識別プログラム、および識別方法
WO2023223427A1 (ja) * 2022-05-17 2023-11-23 三菱電機株式会社 道路異状推定システム、道路異状推定方法、およびプローブ車両
WO2023228239A1 (ja) * 2022-05-23 2023-11-30 三菱電機株式会社 道路状態検出装置および道路状態検出方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191276A (ja) 2002-12-13 2004-07-08 Koito Ind Ltd 路面状態判別装置
WO2018025341A1 (ja) 2016-08-03 2018-02-08 三菱電機株式会社 道路状態診断システム、診断用情報生成装置及び診断用情報生成方法
JP2018087484A (ja) 2015-07-21 2018-06-07 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
JP2018120409A (ja) 2017-01-25 2018-08-02 株式会社ユピテル データ収集装置、道路状態評価支援装置、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191276A (ja) 2002-12-13 2004-07-08 Koito Ind Ltd 路面状態判別装置
JP2018087484A (ja) 2015-07-21 2018-06-07 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
WO2018025341A1 (ja) 2016-08-03 2018-02-08 三菱電機株式会社 道路状態診断システム、診断用情報生成装置及び診断用情報生成方法
JP2018120409A (ja) 2017-01-25 2018-08-02 株式会社ユピテル データ収集装置、道路状態評価支援装置、及びプログラム

Also Published As

Publication number Publication date
JP2021026353A (ja) 2021-02-22

Similar Documents

Publication Publication Date Title
JP7314693B2 (ja) 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム
JP6713505B2 (ja) 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム
JP5602324B1 (ja) 道路測定システム
JP6678267B1 (ja) 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム
US20130173208A1 (en) Road surface inspection device and recording medium
CN103136812A (zh) 智能型行车纪录与检视系统
WO2008130219A1 (en) Method of and apparatus for producing road information
JP2018018461A (ja) 情報処理装置、表示装置、情報処理方法、及びプログラム
CN104885097A (zh) 预测性地获取车辆可行驶的表面的参数值的方法和设备
JP6902652B1 (ja) 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム
KR101834838B1 (ko) 영상처리를 이용한 도로 교통 정보 제공 시스템 및 방법
JP6615066B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7333511B2 (ja) 道路維持管理システム、舗装種別判定装置、修繕優先度判定装置、道路維持管理方法、舗装種別判定方法、修繕優先度判定方法
Tsai et al. A new rutting measurement method using emerging 3D line-laser-imaging system
CN109435940B (zh) 一种公路车道的识别方法、装置及系统
WO2021199915A1 (ja) 劣化表示システム、劣化表示方法と記録媒体
JP2018017102A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6647171B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN103426211B (zh) 车辆行驶状况分析系统、分析装置和分析方法
JP6965536B2 (ja) 情報処理システム、評価システム、情報処理方法およびプログラム
JP6419260B1 (ja) 交通情報取得装置、交通情報取得システム、交通情報取得方法、および交通情報取得プログラム
US20230108779A1 (en) Road deterioration diagnostic device, road deterioration diagnostic system, roaddeterioration diagnostic method, and recording medium
JP6629009B2 (ja) 走行路附属物検出装置、走行路附属物および走行路検出方法
JP6892197B1 (ja) 劣化表示システム、劣化表示方法、及び、プログラム
EP3141876B1 (fr) Procédé de relevé de données photométriques de précision améliorée

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R151 Written notification of patent or utility model registration

Ref document number: 7314693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151