JP7417871B2 - 監視装置、監視システム、監視方法、及び、コンピュータプログラム - Google Patents

監視装置、監視システム、監視方法、及び、コンピュータプログラム Download PDF

Info

Publication number
JP7417871B2
JP7417871B2 JP2021198516A JP2021198516A JP7417871B2 JP 7417871 B2 JP7417871 B2 JP 7417871B2 JP 2021198516 A JP2021198516 A JP 2021198516A JP 2021198516 A JP2021198516 A JP 2021198516A JP 7417871 B2 JP7417871 B2 JP 7417871B2
Authority
JP
Japan
Prior art keywords
image
positioning
monitoring
information
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021198516A
Other languages
English (en)
Other versions
JP2022067096A (ja
Inventor
恒生 堀地
善行 神野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2021198516A priority Critical patent/JP7417871B2/ja
Publication of JP2022067096A publication Critical patent/JP2022067096A/ja
Priority to JP2023180978A priority patent/JP2024001239A/ja
Application granted granted Critical
Publication of JP7417871B2 publication Critical patent/JP7417871B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Studio Devices (AREA)

Description

本開示は、監視装置、監視システム、監視方法、及び、コンピュータプログラムに関する。
従来、鉄道の保守用車両等にカメラを装着し、保守用車両等を走行させながらカメラでレールを撮影し、その撮影した画像をレールの保守に用いることが行われている。
特許文献1には、保守用車両等に装着した赤外線カメラでレールを撮影して赤外線画像を生成し、その赤外線画像を撮影した位置を保守用車両等の走行距離から特定し、その特定した位置と赤外線画像とを対応付けたデータを生成することが開示されている。
特開平10-73413号公報
しかしながら、特許文献1のように走行距離から位置を特定するためには、保守用車両等の発車位置及び走行ルートを示す情報を予め登録しておく必要がある。また、走行距離は、保守用車両等が備える走行距離計において車輪の回転数を用いて算出されるため、車輪の摩耗及び/又はスリップ等により大きな誤差を含み得る。
本開示は、鉄道等を含む交通インフラの保守又は監視のために撮影した画像の撮影位置を精度良く特定できる技術を提供することを目的とする。
本開示の一態様に係る監視装置は、車両の移動経路上の保守対象物を監視する監視装置であって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納させる制御部、を備え、前記制御部は、前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、前記測位情報は、前記測位の精度を示す測位精度を含み、前記制御部は、前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する。
本開示の一態様に係る監視装置は、車両の移動経路上の保守対象物を監視する監視装置であって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納させる制御部、を備え、前記制御部は、前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、前記測位情報は、前記測位の精度を示す測位精度を含み、前記制御部は、前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、前記測位精度が前記閾値未満の場合、前記第2画像を表示させ、ユーザから前記第2画像の撮影位置の入力を受付ける。
本開示の一態様に係る監視システムは、車両の移動経路上の保守対象物を監視する監視システムであって、前記保守対象物を撮影して第1画像を生成する第1のカメラと、前記第1画像の撮影位置の周辺を撮影して第2画像を生成する第2のカメラと、前記保守対象物を撮影した前記第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納し、測位の精度を示す測位精度を含む前記第1画像の撮影位置を測位した測位情報を対応付け、前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する監視装置と、を備える。
本開示の一態様に係る監視システムは、車両の移動経路上の保守対象物を監視する監視システムであって、前記保守対象物を撮影して第1画像を生成する第1のカメラと、前記第1画像の撮影位置の周辺を撮影して第2画像を生成する第2のカメラと、前記保守対象物を撮影した前記第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納し、測位の精度を示す測位精度を含む前記第1画像の撮影位置を測位した測位情報を対応付け、前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、前記測位精度が前記閾値未満の場合、前記第2画像前記第2画像を表示させ、ユーザから前記第2画像の撮影位置の入力を受付ける監視装置と、を備える。
本開示の一態様に係る監視方法は、車両の移動経路上の保守対象物を監視する監視方法であって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納し、前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、前記測位情報は、前記測位の精度を示す測位精度を含み、前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する。
本開示の一態様に係る監視方法は、車両の移動経路上の保守対象物を監視する監視方法であって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納し、前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、前記測位情報は、前記測位の精度を示す測位精度を含み、前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、前記測位精度が前記閾値未満の場合、前記第2画像を表示させ、ユーザから前記第2画像の撮影位置の入力を受付ける。
本開示の一態様に係るコンピュータプログラムは、車両の移動経路上の保守対象物を監視するためのコンピュータプログラムであって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納させ、前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、前記測位情報は、前記測位の精度を示す測位精度を含み、前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する、ことをコンピュータに実行させる。
本開示の一態様に係るコンピュータプログラムは、車両の移動経路上の保守対象物を監視するためのコンピュータプログラムであって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納させ、前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、前記測位情報は、前記測位の精度を示す測位精度を含み、前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、前記測位精度が前記閾値未満の場合、前記第2画像を表示させ、ユーザから前記第2画像の撮影位置の入力を受付ける、ことをコンピュータに実行させる。
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、鉄道等を含む交通インフラの保守又は監視のために撮影した画像の撮影位置を精度良く特定できる。
本実施の形態に係る監視システムの構成例を示すブロック図 本実施の形態に係る監視装置の構成例を示す機能ブロック図 本実施の形態に係る監視情報の構成例を示す図 監視画像と測位情報との対応付け方法の一例を説明するための図 測位情報の推定方法の一例を説明するための図 監視画像の撮影位置を特定する処理の一例を示すフローチャート 本実施の形態に係る保守用UI(User Interface)の表示例を示す図 本実施の形態に係る監視装置の機能ブロックをコンピュータプログラムにより実現するコンピュータのハードウェア構成を示す図
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
(本実施の形態)
<監視システムの構成>
図1は、本実施の形態に係る監視システムの構成例を示すブロック図である。
監視システム2は、鉄道の保守対象物を監視するためのシステムである。鉄道の保守対象物の例として、レール、レール締結装置、枕木、道床、路盤、架線、架線電柱、碍子、バランサ、信号機、トンネル内壁、橋梁、のり面等が挙げられる。なお、本開示に係る「鉄道」には、一般的な電車又は汽車が走行する軌道に限られず、路面電車が走行する軌道、モノレールが走行する軌道、新幹線が走行する軌道等も含まれる。
監視システム2は、鉄道の保守用車両等(以下「車両」という)1に載せられる。車両1は、動力付き車両であってもよいし、動力付き車両に牽引される車両(台車)であってもよい。なお、監視システム2の一部は、車両1とは異なる場所に設置されてもよい。
監視システム2は、カメラ10A、10B、10C、映像レコーダ20、全球測位衛星(以下GNSS(Global Navigation Satellite System)と記載)受信装置30、及び、RTK(Real Time Kinematic)受信装置40、及び、監視装置100を備える。
カメラ10A、10B、10Cは、PoE(Power over Ethernet)に対応しており、イーサネットケーブルによって、映像レコーダ20に接続されてよい。ただし、カメラ10A、10B、10Cは、イーサネットケーブルとは異なる有線ケーブル(例えばUSB(Universal Serial Bus)ケーブル)又は無線方式(例えばIEEE802.11又はBluetooth)によって、映像レコーダ20に接続されてもよい。また、カメラ10A、10B、10Cと映像レコーダ20との接続方式は、PoEに限られない。例えば、カメラ10A、10B、10Cは、他の接続方式によって補助電力が供給されてもよい。
映像レコーダ20は、例えばイーサネットケーブルによって、監視装置100に接続される。ただし、映像レコーダ20は、イーサネットケーブルとは異なる有線ケーブル(例えばUSBケーブル)又は無線方式(例えばIEEE802.11又はBluetooth)によって、監視装置100に接続されてもよい。
GNSS受信装置30は、例えばUSBケーブルによって、監視装置100に接続される。ただし、GNSS受信装置30は、USBケーブルとは異なる有線ケーブル又は無線方式によって、監視装置100に接続されてもよい。
RTK受信装置40は、例えばUSBケーブルによって、監視装置100に接続される。ただし、RTK受信装置40は、USBケーブルとは異なる有線ケーブル又は無線方式によって、監視装置100に接続されてもよい。
カメラ10Aは、保守対象物を撮影できるように車両1に設置される。カメラ10Aの設置数は1つに限られず、2つ以上であってもよい。走行中の車両1からカメラ10Aが撮影して生成した動画データを、監視動画と称する。監視動画のフォーマットの例として、MPEG2、MPEG4、H.264、H.265、JPEG、非圧縮データが挙げられる。
カメラ10Bは、軌道周辺に存在する距離標を撮影できるように車両1に設置される。カメラ10Bの設置数は1つに限られず、2つ以上であってもよい。走行中の車両1からカメラ10Bが撮影して生成した動画データを、距離標動画と称する。距離標動画のフォーマットは、監視動画と同じであってよい。距離標とは、鉄道において、ある起点からの距離を表す標識である。距離標には、その距離を示す文字が記されていることが多いが、文字が示されていなくてもよい。なお、距離標の「文字」には、数字及び記号等が含まれてよい。また、距離標は、ある起点からの距離を表す標識に限られず、距離、距離の間隔、又は特定の場所を示す物であってもよい。
カメラ10Cは、車両1から見える風景を撮影できるように車両1に設置される。カメラ10Cの設置数は1つに限られず、2つ以上であってもよい。走行中の車両1からカメラ10Cが撮影して生成した動画データを、風景動画と称する。風景動画のフォーマットは、監視動画と同じであってよい。カメラ10Cは、車両1の後方、前方、又は、側方の風景が撮影されるように設置されてよい。カメラ10Cは、車両1の内側に設置されてもよいし、車両1の外側(例えば車両1の屋根の上)に設置されてもよい。
カメラ10A、カメラ10B、カメラ10Cは、互いに異なる方向を撮影できるように車両1に設置されてよい。これにより、上述したように、保守対象物、距離標、風景といった互いに異なるものを撮影できる。あるいは、1つのカメラで距離標及び風景の両方を撮影できる場合、カメラ10Cを設置せずに、カメラ10Bで距離標及び風景の両方を含む動画を撮影してもよい。
映像レコーダ20は、カメラ10A、10B、10Cから監視動画、距離標動画、及び、風景動画をそれぞれ受信して記録する装置である。
GNSS受信装置30は、GNSS衛星3から発射される測位用の信号であるGNSS信号を定期的に受信し、受信したGNSS信号からGNSS情報201(図2参照)を生成する。GNSS情報201には、GNSS信号の受信時刻と、当該受信時刻におけるGNSS受信装置30の緯度及び経度と、当該緯度及び経度の測位精度とが対応付けて含まれる。GNSS受信装置30は、生成したGNSS情報201を監視装置100へ送信する。以下、測位された緯度及び経度を測位座標と称する。
RTK受信装置40は、無線基地局4から送信される測位用の信号であるRTK信号を定期的に受信し、受信したRTK信号から補正情報202(図2参照)を生成する。補正情報202には、GNSS信号が示す測位座標を補正するための情報が含まれる。RTK信号を用いて補正した測位座標は、補正前の測位座標よりも正確な位置を示す。RTK受信装置40は、生成した補正情報202を監視装置100へ送信する。
監視装置100は、GNSS受信装置30及びRTK受信装置40からGNSS情報201及び補正情報202をそれぞれ受信する。監視装置100は、受信したGNSS情報201及び補正情報202に基づいて、そのGNSS情報201及び補正情報202に含まれる受信時刻における、カメラ10Aの測位座標を示す情報(以下「測位情報」という)206を生成する。例えば、GNSS受信装置30及びカメラ10Aを高さ方向にて一直線に並ぶように設置することにより、GNSS情報201からカメラ10Aの測位座標を得ることができる。あるいは、GNSS受信装置30とカメラ10Aとの間の位置ずれを予め登録しておき、GNSS情報201が示す測位座標を、その登録された位置ずれで補正することにより、カメラ10Aの測位座標を得ることができる。
監視装置100は、GNSS情報201に含まれる時刻情報、及び、時刻サーバ5(例えばNTP(Network Time Protocol)サーバ)から受信した時刻情報のうちの少なくとも1つに基づいて、当該監視装置100の内部時計を設定する。これにより、監視装置100の内部時計は、正確な時刻に同期される。加えて、監視装置100は、映像レコーダ20、及び、カメラ10A、10B、10Cの内部時計を、当該監視装置100の内部時計と同期させる。これにより、カメラ10A、10B、10C、映像レコーダ20、及び、監視装置100の内部時計が、正確な時刻に同期される。
監視装置100は、映像レコーダ20から、監視動画を構成する各画像フレーム(以下「監視画像」という)203(図2参照)と、距離標動画を構成する各画像フレーム(以下「距離標画像」という)204(図2参照)と、風景動画を構成する各画像フレーム(以下「風景画像」という)205(図2参照)とを取得して格納する。
監視装置100は、監視画像203の撮影時刻と同時刻に測位された測位情報206を用いて、当該監視画像203の撮影位置を特定する。これにより、監視画像203の撮影位置を精度良く特定できる。しかし、車両1が山間部、都市部、又はトンネル内等を走行中は、GNSS信号を受信できなかったり、GNSS信号の測位精度が不十分であったりして、測位情報206を用いることができない場合がある。このような場合、監視装置100は、監視画像203の撮影時刻と同時刻に撮影された距離標画像204及び風景画像205のうちの少なくとも1つを用いて、当該監視画像203の撮影位置を特定する。これにより、測位情報206を用いることができない場合であっても、監視画像203の撮影位置を精度良く特定できる。なお、本開示の説明において、「撮影時刻と同時刻」という表現は、厳密に同じ時刻を表すものではなく、撮影時刻を含む所定の期間内に含まれる時刻を表す。次に、上述の内容について詳細に説明する。
<監視装置の構成>
図2は、本実施の形態に係る監視装置100の構成例を示す機能ブロック図である。
監視装置100は、情報格納部101、GNSS情報受信部102、補正情報受信部103、時計同期部104、画像取得部105、測位情報生成部106、監視情報生成部107、撮影位置特定部108、及び、UI処理部109を有する。
情報格納部101は、図8に示すメモリ1002、ストレージ1003又はこれらの組み合わせによって実現されてよい。情報格納部101は、GNSS情報201、補正情報202、監視画像203、距離標画像204、風景画像205、測位情報206、及び、監視情報207を格納する。
GNSS情報受信部102、補正情報受信部103、時計同期部104、画像取得部105、測位情報生成部106、監視情報生成部107、撮影位置特定部108、及び、UI処理部109は、図8に示すプロセッサ1001がメモリ1002等と協働することによって実現されてよい。したがって、これらの機能ブロック102~109を主体として説明する処理は、プロセッサ1001を主体とする処理に読み替えることができる。
GNSS情報受信部102は、GNSS受信装置30から定期的にGNSS情報201を受信し、情報格納部101に格納する。
補正情報受信部103は、RTK受信装置40から定期的に補正情報202を受信し、情報格納部101に格納する。
時計同期部104は、GNSS情報201及び補正情報202に含まれる時刻情報、及び、時刻サーバ5から受信した時刻情報のうちの少なくとも1つに基づいて、監視装置100の内部時計を設定する。例えば、時計同期部104は、GNSS情報201及び補正情報202のうちの少なくとも1つから時刻情報が得られた場合、その時刻情報を用いて監視装置100の内部時計を設定する。時計同期部104は、GNSS情報201及び補正情報202の何れからも時刻情報が得られなかった場合、時刻サーバ5から時刻情報を取得し、その時刻情報を用いて監視装置100の内部時計を設定する。
加えて、時計同期部104は、映像レコーダ20及びカメラ10A、10B、10Cの内部時計を、監視装置100の内部時計と同期させる。これにより、カメラ10A、10B、10C、映像レコーダ20、及び、監視装置100の内部時計が正確な時刻に同期される。よって、監視画像203、距離標画像204、及び、風景画像205の撮影時刻は、いずれも正確な時刻を表す。
画像取得部105は、映像レコーダ20から、監視画像203、距離標画像204、及び、風景画像205を取得し、情報格納部101に格納する。
測位情報生成部106は、GNSS情報201及び補正情報202に基づいて、そのGNSS情報201及び補正情報202に含まれる受信時刻における、カメラ10Aの測位座標(緯度及び経度)を示す測位情報206を生成し、情報格納部101に格納する。
監視情報生成部107は、監視画像203と、当該監視画像203の撮影時刻と同時刻に撮影された距離標画像204及び風景画像205と、当該撮影時刻と同時刻に測位された測位情報206とを対応付けて監視情報207を生成する。なお、監視情報207の詳細については後述する(図3参照)。
撮影位置特定部108は、監視情報207において監視画像203と対応付けられている測位情報206、距離標画像204及び風景画像205のうちの少なくとも1つを用いて、当該監視画像203の撮影位置を特定する。監視画像203の撮影位置は、鉄道路線における、所定の起点からの距離を示す営業キロとして表現されてよい。
撮影位置特定部108は、監視情報207において監視画像203と対応付けられている測位情報206の測位精度が十分である(例えば測位精度が所定の閾値以上である)場合、その測位情報206の測位座標に対応する営業キロを、当該監視画像203の撮影位置としてよい。例えば、撮影位置特定部108は、軌道上の測位座標を営業キロに変換する所定のデータベースを用いて、測位情報206の測位座標を営業キロに変換する。
撮影位置特定部108は、監視情報207において監視画像203に測位情報206が対応付けられていない場合、あるいは、監視画像203と対応付けられている測位情報206の測位精度が不十分である(例えば測位精度が所定の閾値未満である)場合、次の処理を行ってよい。すなわち、撮影位置特定部108は、監視情報207において監視画像203と対応付けられている距離標画像204及び風景画像205のうちの少なくとも1つを用いて、当該監視画像203の撮影位置の営業キロを特定してよい。なお、この特定方法の詳細については後述する。
UI処理部109は、監視情報207に基づいて保守用UI400(図7参照)を表示し、保守用UI400に対する操作を受け付ける。例えば、UI処理部109は、図8に示す出力装置1005の一例であるディスプレイに保守用UI400を表示する。そして、UI処理部109は、図8に示す入力装置1004の一例であるキーボード及びマウスを通じて保守用UI400に対する操作を受け付ける。なお、保守用UI400の詳細については後述する(図7参照)。
<監視情報の構成>
図3は、本実施の形態に係る監視情報207の構成例を示す図である。
監視情報207は、項目として、監視画像、距離標画像、風景画像、撮影時刻、測位情報、路線名称、営業キロ、保守要否フラグ、保守要因、撮影手段、撮影者、及び、メモを有する。すなわち、監視情報207は、これらの項目の対応関係を示す情報であるともいえる。
監視画像の項目には、監視画像203のID(Identification)が登録される。監視画像203のIDの例として、監視画像203のファイル名が挙げられる。
距離標画像の項目には、距離標画像204のIDが登録される。距離標画像204のIDの例として、距離標画像204のファイル名が挙げられる。
風景画像の項目には、風景画像205のIDが登録される。風景画像205のIDの例として、風景画像205のファイル名が挙げられる。
撮影時刻の項目には、監視画像203の撮影時刻が登録される。なお、撮影時刻の項目には、時刻だけでなく、日付も含まれてよい。また、撮影時刻は、撮影のfpsに応じて、ミリ秒又はマイクロ秒まで表示することで各画像の撮影のタイミングを詳細に確認することができる。これによって、fpsの値が大きくなったとしても、異なるタイミングで撮影された画像に対して、同時刻で撮影されたと認識することを防ぐことができる。例えば、1ミリ秒ごとで撮影される画像に対して、撮影時刻が秒単位までしか表示されないと各画像の撮影順を把握することができないが、ミリ秒単位まで表示することで各画像の撮影順を把握することができる。
測位情報の項目には、監視画像203の撮影時刻と同時刻に測位された測位座標と、その測位座標の測位精度とが登録される。測位精度は、精度の高さを示す数値で表現されてもよい。あるいは、測位精度は、精度が十分であることを示す「良好」、精度が不十分であることを示す「不良」、測位ができなかったことを示す「不可」の3段階で表現されてもよい。
路線名称の項目には、監視画像203が撮影された路線の名称が登録される。
営業キロの項目には、監視画像203の撮影位置の営業キロが登録される。
保守要否フラグの項目には、監視画像203に示される保守対象物について、保守作業が必要か否かを示すフラグが登録される。保守作業者は、後述する保守用UI400に表示された監視画像203を見て、監視画像203内の保守対象物について保守作業が必要か否かを判断してよい。あるいは、監視装置100は、監視画像203を画像解析して監視画像203内の保守対象物について保守作業が必要か否かを自動的に判断してもよい。保守要否フラグの項目には、その判断の結果を示すフラグが登録されてよい。例えば、保守要否フラグには、保守作業が必要であることを示す「必要」、又は、保守作業が不要であることを示す「不要」が登録されてよい。
保守要因の項目には、保守要否フラグが「必要」である場合に、保守作業が必要である要因が登録される。例えば、保守対象物の設備が異常である場合、保守要因の項目には「設備異常」が登録されてよい。例えば、保守対象物が欠損している場合、保守要因の項目には「欠損」が登録されてよい。
撮影手段の項目には、監視画像203の撮影手段が登録される。例えば、監視画像203が、保守用車両等に載せられたカメラ10Aで撮影されたものである場合、撮影手段の項目には「保守用車両等」が登録されてよい。例えば、監視画像203が、保守作業者が所持するカメラ付き端末によって撮影されたものである場合、撮影手段の項目には「手元端末」が登録されてよい。
撮影者の項目には、監視画像203の撮影者が登録される。例えば、監視画像203が、「パナ花子」という氏名の保守作業者によって撮影されたものである場合、撮影者の項目には「パナ花子」が登録される。例えば、監視画像203が、「松下太郎」という氏名の保守作業者によって撮影されたものである場合、撮影者の項目には「松下太郎」が登録される。
メモの項目には、監視画像203に対するメモの内容が登録される。例えば、保守作業者が、後述する保守用UI400に表示された監視画像203を見てメモを入力した場合、メモの項目には、その入力されたメモの内容が登録される。
<監視画像と測位情報の対応付け>
図4は、監視画像203と測位情報206との対応付け方法の一例を説明するための図である。
図3に示すように、監視情報生成部107は、監視画像203に、当該監視画像203の撮影時刻と同時刻に測位された測位情報206を対応付けて監視情報207を生成する。これにより、監視画像203の撮影位置を、当該監視画像203に対応付けられている測位情報206から特定することができる。
しかし、監視動画のフレームレートと、GNSS信号の受信頻度とは異なり得る。例えば、監視動画のフレームレートが30fpsであり、GNSS信号の受信頻度が10Hzであるとする。この場合、監視動画のフレーム周期は(1/30)秒であり、GNSS信号による測位周期は(1/10)秒であるため、すべての監視画像203に対して1対1で測位情報206を対応付けることはできない。
そこで、撮影位置特定部108は、監視画像203の撮影時刻と同時刻に測位された測位情報206が存在する場合、その監視画像203にその測位情報206を対応付け、監視画像203の撮影時刻と同時刻に測位された測位情報206が存在しない場合、他の時刻に測位された測位情報206に基づいて、その監視画像203に対応する測位情報206を推定する。
例えば、図4に示すように、時刻t1、t2、t3、t4のそれぞれにて監視画像203が撮影され、時刻t1と時刻t4にて測位情報206が測位された場合、撮影位置特定部108は、次の処理を行う。すなわち、撮影位置特定部108は、時刻t1に撮影された監視画像203に、時刻t1に測位された測位情報206を対応付け、時刻t4に撮影された監視画像203に、時刻t4に測位された測位情報206を対応付ける。加えて、撮影位置特定部108は、時刻t1及び時刻t4における測位情報206に基づいて、時刻t2及び時刻t3における測位情報206を推定する。次に、当該推定方法について説明する。
図5は、測位情報の推定方法の一例を説明するための図である。
例えば、図5に示すように、撮影位置特定部108は、時刻t1の測位情報206が示す位置P1と時刻t4の測位情報206が示す位置P4とを結ぶ線分Lを3分割し、分割点P2、P3を得る。なお、分割数は、測位の周期を監視画像203の周期で除した値に基づいて算出されてよい。また、線分Lの形状は、レールの線形に沿うものであってよい。
撮影位置特定部108は、分割点P2を時刻t2の測位情報206と推定し、分割点P3を時刻t3の測位情報206と推定する。そして、撮影位置特定部108は、監視情報207において、時刻t2の監視画像203に、その推定した時刻t2の測位情報206を対応付け、時刻t3の監視画像203に、その推定した時刻t3の測位情報206を対応付ける。
これにより、監視動画のフレーム周期と、GNSS信号による測位周期とが異なる場合であっても、各監視画像203に測位情報206を対応付けることができる。
<測位精度が不十分な場合>
車両1がトンネル又は地下等を走行している間、GNSS信号を受信できないため、測位情報生成部106は、その間の測位情報206を生成できない。したがって、監視情報207において、車両1がトンネル又は地下等を走行している間に撮影された監視画像203には、測位情報206が対応付けられない場合がある。この場合、測位情報206からは監視画像203の撮影位置を特定することができない。
また、車両1が都市部又は山間部等を走行している間、GNSS信号は受信できるもののRTK信号を受信できなかったり、GNSS信号の受信精度が不十分であったりして、生成された監視情報207の測位精度が不十分な場合がある。したがって、監視情報207において、車両1が都市部又は山間部等を走行している間に撮影された監視画像203に対応付けられている測位情報206は、測位精度が不十分である場合がある。この場合、測位情報206から特定した監視画像203の撮影位置は、実際の撮影位置から大きくずれていることがある。
そこで、撮影位置特定部108は、監視情報207において、測位情報206が対応付けられていない、あるいは、測位精度が不十分(所定の閾値未満)な測位情報206が対応付けられている監視画像203については、当該監視画像203の撮影時刻と同時刻に撮影された距離標画像204及び風景画像205のうちの少なくとも1つを用いて、当該監視画像203の撮影位置を特定する。
例えば、撮影位置特定部108は、次のように、距離標画像204から撮影位置を特定する。すなわち、撮影位置特定部108は、監視画像203の撮影時刻と同時刻に撮影された距離標画像204に対して文字認識を行い、距離標の文字を読み取る。撮影位置特定部108は、その読み取った距離標の文字から、その距離標が示す営業キロを特定する。撮影位置特定部108は、監視情報207において、その距離標画像204の撮影時刻と同時刻に撮影された監視画像203に対して、その特定した営業キロを対応付ける。
例えば、撮影位置特定部108は、次のように、風景画像205から撮影位置を特定する。すなわち、撮影位置特定部108は、監視画像203の撮影時刻と同時刻に撮影された風景画像205に対して物体認識を行い、その物体を認識する。撮影位置特定部108は、認識した物体と当該物体が存在する位置との対応関係を有する所定のデータベースに、その認識した物体が存在する位置を問い合わせ、その物体が存在する位置を得る。撮影位置特定部108は、監視情報207において、その風景画像205の撮影時刻と同時刻に撮影された監視画像203に、その物体が存在する位置の営業キロを対応付ける。風景画像に撮影され、位置を特定し得る物体の例として、トンネル、橋りょう、駅舎、店舗、看板、標識、橋、ランドマークが挙げられる。
例えば、撮影位置特定部108は、UI処理部109と連携して、次のように、風景画像205から撮影位置を特定する。すなわち、UI処理部109は、監視画像203の撮影時刻と同時刻に撮影された風景画像205を表示し、保守作業者からその風景画像205が示す位置の入力を受け付ける。保守作業者は、表示された風景画像205を見て、その風景画像205が撮影された位置を入力する。撮影位置特定部108は、監視情報207において、その風景画像205の撮影時刻と同時刻に撮影された監視画像203に、その入力された位置の営業キロを対応付ける。
<監視画像の撮影位置を特定する処理>
図6は、監視画像203の撮影位置を特定する処理の一例を示すフローチャートである。
撮影位置特定部108は、監視情報207に含まれる複数の監視画像203の中から、監視画像203を1つ選択する(S101)。
撮影位置特定部108は、監視情報207においてS101にて選択された監視画像203と対応付けられている(つまり監視画像203の撮影時刻と同時刻に測定された)測位情報206を取得する(S102)。
監視情報生成部107は、S102にて取得された測位情報206に含まれる測位精度が所定の閾値以上であるか否かを判定する(S103)。
測位精度が閾値以上である場合(S103:YES)、撮影位置特定部108は、S102にて取得された測位情報206の測位座標における営業キロを特定する(S104)。そして、S112の処理が実行される。
測位精度が閾値未満である場合、又は、S101にて選択された監視画像203に測位情報206が対応付けられていない場合(S103:NO)、撮影位置特定部108は、次の処理を行う。すなわち、撮影位置特定部108は、監視情報207においてS101にて選択された監視画像203と対応付けられている(つまり監視画像203の撮影時刻と同時刻に撮影された)距離標画像204を取得する(S105)。
撮影位置特定部108は、S105にて選択された距離標画像204に対して距離標の文字認識を行う(S106)。撮影位置特定部108は、S106にて距離標の文字認識に成功したか否かを判定する(S107)。
距離標の文字認識に成功した場合(S107:YES)、撮影位置特定部108は、認識した距離標の文字が示す営業キロを特定する(S108)。そして、S112の処理が実行される。
距離標の文字認識に失敗した場合(S107:NO)、撮影位置特定部108は、UI処理部109と連携し、次の処理を行う。すなわち、UI処理部109は、保守用UI400として、監視情報207においてS101にて選択された監視画像203と対応付けられている(つまり監視画像203の撮影時刻と同時刻に撮影された)風景画像205を表示し、その風景画像205が示す位置の入力を受け付ける(S109)。
保守作業者は、表示された風景画像205が示す位置情報を入力する(S110)。撮影位置特定部108は、S110で入力された位置の営業キロを特定する(S111)。そして、S112の処理が実行される。
撮影位置特定部108は、監視情報207において、S101にて選択された監視画像203に、S104、S108又はS111で特定した営業キロを対応付ける(S112)。監視装置100は、監視情報207に含まれる各監視画像203について上述した処理を実行した後、本処理を終了する。
以上の処理によれば、撮影位置特定部108は、監視画像203に対応付けられている測位情報206の測位精度が十分な場合、その測位情報206を用いて監視画像203の撮影位置の営業キロを特定する。また、撮影位置特定部108は、監視画像203に対応付けられている測位情報206の測位精度が不十分な場合、あるいは、監視画像203に測位情報206が対応付けられてない場合、監視画像203に対応付けられている距離標画像204又は風景画像205を用いて監視画像203の撮影位置の営業キロを特定する。これにより、監視画像203が何れの場所で撮影されたものであっても、その監視画像203の撮影位置の営業キロを特定することができる。
<保守用UIの表示>
図7は、本実施の形態に係る保守用UI400の表示例を示す図である。
UI処理部109は、図7に示すような保守用UI400の画像を、出力装置1005の一例であるディスプレイに表示する。保守用UI400は、監視画像領域401、距離標画像領域402、風景画像領域403、情報領域404、地図領域405、前ボタン406、次ボタン407、要保守ボタン408、及び、メモボタン409を含む。
監視画像領域401には、監視情報207に含まれる監視画像203の1つが表示される。
距離標画像領域402には、監視情報207において監視画像領域401に表示された監視画像203と対応付けられている距離標画像204が表示される。
風景画像領域403には、監視情報207において監視画像領域401に表示された監視画像203と対応付けられている風景画像205が表示される。
情報領域404には、監視画像領域401に表示された監視画像203に関する情報が表示される。例えば、監視画像203のファイル名、撮影日、撮影時刻、撮影者、メモ、営業キロ、撮影位置を示す緯度及び経度が表示される。UI処理部109は、監視情報207を参照して、情報領域404にこれらの情報を表示してよい。
地図領域405には、監視画像領域401に表示された監視画像203の撮影位置の周辺地図と、その撮影位置を示すピン410とが表示される。
なお、図6のS110で述べた、風景画像205が示す位置の入力を受け付けるUIは、保守用UI400と同様であってよい。この場合、保守作業者は、風景画像領域403に表示された風景画像205を見て、その風景が示す地図上の位置にピン410を打つことにより、風景画像205が示す位置情報を入力できる。
前ボタン406が押下されると、UI処理部109は、監視情報207において1つ前の撮影時刻に対応付けられている監視画像203、距離標画像204、及び、風景画像205を、監視画像領域401、距離標画像領域402、及び、風景画像領域403にそれぞれ表示する。また、UI処理部109は、1つ前の撮影時刻に対応付けられている監視画像203の撮影位置の周辺地図と、その撮影位置を示すピン410とを地図領域405に表示する。
次ボタン407が押下されると、UI処理部109は、監視情報207において1つ後の撮影時刻に対応付けられている監視画像203、距離標画像204、及び、風景画像205を、監視画像領域401、距離標画像領域402、及び、風景画像領域403にそれぞれ表示する。また、UI処理部109は、1つ後の撮影時刻に対応付けられている監視画像203の撮影位置の周辺地図と、その撮影位置を示すピン410とを地図領域405に表示する。
要保守ボタン408が押下されると、UI処理部109は、監視情報207において、表示中の監視画像203と対応付けられている保守要否フラグを「必要」に変更する。
メモボタン409が押下されると、UI処理部109は、メモ入力用UI(図示しない)を表示する。加えて、UI処理部109は、監視情報207において、表示中の監視画像203と対応付けられているメモの項目に、メモ入力用UIに入力された内容を登録する。
例えば、保守作業者は、次ボタン407を押下して、表示させる監視画像203を切り替えていき、保守対象物に問題が無いか否かを確認する。保守作業者は、保守対象物に問題がある場合、要保守ボタン408を押下する。また、保守作業者は、保守対象物にコメントを付しておきたい場合、メモボタン409を押下してメモを入力する。
UI処理部109は、検索機能を提供してもよい。例えば、UI処理部109は、監視情報207の中から、営業キロが対応付けられていない監視画像203を検索して、保守用UI400に表示してもよい。これにより、保守作業者は、風景画像205が示す位置の入力を効率的に行うことができる。また、例えば、UI処理部109は、監視情報207の中から、保守要否フラグ「必要」に対応付けられている監視画像203を検索して、保守用UI400に表示してもよい。これにより、保守作業者は、保守が必要な保守対象物の監視画像203を効率的に確認できる。
<変形例及び補足>
情報格納部101には、車両1に備えたカメラ10A、10B、10Cから撮影した監視画像203、距離標画像204、風景画像205に加えて、保守作業者が所持するカメラから撮影した監視画像203、距離標画像204、風景画像205も格納されてよい。この場合、監視情報生成部107は、保守作業者が撮影した監視画像203、距離標画像204、風景画像205についても、監視情報207に加えてよい。保守作業者が所持するカメラは、カメラ付きのスマートフォン又はタブレット端末であってよい。あるいは、保守作業者が所持するカメラは、保守作業者がかぶっているヘルメットに装着されたものであってもよい。
上述では測位にRTK信号も使用しているが、RTK信号を使用せずに、GNSS信号のみで測位を行ってもよい。あるいは、監視装置100は、GNSS信号及びRTK信号のいずれも使用せず、距離標画像204又は風景画像205を用いて、監視画像203の撮影位置を特定してもよい。
上述では、保守対象を鉄道とした場合について説明したが、保守対象は鉄道に限られない。上述した内容は、一般道路又は高速道路といった車両が走行する場所に適応することができる。例えば、上述した内容を高速道路に適応することにより、高速道路上のトンネル、路肩又は崩落防止壁といった保守のために撮影した画像の撮影位置を精度良く特定できる。
また、上述では、GNSS又はRTKを用いて位置を特定する場合について説明したが、路線名及び営業キロの情報に基づいて、位置を特定することもできる。この構成によれば、距離標等から認識した営業キロと路線名とから位置を正確に特定できる。なお、路線名は事前に登録しておき、距離標からは営業キロを認識するような構成でもよい。
<ハードウェア構成>
上述した監視装置100の機能ブロックは、コンピュータプログラムにより実現されてもよい。図8は、本実施の形態に係る監視装置100の機能ブロックをコンピュータプログラムにより実現するコンピュータのハードウェア構成を示す図である。なお、コンピュータは、情報処理装置と読み替えられてもよい。
コンピュータ1000は、プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU(Graphics Processing Unit)1007、読取装置1008、及び、バス1009を備える。
各装置1001~1008は、バス1009に接続され、バス1009を介して双方向にデータを送受信できる。
プロセッサ1001は、メモリ1002に記憶されたコンピュータプログラムを実行し、上述した機能ブロックを実現する装置である。プロセッサ1001は、制御部と読み替えられてもよい。プロセッサ1001の例として、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、コントローラ、LSI(large scale integration)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)が挙げられる。
メモリ1002は、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する装置である。メモリ1002は、記憶部と読み替えられてもよい。メモリ1002は、ROM(Real-Only Memory)及びRAM(Random Access Memory)を含んでよい。RAMの例として、DRAM(Dynamic Random Access Memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)が挙げられる。
ストレージ1003は、不揮発性記憶媒体で構成され、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する装置である。ストレージ1003の例として、HDD(Hard Disk Drive)、SSD(Solid State Drive)が挙げられる。
入力装置1004は、プロセッサ1001に入力するデータを受け付ける装置である。入力装置1004の例として、キーボード、マウス、タッチパッド、マイクが挙げられる。
出力装置1005は、プロセッサ1001が生成したデータを出力する装置である。出力装置1005の例として、ディスプレイ、スピーカーが挙げられる。
通信装置1006は、サーバに代表される他の装置と、通信ネットワークを介して、データを送受信する装置である。通信装置1006は、データを送信する送信部とデータを受信する受信部とを含んでよい。通信装置1006は、有線通信及び無線通信の何れに対応してもよい。有線通信の例として、Ethernet(登録商標)が挙げられる。無線通信の例として、IEEE802.11、Bluetooth、LTE、4G、5Gが挙げられる。
GPU1007は、画像描写を高速に処理する装置である。なお、GPU1007は、AI(Artificial Intelligence)に関する処理(例えばディープラーニング)や、距離標等に対する文字認識に関する処理に利用されてもよい。
読取装置1008は、DVD-ROM(Digital Versatile Disk Read Only Memory)又はUSBメモリといった外部の記録媒体からデータを読み取る装置である。
なお、監視装置100の機能ブロックは、集積回路であるLSIとして実現されてもよい。これらの機能ブロックは、個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
なお、本実施の形態の映像レコーダ20は、カメラ10A、10B、10Cから監視動画、距離標動画、及び、風景動画をそれぞれ受信したが、映像レコーダ20は、カメラ10A、10B、10Cから監視画像、距離標画像、及び、風景画像をそれぞれ受信してもよい。この構成によれば、動画から画像を抽出する処理が不要となる。
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
本開示の技術は、鉄道を含む、交通インフラ全般の監視及び保守に有用である。
1 車両
2 監視システム
3 GNSS衛星
4 無線基地局
5 時刻サーバ
10A、10B、10C カメラ
20 映像レコーダ
30 GNSS受信装置
40 RTK受信装置
100 監視装置
101 情報格納部
102 GNSS情報受信部
103 補正情報受信部
104 時計同期部
105 画像取得部
106 測位情報生成部
107 監視情報生成部
108 撮影位置特定部
109 UI処理部
201 GNSS情報
202 補正情報
203 監視画像
204 距離標画像
205 風景画像
206 測位情報
207 監視情報
400 保守用UI
401 監視画像領域
402 距離標画像領域
403 風景画像領域
404 情報領域
405 地図領域
406 前ボタン
407 次ボタン
408 要保守ボタン
409 メモボタン
410 ピン
1000 コンピュータ
1001 プロセッサ
1002 メモリ
1003 ストレージ
1004 入力装置
1005 出力装置
1006 通信装置
1007 GPU
1008 読取装置
1009 バス

Claims (8)

  1. 車両の移動経路上の保守対象物を監視する監視装置であって、
    前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納させる制御部、を備え、
    前記制御部は、前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、
    前記測位情報は、前記測位の精度を示す測位精度を含み、
    前記制御部は、
    前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
    前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する、
    監視装置。
  2. 車両の移動経路上の保守対象物を監視する監視装置であって、
    前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納させる制御部、を備え、
    前記制御部は、前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、
    前記測位情報は、前記測位の精度を示す測位精度を含み、
    前記制御部は、
    前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
    前記測位精度が前記閾値未満の場合、前記第2画像を表示させ、ユーザから前記第2画像の撮影位置の入力を受付ける、
    監視装置。
  3. 車両の移動経路上の保守対象物を監視する監視システムであって、
    前記保守対象物を撮影して第1画像を生成する第1のカメラと、
    前記第1画像の撮影位置の周辺を撮影して第2画像を生成する第2のカメラと、
    前記保守対象物を撮影した前記第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納し、
    測位の精度を示す測位精度を含む前記第1画像の撮影位置を測位した測位情報を対応付け、
    前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
    前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する監視装置と、を備える、
    監視システム。
  4. 車両の移動経路上の保守対象物を監視する監視システムであって、
    前記保守対象物を撮影して第1画像を生成する第1のカメラと、
    前記第1画像の撮影位置の周辺を撮影して第2画像を生成する第2のカメラと、
    前記保守対象物を撮影した前記第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納し、
    測位の精度を示す測位精度を含む前記第1画像の撮影位置を測位した測位情報を対応付け、
    前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
    前記測位精度が前記閾値未満の場合、前記第2画像を表示させ、ユーザから前記第2画像の撮影位置の入力を受付ける監視装置と、を備える、
    監視システム。
  5. 車両の移動経路上の保守対象物を監視する監視方法であって、
    前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納し、
    前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、
    前記測位情報は、前記測位の精度を示す測位精度を含み、
    前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
    前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する、
    監視方法。
  6. 車両の移動経路上の保守対象物を監視する監視方法であって、
    前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納し、
    前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、
    前記測位情報は、前記測位の精度を示す測位精度を含み、
    前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
    前記測位精度が前記閾値未満の場合、前記第2画像を表示させ、ユーザから前記第2画像の撮影位置の入力を受付ける、
    監視方法。
  7. 車両の移動経路上の保守対象物を監視するためのコンピュータプログラムであって、
    前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納させ、
    前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、
    前記測位情報は、前記測位の精度を示す測位精度を含み、
    前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
    前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する、
    ことをコンピュータに実行させる、
    コンピュータプログラム。
  8. 車両の移動経路上の保守対象物を監視するためのコンピュータプログラムであって、
    前記保守対象物を撮影した第1画像と、前記第1画像の撮影位置の周辺を撮影した第2画像とを対応付けて情報格納部に格納させ、
    前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、
    前記測位情報は、前記測位の精度を示す測位精度を含み、
    前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
    前記測位精度が前記閾値未満の場合、前記第2画像を表示させ、ユーザから前記第2画像の撮影位置の入力を受付ける、
    ことをコンピュータに実行させる、
    コンピュータプログラム。
JP2021198516A 2020-10-19 2021-12-07 監視装置、監視システム、監視方法、及び、コンピュータプログラム Active JP7417871B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021198516A JP7417871B2 (ja) 2020-10-19 2021-12-07 監視装置、監視システム、監視方法、及び、コンピュータプログラム
JP2023180978A JP2024001239A (ja) 2020-10-19 2023-10-20 監視装置、監視システム、監視方法、及び、コンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020175472A JP7117645B2 (ja) 2020-10-19 2020-10-19 監視装置、監視システム、監視方法、及び、コンピュータプログラム
JP2021198516A JP7417871B2 (ja) 2020-10-19 2021-12-07 監視装置、監視システム、監視方法、及び、コンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020175472A Division JP7117645B2 (ja) 2020-10-19 2020-10-19 監視装置、監視システム、監視方法、及び、コンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023180978A Division JP2024001239A (ja) 2020-10-19 2023-10-20 監視装置、監視システム、監視方法、及び、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2022067096A JP2022067096A (ja) 2022-05-02
JP7417871B2 true JP7417871B2 (ja) 2024-01-19

Family

ID=81389861

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020175472A Active JP7117645B2 (ja) 2020-10-19 2020-10-19 監視装置、監視システム、監視方法、及び、コンピュータプログラム
JP2021198516A Active JP7417871B2 (ja) 2020-10-19 2021-12-07 監視装置、監視システム、監視方法、及び、コンピュータプログラム
JP2023180978A Pending JP2024001239A (ja) 2020-10-19 2023-10-20 監視装置、監視システム、監視方法、及び、コンピュータプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020175472A Active JP7117645B2 (ja) 2020-10-19 2020-10-19 監視装置、監視システム、監視方法、及び、コンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023180978A Pending JP2024001239A (ja) 2020-10-19 2023-10-20 監視装置、監視システム、監視方法、及び、コンピュータプログラム

Country Status (1)

Country Link
JP (3) JP7117645B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163107A1 (ja) 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019048604A (ja) 2017-09-12 2019-03-28 西日本旅客鉄道株式会社 点検作業支援装置、距離標情報管理方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6821284B1 (ja) * 2020-03-24 2021-01-27 株式会社ファンクリエイト 路面被覆用シート及び路面被覆用シートの点検方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163107A1 (ja) 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019048604A (ja) 2017-09-12 2019-03-28 西日本旅客鉄道株式会社 点検作業支援装置、距離標情報管理方法、及びプログラム

Also Published As

Publication number Publication date
JP2022067096A (ja) 2022-05-02
JP2024001239A (ja) 2024-01-09
JP2022066880A (ja) 2022-05-02
JP7117645B2 (ja) 2022-08-15

Similar Documents

Publication Publication Date Title
CN108413975B (zh) 地图获取方法、系统、云处理器及车辆
US8340902B1 (en) Remote vehicle management system by video radar
US20200356108A1 (en) Information transmission method and client device
US10083613B2 (en) Driving support
JP2018508418A (ja) リモートセンシング及び車両制御のための実時間マシンビジョン並びに点群分析
US20130173208A1 (en) Road surface inspection device and recording medium
US20130170701A1 (en) Computer-readable recording medium and road surface survey device
JP2010035159A (ja) 車両搭載型画像記録装置および画像記録方法
US20150021444A1 (en) Integrated time-stamped event recorder
EP2629237A1 (en) Remote vehicle management system by video radar
de Frutos et al. Using smartphones as a very low-cost tool for road inventories
CN103559805A (zh) 基于北斗及惯性导航的高精度3g视频车载定位系统
US20200034637A1 (en) Real-Time Track Asset Recognition and Position Determination
CN111024115A (zh) 实景导航方法、装置、设备、存储介质及车载多媒体系统
JP2009083815A (ja) ドライブレコーダ装置および事故解析シミュレーション装置
CN104990561A (zh) 一种实景导航方法与系统
US20230257009A1 (en) Digital context-aware data collection
US20230392943A1 (en) Server apparatus and information processing method
JP3544703B2 (ja) 巡回検査装置及び巡回検査のための表示方法
JP7417871B2 (ja) 監視装置、監視システム、監視方法、及び、コンピュータプログラム
JP2019087969A (ja) 走行現調支援装置
CN111323041B (zh) 信息处理系统、存储介质和信息处理方法
JP2021068994A (ja) 走行ルートの検索方法
CN106840181B (zh) 用于确定车辆位置的系统和方法
CN109859345A (zh) 一种汽车行车记录电子信息系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231221

R151 Written notification of patent or utility model registration

Ref document number: 7417871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151