JP7525220B2 - 推定装置、学習装置、推定方法及びプログラム - Google Patents

推定装置、学習装置、推定方法及びプログラム Download PDF

Info

Publication number
JP7525220B2
JP7525220B2 JP2020069639A JP2020069639A JP7525220B2 JP 7525220 B2 JP7525220 B2 JP 7525220B2 JP 2020069639 A JP2020069639 A JP 2020069639A JP 2020069639 A JP2020069639 A JP 2020069639A JP 7525220 B2 JP7525220 B2 JP 7525220B2
Authority
JP
Japan
Prior art keywords
image
estimation
anomaly detection
learning
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020069639A
Other languages
English (en)
Other versions
JP2021165984A (ja
Inventor
浩史 大竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Communication Systems Ltd
Original Assignee
NEC Communication Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Communication Systems Ltd filed Critical NEC Communication Systems Ltd
Priority to JP2020069639A priority Critical patent/JP7525220B2/ja
Publication of JP2021165984A publication Critical patent/JP2021165984A/ja
Application granted granted Critical
Publication of JP7525220B2 publication Critical patent/JP7525220B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、推定装置、学習装置、推定方法及びプログラムに関する。
特許文献1は、自走式装置と制御装置とを有する遠隔監視システムを開示している。自走式装置は、無人変電所の構内を巡回して、構内の設備を撮像する。制御装置は、自走式装置が生成した画像と、機械学習で生成された学習モデルとに基づき異常を検知する。
特開2019-213132号公報
特許文献1に開示の技術のようにカメラを移動させながら複数の位置で撮影した場合、そのカメラで生成された複数の画像の中には、1つの監視対象だけでなく、複数の監視対象が含まれ得る。また、複数の固定カメラ(位置が固定されたカメラ)で互いに異なる監視対象を撮影した場合においても、生成された画像を撮影したカメラに関係なくひとまとめにした場合、ひとまとめにした複数の画像の中には、1つの監視対象だけでなく、複数の監視対象が含まれ得る。このような複数の監視対象が含まれ得る複数の画像を解析して複数の監視対象の異常検知を行う場合、次のような課題がある。
複数の監視対象の外観や発生し得る異常の種類等は互いに異なり得る。このような複数の監視対象が含まれ得る複数の画像すべてを同じ異常検知モデルで解析した場合、検知の精度が悪くなる。検知の精度を高めるためには、各画像を、各画像に含まれる監視対象用に生成された異常検知モデルで解析する必要がある。このことから、複数の画像各々を解析する異常検知モデルを選択する技術が必要になる。オペレータが各画像を閲覧して各画像に含まれる監視対象を特定し、その結果に応じて画像毎に異常検知モデルを選択する手段の場合、処理効率が悪くなる。特許文献1は、当該課題及びその解決手段を記載していない。
本発明の課題は、複数の監視対象が含まれ得る複数の画像各々を解析する異常検知モデルを選択する技術を提供することである。
本発明によれば、
推定用画像と、前記推定用画像の撮影位置を示す位置情報とを取得する取得手段と、
位置毎に用意された複数の異常検知モデルの中から、前記位置情報で示される撮影位置に対応する前記異常検知モデルを選択する選択手段と、
前記推定用画像と選択された前記異常検知モデルとに基づき、前記推定用画像に含まれる監視対象の異常有無を推定する推定手段と、
を有する推定装置が提供される。
また、本発明によれば、
複数の学習用画像各々の撮影位置に基づき、前記学習用画像をグループ分けするグループ分け手段と、
前記グループ毎に、前記学習用画像に基づく機械学習で、画像に含まれる監視対象の異常有無を推定する異常検知モデルを生成する学習手段と、
を有する学習装置が提供される。
また、本発明によれば、
コンピュータが、
推定用画像と、前記推定用画像の撮影位置を示す位置情報とを取得し、
位置毎に用意された複数の異常検知モデルの中から、前記位置情報で示される撮影位置に対応する前記異常検知モデルを選択し、
前記推定用画像と選択された前記異常検知モデルとに基づき、前記推定用画像に含まれる監視対象の異常有無を推定する推定方法が提供される。
また、本発明によれば、
コンピュータを、
推定用画像と、前記推定用画像の撮影位置を示す位置情報とを取得する取得手段、
位置毎に用意された複数の異常検知モデルの中から、前記位置情報で示される撮影位置に対応する前記異常検知モデルを選択する選択手段、
前記推定用画像と選択された前記異常検知モデルとに基づき、前記推定用画像に含まれる監視対象の異常有無を推定する推定手段、
として機能させるプログラムが提供される。
本発明によれば、複数の監視対象が含まれ得る複数の画像各々を解析する異常検知モデルを選択する技術が実現される。
本実施形態の推定装置及び学習装置のハードウエア構成の一例を示す図である。 本実施形態の推定装置の機能ブロック図の一例である。 本実施形態の推定装置が処理する情報の一例を模式的に示す図である。 本実施形態の推定装置の処理の流れの一例を示すフローチャートである。 本実施形態の推定装置及び学習装置の処理を説明するための図である。 本実施形態の推定装置及び学習装置の処理を説明するための図である。 本実施形態の推定装置及び学習装置の処理を説明するための図である。 本実施形態の推定装置及び学習装置の処理を説明するための図である。 本実施形態の推定装置が処理する情報の一例を模式的に示す図である。 本実施形態の推定装置が処理する情報の一例を模式的に示す図である。 本実施形態の推定装置の機能ブロック図の一例である。 本実施形態の学習装置の機能ブロック図の一例である。 本実施形態の学習装置の処理の流れの一例を示すフローチャートである。 本実施形態の学習装置の機能ブロック図の一例である。
<第1の実施形態>
「概要」
本実施形態では、複数の監視対象各々に対応する複数の異常検知モデルが用意される。そして、推定装置は、複数の位置で撮影して生成された複数の画像の中の1つを処理対象として取得すると、その画像を撮影した位置を示す位置情報に基づき、その画像を解析する異常検知モデルを選択する。
本実施形態の監視対象は、存在する位置が不変である。このため、画像の撮影位置に基づき、その画像に含まれる監視対象を特定することができる。各画像の撮影位置に基づき各画像を解析する異常検知モデルを選択する推定装置によれば、各画像を解析する異常検知モデルとして、各画像に含まれる監視対象用に生成された異常検知モデルを選択することが可能となる。
「ハードウエア構成」
次に、推定装置のハードウエア構成の一例を説明する。本実施形態の推定装置が備える機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図1は、本実施形態の推定装置のハードウエア構成を例示するブロック図である。図1に示すように、推定装置は、プロセッサ1A、メモリ2A、入出力I/F(インターフェイス)3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、推定装置は周辺回路4Aを有さなくてもよい。推定装置は物理的及び/又は論理的に一体となった1つの装置で構成されてもよいし、物理的及び/又は論理的に分かれた複数の装置で構成されてもよい。物理的及び/又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU、GPU(Graphics Processing Unit)等の演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)等のメモリである。入出力インターフェイス3Aは、入力装置、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイス等を含む。入力装置は、例えばキーボード、マウス、マイク、タッチパネル、物理ボタン、カメラ等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
「機能構成」
次に、推定装置の機能構成を説明する。図2に、推定装置10の機能ブロック図の一例を示す。図示するように、推定装置10は、取得部11と、選択部12と、推定用物体検出部13と、推定用加工部14と、推定部15と、記憶部16とを有する。
記憶部16は、複数の監視対象各々に対応する複数の異常検知モデルを記憶する。監視対象は、存在する位置が不変である。監視対象は、建造物、送配電設備、橋、信号機、道路等のような人工的に作られた物体であってもよいし、崖、河、山等のような自然物であってもよい。
異常検知モデルは、監視対象を含む画像を解析して、監視対象の異常を検知するモデルである。異常検知モデルは、監視対象を含む画像(教師データ)を機械学習して生成される。例えば、異常検知モデルは、オートエンコーダ等を用いて監視対象の正常時の画像(教師データ)を機械学習して生成されたモデルであってもよい。このモデルによれば、正常時と異なる点(異常)が検知される。その他、異常検知モデルは、畳み込みニューラルネットワーク等を用いて監視対象の異常時の画像(教師データ)を機械学習して生成されたモデルであってもよい。このモデルによれば、予め定義された異常(教師データに含まれる異常)が検知される。その他、異常検知モデルは、畳み込みニューラルネットワーク等を用いて監視対象の正常時の画像及び異常時の画像(教師データ)を機械学習して生成されたモデルであってもよい。このモデルによれば、予め定義された異常(教師データに含まれる異常)や、正常時と異なる点(異常)が検知される。
なお、1つの監視対象に対応して1つの異常検知モデルが生成されてもよいし、複数の異常検知モデルが生成されてもよい。例えば、監視対象が大きく、1つの画像内にそのすべてを含めることが難しい場合や、監視対象を複数の方向から撮影して異常検知を行いたい場合等には、1つの監視対象を複数の撮影位置から撮影することになる。当然、同じ監視対象を撮影した場合であっても、異なる位置から撮影した場合、画像に含まれる監視対象の内容や見え方は互いに異なる。このため、各々に対応した複数の異常検知モデルを用意することが好ましい。例えばこのような理由から、1つの監視対象に対応して複数の異常検知モデルが生成される場合がある。
記憶部16は、各異常検知モデルを、各異常検知モデルで解析することになる画像の撮影位置に紐づけて記憶する。図3に、記憶部16が記憶する情報の一例を模式的に示す。図示する例では、複数の異常検知モデルを互いに識別する異常検知モデル識別情報と、各異常検知モデルで解析する画像の撮影位置とが互いに紐づけられている。撮影位置は、例えば緯度経度情報で示される。各異常検知モデルは、紐づけられた撮影位置から監視対象を撮影した画像、及び/又は、その周辺(紐づけられた撮影位置からの距離が閾値以内)から監視対象を撮影した画像に基づく機械学習で生成されたモデルである。
図2に戻り、取得部11、選択部12、推定用物体検出部13、推定用加工部14及び推定部15は、図4に示すような流れの処理を実行する。
取得処理S10は、複数の推定用画像及び位置情報の中から、処理対象とする1組の推定用画像及び位置情報を取得する処理である。取得処理S10は、取得部11により実行される。
本実施形態では、複数の位置で撮影して生成された複数の画像が、推定用画像となる。推定用画像は、カメラを移動させながら複数の位置で撮影することで生成された画像であってもよい。その他、推定用画像は、互いに異なる位置に固定された複数の固定カメラで生成された画像が混在した画像であってもよい。その他、推定用画像は、カメラを移動させながら複数の位置で撮影することで生成された画像と、互いに異なる位置に固定された複数の固定カメラで生成された画像とが混在した画像であってもよい。
カメラを移動させる手段としては、移動体にカメラを搭載し、移動体を移動させる手段や、人がカメラを把持し、人が移動する手段などが例示される。移動体は、陸上を移動する移動体(自動車、オートバイ、自転車、鉄道、バス等の車両)、空中を移動する移動体(飛行体)、海上や海中を移動する移動体(船、潜水艦など)等が例示されるが、これらに限定されない。
カメラは移動中、動画像を連続的に撮影してもよいし、動画像のフレーム間隔よりも大きい所定の時間間隔で静止画像を連続的に撮影してもよいし、ユーザ入力に応じて静止画像や動画像の撮影を行ってもよい。
カメラには位置情報取得手段が備わっており、各画像(各フレームの画像)を生成した時の撮影位置を示す位置情報が各画像に紐づけて記憶される。位置情報取得手段は、GPS(global positioning system)を利用する手段が例示されるが、これに限定されない。
このように生成される複数の推定用画像の中には、互いに異なる監視対象を含む推定用画像が含まれる。また、監視対象を含まない推定用画像が含まれ得る。
なお、複数の推定用画像及び位置情報の中から処理対象とする1組の推定用画像及び位置情報を選択する方法は設計的事項である。例えば、推定用画像及び位置情報が生成された順(推定用画像の撮影順)に選択してもよい。
また、取得部11は、カメラが生成した推定用画像及び位置情報をリアルタイム処理で生成順にカメラから取得してもよい。この場合、推定装置10とカメラとは任意の通信ネットワークを介して互いに通信可能になっている。その他、取得部11は、カメラが生成した複数の推定用画像及び位置情報をバッチ処理でまとめて取得し、その中から順に処理対象とする1組の推定用画像及び位置情報を取得してもよい。
画像加工処理S11は、取得処理S10で取得された処理対象の推定用画像を、異常検知モデルを利用した解析に適した状態に加工する処理である。画像加工処理S11は、推定用物体検出部13及び推定用加工部14により実行される。
推定用物体検出部13は、推定用画像に含まれる物体を検出する。例えば、推定用物体検出部13は、機械学習で生成された物体検出モデル(分類器)を用いて、当該検出を実現する。物体検出モデルは、物体の画像と、各物体のクラス(ラベル)とを紐づけた教師データを機械学習して生成されたモデルである。クラスは、橋、信号機、道路、崖、山等のように、監視対象の種類を示すものとすることができる。教師データとする物体の画像は、監視対象の画像であってもよいし、監視対象と同種の他の物体の画像であってもよいし、その両方を含んでもよい。例えば、橋や信号機などの対象物が含まれる画像に対し、アノテーションツール等を用いて、対象物が存在する矩形領域の座標情報を作成する。そして、その画像と当該座標情報とクラス(ラベル)とを教師データとした機械学習により、物体検出モデルを生成する。
物体検出モデルは、推定用画像内で物体を検出した場合、検出した物体の画像内の位置を示す情報(座標情報)を出力する。物体検出モデルは、画像内の矩形領域ごとに物体検出を行ってもよいし、セマンティックセグメンテーションやインスタンスセグメンテーションと呼ばれる検出対象が存在するピクセル領域を検出する手法を用いて、物体検出を行ってもよい。
推定用加工部14は、図5に示すように、推定用物体検出部13により検出された物体が含まれる一部領域(枠Wに囲まれる領域)を推定用画像から切り出す画像加工を行う。推定用加工部14は、推定用物体検出部13により検出された物体が含まれる一部領域の大きさや画像内の位置が所定の状態となるように、縦横比を維持したまま切り出した画像を拡大等してもよい。なお、推定用加工部14は、物体が検出されなかった推定用画像に対しては、上述のような画像加工を行わない。
選択処理S12は、取得処理S10で取得された処理対象の推定用画像を解析する異常検知モデルを選択する処理である。選択処理S12は、選択部12により実行される。選択部12は、撮影位置毎に用意された複数の異常検知モデルの中から、処理対象の推定用画像の撮影位置に対応する異常検知モデルを、その処理対象の推定用画像を解析する異常検知モデルとして選択する。
例えば、選択部12は、処理対象の推定用画像の撮影位置との距離が最も小さくなる撮影位置を紐づけられている異常検知モデル(図3参照)を、その処理対象の推定用画像を解析する異常検知モデルとして選択してもよい。
その他、選択部12は、処理対象の推定用画像の撮影位置との距離が最も小さくなる撮影位置を紐づけられており(図3参照)、かつ、その撮影位置間の距離が閾値以下である異常検知モデルを、その処理対象の推定用画像を解析する異常検知モデルとして選択してもよい。
このような方法で選択することで、各異常検知モデルに紐づけられている撮影位置で撮影された推定用画像のみならず、その近くで撮影された推定用画像も各異常検知モデルで解析することができる。
なお、選択部12は、画像加工処理S11の推定用物体検出部13による処理で物体が検出された推定用画像に対してのみ、異常検知モデルを選択する処理を実行してもよい。すなわち、選択部12は、画像加工処理S11の推定用物体検出部13による処理で物体が検出されなかった推定用画像に対しては、異常検知モデルを選択する処理を実行しなくてもよい。
推定処理S13は、処理対象の推定用画像に含まれる監視対象の異常の有無を推定する処理である。推定処理S13は、推定部15により実行される。推定部15は、画像加工処理S11で切り出された一部領域の画像(加工後の画像)を、選択処理S12で選択された異常検知モデルに入力することで、当該推定を実現する。
なお、推定部15は、画像加工処理S11の推定用物体検出部13による処理で物体が検出された推定用画像に対してのみ、監視対象の異常の有無を推定する処理を実行してもよい。すなわち、推定部15は、画像加工処理S11の推定用物体検出部13による処理で物体が検出されなかった推定用画像に対しては、監視対象の異常の有無を推定する処理を実行しなくてもよい。
推定部15は、推定結果を出力することができる。当該出力は、ディスプレイ、投影装置、スピーカ、メーラ等のあらゆる出力装置を介して実現される。推定結果は、各推定用画像に含まれる監視対象の異常の有無、及び、異常箇所を示す情報等を含むことができる。
「作用効果」
本実施形態の推定装置10は、存在する位置が不変な物体を監視対象とし、画像の撮影位置に基づきその画像を解析する異常検知モデルを選択する。監視対象の位置が不変である場合、画像の撮影位置に基づき、その画像に含まれる監視対象を特定することができる。各画像の撮影位置に基づき各画像を解析する異常検知モデルを選択する推定装置10によれば、各画像を解析する異常検知モデルとして、各画像に含まれる監視対象用に生成された異常検知モデルを選択することが可能となる。
また、異常検知モデルに入力する画像が監視対象に関係ない情報を多く含んでいると、異常検知モデルによる推定の精度が悪くなる。推定処理S13の前に画像加工処理S11を行い、監視対象に関係ない情報を除去することができる推定装置10によれば、当該不都合を軽減できる。
また、推定装置10は、各異常検知モデルに紐づけられている撮影位置で撮影された画像のみならず、その周辺で撮影された画像を、各異常検知モデルで解析することができる。この場合、推定用画像の撮影位置の自由度が大きくなるので、推定用画像の撮影が容易になる。
しかし、推定用画像の撮影位置の自由度を大きくすると、同一の監視対象を撮影した画像であっても、撮影位置の微妙な相違により画像の内容が互いに異なり得る。例えば、図6乃至図8の加工前画像は、いずれも同じ監視対象(川沿いの砂利道)を撮影したものであるが、撮影位置が互いに異なるため、画像内における監視対象(枠Wで囲った部分)の大きさ、監視対象の画像内の位置、背景画像等が互いに異なる。このような推定用画像をそのまま異常検知モデルに入力して解析した場合、推定精度が悪くなる。
この問題に対し、画像内の物体(監視対象)が含まれる領域を切り出し、その他の部分を取り除くことができる推定装置10によれば、撮影位置の相違により背景画像が異なる問題を解決できる(図6乃至図8の加工後画像参照)。また、切り出した画像内における監視対象(枠Wで囲った部分)の大きさや画像内の位置を所定の状態に揃えることができる推定装置10によれば、撮影位置の相違により画像内における監視対象(枠Wで囲った部分)の大きさや、監視対象の画像内の位置が異なる問題を解決できる(図6乃至図8の加工後画像参照)。
「変形例」
推定用物体検出部13による物体検出処理において、監視対象と異なる所定の障害物、例えば人や車両等の検出を行ってもよい。そして、推定用加工部14は、推定用画像に対して、検出された障害物を消去する画像加工を行ってもよい。このような変形例によれば、異常検知の推定精度が向上する。
<第2の実施形態>
ある撮影位置においてある監視対象を複数の撮影方向から撮影する場合がある。例えば、監視対象の高さが高い場合には、撮影方向を上下方向で変化させ、高さが低い部分と高い部分とに分けて撮影する場合が考えられる。
当然、同じ撮影位置で同じ監視対象を撮影した場合であっても、異なる撮影方向から撮影した場合、画像に含まれる監視対象の内容や見え方は互いに異なる。このため、各撮影方向に対応した複数の異常検知モデルを用意することが好ましい。
そこで、本実施形態では、位置毎かつ撮影方向毎に異常検知モデルが生成される。記憶部16は、各異常検知モデルを、各異常検知モデルで解析することになる画像の撮影位置及び撮影方向に紐づけて記憶する。
図9に、記憶部16が記憶する情報の一例を模式的に示す。図示する例では、複数の異常検知モデルを互いに識別する異常検知モデル識別情報と、各異常検知モデルで解析する画像の撮影位置及び撮影方向とが互いに紐づけられている。撮影位置は、例えば緯度経度情報で示される。撮影方向は、例えば水平方向及び上下方向に分けて示される。水平方向の撮影方向は、例えば基準方向(例えば北方向)からの所定方向回り(時計回り又は反時計回り)の回転角度で示されてもよい。上下方向の撮影方向は、例えば基準方向(例えば鉛直上向き方向)からの回転角度で示されてもよい。各異常検知モデルは、紐づけられた撮影位置において紐づけられた撮影方向から監視対象を撮影した画像、及び/又は、その周辺(紐づけられた撮影位置からの距離が閾値以内)において紐づけられた撮影方向から監視対象を撮影した画像、及び/又は、紐づけられた撮影位置において紐づけられた撮影方向の周辺方向(紐づけられた撮影方向との角度差が閾値以内)から監視対象を撮影した画像、及び/又は、その周辺(紐づけられた撮影位置からの距離が閾値以内)において紐づけられた撮影方向の周辺方向(紐づけられた撮影方向との角度差が閾値以内)から監視対象を撮影した画像に基づく機械学習で生成されたモデルである。
取得処理S10において、取得部11は、推定用画像を撮影した時の撮影方向を示す方向情報をさらに取得する。
カメラには撮影方向取得手段が備わっており、各画像(各フレームの画像)を生成した時の撮影方向を示す方向情報が各画像に紐づけて記憶される。撮影方向取得手段は、加速度センサや磁気センサ等を利用する手段が例示されるが、これに限定されない。
選択処理S12において、選択部12は、取得処理S10で取得された処理対象の推定用画像を解析する異常検知モデルとして、取得処理S10で取得された位置情報で示される撮影位置及び方向情報で示される撮影方向に対応する異常検知モデルを選択する。
例えば、選択部12は、処理対象の推定用画像の撮影位置との距離が最も小さくなる撮影位置(図9参照)を紐づけられており、かつ、処理対象の推定用画像の撮影方向との角度差が最も小さくなる撮影方向を紐づけられている異常検知モデルを、その処理対象の推定用画像を解析する異常検知モデルとして選択してもよい。
その他、選択部12は、処理対象の推定用画像の撮影位置との距離が最も小さくなる撮影位置(図9参照)を紐づけられており、その撮影位置間の距離が閾値以下であり、処理対象の推定用画像の撮影方向との角度差が最も小さくなる撮影方向を紐づけられており、かつ、その角度差が閾値以下である異常検知モデルを、その処理対象の推定用画像を解析する異常検知モデルとして選択してもよい。
推定装置10のその他の構成は、第1の実施形態と同様である。
以上説明した本実施形態の推定装置10によれば、第1の実施形態と同様の作用効果が実現される。また、推定装置10は、撮影方向毎に分けて生成された異常検知モデルを用いて異常検知を行うことができるので、異常検知の推定精度が向上する。そして、推定装置10は、推定用画像を撮影した時の撮影位置及び撮影方向に基づき推定用画像の解析に用いる異常検知モデルを選択するので、各推定用画像を解析する異常検知モデルとして適切な異常検知モデルを選択することができる。
<第3の実施形態>
例えば同一の監視対象を複数の撮影位置から撮影する場合等には、その複数の撮影位置間の距離は比較的近くなる。結果、複数の異常検知モデル各々に紐づけられている撮影位置間の距離が比較的近くなる。この場合、カメラに備えられた位置情報取得手段の精度が十分でなく、誤差が比較的大きいと、ある推定用画像を解析する異常検知モデルとして不適切な異常検知モデルを選択するという不都合が発生し得る。
同様に、同一の監視対象を同一の撮影位置において複数の撮影方向から撮影する場合に、カメラに備えられた撮影方向取得手段の精度が十分でなく、誤差が比較的大きいと、ある推定用画像を解析する異常検知モデルとして不適切な異常検知モデルを選択するという不都合が発生し得る。
本実施形態の推定装置10は、位置情報や方向情報に加えて、推定用画像に所定のランドマークが含まれるか否かに基づき異常検知モデルを選択することで、当該不都合を軽減する。
図10に、記憶部16が記憶する情報の一例を模式的に示す。図示する例では、複数の異常検知モデルを互いに識別する異常検知モデル識別情報と、各異常検知モデルで解析する画像の撮影位置と、各撮影位置で撮影された画像に含まれるランドマークの外観の特徴量が互いに紐づけられている。なお、図示しないが、さらに第2の実施形態で説明した撮影方向が紐づけられてもよい。
撮影位置は、例えば緯度経度情報で示される。撮影方向は、例えば水平方向及び上下方向に分けて示される。水平方向の撮影方向は、例えば基準方向(例えば北方向)からの所定方向回り(時計回り又は反時計回り)の回転角度で示されてもよい。上下方向の撮影方向は、例えば基準方向(例えば鉛直上向き方向)からの回転角度で示されてもよい。
ランドマークは、位置が不変であり、比較的近くの他の撮影位置や撮影方向で撮影した推定用画像には含まれないものであれば何でもよい。ランドマークは、監視対象の一部分であってもよいし、監視対象以外であってもよい。例えば、オペレータが画像を視認し、ランドマークを決定してもよい。そして、決定されたランドマークから抽出された特徴量が記憶部16に記憶されてもよい。
選択処理S12において、選択部12は、「取得処理S10で取得された位置情報」及び「複数の異常検知モデル各々に紐づけられたランドマークが取得処理S10で取得された推定用画像に含まれるか否か」に基づき、取得処理S10で取得された推定用画像を解析する異常検知モデルを選択する。
例えば、選択部12は、処理対象の推定用画像の撮影位置との距離が閾値以下である撮影位置(図10参照)を紐づけられており、かつ、紐づけられているランドマークが処理対象の推定用画像に含まれている異常検知モデルを、その処理対象の推定用画像を解析する異常検知モデルとして選択してもよい。
その他、選択処理S12において、選択部12は、「取得処理S10で取得された位置情報」、「取得処理S10で取得された方向情報」及び「複数の異常検知モデル各々に紐づけられたランドマークが取得処理S10で取得された推定用画像に含まれるか否か」に基づき、取得処理S10で取得された推定用画像を解析する異常検知モデルを選択してもよい。
例えば、選択部12は、処理対象の推定用画像の撮影位置との距離が閾値以下である撮影位置を紐づけられており、処理対象の推定用画像の撮影方向との角度差が閾値以下である撮影方向を紐づけられており、かつ、紐づけられているランドマークが処理対象の推定用画像に含まれている異常検知モデルを、その処理対象の推定用画像を解析する異常検知モデルとして選択してもよい。
推定装置10のその他の構成は、第1及び第2の実施形態と同様である。
以上説明した本実施形態の推定装置10によれば、第1及び第2の実施形態と同様の作用効果が実現される。また、推定装置10は、推定用画像に所定のランドマークが含まれるか否かに基づき異常検知モデルを選択することができるので、各推定用画像を解析する異常検知モデルとして適切な異常検知モデルを選択することができる。
<第4の実施形態>
図11に、本実施形態の推定装置10の機能ブロック図の一例を示す。図示するように、本実施形態の推定装置10は、推定用物体検出部13及び推定用加工部14を有さず、図4のフローチャートで示す画像加工処理S11を実行しない点で、第1乃至第3の実施形態と異なる。本実施形態の推定装置10のその他の構成は、第1乃至第3の実施形態と同様である。
本実施形態の推定装置10によれば、第1乃至第3の実施形態で説明した作用効果のうち、「画像加工処理S11を実行することで実現される作用効果」を除く作用効果が実現される。また、画像加工処理S11を省くことで、コンピュータの処理負担の軽減や、処理時間の短縮などが実現される。
<第5の実施形態>
「概要」
本実施形態の学習装置は、第1乃至第4の実施形態の推定装置10が利用する異常検知モデルを生成する機能を有する。本実施形態の学習装置は、撮影位置毎に異常検知モデルを生成する。
「ハードウエア構成」
次に、学習装置のハードウエア構成の一例を説明する。本実施形態の学習装置が備える機能部は、任意のコンピュータのCPU、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
本実施形態の学習装置のハードウエア構成の一例は、推定装置10と同様に図1で示される。図1に示すように、学習装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、学習装置は周辺回路4Aを有さなくてもよい。学習装置は物理的及び/又は論理的に一体となった1つの装置で構成されてもよいし、物理的及び/又は論理的に分かれた複数の装置で構成されてもよい。物理的及び/又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
「機能構成」
次に、学習装置の機能構成を説明する。図12に、学習装置20の機能ブロック図の一例を示す。図示するように、学習装置20は、グループ分け部22と、学習用物体検出部23と、学習用加工部24と、学習部25と、記憶部26とを有する。学習装置20は、図13に示すような流れの処理を実行する。
画像加工処理S20は、記憶部26に記憶されている学習用画像を、機械学習に適した状態に加工する処理である。画像加工処理S20は、学習用物体検出部23及び学習用加工部24により実行される。
記憶部26には、複数の学習用画像、及び、各学習用画像の撮影位置を示す情報が記憶されている。
複数の学習用画像は、カメラを移動させながら複数の位置で撮影することで生成された複数の画像であってもよい。カメラを移動させる手段としては、移動体にカメラを搭載し、移動体を移動させる手段や、人がカメラを把持し、人が移動する手段などが例示される。移動体は、陸上を移動する移動体(自動車、オートバイ、自転車、鉄道、バス等の車両)、空中を移動する移動体(飛行体)、海上や海中を移動する移動体(船、潜水艦など)等が例示されるが、これらに限定されない。カメラは移動中、動画像を連続的に撮影してもよいし、動画像のフレーム間隔よりも大きい所定の時間間隔で静止画像を連続的に撮影してもよいし、ユーザ入力に応じて静止画像や動画像の撮影を行ってもよい。
その他、複数の学習用画像は、互いに異なる位置に固定された複数の固定カメラで生成された画像が混在した画像であってもよい。
カメラには位置情報取得手段が備わっており、各画像(各フレームの画像)を生成した時の撮影位置を示す位置情報が各画像に紐づけて記憶される。位置情報取得手段は、GPSを利用する手段が例示されるが、これに限定されない。
このように生成される複数の学習用画像の中には、互いに異なる監視対象を含む学習用画像が含まれる。また、監視対象を含まない学習用画像が含まれ得る。
監視対象は、存在する位置が不変である。監視対象は、建造物、送配電設備、橋、信号機、道路等のような人工的に作られた物体であってもよいし、崖、河、山等のような自然物であってもよい。
学習用物体検出部23は、学習用画像に含まれる物体を検出する。例えば、学習用物体検出部23は、機械学習で生成された物体検出モデル(分類器)を用いて、当該検出を実現する。物体検出モデルは、物体の画像と、各物体のクラス(ラベル)とを紐づけた教師データを機械学習して生成されたモデルである。クラスは、橋、信号機、道路、崖、山等のように、監視対象の種類を示すものとすることができる。教師データとする物体の画像は、監視対象の画像であってもよいし、監視対象と同種の他の物体の画像であってもよいし、その両方を含んでもよい。例えば、橋や信号機などの対象物が含まれる画像に対し、アノテーションツール等を用いて、対象物が存在する矩形領域の座標情報を作成する。そして、その画像と当該座標情報とクラス(ラベル)とを教師データとした機械学習により、物体検出モデルを生成する。
物体検出モデルは、学習用画像内で物体を検出した場合、検出した物体の画像内の位置を示す情報(座標情報)を出力する。物体検出モデルは、画像内の矩形領域ごとに物体検出を行ってもよいし、セマンティックセグメンテーションやインスタンスセグメンテーションと呼ばれる検出対象が存在するピクセル領域を検出する手法を用いて、物体検出を行ってもよい。
学習用加工部24は、図5に示すように、学習用物体検出部23により検出された物体が含まれる一部領域(枠Wに囲まれる領域)を学習用画像から切り出す画像加工を行う。学習用加工部24は、学習用物体検出部23により検出された物体が含まれる一部領域の大きさや画像内の位置が所定の状態となるように、縦横比を維持したまま切り出した画像を拡大等してもよい。なお、推定用加工部14は、物体が検出されなかった推定用画像に対しては、上述のような画像加工を行わない。
グループ分け処理S21は、記憶部26に記憶されている複数の学習用画像を、各々の撮影位置に基づきグループ分けする処理である。グループ分け処理S21は、グループ分け部22により実行される。
ここで、グループ分けの手法を説明する。グループ分け部22は、撮影位置が互いに近い学習用画像同士をまとめてグループ分けする。以下、グループ分けのアルゴリズムの一例を示すが、グループ分けのアルゴリズムはこれに限定されず、従来のあらゆる技術を採用することができる。
(1-1):最初の処理対象の学習用画像を第1のグループに属させ、その処理対象の学習用画像の撮影位置を第1のグループの代表撮影位置とする。
(1-2):次の処理対象の学習用画像の撮影位置とその時点で存在するグループ各々の代表撮影位置との距離を算出する。
(1-3):距離が閾値未満のグループが存在する場合、処理対象の学習用画像をそのグループに属させる。そして、そのグループに属する学習用画像(処理対象の学習用画像を含む)の撮影位置に基づき、そのグループの代表撮影位置を決定する。例えば、そのグループに属する複数の学習用画像(処理対象の学習用画像を含む)の撮影位置の重心となる位置を代表撮影位置とすることができる。
(1-4):一方、距離が閾値未満のグループが存在しない場合、新たなグループを作成し、処理対象の学習用画像をその新たなグループに属させる。そして、その処理対象の学習用画像の撮影位置をその新たなグループの代表撮影位置とする。
(1-5):(1-2)乃至(1-4)の処理を繰り返す。
なお、グループ分け部22は、画像加工処理S20の学習用物体検出部23による処理で物体が検出された学習用画像のみをグループ分けしてもよい。すなわち、グループ分け部22は、画像加工処理S20の学習用物体検出部23による処理で物体が検出されなかった学習用画像は、グループ分けの処理対象外とし、いずれのグループにも属させなくてもよい。
学習処理S22は、グループ毎に、学習用画像に基づく機械学習で、画像に含まれる監視対象の異常有無を推定する異常検知モデルを生成する処理である。学習処理S22は、学習部25により実行される。学習部25は、画像加工処理S20で切り出された一部領域の画像に基づく機械学習で、異常検知モデルを生成することができる。
学習部25は、グループ毎に生成した異常検知モデルを、各グループの代表撮影位置に紐づけて記憶部26に記憶させる。結果、図3に示すような情報が生成される。各グループの代表撮影位置は、各グループに属する複数の学習用画像の撮影位置に基づき決定することができる。例えば、各グループに属する複数の学習用画像の撮影位置の重心となる位置を、各グループの代表撮影位置としてもよい。
「作用効果」
本実施形態の学習装置20は、存在する位置が不変な物体を監視対象とし、学習用画像の撮影位置に基づき学習用画像をグループ化し、グループ毎に異常検知モデルを生成する。監視対象の位置が不変である場合、学習用画像の撮影位置に基づき、その学習用画像に含まれる監視対象を特定することができる。各学習用画像の撮影位置に基づき複数の学習用画像をグループ化する学習装置20によれば、同一の監視対象を含む学習用画像同士でまとめてグループ化することができる。そして、グループ毎に、各グループに属する学習用画像に基づく機械学習で異常検知モデルを生成することで、監視対象毎に異常検知モデルを生成することができる。
また、本実施形態の学習装置20は、グループ毎に異常検知モデルを生成し、各グループに属する学習用画像の撮影位置に基づき決定された代表撮影位置を各異常検知モデルに紐づけて記憶させることができる。結果、第1の実施形態等で説明した「推定用画像の撮影位置に基づき異常検知モデルを選択する処理」が実現可能となる。
また、機械学習に利用する画像(教師データ)が監視対象に関係ない情報を多く含んでいると、異常検知モデルによる推定の精度が悪くなる。学習処理S22の前に画像加工処理S20を行い、機械学習に利用する画像(教師データ)から監視対象に関係ない情報を除去することができる学習装置20によれば、当該不都合を軽減できる。
また、学習装置20は、完全に同じ撮影位置で撮影された学習用画像のみならず、比較的近くで撮影された複数の学習用画像を同一のグループに属させる。この場合、同一のグループに属する学習用画像であっても、撮影位置の相違により画像の内容が互いに異なり得る。例えば、図6乃至図8の加工前画像は、いずれも同じ監視対象(川沿いの砂利道)を撮影したものであるが、撮影位置が互いに異なるため、画像内における監視対象(枠Wで囲った部分)の大きさ、監視対象の画像内の位置、背景画像等が互いに異なる。このような学習用画像をそのまま用いた機械学習で異常検知モデルを生成すると、異常検知モデルの推定精度が悪くなる。
この問題に対し、画像内の物体(監視対象)が含まれる領域を切り出し、その他の部分を取り除くことができる学習装置20によれば、撮影位置の相違により背景画像が異なる問題を解決できる(図6乃至図8の加工後画像参照)。また、切り出した画像内における監視対象(枠Wで囲った部分)の大きさや画像内の位置を所定の状態に揃えることができる学習装置20によれば、撮影位置の相違により画像内における監視対象(枠Wで囲った部分)の大きさや、監視対象の画像内の位置が異なる問題を解決できる(図6乃至図8の加工後画像参照)。
<第6の実施形態>
本実施形態の学習装置20は、第1乃至第4の実施形態の推定装置10が利用する異常検知モデルを生成する機能を有する。本実施形態の学習装置は、撮影位置及び撮影方向毎に異常検知モデルを生成する。
記憶部26には各学習用画像の撮影方向を示す情報がさらに記憶されている。学習用画像を生成するカメラには撮影方向取得手段が備わっており、各画像(各フレームの画像)を生成した時の撮影方向を示す方向情報が各画像に紐づけて記憶される。撮影方向取得手段は、加速度センサや磁気センサ等を利用する手段が例示されるが、これに限定されない。
グループ分け処理S21において、グループ分け部22は、記憶部26に記憶されている複数の学習用画像を、各々の撮影位置及び撮影方向に基づきグループ分けする。
ここで、グループ分けの手法を説明する。グループ分け部22は、撮影位置及び撮影方向が互いに近い学習用画像同士をまとめてグループ分けする。以下、グループ分けのアルゴリズムの一例を示すが、グループ分けのアルゴリズムはこれに限定されず、従来のあらゆる技術を採用することができる。
(2-1):最初の処理対象の学習用画像を第1のグループに属させ、その学習用画像の撮影位置及び撮影方向を第1のグループの代表撮影位置及び代表撮影方向とする。
(2-2):次の処理対象の学習用画像の撮影位置とその時点で存在するグループ各々の代表撮影位置との距離を算出する。また、次の処理対象の学習用画像の撮影方向とその時点で存在するグループ各々の代表撮影方向との角度差を算出する。
(2-3):距離及び角度差いずれもが閾値未満のグループが存在する場合、処理対象の学習用画像をそのグループに属させる。そして、そのグループに属する学習用画像(処理対象の学習用画像を含む)の撮影位置及び撮影方向に基づき、そのグループの代表撮影位置及び代表撮影方向を決定する。例えば、そのグループに属する複数の学習用画像(処理対象の学習用画像を含む)の撮影位置の重心となる位置を代表撮影位置とすることができる。また、そのグループに属する複数の学習用画像(処理対象の学習用画像を含む)の撮影方向の統計値(平均値、最頻値、中央値、最大値、最小値等)を代表撮影方向とすることができる。
(2-4):一方、距離及び角度差のいずれもが閾値未満のグループが存在しない場合、新たなグループを作成し、処理対象の学習用画像をその新たなグループに属させる。そして、その処理対象の学習用画像の撮影位置及び撮影方向をその新たなグループの代表撮影位置及び代表撮影方向とする。
(2-5):(2-2)乃至(2-4)の処理を繰り返す。
学習装置20のその他の構成は、第5の実施形態と同様である。
以上説明した本実施形態の学習装置20によれば、第5の実施形態と同様の作用効果が実現される。また、学習装置20は、学習用画像を撮影方向に基づきグループ分けし、グループ毎に異常検知モデルを生成することができる。当然、同じ撮影位置で同じ監視対象を撮影した場合であっても、異なる撮影方向から撮影した場合、画像に含まれる監視対象の内容や見え方は互いに異なる。撮影方向毎に異常検知モデルを生成することができる本実施形態の学習装置20によれば、異常検知モデルの推定精度が高くなる。
<第7の実施形態>
図14に、本実施形態の学習装置20の機能ブロック図の一例を示す。図示するように、本実施形態の学習装置20は、学習用物体検出部23及び学習用加工部24を有さず、図13のフローチャートで示す画像加工処理S20を実行しない点で、第5及び第6の実施形態と異なる。本実施形態の学習装置20のその他の構成は、第5及び第6の実施形態と同様である。
本実施形態の学習装置20によれば、第5及び第6の実施形態で説明した作用効果のうち、「画像加工処理S20を実行することで実現される作用効果」を除く作用効果が実現される。また、画像加工処理S20を省くことで、コンピュータの処理負担の軽減や、処理時間の短縮などが実現される。
なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと(能動的な取得)」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること(受動的な取得)」、たとえば、配信(または、送信、プッシュ通知等)されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集(テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等)などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
1. 推定用画像と、前記推定用画像の撮影位置を示す位置情報とを取得する取得手段と、
位置毎に用意された複数の異常検知モデルの中から、前記位置情報で示される撮影位置に対応する前記異常検知モデルを選択する選択手段と、
前記推定用画像と選択された前記異常検知モデルとに基づき、前記推定用画像に含まれる監視対象の異常有無を推定する推定手段と、
を有する推定装置。
2. 前記推定用画像に含まれる物体を検出する推定用物体検出手段と、
検出された前記物体が含まれる一部領域を前記推定用画像から切り出す推定用加工手段と、
をさらに有し、
前記推定手段は、切り出された前記一部領域の画像と選択された前記異常検知モデルとに基づき、前記監視対象の異常有無を推定する1に記載の推定装置。
3. 前記取得手段は、前記推定用画像を撮影した時の撮影方向を示す方向情報をさらに取得し、
前記異常検知モデルは、位置毎かつ撮影方向毎に用意されており、
前記選択手段は、前記位置情報で示される撮影位置及び前記方向情報で示される撮影方向に対応する前記異常検知モデルを選択する1または2に記載の推定装置。
4. 前記選択手段は、複数の前記異常検知モデル各々に紐づけられたランドマークが前記推定用画像に含まれるか否かに基づき、前記異常検知モデルを選択する1から3のいずれかに記載の推定装置。
5. 複数の学習用画像各々の撮影位置に基づき、前記学習用画像をグループ分けするグループ分け手段と、
前記グループ毎に、前記学習用画像に基づく機械学習で、画像に含まれる監視対象の異常有無を推定する異常検知モデルを生成する学習手段と、
を有する学習装置。
6. 前記学習用画像に含まれる物体を検出する学習用物体検出手段と、
検出された前記物体が含まれる一部領域を前記学習用画像から切り出す学習用加工手段と、
をさらに有し、
前記学習手段は、切り出された前記一部領域の画像に基づく機械学習で、前記異常検知モデルを生成する5に記載の学習装置。
7. 前記グループ分け手段は、複数の学習用画像各々の撮影位置及び撮影方向に基づき、前記学習用画像をグループ分けする5又は6に記載の学習装置。
8. コンピュータが、
推定用画像と、前記推定用画像の撮影位置を示す位置情報とを取得し、
位置毎に用意された複数の異常検知モデルの中から、前記位置情報で示される撮影位置に対応する前記異常検知モデルを選択し、
前記推定用画像と選択された前記異常検知モデルとに基づき、前記推定用画像に含まれる監視対象の異常有無を推定する推定方法。
9. コンピュータを、
推定用画像と、前記推定用画像の撮影位置を示す位置情報とを取得する取得手段、
位置毎に用意された複数の異常検知モデルの中から、前記位置情報で示される撮影位置に対応する前記異常検知モデルを選択する選択手段、
前記推定用画像と選択された前記異常検知モデルとに基づき、前記推定用画像に含まれる監視対象の異常有無を推定する推定手段、
として機能させるプログラム。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1A プロセッサ
2A メモリ
3A 入出力I/F
4A 周辺回路
5A バス
10 推定装置
11 取得部
12 選択部
13 推定用物体検出部
14 推定用加工部
15 推定部
16 記憶部
20 学習装置
22 グループ分け部
23 学習用物体検出部
24 学習用加工部
25 学習部
26 記憶部

Claims (11)

  1. 推定用画像と、前記推定用画像の撮影位置を絶対位置で示す位置情報とを取得する取得手段と、
    ある位置に存在する監視対象を複数の観察地点各々から撮影した画像に基づく機械学習で前記観察地点毎に生成された前記監視対象の異常を検知する複数の異常検知モデルの中から、前記位置情報で示される撮影位置に対応する前記観察地点から撮影した画像に基づく機械学習で生成された前記異常検知モデルを選択する選択手段と、
    前記推定用画像と選択された前記異常検知モデルとに基づき、前記推定用画像に含まれる前記監視対象の異常有無を推定する推定手段と、
    を有する推定装置。
  2. 前記推定用画像に含まれる物体を検出する推定用物体検出手段と、
    検出された前記物体が含まれる一部領域を前記推定用画像から切り出す推定用加工手段と、
    をさらに有し、
    前記推定手段は、切り出された前記一部領域の画像と選択された前記異常検知モデルとに基づき、前記監視対象の異常有無を推定する請求項1に記載の推定装置。
  3. 前記取得手段は、前記推定用画像を撮影した時の撮影方向を示す方向情報をさらに取得し、
    前記異常検知モデルは、位置毎かつ撮影方向毎に用意されており、
    前記選択手段は、前記位置情報で示される撮影位置及び前記方向情報で示される撮影方向に対応する前記異常検知モデルを選択する請求項1または2に記載の推定装置。
  4. 前記選択手段は、複数の前記異常検知モデル各々に紐づけられたランドマークが前記推定用画像に含まれるか否かに基づき、前記異常検知モデルを選択する請求項1から3のいずれか1項に記載の推定装置。
  5. 前記位置情報は、撮影位置を緯度経度で示す請求項1から4のいずれか1項に記載の推定装置。
  6. 前記選択手段は、前記位置情報で示される撮影位置と、複数の前記異常検知モデル各々に紐付く位置との距離に基づき、前記位置情報で示される撮影位置に対応する前記異常検知モデルを選択する請求項1から5のいずれか1項に記載の推定装置。
  7. ある位置に存在する監視対象を複数の観察地点各々から撮影した複数の学習用画像各々の絶対位置で示される撮影位置に基づき、前記学習用画像を同じ前記観察地点から撮影した前記学習用画像どうしでまとめてグループ分けするグループ分け手段と、
    前記グループ毎に、同じ前記観察地点から前記監視対象を撮影した複数の前記学習用画像に基づく機械学習で、画像に含まれる前記監視対象の異常有無を推定する異常検知モデルを生成する学習手段と、
    を有する学習装置。
  8. 前記学習用画像に含まれる物体を検出する学習用物体検出手段と、
    検出された前記物体が含まれる一部領域を前記学習用画像から切り出す学習用加工手段と、
    をさらに有し、
    前記学習手段は、切り出された前記一部領域の画像に基づく機械学習で、前記異常検知モデルを生成する請求項7に記載の学習装置。
  9. 前記グループ分け手段は、複数の学習用画像各々の撮影位置及び撮影方向に基づき、前記学習用画像をグループ分けする請求項7又は8に記載の学習装置。
  10. コンピュータが、
    推定用画像と、前記推定用画像の撮影位置を絶対位置で示す位置情報とを取得し、
    ある位置に存在する監視対象を複数の観察地点各々から撮影した画像に基づく機械学習で前記観察地点毎に生成された前記監視対象の異常を検知する複数の異常検知モデルの中から、前記位置情報で示される撮影位置に対応する前記観察地点から撮影した画像に基づく機械学習で生成された前記異常検知モデルを選択し、
    前記推定用画像と選択された前記異常検知モデルとに基づき、前記推定用画像に含まれる前記監視対象の異常有無を推定する推定方法。
  11. コンピュータを、
    推定用画像と、前記推定用画像の撮影位置を絶対位置で示す位置情報とを取得する取得手段、
    ある位置に存在する監視対象を複数の観察地点各々から撮影した画像に基づく機械学習で前記観察地点毎に生成された前記監視対象の異常を検知する複数の異常検知モデルの中から、前記位置情報で示される撮影位置に対応する前記観察地点から撮影した画像に基づく機械学習で生成された前記異常検知モデルを選択する選択手段、
    前記推定用画像と選択された前記異常検知モデルとに基づき、前記推定用画像に含まれる前記監視対象の異常有無を推定する推定手段、
    として機能させるプログラム。
JP2020069639A 2020-04-08 2020-04-08 推定装置、学習装置、推定方法及びプログラム Active JP7525220B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020069639A JP7525220B2 (ja) 2020-04-08 2020-04-08 推定装置、学習装置、推定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020069639A JP7525220B2 (ja) 2020-04-08 2020-04-08 推定装置、学習装置、推定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021165984A JP2021165984A (ja) 2021-10-14
JP7525220B2 true JP7525220B2 (ja) 2024-07-30

Family

ID=78022184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020069639A Active JP7525220B2 (ja) 2020-04-08 2020-04-08 推定装置、学習装置、推定方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7525220B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042167A (ja) 2007-08-10 2009-02-26 Aisin Aw Co Ltd 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
WO2017057135A1 (ja) 2015-09-30 2017-04-06 日本電気株式会社 情報処理装置、判定装置、通知システム、情報送信方法及びプログラム
JP2018081404A (ja) 2016-11-15 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 識別方法、識別装置、識別器生成方法及び識別器生成装置
JP2018200531A (ja) 2017-05-26 2018-12-20 富士通株式会社 教師データ生成装置、教師データ生成方法、教師データ生成プログラム、及び物体検出システム
WO2019003355A1 (ja) 2017-06-28 2019-01-03 株式会社オプティム 画像解析結果提供システム、画像解析結果提供方法、およびプログラム
JP2019125116A (ja) 2018-01-15 2019-07-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020503604A (ja) 2016-12-05 2020-01-30 アビギロン コーポレイションAvigilon Corporation 外観検索のシステムおよび方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042167A (ja) 2007-08-10 2009-02-26 Aisin Aw Co Ltd 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
WO2017057135A1 (ja) 2015-09-30 2017-04-06 日本電気株式会社 情報処理装置、判定装置、通知システム、情報送信方法及びプログラム
JP2018081404A (ja) 2016-11-15 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 識別方法、識別装置、識別器生成方法及び識別器生成装置
JP2020503604A (ja) 2016-12-05 2020-01-30 アビギロン コーポレイションAvigilon Corporation 外観検索のシステムおよび方法
JP2018200531A (ja) 2017-05-26 2018-12-20 富士通株式会社 教師データ生成装置、教師データ生成方法、教師データ生成プログラム、及び物体検出システム
WO2019003355A1 (ja) 2017-06-28 2019-01-03 株式会社オプティム 画像解析結果提供システム、画像解析結果提供方法、およびプログラム
JP2019125116A (ja) 2018-01-15 2019-07-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三浦 純,SVMによる物体と位置の視覚学習に基づく屋外移動ロボットの位置推定,日本ロボット学会誌 ,日本,社団法人日本ロボット学会,2007年07月15日,Vol.25 No.5,P.142-148

Also Published As

Publication number Publication date
JP2021165984A (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
CN111027401B (zh) 一种摄像头和激光雷达融合的端到端目标检测方法
CN102567449B (zh) 视觉系统及分析图像的方法
JP2021523443A (ja) Lidarデータと画像データの関連付け
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
KR101965878B1 (ko) 시각적 피처들을 이용한 이미지들의 자동 연결
US11430199B2 (en) Feature recognition assisted super-resolution method
CN112200131A (zh) 一种基于视觉的车辆碰撞检测方法、智能终端及存储介质
CN113838125A (zh) 目标位置确定方法、装置、电子设备以及存储介质
CN115082857A (zh) 一种目标对象的检测方法、装置、设备以及存储介质
Yang et al. YOLOv8-Lite: A Lightweight Object Detection Model for Real-time Autonomous Driving Systems
CN111881233B (zh) 分布式点云地图构建方法和装置、服务器、计算机可读存储介质
JP7525220B2 (ja) 推定装置、学習装置、推定方法及びプログラム
CN116740160A (zh) 一种复杂交通场景中的毫秒级多平面实时提取方法及装置
US20230281975A1 (en) Systems and methods for generating three-dimensional annotations for training a machine learning model
CN115902977A (zh) 基于视觉和gps的变电站机器人双重定位方法及系统
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质
Barra et al. Can Existing 3D Monocular Object Detection Methods Work in Roadside Contexts? A Reproducibility Study
JP7427569B2 (ja) 状態判定装置、状態判定システム及び状態判定方法
JP6163732B2 (ja) 画像処理装置、プログラム、及び方法
JP6807092B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
CN114140707A (zh) 一种电网故障巡检方法
US20230109494A1 (en) Methods and devices for building a training dataset
JP2022186299A (ja) 位置特定装置、位置特定方法及び位置特定システム
JP7457844B2 (ja) 情報処理装置及び方法
CN117115238B (zh) 一种确定位姿的方法、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240523

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240711

R150 Certificate of patent or registration of utility model

Ref document number: 7525220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150