JP6737371B1 - Information processing apparatus, equipment determination method, computer program, and learned model generation method - Google Patents

Information processing apparatus, equipment determination method, computer program, and learned model generation method Download PDF

Info

Publication number
JP6737371B1
JP6737371B1 JP2019059149A JP2019059149A JP6737371B1 JP 6737371 B1 JP6737371 B1 JP 6737371B1 JP 2019059149 A JP2019059149 A JP 2019059149A JP 2019059149 A JP2019059149 A JP 2019059149A JP 6737371 B1 JP6737371 B1 JP 6737371B1
Authority
JP
Japan
Prior art keywords
image
image area
model
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019059149A
Other languages
Japanese (ja)
Other versions
JP2020160765A (en
Inventor
誠一郎 近藤
誠一郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Electric Power Co Holdings Inc
Original Assignee
Tokyo Electric Power Co Inc
Tokyo Electric Power Co Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=71892449&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6737371(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Tokyo Electric Power Co Inc, Tokyo Electric Power Co Holdings Inc filed Critical Tokyo Electric Power Co Inc
Priority to JP2019059149A priority Critical patent/JP6737371B1/en
Application granted granted Critical
Publication of JP6737371B1 publication Critical patent/JP6737371B1/en
Publication of JP2020160765A publication Critical patent/JP2020160765A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Analysis (AREA)

Abstract

【課題】カメラの撮像画像に基づく設備の異常判定の精度を向上することが期待できる情報処理装置、設備判定方法、コンピュータプログラム及び学習済モデルの生成方法を提供する。【解決手段】異常判定システムにおいて、サーバ装置(情報処理装置)1は、電気設備が写された画像を、画像取得部11aが取得し、取得した画像から電気設備に対応する画像領域を、領域特定部11bが第1の学習済モデルである領域特定モデル12bを用いて特定する。特定した画像領域を、領域抽出部11cが元の画像から抽出し、抽出した画像領域からこの電気設備の状態を、異常判定部11eが第2の学習済モデルである異常判定モデル12cを用いて判定する。画像からの電気設備が写された画像領域の特定と、特定された画像領域からの電気設備の状態判定とを異なる学習済モデルを用いて行うことにより、電気設備の状態判定の精度の向上が期待できる。【選択図】図2PROBLEM TO BE SOLVED: To provide an information processing device, a facility determination method, a computer program, and a learned model generation method, which can be expected to improve the precision of facility abnormality determination based on a captured image of a camera. In an abnormality determination system, a server device (information processing device) 1 acquires an image in which electric equipment is captured by an image acquisition unit 11a, and an image area corresponding to the electric equipment is acquired from the acquired image. The identifying unit 11b identifies using the region learning model 12b that is the first learned model. The specified image area is extracted from the original image by the area extraction unit 11c, and the state of this electric equipment is extracted from the extracted image area by the abnormality determination unit 11e using the abnormality determination model 12c which is the second learned model. judge. By specifying the image area where the electric equipment is copied from the image and determining the state of the electric equipment from the specified image area using different learned models, the accuracy of the state determination of the electric equipment can be improved. Can be expected. [Selection diagram] Figure 2

Description

本発明は、電気設備等の設備を含む画像から、当該設備の状態を判定する情報処理装置、設備判定方法、コンピュータプログラム及び学習済モデルの生成方法に関する。 The present invention relates to an information processing apparatus, an equipment determination method, a computer program, and a learned model generation method for determining the state of the equipment from an image including equipment such as electric equipment.

配電設備の異常を判定する種々の手法が提案されている。例えば特許文献1では、一台の赤外線カメラ及び複数の可視光カメラで電柱を撮像し、可視光カメラで撮像した画像からアーム(腕金)の画像領域を抽出し、赤外線カメラで撮像した熱画像におけるアームの画像領域から柱上機材の温度勾配を算出して、柱上機材が正常か異常かを判定する異常検出方法等が開示されている。 Various methods for determining an abnormality in power distribution equipment have been proposed. For example, in Patent Document 1, a single infrared camera and a plurality of visible light cameras capture electric poles, an image region of an arm (arm) is extracted from an image captured by the visible light cameras, and a thermal image captured by the infrared camera. Discloses an abnormality detection method for determining whether the pole equipment is normal or abnormal by calculating the temperature gradient of the pole equipment from the image area of the arm.

特開2002−366953号公報JP, 2002-366953, A

近年、ニューラルネットワークを利用した人工知能により、カメラの撮像画像から特定の物体を検出する画像認識の技術が急速に発展している。当該技術を利用し、設備を撮像した画像に基づいてこの設備の異常を判定することが研究されている。しかし、カメラの撮像画像に写された設備の大きさにより異常判定の精度が左右され、撮像画像に設備が小さく写されている場合には、この設備の異常を精度よく判定できない虞がある。 In recent years, image recognition technology for detecting a specific object from an image captured by a camera has been rapidly developed by artificial intelligence using a neural network. Using this technique, it has been researched to determine abnormality of this equipment based on an image of the equipment. However, the accuracy of the abnormality determination depends on the size of the equipment shown in the captured image of the camera, and if the equipment is shown small in the taken image, the abnormality of the equipment may not be accurately determined.

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、カメラの撮像画像に基づく設備の異常判定の精度を向上することが期待できる情報処理装置、設備判定方法、コンピュータプログラム及び学習済モデルの生成方法を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an information processing apparatus and a facility determination method that can be expected to improve the accuracy of facility abnormality determination based on a captured image of a camera. , A computer program and a method for generating a trained model.

本発明に係る情報処理装置は、電気設備を含む画像を取得する取得部と、入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力する第1の学習済モデルを用いて、前記取得部が取得した画像から前記画像領域を特定する特定部と、前記特定部が特定した前記画像領域を前記取得部が取得した画像から抽出する抽出部と、入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力する第2の学習済モデルを用いて、前記抽出部が抽出した画像領域から前記電気設備の状態を判定する判定部とを備える。 An information processing apparatus according to the present invention includes an acquisition unit that acquires an image including electric equipment, and a first learned model that outputs a specification result that specifies an image region corresponding to electric equipment included in an input image. Using an identifying unit that identifies the image region from the image acquired by the acquisition unit, an extraction unit that extracts the image region identified by the identifying unit from the image acquired by the acquisition unit, and an input image region And a determination unit that determines the state of the electrical equipment from the image region extracted by the extraction unit, using the second learned model that outputs the determination result of determining the state of the electrical equipment included in.

本発明においては、電気設備が写された画像を情報処理装置が取得し、取得した画像から電気設備に対応する画像領域を、第1の学習済モデルを用いて特定する。第1の学習済モデルは、入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力するよう予め学習がなされたモデルである。情報処理装置は、特定した画像領域を元の画像から抽出し、抽出した画像領域からこの電気設備の状態を、第2の学習済モデルを用いて判定する。第2の学習済モデルは、入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力するよう予め学習がなされたモデルである。画像からの電気設備が写された画像領域の特定と、特定された画像領域からの電気設備の状態判定とを異なる学習済モデルを用いて行うことにより、電気設備の状態判定の精度の向上が期待できる。 In the present invention, the information processing apparatus acquires the image in which the electric equipment is captured, and specifies the image area corresponding to the electric equipment from the acquired image using the first learned model. The first learned model is a model that has been learned in advance so as to output a specification result in which the image area corresponding to the electric equipment included in the input image is specified. The information processing apparatus extracts the specified image area from the original image, and determines the state of this electrical equipment from the extracted image area using the second learned model. The second learned model is a model that has been learned in advance so as to output the determination result of determining the state of the electric equipment included in the input image area. By specifying the image area where the electrical equipment is copied from the image and performing the state determination of the electrical equipment from the identified image area using different learned models, the accuracy of the state determination of the electrical equipment can be improved. Can be expected.

本発明による場合は、カメラの撮像画像に基づく設備の異常判定の精度を向上することが期待できる。 According to the present invention, it can be expected that the accuracy of equipment abnormality determination based on the image captured by the camera is improved.

本実施の形態に係る異常判定システムの概要を説明するための模式図である。It is a schematic diagram for explaining an outline of an abnormality determination system according to the present embodiment. 本実施の形態に係るサーバ装置の構成を示すブロック図である。It is a block diagram which shows the structure of the server apparatus which concerns on this Embodiment. 本実施の形態に係る領域特定モデルの生成処理を説明するための模式図である。FIG. 7 is a schematic diagram for explaining a process of generating a region specifying model according to the present embodiment. 本実施の形態に係る異常判定モデルの生成処理を説明するための模式図である。FIG. 6 is a schematic diagram for explaining a process of generating an abnormality determination model according to the present embodiment. 本実施の形態に係るサーバ装置が行う学習処理の手順を示すフローチャートである。It is a flow chart which shows the procedure of the learning processing which the server unit concerning this embodiment performs. 本実施の形態に係るサーバ装置が行う電気設備の異常判定処理を説明するための模式図である。It is a schematic diagram for demonstrating the abnormality determination process of the electrical equipment which the server apparatus which concerns on this Embodiment performs. 本実施の形態に係るサーバ装置が行う画像領域の順位付けを説明するための模式図である。FIG. 7 is a schematic diagram for explaining ordering of image areas performed by the server device according to the present embodiment. 本実施の形態に係るサーバ装置が行う異常判定処理の手順を示すフローチャートである。5 is a flowchart showing a procedure of abnormality determination processing performed by the server device according to the present embodiment. 実施の形態2に係る異常判定システムの構成を示す模式図である。5 is a schematic diagram showing a configuration of an abnormality determination system according to a second embodiment. FIG. 実施の形態3に係る異常判定システムの構成を示す模式図である。It is a schematic diagram which shows the structure of the abnormality determination system which concerns on Embodiment 3.

本発明の実施形態に係る情報処理装置の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 A specific example of the information processing apparatus according to the embodiment of the present invention will be described below with reference to the drawings. It should be noted that the present invention is not limited to these exemplifications, and is shown by the scope of the claims, and is intended to include meanings equivalent to the scope of the claims and all modifications within the scope.

<システム概要>
図1は、本実施の形態に係る異常判定システムの概要を説明するための模式図である。本実施の形態に係る異常判定システムは、例えば道路上に設置された電柱3、この電柱に設けられた各種の機材、及び、複数の電柱3の間に架け渡された電線等の電気設備を対象として異常判定を行う。ただし、異常判定の対象となる設備は、上記のものに限らない。本実施の形態に係る異常判定システムは、サーバ装置1と、作業者2が所持するカメラ21及び端末装置22とを含む。サーバ装置1及び作業者2の端末装置22は、インターネット等のネットワークNを介して通信可能に接続されている。またカメラ21及び端末装置22は、有線又は無線によりデータの授受が可能に構成されている。
<System overview>
FIG. 1 is a schematic diagram for explaining the outline of the abnormality determination system according to the present embodiment. The abnormality determination system according to the present embodiment includes, for example, a utility pole 3 installed on a road, various equipment provided on the utility pole, and electrical equipment such as electric wires laid between a plurality of utility poles 3. Abnormality determination is performed as a target. However, the equipment subject to abnormality determination is not limited to the above. The abnormality determination system according to the present embodiment includes a server device 1, a camera 21 and a terminal device 22 carried by the worker 2. The server device 1 and the terminal device 22 of the worker 2 are communicably connected via a network N such as the Internet. Further, the camera 21 and the terminal device 22 are configured to be capable of exchanging data by wire or wirelessly.

作業者2は、電柱3等の電気設備の保守点検を行う作業者であり、電気設備が設置されている道路等を巡回する。作業者2は、周囲を撮像するカメラ21と、位置情報取得機能及び通信機能等を有する端末装置22とを使用して作業を行う。作業者2は、カメラ21を用いて周囲の風景等を撮像する。 The worker 2 is a worker who performs maintenance and inspection of electric equipment such as the electric pole 3, and patrolles a road or the like where the electric equipment is installed. The worker 2 works by using the camera 21 that images the surroundings and the terminal device 22 that has a position information acquisition function, a communication function, and the like. The worker 2 uses the camera 21 to capture an image of the surrounding landscape and the like.

なお本実施の形態においては、作業者2がカメラ21を用いた撮像を行うものとするが、撮影者は作業者2に限らない。例えば、電柱3の近隣に住む住人又は電柱3の周辺を通行する歩行者等の一般人が撮像を行ってもよい。また例えば、電柱3の周辺の道路を走行する路線バス又はタクシー等の車両にカメラ21を搭載して撮像を行ってもよい。 In addition, in the present embodiment, it is assumed that the worker 2 performs imaging using the camera 21, but the photographer is not limited to the worker 2. For example, a resident living near the utility pole 3 or a general person such as a pedestrian passing around the utility pole 3 may perform the imaging. Further, for example, the camera 21 may be mounted on a vehicle such as a route bus or a taxi that travels on a road around the telephone pole 3 to capture an image.

端末装置22は、カメラ21が撮像した画像を取得し、取得した画像をサーバ装置1へ送信する。また端末装置22は、カメラ21の撮像画像と共に、この画像が撮像された日時及び位置等の情報を併せてサーバ装置1へ送信してもよい。 The terminal device 22 acquires the image captured by the camera 21 and transmits the acquired image to the server device 1. Further, the terminal device 22 may transmit the captured image of the camera 21 together with information such as the date and time and the position at which the image was captured to the server device 1.

なお本実施の形態においては、カメラ21及び端末装置22を別体の装置とするが、これに限るものではなく、カメラ21及び端末装置22が一体の装置であってもよい。また端末装置22は、カメラ21が撮像した画像をリアルタイムでサーバ装置1へ送信してもよく、カメラ21が撮像した画像を一定時間記録し、一定時間の画像をまとめて送信してもよい。また端末装置22からサーバ装置1へネットワークNを介した通信により撮像画像を送信するのではなく、例えば端末装置22が撮像画像をメモリカード等の記録媒体に記録し、撮像画像が記録されたメモリカードをサーバ装置1が読み込むことによって撮像画像を授受してもよい。 Although the camera 21 and the terminal device 22 are separate devices in the present embodiment, the present invention is not limited to this, and the camera 21 and the terminal device 22 may be an integrated device. Further, the terminal device 22 may transmit the image captured by the camera 21 to the server device 1 in real time, or may record the image captured by the camera 21 for a certain period of time and transmit the images of the certain period together. Further, instead of transmitting the captured image from the terminal device 22 to the server device 1 via the network N, for example, the terminal device 22 records the captured image in a recording medium such as a memory card, and the memory in which the captured image is recorded. The captured image may be transferred by reading the card by the server device 1.

サーバ装置1は、作業者2のカメラ21が撮像した電柱等の電気設備の画像を取得し、取得した画像からこの電気設備の異常の有無を判定する処理を行う。本実施の形態に係るサーバ装置1は、機械学習により予め学習がなされた2つの学習済モデルを用いて、電気設備の異常を判定する。第1の学習済モデルは、カメラ21が撮像した画像から、判定対象となる電気設備が含まれる画像領域を特定するよう学習された領域特定モデルである。第2の学習済モデルは、画像中の電気設備の異常の有無を判定するよう学習された異常判定モデルである。サーバ装置1は、カメラ21から取得した画像を領域特定モデルへ入力することにより、電気設備が含まれる画像領域の特定結果を得る。この特定結果に基づいてサーバ装置1は、カメラ21から取得した画像から特定された画像領域を抽出する。サーバ装置1は、抽出した画像領域を異常判定モデルへ入力することにより、電気設備の異常の有無の判定結果を得る。 The server device 1 acquires an image of electric equipment such as a utility pole captured by the camera 21 of the worker 2, and performs processing to determine whether there is an abnormality in the electric equipment from the acquired image. The server device 1 according to the present embodiment determines an abnormality of electric equipment by using two learned models that have been learned in advance by machine learning. The first learned model is an area identification model learned from the image captured by the camera 21 to identify the image area including the electrical equipment to be determined. The second learned model is an abnormality determination model learned to determine whether or not there is an abnormality in the electric equipment in the image. The server device 1 inputs the image acquired from the camera 21 to the area specifying model to obtain the result of specifying the image area including the electric equipment. Based on this identification result, the server device 1 extracts the image area identified from the image acquired from the camera 21. The server device 1 inputs the extracted image region into the abnormality determination model to obtain the determination result of whether or not there is an abnormality in the electrical equipment.

サーバ装置1が判定する電気設備の異常の有無には、電柱3、機材及び電線等の電気設備自体の異常の有無の他に、例えば電柱3の機材の上に作られた鳥類(動物)の営巣の有無、又は、複数の電柱3の間に架け渡された電線と周辺に植えられた樹木との接触の有無等が含まれ得る。サーバ装置1は、領域特定モデル及び異常判定モデルを用いて判定した電気設備の異常判定の結果に応じて、電気設備の異常箇所への対応を促す所定の通知を作業者へ送信する。 Whether or not there is an abnormality in the electric equipment judged by the server device 1 includes whether or not there is any abnormality in the electric equipment itself such as the electric pole 3, the equipment, and the electric wire, and for example, the presence of birds (animals) on the equipment The presence or absence of nesting or the presence or absence of contact between an electric wire laid between a plurality of electric poles 3 and a tree planted in the vicinity thereof may be included. The server device 1 transmits a predetermined notification to the worker to prompt a response to the abnormal location of the electrical equipment, according to the result of the abnormality determination of the electrical equipment determined using the area identification model and the abnormality determination model.

<装置構成>
図2は、本実施の形態に係るサーバ装置1の構成を示すブロック図である。本実施の形態に係るサーバ装置1は、処理部(プロセッサ)11、記憶部(ストレージ)12及び通信部(トランシーバ)13等を備えて構成されている。処理部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の演算処理装置を用いて構成されている。処理部11は、記憶部12に記憶されたサーバプログラム12aを読み出して実行することにより、画像から電気設備が含まれる画像領域を特定する処理、及び、画像領域の電気施設の異常の有無を判定する処理等の種々の処理を行う。
<Device configuration>
FIG. 2 is a block diagram showing the configuration of the server device 1 according to the present embodiment. The server device 1 according to the present embodiment includes a processing unit (processor) 11, a storage unit (storage) 12, a communication unit (transceiver) 13, and the like. The processing unit 11 is configured using an arithmetic processing device such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit) or a GPU (Graphics Processing Unit). The processing unit 11 reads a server program 12a stored in the storage unit 12 and executes the server program 12a to determine an image area including an electric facility from an image and determine whether or not there is an abnormality in the electric facility in the image area. Various processings such as processing to perform are performed.

記憶部12は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部12は、処理部11が実行する各種のプログラム、及び、処理部11の処理に必要な各種のデータを記憶する。本実施の形態において記憶部12は、処理部11が実行するサーバプログラム12aと、2つの学習済モデルとして領域特定モデル12b及び異常判定モデル12cを記憶している。 The storage unit 12 is configured by using a large-capacity storage device such as a hard disk. The storage unit 12 stores various programs executed by the processing unit 11 and various data necessary for the processing of the processing unit 11. In the present embodiment, the storage unit 12 stores a server program 12a executed by the processing unit 11, and an area identification model 12b and an abnormality determination model 12c as two learned models.

サーバプログラム12aは、例えばサーバ装置1の製造段階において記憶部12に書き込まれてもよい。例えばサーバプログラム12aは、遠隔の他のサーバ装置等が配信するものをサーバ装置1が通信にて取得してもよい。例えばサーバプログラム12aは、メモリカード又は光ディスク等の記録媒体99に記録されたサーバプログラム12aをサーバ装置1が読み出して記憶部12に記憶してもよい。例えばサーバプログラム12aは、記録媒体99に記録されたものを書込装置が読み出してサーバ装置1の記憶部12に書き込んでもよい。サーバプログラム12aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体99に記録された態様で提供されてもよい。 The server program 12a may be written in the storage unit 12 at the manufacturing stage of the server device 1, for example. For example, the server program 12a may be acquired by the server device 1 through communication, which is distributed by another remote server device or the like. For example, the server program 12a may be stored in the storage unit 12 by the server device 1 reading the server program 12a recorded in the recording medium 99 such as a memory card or an optical disc. For example, the server program 12 a may be recorded in the recording medium 99 by a writing device and written in the storage unit 12 of the server device 1. The server program 12a may be provided in the form of distribution via a network, or may be provided in the form recorded on the recording medium 99.

領域特定モデル12b及び異常判定モデル12cは、予め教師データを用いた機械学習又は深層学習等がなされた学習済モデルである。学習済モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部12にはこの演算を規定する関数の係数及び閾値等のデータが領域特定モデル12b及び異常判定モデル12cとして記憶される。領域特定モデル12bは、カメラ21の撮像画像から電気設備が含まれる画像領域を特定するように学習された学習済モデルである。異常判定モデル12cは、特定された画像領域に含まれる電気設備の異常の有無を判定するように学習された学習済モデルである。サーバプログラム12aを実行する処理部11が、領域特定モデル12b及び異常判定モデル12cとして記憶されたデータを読み込むことによって、画像からの領域特定及び特定された領域の施設の異常判定のための演算を処理部11が実行することが可能となる。 The area identification model 12b and the abnormality determination model 12c are learned models that have been subjected to machine learning or deep learning using teacher data in advance. The learned model performs a predetermined calculation on the input value and outputs the calculation result, and the storage unit 12 stores data such as the coefficient of the function and the threshold value that defines the calculation in the area identification model 12b and the abnormality. It is stored as the determination model 12c. The area specifying model 12b is a learned model that has been learned from the image captured by the camera 21 to specify an image area including electrical equipment. The abnormality determination model 12c is a learned model learned to determine whether or not there is an abnormality in the electric equipment included in the specified image area. The processing unit 11 that executes the server program 12a reads the data stored as the area identification model 12b and the abnormality determination model 12c to perform an operation for area identification from an image and an abnormality determination of the facility of the identified area. It becomes possible for the processing unit 11 to execute.

本実施の形態において領域特定モデル12b及び異常判定モデル12cの学習処理は、サーバ装置1が行う。ただし学習処理は、サーバ装置1以外の装置が行ってもよい。この場合に学習された領域特定モデル12b及び異常判定モデル12cに係るデータは、サーバプログラム12aと同様に、ネットワークを介した配信の態様で提供されてもよく、記録媒体99に記録された態様で提供されてもよい。 In the present embodiment, the server device 1 performs the learning process of the area identification model 12b and the abnormality determination model 12c. However, the learning process may be performed by a device other than the server device 1. The data relating to the area identification model 12b and the abnormality determination model 12c learned in this case may be provided in the form of distribution via the network, as in the server program 12a, and may be provided in the form recorded in the recording medium 99. May be provided.

通信部13は、インターネット、無線LAN及び携帯電話通信網等を含むネットワークNを介して、一又は複数の端末装置22との間で通信を行う。また通信部13は、ネットワークNを介して端末装置22以外の種々の装置との間で通信を行ってよい。通信部13は、処理部11から与えられたデータを他の装置へ送信すると共に、他の装置からの受信データを処理部11へ与える。 The communication unit 13 communicates with one or more terminal devices 22 via a network N including the Internet, a wireless LAN, a mobile phone communication network, and the like. In addition, the communication unit 13 may communicate with various devices other than the terminal device 22 via the network N. The communication unit 13 transmits the data given from the processing unit 11 to another device, and gives the received data from the other device to the processing unit 11.

なお記憶部12は、サーバ装置1に接続された外部記憶装置であってよい。またサーバ装置1は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置1は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。 The storage unit 12 may be an external storage device connected to the server device 1. Further, the server device 1 may be a multi-computer including a plurality of computers, or may be a virtual machine virtually constructed by software. The server device 1 is not limited to the above configuration, and may include, for example, a reading unit that reads information stored in a portable storage medium, an input unit that receives an operation input, or a display unit that displays an image. ..

また本実施の形態に係るサーバ装置1では、記憶部12に記憶されたサーバプログラム12aを処理部11が読み出して実行することにより、画像取得部11a、領域特定部11b、領域抽出部11c、調整部11d、異常判定部11e及び学習処理部11f等がソフトウェア的な機能ブロックとして実現される。画像取得部11aは、通信部13を介して端末装置22との通信を行うことにより、カメラ21にて撮像された画像を取得する処理を行う。画像取得部11aは、端末装置22から通信により取得した画像を記憶部12に記憶する。 Further, in the server device 1 according to the present embodiment, the processing unit 11 reads out and executes the server program 12a stored in the storage unit 12, whereby the image acquisition unit 11a, the region identification unit 11b, the region extraction unit 11c, and the adjustment unit. The unit 11d, the abnormality determination unit 11e, the learning processing unit 11f, and the like are realized as software functional blocks. The image acquisition unit 11 a performs a process of acquiring an image captured by the camera 21 by communicating with the terminal device 22 via the communication unit 13. The image acquisition unit 11 a stores the image acquired from the terminal device 22 by communication in the storage unit 12.

領域特定部11bは、記憶部12に記憶された領域特定モデル12bを用いて、画像取得部11aが取得した画像から処理対象となる電気設備が含まれる領域を特定する処理を行う。領域特定モデル12bは、画像を入力として受け付け、電気設備が含まれている画像領域を特定する座標等の情報と、この特定に関する確信度とを出力する。また本実施の形態において領域特定モデル12bは、特定した画像領域に含まれる電気設備の異常の有無の判定結果をも出力する。ただし本実施の形態において、領域特定モデル12bが出力する異常の有無の判定結果は、画像領域の順位付けに用いる予備的な情報であり、電気設備の異常の有無の最終的な判定は異常判定モデル12cが行う。 The area specifying unit 11b uses the area specifying model 12b stored in the storage unit 12 to perform processing for specifying the area including the electrical equipment to be processed from the image acquired by the image acquiring unit 11a. The area specifying model 12b receives an image as an input, and outputs information such as coordinates for specifying an image area including electric equipment and a certainty factor regarding this specification. Further, in the present embodiment, the area specifying model 12b also outputs the determination result of the presence/absence of abnormality of the electric equipment included in the specified image area. However, in the present embodiment, the determination result of the presence/absence of abnormality output by the region identification model 12b is preliminary information used for ranking the image regions, and the final determination of the presence/absence of abnormality of the electrical equipment is the abnormality determination. The model 12c does this.

画像中に複数の電気設備が写されている場合、領域特定モデル12bは複数の画像領域を特定する。この場合に領域特定部11bは、特定された複数の画像領域に対して順位付けを行う。例えば領域特定部11bは、領域特定モデル12bが出力する異常有無の判定結果に基づき、異常があると判定された電気設備に対応する画像領域に高順位を付す。領域特定部11bは、異常があると判定された電気設備に対応する画像領域に対して所定の位置関係にある画像領域、例えば一列に並んだ連続的な画像領域に、異常ありの画像領域に次ぐ高順位を付す。領域特定部11bは、異常ありの画像領域が複数存在する場合、領域の大きさに応じて、例えば領域が大きいものから順に、高順位を付す。なお上記の順位付けは一例であり、領域特定部11bによる画像領域の順位付けの方法はどのようなものであってもよい。 When a plurality of electric equipments are shown in the image, the area specifying model 12b specifies a plurality of image areas. In this case, the area specifying unit 11b ranks the plurality of specified image areas. For example, the area specifying unit 11b assigns a high rank to the image area corresponding to the electrical equipment determined to have an abnormality, based on the abnormality determination result output from the area identifying model 12b. The area specifying unit 11b detects an image area having a predetermined positional relationship with the image area corresponding to the electrical equipment determined to have an abnormality, for example, a continuous image area arranged in a line, or an image area having an abnormality. Place the next highest ranking. When there are a plurality of image areas with an abnormality, the area specifying unit 11b assigns a high rank in order from the largest area, for example, in accordance with the size of the area. Note that the above ranking is an example, and any method of ranking the image areas by the area specifying unit 11b may be used.

領域抽出部11cは、領域特定部11bが特定した画像領域を、画像取得部11aが取得した画像(即ち、領域特定部11bに対して入力された画像)から抽出する処理を行う。領域特定部11bが複数の画像領域を特定した場合、領域抽出部11cは、画像から複数の画像領域を抽出する。 The area extracting unit 11c performs a process of extracting the image area specified by the area specifying unit 11b from the image acquired by the image acquiring unit 11a (that is, the image input to the area specifying unit 11b). When the area specifying unit 11b specifies a plurality of image areas, the area extracting unit 11c extracts a plurality of image areas from the image.

調整部11dは、領域抽出部11cが抽出した画像領域に対して大きさを調整する処理を行う。領域特定部11bにより特定されて領域抽出部11cにより抽出される画像領域の大きさは、元の画像に写されていた電気設備の大きさに依存する。調整部11dは、領域抽出部11cが抽出した画像領域を拡大又は縮小することによって、異常判定モデル12cの入力に適した画像の大きさとなるよう調整する。 The adjustment unit 11d performs a process of adjusting the size of the image area extracted by the area extraction unit 11c. The size of the image area specified by the area specifying unit 11b and extracted by the area extracting unit 11c depends on the size of the electric equipment shown in the original image. The adjustment unit 11d adjusts the size of the image suitable for input to the abnormality determination model 12c by enlarging or reducing the image area extracted by the area extracting unit 11c.

異常判定部11eは、記憶部12に記憶された異常判定モデル12cを用いて、領域抽出部11cにより抽出されて調整部11dにより大きさが調整された画像領域に含まれる電気設備の異常の有無を判定する処理を行う。異常判定モデル12cは、画像(画像領域)を入力として受け付け、この画像に含まれた電気設備の異常の有無の判定結果を出力する。異常判定部11eは、調整部11dが大きさを調整した画像領域を異常判定モデル12cへ入力し、電気設備の異常の有無の判定結果を得る。 The abnormality determination unit 11e uses the abnormality determination model 12c stored in the storage unit 12 to determine whether or not there is an abnormality in the electrical equipment included in the image region extracted by the region extraction unit 11c and adjusted in size by the adjustment unit 11d. Is performed. The abnormality determination model 12c receives an image (image area) as an input, and outputs a determination result of whether or not there is an abnormality in the electrical equipment included in this image. The abnormality determination unit 11e inputs the image area, the size of which has been adjusted by the adjustment unit 11d, to the abnormality determination model 12c, and obtains a determination result of whether or not there is an abnormality in the electrical equipment.

領域抽出部11cが複数の画像領域を抽出した場合、異常判定部11eは、領域特定部11bが付した順位に従って複数の画像領域を異常判定モデル12cへ入力し、複数の判定結果を得る。ここで領域抽出部11cにより抽出された画像領域の数(又は、領域特定部11bにより特定された画像領域の数)が所定数より多い場合、異常判定部11eは、画像領域に付された順位に従って高順位のものを優先して異常判定を行い、所定数を超える低順位の画像領域については異常判定を行わない構成としてもよい。 When the area extraction unit 11c extracts a plurality of image areas, the abnormality determination unit 11e inputs the plurality of image areas into the abnormality determination model 12c according to the order assigned by the area identification unit 11b, and obtains a plurality of determination results. If the number of image regions extracted by the region extracting unit 11c (or the number of image regions identified by the region identifying unit 11b) is larger than a predetermined number, the abnormality determining unit 11e determines that the image regions are ranked. According to the above, the abnormality determination may be performed by giving priority to the high-order ones, and the abnormality determination may not be performed on the low-order image areas exceeding the predetermined number.

学習処理部11fは、領域特定モデル12b及び異常判定モデル12cを学習する処理を行う。学習処理部11fは、予め用意された教師データを用いて、領域特定モデル12b及び異常判定モデル12cを学習する。なお領域特定モデル12b及び異常判定モデル12cは、必ずしもサーバ装置1にて学習が行われる必要はなく、他の装置にて学習が行われてもよい。 The learning processing unit 11f performs processing for learning the area identification model 12b and the abnormality determination model 12c. The learning processing unit 11f learns the region identification model 12b and the abnormality determination model 12c using the teacher data prepared in advance. Note that the area identification model 12b and the abnormality determination model 12c do not necessarily need to be learned by the server device 1, and may be learned by another device.

<学習済モデル>
図3は、本実施の形態に係る領域特定モデル12bの生成処理を説明するための模式図である。なお図3においては、機械学習を行って領域特定モデル12bを生成する処理を概念的に示している。以下、図3に基づいて、領域特定モデル12bの生成処理について説明する。
<learned model>
FIG. 3 is a schematic diagram for explaining the generation process of the area specifying model 12b according to the present embodiment. Note that FIG. 3 conceptually shows a process of performing the machine learning to generate the region identification model 12b. Hereinafter, the generation processing of the area specifying model 12b will be described based on FIG.

本実施の形態において領域特定モデル12bは、画像の入力を受け付ける入力層と、画像の特徴量を抽出する中間層と、画像に含まれる電気設備の画像領域の特定結果及び当該電気設備の異常の有無を示す情報を出力する出力層とを有するニューラルネットワークとして構成される。本実施の形態において領域特定モデル12bには、ニューラルネットワークとしてCNN(Convolution Neural Network)の構成が採用されている。サーバ装置1は、CNNのモデルに対して、画像内における電気設備の異常箇所の画像特徴量を学習するディープラーニングを行うことで、領域特定モデル12bを生成する。 In the present embodiment, the area specifying model 12b includes an input layer that receives an image input, an intermediate layer that extracts a feature amount of the image, a result of specifying the image area of the electric equipment included in the image, and an abnormality of the electric equipment. It is configured as a neural network having an output layer that outputs information indicating presence/absence. In the present embodiment, the area specifying model 12b adopts a CNN (Convolution Neural Network) configuration as a neural network. The server device 1 generates the area specifying model 12b by performing deep learning on the CNN model to learn the image feature amount of the abnormal portion of the electric equipment in the image.

ニューラルネットワークの入力層は、画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の特徴量を抽出する複数のニューロンを有し、抽出した特徴量を出力層に受け渡す。例えば領域特定モデル12bがCNNである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層は、画像中に含まれる電気設備の画像領域の位置及び範囲等を示す情報と、この電気設備の異常を判定した判定結果とを出力する一又は複数のニューロンを有している。出力層は、中間層から出力された画像の特徴量に基づいて、画像中の電気設備の画像領域を特定すると共に、電気設備の異常の有無を判定する。なお本実施の形態において領域特定モデル12bの出力層は、特定した画像領域について、この画像領域に含まれる物体が対象となる電気設備であることの確かさを示す確信度と、電気設備の異常判定の確かさを示す確信度とを出力する。各確信度は、例えば0以上、1以下の少数で表され、その値が大きいほど出力結果が確かであることを示す。サーバ装置1は、領域特定モデル12bが出力する画像領域の位置情報及び異常判定結果と共に、これらの確信度に基づいて、元の画像からの電気設備を含む画像領域の最終的な特定結果を定める。例えばサーバ装置1は、確信度が閾値未満の画像領域については、特定結果から除外してよい。 The input layer of the neural network has a plurality of neurons that receive the input of the pixel value of each pixel included in the image, and transfers the input pixel value to the intermediate layer. The middle layer has a plurality of neurons for extracting the feature amount of the image, and transfers the extracted feature amount to the output layer. For example, when the region identification model 12b is CNN, the convolution layer that convolves the pixel value of each pixel input from the input layer and the pooling layer that maps the pixel value that is convoluted by the convolution layer alternate in the middle layer. The feature quantity of the image is finally extracted while compressing the pixel information of the image. The output layer has one or a plurality of neurons that output information indicating the position and range of the image area of the electrical equipment included in the image, and the determination result of determining the abnormality of the electrical equipment. The output layer specifies the image area of the electrical equipment in the image based on the characteristic amount of the image output from the intermediate layer, and determines whether or not there is an abnormality in the electrical equipment. In the present embodiment, the output layer of the area specifying model 12b, for the specified image area, the certainty factor indicating the certainty that the object included in this image area is the target electric equipment and the abnormality of the electric equipment. The certainty factor indicating the certainty of the judgment is output. Each certainty factor is represented by a small number, for example, 0 or more and 1 or less, and the larger the value, the more reliable the output result. The server device 1 determines the final identification result of the image area including the electrical equipment from the original image based on the position information and the abnormality determination result of the image area output by the area identification model 12b, and the certainty factor thereof. .. For example, the server device 1 may exclude an image region having a certainty factor less than a threshold value from the identification result.

なお本実施の形態においては、領域特定モデル12bがCNNであるものとするが、モデルの構成はCNNに限るものではない。領域特定モデル12bは、例えばCNN以外のニューラルネットワーク、SVM(Support Vector Machine)、ベイジアンネットワーク、又は、回帰木等の構成の学習済モデルであってよい。 In this embodiment, the area specifying model 12b is assumed to be CNN, but the model configuration is not limited to CNN. The area specifying model 12b may be a learned model having a configuration such as a neural network other than CNN, an SVM (Support Vector Machine), a Bayesian network, or a regression tree.

領域特定モデル12bの学習処理において、サーバ装置1は、電柱3、電柱3に設けられた機材、及び、電線等の電気設備を撮像した複数の撮像画像と、各画像における電気設備の異常箇所を示す情報とが対応付けられた教師データを用いる。教師データは、例えば図3に示すように、電柱3等の電気設備を含む画像に対し、異常箇所に該当する画像領域の座標範囲と、異常の内容とがラベル付けされたデータである。なお、図3ではラベル付けされた画像領域を太線の矩形枠で図示している。また異常内容の一例として、「異常箇所:放電クランプ、種類:焦げ目、ランクA」が示されている。 In the learning process of the area identification model 12b, the server device 1 detects a plurality of captured images of the electric pole 3, equipment provided on the electric pole 3, and electric equipment such as electric wires, and an abnormal portion of the electric equipment in each image. Teacher data associated with the indicated information is used. The teacher data is, for example, as shown in FIG. 3, data in which the coordinate range of the image area corresponding to the abnormal portion and the content of the abnormality are labeled with respect to the image including the electric equipment such as the electric pole 3. Note that in FIG. 3, the labeled image area is illustrated by a thick rectangular frame. Further, as an example of the content of the abnormality, "abnormality portion: discharge clamp, type: brown eye, rank A" is shown.

サーバ装置1は、教師データの画像をCNNの入力層に入力し、中間層での演算処理を経て、出力層から出力される画像領域の特定結果及び電気設備の異常判定結果を取得する。なお、出力層から出力される異常判定結果は、異常の有無を離散的に示す値(例えば「0」又は「1」の値)であってもよく、連続的な確率値(例えば「0」から「1」までの範囲の値)であってもよい。またサーバ装置1は、出力層から出力される情報として、画像領域の特定結果及び異常の有無の他に、例えば異常の種類、又は、異常の程度等を判定した結果を取得してもよい。 The server device 1 inputs the image of the teacher data to the input layer of the CNN, and through the arithmetic processing in the intermediate layer, acquires the result of specifying the image region and the abnormality determination result of the electric equipment output from the output layer. The abnormality determination result output from the output layer may be a value (for example, a value of “0” or “1”) discretely indicating the presence or absence of abnormality, and a continuous probability value (for example, “0”). To "1"). In addition to the identification result of the image area and the presence/absence of abnormality, the server device 1 may acquire, as the information output from the output layer, the result of determining the type of abnormality, the degree of abnormality, or the like.

サーバ装置1は、出力層から出力された識別結果を、教師データにおいて撮像画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み(結合係数)などである。パラメータの最適化の方法は特に限定されないが、例えばサーバ装置1は最急降下法等を用いて各種パラメータの最適化を行う。 The server device 1 compares the identification result output from the output layer with the information labeled on the captured image in the teacher data, that is, the correct value, so that the output value from the output layer approaches the correct value. Optimize parameters used for arithmetic processing in layers. The parameter is, for example, a weight (coupling coefficient) between neurons. The method of optimizing the parameters is not particularly limited, but, for example, the server device 1 optimizes various parameters using the steepest descent method or the like.

サーバ装置1は、教師データに含まれる各画像について上記の処理を繰り返し行うことによって、学習済の領域特定モデル12bを得る。カメラ21の撮像画像を端末装置22から取得した場合、サーバ装置1は、領域特定モデル12bを用いて、画像に含まれる電気設備の画像領域の特定と、この電気設備の異常の有無の判定とを行う。 The server device 1 obtains the learned area specifying model 12b by repeating the above-described processing for each image included in the teacher data. When the captured image of the camera 21 is acquired from the terminal device 22, the server device 1 uses the area specifying model 12b to specify the image area of the electric equipment included in the image and determine whether or not there is an abnormality in the electric equipment. I do.

図4は、本実施の形態に係る異常判定モデル12cの生成処理を説明するための模式図である。本実施の形態において異常判定モデル12cは、画像(画像領域)の入力を受け付ける入力層と、画像の特徴量を抽出する中間層と、画像に含まれる電気設備の異常の有無を示す情報を出力する出力層とを有するニューラルネットワークとして構成される。本実施の形態に係る異常判定モデル12cは、領域特定モデル12bと同様に、CNNの構成が採用されている。サーバ装置1は、CNNのモデルに対して、画像内における電気設備の異常箇所の画像特徴量を学習するディープラーニングを行うことで、異常判定モデル12cを生成する。 FIG. 4 is a schematic diagram for explaining the generation process of the abnormality determination model 12c according to this embodiment. In the present embodiment, the abnormality determination model 12c outputs an input layer that receives an input of an image (image area), an intermediate layer that extracts a feature amount of the image, and information that indicates whether or not there is an abnormality in the electrical equipment included in the image. And an output layer that operates as a neural network. The abnormality determination model 12c according to the present embodiment employs the CNN configuration, as in the area identification model 12b. The server apparatus 1 generates the abnormality determination model 12c by performing deep learning on the CNN model to learn the image feature amount of the abnormal portion of the electric equipment in the image.

異常判定モデル12cの入力層は、領域特定モデル12bにより特定された画像領域に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の特徴量を抽出する複数のニューロンを有し、抽出した特徴量を出力層に受け渡す。CNNの構成の異常判定モデル12cの中間層は、領域特定モデル12bの中間層と同様に、コンボリューション層及びプーリング層等を有し、画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層は、電気設備の異常を判定した判定結果を出力する一又は複数のニューロンを有している。 The input layer of the abnormality determination model 12c has a plurality of neurons that receive the input of the pixel value of each pixel included in the image region specified by the region specifying model 12b, and transfers the input pixel value to the intermediate layer. The middle layer has a plurality of neurons for extracting the feature amount of the image, and transfers the extracted feature amount to the output layer. The middle layer of the abnormality determination model 12c having the CNN configuration has a convolution layer, a pooling layer, and the like, similarly to the middle layer of the region identification model 12b, and finally compresses the pixel information of the image and finally determines the feature amount of the image. To extract. The output layer has one or a plurality of neurons that output the determination result of determining the abnormality of the electric equipment.

なお本実施の形態においては、異常判定モデル12cがCNNであるものとするが、モデルの構成はCNNに限るものではない。異常判定モデル12cは、例えばCNN以外のニューラルネットワーク、SVM、ベイジアンネットワーク、又は、回帰木等の構成の学習済モデルであってよい。 In this embodiment, the abnormality determination model 12c is CNN, but the model configuration is not limited to CNN. The abnormality determination model 12c may be a learned model having a configuration such as a neural network other than CNN, an SVM, a Bayesian network, or a regression tree.

サーバ装置1は、領域特定モデル12bの学習処理に用いた教師データと、学習済の領域特定モデル12bとを用いて、異常判定モデル12cの学習処理に用いる教師データを生成する。サーバ装置1は、元の教師データの画像を領域特定モデル12bに入力することにより得られる画像領域の特定結果に基づいて、元の教師データの画像から特定された画像領域を抽出する画像処理を行う。サーバ装置1は、抽出した画像(画像領域)と、元の教師データにラベル付けされたデータとの組を新たな教師データとして異常判定モデル12cの学習処理を行う。ただし、異常判定モデル12cの学習のための教師データは、領域特定モデル12bを用いて生成するのではなく、別に用意してもよい。 The server device 1 generates the teacher data used for the learning process of the abnormality determination model 12c by using the teacher data used for the learning process of the region specifying model 12b and the learned region specifying model 12b. The server device 1 performs image processing for extracting the image region specified from the image of the original teacher data, based on the result of specifying the image region obtained by inputting the image of the original teacher data to the region specifying model 12b. To do. The server device 1 performs the learning process of the abnormality determination model 12c by using the set of the extracted image (image area) and the data labeled with the original teacher data as new teacher data. However, the teaching data for learning the abnormality determination model 12c may be separately prepared instead of being generated using the area specifying model 12b.

サーバ装置1は、新たに生成した教師データの画像をCNNの入力層に入力し、中間層での演算処理を経て、出力層から出力される電気設備の異常判定結果を取得する。なお、出力層から出力される異常判定結果は、異常の有無を離散的に示す値であってもよく、連続的な確率値であってもよい。またサーバ装置1は、出力層から出力される情報として、異常の有無の他に、例えば異常箇所に該当する画像領域、異常の種類、又は、異常の程度等を判定した結果を取得してもよい。サーバ装置1は、出力層から出力された識別結果を、教師データにおいて画像領域に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。パラメータの最適化の方法は特に限定されないが、例えばサーバ装置1は最急降下法等を用いて各種パラメータの最適化を行う。 The server device 1 inputs the newly generated image of the teacher data to the input layer of the CNN, and through the arithmetic processing in the intermediate layer, acquires the abnormality determination result of the electric equipment output from the output layer. The abnormality determination result output from the output layer may be a discrete value indicating the presence or absence of abnormality, or may be a continuous probability value. In addition to the presence/absence of an abnormality, the server device 1 also obtains, as information output from the output layer, a result of determining an image region corresponding to an abnormal location, a type of abnormality, a degree of abnormality, or the like. Good. The server device 1 compares the identification result output from the output layer with the information labeled for the image area in the teacher data, that is, the correct value, so that the output value from the output layer approaches the correct value. Optimize parameters used for arithmetic processing in layers. The method of optimizing the parameters is not particularly limited, but, for example, the server device 1 optimizes various parameters using the steepest descent method or the like.

サーバ装置1は、教師データに含まれる各画像について上記の処理を繰り返し行うことによって、学習済の異常判定モデル12cを得る。サーバ装置1は、端末装置22から取得したカメラ21の撮像画像を領域特定モデル12bに入力することで画像領域を特定し、特定した画像領域を撮影画像から抽出し、抽出した画像領域を異常判定モデル12cへ入力することで、電気設備の異常の有無の判定を行う。 The server device 1 obtains the learned abnormality determination model 12c by repeating the above-described processing for each image included in the teacher data. The server device 1 specifies the image region by inputting the captured image of the camera 21 acquired from the terminal device 22 to the region specifying model 12b, extracts the specified image region from the captured image, and determines the extracted image region as abnormality. By inputting into the model 12c, it is determined whether or not there is an abnormality in the electrical equipment.

図5は、本実施の形態に係るサーバ装置1が行う学習処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置1の処理部11の学習処理部11fは、例えば予め用意されて記憶部12に記憶された教師データを取得する(ステップS1)。ここで学習処理部11fが取得する教師データは、例えば電気設備を撮像した画像と、この画像に含まれる電気設備の位置及び異常の有無等の情報とが対応付けられたデータである。学習処理部11fは、取得した教師データを用いて、CNNの構成を有する領域特定モデル12bを学習させる(ステップS2)。学習の終了後、学習処理部11fは、学習済の領域特定モデル12bを記憶部12に保存する(ステップS3)。 FIG. 5 is a flowchart showing the procedure of the learning process performed by the server device 1 according to the present embodiment. The learning processing unit 11f of the processing unit 11 of the server device 1 according to the present embodiment acquires, for example, teacher data prepared in advance and stored in the storage unit 12 (step S1). Here, the teacher data acquired by the learning processing unit 11f is data in which, for example, an image of an electric facility is associated with information such as the position of the electric facility and the presence/absence of abnormality included in the image. The learning processing unit 11f uses the acquired teacher data to train the area specifying model 12b having the CNN configuration (step S2). After the learning ends, the learning processing unit 11f stores the learned area specifying model 12b in the storage unit 12 (step S3).

次いで、学習処理部11fは、記憶部12に記憶された教師データ及び領域特定モデル12bを取得する(ステップS4)。ここで学習処理部11fが取得する教師データはステップS1にて取得する教師データと同じものであってよく、領域特定モデル12bはステップS3にて保存した学習済の領域特定モデル12bであってよい。学習処理部11fは、取得した教師データの画像を領域特定モデル12bへ入力することにより画像領域を特定し、特定した画像領域を元の画像から抽出する。学習処理部11fは、抽出した画像領域と、元の教師データに含まれる電気設備の異常の情報とを対応付けた新たな教師データを生成する(ステップS5)。学習処理部11fは、生成した教師データを用いて、CNNの構成を有する異常判定モデル12cを学習させる(ステップS6)。学習の終了後、学習処理部11fは、学習済の異常判定モデル12cを記憶部12に保存して(ステップS7)、学習処理を終了する。 Next, the learning processing unit 11f acquires the teacher data and the area identification model 12b stored in the storage unit 12 (step S4). Here, the teacher data acquired by the learning processing unit 11f may be the same as the teacher data acquired in step S1, and the area specifying model 12b may be the learned area specifying model 12b saved in step S3. .. The learning processing unit 11f specifies the image region by inputting the acquired image of the teacher data to the region specifying model 12b, and extracts the specified image region from the original image. The learning processing unit 11f generates new teacher data in which the extracted image area is associated with the abnormality information of the electric equipment included in the original teacher data (step S5). The learning processing unit 11f uses the generated teacher data to learn the abnormality determination model 12c having the CNN configuration (step S6). After the learning ends, the learning processing unit 11f stores the learned abnormality determination model 12c in the storage unit 12 (step S7), and ends the learning process.

なお本フローチャートにおいては、領域特定モデル12bの学習と、異常判定モデル12cの学習とを一連の処理として実施しているが、この2つの学習処理は別のタイミングで行われてもよい。また領域特定モデル12bの学習と、異常判定モデル12cの学習とを、それぞれ別の装置で行ってもよい。 In this flowchart, the learning of the area identification model 12b and the learning of the abnormality determination model 12c are performed as a series of processes, but the two learning processes may be performed at different timings. Further, the learning of the area identification model 12b and the learning of the abnormality determination model 12c may be performed by different devices.

<異常検出処理>
図6は、本実施の形態に係るサーバ装置1が行う電気設備の異常判定処理を説明するための模式図である。図6の上段には領域特定モデル12bを用いた画像領域の特定処理を示し、下段には異常判定モデル12cを用いた異常判定処理を示している。図6の上段に示すように、本実施の形態に係るサーバ装置1は、端末装置22から取得したカメラ21の撮像画像を領域特定モデル12bへ入力することによって、電気設備が含まれる画像領域を特定する処理を行う。このときにCNNの領域特定モデル12bは、入力された画像に対して畳み込みの処理を行い、入力画像から特徴量を抽出しながら画像の大きさを圧縮していく。圧縮した情報に基づいて領域特定モデル12bは、入力画像に含まれる電気設備の画像領域を特定した特定結果を出力すると共に、この電気設備の異常の有無を判定した判定結果を出力する。
<Abnormality detection process>
FIG. 6 is a schematic diagram for explaining an abnormality determination process for electrical equipment, which is performed by the server device 1 according to the present embodiment. The upper part of FIG. 6 shows the image region specifying process using the region specifying model 12b, and the lower part shows the abnormality determining process using the abnormality determining model 12c. As shown in the upper part of FIG. 6, the server device 1 according to the present embodiment inputs an imaged image of the camera 21 acquired from the terminal device 22 to the region identification model 12b to determine an image region including electrical equipment. Perform specific processing. At this time, the CNN area specifying model 12b performs convolution processing on the input image and compresses the size of the image while extracting the feature amount from the input image. Based on the compressed information, the area specifying model 12b outputs the specifying result of specifying the image area of the electric equipment included in the input image, and outputs the judgment result of judging whether or not there is an abnormality in the electric equipment.

なお領域特定モデル12bは、画像領域の特定結果と共に、この特定結果の確信度を出力する。また領域特定モデル12bは、異常の有無の判定結果と共に、この判定結果の確信度を出力する。サーバ装置1は、領域特定モデル12bが出力するこれらの情報に基づいて、電気設備が含まれる画像領域の最終的な特定を行う。例えば、サーバ装置1は、領域特定モデル12bが出力した特定結果の確信度が低い場合、又は、異常有無の判定結果の確信度が低い場合等には、領域特定モデル12bが出力した画像領域の特定結果を破棄して次段の処理を行わなくてもよい。また領域特定モデル12bが複数の画像領域を特定した場合、サーバ装置1は、領域特定モデル12bが出力する情報に基づいて、画像領域の順位付けを行う。順位付けの詳細は後述する。 The area specifying model 12b outputs the image area specifying result and the certainty factor of the specifying result. Further, the area specifying model 12b outputs the determination result of the presence or absence of abnormality and the certainty factor of this determination result. The server device 1 finally specifies the image area including the electrical equipment based on the information output by the area specifying model 12b. For example, when the certainty factor of the identification result output by the region identification model 12b is low, or when the certainty factor of the determination result of the presence or absence of abnormality is low, the server device 1 determines the image region output by the region identification model 12b. It is not necessary to discard the specific result and perform the next process. When the area specifying model 12b specifies a plurality of image areas, the server device 1 ranks the image areas based on the information output by the area specifying model 12b. Details of ranking will be described later.

図6の下段に示すように、サーバ装置1は、領域特定モデル12bを用いて特定した画像領域を、カメラ21から取得した元の画像から抽出する。サーバ装置1は、抽出した画像領域に対して、必要に応じて画像の大きさの拡大又は縮小を行い、異常判定モデル12cへ入力することによって、画像領域に含まれる電気設備の異常の有無を判定する。このときにCNNの異常判定モデル12cは、入力された画像領域に対して畳み込みの処理を行い、入力された画像領域から特徴量を抽出しながら領域の大きさを圧縮していく。 As shown in the lower part of FIG. 6, the server device 1 extracts the image area specified using the area specifying model 12b from the original image acquired from the camera 21. The server device 1 enlarges or reduces the size of the image in the extracted image area as necessary, and inputs it to the abnormality determination model 12c to determine whether or not there is an abnormality in the electrical equipment included in the image area. judge. At this time, the CNN abnormality determination model 12c performs convolution processing on the input image area, and compresses the size of the area while extracting the feature amount from the input image area.

ここで、図6上段に示す領域特定モデル12bが撮像画像から圧縮した情報と、図6下段に示す異常判定モデル12cが画像領域から圧縮した情報とを比較すると、異常判定モデル12cの情報の方が電気設備の特徴量を多く含んでいる。電気設備の特徴量をより多く含む圧縮情報に基づいて、異常判定モデル12cは、画像領域に含まれる電気設備の異常の有無を判定した判定結果を出力する。また異常判定モデル12cは、この判定結果の確信度を共に出力してもよい。サーバ装置1は、異常判定モデル12cが出力するこれらの情報に基づいて、電気設備の異常の有無の最終的な判定を行う。例えば、サーバ装置1は、異常判定モデル12cが異常ありと判定した場合であっても、この判定結果の確信度が低い場合等には、この判定結果を保留又は破棄等してもよい。 Here, comparing the information compressed by the area identification model 12b shown in the upper part of FIG. 6 from the captured image and the information compressed by the abnormality determination model 12c shown in the lower part of FIG. 6 from the image area, the information of the abnormality determination model 12c is Contains many features of electrical equipment. The abnormality determination model 12c outputs a determination result of determining whether or not there is an abnormality in the electrical equipment included in the image region, based on the compressed information that includes more feature amounts of the electrical equipment. The abnormality determination model 12c may also output the certainty factor of this determination result. The server device 1 makes a final determination as to whether or not there is an abnormality in the electrical equipment based on these pieces of information output by the abnormality determination model 12c. For example, the server device 1 may suspend or discard the determination result even when the abnormality determination model 12c determines that there is an abnormality and the confidence level of the determination result is low.

図7は、本実施の形態に係るサーバ装置1が行う画像領域の順位付けを説明するための模式図である。図7の上段にはカメラ21が撮像した電柱3の画像から領域特定モデル12bにより5つの画像領域が特定された例を示している。本例では、電柱3に設けられた5つの放電クランプについて画像領域が特定されており、図中に太線の矩形枠として画像領域が示されている。図7の下段には、特定された5つの画像領域の位置関係が拡大して示されている。特定された5つの画像領域は、上側左のものを画像領域101とし、上側中央のものを画像領域102とし、上側右のものを画像領域103とし、下側左のものを画像領域104とし、下側右のものを画像領域105とする。3つの画像領域101〜103は水平方向に並び、2つの画像領域104,105は水平方向に並んでいる。また領域特定モデル12bが出力する特定結果の確信度に基づき、画像領域101が最も電気設備が含まれる画像領域として確信度が高い領域であるものとする。 FIG. 7 is a schematic diagram for explaining ordering of image areas performed by the server device 1 according to the present embodiment. The upper part of FIG. 7 shows an example in which five image areas are specified by the area specifying model 12b from the image of the electric pole 3 captured by the camera 21. In this example, the image area is specified for the five discharge clamps provided on the telephone pole 3, and the image area is shown as a thick rectangular frame in the drawing. In the lower part of FIG. 7, the positional relationship between the five identified image areas is enlarged and shown. Of the five identified image areas, the upper left one is the image area 101, the upper center one is the image area 102, the upper right one is the image area 103, and the lower left one is the image area 104, The lower right one is the image area 105. The three image areas 101 to 103 are arranged in the horizontal direction, and the two image areas 104 and 105 are arranged in the horizontal direction. Further, based on the certainty factor of the identification result output by the region identification model 12b, the image region 101 is assumed to be the region with the highest certainty factor as the image region that includes the most electrical equipment.

サーバ装置1は、領域特定モデル12bが特定したこれら5つの画像領域101〜105に対して、順位付けを行う。例えばサーバ装置1は、確信度が最も高い画像領域101に対して最も高い順位、本例では第1位の順位を与える。次いでサーバ装置1は、第1位の画像領域101に対して水平方向又は垂直方向に並び、且つ、最も距離が近い画像領域102に対して第2位の順位を与える。サーバ装置1は、第1位の画像領域101に対して水平方向又は垂直方向に並び、且つ、距離が2番目に近い画像領域103に対して第3位の順位を与える。次いでサーバ装置1は、第1位の画像領域101に対して水平方向又は垂直方向に並ぶ他の画像領域が存在しないため、順位が付されておらず、且つ、第1位の画像領域101から最も距離が近い画像領域104に対して第4位の順位を与える。サーバ装置1は、順位が付されておらず、且つ、第1位の画像領域101から2番目に距離が近い画像領域105に対して第5位の順位を与える。 The server device 1 ranks the five image areas 101 to 105 identified by the area identification model 12b. For example, the server device 1 gives the image region 101 having the highest certainty degree the highest rank, that is, the first rank in this example. Next, the server device 1 arranges the first image area 101 in the horizontal direction or the vertical direction, and gives the second image rank to the image area 102 having the shortest distance. The server device 1 arranges the first image area 101 in the horizontal direction or the vertical direction and gives the image area 103 having the second shortest distance a third rank. Next, the server device 1 is not ranked because there is no other image region aligned in the horizontal direction or the vertical direction with respect to the first image region 101, and the server device 1 starts from the first image region 101. The fourth rank is given to the image area 104 having the shortest distance. The server device 1 gives the fifth rank to the image area 105 which is not ranked and which is the second shortest distance from the first rank image area 101.

なお本例の順位付けは一例であり、順位の決定方法はどのようなものが採用されてもよい。例えばサーバ装置1は、画像領域の位置関係を順位付けに考慮せず、単に特定結果の確信度が高い順に画像領域を順位付けしてもよい。また例えばサーバ装置1は、領域特定モデル12bが出力する異常の有無の判定結果を考慮し、異常があると判定された画像領域に対して高順位を付してもよい。 The ranking in this example is an example, and any method for determining the ranking may be adopted. For example, the server device 1 may simply rank the image areas in descending order of certainty of the specific result without considering the positional relationship of the image areas in the ranking. Further, for example, the server device 1 may consider the determination result of the presence/absence of abnormality output from the area specifying model 12b and give a high rank to the image area determined to have abnormality.

サーバ装置1は、複数の画像領域に対する順位付けを行った後、最も順位が高い画像領域から順番に異常判定モデル12cを用いた異常判定を行う。このときにサーバ装置1は、順位の低い画像領域については、異常判定を行わなくてもよい。例えばサーバ装置1は、上位3つの画像領域101〜103について異常判定を行い、それ以下の順位の画像領域104,105については異常判定を行わなくてもよい。 After ranking the plurality of image areas, the server device 1 performs the abnormality determination using the abnormality determination model 12c in order from the image area having the highest ranking. At this time, the server device 1 does not have to perform the abnormality determination for the image area having a low rank. For example, the server device 1 does not have to perform the abnormality determination on the top three image areas 101 to 103 and does not have to perform the abnormality determination on the image areas 104 and 105 having the lower ranks.

サーバ装置1は、異常判定モデル12cを用いた異常判定の結果、電気設備に異常がある場合には、端末装置22又は他の装置に対して通知を行う。このときにサーバ装置1は、画像領域対して付した順位に応じた優先順位で、異常の通知を行うことができる。 As a result of the abnormality determination using the abnormality determination model 12c, the server device 1 notifies the terminal device 22 or another device when there is an abnormality in the electrical equipment. At this time, the server device 1 can notify the abnormality in the priority order according to the order given to the image area.

図8は、本実施の形態に係るサーバ装置1が行う異常判定処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置1の処理部11の画像取得部11aは、通信部13にて端末装置22との通信を行うことにより、カメラ21が撮像した撮像画像を取得する(ステップS11)。処理部11の領域特定部11bは、ステップS11にて取得した画像を、記憶部12に記憶された学習済の領域特定モデル12bへ入力する(ステップS12)。領域特定部11bは、領域特定モデル12bが出力する画像領域の特定結果を取得することにより、電気設備が含まれる画像領域を特定する(ステップS13)。ここで特定された画像領域が複数存在する場合には、領域特定部11bは、複数の画像領域に対する順位付けを行う(ステップS14)。 FIG. 8 is a flowchart showing a procedure of abnormality determination processing performed by the server device 1 according to this embodiment. The image acquisition unit 11a of the processing unit 11 of the server device 1 according to the present embodiment acquires the captured image captured by the camera 21 by communicating with the terminal device 22 through the communication unit 13 (step S11). .. The area specifying unit 11b of the processing unit 11 inputs the image acquired in step S11 to the learned area specifying model 12b stored in the storage unit 12 (step S12). The area identifying unit 11b identifies the image area including the electric equipment by acquiring the identification result of the image area output by the area identifying model 12b (step S13). When there are a plurality of image areas specified here, the area specifying unit 11b ranks the plurality of image areas (step S14).

次いで、処理部11の領域抽出部11cは、ステップS11にて取得した撮像画像から、ステップS13にて特定された画像領域を抽出する(ステップS15)。処理部11の調整部11dは、異常判定モデル12cの入力に適した大きさとなるよう、抽出された画像領域の大きさを必要に応じて拡大又は縮小して調整する(ステップS16)。処理部11の異常判定部11eは、抽出及び調整がなされた画像領域を、記憶部12に記憶された学習済の異常判定モデル12cへ入力する(ステップS17)。異常判定部11eは、異常判定モデル12cが出力する異常有無の判定結果を取得し(ステップS18)、画像領域に含まれる電気設備の異常の有無を判定する(ステップS19)。異常があると判定した場合(S19:YES)、処理部11は、例えば端末装置22に対して通知を行い(ステップS20)、処理を終了する。異常がないと判定した場合(S19:NO)、処理部11は、通知を行うことなく、処理を終了する。 Next, the area extracting unit 11c of the processing unit 11 extracts the image area specified in step S13 from the captured image acquired in step S11 (step S15). The adjustment unit 11d of the processing unit 11 adjusts the size of the extracted image region by enlarging or reducing it as necessary so that the size is suitable for the input of the abnormality determination model 12c (step S16). The abnormality determination unit 11e of the processing unit 11 inputs the extracted and adjusted image area to the learned abnormality determination model 12c stored in the storage unit 12 (step S17). The abnormality determination unit 11e acquires the determination result of the presence/absence of abnormality output by the abnormality determination model 12c (step S18), and determines the presence/absence of abnormality of the electric equipment included in the image area (step S19). When it is determined that there is an abnormality (S19: YES), the processing unit 11 notifies the terminal device 22, for example (step S20), and ends the process. When it is determined that there is no abnormality (S19: NO), the processing unit 11 ends the process without giving a notification.

<まとめ>
以上の構成の本実施の形態に係る異常判定システムは、電気設備が写された画像をサーバ装置1が端末装置22から取得し、取得した画像から電気設備に対応する画像領域を、領域特定モデル12bを用いて特定する。領域特定モデル12bは、入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力するよう予め学習がなされたモデルである。サーバ装置1は、特定した画像領域を元の画像から抽出し、抽出した画像領域からこの電気設備の異常の有無を、異常判定モデル12cを用いて判定する。異常判定モデル12cは、入力された画像領域に含まれる電気設備の異常の有無を判定した判定結果を出力するよう予め学習がなされたモデルである。撮像画像からの電気設備が含まれる画像領域の特定と、特定された画像領域からの電気設備の異常の有無の判定とを異なる学習済モデルを用いて行うことにより、サーバ装置1による電気設備の異常判定の精度の向上が期待できる。
<Summary>
In the abnormality determination system according to the present embodiment having the above-described configuration, the server device 1 acquires an image in which electric equipment is captured from the terminal device 22, and an image area corresponding to the electric equipment is acquired from the acquired image as an area identification model It is specified using 12b. The region specifying model 12b is a model that has been learned in advance so as to output a specifying result that specifies the image region corresponding to the electric equipment included in the input image. The server device 1 extracts the specified image area from the original image, and determines whether or not there is an abnormality in the electrical equipment from the extracted image area by using the abnormality determination model 12c. The abnormality determination model 12c is a model that has been learned in advance so as to output a determination result that determines whether or not there is an abnormality in the electrical equipment included in the input image area. By specifying the image area including the electric equipment from the captured image and determining the presence or absence of abnormality of the electric equipment from the specified image area using different learned models, the electric equipment of the server device 1 The accuracy of abnormality determination can be expected to improve.

また本実施の形態に係るサーバ装置1は、画像領域に電気設備が含まれていることに係る確信度、及び、画像領域に含まれる電気設備の異常の有無の判定結果に係る確信度に基づいて、撮像画像から画像領域を特定する。これによりサーバ装置1は、より精度よく撮像画像から電気設備が含まれる領域を特定することが可能となる。 Further, the server device 1 according to the present embodiment is based on the certainty factor related to the fact that the electric equipment is included in the image area and the certainty degree related to the determination result of the presence or absence of abnormality of the electric equipment included in the image area. Then, the image area is specified from the captured image. As a result, the server device 1 can more accurately specify the area including the electrical equipment from the captured image.

また本実施の形態に係るサーバ装置1は、撮像画像に含まれる複数の電気設備それぞれに対応する画像領域を順位付けして特定する。サーバ装置1は、特定した順位に従って、特定された複数の画像領域を異常判定モデル12cへ入力する。順位付けは、例えば画像領域の特定結果の確信度、又は、複数の画像領域の位置関係等に応じて行うことができる。これらによりサーバ装置1は、複数の電気設備が含まれる撮像画像に対して、適切に異常判定を行うことができる。 Further, the server device 1 according to the present embodiment ranks and specifies the image areas corresponding to each of the plurality of electric equipment included in the captured image. The server device 1 inputs the plurality of specified image regions to the abnormality determination model 12c in accordance with the specified order. The ranking can be performed, for example, according to the certainty factor of the identification result of the image region, the positional relationship of the plurality of image regions, or the like. As a result, the server device 1 can appropriately make an abnormality determination with respect to a captured image including a plurality of electric facilities.

また本実施の形態に係るサーバ装置1は、特定された画像領域を撮像画像から抽出し、抽出した画像領域の大きさを調整して異常判定モデル12cへ入力する。これによりサーバ装置1は、異常判定モデル12cの入力層に適した大きさの画像領域を入力することができる。 Further, the server device 1 according to the present embodiment extracts the specified image area from the captured image, adjusts the size of the extracted image area, and inputs the adjusted image area to the abnormality determination model 12c. Thereby, the server device 1 can input an image area having a size suitable for the input layer of the abnormality determination model 12c.

なお本実施の形態においては、カメラ21が撮像した撮像画像に基づく電気設備の異常の有無の判定をサーバ装置1が行う構成としたが、これに限るものではない。例えば作業者2が有する端末装置22が、カメラ21の撮像画像に基づく電気設備の異常の有無の判定を行う構成であってもよい。また本実施の形態において領域特定モデル12bは、特定した画像領域に含まれる電気設備の異常の有無を判定する構成としたが、これに限るものではない。領域特定モデル12bは、電気設備の異常の有無を判定せず、画像領域の特定のみを行う構成であってもよい。また本実施の形態においては、電気設備に異常があると判定した場合にサーバ装置1が端末装置22に対して通知を行う構成としたが、これに限るものではない。サーバ装置1は、自身のディスプレイにメッセージを表示して電気設備の異常を通知してもよく、サーバ装置1及び端末装置22以外の装置に対して通知を行ってもよい。 Note that, in the present embodiment, the server device 1 determines whether or not there is an abnormality in the electrical equipment based on the captured image captured by the camera 21, but the present invention is not limited to this. For example, the terminal device 22 of the worker 2 may be configured to determine whether there is an abnormality in the electrical equipment based on the image captured by the camera 21. Further, in the present embodiment, the area specifying model 12b is configured to determine whether or not there is an abnormality in the electric equipment included in the specified image area, but the present invention is not limited to this. The area specifying model 12b may be configured to only specify the image area without determining whether or not there is an abnormality in the electrical equipment. Further, in the present embodiment, the server device 1 notifies the terminal device 22 when it is determined that there is an abnormality in the electrical equipment, but the present invention is not limited to this. The server device 1 may display a message on its own display to notify the abnormality of the electric equipment, or may notify devices other than the server device 1 and the terminal device 22.

(実施の形態2)
図9は、実施の形態2に係る異常判定システムの構成を示す模式図である。実施の形態2に係る異常判定システムでは、作業者2が有する端末装置22が学習済の領域特定モデル12bを有している。端末装置22は、カメラ21が撮像した画像を取得し、取得した画像を領域特定モデル12bへ入力して、電気設備を含む画像領域を特定する。端末装置22は、特定した画像領域を元の撮像画像から抽出し、抽出した画像領域をサーバ装置1へ送信する。また端末装置22は、抽出した画像領域に対する大きさの調整を行ってもよい。
(Embodiment 2)
FIG. 9 is a schematic diagram showing the configuration of the abnormality determination system according to the second embodiment. In the abnormality determination system according to the second embodiment, the terminal device 22 of the worker 2 has the learned area specifying model 12b. The terminal device 22 acquires an image captured by the camera 21 and inputs the acquired image to the area specifying model 12b to specify an image area including electrical equipment. The terminal device 22 extracts the specified image area from the original captured image, and transmits the extracted image area to the server device 1. Further, the terminal device 22 may adjust the size of the extracted image area.

実施の形態2に係るサーバ装置1は、学習済の異常判定モデル12cを有している。サーバ装置1は、端末装置22から送信された画像領域を取得し、取得した画像領域を異常判定モデル12cへ入力する。サーバ装置1は、異常判定モデル12cの出力を取得し、画像領域に含まれる電気設備の異常の有無を判定する。異常があると判定した場合、サーバ装置1は、端末装置22に対して通知を行ってよい。 The server device 1 according to the second embodiment has the learned abnormality determination model 12c. The server device 1 acquires the image area transmitted from the terminal device 22, and inputs the acquired image area to the abnormality determination model 12c. The server device 1 acquires the output of the abnormality determination model 12c and determines whether or not there is an abnormality in the electrical equipment included in the image area. If it is determined that there is an abnormality, the server device 1 may notify the terminal device 22.

以上の構成の実施の形態2に係る異常判定システムは、領域特定モデル12bを用いた画像領域の特定と、異常判定モデル12cを用いた異常の有無の判定とをそれぞれ異なる装置が行う構成である。端末装置22がカメラ21の撮像画像からの画像領域の特定を行う構成とすることにより、端末装置22からサーバ装置1へ送信する情報量を低減することができる。 The abnormality determination system according to the second embodiment having the above configuration is configured such that different devices perform the image region identification using the region identification model 12b and the presence/absence determination of the abnormality using the abnormality determination model 12c. .. By configuring the terminal device 22 to identify the image area from the image captured by the camera 21, the amount of information transmitted from the terminal device 22 to the server device 1 can be reduced.

実施の形態2に係る異常判定システムのその他の構成は、実施の形態1に係る異常判定システムと同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。 The other configurations of the abnormality determination system according to the second embodiment are the same as those of the abnormality determination system according to the first embodiment, and therefore, the same portions are denoted by the same reference numerals and detailed description thereof will be omitted.

(実施の形態3)
図10は、実施の形態3に係る異常判定システムの構成を示す模式図である。実施の形態3に係る異常判定システムでは、作業者2が有する端末装置22が学習済の領域特定モデル12b及び異常判定モデル12cを有している。端末装置22は、カメラ21が撮像した画像を取得し、取得した画像を領域特定モデル12bへ入力して、電気設備を含む画像領域を特定する。端末装置22は、特定した画像領域を元の撮像画像から抽出し、抽出した画像領域を異常判定モデル12cへ入力する。端末装置22は、異常判定モデル12cの出力を取得し、画像領域に含まれる電気設備の異常の有無を判定する。異常があると判定した場合、端末装置22は、作業者2に対する通知を行う。
(Embodiment 3)
FIG. 10 is a schematic diagram showing the configuration of the abnormality determination system according to the third embodiment. In the abnormality determination system according to the third embodiment, the terminal device 22 of the worker 2 has the learned area specifying model 12b and the abnormality determination model 12c. The terminal device 22 acquires an image captured by the camera 21 and inputs the acquired image to the area specifying model 12b to specify an image area including electrical equipment. The terminal device 22 extracts the specified image area from the original captured image and inputs the extracted image area to the abnormality determination model 12c. The terminal device 22 acquires the output of the abnormality determination model 12c and determines whether or not there is an abnormality in the electrical equipment included in the image area. When it is determined that there is an abnormality, the terminal device 22 notifies the worker 2.

また端末装置22は、電気設備に異常があると判定した場合に、サーバ装置1へこの判定結果を通知してもよい。これによりサーバ装置1は、異常があると判定された電気設備について、設置された位置、異常の種類、異常の度合い及び異常が検出された日時等の情報を蓄積することができる。 In addition, the terminal device 22 may notify the server device 1 of the determination result when it is determined that the electrical equipment is abnormal. Accordingly, the server device 1 can store information such as the installed position, the type of abnormality, the degree of abnormality, and the date and time when the abnormality is detected for the electrical equipment determined to have abnormality.

以上の構成の実施の形態3に係る異常判定システムは、領域特定モデル12bを用いた画像領域の特定と、異常判定モデル12cを用いた異常の有無の判定とを端末装置22が単独で行う構成である。これにより、端末装置22がサーバ装置1との通信を行うことができない状況であっても、作業者2が電気設備の異常の有無の判定結果をその場で確認することが可能となる。 In the abnormality determination system according to the third embodiment having the above configuration, the terminal device 22 independently performs the image region identification using the region identification model 12b and the abnormality presence/absence determination using the abnormality determination model 12c. Is. As a result, even in a situation where the terminal device 22 cannot communicate with the server device 1, the worker 2 can confirm the determination result of whether or not there is an abnormality in the electric equipment on the spot.

実施の形態3に係る異常判定システムのその他の構成は、実施の形態1に係る異常判定システムと同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。 The other configurations of the abnormality determination system according to the third embodiment are the same as those of the abnormality determination system according to the first embodiment, and therefore, the same portions are denoted by the same reference numerals and detailed description thereof will be omitted.

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time are to be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the above meaning but by the scope of the claims, and is intended to include meanings equivalent to the scope of the claims and all modifications within the scope.

1 サーバ装置(情報処理装置)
2 作業者
3 電柱
11 処理部
11a 画像取得部(取得部)
11b 領域特定部(特定部)
11c 領域抽出部(抽出部)
11d 調整部
11e 異常判定部(判定部)
11f 学習処理部
12 記憶部
12a サーバプログラム(コンピュータプログラム)
12b 領域特定モデル(第1の学習済モデル)
12c 異常判定モデル(第2の学習済モデル)
13 通信部
21 カメラ
22 端末装置
99 記録媒体
101〜105 画像領域
1 Server device (information processing device)
2 worker 3 telephone pole 11 processing unit 11a image acquisition unit (acquisition unit)
11b Area identification section (identification section)
11c area extraction unit (extraction unit)
11d adjustment unit 11e abnormality determination unit (determination unit)
11f Learning processing unit 12 Storage unit 12a Server program (computer program)
12b Region specific model (first learned model)
12c Abnormality judgment model (second learned model)
13 communication unit 21 camera 22 terminal device 99 recording medium 101-105 image area

Claims (9)

電気設備を含む画像を取得する取得部と、
入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力する第1の学習済モデルを用いて、前記取得部が取得した画像から前記画像領域を特定する特定部と、
前記特定部が特定した前記画像領域を前記取得部が取得した画像から抽出する抽出部と、
入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力する第2の学習済モデルを用いて、前記抽出部が抽出した画像領域から前記電気設備の状態を判定する判定部と
を備える、情報処理装置。
An acquisition unit that acquires an image including electrical equipment,
A specifying unit that specifies the image area from the image acquired by the acquisition unit, using the first learned model that outputs the specifying result that specifies the image area corresponding to the electric equipment included in the input image,
An extraction unit that extracts the image region identified by the identification unit from the image acquired by the acquisition unit,
A determination unit that determines the state of the electrical equipment from the image region extracted by the extraction unit, using a second learned model that outputs a determination result that determines the state of the electrical equipment included in the input image region; An information processing device comprising:
前記特定部は、画像領域に電気設備が含まれていることに係る確信度、及び、前記画像領域に含まれる前記電気設備の状態に係る確信度に基づいて、前記画像領域を特定する、請求項1に記載の情報処理装置。 The identifying unit identifies the image area based on a certainty factor relating to the fact that the electric equipment is included in the image region, and a certainty factor relating to the state of the electric equipment included in the image region, The information processing device according to item 1. 前記特定部は、前記取得部が取得した画像に含まれる複数の電気設備それぞれに対応する画像領域を順位付けして特定し、
前記判定部は、前記特定部が付した順位に従って、特定された複数の画像領域を前記第2の学習済モデルへ入力する、
請求項1又は請求項2に記載の情報処理装置。
The specifying unit ranks and specifies image regions corresponding to each of a plurality of electric equipment included in the image acquired by the acquisition unit,
The determination unit inputs a plurality of identified image regions to the second learned model according to the order assigned by the identification unit.
The information processing apparatus according to claim 1 or 2.
前記第1の学習済モデルは、画像領域の特定結果の確信度を出力し、
前記特定部は、各画像領域の確信度に基づいて順位付けを行う、
請求項3に記載の情報処理装置。
The first learned model outputs the certainty factor of the identification result of the image region,
The specifying unit performs ranking based on the certainty factor of each image region,
The information processing device according to claim 3.
前記特定部は、前記取得部が取得した画像に対して特定された複数の画像領域の位置関係に基づいて順位付けを行う、
請求項3に記載の情報処理装置。
The specifying unit performs ranking based on a positional relationship of a plurality of image regions specified with respect to the image acquired by the acquisition unit,
The information processing device according to claim 3.
前記抽出部が抽出した画像領域の大きさを調整する調整部を備え、
前記判定部は、前記調整部が大きさを調整した画像領域を前記第2の学習済モデルへ入力する、
請求項1から請求項5までのいずれか1項に記載の情報処理装置。
An adjusting unit for adjusting the size of the image area extracted by the extracting unit;
The determination unit inputs the image area, the size of which has been adjusted by the adjustment unit, to the second learned model.
The information processing apparatus according to any one of claims 1 to 5.
電気設備を含む画像を取得し、
入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力する第1の学習済モデルを用いて、取得した画像から前記画像領域を特定し、
特定した前記画像領域を取得した画像から抽出し、
入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力する第2の学習済モデルを用いて、抽出した画像領域から前記電気設備の状態を判定する、設備判定方法。
Acquire images including electrical equipment,
Using the first learned model that outputs the identification result that identifies the image area corresponding to the electric equipment included in the input image, identifies the image area from the acquired image,
Extracting the specified image area from the acquired image,
A facility determination method for determining the state of the electrical equipment from the extracted image area using a second learned model that outputs a determination result of determining the state of the electrical equipment included in the input image area.
コンピュータに、
電気設備を含む画像を取得し、
入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力する第1の学習済モデルを用いて、取得した画像から前記画像領域を特定し、
特定した前記画像領域を取得した画像から抽出し、
入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力する第2の学習済モデルを用いて、抽出した画像領域から前記電気設備の状態を判定する処理を実行させる、コンピュータプログラム。
On the computer,
Acquire images including electrical equipment,
Using the first learned model that outputs the identification result that identifies the image area corresponding to the electrical equipment included in the input image, identifies the image area from the acquired image,
Extracting the specified image area from the acquired image,
A computer program that executes a process of determining the state of the electrical equipment from the extracted image region using the second learned model that outputs the determination result of determining the state of the electrical equipment included in the input image region. ..
電気設備を含む教師用画像を取得し、
入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力する第1の学習済モデルを用いて、取得した画像から前記画像領域を特定し、
特定した前記画像領域を取得した画像から抽出し、
抽出した前記画像領域及び該画像領域に含まれる電気設備の状態を対応付けた教師データに基づいて、入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力する第2の学習済モデルを生成する、学習済モデルの生成方法。
Acquire a teacher's image including electrical equipment,
Using the first learned model that outputs the identification result that identifies the image area corresponding to the electric equipment included in the input image, identifies the image area from the acquired image,
Extracting the specified image area from the acquired image,
Second learning for outputting a determination result of determining the state of the electrical equipment included in the input image area based on the extracted image area and the teacher data in which the state of the electrical equipment included in the image area is associated A trained model generation method that generates a trained model.
JP2019059149A 2019-03-26 2019-03-26 Information processing apparatus, equipment determination method, computer program, and learned model generation method Active JP6737371B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019059149A JP6737371B1 (en) 2019-03-26 2019-03-26 Information processing apparatus, equipment determination method, computer program, and learned model generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019059149A JP6737371B1 (en) 2019-03-26 2019-03-26 Information processing apparatus, equipment determination method, computer program, and learned model generation method

Publications (2)

Publication Number Publication Date
JP6737371B1 true JP6737371B1 (en) 2020-08-05
JP2020160765A JP2020160765A (en) 2020-10-01

Family

ID=71892449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019059149A Active JP6737371B1 (en) 2019-03-26 2019-03-26 Information processing apparatus, equipment determination method, computer program, and learned model generation method

Country Status (1)

Country Link
JP (1) JP6737371B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222897A (en) * 2020-10-28 2021-08-06 友达光电股份有限公司 Monitoring system and method thereof
CN113378818A (en) * 2021-06-21 2021-09-10 中国南方电网有限责任公司超高压输电公司柳州局 Electrical equipment defect determining method and device, electronic equipment and storage medium
JP2021148725A (en) * 2020-03-23 2021-09-27 東日本電信電話株式会社 Information processing device, information processing method, and information processing program
JP7583331B2 (en) 2021-06-04 2024-11-14 日本電信電話株式会社 Deterioration determination device, deterioration determination method, and program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7524824B2 (en) 2021-05-13 2024-07-30 株式会社明電舎 Inference Device
WO2023218537A1 (en) * 2022-05-10 2023-11-16 ファナック株式会社 Target region extraction device, method, and system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153547A (en) * 1997-07-31 1999-02-26 Tokyo Electric Power Co Inc:The Device and method for extracting object region for recognition object
JP6833452B2 (en) * 2016-10-28 2021-02-24 株式会社東芝 Patrol inspection system, information processing device, patrol inspection control program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021148725A (en) * 2020-03-23 2021-09-27 東日本電信電話株式会社 Information processing device, information processing method, and information processing program
JP6992110B2 (en) 2020-03-23 2022-01-13 東日本電信電話株式会社 Information processing equipment, information processing methods, and information processing programs
CN113222897A (en) * 2020-10-28 2021-08-06 友达光电股份有限公司 Monitoring system and method thereof
CN113222897B (en) * 2020-10-28 2024-04-05 友达光电股份有限公司 Monitoring system and method thereof
JP7583331B2 (en) 2021-06-04 2024-11-14 日本電信電話株式会社 Deterioration determination device, deterioration determination method, and program
CN113378818A (en) * 2021-06-21 2021-09-10 中国南方电网有限责任公司超高压输电公司柳州局 Electrical equipment defect determining method and device, electronic equipment and storage medium
CN113378818B (en) * 2021-06-21 2024-06-07 中国南方电网有限责任公司超高压输电公司柳州局 Electrical equipment defect determining method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP2020160765A (en) 2020-10-01

Similar Documents

Publication Publication Date Title
JP6737371B1 (en) Information processing apparatus, equipment determination method, computer program, and learned model generation method
US11670058B2 (en) Visual display systems and method for manipulating images of a real scene using augmented reality
CN108491823B (en) Method and device for generating human eye recognition model
CN109063584B (en) Facial feature point positioning method, device, equipment and medium based on cascade regression
US10726630B1 (en) Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
CN113312957A (en) off-Shift identification method, device, equipment and storage medium based on video image
JP6833789B2 (en) Anomaly detection method, program, trained model generation method and trained model
CN114495241B (en) Image recognition method and device, electronic equipment and storage medium
KR102410286B1 (en) Method for detecting a falling accident based on deep learning and electronic device thereof
CN108229375B (en) Method and device for detecting face image
KR20210155655A (en) Method and apparatus for identifying object representing abnormal temperatures
WO2024169384A1 (en) Gaze estimation method and apparatus, and readable storage medium and electronic device
US20220366244A1 (en) Modeling Human Behavior in Work Environment Using Neural Networks
KR20190119212A (en) System for performing virtual fitting using artificial neural network, method thereof and computer recordable medium storing program to perform the method
US20190215461A1 (en) System, method, and program for adjusting angle of camera
CN113553893A (en) Human body falling detection method and device based on deep neural network and electronic equipment
CN112639870B (en) Image processing device, image processing method, and image processing program
CN117854156B (en) Training method and related device for feature extraction model
US20230326041A1 (en) Learning device, learning method, tracking device, and storage medium
CN109886780B (en) Commodity target detection method and device based on eyeball tracking
WO2023174063A1 (en) Background replacement method and electronic device
CN116959099A (en) Abnormal behavior identification method based on space-time diagram convolutional neural network
JP2021082000A (en) Learned model generation method, computer program, information processing method, and information processing device
CN109961060A (en) Method and apparatus for generating crowd density information
CN115424346A (en) Human body sitting posture detection method and device, computer equipment and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191224

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200515

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R150 Certificate of patent or registration of utility model

Ref document number: 6737371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157