JPWO2019059091A1 - Utility pole management system - Google Patents

Utility pole management system Download PDF

Info

Publication number
JPWO2019059091A1
JPWO2019059091A1 JP2019543603A JP2019543603A JPWO2019059091A1 JP WO2019059091 A1 JPWO2019059091 A1 JP WO2019059091A1 JP 2019543603 A JP2019543603 A JP 2019543603A JP 2019543603 A JP2019543603 A JP 2019543603A JP WO2019059091 A1 JPWO2019059091 A1 JP WO2019059091A1
Authority
JP
Japan
Prior art keywords
utility pole
recognized
recognizes
abnormality
imaging data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019543603A
Other languages
Japanese (ja)
Other versions
JP6845342B2 (en
Inventor
洋平 秋元
洋平 秋元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of JPWO2019059091A1 publication Critical patent/JPWO2019059091A1/en
Application granted granted Critical
Publication of JP6845342B2 publication Critical patent/JP6845342B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G1/00—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
    • H02G1/02—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electric Cable Installation (AREA)
  • Image Analysis (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Navigation (AREA)

Abstract

電柱の異常の有無を判定する作業を、ユーザの負担を小さくして、迅速に行う。携帯端末１０においては、周囲の撮像を行い２次元画像データを得る撮像部１１、自己の位置を認識する位置情報取得部１２、自己の姿勢を認識する３軸加速度センサ１４、３軸地磁気センサ１５が設けられる。サーバシステム５０は、取得されたこれらのデータを、リアルタイムで認識することもできる。更に、この携帯端末１０には、レーザー測距部１８が用いられる。ＣＰＵ１６は、これらを用いて、対象物までの距離、あるいはより厳密には、対象物上の各点までの距離を認識することができ、この情報も、サーバシステム５０側に送信することができる。撮像データ中に複数の電柱が存在しても、各電柱を認識することができ、認識された電柱の傾きあるいはその経時変化が認識され、傾き量やその経時変化に応じて、異常の有無が判定される。The work of determining the presence or absence of an abnormality in the utility pole is performed quickly while reducing the burden on the user. In the mobile terminal 10, an imaging unit 11 that images the surroundings to obtain two-dimensional image data, a position information acquisition unit 12 that recognizes its own position, a 3-axis acceleration sensor 14 that recognizes its own posture, and a 3-axis geomagnetic sensor 15 Is provided. The server system 50 can also recognize these acquired data in real time. Further, a laser ranging unit 18 is used for the mobile terminal 10. The CPU 16 can use these to recognize the distance to the object, or more precisely, the distance to each point on the object, and this information can also be transmitted to the server system 50 side. .. Even if there are multiple utility poles in the imaged data, each utility pole can be recognized, the tilt of the recognized utility pole or its change over time is recognized, and the presence or absence of an abnormality depends on the amount of tilt and the change over time. It is judged.

Description

本発明は、地上に設置された電柱のモニターをする電柱管理システムに関する。 The present invention relates to a utility pole management system that monitors utility poles installed on the ground.

地上に固定された様々な構造物（電柱等）における異常の有無を認識するために、この構造物に対する監視機能を有するＭＭＳ（Ｍｏｂｉｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ）を移動体（車両等）に搭載し、このＭＭＳによって得られた撮像データを無線通信によるネットワークを介してサーバが入手し、このサーバが、異常の有無を認識することのできるシステムが、例えば特許文献１に記載されている。このようなシステムを用いることによって、電柱等の設備の監視業務の負担が軽減されると共に、異常をより迅速に認識することができる。 In order to recognize the presence or absence of abnormalities in various structures (electric poles, etc.) fixed on the ground, an MMS (Mobile Mapping System) having a monitoring function for this structure is mounted on a moving body (vehicle, etc.), and this MMS For example, Patent Document 1 describes a system in which a server obtains the imaged data obtained by the above method via a wireless communication network, and the server can recognize the presence or absence of an abnormality. By using such a system, the burden of monitoring work of equipment such as utility poles can be reduced, and abnormalities can be recognized more quickly.

特許文献１に記載の状態変化管理システム１００の構成の概要を簡略化して図８に示す。このシステムは、移動体（車両）Ｍに搭載されて路上を移動可能な部分である携帯端末１１０と、携帯端末１１０とは離間して配置されネットワーク（無線通信）を介して接続されたサーバシステム１５０とを具備する。この携帯端末１１０においては、周囲の撮像を行い２次元画像データを得る撮像部１１１、自己の位置をＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信することによって認識する位置情報取得部１１２、時刻を認識する日時取得部１１３、３軸加速度センサ１１４、３軸地磁気センサ１１５と、これら全体の制御を行うＣＰＵ１１６が用いられる。撮像部１１１が、測定対象となる構造物（対象物）を撮像するように、移動体Ｍ、携帯端末１１０は制御される。また、各種の情報や画像を表示するディスプレイである表示部１１７も設けられる。 The outline of the configuration of the state change management system 100 described in Patent Document 1 is shown in FIG. 8 in a simplified manner. This system is a server system in which a mobile terminal 110, which is mounted on a mobile body (vehicle) M and can move on the road, and a mobile terminal 110 are arranged apart from each other and connected via a network (wireless communication). It is equipped with 150. In this mobile terminal 110, an imaging unit 111 that images the surroundings to obtain two-dimensional image data, a position information acquisition unit 112 that recognizes its own position by receiving a GPS (Global Positioning System) signal, and a time recognition. A date / time acquisition unit 113, a 3-axis acceleration sensor 114, a 3-axis geomagnetic sensor 115, and a CPU 116 that controls all of them are used. The moving body M and the mobile terminal 110 are controlled so that the imaging unit 111 images a structure (object) to be measured. In addition, a display unit 117, which is a display for displaying various information and images, is also provided.

ここで、携帯端末１１０側のＣＰＵ１１６は、ネットワークを介してサーバシステム１５０側のＣＰＵ１５１と通信することが可能であり、撮像部１１１によって得られた撮像データ（２次元画像データ）と、位置情報取得部１１２、日時取得部１１３によるこの撮像データが取得された時点でのこの携帯端末１１０の位置、日時と、３軸加速度センサ１１４、３軸地磁気センサ１１５によって認識されたこの際の携帯端末１１０（撮像部１１１）の姿勢は、サーバシステム１５０に送信され、サーバシステム１５０内の記憶部１５２にこれらの情報は記憶される。また、サーバシステム１５０側にも、携帯端末１１０側の表示部１１６と同様の表示を行うことができる表示部１５３が設けられる 。サーバシステム１５０は、上記のように得られた対象物の画像を含む撮像データにおける新しいものと過去のものとを比較することによって、この構造物に変化（異常）があるか否かを判定する。 Here, the CPU 116 on the mobile terminal 110 side can communicate with the CPU 151 on the server system 150 side via the network, and the imaging data (two-dimensional image data) obtained by the imaging unit 111 and the position information acquisition. The position and date and time of the mobile terminal 110 at the time when the imaging data was acquired by the unit 112 and the date and time acquisition unit 113, and the mobile terminal 110 at this time recognized by the 3-axis acceleration sensor 114 and the 3-axis geomagnetic sensor 115 ( The posture of the imaging unit 111) is transmitted to the server system 150, and these information are stored in the storage unit 152 in the server system 150. Further, the server system 150 side is also provided with a display unit 153 capable of performing the same display as the display unit 116 on the mobile terminal 110 side. The server system 150 determines whether or not there is a change (abnormality) in this structure by comparing the new one and the past one in the imaging data including the image of the object obtained as described above. ..

ここで、サーバシステム１５０の記憶部１５２には、様々な時点における対象物が含まれる撮像データが記憶されるため、ＣＰＵ１５１は、各時点における対象物の状態の比較をすることができる。しかしながら、対象物の各画像データ中における形態は、画像データが取得された際の撮像条件（時刻や移動体Ｍの位置、姿勢等）に応じて変動し、一般的には撮像条件は一定とはならない。このため、撮像データ中における対象物の形態は、実際には対象物自身の変動がなかった場合でも、撮像条件の変化によって変動する場合があり、撮像データ同士の比較を行って対象物の変化を検出することは、一般的には容易ではない。これに対して、このシステムにおいて、ＣＰＵ１５１は、新しい撮像データと、この新しい撮像データに対応した位置、時刻、及び姿勢と近い位置、時刻及び姿勢をもつ過去の撮像データを記憶部１５２から抽出する。このように抽出された撮像データは、前記の新しい撮像データと近い撮像条件で撮像されたものとなるため、２つの撮像データ間における対象物の変動を適正に認識することができる。 Here, since the storage unit 152 of the server system 150 stores imaging data including the object at various time points, the CPU 151 can compare the states of the objects at each time point. However, the form of the object in each image data varies depending on the imaging conditions (time, position of moving body M, posture, etc.) when the image data is acquired, and the imaging conditions are generally constant. Must not be. Therefore, the morphology of the object in the imaging data may change due to changes in the imaging conditions even if the object itself does not actually change, and the changes in the object are made by comparing the imaging data. Is generally not easy to detect. On the other hand, in this system, the CPU 151 extracts new imaging data and past imaging data having a position, time, and orientation close to the position, time, and orientation corresponding to the new imaging data from the storage unit 152. .. Since the imaging data extracted in this way is captured under imaging conditions similar to those of the new imaging data, it is possible to appropriately recognize the fluctuation of the object between the two imaging data.

特開２０１６−１８４６３号公報Japanese Unexamined Patent Publication No. 2016-18463

上記の技術において、撮像データ中において測定の対象となる構造物（対象物）は、ユーザが携帯端末１１０（移動体Ｍ）側で表示部１１７を用いて、あるいはサーバシステム１５０側で表示部１５３を用いて、実際の撮像データを見た上で、設定される。すなわち、上記の技術では、ユーザがこの対象物を画像中で選定する作業が必要である。このため、上記の技術においては、ユーザの負担が大きくなった。また、作業の効率化のためには、単体のシステム（一組の携帯端末１１０、サーバシステム１５０）を利用して、複数の独立した対象物に対して測定を行うことが好ましい。このような場合には、複数の対象物の全てに対してその選定を行う作業が必要となるため、特にこの負担が大きくなった。また、このために、対象物の異常の有無の判定を迅速に行うことも困難であった。 In the above technique, the structure (object) to be measured in the imaged data is displayed by the user using the display unit 117 on the mobile terminal 110 (moving body M) side or on the server system 150 side. Is set after observing the actual imaging data using. That is, in the above technique, it is necessary for the user to select this object in the image. Therefore, in the above technique, the burden on the user has increased. Further, in order to improve work efficiency, it is preferable to use a single system (a set of mobile terminals 110, a server system 150) to perform measurements on a plurality of independent objects. In such a case, the work of selecting all of the plurality of objects is required, and this burden is particularly large. Further, for this reason, it is also difficult to quickly determine whether or not there is an abnormality in the object.

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to solve the above problems.

本発明は、地上に設置された電柱を撮像した撮像データ中における前記電柱を認識し、前記電柱の異常の有無を認識する電柱管理システムであって、風景を撮像して前記撮像データを取得する撮像手段と、前記風景中の構造物との間の距離を認識する測距手段と、自身の位置を認識する位置認識手段と、自身の空間的姿勢を認識する姿勢認識手段と、を具備する携帯端末が、移動可能な移動体に搭載されて用いられ、前記撮像データ、及び前記測距手段によって得られた前記構造物の地面と垂直な断面形状を用いて前記構造物のうちの前記電柱を認識し、かつ前記位置認識手段によって認識された前記位置、前記姿勢認識手段によって認識された前記空間的姿勢、及び前記測距手段によって認識された前記距離を基にして前記電柱の位置を認識する電柱認識手段と、前記撮像データ中において認識された前記電柱の状態を認識する状態認識手段と、前記状態認識手段によって認識された前記状態によって前記電柱の異常の有無を判定する判定手段と、を具備する。
また、前記状態認識手段は、前記撮像データ中において、認識された前記電柱の地面からの角度を前記状態として認識し、前記判定手段は、認識された前記角度に応じて、前記電柱の異常の有無を判定してもよい。
また、複数の時点で得られた前記撮像データ、又は複数の時点で前記状態認識手段によって得られた前記電柱の前記状態、を記憶する記憶手段を具備し、前記判定手段は、前記記憶手段を参照し、前記撮像データ中において認識された前記電柱の異なる時点における前記状態を比較することによって、前記電柱の異常の有無を判定してもよい。
また、前記撮像データ中において、特定の領域の地図と、当該地図中において認識された前記電柱をアイコン化して表示し、アイコン化されて表示された前記電柱が選択された場合に、当該電柱の異常の有無の判定結果を表示する表示手段を具備してもよい。The present invention is a utility pole management system that recognizes the utility pole in the imaged data obtained by imaging the utility pole installed on the ground and recognizes the presence or absence of an abnormality in the utility pole, and acquires the imaged data by imaging a landscape. It includes an imaging means, a distance measuring means for recognizing a distance between the structure in the landscape, a position recognizing means for recognizing its own position, and a posture recognizing means for recognizing its own spatial posture. A mobile terminal is mounted on a movable moving body and is used, and the utility pole of the structure is used by using the imaging data and the cross-sectional shape of the structure obtained by the distance measuring means perpendicular to the ground. The position of the utility pole is recognized based on the position recognized by the position recognition means, the spatial posture recognized by the posture recognition means, and the distance recognized by the distance measuring means. A utility pole recognizing means for recognizing the state of the utility pole recognized in the imaging data, a determination means for determining the presence or absence of an abnormality of the utility pole based on the state recognized by the state recognizing means, and the like. Equipped with.
Further, the state recognizing means recognizes the recognized angle of the utility pole from the ground in the imaging data as the state, and the determining means determines the abnormality of the utility pole according to the recognized angle. The presence or absence may be determined.
Further, the storage means for storing the imaging data obtained at a plurality of time points or the state of the utility pole obtained by the state recognition means at a plurality of time points is provided, and the determination means stores the storage means. By referring to and comparing the states of the utility poles recognized in the imaging data at different time points, the presence or absence of an abnormality in the utility poles may be determined.
Further, in the imaged data, a map of a specific area and the utility pole recognized in the map are displayed as icons, and when the utility pole displayed as an icon is selected, the utility pole is displayed. A display means for displaying the determination result of the presence or absence of an abnormality may be provided.

本発明によると、電柱の異常の有無を判定する作業を、ユーザの負担を小さくして、迅速に行うことができる。 According to the present invention, the work of determining the presence or absence of an abnormality in the utility pole can be performed quickly with less burden on the user.

実施形態に係る電柱管理システムが移動体と組み合わせて用いられる際の構成を示す図である。It is a figure which shows the structure when the utility pole management system which concerns on embodiment is used in combination with a moving body. 実施形態に係る電柱管理システムにおいて、電柱の異常が判定される前の動作を示すフローチャートである。It is a flowchart which shows the operation before the abnormality of the utility pole is determined in the utility pole management system which concerns on embodiment. 実施形態に係る電柱管理システムにおいて、電柱の認識をする動作を示すフローチャートである。It is a flowchart which shows the operation which recognizes a utility pole in the utility pole management system which concerns on embodiment. 実施形態に係る電柱管理システムにおいて、電柱の認識が行われる撮像データ（ａ）、電柱の地面と平行である断面形状（ｂ）の例である。In the utility pole management system according to the embodiment, it is an example of the imaging data (a) in which the utility pole is recognized and the cross-sectional shape (b) parallel to the ground of the utility pole. 撮像データ中における電柱と道路との間の位置関係の例を示す図である。It is a figure which shows the example of the positional relationship between a utility pole and a road in the image pickup data. 実施形態に係る電柱管理システムにおいて、電柱の傾斜角の認識を行う手法を模式的に示す図である。It is a figure which shows typically the method of recognizing the inclination angle of a utility pole in the utility pole management system which concerns on embodiment. 実施形態に係る電柱管理システムにおいて、測定結果を地図上で示す場合の表示の一例である。This is an example of display when the measurement result is shown on a map in the utility pole management system according to the embodiment. 従来の状態変化管理システムが移動体と組み合わせて用いられる際の構成を示す図である。It is a figure which shows the structure when the conventional state change management system is used in combination with a moving body.

次に、本発明を実施するための形態を、図面を参照して具体的に説明する。図１は、本発明の実施の形態に係る電柱管理システム１が実際に用いられる際の形態を示す図である。ここで、この電柱管理システム１は、図８の構成と同様に、移動体（車両）Ａに搭載されて路上を移動可能な部分である携帯端末１０と、携帯端末１０とは離間して配置されネットワーク（無線通信）を介して接続されたサーバシステム５０とを具備する。ここで、測定の対象となる構造物（対象物）は、例えば電柱とされる。 Next, a mode for carrying out the present invention will be specifically described with reference to the drawings. FIG. 1 is a diagram showing a mode when the utility pole management system 1 according to the embodiment of the present invention is actually used. Here, the electric pole management system 1 is arranged apart from the mobile terminal 10 which is mounted on the moving body (vehicle) A and is movable on the road, and the mobile terminal 10 is separated from each other, as in the configuration of FIG. It is provided with a server system 50 connected via a network (wireless communication). Here, the structure (object) to be measured is, for example, a utility pole.

ここで、携帯端末１０においては、前記の携帯端末１１０と同様に、周囲の撮像を行い２次元画像データを得る撮像部（撮像手段）１１、自己の位置をＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信することによって認識する位置情報取得部（位置認識手段）１２、時刻を認識する日時取得部（日時認識手段）１３、自己の姿勢を認識するための姿勢認識手段として機能する３軸加速度センサ１４、３軸地磁気センサ１５が設けられる。また、携帯端末１０全体の制御を行うＣＰＵ１６が用いられ、ＣＰＵ１６はルータ１７を介して外部のサーバシステム５０との間の通信を高速で行うことができる。これによって、図８の構成と同様に、撮像部１１によって得られた撮像データ、この撮像データが取得された際の携帯端末１０（移動体Ｍ）の位置情報、姿勢情報、日時をサーバシステム５０側に送信することができる。この際、サーバシステム５０は、取得されたこれらのデータを、リアルタイムで認識することもできる。 Here, in the mobile terminal 10, similarly to the mobile terminal 110, the imaging unit (imaging means) 11 that images the surroundings to obtain two-dimensional image data, and receives a GPS (Global Positioning System) signal at its own position. Position information acquisition unit (position recognition means) 12 that recognizes by doing so, date and time acquisition unit (date and time recognition means) 13 that recognizes time, 3-axis acceleration sensor 14 that functions as posture recognition means for recognizing one's own posture, A 3-axis geomagnetic sensor 15 is provided. Further, a CPU 16 that controls the entire mobile terminal 10 is used, and the CPU 16 can perform high-speed communication with the external server system 50 via the router 17. As a result, the server system 50 obtains the imaging data obtained by the imaging unit 11 and the position information, posture information, and date and time of the mobile terminal 10 (moving body M) when the imaging data is acquired, as in the configuration of FIG. Can be sent to the side. At this time, the server system 50 can also recognize these acquired data in real time.

サーバシステム５０においては、図８の構成と同様にＣＰＵ５１、記憶部（記憶手段）５２、表示部（表示手段）５３が設けられる。記憶部５２は、前記のように様々な時点で取得された撮像データ、これに対応する携帯端末１０の位置情報、姿勢情報、日時等を記憶する。 In the server system 50, a CPU 51, a storage unit (storage means) 52, and a display unit (display means) 53 are provided as in the configuration of FIG. The storage unit 52 stores the imaging data acquired at various time points as described above, the position information, the posture information, the date and time, and the like of the mobile terminal 10 corresponding thereto.

携帯端末１０側の撮像部１１としては、撮像部１１の周囲全体の撮像をすることができる３６０度カメラ（例えば半天球カメラ）を用いることができる。これによって、対象物となる電柱が携帯端末１０の周囲に存在した場合には、これを確実に撮像することができる。ただし、周囲の対象物を確実に撮像することができ、画像データとして取り込むことができる限りにおいて、撮像部１１として、任意のものを用いることができる。 As the image pickup unit 11 on the mobile terminal 10 side, a 360-degree camera (for example, a hemispherical camera) capable of capturing an image of the entire surroundings of the image pickup unit 11 can be used. As a result, when the utility pole to be the object exists around the mobile terminal 10, it can be reliably imaged. However, as long as it is possible to reliably image a surrounding object and capture it as image data, any image pickup unit 11 can be used.

更に、この携帯端末１０には、レーザー光を発して対象物に照射すると共にその反射光を受光して対象物までの距離を認識するレーザー測距部（測距手段）１８、移動体Ｍの走行距離を認識するオドメータ１９が用いられる。ＣＰＵ１６は、これらを用いて、対象物までの距離、あるいはより厳密には、対象物上の各点までの距離を認識することができ、この情報も、サーバシステム５０側に送信することができる。 Further, the mobile terminal 10 includes a laser ranging unit (distance measuring means) 18 and a moving body M that emit laser light to irradiate the object and receive the reflected light to recognize the distance to the target. An odometer 19 that recognizes the mileage is used. The CPU 16 can use these to recognize the distance to the object, or more precisely, the distance to each point on the object, and this information can also be transmitted to the server system 50 side. ..

ここで、特許文献１に記載の状態変化管理システム１００とは異なり、この電柱管理システム１においては、対象物が電柱に限定され、この電柱の形態的な特徴に基づき、ＣＰＵ１６が、取得された撮像データ中における対象物を自動的に認識する。この際、撮像データ中に複数の電柱が存在しても、各電柱を認識することができ、この認識の際には、ユーザの操作が不要である。その後、認識された電柱の傾きあるいはその経時変化が認識され、傾き量やその経時変化に応じて、異常の有無が判定される。 Here, unlike the state change management system 100 described in Patent Document 1, in the utility pole management system 1, the object is limited to the utility pole, and the CPU 16 is acquired based on the morphological characteristics of the utility pole. Automatically recognizes an object in the captured data. At this time, even if there are a plurality of utility poles in the imaged data, each utility pole can be recognized, and no user operation is required for this recognition. After that, the recognized inclination of the utility pole or its change with time is recognized, and the presence or absence of an abnormality is determined according to the amount of inclination and the change with time.

以下では、この際のＣＰＵ１６の動作について説明する。図２は、この動作を示すフローチャートの一例である。ここでは、撮像部１１が新たに撮像データを入手し、この際に、この撮像データ中に存在すると認識された電柱の異常の有無を判定する場合の動作が示されている。この判定は撮像データが取得される度に行われ、その度に撮像データ、その判定結果、この際の携帯端末１０の位置情報、姿勢情報、日時等は、記憶部５２に記憶される。このため、ＣＰＵ５１、１６は、最新のこれらのデータと、過去に得られたこれらのデータとを比較することができる。 The operation of the CPU 16 at this time will be described below. FIG. 2 is an example of a flowchart showing this operation. Here, the operation when the imaging unit 11 newly obtains the imaging data and determines whether or not there is an abnormality in the utility pole recognized to be present in the imaging data is shown. This determination is performed each time the imaging data is acquired, and the imaging data, the determination result, the position information, the posture information, the date and time, etc. of the mobile terminal 10 at this time are stored in the storage unit 52 each time. Therefore, the CPUs 51 and 16 can compare these latest data with these data obtained in the past.

まず、ＣＰＵ１６は、撮像部１１からこの新たな撮像データを入手し（Ｓ１）、この撮像データに対して、以降の処理が行われる。まず、ＣＰＵ１６は、この撮像データ中に、電柱が存在しているか、あるいは存在する場合には、存在する全ての電柱を認識する（Ｓ２）。 First, the CPU 16 obtains this new imaging data from the imaging unit 11 (S1), and the subsequent processing is performed on the imaging data. First, the CPU 16 recognizes the existence of utility poles or, if any, all existing utility poles in the imaged data (S2).

図３は、このように電柱を認識する工程（Ｓ２）の詳細を示すフローチャートである。この工程においては、新たに入手した撮像データと共に、上記のレーザー測距部１８による計測結果も用いられる。また、撮像部１１として半天球カメラを用いた場合には、半天球が２次元に投影変換されたために実際の画像から湾曲して表示された２次元画像が得られるが、以降の処理を行うに際しては、この投影変換が逆変換されて通常の２次元画像とされたものが用いられるものとする。 FIG. 3 is a flowchart showing the details of the step (S2) of recognizing the utility pole in this way. In this step, the measurement result by the laser ranging unit 18 is also used together with the newly obtained imaging data. Further, when a hemispherical camera is used as the imaging unit 11, a two-dimensional image that is curved and displayed from the actual image can be obtained because the hemisphere is projected and converted into two dimensions, but the subsequent processing is performed. In this case, it is assumed that the projection transformation is inversely transformed into a normal two-dimensional image.

ここでは、まず、地面から所定の高さまで延伸する構造物が存在するか否かが認識される（Ｓ２１）。ここでは、２次元画像における鉛直方向下方から上側に所定の高さまで連続的に延伸する構造物が存在するか否かが認識される。図４（ａ）は、撮像データ中においてこうした構造物が存在した場合の一例である。こうした構造物が複数存在する場合には、その各々を画像中で認識する。この構造物は、電柱と認識される候補となる。このため、こうした構造物が全く認められなかった場合（Ｓ２１：Ｎｏ）には、得られた画像データの中には電柱は全く存在しないと認められ（Ｓ２２）、電柱を認識する工程（Ｓ２）は終了する。 Here, first, it is recognized whether or not there is a structure extending from the ground to a predetermined height (S21). Here, it is recognized whether or not there is a structure that continuously extends from the lower side in the vertical direction to the upper side in the two-dimensional image to a predetermined height. FIG. 4A is an example of the case where such a structure is present in the imaging data. When a plurality of such structures exist, each of them is recognized in the image. This structure is a candidate to be recognized as a utility pole. Therefore, when such a structure is not recognized at all (S21: No), it is recognized that there is no utility pole in the obtained image data (S22), and the step of recognizing the utility pole (S2). Is finished.

上記のように電柱と認識される候補の構造物が存在した場合には、この構造物に対して、地面からのある高さにおけるこの構造物の地面と平行な断面が円弧形状であるか否かが判定される（Ｓ２３）。ここで、円弧形状である、とは、この断面がある一定の誤差以内の精度で円弧形状と認められたことを意味する。この判定のためには、撮像データだけでなく、レーザー測距部１８によるこの構造物の表面の各点までの距離の測定結果が用いられる。図４（ｂ）は、このように断面形状が円弧形状であると認識された場合を示す。ここで、レーザー測距部１８は図中下側からこの測定を行うものとする。この構造物の断面が円弧形状でない（円弧形状の断面を具備しない）と認められた場合（Ｓ２３：Ｎｏ）には、この構造物は電柱ではないと認識される（Ｓ２４）。 If there is a candidate structure recognized as a utility pole as described above, whether or not the cross section of this structure parallel to the ground at a certain height from the ground is arcuate with respect to this structure. Is determined (S23). Here, the arc shape means that the cross section is recognized as an arc shape with an accuracy within a certain error. For this determination, not only the imaging data but also the measurement result of the distance to each point on the surface of the structure by the laser ranging unit 18 is used. FIG. 4B shows a case where the cross-sectional shape is recognized as an arc shape in this way. Here, the laser ranging unit 18 shall perform this measurement from the lower side in the figure. When it is recognized that the cross section of this structure is not arcuate (does not have an arcuate cross section) (S23: No), it is recognized that this structure is not a utility pole (S24).

この構造物の断面が円弧形状であると認められた場合（Ｓ２３：Ｙｅｓ）には、次に、この構造物の車道（道路）からの距離が特定の範囲（例えば５０ｃｍ以上２ｍ以内）にあるか否かが判定される（Ｓ２５）。ここで、車道は、撮像データ中において地面と平行に、略平行とされた２つの線分で仕切られた領域として認識される。また、ＣＰＵ１６は、前記の通り携帯端末１０の現在の位置、姿勢を認識することができるため、車道あるいはその延伸方向と携帯端末１０との間の位置関係を認識することができるため、撮像データ中における車道を認識することができる。ここでは、この構造体のこの線分からの距離が判定される。図５は、撮像データにおけるこの判定が行われる状態を示す図である。この場合においても、撮像データと共に、レーザー測距部１８によるこの構造物の表面の各点までの距離の測定結果が用いられる。この距離が上記の範囲内にない場合には、この構造体は電柱ではないと認識される（Ｓ２４）。 If the cross section of this structure is found to be arcuate (S23: Yes), then the distance of this structure from the roadway (road) is within a specific range (eg, 50 cm or more and 2 m or less). Whether or not it is determined (S25). Here, the roadway is recognized in the imaged data as a region partitioned by two line segments parallel to the ground and substantially parallel to the ground. Further, since the CPU 16 can recognize the current position and orientation of the mobile terminal 10 as described above, it can recognize the positional relationship between the roadway or its extension direction and the mobile terminal 10, so that the imaging data can be obtained. You can recognize the roadway inside. Here, the distance of this structure from this line segment is determined. FIG. 5 is a diagram showing a state in which this determination is performed in the captured data. Also in this case, the measurement result of the distance to each point on the surface of the structure by the laser ranging unit 18 is used together with the imaging data. If this distance is not within the above range, the structure is recognized as not a utility pole (S24).

この距離が上記の範囲内にある場合には、この構造物は、電柱であると認識される（Ｓ２６）。その後、ＣＰＵ１６は、撮像データが得られた際に位置情報取得部（位置認識手段）１２によって認識された移動体Ｍの位置情報、３軸加速度センサ１４、３軸地磁気センサ１５（姿勢認識手段）によって認識された移動体Ｍ（撮像部１１）の空間的姿勢、レーザー測距部（測距手段）１８によって認識された当該構造体（電柱）までの距離を用いることによって、この電柱の位置情報を算出することができる（Ｓ２７）。 When this distance is within the above range, the structure is recognized as a utility pole (S26). After that, the CPU 16 determines the position information of the moving body M recognized by the position information acquisition unit (position recognition means) 12 when the imaging data is obtained, the 3-axis acceleration sensor 14, and the 3-axis geomagnetic sensor 15 (posture recognition means). By using the spatial posture of the moving body M (imaging unit 11) recognized by the camera and the distance to the structure (electric column) recognized by the laser ranging unit (distance measuring means) 18, the position information of the electric column is used. Can be calculated (S27).

上記の工程（Ｓ２３、Ｓ２５、Ｓ２６、Ｓ２７）は、電柱の候補と認識された全ての構造物（Ｓ２１）の各々について行われる。全ての対象について判定が終了したら（Ｓ２８：Ｙｅｓ）、電柱を認識する工程（Ｓ２）は終了する。 The above steps (S23, S25, S26, S27) are performed for each of all the structures (S21) recognized as candidates for utility poles. When the determination for all the objects is completed (S28: Yes), the step of recognizing the utility pole (S2) is completed.

図２のフローチャートにおいて、電柱を認識する工程（Ｓ２）が終了し、電柱が全く認識されなかった場合（Ｓ３：Ｎｏ）には、ＣＰＵ１６は、この旨をサーバシステム５０側に送信し、ＣＰＵ５１は、その旨を表示部５３で表示させる（Ｓ４）。あるいは、特許文献１に記載のシステムと同様に携帯端末１０側にも表示部を設けてもよく、この場合には、この旨がこの表示部でも表示される。ユーザは、この旨を確認した場合には、電柱が視野に入る位置に移動体Ｍを移動させるように指示を出す、あるいは移動体Ｍを直接操作することができる。この場合には、上記の撮像データを取得した後の作業は終了し、次回の撮像データが取得された後に同様の作業が行われる。 In the flowchart of FIG. 2, when the step of recognizing the utility pole (S2) is completed and the utility pole is not recognized at all (S3: No), the CPU 16 transmits this to the server system 50 side, and the CPU 51 , The display unit 53 displays to that effect (S4). Alternatively, a display unit may be provided on the mobile terminal 10 side as in the system described in Patent Document 1, and in this case, this fact is also displayed on this display unit. When the user confirms this fact, he / she can give an instruction to move the moving body M to a position where the utility pole is in the field of view, or can directly operate the moving body M. In this case, the work after acquiring the above-mentioned imaging data is completed, and the same work is performed after the next imaging data is acquired.

電柱が認識された場合（Ｓ３：Ｙｅｓ）には、ＣＰＵ１６は、撮像データ及びその結果をサーバシステム５０側に送信し、ＣＰＵ５１は、その旨を表示部５３で表示させる（Ｓ５）。 When the utility pole is recognized (S3: Yes), the CPU 16 transmits the imaging data and the result to the server system 50 side, and the CPU 51 displays that fact on the display unit 53 (S5).

その後、ＣＰＵ１６は、認識された電柱の状態を認識する（Ｓ６）。この認識も、撮像データやレーザー測距部１８によるこの構造物の表面の各点までの距離の測定結果を用いて行われる。ここで測定される項目としては、まず、電柱の傾斜（地面からの傾斜角）がある。図６は、撮像データにおいてこの測定をする状況を模式的に示す図である。ここでは、地面Ｇと認識された部分でありかつ電柱Ｐと交差する部分を含む水平方向の領域における電柱Ｐを挟んだ２点（Ａ、Ｂ）が設定される。一方、電柱Ｐの断面の中心上にあり地面Ｇと認識された部分と垂直な方向において離間した２点（Ｃ、Ｄ）が設定される。線分ＡＢと線分ＣＤとの間のなす角度θの９０°からの偏差が、この電柱Ｐの傾斜角であると認識される。 After that, the CPU 16 recognizes the recognized state of the utility pole (S6). This recognition is also performed by using the imaging data and the measurement result of the distance to each point on the surface of the structure by the laser ranging unit 18. The item to be measured here is the inclination of the utility pole (inclination angle from the ground). FIG. 6 is a diagram schematically showing a situation in which this measurement is performed in the imaging data. Here, two points (A, B) sandwiching the utility pole P in a horizontal region including a portion recognized as the ground G and intersecting the utility pole P are set. On the other hand, two points (C, D) are set which are on the center of the cross section of the utility pole P and are separated from each other in the direction perpendicular to the portion recognized as the ground G. The deviation of the angle θ formed between the line segment AB and the line segment CD from 90 ° is recognized as the inclination angle of the utility pole P.

次に、ＣＰＵ１６は、この結果に基づき、この電柱に異常があるか否かを判定する（Ｓ７）。この際、この傾斜角が、ある閾値よりも大きかった場合に、この電柱に異常があると認識することができる。 Next, the CPU 16 determines whether or not there is an abnormality in the utility pole based on this result (S7). At this time, when this inclination angle is larger than a certain threshold value, it can be recognized that there is an abnormality in this utility pole.

あるいは、上記のように、ＣＰＵ１６は、電柱が認識された場合にはその位置を認識する（Ｓ２７）ため、異なる時点で認識された電柱において、この位置情報が同一である電柱は、同一の電柱であると推定される。地形によっては、実際には電柱に異常がない場合においても、撮像データにおいて線分ＡＢと線分ＣＤとの間のなす角度が９０°とはならない場合もあるが、上記の構成においては、記憶部５２を参照し、過去に認識された電柱と新たに認識された電柱との間の対応関係を認識することができるため、この場合には、過去に同様にして算出されたこの角度とこのようにして新たに算出された角度とを比較し、この差がある閾値よりも大きかった（変化が大きかった）場合に、この電柱に異常が発生したと認識することができる。 Alternatively, as described above, the CPU 16 recognizes the position of the utility pole when it is recognized (S27). Therefore, among the utility poles recognized at different time points, the utility poles having the same position information are the same utility poles. Is presumed to be. Depending on the terrain, the angle between the line segment AB and the line segment CD may not be 90 ° in the imaged data even when there is actually no abnormality in the electric pole, but in the above configuration, it is stored. Since it is possible to recognize the correspondence between the previously recognized electric pole and the newly recognized electric pole by referring to the part 52, in this case, this angle and this angle calculated in the same manner in the past and this When the angle is compared with the angle newly calculated in this way and the difference is larger than a certain threshold value (change is large), it can be recognized that an abnormality has occurred in this electric column.

この際、比較対象となる過去の撮像データは、記憶部５２に記憶されたもののうち、撮像データを取得した際の携帯端末１０の位置、姿勢が同一又は近かったものを選択して用いることができる。この点については特許文献１に記載の技術と同様である。また、このように同一の電柱に対する過去のデータと最新のデータを比較するためには、過去の撮像データと、これに対応する位置情報、姿勢情報を測定の度に記憶部５２に記憶させることが好ましい。ただし、撮像データ自身は記憶させず、上記の角度のような数値化された測定結果と電柱との対応関係を識別可能な形で記憶させ、これを用いて上記の比較を行ってもよい。 At this time, as the past imaging data to be compared, it is possible to select and use the past imaging data stored in the storage unit 52 that has the same or close position and orientation of the mobile terminal 10 when the imaging data is acquired. it can. This point is the same as the technique described in Patent Document 1. Further, in order to compare the past data and the latest data for the same utility pole in this way, the past imaging data and the corresponding position information and posture information are stored in the storage unit 52 every time measurement is performed. Is preferable. However, the imaging data itself may not be stored, but the correspondence between the numerical measurement result such as the above angle and the utility pole may be stored in an identifiable form, and the above comparison may be performed using this.

上記の例では、電柱の傾斜角が大きい、あるいはその変化が大きい場合に、この電柱に異常があると判定したが、その他の項目についての評価を行うこともできる。例えば、電柱に損傷（ひび割れ等）がある場合には、その大きさ（深さ、広がり等）を撮像データ、あるいはレーザー測距部１８による測定結果から認識することが可能である（Ｓ６）。その後、この損傷の度合いを示す大きさが、閾値よりも大きい、あるいはこの損傷が過去のデータと比べて大きくなった場合には、同様にこの電柱に異常が発生したと認識することができる（Ｓ７）。以上のように過去のデータと最新のデータを比較することにより、電柱の傾斜又は損傷の進行状況や経年変化を確認することができ、電柱の修理や交換の頻度等の判断基準の選定に利用することができる。 In the above example, when the inclination angle of the utility pole is large or the change is large, it is determined that the utility pole is abnormal, but other items can also be evaluated. For example, when the utility pole is damaged (cracked or the like), its size (depth, spread, etc.) can be recognized from the imaging data or the measurement result by the laser ranging unit 18 (S6). After that, if the magnitude indicating the degree of this damage is larger than the threshold value, or if this damage is larger than the past data, it can be recognized that an abnormality has occurred in this utility pole as well ( S7). By comparing the past data with the latest data as described above, it is possible to check the progress of the inclination or damage of the utility pole and the secular change, and it is used to select the judgment criteria such as the frequency of repair and replacement of the utility pole. can do.

また、電柱自身ではなく、電柱に接続された送電線も、撮像データ中において、電柱に連結した細線（直線又は曲線）として認識することができる。送電線の高さが所定の値よりも小さい、あるいはこの高さの変動が大きい場合には、異常があると認識することができる。あるいは、送電線の曲率半径が所定の値よりも小さい、あるいは過去のデータと比べて曲率半径の変動が大きい場合には異常があると認識することもできる。すなわち、認識された電柱について数値化されて認識された状態の変動が大きかった場合に、この電柱に異常が発生したと認識することができる。この状態として、傾斜角、ひび割れ以外にも設定が可能である。 Further, not the utility pole itself but also the transmission line connected to the utility pole can be recognized as a thin line (straight line or curve) connected to the utility pole in the imaging data. If the height of the transmission line is smaller than a predetermined value, or if the fluctuation of this height is large, it can be recognized that there is an abnormality. Alternatively, if the radius of curvature of the transmission line is smaller than a predetermined value, or if the fluctuation of the radius of curvature is larger than that of the past data, it can be recognized that there is an abnormality. That is, when the recognized electric pole is quantified and the fluctuation of the recognized state is large, it can be recognized that an abnormality has occurred in this electric pole. In this state, it is possible to set other than the inclination angle and the crack.

上記の判定は、認識された全ての電柱に対して行われ、全ての電柱に対しての判定が行われたら（Ｓ８：Ｙｅｓ）、ＣＰＵ１６は、撮像データ及びその結果をサーバシステム５０側に送信し、ＣＰＵ５１は、その旨を表示部５３で表示させる（Ｓ９）。同様の表示を、携帯端末１０側の表示部で行ってもよい。この判定結果も、記憶部５２に記憶させることができる。 The above determination is performed on all the recognized utility poles, and when the determination is performed on all the utility poles (S8: Yes), the CPU 16 transmits the imaging data and the result to the server system 50 side. Then, the CPU 51 displays the fact on the display unit 53 (S9). The same display may be performed on the display unit on the mobile terminal 10 side. This determination result can also be stored in the storage unit 52.

また、ＣＰＵ５１は、記憶部５２に記憶された地図のデータ、あるいはネットワークを介して入手した地図のデータを用いて、表示部５３において様々な箇所の地図を表示させることができる。前記の通り、ＣＰＵ５１は、上記のように各電柱の位置を認識することができるため、表示された地図中においてこの電柱の位置を表示し、かつ異常が認められた電柱を強調表示することができる。また、アイコン化されて表示された電柱をユーザが画面中で選択し、アイコンを選択することによって、上記の判定結果を表示させることができる。図７は、このように表示部５３で表示される画像の一例である。ここでは、認識された電柱Ｐが地図中でアイコン化されて表示されている。異常が認められた電柱Ｐを強調表示する（例えば正常なものと異なる色にする、サイズを大きくする、点滅する等）ことによって、特に、電柱が多く存在する場合における各々の状態や位置関係をより容易かつ適正に認識することができる。なお、このような表示を、携帯端末１０側で行ってもよい。 Further, the CPU 51 can display maps of various locations on the display unit 53 by using the map data stored in the storage unit 52 or the map data obtained via the network. As described above, since the CPU 51 can recognize the position of each utility pole as described above, it is possible to display the position of this utility pole in the displayed map and highlight the utility pole in which an abnormality is found. it can. In addition, the user can select the utility pole displayed as an icon on the screen and select the icon to display the above determination result. FIG. 7 is an example of an image displayed on the display unit 53 in this way. Here, the recognized utility pole P is displayed as an icon in the map. By highlighting the utility pole P on which an abnormality is found (for example, making it a different color from the normal one, increasing the size, blinking, etc.), each state and positional relationship, especially when there are many utility poles, can be displayed. It can be recognized more easily and properly. In addition, such a display may be performed on the mobile terminal 10 side.

また、例えば異常と判定された電柱Ｐをクリックすることによって、具体的な異常の内容、例えば傾斜角の変化が認められた、損傷が認められた、送電線に異常が認められた等、を表示させることができる。あるいは、異常が認められなかった電柱においても、その傾斜角等、認識された状態（Ｓ６）を表示させることもできる。尚、異常が認められない電柱であっても、異常と判定される閾値に対して近い値に達している場合には、注意喚起のための警告表示を行ってもよい。 In addition, for example, by clicking on the utility pole P determined to be abnormal, the specific content of the abnormality, for example, a change in the inclination angle was observed, damage was observed, an abnormality was observed in the transmission line, etc. It can be displayed. Alternatively, even in the utility pole where no abnormality is found, the recognized state (S6) such as the inclination angle can be displayed. Even if the utility pole is not found to be abnormal, a warning display may be displayed to call attention when the value reaches a value close to the threshold value determined to be abnormal.

上記の例では、ＣＰＵ１６が電柱を認識し（Ｓ２）、この電柱の状態を数値化して認識し（Ｓ６）、この値によって電柱の異常の有無を認識した。すなわち、ＣＰＵ１６は、撮像データ中における構造物の中から電柱を認識する電柱認識手段、この電柱の状態を認識する状態認識手段、認識された状態によって電柱の異常の有無を判定する判定手段として機能していた。しかしながら、ＣＰＵ１６の代わりにサーバシステム５０側のＣＰＵ５１がこれらを行ってもよい。また、電柱認識手段、状態認識手段、判定手段として、個別のプロセッサを用いてもよく、ＣＰＵ１６、ＣＰＵ５１がこれらを適宜分担してもよい。 In the above example, the CPU 16 recognizes the utility pole (S2), quantifies and recognizes the state of the utility pole (S6), and recognizes the presence or absence of an abnormality in the utility pole based on this value. That is, the CPU 16 functions as a utility pole recognizing means for recognizing a utility pole from the structure in the imaging data, a state recognizing means for recognizing the state of the utility pole, and a determining means for determining the presence or absence of an abnormality in the utility pole based on the recognized state. Was. However, the CPU 51 on the server system 50 side may perform these instead of the CPU 16. Further, individual processors may be used as the utility pole recognition means, the state recognition means, and the determination means, and the CPU 16 and the CPU 51 may appropriately share these.

また、上記の携帯端末１０において、撮像を行うための撮像部（撮像手段）１１、測距を行うレーザー測距部（測距手段）１８、移動体Ｍの位置や姿勢を求めるための位置情報取得部（位置認識手段）１２、３軸加速度センサ（姿勢認識手段）１４、３軸地磁気センサ（姿勢認識手段）１５は、移動体Ｍ側に搭載する必要があるが、携帯端末１０における他の構成要素は、これらを制御して上記のような測定が可能である限りにおいて、任意である。例えば、これらの構成要素が全てサーバシステム側で制御されてもよい。 Further, in the above-mentioned mobile terminal 10, the image pickup unit (imaging means) 11 for taking an image, the laser distance measuring unit (distance measuring means) 18 for performing distance measurement, and the position information for obtaining the position and posture of the moving body M. The acquisition unit (position recognition means) 12, the 3-axis acceleration sensor (posture recognition means) 14, and the 3-axis geomagnetic sensor (posture recognition means) 15 need to be mounted on the moving body M side, but other in the mobile terminal 10. The components are arbitrary as long as they can be controlled to make the above measurements. For example, all of these components may be controlled on the server system side.

このように、上記の電柱管理システム１を用いて、電柱の異常の有無を判定することができる。この際、ユーザによる電柱の指定は不要となるため、ユーザの負担を大きく軽減することができる。特に、単一のシステムを用いて多くの電柱を管理する場合において、この効果は顕著である。 In this way, the presence or absence of an abnormality in the utility pole can be determined by using the above-mentioned utility pole management system 1. At this time, since it is not necessary for the user to specify the utility pole, the burden on the user can be greatly reduced. This effect is particularly noticeable when managing many utility poles using a single system.

なお、上記の例では、電柱を認識するために、高さ（Ｓ２１）、断面形状（Ｓ２）、車道からの距離（Ｓ２３）が用いられた 。しかしながら、電柱の幾何学的特徴に応じ、これらを設定することが可能である。例えば、異なる高さの２箇所における断面形状を用いる、あるいは送電線と認められる構造物が接続されているか否か、等を用いてこの認識を行うことが可能である。 In the above example, the height (S21), the cross-sectional shape (S2), and the distance from the roadway (S23) were used to recognize the utility pole. However, these can be set according to the geometric features of the utility pole. For example, it is possible to perform this recognition by using the cross-sectional shapes at two locations having different heights, or by using whether or not a structure recognized as a transmission line is connected.

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiments. This embodiment is an example, and it will be understood by those skilled in the art that various modifications are possible for the combination of each of these components, and that such modifications are also within the scope of the present invention.

１ 電柱管理システム１０、１１０ 携帯端末１１、１１１ 撮像部（撮像手段）１２、１１２ 位置情報取得部（位置認識手段）１３、１１３ 日時取得部（日時認識手段）１４、１１４ ３軸加速度センサ（姿勢認識手段）１５、１１５ ３軸地磁気センサ（姿勢認識手段）１６、１１６ ＣＰＵ（電柱認識手段、状態認識手段、判定手段）１７ ルータ１８ レーザー測距部（測距手段）１９ オドメータ５０、１５０ サーバシステム５１、１５１ ＣＰＵ５２、１５２ 記憶部（記憶手段）５３、１１７、１５３ 表示部（表示手段）１００ 状態変化管理システムＧ 地面Ｍ 移動体（車両）Ｐ 電柱 1 Utility pole management system 10, 110 Mobile terminal 11, 111 Imaging unit (imaging means) 12, 112 Position information acquisition unit (position recognition means) 13, 113 Date and time acquisition unit (date and time recognition means) 14, 114 3-axis acceleration sensor (attitude) Recognition means) 15, 115 3-axis geomagnetic sensor (attitude recognition means) 16, 116 CPU (telephone pole recognition means, state recognition means, judgment means) 17 Router 18 Laser distance measuring unit (distance measuring means) 19 Odometer 50, 150 Server system 51, 151 CPU 52, 152 Storage unit (storage means) 53, 117, 153 Display unit (display means) 100 State change management system G Ground M Moving object (vehicle) P Utility pole

本発明は、
地上に設置された電柱を撮像した撮像データ中における前記電柱を認識し、前記電柱の異常の有無を認識する電柱管理システムであって、風景を撮像して前記撮像データを取得する撮像手段と、前記風景中の構造物との間の距離を認識する測距手段と、自身の位置を認識する位置認識手段と、自身の空間的姿勢を認識する姿勢認識手段と、を具備する携帯端末が、移動可能な移動体に搭載されて用いられ、前記撮像データ、及び前記測距手段によって得られた前記構造物の地面と平行な断面形状を認識すると共に、認識された前記携帯端末の前記位置及び前記空間的姿勢に基づいて前記撮像データ中における車道を認識し、前記断面形状が円弧形状を具備し、かつ、前記車道と当該構造物との間の間隔が特定の範囲内にある場合に当該構造物が前記電柱であると認識し、かつ、前記距離を基にして前記電柱の位置を認識する電柱認識手段と、前記撮像データ中において認識された前記電柱の状態を認識する状態認識手段と、前記状態認識手段によって認識された前記状態によって前記電柱の異常の有無を判定する判定手段と、を具備する。
また、前記状態認識手段は、前記撮像データ中において、認識された前記電柱の地面からの角度を前記状態として認識し、前記判定手段は、認識された前記角度に応じて、前記電柱の異常の有無を判定してもよい。
また、複数の時点で得られた前記撮像データ、又は複数の時点で前記状態認識手段によって得られた前記電柱の前記状態、を記憶する記憶手段を具備し、前記判定手段は、前記記憶手段を参照し、前記撮像データ中において認識された前記電柱の異なる時点における前記状態を比較することによって、前記電柱の異常の有無を判定してもよい。
また、前記撮像データ中において、特定の領域の地図と、当該地図中において認識された前記電柱をアイコン化して表示し、アイコン化されて表示された前記電柱が選択された場合に、当該電柱の異常の有無の判定結果を表示する表示手段を具備してもよい。 The present invention
A utility pole management system that recognizes the utility pole in the image data obtained by imaging the utility pole installed on the ground and recognizes the presence or absence of an abnormality in the utility pole, and an imaging means for capturing the landscape and acquiring the imaging data. A mobile terminal including a distance measuring means for recognizing a distance between a structure in a landscape, a position recognizing means for recognizing its own position, and a posture recognizing means for recognizing its own spatial posture. It is mounted on a movable moving body and is used to recognize the imaging data and the cross-sectional shape of the structure obtained by the distance measuring means parallel to the ground, and the recognized position and position of the mobile terminal. When the road is recognized in the imaged data based on the spatial attitude, the cross-sectional shape has an arc shape, and the distance between the road and the structure is within a specific range. A utility pole recognizing means that recognizes that the structure is the utility pole and recognizes the position of the utility pole based on the distance , and a state recognizing means that recognizes the state of the utility pole recognized in the imaging data. A determination means for determining the presence or absence of an abnormality in the utility pole based on the state recognized by the state recognition means.
Further, the state recognizing means recognizes the recognized angle of the utility pole from the ground in the imaging data as the state, and the determining means determines the abnormality of the utility pole according to the recognized angle. The presence or absence may be determined.
Further, the storage means for storing the imaging data obtained at a plurality of time points or the state of the utility pole obtained by the state recognition means at a plurality of time points is provided, and the determination means stores the storage means. The presence or absence of an abnormality in the utility pole may be determined by referring to and comparing the states of the utility pole recognized in the imaging data at different time points.
Further, in the imaged data, a map of a specific area and the utility pole recognized in the map are displayed as icons, and when the utility pole displayed as an icon is selected, the utility pole is displayed. A display means for displaying the determination result of the presence or absence of an abnormality may be provided.

Claims (4)

地上に設置された電柱を撮像した撮像データ中における前記電柱を認識し、前記電柱の異常の有無を認識する電柱管理システムであって、
風景を撮像して前記撮像データを取得する撮像手段と、
前記風景中の構造物との間の距離を認識する測距手段と、
自身の位置を認識する位置認識手段と、
自身の空間的姿勢を認識する姿勢認識手段と、
を具備する携帯端末が、移動可能な移動体に搭載されて用いられ、
前記撮像データ、及び前記測距手段によって得られた前記構造物の地面と垂直な断面形状を用いて前記構造物のうちの前記電柱を認識し、かつ前記位置認識手段によって認識された前記位置、前記姿勢認識手段によって認識された前記空間的姿勢、及び前記測距手段によって認識された前記距離を基にして前記電柱の位置を認識する電柱認識手段と、
前記撮像データ中において認識された前記電柱の状態を認識する状態認識手段と、
前記状態認識手段によって認識された前記状態によって前記電柱の異常の有無を判定する判定手段と、
を具備することを特徴とする電柱管理システム。It is a utility pole management system that recognizes the utility pole in the image data obtained by imaging the utility pole installed on the ground and recognizes the presence or absence of an abnormality in the utility pole.
An imaging means that captures a landscape and acquires the imaging data,
A distance measuring means that recognizes the distance between the structure in the landscape and
A position recognition means that recognizes your position,
Posture recognition means for recognizing one's own spatial posture,
A mobile terminal equipped with the above is mounted on a movable mobile body and used.
The position, which recognizes the utility pole in the structure using the imaging data and the cross-sectional shape of the structure obtained by the distance measuring means and is perpendicular to the ground, and is recognized by the position recognition means. A utility pole recognizing means that recognizes the position of the utility pole based on the spatial posture recognized by the posture recognizing means and the distance recognized by the distance measuring means.
A state recognition means for recognizing the state of the utility pole recognized in the imaged data,
A determination means for determining the presence or absence of an abnormality in the utility pole based on the state recognized by the state recognition means,
A utility pole management system characterized by being equipped with. 前記状態認識手段は、前記撮像データ中において、認識された前記電柱の地面からの角度を前記状態として認識し、
前記判定手段は、認識された前記角度に応じて、前記電柱の異常の有無を判定することを特徴とする請求項１に記載の電柱管理システム。The state recognition means recognizes the recognized angle of the utility pole from the ground in the imaging data as the state.
The utility pole management system according to claim 1, wherein the determination means determines the presence or absence of an abnormality in the utility pole according to the recognized angle. 複数の時点で得られた前記撮像データ、又は複数の時点で前記状態認識手段によって得られた前記電柱の前記状態を記憶する記憶手段を具備し、
前記判定手段は、前記記憶手段を参照し、前記撮像データ中において認識された前記電柱の異なる時点における前記状態を比較することによって、前記電柱の異常の有無を判定することを特徴とする請求項１に記載の電柱管理システム。A storage means for storing the imaging data obtained at a plurality of time points or the state of the utility pole obtained by the state recognition means at a plurality of time points is provided.
The claim means that the determination means determines the presence or absence of an abnormality in the utility pole by referring to the storage means and comparing the states of the utility pole recognized in the imaging data at different time points. The utility pole management system according to 1. 前記撮像データ中において、特定の領域の地図と、当該地図中において認識された前記電柱をアイコン化して表示し、
アイコン化されて表示された前記電柱が選択された場合に、当該電柱の異常の有無の判定結果を表示する表示手段を具備することを特徴とする請求項１に記載の電柱管理システム。In the imaged data, a map of a specific area and the utility pole recognized in the map are displayed as icons.
The utility pole management system according to claim 1, further comprising a display means for displaying a determination result of presence / absence of abnormality in the utility pole when the utility pole displayed as an icon is selected.
JP2019543603A 2017-09-25 2018-09-13 Utility pole management system Active JP6845342B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017183899 2017-09-25
JP2017183899 2017-09-25
PCT/JP2018/033995 WO2019059091A1 (en) 2017-09-25 2018-09-13 Utility pole management system

Publications (2)

Publication Number Publication Date
JPWO2019059091A1 true JPWO2019059091A1 (en) 2020-09-24
JP6845342B2 JP6845342B2 (en) 2021-03-17

Family

ID=65809750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019543603A Active JP6845342B2 (en) 2017-09-25 2018-09-13 Utility pole management system

Country Status (2)

Country Link
JP (1) JP6845342B2 (en)
WO (1) WO2019059091A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11879732B2 (en) 2019-04-05 2024-01-23 Ikegps Group Limited Methods of measuring structures
CN110556741B (en) * 2019-08-23 2020-11-06 国网山东省电力公司泗水县供电公司 Foreign matter removing device and method for power transmission line
CN110601066A (en) * 2019-09-26 2019-12-20 国网山东省电力公司莱芜供电公司 Transmission line safety monitoring management system
JP7340484B2 (en) * 2020-03-19 2023-09-07 エヌ・ティ・ティ・コムウェア株式会社 Image judgment device, image judgment method, and program
CN113221733A (en) * 2021-05-10 2021-08-06 国网山东省电力公司鄄城县供电公司 Power equipment monitoring method and device based on night environment and electronic equipment
CN116958826B (en) * 2023-09-21 2023-11-24 河北霞光电力工程集团有限公司 Road side telegraph pole replacement monitoring method, monitoring system, equipment and medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328632A (en) * 2006-06-08 2007-12-20 Chugoku Electric Power Co Inc:The Information providing apparatus
JP2015078849A (en) * 2013-10-15 2015-04-23 日本電信電話株式会社 Facility state detection method and device therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328632A (en) * 2006-06-08 2007-12-20 Chugoku Electric Power Co Inc:The Information providing apparatus
JP2015078849A (en) * 2013-10-15 2015-04-23 日本電信電話株式会社 Facility state detection method and device therefor

Also Published As

Publication number Publication date
WO2019059091A1 (en) 2019-03-28
JP6845342B2 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
JP6845342B2 (en) Utility pole management system
EP3011269B1 (en) Use of overlap areas to optimize bundle adjustment
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
US9300954B2 (en) Surrounding information-obtaining device for working vehicle
US9109889B2 (en) Determining tilt angle and tilt direction using image processing
JP2009068951A (en) Aerial wire controlling system
US20190355148A1 (en) Imaging control device, imaging control method, and program
CN110915202A (en) Guide information display device, crane provided with same, and guide information display method
CN108474653B (en) Three-dimensional measurement device and measurement support processing method thereof
CN115597659A (en) Intelligent safety management and control method for transformer substation
US10445872B2 (en) Machine control measurements device
JP2012083157A (en) Outdoor feature detection system, program for the same, and record media of program for the same
JP2019100985A (en) Three-dimensional information acquisition system
JP2006234703A (en) Image processing device, three-dimensional measuring device, and program for image processing device
JP5514062B2 (en) Electronic device, imaging screen display method with information, and program
JP6368503B2 (en) Obstacle monitoring system and program
JP7437930B2 (en) Mobile objects and imaging systems
KR102506369B1 (en) Wearable device for guidance of construction machinery and method of displaying work informations using the same
JP2019066292A (en) Video display system
US11361419B2 (en) Curb inspection tool
JP7272118B2 (en) Intrusion detection devices, programs and intrusion detection systems
WO2020234912A1 (en) Mobile device, position display method, and position display program
JP2017201281A (en) Automatic collimation method with surveying instrument and automatic collimation device
JP7113997B1 (en) Information processing device, information processing method, and information processing program
EP4220081A1 (en) Surveying information management system, surveying information management method, and surveying information management program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210225

R150 Certificate of patent or registration of utility model

Ref document number: 6845342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250