JP6643441B1 - Photographic inspection support apparatus and its program - Google Patents
Photographic inspection support apparatus and its program Download PDFInfo
- Publication number
- JP6643441B1 JP6643441B1 JP2018189711A JP2018189711A JP6643441B1 JP 6643441 B1 JP6643441 B1 JP 6643441B1 JP 2018189711 A JP2018189711 A JP 2018189711A JP 2018189711 A JP2018189711 A JP 2018189711A JP 6643441 B1 JP6643441 B1 JP 6643441B1
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- article
- image
- photograph
- inspection target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Abstract
【課題】電気通信設備工事の施工完了写真検査で使用される写真を撮影する際の支援装置を提供する。【解決手段】本発明の検査対象物品の写真の撮影を支援するための写真検査支援装置は、被写体の写真の画像から前記被写体が前記検査対象物品であることを推定するための前記検査対象物品の画像を用いた機械学習により得られた学習結果に基づく推定を行い、その推定は、前記被写体のリアルタイムに取得されている画像から前記検査対象物品の画像部分を推定して検出し、検出された前記検査対象物品の前記画像部分が前記検査対象物品に対応するものであることの推定の確信度を算出し、前記確信度を前記検査対象物品の前記画像部分に対応させて表示させる。【選択図】図１An object of the present invention is to provide a support device for taking a photograph used in a photo inspection for completion of construction of a telecommunications facility. A photographic inspection support apparatus for supporting photographing of an object to be inspected according to the present invention includes: The estimation is performed based on the learning result obtained by machine learning using the image of the subject. Calculating an estimated confidence that the image portion of the inspection object corresponds to the inspection object; and displaying the confidence in association with the image portion of the inspection object. [Selection diagram] Fig. 1
Description
本発明は写真検査支援装置に関し、より詳しくは電気通信設備工事の施工完了写真検査で使用される写真を撮影する際の支援装置に関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a photo inspection support device, and more particularly, to a photo inspection support device for taking a photo used in a photo inspection for completion of construction of a telecommunication facility.
電気通信設備工事の請負工事の施工確認における施工完了写真検査においては、検査対象物品の写真を使用した大量の検査が実施されている。写真検査では、施工後の検査対象物品の写真を現場で撮影し、その画像データを検査施設に送信する。検査施設では、画像データを蓄積しており、後日、検査員が画像データを参照し、施工が検査基準に合致していることを確認する。 2. Description of the Related Art A large number of inspections using photographs of articles to be inspected are performed in a photo inspection of a completion of construction in a construction confirmation of a contract construction of a telecommunications facility. In the photo inspection, a photograph of the article to be inspected after construction is taken on site, and the image data is transmitted to the inspection facility. In the inspection facility, the image data is accumulated, and at a later date, the inspector refers to the image data and confirms that the construction conforms to the inspection standard.
検査対象物品は、施工の結果が、適切な形態であることや、適切な取り付け状態であることなどが検査基準に基づいて確認される。そのためには、検査対象物品の形態上の特徴を適切にとらえ、検査対象物品を適切に特定している写真を撮影する必要がある。検査対象物品の物品種別としては、例えば、図７に示すクロージャ、図８に示す支線ガード、図９に示す分線用金物、図１０に示す支柱、図１１に示す電柱番号札などがある。いずれも、形態上の特徴を適切にとらえ、検査対象物品を適切に特定するためには、適切なアングルやズーム比などで撮影する必要がある。そのためには、ユーザに対して写真の撮影時に適切な支援が行われることが望まれる。例えば、現場で撮影した写真が検査に適しているかをその場で判定することができると好都合である。この場合、ユーザは、その場で撮り直しをすることができる。従来は、ぶれのない写真を選択する技術は存在していた。しかし、写真が形態上の特徴を適切にとらえ、検査対象物品を適切に特定しているものであるかどうかを判定する技術は存在しなかった。 The inspection target article is confirmed based on the inspection criteria that the result of the construction is in an appropriate form or in an appropriate mounting state. For that purpose, it is necessary to appropriately capture the morphological characteristics of the inspection target article and take a photograph that appropriately specifies the inspection target article. Examples of the article type of the inspection target article include a closure shown in FIG. 7, a branch line guard shown in FIG. 8, a branching hardware shown in FIG. 9, a pole shown in FIG. 10, and a utility pole number tag shown in FIG. In any case, it is necessary to take an image at an appropriate angle, a zoom ratio, and the like in order to appropriately grasp the morphological features and appropriately specify the inspection target article. For that purpose, it is desired that appropriate support is provided to the user at the time of photographing. For example, it is advantageous to be able to determine on the spot whether a photograph taken on site is suitable for inspection. In this case, the user can take a picture again on the spot. Conventionally, there has been a technique for selecting a photograph without blurring. However, there has been no technique for judging whether or not a photograph appropriately captures morphological features and appropriately specifies an article to be inspected.
写真の判定は目視により実施するものであることによりリアルタイム性がない。検査基準に合致しているかどうかが判定できないような写真が含まれている場合に即時に撮り直しを指示することができないため、撮影し直しが発生している。このように、現場で検査対象物品の施工後の写真を撮影して検査施設に送付しても、直ちに検査されるのではなく、後日、検査を行うものであるため、その際に、写真が検査のためには不適切であったとすると、再び、現場で検査対象物品の施工後の写真を撮影する必要があり、手戻りが発生している。ここで、そのような手戻りを防止するために、人工知能（ＡＩ）に試験データとして使用される写真をリアルタイムに判定させることが考えられる。しかし、そのためには、確実に写真に基づいて検査ができるようにするために、アングルやズーム等を一定の条件下で撮影する必要がある。しかし実際には、撮影者によって撮影のし方にばらつきがあるため、写真を用いてＡＩに検査をさせることは難しかった。本発明は、ＡＩによる物体検出技術を利用することによって現場で写真検査の自動判定を行うことにより、形態上の特徴を適切にとらえた、検査対象物品を適切に特定している信頼性の高い写真の撮影を支援し、検査稼動の削減と、撮り直しの手戻りの削減を行うことを目的とするものである。 Since the judgment of the photograph is performed visually, there is no real-time property. When a photograph that cannot be determined as to whether or not it meets the inspection criteria is included, it is not possible to immediately give an instruction to retake the photograph, so that reshooting has occurred. In this way, even if a photograph of the object to be inspected is taken at the site after construction and sent to the inspection facility, it will not be inspected immediately, but will be inspected at a later date. If it is inappropriate for the inspection, it is necessary to take a photograph of the article to be inspected after construction at the site again, and rework has occurred. Here, in order to prevent such rework, it is conceivable to make the artificial intelligence (AI) determine a photograph used as test data in real time. However, for that purpose, it is necessary to take an image under a certain condition such as an angle and a zoom in order to ensure that the inspection can be performed based on the photograph. However, in practice, it is difficult to have the AI inspect using a photograph because the photographing method varies depending on the photographer. The present invention uses an object detection technology based on AI to automatically determine a photographic inspection on site, thereby appropriately identifying morphological features and appropriately identifying an inspection object. The purpose is to support photographing, reduce the number of inspection operations, and reduce reworking of retakes.
本発明は上記の課題に鑑みてなされたものであり、以下のような特徴を有している。すなわち本発明は、検査対象物品の写真の撮影を支援するための写真検査支援装置であって、被写体の写真の画像から被写体が検査対象物品であることを推定するための検査対象物品の画像を用いた機械学習により得られた学習結果に基づく推定を行い、その推定は、被写体のリアルタイムに取得されている画像から検査対象物品の画像部分を推定して検出し、検出された検査対象物品の画像部分が検査対象物品に対応するものであることの推定の確信度を算出し、確信度を検査対象物品の画像部分に対応させて表示させる、ことを特徴とする。 The present invention has been made in view of the above problems, and has the following features. That is, the present invention is a photo inspection support device for supporting photographing of an object to be inspected, wherein an image of the object to be inspected for estimating that the object is an object to be inspected from an image of a photograph of the object. Estimation based on the learning result obtained by the used machine learning is performed, and the estimation is performed by estimating and detecting the image portion of the inspection target article from the image obtained in real time of the subject, and detecting the detected inspection target article. The method is characterized in that a certainty factor for estimating that the image portion corresponds to the inspection target article is calculated, and the certainty factor is displayed in association with the image portion of the inspection target article.
本発明は、検査対象物品の物品種別に応じたものであり、指定された物品種別に対応する学習結果に基づく推定を行い、検出された検査対象物品の物品種別を画像部分に対応させてさらに表示させる、ように構成できる。本発明は、さらに、所定の期間の被写体の画像を、そのそれぞれに対して算出された確信度と共に蓄積し、確信度が最も高い画像を撮影される写真として選択する、ように構成できる。本発明は、さらに、確信度が、上昇中、下降中、最大値付近、のいずれかの変化状態であることを検出し、検出した状態に対応する情報をさらに表示させる、ように構成できる。本発明は、さらに、確信度が上昇する移動方向を求め、それを表示させる、ように構成できる。 The present invention is based on the article type of the inspection target article, performs estimation based on the learning result corresponding to the specified article type, and further associates the detected article type of the inspection target article with the image portion. To be displayed. The present invention can further be configured to accumulate the images of the subject for a predetermined period together with the certainty factor calculated for each of them, and select the image with the highest certainty factor as a photograph to be taken. The present invention can be further configured to detect that the certainty degree is in a rising state, a falling state, or near a maximum value, and to further display information corresponding to the detected state. The present invention can be further configured to determine the moving direction in which the certainty factor increases, and to display the moving direction.
本発明は、被写体の写真の画像から被写体が検査対象物品であることを推定するための検査対象物品の画像を用いた機械学習により得られた学習結果に基づく推定を行い、その推定は、被写体のリアルタイムに取得されている画像から検査対象物品の画像部分を推定して検出し、検出された検査対象物品の画像部分が検査対象物品に対応するものであることの推定の確信度を算出し、確信度を検査対象物品の画像部分に対応させて表示させる構成を採用したことにより、形態上の特徴を適切にとらえた、検査対象物品を適切に特定している信頼性の高い写真の撮影を支援し、検査稼動の削減と、撮り直しの手戻りの削減を行うことを可能にするという効果を有する。 The present invention performs an estimation based on a learning result obtained by machine learning using an image of an inspection object to estimate that the object is an inspection object from an image of a photograph of the object. Estimating and detecting the image part of the inspection target article from the image acquired in real time, and calculating the confidence of the estimation that the detected image part of the inspection target article corresponds to the inspection target article. By adopting a configuration that displays the degree of certainty in correspondence with the image portion of the inspection target article, taking a highly reliable photograph that appropriately identifies the inspection target article, appropriately capturing the morphological features And it is possible to reduce the number of inspection operations and the number of reworkings.
（写真検査支援装置１００の構成）
これから図面を参照し、本発明の一実施形態である写真検査支援装置１００の説明を行う。写真検査支援装置１００は、ユーザが電気通信設備工事の施工完了写真検査のための写真を撮影する際に使用する装置である。写真検査支援装置１００は、典型的には、カメラ機能を有し、所与のプログラムを実行する機能を有するスマートフォンのような携帯コンピュータ端末である。図１は、写真検査支援装置１００の構成を示すブロック図である。写真検査支援装置１００は、推定部１０１、カメラ１０２、ユーザインタフェイス（Ｉ／Ｆ）１０３、無線通信部１０４から構成される。推定部１０１は、写真検査支援装置１００の推定機能を含む各種の機能を実行するための回路であり、典型的には、プロセッサ１０１ａ、一時メモリ（図示せず）、メモリ１０１ｂがバスで接続されて構成された情報処理回路である。推定部１０１は、典型的には、被写体の写真の画像から被写体が検査対象物品であることを推定するための検査対象物品の画像を用いた機械学習により得られた学習結果に基づく推定を行う。プロセッサ１０１ａはＣＰＵのような演算ユニットである。メモリ１０１ｂは、典型的にはフラッシュＲＯＭのような不揮発メモリであり、そこには写真検査支援プログラム１０１ｃが記憶されている。推定部１０１は、メモリ１０１ｂに記憶された写真検査支援プログラム１０１ｃをプロセッサ１０１ａが読み出して、ＲＡＭのような一時メモリのワークエリアを利用して実行することにより、写真検査支援に関する、被写体の写真の画像からの被写体が検査対象物品であることや検査対象物品の物品種別の推定を含む各種の機能を実現する動作を実行する。本発明による写真検査支援装置１００の特徴的な機能は、写真検査支援プログラム１０１ｃが実行されることにより、そのような機能を実現するモジュールが形成されることにより実現される。メモリ１０１ｂは、また、学習結果データ１０１ｄも記憶している。学習結果データ１０１ｄは、ディープラーニングなどの人工知能（ＡＩ）を多数の写真とその検査結果からなる教師データで学習させた学習結果のデータであり、このデータに基づきＡＩは推定を実施するものである。メモリ１０１ｂは、また、画像・確信度データ１０１ｅも記憶している。画像・確信度データ１０１ｅは、写真検査支援装置１００を使用して写真を撮影中に、撮影した画像や、その画像に基づく推定結果の確信度を一時的に記憶するためのものである。
(Configuration of photo inspection support device 100)
A photographic inspection support apparatus 100 according to an embodiment of the present invention will be described below with reference to the drawings. The photo inspection support device 100 is a device used when a user takes a photo for photo inspection for completion of construction of a telecommunications facility. The photo inspection support apparatus 100 is typically a portable computer terminal such as a smartphone having a camera function and a function of executing a given program. FIG. 1 is a block diagram showing a configuration of the photo inspection support device 100. The photo inspection support device 100 includes an estimation unit 101, a camera 102, a user interface (I / F) 103, and a wireless communication unit 104. The estimating unit 101 is a circuit for executing various functions including an estimating function of the photo inspection support apparatus 100, and typically includes a processor 101a, a temporary memory (not shown), and a memory 101b connected by a bus. This is an information processing circuit configured by: The estimating unit 101 typically performs estimation based on a learning result obtained by machine learning using an image of an inspection target article for estimating that the subject is an inspection target article from an image of a photograph of the subject. . The processor 101a is an arithmetic unit such as a CPU. The memory 101b is typically a non-volatile memory such as a flash ROM, and stores a photo inspection support program 101c. The estimating unit 101 causes the processor 101a to read out the photo inspection support program 101c stored in the memory 101b and execute the program using a work area of a temporary memory such as a RAM. An operation to realize various functions including that the subject from the image is the inspection target article and estimation of the type of the inspection target article is executed. The characteristic functions of the photo inspection support apparatus 100 according to the present invention are realized by executing the photo inspection support program 101c and forming a module that realizes such functions. The memory 101b also stores learning result data 101d. The learning result data 101d is learning result data obtained by learning artificial intelligence (AI) such as deep learning with teacher data including a large number of photographs and inspection results thereof, and the AI performs estimation based on this data. is there. The memory 101b also stores image / certainty degree data 101e. The image / confidence data 101e is for temporarily storing the taken image and the certainty of the estimation result based on the image while taking a photograph using the photo inspection support apparatus 100.
推定部１０１による被写体の写真の画像からの被写体の検査対象物品であることや検査対象物品の物品種別の推定は、人工知能（ＡＩ）によって行われ、典型的には機械学習の技術で実行される。ここでは、深層学習（ディープラーニング）の技術を利用した機械学習を例として説明する。深層学習では、ニューラルネットワークの基本原理を使用しており、典型的には、多数の人工ニューロンの層を多数層重ねたものを利用する。ある層の人工ニューロンは、次の層の人工ニューロンのそれぞれに重み付きシナプスによって接続される。その多数の層は、情報の入力側から、入力層、隠れ層、出力層に分類される。入力層の各人工ニューロンには、通常、被写体の写真の画像の画素ごとのデータが入力される。それが多数の隠れ層において、人工ニューロン間を接続する重み付きシナプスを介して、次の層の人工ニューロンに情報が伝えられることにより、その情報が正しい出力として集束するように構成されている。そのシナプスの重みは、正しい出力が得られるように、多数の検査対象物品の写真の画像と、検査対象物品の物品種別とを教師データとした学習によって更新されることによって生成されたものである。すべての人工ニューロンの全てのシナプスの重みの情報の集合は、学習結果データ１０１ｄにより定義される。出力層には、すべての分類、すなわち検査対象物品の物品種別のそれぞれに対応した出力ノードが準備されている。このような構成により、出力層では、被写体の写真の画像の分類（検査対象物品の物品種別）に対応している出力ノードが高い数値を出力することになり、高い出力を出している出力ノードに対応する検査対象物品の物品種別が推定結果となる。なお、この数値が高いほど、推定結果が正しい可能性が高くなる。従って、この数値に基づき、推定結果が正しい確率を計算することができ、これを推定が正しいことの確信度として使用できる。推定部１０１は、このような深層学習のためのニューラルネットワークが、プロセッサ１０１ａが写真検査支援プログラム１０１ｃを実行することにより、各人工ニューロンの各シナプスの重みが学習結果データ１０１ｄに基づいて定義されてニューラルネットワークを構成することによって、推定の機能を実行することができる。 The estimation unit 101 estimates the subject to be inspected from the photograph image of the subject and the article type of the inspected article by artificial intelligence (AI), and is typically executed by machine learning technology. You. Here, machine learning using the technique of deep learning (deep learning) will be described as an example. In deep learning, the basic principle of a neural network is used, and typically, a multilayer of a large number of artificial neurons is used. Artificial neurons in one layer are connected to each of the artificial neurons in the next layer by weighted synapses. The many layers are classified into an input layer, a hidden layer, and an output layer from the information input side. Normally, data for each pixel of an image of a photograph of a subject is input to each artificial neuron in the input layer. The information is conveyed to artificial neurons in the next layer via weighted synapses connecting the artificial neurons in a large number of hidden layers, so that the information is focused as a correct output. The weight of the synapse is generated by being updated by learning using image data of a large number of inspected articles and the article types of the inspected articles as teacher data so that correct outputs can be obtained. . A set of information on the weights of all the synapses of all the artificial neurons is defined by the learning result data 101d. In the output layer, output nodes corresponding to all the classifications, that is, the respective product types of the inspection target product are prepared. With such a configuration, in the output layer, the output node corresponding to the classification of the image of the photograph of the subject (article type of the inspection target article) outputs a high numerical value, and the output node that outputs a high output Is the estimation result of the article type of the inspection target article corresponding to. Note that the higher the numerical value, the higher the possibility that the estimation result is correct. Therefore, based on this numerical value, the probability that the estimation result is correct can be calculated, and this can be used as a certainty that the estimation is correct. The estimating unit 101 determines that the neural network for such deep learning is such that the weight of each synapse of each artificial neuron is defined based on the learning result data 101d by the processor 101a executing the photo inspection support program 101c. By configuring a neural network, an estimation function can be performed.
カメラ１０２は、被写体を撮影して画像データを生成する構成である。写真検査支援装置１００がスマートフォンである場合は、スマートフォン本体に内蔵されているカメラが使用される。カメラ１０２は、撮影中は、写真検査支援装置１００のディスプレイに、撮影時に撮像素子がとらえている画像をモニタのために表示させる機能を有している。ユーザＩ／Ｆ １０３は、ユーザから操作指示やデータの入力などの情報入力を行うためのタッチパネル類及びそれらを駆動する回路や、ユーザに対してデータの表示などの情報出力を行うためのディスプレイ及びそれらを駆動する回路などの、ユーザとの間で情報の入出力を行うための回路である。 The camera 102 is configured to photograph a subject and generate image data. When the photo inspection support apparatus 100 is a smartphone, a camera built in the smartphone body is used. The camera 102 has a function of displaying, on a display of the photo inspection support apparatus 100, an image captured by the image sensor at the time of shooting for monitoring on a monitor during shooting. The user I / F 103 includes touch panels for inputting information such as operation instructions and data from the user, circuits for driving them, and a display for outputting information such as data display to the user. This is a circuit for inputting and outputting information to and from a user, such as a circuit for driving them.
写真検査支援装置１００は、外部のネットワークと接続し、ネットワーク上にある資源を利用することもできる。図２は、写真検査支援装置１００と接続されるシステムの構成を示す概要構成図である。図２には、写真検査支援装置１００は、基地局１２０を介してインターネットに接続することができ、インターネット上の写真検査支援サーバ１１０や写真検査施設サーバ１１５に接続されることが示されている。無線通信部１０４は、基地局１２０を介して携帯電話網のような外部のネットワークと無線によりデータ通信するための回路であり、それによってインターネットにアクセスすることを可能とするものである。無線通信部１０４は、典型的には、アンテナ、高周波回路、データ処理回路などを含む回路である。写真検査支援装置１００は、無線通信部１０４によりインターネットを経由して所定の機能を提供するサーバにアクセスすることができる。写真検査支援サーバ１１０は、写真検査支援装置１００のための学習結果データ１０１ｄを生成するためのサーバである。また、写真検査支援サーバ１１０は、写真検査支援プログラム１０１ｃによる機能の一部を実行してもよい。写真検査施設サーバ１１５は、写真検査のために現場で撮影された写真の画像データを写真検査支援装置１００から収集して蓄積するためのサーバである。検査員は、ここに蓄積された写真の画像データを使用して、施工後の検査対象物品が検査基準に合致しているかどうかを確認する。 The photo inspection support apparatus 100 can also connect to an external network and use resources on the network. FIG. 2 is a schematic configuration diagram illustrating a configuration of a system connected to the photo inspection support apparatus 100. FIG. 2 shows that the photo inspection support apparatus 100 can be connected to the Internet via the base station 120 and is connected to the photo inspection support server 110 and the photo inspection facility server 115 on the Internet. . The wireless communication unit 104 is a circuit for performing wireless data communication with an external network such as a mobile phone network via the base station 120, and thereby enables access to the Internet. The wireless communication unit 104 is typically a circuit including an antenna, a high-frequency circuit, a data processing circuit, and the like. The photo inspection support apparatus 100 can access a server providing a predetermined function via the Internet by the wireless communication unit 104. The photo inspection support server 110 is a server for generating the learning result data 101d for the photo inspection support device 100. Further, the photo inspection support server 110 may execute some of the functions of the photo inspection support program 101c. The photo inspection facility server 115 is a server for collecting and accumulating image data of photos taken on site for photo inspection from the photo inspection support device 100. The inspector uses the image data of the photographs stored here to check whether or not the inspection target article after the installation conforms to the inspection standard.
推定部１０１で使用される学習結果データ１０１ｄは、好適には、写真検査支援サーバ１１０で事前に準備される。すなわち、学習結果データ１０１ｄは、それを生成するためには非常に大きな計算リソースを必要とするため、好適には、写真検査支援装置１００の外部の写真検査支援サーバ１１０で事前に生成され、写真検査支援装置１００に読み込まれる。そのために、写真検査支援サーバ１１０では、電気通信設備工事の施工完了を確認するために現場で撮影された複数の写真のデータを用いた機械学習が実施され、その学習結果である学習結果データ１０１ｄが生成される。写真検査支援サーバ１１０では、推定部１０１が含むニューラルネットワークと同じ構造のニューラルネットワークが、それに含まれるプロセッサが所定のプログラムを実行することにより構成されている。写真検査支援サーバ１１０のニューラルネットワークは、教師あり学習を実行することができるように構成されている。教師あり学習を実行するためには、まず、形態上の特徴を適切にとらえた多数の検査対象物品の写真が検査対象物品の物品種別ごとに収集して準備される。そして、それぞれの検査対象物品の写真と、その写真が対応する検査対象物品の物品種別との組を教師データとして、ニューラルネットワークに学習させ、各人工ニューロンの各シナプスの重みを更新する作業を繰り返す。学習は、好適には、検査対象物品の物品種別に応じて実行され、この学習結果を使用することにより、検査対象物品の物品種別まで推定することが可能となる。この学習により、検査対象物品の写真をニューラルネットワークの入力とした場合に、その写真が表わす正しい検査対象物品の物品種別に対応する出力層のノードの数値が高くなるような推定を行うように、ニューラルネットワークの各人工ニューロンの各シナプスの重みが調整される。ニューラルネットワークの各人工ニューロンの各シナプスの重みを定義するデータは学習結果データ１０１ｄとしてエクスポートが可能である。このように、写真検査支援サーバ１１０では、事前の学習により、正しい推定を行うように調整された学習結果データ１０１ｄを準備する。写真検査支援装置１００は、基地局１２０を介してインターネット上の写真検査支援サーバ１１０に最新の学習結果データ１０１ｄを要求し、写真検査支援サーバ１１０がその要求に応答して学習結果データ１０１ｄを写真検査支援装置１００に送信する。写真検査支援装置１００は、その最新の学習結果データ１０１ｄをメモリ１０１ｂに記憶する。これにより、推定部１０１は、その最新の学習結果データ１０１ｄに基づいたニューラルネットワークを利用した深層学習により、被写体の写真の画像から、それに対応する検査対象物品の物品種別の推定を行うことができるようになる。 The learning result data 101d used by the estimating unit 101 is preferably prepared in advance by the photo inspection support server 110. That is, since the learning result data 101d requires a very large calculation resource to generate the learning result data 101d, the learning result data 101d is preferably generated in advance by the photo inspection support server 110 outside the photo inspection support device 100, It is read into the inspection support apparatus 100. For this purpose, the photo inspection support server 110 performs machine learning using data of a plurality of photographs taken on site to confirm the completion of the construction of the telecommunications equipment work, and learning result data 101d which is the learning result. Is generated. In the photo inspection support server 110, a neural network having the same structure as the neural network included in the estimating unit 101 is configured by a processor included therein executing a predetermined program. The neural network of the photo inspection support server 110 is configured to be able to execute supervised learning. In order to execute the supervised learning, first, photographs of a large number of inspection target articles appropriately capturing morphological characteristics are collected and prepared for each article type of the inspection target articles. Then, a set of a photograph of each inspection target article and an article type of the inspection target article corresponding to the photograph is used as teacher data to train the neural network and update the weight of each synapse of each artificial neuron. . The learning is preferably performed in accordance with the type of the article to be inspected, and by using the learning result, it is possible to estimate even the type of the article to be inspected. By this learning, when the photograph of the inspection target article is input to the neural network, the estimation is performed such that the value of the node of the output layer corresponding to the article type of the correct inspection target article represented by the photograph becomes higher. The weight of each synapse of each artificial neuron of the neural network is adjusted. Data defining the weight of each synapse of each artificial neuron of the neural network can be exported as learning result data 101d. As described above, the photo inspection support server 110 prepares the learning result data 101d adjusted so as to perform correct estimation by prior learning. The photo inspection support apparatus 100 requests the latest learning result data 101d from the photo inspection support server 110 on the Internet via the base station 120, and the photo inspection support server 110 converts the learning result data 101d into a photograph in response to the request. It is transmitted to the inspection support apparatus 100. The photo inspection support apparatus 100 stores the latest learning result data 101d in the memory 101b. Accordingly, the estimating unit 101 can estimate the type of the inspection target article corresponding to the subject image from the photograph image of the subject by the deep learning using the neural network based on the latest learning result data 101d. Become like
（写真検査支援装置１００の動作）
これから図面を参照して写真検査支援装置１００の動作について説明する。図３は、写真検査支援装置１００の動作フロー図である。写真検査支援装置１００は、検査対象物品の写真の撮影を支援するための写真検査支援装置である。まず、写真検査支援装置１００は、被写体の写真の画像から被写体が検査対象物品であることや検査対象物品の物品種別を推定するための推定部１０１を有しているが、推定部１０１は、検査対象物品の画像を用いた機械学習により得られた学習結果データ１０１ｄに基づき推定を行うものである。学習結果データ１０１ｄは、好適には、写真検査支援サーバ１１０で学習により事前に生成され、写真検査支援装置１００に読み込まれる。写真検査支援サーバ１１０では、継続的に学習を行って学習結果データ１０１ｄを更新することができ、その場合、写真検査支援装置１００は、最新の学習結果データ１０１ｄを写真検査支援サーバ１１０に要求して、それを取得しておく。
(Operation of the photo inspection support device 100)
The operation of the photo inspection support device 100 will now be described with reference to the drawings. FIG. 3 is an operation flowchart of the photo inspection support apparatus 100. The photo inspection support device 100 is a photo inspection support device for assisting in taking a photograph of an inspection target article. First, the photo inspection support apparatus 100 includes an estimating unit 101 for estimating that the subject is an inspection target article and an article type of the inspection target article from an image of a photograph of the subject. The estimation is performed based on learning result data 101d obtained by machine learning using an image of the inspection target article. The learning result data 101d is preferably generated in advance by learning in the photo inspection support server 110 and read into the photo inspection support device 100. The photo inspection support server 110 can continuously perform learning to update the learning result data 101d. In this case, the photo inspection support device 100 requests the latest learning result data 101d from the photo inspection support server 110. And get it.
現場の工事施工者は、施工後の検査対象物品の写真を撮影するために、写真検査支援装置１００のカメラ１０２を起動し、検査対象物品を被写体としてカメラ１０２の視野に入れる。これにより、被写体のリアルタイムの画像が取得される。推定部１０１は、被写体のリアルタイムに取得されている画像から検査対象物品の画像部分を推定して検出する（ステップＳ１０１）。なお、この際に、その画像部分の分類、すなわちその画像部分が表わす検査対象物品の物品種別を推定してもよい。具体的には、写真検査支援装置１００は、カメラ１０２が出力している被写体のリアルタイムの画像を推定部１０１のニューラルネットワークに入力し、その出力層のいずれかのノードの数値が高くなることを検出する。典型的には、まず、画像の中から物品の領域の候補の画像部分を連続的に抽出し、それをニューラルネットワークに入力する。そしてある出力ノードの数値が高くなれば、その画像部分には、学習で使用された検査対象物品の画像に近い画像が含まれているということであり、検査対象物品のいずれかの物品がそこに存在すると推定されて検出されたことになる。出力ノードの数値に対しては、適切な閾値を設定することにより、検査対象物品の画像の推定を適切に行うことができる。また、その出力ノードが対応している検査対象物品の物品種別が推定された物品種別となる。ここで、出力ノードが高くなる画像部分が複数存在すれば、そのすべてを検査対象物品が存在するものとして検出してもよく、そのすべてに対して検査対象物品の物品種別を推定してもよい。また、物品の領域の候補の画像部分を抽出することを行わずに、ニューラルネットワークで物品の領域の抽出を行わせてもよい。 The construction builder at the site activates the camera 102 of the photo inspection support apparatus 100 to take a picture of the inspection target article after the construction, and puts the inspection target article into the field of view of the camera 102 as a subject. Thereby, a real-time image of the subject is obtained. The estimating unit 101 estimates and detects an image portion of an inspection target article from an image of a subject that is acquired in real time (step S101). At this time, the classification of the image part, that is, the article type of the inspection target article represented by the image part may be estimated. Specifically, the photo inspection support apparatus 100 inputs the real-time image of the subject output from the camera 102 to the neural network of the estimating unit 101, and determines that the numerical value of any node in the output layer increases. To detect. Typically, first, an image portion of a candidate for a region of an article is continuously extracted from an image, and the extracted image portion is input to a neural network. If the numerical value of a certain output node becomes high, it means that the image portion includes an image close to the image of the inspection target article used in the learning, and any of the inspection target articles That is, it is presumed to be present and detected. By setting an appropriate threshold value for the numerical value of the output node, the image of the inspection target article can be appropriately estimated. Further, the article type of the inspection target article corresponding to the output node is the estimated article type. Here, if there are a plurality of image portions where the output node is high, all of them may be detected as the existence of the inspection target article, and the article type of the inspection target article may be estimated for all of them. . Further, the extraction of the article area may be performed by a neural network without extracting the image part of the article area candidate.
次に、推定部１０１は、検出された検査対象物品の画像部分が、その検査対象物品に対応することの推定の確信度を算出する（ステップＳ１０２）。具体的には、推定部１０１は、検査対象物品が存在すると推定した画像部分が入力とされたときの出力ノードの数値に基づき、推定の確信度を算出する。出力ノードの数値が高いほど推定の確信度は高くなるが、それの対応付けを適切に行うことにより、確信度を算出する。 Next, the estimating unit 101 calculates a certainty factor of estimation that the detected image portion of the inspection target article corresponds to the inspection target article (step S102). Specifically, the estimating unit 101 calculates the certainty factor of the estimation based on the numerical value of the output node when the image portion in which it is estimated that the inspection target article exists is input. The higher the numerical value of the output node is, the higher the certainty factor of the estimation is. The certainty factor is calculated by appropriately associating it.
次に、推定部１０１は、算出された確信度を、それが対応する検査対象物品の画像部分に対応させて表示する（ステップＳ１０３）。図４は、検査対象物品に対応する画像部分と確信度の表示画面の例である。表示の際には、検査対象物品が存在することが検出された画像部分の領域が、例えば、四角形の枠で囲むことによって強調表示されると好適である。そしてその画像部分が検査対象物品であることの確信度がその領域に対応させて表示される。画像部分の領域を強調表示せずに、確信度だけを画像中の検査対象物品の近傍などに表示してもよい。これにより、検査対象物品として推定されたものの存在と、その推定の確信度をユーザに対して表示できる。そして、さらに好適には、検出された検査対象物品の物品種別がその画像部分の領域に対応させて表示される。図４の例では、物品種別と確信度の組み合わせとして、「分配金物」と「８５％」、「引留金物」と「７０％」、「引留金物」と「７５％」、「メッセンジャワイヤ」と「６０％」が表示されている。また、この例では、物品種別名の前に、検出された物品種別毎に一連番号を付与して表示している。これにより、ユーザは検出された物品種別の数を簡単に確認することができる。 Next, the estimating unit 101 displays the calculated certainty factor in association with the image portion of the inspection object corresponding to the calculated certainty factor (step S103). FIG. 4 is an example of a display screen of an image portion corresponding to an inspection target article and a certainty factor. At the time of display, it is preferable that the region of the image portion where the presence of the inspection target article is detected is highlighted by, for example, surrounding it with a rectangular frame. Then, the degree of certainty that the image portion is the inspection target article is displayed in association with the area. Instead of highlighting the image area, only the certainty factor may be displayed in the vicinity of the inspection target article in the image. Thereby, the existence of the article estimated as the inspection target article and the certainty of the estimation can be displayed to the user. More preferably, the detected product type of the inspection target product is displayed in association with the area of the image portion. In the example of FIG. 4, as a combination of the article type and the certainty factor, “distributed hardware” and “85%”, “acquired hardware” and “70%”, “acquired hardware” and “75%”, and “messenger wire” “60%” is displayed. In this example, a serial number is assigned to each detected product type before the product type name and displayed. Thereby, the user can easily confirm the number of detected article types.
このように、ユーザは、リアルタイムで検査対象物品が検出されていることを写真検査支援装置１００の画面で確認できる。検査対象物品の物品種別が正しく推定されて表示されており、その確信度が高ければ、その状態で撮影した検査対象物品の写真は、検査対象物品の形態上の特徴などを適切にとらえた、検査対象物品を適切に特定している画像となっており、検査施設に送られたときに、検査基準に合致しているかどうかが確実に検査されることが期待される。写真検査支援装置１００は、カメラ１０２のシャッターを押すことにより任意のタイミングで写真を撮影して画像データとして記録することができる。ユーザは、確信度が高い状態でシャッターを押すことにより、検査施設で確実に検査される可能性が高い写真を撮影できる。なお、撮影した写真の画像データのファイルには、撮影日時、確信度、ＧＰＳ情報、物品種別などの情報をＥｘｉｆ情報などとして含ませると好適である。また、そのような情報を、ファイル名の一部とすることも可能である。そのような情報は検査の際に写真撮影の状況を確認するために使用することができる。撮影された写真は、インターネットを通じて写真検査施設サーバ１１５に送られ、そこに蓄積された後に、検査員によって検査される。 Thus, the user can confirm on the screen of the photo inspection support apparatus 100 that the inspection target article is detected in real time. The article type of the inspection target article is correctly estimated and displayed, and if the confidence is high, the photograph of the inspection target article taken in that state appropriately captures the morphological characteristics of the inspection target article, It is an image that specifies the inspection object properly, and it is expected that when sent to an inspection facility, it will be surely inspected whether it meets the inspection standards. The photo inspection support apparatus 100 can take a photo at an arbitrary timing by pressing the shutter of the camera 102 and record the photo as image data. By pressing the shutter with a high degree of certainty, the user can take a photograph that is highly likely to be reliably inspected at the inspection facility. It is preferable that the file of the image data of the photographed photograph include information such as photographing date and time, certainty factor, GPS information, and article type as Exif information. Also, such information can be part of the file name. Such information can be used to check the status of the photography during the inspection. The photographed image is sent to the photo inspection facility server 115 via the Internet, stored therein, and then inspected by an inspector.
（写真検査支援装置１００の追加的撮影支援機能）
上述のステップＳ１０１からＳ１０３により、写真検査支援装置１００によって、現場のユーザに対して、適切な写真の撮影ができるような支援が提供される。ここで、写真検査支援装置１００は、さらに追加的な機能を実行することによって、ユーザに対してより強化された撮影の支援を行うことができる。これから、３つの追加的撮影支援機能を例にして説明する。
(Additional photographing support function of photo inspection support device 100)
Through the above-described steps S101 to S103, the photo inspection support device 100 provides a user at the site with support for taking an appropriate photo. Here, the photo inspection support apparatus 100 can further enhance the photographing support for the user by executing additional functions. Hereinafter, three additional shooting support functions will be described as examples.
第１の追加的撮影支援機能は、確信度の最も高い写真の自動撮影機能によるものである。ここでは、まず、推定部１０１は、所定の期間の被写体の画像を、そのそれぞれに対して算出された確信度と共に、画像・確信度データ１０１ｅとして蓄積する（ステップＳ１０４）。なお、複数の検査対象物品を検出対象としている場合は、そのそれぞれに対応する複数の確信度を蓄積することもできる。カメラ１０２は、シャッターが押されたときだけに写真の画像データを記録するのではなく、ビデオのように、連続的に写真の画像データを画像・確信度データ１０１ｅとして記録している。推定部１０１は、所定の期間が経過しているかの判断を実行し（ステップＳ１０５）、所定の期間が経過していなければ、１つの写真の画像データを記録すると、ステップＳ１０１からステップＳ１０３を実行させ、検査対象物品の画像部分をリアルタイムで推定して検出するとともに、その推定の確信度を算出して、検査対象物品の画像部分に対応させて表示させ続ける。そして次の写真の画像データを記録し、所定の期間が経過しているかの判断を実行し（ステップＳ１０５）、所定の期間が経過していなければ、また、ステップＳ１０１からステップＳ１０３を反復実行させる。このようなループが所定の期間が経過するまで実行される。所定の期間としては、例えば１０秒のように一定の期間としてもいいし、確信度が最大値を迎えた時を検出して、それまでの期間を所定の期間とすることもできる。この処理により、所定の期間内においては、カメラ１０２はビデオのように被写体を連続的に撮影しながら、検査対象物品の画像部分の検出と、推定の確信度の算出と記録が同じく連続的に実行される。そして、推定部１０１は、所定の期間が経過した後に、確信度が最も高い画像を特定し、それを撮影される写真として選択し、その画像イメージを記録する（ステップＳ１０６）。この第１の追加的撮影支援機能によって、ユーザは、所定の期間内でアングルなどを適当に変化させると、その中で最も確信度が高い写真の画像イメージを自動的に選択して記録することができる。複数の検査対象物品を検出対象としている場合は、そのそれぞれに対して、最も確信度が高い写真の画像イメージが記録されることになる。 The first additional photographing support function is based on an automatic photographing function of a photograph having the highest certainty. Here, first, the estimating unit 101 accumulates the image of the subject for a predetermined period together with the confidence calculated for each of the images as image / confidence data 101e (step S104). When a plurality of articles to be inspected are to be detected, a plurality of certainty factors corresponding to the respective articles can be accumulated. The camera 102 does not record the image data of the photograph only when the shutter is pressed, but continuously records the image data of the photograph as image / confidence data 101e like a video. The estimating unit 101 determines whether a predetermined period has elapsed (step S105). If the predetermined period has not elapsed, and the image data of one photograph is recorded, the estimating unit 101 executes steps S101 to S103. Then, the image portion of the inspection target article is estimated and detected in real time, the certainty of the estimation is calculated, and the image portion of the inspection target article is continuously displayed in correspondence with the image portion. Then, the image data of the next photograph is recorded, and it is determined whether a predetermined period has elapsed (step S105). If the predetermined period has not elapsed, steps S101 to S103 are repeatedly executed. . Such a loop is executed until a predetermined period elapses. The predetermined period may be a fixed period such as 10 seconds, for example, or a period when the certainty factor reaches a maximum value and the period up to that time may be set as the predetermined period. By this processing, within a predetermined period, the camera 102 continuously captures the subject like a video, and the detection of the image portion of the inspection object article and the calculation and recording of the estimated certainty are also continuously performed. Be executed. Then, after the elapse of the predetermined period, the estimating unit 101 specifies the image with the highest certainty factor, selects it as a photograph to be taken, and records the image (step S106). According to the first additional photographing support function, the user can automatically select and record the image of the photograph having the highest certainty when the angle or the like is appropriately changed within a predetermined period. Can be. When a plurality of articles to be inspected are to be detected, an image of a photograph having the highest degree of certainty is recorded for each of them.
第２の追加的撮影支援機能は、確信度の変化状態をガイドとして表示する機能によるものである。ここでは、推定部１０１は、確信度が、上昇中、下降中、最大値付近、のいずれかの変化状態であるかを検出し、検出した状態に対応する情報をさらに画面に表示させる（ステップＳ１０４Ａ）。図５は、確信度の変化状態の表示画面の例である。図５では、「上昇中」であることがメッセージで表示されている。図５の「上昇中」のメッセージの直後には、括弧書きで、「下降中」の場合と「最大」の場合のガイド文字の例が示されている。確信度の変化状態は、少し前の時間からの確信度を連続的に記録しておき、前の確信度と現在の確信度の差分を計算することにより判断することができる。最大値付近であることは、変化状態が、上昇中から下降中に変化したことを検出することによって判断できる。検査対象物品が複数検出されている場合は、表示させる確信度は、好適には、検出された検査対象物品を画面上でタッチすることによって選択させ、その検査対象物品に対するものとすると好適である。他には、検出されたすべての検査対象物品に対応させて複数の変化状態をガイドとして表示させることなども可能である。ある時点の変化状態を検出、表示した後には、ステップＳ１０１からステップＳ１０３を反復実行させ、検査対象物品の画像部分をリアルタイムで推定して検出するとともに、その推定の確信度を算出して、検査対象物品の画像部分に対応させて表示させ、さらにステップＳ１０４Ａを続けて実行する。このようなループが、中断の指示が入力されるまで実行される。この第２の追加的撮影支援機能によって、ユーザは、アングルなどを変化させた場合に、確信度がどのように変化しているのかを直感的に知ることができ、適切なアングルにカメラ１０２を移動させる動作を容易に行うことができる。 The second additional photographing support function is based on a function of displaying a change state of the certainty factor as a guide. Here, the estimating unit 101 detects whether the certainty factor is in a rising state, a falling state, or near the maximum value, and displays information corresponding to the detected state on the screen (step S1). S104A). FIG. 5 is an example of a display screen of the change state of the certainty factor. In FIG. 5, the message "rising" is displayed by a message. Immediately after the message "rising" in FIG. 5, examples of guide characters in the case of "falling" and the case of "maximum" are shown in parentheses. The change state of the certainty factor can be determined by continuously recording the certainty factor from a time immediately before and calculating the difference between the previous certainty factor and the current certainty factor. The vicinity of the maximum value can be determined by detecting that the change state has changed from ascending to descending. When a plurality of inspection target articles are detected, the certainty degree to be displayed is preferably selected by touching the detected inspection target article on the screen, and is preferably set for the inspection target article. . Alternatively, it is also possible to display a plurality of change states as guides in correspondence with all detected articles to be inspected. After the change state at a certain point is detected and displayed, steps S101 to S103 are repeatedly executed to estimate and detect the image portion of the inspection object in real time, calculate the certainty factor of the estimation, and perform the inspection. The image is displayed in association with the image portion of the target article, and step S104A is continuously executed. Such a loop is executed until an interruption instruction is input. With this second additional shooting support function, the user can intuitively know how the certainty degree changes when the angle or the like is changed, and set the camera 102 to an appropriate angle. The movement operation can be easily performed.
第３の追加的撮影支援機能は、確信度が上昇するような写真検査支援装置１００の移動方向をガイドとして表示する機能によるものである。ここでは、推定部１０１は、確信度が上昇する移動方向を求め、それを画面に表示させる（ステップＳ１０４Ｂ）。図６は、確信度が上昇する移動方向を示す表示画面の例である。図６では、「移動方向」として「右」が提示されていることが、右向きの三角形のシンボルで示されている。確信度が上昇する方向は、例えば、次のようにして求めることができる。写真検査支援装置１００は、６軸センサのような姿勢や動きを感知するセンサを備えており、常に、現在の写真検査支援装置１００の移動方向を把握している。検査対象物品の確信度が上昇している場合は、現在の移動方向を継続すれば確信度の上昇が予想されるため、検出している現在の移動方向を提示する。逆に、検査対象物品の確信度が下降している場合は、現在の移動方向の逆方向に移動させれば確信度の上昇が予想されるため、検出している現在の移動方向と逆の移動方向を提示する。また、検査対象物品の確信度が上昇から下降に移行した直後の場合は、確信度は最大値であることが予想されるため、いずれの移動方向も提示しない。なお、このとき、最大値であることを表示してもよい。ある時点での確信度が上昇する移動方向を求め、それを画面に表示させた後には、ステップＳ１０１からステップＳ１０３を反復実行させ、検査対象物品の画像部分をリアルタイムで推定して検出するとともに、その推定の確信度を算出して、検査対象物品の画像部分に対応させて表示させ、さらにステップＳ１０４Ｂを続けて実行する。このようなループが、中断の指示が入力されるまで実行される。この第３の追加的撮影支援機能によって、ユーザは、どのように写真検査支援装置１００のカメラ１０２を移動させれば、確信度を上昇させることができるのかのガイドを受けることができ、適切なアングルなどにカメラ１０２を移動させる動作を容易に行うことができる。 The third additional photographing support function is based on a function of displaying, as a guide, the moving direction of the photo inspection support apparatus 100 that increases the degree of certainty. Here, the estimating unit 101 obtains a moving direction in which the certainty factor increases, and displays the moving direction on the screen (step S104B). FIG. 6 is an example of a display screen showing a moving direction in which the degree of certainty increases. In FIG. 6, the fact that “right” is presented as the “movement direction” is indicated by a right-pointing triangle symbol. The direction in which the degree of certainty increases can be determined, for example, as follows. The photo inspection support apparatus 100 includes a sensor that senses a posture or a movement such as a six-axis sensor, and always grasps the current moving direction of the photo inspection support apparatus 100. When the certainty factor of the inspection target article is increasing, if the current moving direction is continued, the certainty factor is expected to increase. Therefore, the detected current moving direction is presented. Conversely, if the certainty of the inspection target article is falling, the certainty is expected to increase if the object is moved in the opposite direction to the current moving direction. Indicate the direction of movement. In addition, when the certainty of the article to be inspected is immediately after the certainty shifts from rising to falling, the certainty is expected to be the maximum value. At this time, it may be displayed that the value is the maximum value. After obtaining a moving direction in which the certainty factor at a certain point increases and displaying the moving direction on the screen, steps S101 to S103 are repeatedly executed to estimate and detect the image portion of the inspection object in real time, The degree of certainty of the estimation is calculated and displayed in correspondence with the image portion of the inspection target article, and step S104B is subsequently executed. Such a loop is executed until an interruption instruction is input. This third additional shooting support function allows the user to receive a guide on how to move the camera 102 of the photo inspection support apparatus 100 to increase the certainty factor, and The operation of moving the camera 102 to an angle or the like can be easily performed.
なお、第１の追加的撮影支援機能、第２の追加的撮影支援機能、第３の追加的撮影支援機能は、任意に組み合わせて実行することができる。例えば、第２の追加的撮影支援機能と第３の追加的撮影支援機能とを実行する場合は、図３の動作フロー図において、ステップＳ１０４Ａの後にステップＳ１０４Ｂを実行すればよい。この場合の画面の表示は、図５の変化状態の表示と、図６の移動方向の表示とを、例えば並べて表示すればよい。また、第１の追加的撮影支援機能、第２の追加的撮影支援機能、第３の追加的撮影支援機能のすべてを実行する場合は、図３の動作フロー図において、ステップＳ１０４の後にステップＳ１０４Ａ及びステップＳ１０４Ｂを実行すればよい。この場合の画面の表示は、図５の変化状態の表示と、図６の移動方向の表示とを、例えば並べて表示すればよい。第１の追加的撮影支援機能に対して、第２の追加的撮影支援機能及び／又は第３の追加的撮影支援機能を同時に実行した場合は、ユーザは適切なガイドを受けて適切なアングルなどにカメラ１０２を移動させると同時に、確信度が高い写真の画像イメージを自動的に記録することができる。 The first additional shooting support function, the second additional shooting support function, and the third additional shooting support function can be executed in any combination. For example, when executing the second additional shooting support function and the third additional shooting support function, in the operation flowchart of FIG. 3, step S104B may be executed after step S104A. In this case, the display of the screen may be such that the display of the change state in FIG. 5 and the display of the moving direction in FIG. 6 are displayed side by side, for example. When executing all of the first additional shooting support function, the second additional shooting support function, and the third additional shooting support function, after the step S104 in the operation flowchart of FIG. And step S104B may be executed. In this case, the display of the screen may be such that the display of the change state in FIG. 5 and the display of the moving direction in FIG. 6 are displayed side by side, for example. When the second additional shooting support function and / or the third additional shooting support function are simultaneously executed with respect to the first additional shooting support function, the user receives an appropriate guide and receives an appropriate angle or the like. At the same time as moving the camera 102, a picture image of a photograph having a high degree of certainty can be automatically recorded.
本発明は、電気通信設備工事の請負工事の施工確認における施工完了写真検査のための写真撮影のガイドを提供することができるスマートフォンのような携帯端末装置や、そのためのアプリケーションプログラムを提供することに利用することができる。 The present invention is to provide a mobile terminal device such as a smart phone capable of providing a guide for taking a photograph for a construction completion photograph inspection in a construction confirmation of a contract work of a telecommunications facility construction and an application program therefor. Can be used.
１００ ：写真検査支援装置
１０１ ：推定部
１０１ａ ：プロセッサ
１０１ｂ ：メモリ
１０１ｃ ：写真検査支援プログラム
１０１ｄ ：学習結果データ
１０１ｅ ：確信度データ
１０２ ：カメラ
１０３ ：ユーザインタフェイス（Ｉ／Ｆ）
１０４ ：無線通信部
１１０ ：写真検査支援サーバ
１１５ ：写真検査施設サーバ
１２０ ：基地局
100: photo inspection support device 101: estimating unit 101a: processor 101b: memory 101c: photo inspection support program 101d: learning result data 101e: certainty data 102: camera 103: user interface (I / F)
104: Wireless communication unit 110: Photo inspection support server 115: Photo inspection facility server 120: Base station
Claims (6)
被写体の写真の画像から前記被写体が前記検査対象物品であることを推定するための、電気通信設備工事の施工完了を確認するために現場で撮影された、前記検査対象物品の物品種別ごとの形態上の特徴を適切にとらえた多数の画像を用いた機械学習により得られた学習結果に基づく推定を行う推定部、を有し、
前記推定部は、
前記被写体のリアルタイムに取得されている画像から前記検査対象物品の画像部分を推定して検出し、
検出された前記検査対象物品の前記画像部分が前記検査対象物品に対応するものであることの推定の確信度を算出し、
前記確信度を前記検査対象物品の前記画像部分に対応させて表示させ、
指定された前記物品種別に対応する前記学習結果に基づく推定を行い、
検出された前記検査対象物品の前記物品種別を前記画像部分に対応させてさらに表示させる、
ことを特徴とする写真検査支援装置。 A photograph inspection support device for supporting photographing of an object to be inspected,
A form for each article type of the article to be inspected , which is photographed on site to confirm the completion of the telecommunications equipment construction for estimating that the object is the article to be inspected from an image of a photograph of the object An estimating unit that performs estimation based on a learning result obtained by machine learning using a large number of images appropriately capturing the above features ,
The estimating unit includes:
Estimating and detecting the image portion of the inspection target article from the image obtained in real time of the subject,
Calculate the certainty of the estimation that the detected image portion of the inspection target article corresponds to the inspection target article,
The confidence factor is displayed in association with the image portion of the inspection target article ,
Estimate based on the learning result corresponding to the specified article type,
The article type of the detected inspection object article is further displayed in association with the image portion,
A photograph inspection support device characterized by the above-mentioned.
ことを特徴とする請求項１に記載の写真検査支援装置。The photograph inspection support apparatus according to claim 1, wherein:
ことを特徴とする請求項１又は２に記載の写真検査支援装置。 The estimating unit further accumulates the images of the subject for a predetermined period together with the certainty factors calculated for the respective images, and selects the image with the highest certainty factor as a photograph to be taken.
The photograph inspection support apparatus according to claim 1 or 2, wherein:
ことを特徴とする請求項１から３のいずれか１項に記載の写真検査支援装置。 The estimating unit further detects that the certainty factor is rising, falling, near the maximum value, or any of the change states, and further displays information corresponding to the detected state.
The photographic inspection support apparatus according to claim 1, wherein:
ことを特徴とする請求項１から４のいずれか１項に記載の写真検査支援装置。 The estimation unit further obtains a moving direction in which the certainty factor increases, and displays the moving direction.
The photographic inspection support apparatus according to any one of claims 1 to 4, wherein:
被写体の写真の画像から前記被写体が前記検査対象物品であることを推定するための、電気通信設備工事の施工完了を確認するために現場で撮影された、前記検査対象物品の物品種別ごとの形態上の特徴を適切にとらえた多数の画像を用いた機械学習により得られた学習結果に基づく推定を行う推定部、を構成させ、
前記推定部は、
前記被写体のリアルタイムに取得されている画像から前記検査対象物品の画像部分を推定して検出し、
検出された前記検査対象物品の前記画像部分が前記検査対象物品の画像であることの推定の確信度を算出して前記画像部分に対応させて前記装置に表示させ、
指定された前記物品種別に対応する前記学習結果に基づく推定を行い、
検出された前記検査対象物品の前記物品種別を前記画像部分に対応させてさらに表示させる、
ことを特徴とする写真検査支援プログラム。 A photograph inspection support program executed by an apparatus for supporting photographing of an object to be inspected, wherein the photograph inspection support program is executed by the apparatus,
A form for each article type of the article to be inspected , which is photographed at the site to confirm the completion of the telecommunications equipment construction for estimating that the object is the article to be inspected from an image of a photograph of the object An estimating unit configured to perform estimation based on a learning result obtained by machine learning using a large number of images appropriately capturing the above features ,
The estimating unit includes:
Estimating and detecting the image portion of the inspection target article from the image obtained in real time of the subject,
The image part of the detected inspection target article is displayed on the device in association with the image part by calculating the certainty of estimation that the image part is an image of the inspection target article ,
Estimate based on the learning result corresponding to the specified article type,
The article type of the detected inspection object article is further displayed in association with the image portion,
A photo inspection support program characterized by the following.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018189711A JP6643441B1 (en) | 2018-10-05 | 2018-10-05 | Photographic inspection support apparatus and its program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018189711A JP6643441B1 (en) | 2018-10-05 | 2018-10-05 | Photographic inspection support apparatus and its program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6643441B1 true JP6643441B1 (en) | 2020-02-12 |
| JP2020061601A JP2020061601A (en) | 2020-04-16 |
Family
ID=69412098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018189711A Active JP6643441B1 (en) | 2018-10-05 | 2018-10-05 | Photographic inspection support apparatus and its program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6643441B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7217214B2 (en) * | 2019-10-09 | 2023-02-02 | エヌ・ティ・ティ・コムウェア株式会社 | Facility construction inspection device, facility construction inspection method, and program |
| JP7220134B2 (en) * | 2019-10-09 | 2023-02-09 | エヌ・ティ・ティ・コムウェア株式会社 | Facility construction inspection device, facility construction inspection method, and program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5441614B2 (en) * | 2009-10-27 | 2014-03-12 | キヤノン株式会社 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM |
| JP5640388B2 (en) * | 2010-01-28 | 2014-12-17 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and image processing program |
| JP2012123533A (en) * | 2010-12-07 | 2012-06-28 | Fujifilm Corp | Inspection support system, method, and portable terminal |
| JP5163774B2 (en) * | 2011-05-25 | 2013-03-13 | カシオ計算機株式会社 | Imaging control apparatus, imaging control method, and program |
| JP5733158B2 (en) * | 2011-11-02 | 2015-06-10 | 富士通株式会社 | Recognition support device, recognition support method, and program |
| US9667860B2 (en) * | 2014-02-13 | 2017-05-30 | Google Inc. | Photo composition and position guidance in a camera or augmented reality system |
| US20180082414A1 (en) * | 2016-09-21 | 2018-03-22 | Astralink Ltd. | Methods Circuits Assemblies Devices Systems Platforms and Functionally Associated Machine Executable Code for Computer Vision Assisted Construction Site Inspection |
-
2018
- 2018-10-05 JP JP2018189711A patent/JP6643441B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020061601A (en) | 2020-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569695B (en) | Image processing method and device based on loss assessment image judgment model | |
| TW202009805A (en) | Image processing method and apparatus | |
| CN113038018B (en) | Method and device for assisting user in shooting vehicle video | |
| US9842259B2 (en) | Captured image recognition device, captured image recognition system, and captured image recognition method | |
| TW201011696A (en) | Information registering device for detection, target sensing device, electronic equipment, control method of information registering device for detection, control method of target sensing device, information registering device for detection control progr | |
| JP6800628B2 (en) | Tracking device, tracking method, and program | |
| CN108337505B (en) | Information acquisition method and device | |
| JP2020008904A (en) | Learning data collection apparatus, learning data collection system and learning data collection method | |
| JP6643441B1 (en) | Photographic inspection support apparatus and its program | |
| CN105704386A (en) | Image acquisition method, electronic equipment and electronic device | |
| CN107360366B (en) | Photographing method and device, storage medium and electronic equipment | |
| CN113255685B (en) | Image processing method and device, computer equipment and storage medium | |
| CN103905710A (en) | Image capture method, and mobile terminal and device thereof | |
| JP2014241505A (en) | Photographing apparatus, photographing method, template generation apparatus, template generation method, and program | |
| CN110677580B (en) | Shooting method, shooting device, storage medium and terminal | |
| JPWO2014091667A1 (en) | Analysis control system | |
| CN112368724A (en) | Learning device, learning system, and learning method | |
| CN109858319A (en) | Image processing equipment and control method and non-transitory computer-readable storage media | |
| KR20140061226A (en) | Method and apparatus for displaying image | |
| CN105897570A (en) | Pushing method and device | |
| JP2009123150A (en) | Object detection apparatus and method, object detection system and program | |
| JP4818997B2 (en) | Face detection device and face detection program | |
| CN104601884B (en) | A kind of camera control method and terminal | |
| JP4772756B2 (en) | Imaging apparatus and imaging program | |
| JP5408348B2 (en) | Pointer information processing apparatus, pointer information processing program, and conference system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6643441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |