JP5248213B2 - Corrosion degree evaluation method, apparatus and program - Google Patents

Corrosion degree evaluation method, apparatus and program Download PDF

Info

Publication number
JP5248213B2
JP5248213B2 JP2008145969A JP2008145969A JP5248213B2 JP 5248213 B2 JP5248213 B2 JP 5248213B2 JP 2008145969 A JP2008145969 A JP 2008145969A JP 2008145969 A JP2008145969 A JP 2008145969A JP 5248213 B2 JP5248213 B2 JP 5248213B2
Authority
JP
Japan
Prior art keywords
image
determination
data
case
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008145969A
Other languages
Japanese (ja)
Other versions
JP2009293993A (en
Inventor
富士雄 堤
博士 村田
崇 小野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central Research Institute of Electric Power Industry
Original Assignee
Central Research Institute of Electric Power Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central Research Institute of Electric Power Industry filed Critical Central Research Institute of Electric Power Industry
Priority to JP2008145969A priority Critical patent/JP5248213B2/en
Publication of JP2009293993A publication Critical patent/JP2009293993A/en
Application granted granted Critical
Publication of JP5248213B2 publication Critical patent/JP5248213B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、腐食度評価方法、装置及びプログラムに関する。さらに詳述すると、本発明は、金物類を撮影した画像データに基づく腐食度の評価に用いて好適な技術に関する。   The present invention relates to a corrosion degree evaluation method, apparatus, and program. More specifically, the present invention relates to a technique suitable for use in evaluating the degree of corrosion based on image data obtained by photographing hardware.

本明細書において、腐食度とは、金物類における錆の発生による腐食の程度を意味するものとして用いている。また、供用中の設備の部品などであって点検等に際して腐食度の判定を実際に行う対象になる物のことを判定実施物と呼び、判定実施物の設備と同じ設備の同じ部品や判定実施物の設備と同じ種類の設備の判定実施物に該当する部品などのように判定実施物と同種の物に加えて判定実施物の設備と類似する種類の設備の部品などのように判定実施物と同類の物などであって腐食の状況が似ているために画像データを用いて判定実施物の腐食度の判定を行う場合に参考になると判断される物のことを評価対象物と呼ぶ。   In this specification, the degree of corrosion is used to mean the degree of corrosion due to the occurrence of rust in hardware. In addition, parts that are in-service equipment, etc., and that are actually subject to judgment of the degree of corrosion during inspections, etc. are called judgment implementations. Judgment implementation such as parts of equipment of the same type as the judgment implementation in addition to the same kind of judgment implementation as the part corresponding to the judgment implementation of the same type of equipment An object that is judged to be a reference when determining the degree of corrosion of a judgment object using image data because the situation is similar to the above and the situation of corrosion is similar.

判定実施物である金物類を撮影した画像データに基づいて腐食度を評価する従来の方法としては、評価対象物の金物類を撮影した画像に廃棄対象や再利用可能などの腐食度を表すラベルを人手で付与し、次に、評価対象物の画像を特徴空間上に表現して特徴空間上で腐食度のラベルの判別が難しい画像を選び出し、さらに、選び出した画像から特徴空間上における腐食度のラベルの判別面を生成し、そして、判定実施物を撮影した画像を同じ特徴空間上に表現して判別面に基づいて廃棄対象や再利用可能などの腐食度の判定を行うものがある(特許文献1)。   As a conventional method of evaluating the degree of corrosion based on image data obtained by photographing hardware that is a judgment implementation object, a label indicating which corrosion degree can be discarded or reused on an image obtained by photographing the hardware of the evaluation object Next, the image of the object to be evaluated is represented on the feature space, and an image on which it is difficult to discriminate the corrosion degree label on the feature space is selected, and the degree of corrosion on the feature space is selected from the selected image. The discriminant surface of the label is generated, and the image obtained by photographing the judgment object is expressed on the same feature space, and the corrosiveness that can be discarded or reused is judged based on the discriminant surface ( Patent Document 1).

ここで、特許文献1の方法では、評価対象物を撮影した画像に基づいて判別面の生成を行うようにしている。すなわち、撮影された画像が金物類の腐食度を適切に表現していれば特徴空間に生成される判別面は金物類の腐食度に適確に対応したものになる。   Here, in the method of Patent Document 1, a discrimination surface is generated based on an image obtained by photographing an evaluation object. That is, if the photographed image appropriately represents the corrosion degree of the hardware, the discrimination surface generated in the feature space corresponds to the corrosion degree of the hardware appropriately.

しかしながら、撮影対象が同じものであっても撮影時の照明が異なれば撮影された画像は異なるものになる。例えば、夕方に撮影すれば赤みを帯びた画像になり、曇天であれば青みを帯びた画像になる。このように、照明条件が異なる画像を用いると、実際の腐食度とは無関係な撮影時の照明条件の違いによる画像の違いの影響を受けた判別面が生成されてしまう。   However, even if the subject to be photographed is the same, the photographed image will be different if the illumination at the time of photographing is different. For example, if it is photographed in the evening, it becomes a reddish image, and if it is cloudy, it becomes a bluish image. As described above, when images having different illumination conditions are used, a discriminant plane is generated that is influenced by the difference in the images due to the difference in the illumination conditions during photographing that is irrelevant to the actual degree of corrosion.

一方で、市販のデジタルカメラの多くには、撮影時の照明条件の変化に対応するため、撮影対象の明るさを考慮して画像の明るさを自動的に調整する自動露出設定機能、及び、撮影対象の色合いを考慮して画像の色合いを自動的に調整する自動ホワイトバランス設定機能が搭載されている。そして、自動露出設定機能と自動ホワイトバランス設定機能とが働くことによって評価対象物の表面の実際の状態とは異なる色と明るさとに勝手に変換された画像になる。   On the other hand, in many of the commercially available digital cameras, an automatic exposure setting function that automatically adjusts the brightness of an image in consideration of the brightness of a shooting target in order to cope with a change in lighting conditions at the time of shooting, and It is equipped with an automatic white balance setting function that automatically adjusts the color of an image in consideration of the color of the subject. Then, the automatic exposure setting function and the automatic white balance setting function work, resulting in an image that is arbitrarily converted into a color and brightness different from the actual state of the surface of the evaluation object.

これに対し、特許文献1の方法では、評価対象物を撮影した画像に記録された色と明るさとのデータを厳密に扱って判別面を生成する。したがって、同じ腐食度の金物類であっても自動露出設定機能及び自動ホワイトバランス設定機能によって色と明るさとが調整・変換された画像を用いることになり、その調整・変換の誤差による実際の状態からの乖離を反映して判別面を生成してしまう。これらの自動設定機能による調整・変換の誤差の判別面生成への影響は、照明条件のばらつきが大きいほど大きく、画像の枚数が少ないほど大きい。すなわち、生成された判別面は、カメラの自動設定機能による調整・変換の誤差分を考慮していないために適切とは言えないものである可能性があり、結果的に判定実施物の腐食度の判定の精度が低下してしまう。   On the other hand, in the method of Patent Document 1, the discrimination surface is generated by strictly handling the data of the color and brightness recorded in the image obtained by photographing the evaluation object. Therefore, even for hardware with the same degree of corrosion, an image whose color and brightness have been adjusted and converted by the automatic exposure setting function and automatic white balance setting function will be used, and the actual state due to errors in the adjustment and conversion The discriminant plane is generated by reflecting the deviation from. The influence of the adjustment / conversion error on the discriminant plane generation by these automatic setting functions increases as the variation in illumination conditions increases and decreases as the number of images decreases. In other words, the generated discriminant surface may not be appropriate because it does not take into account the adjustment / conversion error caused by the automatic setting function of the camera. The accuracy of the determination is reduced.

すなわち、特許文献1の方法では、屋外で撮影された画像を用いる場合には、屋外での撮影時には撮影環境の光源が変化するために同じ腐食度であっても異なる色として画像が記録されて判別面の生成に影響を与えてしまい、腐食度の判定精度が低下する。このため、特許文献1の方法においては、例えば外光が入らないようにしたフード付きのデジタルカメラを用いると共にフード内の人工照明を用いて評価対象物並びに判定実施物を接写することによって照明条件を一定に保ち、撮影対象が同じであれば同じ画像として撮影する工夫をすることが望ましい。   That is, in the method of Patent Document 1, when an image taken outdoors is used, the image is recorded as a different color even if the degree of corrosion is the same because the light source of the shooting environment changes during outdoor photography. The generation of the discriminating surface is affected, and the determination accuracy of the corrosion degree is lowered. For this reason, in the method of Patent Document 1, for example, a digital camera with a hood in which outside light does not enter is used, and an illumination condition is obtained by close-up of the evaluation object and the judgment object using artificial illumination in the hood. It is desirable to devise a method to capture the same image if the image capturing target is the same.

特開2005−274299号JP 2005-274299 A

しかしながら、特許文献1の腐食度評価方法では、評価対象物並びに判定実施物を接写して照明条件を一定に保つことによって判定精度の低下を抑制することはできても、屋外の評価対象物や判定実施物と撮影地点とが離れているなどして接写することができないために照明条件を一定に保つことが困難な場合には判定精度が低下してしまうという問題がある。このため、例えば鉄塔の上方の鋼材のように接写することが不可能であったり高電圧又は高熱であるために接写することが危険であったりして照明条件を一定に保つことができない評価対象物や判定実施物を撮影して行う腐食度の判定の精度が高いとは言い難い。さらに、接写することがたとえできるとしても、接写するためには評価対象物や判定実施物全体に亘る評価対象箇所の極近傍に移動を繰り返しながら撮影作業をしなければならないので作業効率が悪いという問題がある。   However, in the corrosion degree evaluation method disclosed in Patent Document 1, the evaluation object and the determination object can be close-up and the lighting condition can be kept constant to suppress a decrease in determination accuracy. There is a problem that the determination accuracy is lowered when it is difficult to keep the lighting conditions constant because the determination implementation object and the shooting point are not close enough to perform close-up photography. For this reason, for example, it is impossible to perform close-up photography like a steel material above a steel tower, or it is dangerous to perform close-up photography due to high voltage or high heat, and the evaluation target cannot maintain constant lighting conditions. It is difficult to say that the accuracy of the determination of the degree of corrosion performed by photographing the object and the determination object is high. Furthermore, even if close-up photography can be performed, in order to perform close-up photography, the work must be performed while repeating the movement to the immediate vicinity of the evaluation target part over the entire evaluation object or judgment object, so work efficiency is poor. There's a problem.

そこで、本発明は、屋外の評価対象物や判定実施物から離れた地点から撮影した画像であって照明条件が一定に保たれていない画像であっても腐食度の判定を精度良く行うことができる腐食度評価方法、装置及びプログラムを提供することを目的とする。   Therefore, the present invention can accurately determine the degree of corrosion even if the image is taken from a point away from an outdoor evaluation object or judgment object and the illumination condition is not kept constant. An object of the present invention is to provide a method, apparatus and program for evaluating the degree of corrosion.

かかる目的を達成するため、請求項1記載の腐食度評価方法は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを作成するステップと、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与するステップと、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定するステップとを有するようにしている。   In order to achieve this object, a corrosion degree evaluation method according to claim 1 includes a step of creating a case image of an evaluation object and data of a corrosion degree label for each case image, and a color temperature and brightness for the case image. Or changing one of them to create processing case image data, and attaching the data on the corrosion degree of the case image that is the basis of the processing case image to the generated processing case image data Generating a corrosion degree discrimination surface by a support vector machine using the case image and the corrosion level label data of the case image and the processing case image and the corrosion level label data of the machining case image A step of creating determination image data of an object, and a step of determining the degree of corrosion of the determination image using the determination image data and the determination surface That.

請求項4記載の腐食度評価装置は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込む手段と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する手段と、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する手段とを有するようにしている。   According to a fourth aspect of the present invention, there is provided a corrosion degree evaluation apparatus that reads a case image of an evaluation object and label data of a corrosion degree for each case image, and changes color temperature and / or brightness of the case image. The processing example image data is created, and the processing example image data created is attached with data on the label of the corrosion degree of the example image that is the basis of the processing example image, the example image, and the example image Corrosion degree label data, processing example image, means for generating a corrosion degree discrimination surface by a support vector machine using the corrosion degree label data of the processing example image, and reading of judgment image data of a judgment object Means and means for judging the degree of corrosion of the judgment image using the judgment image data and the judgment surface.

請求項7記載の腐食度評価プログラムは、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する処理と、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する処理とをコンピュータに行わせるようにしている。   According to a seventh aspect of the present invention, there is provided a corrosion degree evaluation program for reading a case image of an evaluation object and data of a corrosion degree label for each case image from storage means, and a color temperature and / or brightness for the case image. The processing example image data is created by changing the data, and the processing example image data that is created is attached with the data of the corrosion degree label of the case image that is the basis of the processing case image, Corrosion degree label data of the case image and processing example image and corrosion degree label data of the processing case image are used to generate a corrosion degree discrimination surface by a support vector machine, and Let the computer perform the process of reading data from the storage means and the process of determining the corrosion degree of the determination image using the determination image data and the determination surface That.

したがって、この腐食度評価方法、装置及びプログラムによると、実際に撮影して得られた画像に加えて色合い及び明るさ又はそれらの一方を変化させた画像も同時に用いて腐食度の判別面を生成することにより、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく判別面が生成されるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した判別面が生成される。   Therefore, according to this corrosion degree evaluation method, apparatus, and program, in addition to the image actually obtained by photographing, an image obtained by changing the hue and / or brightness is also used to generate the corrosion degree discrimination surface. By doing so, a discriminant plane based on the image group with some ambiguity added to the white balance and exposure is generated, so that the adjustment / conversion error caused by the automatic white balance setting function and the automatic exposure setting function of the camera can be reduced. A discriminant plane with reduced influence is generated.

また、請求項2記載の腐食度評価方法は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを作成するステップと、事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップと、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定するステップとを有するようにしている。   According to a second aspect of the present invention, there is provided a corrosion degree evaluation method comprising the steps of creating a case image of an evaluation object and data of a corrosion degree label for each case image, and the case image and the data of the corrosion degree label of the case image. Using the support vector machine to generate a corrosion degree discrimination surface, to create a judgment image data of a judgment object, and to process the judgment image by changing color temperature and / or brightness The method includes a step of creating determination image data, and a step of determining the corrosion degree of the determination image using the determination image data, the processing determination image data, and the determination surface.

また、請求項5記載の腐食度評価装置は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込む手段と、事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段と、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する手段とを有するようにしている。   Further, the corrosion degree evaluation apparatus according to claim 5 uses means for reading the case image of the evaluation object and the label data of the corrosion degree for each case image, and the case image and the data of the corrosion degree label of the case image. A means for generating a corrosion degree discrimination surface by a support vector machine, a means for reading judgment image data of a judgment object, and a processing judgment image by changing the color temperature and / or brightness of the judgment image. And means for determining the degree of corrosion of the determination image using the determination image data, the processing determination image data, and the determination surface.

さらに、請求項8記載の腐食度評価プログラムは、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する処理と、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する処理とをコンピュータに行わせるようにしている。   Further, the corrosion degree evaluation program according to claim 8 reads the case image of the evaluation object and the data of the corrosion degree label for each case image from the storage means, the case image and the corrosion degree label of the case image. A process for generating a determination surface of the corrosion degree by the support vector machine using the data, a process for reading the determination image data of the determination object from the storage means, and a color temperature and / or brightness for the determination image. The computer is caused to perform processing for changing to create data for the processing determination image and processing for determining the degree of corrosion of the determination image using the determination image data, the processing determination image data, and the determination surface.

したがって、この腐食度評価方法、装置及びプログラムによると、実際に撮影して得られた画像に加えて色合い及び明るさ又はそれらの一方を変化させた画像も同時に用いて腐食度の判定を行うことにより、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく腐食度の判定が行われるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した腐食度の判定が行われる。   Therefore, according to the corrosion degree evaluation method, apparatus, and program, the degree of corrosion is determined by simultaneously using an image obtained by actually taking a photograph and an image obtained by changing the hue and / or brightness. Because of this, the degree of corrosion is determined based on a group of images with some ambiguity added to the white balance and exposure, so the effects of adjustment and conversion errors caused by the camera's automatic white balance setting function and automatic exposure setting function The degree of corrosion is relaxed.

また、請求項3記載の腐食度評価方法は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを作成するステップと、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与するステップと、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップと、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定するステップとを有するようにしている。   According to a third aspect of the present invention, there is provided a corrosion degree evaluation method comprising: creating a case image of an evaluation object and data of a corrosion degree label for each case image; and color temperature and / or brightness for the case image. The processing example image data is created by changing the data, and the corrosiveness level label data of the case image that is the basis of the processing case image is added to the created processing case image data, A step of generating a corrosion degree determination surface by a support vector machine using the corrosion degree label data of the case image and the processing case image and the corrosion degree label data of the processing case image; and A step of creating data, a step of changing the color temperature and / or brightness of the judgment image, and creating the data of the processing judgment image, and the judgment image Data and using the data as well as discrimination surface of the processing determination image is to have a determining corrosion rate determination image.

請求項6記載の腐食度評価装置は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込む手段と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する手段と、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段と、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する手段とを有するようにしている。   The corrosion degree evaluation apparatus according to claim 6 reads the case image of the evaluation object and the label data of the corrosion degree for each case image, and changes the color temperature and / or brightness with respect to the case image. The processing example image data is created, and the processing example image data created is attached with data on the label of the corrosion degree of the example image that is the basis of the processing example image, the example image, and the example image Corrosion degree label data, processing example image, means for generating a corrosion degree discrimination surface by a support vector machine using the corrosion degree label data of the processing example image, and reading of judgment image data of a judgment object Means for changing the color temperature and / or brightness of the judgment image and creating one of the judgment image data, the judgment image data and the judgment image And to have a means for determining the corrosion rate of the determination image by using the chromatography data and discrimination surface.

請求項9記載の腐食度評価プログラムは、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する処理と、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する処理と、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する処理とをコンピュータに行わせるようにしている。   The corrosion degree evaluation program according to claim 9 includes a process for reading the case image of the evaluation object and the label data of the corrosion degree for each case image from the storage means, and the color temperature and / or brightness for the case image. The processing example image data is created by changing the data, and the processing example image data that is created is attached with the data of the corrosion degree label of the case image that is the basis of the processing case image, Corrosion degree label data of the case image and processing example image and corrosion degree label data of the processing case image are used to generate a corrosion degree discrimination surface by a support vector machine, and A process of reading data from the storage means, a process of changing the color temperature and / or brightness of the determination image, and creating the processing determination image data, and the determination It is the process of determining corrosion rate determination image by using the data as well as discrimination surface data and processing determination image of the image to be performed by the computer.

したがって、この腐食度評価方法、装置及びプログラムによると、実際に撮影して得られた画像に加えて色合い及び明るさ又はそれらの一方を変化させた画像も同時に用いて腐食度の判別面を生成すると共に腐食度の判定を行うことにより、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく判別面が生成されると共に腐食度の判定が行われるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した判別面が生成されると共に腐食度の判定が行われる。   Therefore, according to this corrosion degree evaluation method, apparatus, and program, in addition to the image actually obtained by photographing, an image obtained by changing the hue and / or brightness is also used to generate the corrosion degree discrimination surface. In addition, by determining the degree of corrosion, a discriminant plane based on a group of images with some ambiguity added to the white balance and exposure is generated and the degree of corrosion is determined. A determination surface is generated in which the influence of adjustment / conversion errors caused by the balance setting function and the automatic exposure setting function is mitigated, and the degree of corrosion is determined.

請求項1,4,7記載の腐食度評価方法、装置及びプログラムによれば、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく判別面が生成されるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した判別面を生成することができ、屋外の評価対象物や判定実施物から離れた地点から撮影した画像であって照明条件が一定に保たれていない画像であっても腐食度の判定を精度良く行うことが可能になる。   According to the corrosion degree evaluation method, apparatus and program according to claims 1, 4 and 7, a discriminant plane is generated based on an image group in which some ambiguity is added to white balance and exposure. It is possible to generate a discriminating surface that can reduce the effects of adjustment / conversion errors caused by the automatic white balance setting function and automatic exposure setting function, and is an image taken from a point away from an outdoor evaluation object or judgment object. It is possible to accurately determine the degree of corrosion even for an image whose lighting conditions are not kept constant.

また、請求項2,5,8記載の腐食度評価方法、装置及びプログラムによれば、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく腐食度の判定が行われるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した腐食度の判定を行うことができ、屋外の評価対象物や判定実施物から離れた地点から撮影した画像であって照明条件が一定に保たれていない画像であっても腐食度の判定を精度良く行うことが可能になる。   Further, according to the corrosion degree evaluation method, apparatus, and program according to claims 2, 5 and 8, since the degree of corrosion is determined based on an image group in which some ambiguity is added to white balance and exposure. It is possible to judge the degree of corrosion by reducing the effects of adjustment / conversion errors by the automatic white balance setting function and automatic exposure setting function of the camera, and photographed from a place away from the outdoor evaluation object and judgment object Even if the image is an image and the illumination condition is not kept constant, it is possible to accurately determine the degree of corrosion.

また、請求項3,6,9記載の腐食度評価方法、装置及びプログラムによれば、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく判別面が生成されると共に腐食度の判定が行われるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した判別面を生成することができると共に腐食度の判定を行うことができ、屋外の評価対象物や判定実施物から離れた地点から撮影した画像であって照明条件が一定に保たれていない画像であっても腐食度の判定を精度良く行うことが可能になる。   In addition, according to the corrosion degree evaluation method, apparatus, and program according to claims 3, 6, and 9, the discrimination surface based on the image group in which some ambiguity is added to the white balance and the exposure is generated and the corrosion is generated. Since the determination of the degree is performed, it is possible to generate a determination surface that mitigates the influence of the adjustment / conversion error by the automatic white balance setting function and the automatic exposure setting function of the camera and to determine the corrosion degree, It is possible to accurately determine the degree of corrosion even if the image is taken from a point far from the outdoor evaluation object or judgment execution object and the illumination condition is not kept constant.

以下、本発明の構成を図面に示す最良の形態に基づいて詳細に説明する。   Hereinafter, the configuration of the present invention will be described in detail based on the best mode shown in the drawings.

図1及び図2に、本発明の腐食度評価方法、装置及びプログラムの実施形態の一例を示す。この腐食度評価方法は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを作成するステップと、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与するステップと、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップと、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定するステップとを有するようにしている。   1 and 2 show an example of embodiments of the corrosion degree evaluation method, apparatus, and program of the present invention. This corrosion degree evaluation method includes a step of creating a case image of an evaluation object and data of a corrosion degree label for each case image, and changing the color temperature and / or brightness of the case image to process examples. Creating the image data and attaching the data of the corrosion degree label of the case image that is the basis of the processed case image to the created case image data; and the case image and the corrosion degree of the case image A step of generating a corrosion degree determination surface by a support vector machine using the label data, the processing example image, and the corrosion level label data of the processing example image; and a step of generating determination image data of a determination object , A step of changing the color temperature and / or brightness of the determination image and generating one of the determination image data, and the determination image data and processing So that a step determining the corrosion rate of the determination image by using the data as well as discrimination surface constant image.

上記腐食度評価方法は、本発明の腐食度評価装置として実現される。本発明の腐食度評価装置は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込む手段と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する手段と、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段と、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する手段とを備える。   The said corrosion degree evaluation method is implement | achieved as a corrosion degree evaluation apparatus of this invention. The corrosion degree evaluation apparatus of the present invention is a means for reading a case image of an object to be evaluated and a corrosion degree label data for each case image, and processing the case image by changing the color temperature and / or brightness. Means for creating case image data and attaching data of the label of the degree of corrosion of the case image that is the basis of the processed case image to the created case image data, the case image, and the degree of corrosion of the case image Means for generating a determination surface for the corrosion degree by a support vector machine using the data of the label and the processing example image and the corrosion level label data of the processing example image, and means for reading the determination image data of the determination object , Means for changing the color temperature and / or brightness of the determination image to create processing determination image data, determination image data, and processing determination image data Beauty and a means for determining the corrosion rate of the determination image by using a discrimination plane.

上述の腐食度評価方法並びに腐食度評価装置は、本発明の腐食度評価プログラムをコンピュータ上で実行することによっても実現される。本実施形態では、腐食度評価プログラムをコンピュータ上で実行する場合を例に挙げて説明する。   The corrosion degree evaluation method and the corrosion degree evaluation apparatus described above can also be realized by executing the corrosion degree evaluation program of the present invention on a computer. In the present embodiment, a case where a corrosion degree evaluation program is executed on a computer will be described as an example.

腐食度評価プログラム17を実行するための本実施形態の腐食度評価装置10の全体構成を図2に示す。この腐食度評価装置10は、制御部11、記憶部12、入力部13、表示部14及びメモリ15を備え相互にバス等の信号回線により接続されている。また、腐食度評価装置10にはデータサーバ16がバス等の信号回線等により接続されており、その信号回線等を介して相互にデータや制御指令等の信号の送受信(即ち出入力)が行われる。   FIG. 2 shows the overall configuration of the corrosion degree evaluation apparatus 10 of the present embodiment for executing the corrosion degree evaluation program 17. The corrosion degree evaluation apparatus 10 includes a control unit 11, a storage unit 12, an input unit 13, a display unit 14, and a memory 15, and is connected to each other by a signal line such as a bus. A data server 16 is connected to the corrosion degree evaluation apparatus 10 through a signal line such as a bus, and signals such as data and control commands are transmitted / received (ie, input / output) to / from each other via the signal line. Is called.

制御部11は記憶部12に記憶されている腐食度評価プログラム17によって腐食度評価装置10全体の制御並びに画像データを用いた腐食度の評価に係る演算を行うものであり、例えばCPU(中央演算処理装置)である。記憶部12は少なくともデータやプログラムを記憶可能な記憶手段であり、例えばハードディスクである。メモリ15は制御部11が各種制御や演算を実行する際の作業領域であるメモリ空間となるものであり、例えばRAM(Random Access Memory)である。。   The control unit 11 performs calculation related to the control of the entire corrosion degree evaluation apparatus 10 and the evaluation of the corrosion degree using image data by the corrosion degree evaluation program 17 stored in the storage unit 12. Processing device). The storage unit 12 is storage means capable of storing at least data and programs, and is, for example, a hard disk. The memory 15 serves as a memory space that is a work area when the control unit 11 executes various controls and operations, and is, for example, a RAM (Random Access Memory). .

入力部13は少なくとも作業者の命令を制御部11に与えるためのインターフェイスであり、例えばキーボードである。   The input unit 13 is an interface for giving at least an operator's command to the control unit 11, and is, for example, a keyboard.

表示部14は制御部11の制御により文字や図形等の描画・表示を行うものであり、例えばディスプレイである。   The display unit 14 performs drawing / display of characters, graphics, and the like under the control of the control unit 11 and is, for example, a display.

また、データサーバ16は少なくともデータを記憶可能な記憶手段であり、例えばサーバである。   The data server 16 is storage means capable of storing at least data, for example, a server.

そして、腐食度評価プログラム17を実行することによって腐食度評価装置10の制御部11には、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込む手段としての事例データ読込部11aと、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する手段としての事例画像加工部11bと、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段としての事例画像特徴量抽出部11c及び事例画像表現部11d及び判別面生成部11eと、判定実施物の判定画像のデータを読み込む手段としての判定画像データ読込部11fと、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段としての判定画像加工部11gと、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する手段としての判定画像特徴量抽出部11h及び腐食度判定部11iとが構成される。   Then, by executing the corrosion degree evaluation program 17, the control unit 11 of the corrosion degree evaluation apparatus 10 reads the case image of the evaluation object and the case data reading unit as means for reading the data of the corrosion degree label for each case image. 11a and a case image that is the basis of the processed case image in the data of the processed case image created by changing the color temperature and / or brightness of the case image and changing one of them. A case image processing unit 11b as means for giving the data of the corrosion degree label, the case image, the data of the corrosion degree label of the case image, and the data of the processing case image and the corrosion degree label of the processing case image. The case image feature quantity extraction unit 11c and the case image expression unit 11d as a means for generating a corrosion degree discrimination surface using a support vector machine and discrimination The generation unit 11e, the determination image data reading unit 11f as means for reading the determination image data of the determination object, and the data of the processing determination image by changing the color temperature and / or brightness of the determination image. A determination image processing unit 11g as a means for creating, a determination image feature amount extraction unit 11h as a means for determining the corrosion degree of the determination image using the data of the determination image, the data of the processing determination image, and the determination surface, and the corrosion degree determination Part 11i.

また、本発明の腐食度評価方法を腐食度評価装置10において実現するための腐食度評価プログラム17は、図1に示すように、大きくは、腐食度を判定するための判別面の生成を行う判別面生成ステップ(S1)と、判定実施物の点検時に撮影した画像と判別面とを用いて判定実施物の腐食度の判定を行う判定ステップ(S2)とを有する。   Further, as shown in FIG. 1, the corrosion degree evaluation program 17 for realizing the corrosion degree evaluation method of the present invention in the corrosion degree evaluation apparatus 10 largely generates a discriminant surface for determining the corrosion degree. A determination surface generation step (S1) and a determination step (S2) for determining the degree of corrosion of the determination object using the image and the determination surface taken during inspection of the determination object.

さらに詳細には、腐食度評価プログラム17は、図1に示すように、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込むステップ(S1−1)と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与するステップ(S1−2)と、事例画像データ及び加工事例画像データの画像特徴量の抽出を行うステップ(S1−3)と、画像特徴量を用いて事例画像データ及び加工事例画像データを特徴空間上に表現するステップ(S1−4)と、特徴空間上に表現された事例画像データ及び加工事例画像データを用いて腐食度の判別面を生成するステップ(S1−5)と、判定実施物の判定画像のデータを読み込むステップ(S2−1)と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップ(S2−2)と、判定画像データ及び加工判定画像データの画像特徴量の抽出を行うステップ(S2−3)と、判別面を用いて判定画像の腐食度を判定するステップ(S2−4)とを有する。   More specifically, as shown in FIG. 1, the corrosion degree evaluation program 17 reads the case image of the evaluation object and the data of the corrosion degree label for each case image (S1-1), and the case image The processing example image data is created by changing the color temperature and / or brightness, and the data on the label of the corrosion degree of the example image that is the basis of the processing example image is created. (S1-2), step (S1-3) of extracting the image feature amount of the case image data and the processed case image data, and the case image data and the processed case image data using the image feature amount. A step of expressing on the feature space (S1-4), and a step of generating a determination surface of the corrosion degree using the case image data and the processed case image data expressed on the feature space (S1-5). A step of reading determination image data of the determination object (S2-1), and a step of creating processing determination image data by changing the color temperature and / or brightness of the determination image (S2-). 2), a step (S2-3) of extracting image feature amounts of the determination image data and the processing determination image data, and a step (S2-4) of determining the corrosion degree of the determination image using the determination surface. .

ここで、本実施形態では、送電鉄塔の鋼材を対象として腐食度の判定を実施する場合を例に挙げて説明する。したがって、本実施形態では、送電鉄塔の鋼材一般が評価対象物になり得ると共に、供用中の鉄塔のうち点検対象として選択された鉄塔の部品である鋼材が判定実施物になる。   Here, in this embodiment, the case where the determination of the degree of corrosion is performed on a steel material of a power transmission tower will be described as an example. Therefore, in this embodiment, the steel material in general of the power transmission tower can be an evaluation object, and the steel material that is a part of the steel tower selected as an inspection object among the in-service towers is a determination execution object.

まず、判別面生成ステップ(S1)について説明する。   First, the discrimination surface generation step (S1) will be described.

本発明の腐食度評価方法の実行にあたっては、まず、制御部11の事例データ読込部11aが、評価対象物の事例データの読み込みを行う(S1−1)。   In executing the corrosion degree evaluation method of the present invention, first, the case data reading unit 11a of the control unit 11 reads the case data of the evaluation object (S1-1).

本発明における事例データは、事例画像のデータとこの事例画像毎の腐食度のラベルのデータとの組み合わせデータである。   The case data in the present invention is combination data of case image data and corrosion degree label data for each case image.

事例画像のデータ(以下、事例画像データと表記する)は、評価対象物をデジタルカメラで撮影した画像のデータである。なお、本発明において用いられる画像は、デジタルカメラに備わっている自動露出設定機能及び自動ホワイトバランス設定機能を用いて撮影されたもので構わない。さらに、本発明において用いられる画像は、照明条件が撮影のたびに変化しているものでも良く、評価対象物から離れた位置で望遠レンズを用いて撮影されたものでも良い。   Case image data (hereinafter referred to as case image data) is image data obtained by photographing an evaluation object with a digital camera. Note that the image used in the present invention may be an image taken using an automatic exposure setting function and an automatic white balance setting function provided in the digital camera. Furthermore, the image used in the present invention may be one in which the illumination conditions change every time the image is taken, or may be one taken using a telephoto lens at a position away from the evaluation object.

ここで、カメラによって評価対象物を撮影したままの画像(以下、撮影画像と呼ぶ)では、撮影画像内での鋼材の大きさにばらつきが生じ、撮影角度によって歪みも発生する。また、望遠レンズによって撮影された画像には、評価対象の鋼材以外のもの、例えば、空、建物、田畑、別の鋼材等も一緒に撮影される。したがって、このような撮影画像をそのまま用いて腐食度の判定を行うと、腐食度に無関係な背景や画像内での大きさや形に依存した判定結果になってしまう。このため、本発明において用いられる事例画像データとしては、実際の撮影画像中の評価対象物部分(本実施形態では鋼材部分)を正方形に切り取ったものが用いられる。すなわち、実際の撮影画像から正方形に切り取られた画像データが事例画像データとして事例データベース18に蓄積される。   Here, in the image (hereinafter referred to as a captured image) of the evaluation object that has been captured by the camera, the size of the steel material in the captured image varies, and distortion occurs depending on the captured angle. In addition, images other than the steel material to be evaluated, such as the sky, buildings, fields, and other steel materials, are also photographed together with the image captured by the telephoto lens. Therefore, if such a photographed image is used as it is to determine the corrosion degree, a determination result depending on the background and the size and shape in the image is irrelevant to the corrosion degree. For this reason, as the case image data used in the present invention, data obtained by cutting an evaluation object portion (a steel material portion in the present embodiment) in an actual captured image into a square is used. In other words, the image data cut into squares from the actual photographed image is stored in the case database 18 as case image data.

なお、撮影画像からの事例画像データの切り取りに際しては、本実施形態では、鋼材の幅方向の全体が含まれるように切り取られることが望ましい。錆は鋼材の端から発生することもあり、端の情報が重要な場合があるためである。なお、鋼材が斜めに撮影されている場合には鋼材が真横若しくは真縦になるように撮影画像を回転させてから鋼材部分が切り取られることが望ましい。一方、鋼材が奥行き方向に傾いて撮影されている場合には撮影画像の奥側ほど鋼材の幅が細く写っているので回転などの単純な処理では幅方向全体を正方形に切り取ることができない。また、カメラレンズの球面歪によって直線の鋼材が湾曲して撮影されるので単純な処理では幅方向全体を正方形に切り取ることができない。そのような場合には、例えば市販の画像処理ソフトウェアの遠近法切り抜き機能などを使って奥側の拡大や歪補正を施して正方形に変形してから切り取られることが望ましい。   Note that, in the present embodiment, it is desirable that the case image data is cut out from the captured image so as to include the entire steel material in the width direction. This is because rust may be generated from the edge of the steel material, and the edge information may be important. In addition, when the steel material is imaged diagonally, it is desirable that the steel material portion is cut out after the photographed image is rotated so that the steel material is located in the horizontal or vertical direction. On the other hand, when the steel material is photographed while being tilted in the depth direction, the width of the steel material is shown to be narrower toward the back side of the photographed image, so that the entire width direction cannot be cut into a square by simple processing such as rotation. In addition, since the straight steel material is curved and photographed due to the spherical distortion of the camera lens, the entire width direction cannot be cut into a square by simple processing. In such a case, for example, it is desirable that the image is cut after being transformed into a square by performing enlargement or distortion correction on the back side using a perspective cut-out function of commercially available image processing software.

腐食度のラベルは評価対象物の経年に伴う腐食の進行度合いの分類(クラスとも呼ばれる)を表すものである。腐食度のラベルの種類(内容)や数は特定のものに限定されるものではなく、評価対象の設備の種類や評価の目的などを考慮して作業者が適宜設定する。   The corrosion degree label indicates the classification (also called class) of the degree of progress of corrosion with the lapse of time of the evaluation object. The type (contents) and number of labels of the degree of corrosion are not limited to specific ones, and are appropriately set by the operator in consideration of the type of equipment to be evaluated and the purpose of evaluation.

具体的には例えば、本実施形態のように供用中の鉄塔の部品である鋼材を判定実施物として腐食度の判定を実施する場合には、鋼材の防錆塗装である溶融亜鉛めっきの劣化の度合いに合わせて、溶融亜鉛めっきが十分に残存している状態である早期ラベル(クラス1とする),亜鉛めっきの劣化が部分的に合金層まで達している状態である適期ラベル(クラス2とする),全面で合金層が露出し一部で鉄素地及び鉄素地に近い部分からの錆が見られる状態である遅期ラベル(クラス3とする)の三つの腐食度のラベルを用いることなどが考えられる。なお、本実施形態では、上記三つの腐食度のラベルを用いるものとして説明する。   Specifically, for example, when carrying out the corrosion degree determination using a steel material that is a part of an in-service steel tower as a determination object as in this embodiment, the deterioration of hot dip galvanizing that is a rust-proof coating of the steel material Depending on the degree, early label (class 1) where hot dip galvanization remains sufficiently, suitable label (class 2) where galvanization degradation partially reaches the alloy layer 3) Use a label with three corrosion degrees, a late label (class 3), where the alloy layer is exposed on the entire surface and rust is seen from some parts of the iron substrate and parts close to the iron substrate. Can be considered. In the present embodiment, the description will be made on the assumption that the labels of the three corrosion degrees are used.

腐食度のラベルは、事例画像が切り取られる元の撮影画像全体を専門家が見て評価対象物の腐食度を判定し、事例画像毎に付与される。なお、腐食度のラベルは、事例画像データと組み合わされて事例データベース18に蓄積される際には例えば1,2,3などの数値データ(フラグとも呼ばれる)として与えられる。   The corrosion degree label is assigned to each case image by an expert who determines the degree of corrosion of the evaluation object by looking at the entire original captured image from which the case image is cut. When the corrosion degree label is combined with the case image data and stored in the case database 18, it is given as numerical data (also called a flag) such as 1, 2, 3, etc., for example.

本実施形態では、評価対象物に係る事例データは事例データベース18として記憶手段であるデータサーバ16に蓄積される。なお、事例データベース18は記憶手段である記憶部12に保存されるようにしても良い。   In the present embodiment, the case data relating to the evaluation object is accumulated as a case database 18 in the data server 16 which is a storage means. The case database 18 may be stored in the storage unit 12 that is a storage unit.

事例データ読込部11aは、評価対象物の事例画像データと事例画像毎に付与されている腐食度のラベルのデータとの組み合わせデータをデータサーバ16に保存されている事例データベース18から読み込む。そして、事例データ読込部11aは読み込んだ事例データをメモリ15に記憶させる。   The case data reading unit 11 a reads the combination data of the case image data of the evaluation object and the corrosion level label data assigned to each case image from the case database 18 stored in the data server 16. Then, the case data reading unit 11 a stores the read case data in the memory 15.

次に、制御部11の事例画像加工部11bは、評価対象物の事例画像に対して色加工の処理を行う(S1−2)。   Next, the case image processing unit 11b of the control unit 11 performs color processing on the case image of the evaluation object (S1-2).

具体的には、事例画像加工部11bは、まず、S1−1の処理においてメモリ15に記憶された事例画像データ(S1−2の処理においてはオリジナル事例画像と呼ぶ)をメモリ15から読み込む。   Specifically, the case image processing unit 11b first reads from the memory 15 case image data stored in the memory 15 in the process of S1-1 (referred to as an original case image in the process of S1-2).

そして、事例画像加工部11bは、オリジナル事例画像に対して色温度を増した画像と減らした画像とを作成する。なお、色温度を増すとオリジナル事例画像に対して赤みが強くなり、色温度を減らすとオリジナル事例画像に対して青みが強くなる。   Then, the case image processing unit 11b creates an image with an increased color temperature and an image with a reduced color temperature with respect to the original case image. When the color temperature is increased, redness is increased with respect to the original case image, and when the color temperature is decreased, blueness is increased with respect to the original case image.

画像の色加工としての色温度の変化の程度は特定の値に限定されるものではなく、評価対象物の色合いや事例画像撮影時の照明条件や実際のオリジナル事例画像群の色合いの全体的な傾向からオリジナル事例画像群の色温度を仮定すると共に仮定した色温度と色合いの全体的な傾向とを考慮して変化の幅を作業者が適宜決定する。   The degree of change in color temperature as the color processing of the image is not limited to a specific value, but the overall color of the evaluation object, the lighting conditions at the time of shooting the case image, and the color of the actual original case image group Based on the tendency, the color temperature of the original case image group is assumed, and the width of the change is appropriately determined by the operator in consideration of the assumed color temperature and the overall tendency of the hue.

具体的には例えば、本実施形態のように鋼材の錆画像を用いる場合には、太陽光の色温度5000〜6000Kの中で錆の赤みによって低い色温度になっていると考え、オリジナル事例画像の色温度を5000Kと仮定すると共に、仮定した色温度5000Kに対して0.9倍の4500Kに色温度を変換した画像と1.1倍の5500Kに色温度を変換した画像とを作成するようにすることなどが考えられる。   Specifically, for example, when using a rust image of steel as in the present embodiment, it is considered that the color temperature is low due to redness of rust in the color temperature of sunlight 5000 to 6000K, and the original case image Is assumed to be 5000K, and an image in which the color temperature is converted to 4500K, 0.9 times the assumed color temperature of 5000K, and an image in which the color temperature is converted to 5500K, which is 1.1 times, are created. Can be considered.

事例画像加工部11bは、さらに、オリジナル事例画像に対して明るさを明るくした画像と暗くした画像とを作成する。画像の色加工としての明るさの変化の程度は特定の値に限定されるものではなく、事例画像撮影時の照明条件や実際のオリジナル事例画像群の明るさの全体的な傾向を考慮して作業者が適宜決定する。   The case image processing unit 11b further creates an image that is brighter and a darker image than the original case image. The degree of change in brightness as color processing of the image is not limited to a specific value, but considers the overall tendency of the brightness of the actual original case image group and the lighting conditions when shooting the case image The operator decides accordingly.

具体的には例えば、オリジナル事例画像に対して明るさを0.9倍にして少し暗く変換した画像と1.1倍にして少し明るく変換した画像とを作成するようにすることなどが考えられる。   Specifically, for example, it is conceivable to create an image obtained by converting the original case image by a factor of 0.9 to make it slightly darker and an image obtained by changing the factor by a factor of 1.1 to make it slightly brighter. .

また、色温度及び明るさを変化させ変換した画像(以下、加工画像と呼ぶ)の作成枚数も特定の枚数に限定されるものではなく、S1−5の処理において判別面を生成する際の演算処理の負荷などを考慮して作業者が適宜決定する。   Also, the number of images created by changing the color temperature and brightness (hereinafter referred to as a processed image) is not limited to a specific number, and is an operation for generating a discrimination surface in the processing of S1-5. The operator appropriately determines in consideration of processing load and the like.

なお、事例画像加工部11bによる色加工の程度(具体的には色温度の変化の程度及び明るさの変化の程度)並びに加工画像の作成枚数を交差検定法によって決定することも考えられる。具体的には、本発明に交差検定法(n分割交差検定法とも呼ばれる。nは分割数であって2以上の自然数。)を適用する場合には、まず、与えられた画像データの全てをほぼ同数になるようにランダムにn分割する(分割後のグループをそれぞれC1,C2,…,Cnとする)。次に、n個の分割グループのうちの(n−1)個の分割グループ(例えばC2からCn)に属する画像データを用いて判別面を作成する。そして、残りの1個の分割グループ(即ちC1)をテスト判定用グループとして当該グループに属する画像データの腐食度を判定する。同様にテスト判定用グループをC2からCnまで変化させて全部でn回のテスト判定を行って判定正解数を合計する。さらに、色加工の程度並びに加工画像の作成枚数を複数回変化させながら上記のランダム分割からテスト判定までの処理を実施し、判定正解数が最も多いときの色加工の程度並びに加工画像の作成枚数を採用することも考えられる。   It is also conceivable to determine the degree of color processing (specifically, the degree of change in color temperature and the degree of change in brightness) by the case image processing unit 11b and the number of processed images to be created by a cross-validation method. Specifically, when applying the cross-validation method (also referred to as n-division cross-validation method, where n is the number of divisions and is a natural number of 2 or more) to the present invention, first, all of the given image data is processed. Randomly divide into n so that the number is almost the same (the divided groups are C1, C2,..., Cn respectively). Next, a discriminant plane is created using image data belonging to (n−1) divided groups (for example, C2 to Cn) of the n divided groups. Then, the remaining one divided group (that is, C1) is used as a test determination group, and the degree of corrosion of image data belonging to the group is determined. Similarly, the test determination group is changed from C2 to Cn, the test determination is performed a total of n times, and the number of determination correct answers is totaled. In addition, the process from random division to test determination is performed while changing the degree of color processing and the number of processed images to be created multiple times, and the degree of color processing and the number of processed images to be created when the number of correct answers is the largest. It is also possible to adopt.

本実施形態では、色合いについて3種類と明るさについて3種類との組み合わせで、オリジナル事例画像の他に合計8種類の画像(加工事例画像と呼ぶ)が作成されるものとして以下説明する。   In the present embodiment, a description will be given below on the assumption that a total of eight types of images (referred to as processed case images) are created in addition to the original case image by combining three types of hue and three types of brightness.

事例画像加工部11bは、S1−1の処理においてメモリ15に記憶された事例画像データ(即ちオリジナル事例画像)のそれぞれに対して8種類の加工事例画像を作成する。また、事例画像加工部11bは、オリジナル事例画像毎の腐食のラベルの値をメモリ15から読み込み、作成した加工事例画像の元のオリジナル事例画像に付与されている腐食度のラベルと同じラベルを加工事例画像に付与する。   The case image processing unit 11b creates eight types of processing case images for each of the case image data (that is, the original case images) stored in the memory 15 in the process of S1-1. Further, the case image processing unit 11b reads the value of the corrosion label for each original case image from the memory 15, and processes the same label as the label of the corrosion degree given to the original original case image of the created processing case image. It is given to the case image.

そして、事例画像加工部11bは、加工事例画像のデータと加工事例画像毎に付与される腐食度のラベルのデータとを組み合わせデータとしてメモリ15に記憶させる。   Then, the case image processing unit 11b causes the memory 15 to store the processing case image data and the corrosion level label data provided for each processing case image as combination data.

次に、制御部11の事例画像特徴量抽出部11cは、評価対象物の事例画像データ及び加工事例画像データの画像特徴量の抽出を行う(S1−3)。   Next, the case image feature amount extraction unit 11c of the control unit 11 extracts the image feature amount of the case image data of the evaluation object and the processed case image data (S1-3).

S1−5の処理における判別面の生成に用いることができる画像の枚数は、撮影並びに腐食度のラベル付与の労力を考慮すると腐食度のラベル当たり数百枚程度が適当であると考えられる。また、撮影画像から切り取った事例画像のデータ並びに加工事例画像のデータは例えば縦横数百画素のRGBデータ(即ち三次元)になるので総データ量は数十万に及ぶ。   The number of images that can be used for the generation of the discriminating surface in the processing of S1-5 is considered to be about several hundred per corrosiveness label considering the effort of photographing and corrosiveness labeling. Further, the data of the case image cut out from the photographed image and the data of the processed case image are, for example, RGB data (that is, three-dimensional) of several hundreds of pixels in the vertical and horizontal directions, and the total data amount reaches several hundred thousand.

このように、画像一枚当たりのデータ量が画像総枚数に対して多すぎると機械学習を用いた画像識別では識別の信頼性が低下することが知られている。また、機械学習ではデータ量が多くなればなるほど学習に計算時間がかかる。このため、画像を、当該画像の特徴を表現する小さなデータ(画像特徴量と呼ばれる)に変換する必要がある。   As described above, it is known that when the amount of data per image is too large with respect to the total number of images, the reliability of identification is lowered in image identification using machine learning. Further, in machine learning, the larger the amount of data, the longer it takes to calculate. For this reason, it is necessary to convert the image into small data (referred to as an image feature amount) expressing the feature of the image.

本発明では、元になる画像データから画像特徴量への変換方法として、例えばヒストグラムやスケーリングを用いることが考えられる。   In the present invention, it is conceivable to use, for example, a histogram or scaling as a method for converting original image data into image feature values.

ヒストグラムは、画像データ内の全画素の色の頻度を集計した特徴量であり、画像全体の色情報を表すものである。したがって、一般的には、画像内の位置に関係なく、画像の全体的な色の出現頻度に意味がある場合の特徴量に適している。   The histogram is a feature amount obtained by summing up the frequency of colors of all pixels in the image data, and represents color information of the entire image. Therefore, in general, it is suitable for the feature amount when the appearance frequency of the overall color of the image is meaningful regardless of the position in the image.

スケーリングは、画像を碁盤目状に区切って各区域内の画素群の代表値を計算するという特徴量であり、画像内の色の大まかな配置情報を表すものである。したがって、一般的には、画像内の色の配置に意味がある場合の特徴量に適している。なお、代表値としては、例えば平均値や中間値などが用いられる。   Scaling is a feature amount that divides an image into a grid pattern and calculates a representative value of a pixel group in each area, and represents rough arrangement information of colors in the image. Therefore, in general, it is suitable for a feature amount when the arrangement of colors in an image is meaningful. For example, an average value or an intermediate value is used as the representative value.

また、デジタル画像の基本的な表色系として、各画素の色をR(赤),G(緑),B(青)の三原色で表現するRGB表色系と、各画素の色をH(色相),S(彩度),V(明度)の三変数で表現するHSV表色系とがある。   In addition, as a basic color system of a digital image, an RGB color system that expresses the color of each pixel with three primary colors of R (red), G (green), and B (blue), and a color of each pixel that is H ( There is an HSV color system expressed by three variables of hue), S (saturation), and V (lightness).

したがって、本発明では、これらを組み合わせたRGBヒストグラム,RGBスケーリング,HSVヒストグラム,HSVスケーリングを画像特徴量として用いることが考えられる。   Therefore, in the present invention, it is conceivable to use an RGB histogram, RGB scaling, HSV histogram, and HSV scaling that combine these as the image feature amount.

例えば、RGBスケーリングは、画像を碁盤目状に区切って升目毎に全ての画素のRGB値の代表値を計算し、計算された値を升目の代表値とする。これにより、RGBスケーリングは、例えば「中央が青っぽく、隅が赤っぽい」などのように色の大まかな配置を表す。なお、一般的には、特徴量の各成分が平均0,分散1になるように正規化される。   For example, in RGB scaling, an image is divided into a grid pattern to calculate a representative value of RGB values of all pixels for each grid, and the calculated value is set as a representative value of the grid. Thereby, the RGB scaling represents a rough arrangement of colors such as “the center is bluish and the corner is reddish”. In general, normalization is performed so that each component of the feature value has an average of 0 and a variance of 1.

また、HSVヒストグラムは、画像データ内の各画素のRGBをHSVに変換してから画像全体での頻度として集計する。これにより、HSVヒストグラムは、例えば「赤い部分が多い」などのように画像の全体的な色の出現頻度を表す。なお、一般的には、特徴量の各成分が平均0,分散1になるように正規化される。また、予備的な検討などによってH(色相),S(彩度),V(明度)のうちのいずれかに重きを置くことによって画像判別の精度が向上することが確認されている場合には、H,S,Vの次元数の比を調整することが有効である。例えば、H(色相)に重きを置くことによって精度が向上することが確認されている場合には、次元数の比をH:S:V=2:1:1とすることなどが考えられる。   The HSV histogram is calculated as the frequency of the entire image after converting RGB of each pixel in the image data into HSV. Accordingly, the HSV histogram represents the appearance frequency of the overall color of the image such as “many red portions”. In general, normalization is performed so that each component of the feature value has an average of 0 and a variance of 1. In addition, when it is confirmed by preliminary examination or the like that the accuracy of image discrimination is improved by placing emphasis on one of H (hue), S (saturation), and V (lightness). It is effective to adjust the ratio of the dimensionality of H, S, and V. For example, when it is confirmed that the accuracy is improved by placing emphasis on H (hue), the ratio of the number of dimensions may be H: S: V = 2: 1: 1.

事例画像特徴量抽出部11cは、S1−1の処理においてメモリ15に記憶された事例画像データ並びにS1−2の処理においてメモリ15に記憶された加工事例画像データをメモリ15から読み込み、読み込んだ画像データ毎に画像特徴量の演算を行う。   The case image feature amount extraction unit 11c reads from the memory 15 the case image data stored in the memory 15 in the process of S1-1 and the processing case image data stored in the memory 15 in the process of S1-2. Image feature values are calculated for each data.

そして、事例画像特徴量抽出部11cは、画像特徴量演算の元になった画像データと関連付けた上で画像データ毎の画像特徴量をメモリ15に記憶させる。   Then, the case image feature amount extraction unit 11c stores the image feature amount for each image data in the memory 15 in association with the image data that is the basis of the image feature amount calculation.

次に、制御部11の事例画像表現部11dは、評価対象物の事例画像データ及び加工事例画像データを特徴空間上に表現する(S1−4)。   Next, the case image expression unit 11d of the control unit 11 expresses the case image data and the processed case image data of the evaluation object on the feature space (S1-4).

本発明における特徴空間とは、画像データを構成するパラメータ(本発明においては画像特徴量)によってベクトル化(即ち座標化)して画像データを表す空間、または、パラメータによってベクトル化したデータを更に高次元の空間に非線形写像して画像データを表す空間をいう。   The feature space in the present invention is a space that represents image data by vectorization (that is, coordinated) by parameters (image feature amounts in the present invention) that constitute image data, or data that is vectorized by parameters. A space that represents image data by nonlinear mapping in a dimensional space.

事例画像表現部11dは、S1−3の処理においてメモリ15に記憶された事例画像データ及び加工事例画像データ毎の画像特徴量をメモリ15から読み込む。そして、事例画像表現部11dは、読み込んだ画像特徴量に基づいて事例画像データ及び加工事例画像データを特徴空間上に表現する。   The case image expression unit 11d reads, from the memory 15, the image feature amount for each of the case image data and the processed case image data stored in the memory 15 in the process of S1-3. Then, the case image representation unit 11d represents the case image data and the processed case image data on the feature space based on the read image feature amount.

次に、制御部11の判別面生成部11eは、特徴空間上に表現された評価対象物の事例画像データ及び加工事例画像データを用いて腐食度の判別面の生成を行う(S1−5)。   Next, the discriminant surface generation unit 11e of the control unit 11 generates the discriminant surface of the corrosion degree using the case image data and the processing case image data of the evaluation object expressed in the feature space (S1-5). .

本実施形態では、画像データのパターン識別の方法としてサポートベクターマシン(以下、SVMと表記する)を用いる。SVMは、与えられた事例群の中からクラスの判別が最も難しい事例を探し出し、それを元に判別面(例えば超平面)を生成する手法である。   In the present embodiment, a support vector machine (hereinafter referred to as SVM) is used as a pattern identification method for image data. The SVM is a method for finding a case where the class is most difficult to discriminate from a given group of cases and generating a discriminant plane (for example, a hyperplane) based on the found case.

図3に、本発明にSVMを適用した場合の判別面生成の概念図を示す。図3は、クラス2とクラス3とを判別する判別面生成の概念図である。本発明にSVMを適用した場合には、図3に示すように、特徴空間1上に事例画像及び加工事例画像データ群2を表現すると共に、これら画像群2の中からクラスを判別することが難しい画像データ2’を抽出し、当該画像データ2’を元に判別面3を生成する。なお、SVM自体は周知の技術であるのでここでは詳細については省略する(例えば、小野田崇:サポートベクターマシン,オーム社,2007年)。   FIG. 3 shows a conceptual diagram of discriminant plane generation when the SVM is applied to the present invention. FIG. 3 is a conceptual diagram of discriminant plane generation for discriminating between class 2 and class 3. When SVM is applied to the present invention, as shown in FIG. 3, a case image and a processed case image data group 2 can be expressed on the feature space 1 and a class can be discriminated from the image group 2. Difficult image data 2 ′ is extracted, and a discrimination surface 3 is generated based on the image data 2 ′. Since SVM itself is a well-known technique, details are omitted here (for example, Takashi Onoda: Support Vector Machine, Ohm Corporation, 2007).

本実施形態においては、判別面生成部11eは、特徴空間上において、早期ラベルであるか適期ラベルであるかを判別することが難しい画像と、適期ラベルであるか遅期ラベルであるかを判別することが難しい画像と、さらに、遅期ラベルであるか早期ラベルであるかを判別することが難しい画像とを抽出する。   In the present embodiment, the discriminant plane generation unit 11e discriminates on the feature space an image that is difficult to discriminate whether it is an early label or an appropriate label, and whether it is an appropriate label or a late label. An image that is difficult to detect and an image that is difficult to determine whether it is a late label or an early label are extracted.

そして、判別面生成部11eは、特徴空間上において、早期ラベルであると判別することが難しい画像と適期ラベルであると判別することが難しい画像との真ん中に早期−適期判別面を生成し、適期ラベルであると判別することが難しい画像と遅期ラベルであると判別することが難しい画像との真ん中に適期−遅期判別面を生成し、さらに、遅期ラベルであると判別することが難しい画像と早期ラベルであると判別することが難しい画像との真ん中に遅期−早期判別面を生成する。   Then, the discriminant plane generating unit 11e generates an early-time-appropriate discriminant plane in the middle between an image that is difficult to discriminate as an early label and an image that is difficult to discriminate as an appropriate label on the feature space, It is possible to generate a time-delay discriminating surface in the middle between an image that is difficult to discriminate as a timely label and an image that is difficult to discriminate as a late label, and further discriminate that it is a late label. A late-early discrimination plane is generated in the middle between a difficult image and an image that is difficult to discriminate as an early label.

そして、判別面生成部11eは生成した三つの判別面を表すパラメータをメモリ15に記憶させる。   Then, the discriminant plane generation unit 11e stores parameters representing the generated three discriminant planes in the memory 15.

以上の判別面生成ステップ(S1)の処理は判定実施物と同類の評価対象物群に対して1回だけ行う。例えば、本実施形態の場合には、判定実施物である送電鉄塔の鋼材と同類の鋼材に同類の溶融亜鉛めっきが施されているときは同類の評価対象物であるとし、送電鉄塔のいずれの部位であるかに拘わらず、鋼材の腐食度の判定を行うための判別面の生成は判定実施物である鋼材と同類の鋼材群に対して1回だけ行う。   The process of the discriminant plane generation step (S1) is performed only once for an evaluation object group similar to the determination implementation object. For example, in the case of the present embodiment, when the same hot dip galvanizing is applied to the steel material similar to the steel material of the transmission tower that is the judgment implementation object, it is assumed that it is the same evaluation object, and any of the power transmission towers Regardless of the location, the generation of the discriminating surface for determining the degree of corrosion of the steel material is performed only once for a steel material group similar to the steel material as the judgment object.

そして、この判別面生成ステップ(S1)の処理によって生成された判別面を用いて以下の判定ステップ(S2)の処理を行う。なお、判別面生成ステップ(S1)の処理によって生成された判別面を当該判別面生成の元となった事例画像データの評価対象物の類に属する判定実施物の継続的な点検作業において用いる場合には、当該判別面を表すパラメータを記憶手段である記憶部12やデータサーバ16に保存するようにしても良い。   Then, the following determination step (S2) is performed using the determination surface generated by the determination surface generation step (S1). When the discrimination surface generated by the processing of the discrimination surface generation step (S1) is used in the continuous inspection work of the determination object belonging to the class of the evaluation object of the case image data that is the source of the determination surface generation Alternatively, the parameter representing the discrimination surface may be stored in the storage unit 12 or the data server 16 as storage means.

続いて、判定ステップ(S2)について説明する。この判定ステップ(S2)の処理は、供用中の設備の鋼材部品の補修や交換の必要性を判断するための点検作業において用いられる処理であって、判別面生成ステップ(S1)の処理において生成された判別面を用いて判定実施物としての供用中の設備の鋼材部品の腐食度の判定を行うものである。   Next, the determination step (S2) will be described. The process of this determination step (S2) is a process used in the inspection work for determining the necessity of repair or replacement of steel parts of equipment in service, and is generated in the process of the determination surface generation step (S1). The determined degree of corrosion is used to determine the degree of corrosion of the steel parts of the equipment in service as a determination object.

判定ステップ(S2)として、まず、制御部11の判定画像データ読込部11fが、判定実施物の画像データの読み込みを行う(S2−1)。   As a determination step (S2), first, the determination image data reading unit 11f of the control unit 11 reads the image data of the determination implementation (S2-1).

判定実施物の画像データ(以下、判定画像データと呼ぶ)は、判定実施物の点検の際に判定実施物をデジタルカメラで撮影した画像のデータである。なお、判定画像データは、事例画像データと同様に、デジタルカメラに備わっている自動露出設定機能及び自動ホワイトバランス設定機能を用いて撮影されたもので構わない。さらに、判定画像データは、事例画像データと同様に、照明条件が撮影のたびに変化しているものでも良く、評価対象物から離れた位置で望遠レンズを用いて撮影されたものでも良い。   The image data of the determination implementation (hereinafter referred to as determination image data) is data of an image obtained by photographing the determination implementation with a digital camera when the determination implementation is inspected. The determination image data may be captured using an automatic exposure setting function and an automatic white balance setting function provided in the digital camera, as in the case image data. Further, like the case image data, the determination image data may be one in which the illumination condition changes each time photographing is performed, or may be photographed using a telephoto lens at a position away from the evaluation target.

また、判定画像データについても、事例画像データと同様に、撮影した実際の画像中の判定実施物部分(本実施形態では鋼材部分)を正方形に切り取ったものが用いられる。すなわち、撮影した実際の画像から正方形に切り取られた画像データが判定画像データとして判定画像データベース19に蓄積される。さらに、画像データの切り取り方や必要な場合の変形などの処理についても事例画像データの場合と同様である。   As for the determination image data, as in the case image data, a determination execution part (a steel material part in the present embodiment) in a captured actual image is cut into a square. In other words, the image data cut out in a square shape from the photographed actual image is accumulated in the determination image database 19 as the determination image data. Further, the process of cutting out image data and processing such as transformation when necessary are the same as in the case of case image data.

本実施形態では、判定実施物に係る判定画像データは判定画像データベース19として記憶手段であるデータサーバ16に蓄積される。なお、判定画像データベース19は記憶手段である記憶部12に保存されるようにしても良い。   In the present embodiment, the determination image data related to the determination object is stored as a determination image database 19 in the data server 16 serving as a storage unit. The determination image database 19 may be stored in the storage unit 12 that is a storage unit.

判定画像データ読込部11fは、判定実施物の判定画像データをデータサーバ16に保存されている判定画像データベース19から読み込む。そして、判定画像データ読込部11fは読み込んだ判定画像データをメモリ15に記憶させる。   The determination image data reading unit 11 f reads the determination image data of the determination object from the determination image database 19 stored in the data server 16. Then, the determination image data reading unit 11 f stores the read determination image data in the memory 15.

次に、制御部11の判定画像加工部11gは、判定実施物の判定画像に対して色加工の処理を行う(S2−2)。   Next, the determination image processing unit 11g of the control unit 11 performs color processing on the determination image of the determination implementation (S2-2).

画像に対する色加工(具体的には色温度の変化及び明るさの変化)の処理はS1−2の処理の内容と同様である。すなわち、判定画像加工部11gは、まず、S2−1の処理においてメモリ15に記憶された判定画像データ(S2−2の処理においてはオリジナル判定画像と呼ぶ)をメモリ15から読み込む。   Color processing (specifically, change in color temperature and change in brightness) for the image is the same as the content of the process in S1-2. That is, the determination image processing unit 11g first reads determination image data (referred to as an original determination image in the process of S2-2) stored in the memory 15 from the memory 15 in the process of S2-1.

そして、判定画像加工部11gは、オリジナル判定画像に対して色温度を増した画像と減らした画像とを作成すると共に、オリジナル判定画像に対して明るさを明るくした画像と暗くした画像とを作成する。   Then, the determination image processing unit 11g generates an image with an increased color temperature and a decreased image with respect to the original determination image, and also generates an image with a lighter brightness and a darkened image with respect to the original determination image. To do.

本実施形態では、S1−2の処理と同様に、色合いについて3種類と明るさについて3種類との組み合わせで、オリジナル判定画像の他に合計8種類の画像(加工判定画像と呼ぶ)が作成されるものとして以下説明する。   In the present embodiment, a total of eight types of images (referred to as processing determination images) are created in addition to the original determination image by combining three types of hue and three types of brightness as in the process of S1-2. This will be described below.

判定画像加工部11gは、S2−1の処理においてメモリ15に記憶された判定画像データ(即ちオリジナル判定画像)のそれぞれに対して8種類の加工判定画像を作成する。   The determination image processing unit 11g creates eight types of processing determination images for each of the determination image data (that is, the original determination image) stored in the memory 15 in the process of S2-1.

そして、判定画像加工部11gは、例えば同じID番号を付与するなど元になったオリジナル判定画像と関連付けた上で加工判定画像データをメモリ15に記憶させる。   Then, the determination image processing unit 11g stores the processing determination image data in the memory 15 in association with the original original determination image, for example, by assigning the same ID number.

次に、制御部11の判定画像特徴量抽出部11hは、判定実施物の判定画像データ及び加工判定画像データの画像特徴量の抽出を行う(S2−3)。   Next, the determination image feature amount extraction unit 11h of the control unit 11 extracts the image feature amounts of the determination image data of the determination implementation and the processing determination image data (S2-3).

判定画像データ及び加工判定画像データの画像特徴量の抽出は、S1−3の処理と同様の画像特徴量を用いて行う。   Extraction of the image feature amount of the determination image data and the processing determination image data is performed using the same image feature amount as in the processing of S1-3.

判定画像特徴量抽出部11hは、S2−1の処理においてメモリ15に記憶された判定画像データ並びにS2−2の処理においてメモリ15に記憶された加工判定画像データをメモリ15から読み込み、読み込んだ画像データ毎に画像特徴量の演算を行う。   The determination image feature amount extraction unit 11h reads the determination image data stored in the memory 15 in the process of S2-1 and the processing determination image data stored in the memory 15 in the process of S2-2 from the memory 15, and reads the read image. Image feature values are calculated for each data.

そして、判定画像特徴量抽出部11hは、画像特徴量演算の元になった画像データと関連付けた上で画像データ毎の画像特徴量をメモリ15に記憶させる。   Then, the determination image feature amount extraction unit 11h stores the image feature amount for each image data in the memory 15 in association with the image data that is the basis of the image feature amount calculation.

次に、制御部11の腐食度判定部11iは、判定実施物の腐食度の判定を行う(S2−4)。   Next, the corrosion degree determination part 11i of the control part 11 determines the corrosion degree of the determination implementation object (S2-4).

具体的には、腐食度判定部11iは、まず、S1−5の処理においてメモリ15に記憶された三つの判別面を表すパラメータをメモリ15から読み込む。   Specifically, the corrosion degree determination unit 11i first reads parameters representing the three determination surfaces stored in the memory 15 from the memory 15 in the process of S1-5.

次に、腐食度判定部11iは、S2−3の処理においてメモリ15に記憶された判定実施物の判定画像データの画像特徴量をメモリ15から読み込む。   Next, the corrosion degree determination unit 11i reads the image feature amount of the determination image data of the determination implementation stored in the memory 15 from the memory 15 in the process of S2-3.

ここで、SVMは基本的には二つのクラスを判別する手法であり、本実施形態のように三つのクラス(即ち、早期ラベル,適期ラベル,遅期ラベル)の判別をするには工夫が必要である。本実施形態では、S1−5の処理において、早期−適期判別面,適期−遅期判別面,遅期−早期判別面の三つの判別面が生成される。そして、S2−4の処理において、判定実施物の画像に対してこれら三つの判別面を順に適用し、当該画像がいずれの腐食度のクラスに属するのか多数決で決定する。なお、三つの判別面による判別結果が全て異なる場合には各クラスへの近さ(即ち、各クラスを構成するサポートベクターへの近さ)で決定する。(以上の処理の詳細については、例えば、山名美智子 他:錆画像を用いた腕金再利用判定方法の開発,研究報告書 R05001,財団法人電力中央研究所,2005年、及び、山名美智子 他:画像中の錆位置に依存しない腕金再利用判定方法,研究報告書 R05004,財団法人電力中央研究所,2006年を参照。)   Here, the SVM is basically a technique for discriminating two classes, and it is necessary to devise in order to discriminate three classes (that is, an early label, an appropriate label, and a late label) as in this embodiment. It is. In the present embodiment, in the process of S1-5, three discriminant surfaces are generated: an early-appropriate time discriminant plane, an appropriate-term-late discriminant plane, and a late-early discriminant plane. Then, in the process of S2-4, these three discriminating surfaces are sequentially applied to the image of the determination object, and the majority of the class of the corrosion degree to which the image belongs is determined. Note that when all the discrimination results by the three discrimination surfaces are different, the determination is made based on the proximity to each class (that is, the proximity to the support vector constituting each class). (For details on the above processing, see, for example, Michiko Yamana et al .: Development of a method for judging the reuse of armbands using rust images, research report R05001, Central Research Institute of Electric Power Industry, 2005, and Michiko Yamana et al .: (Refer to the method for judging the reuse of metallurgy independent of the position of rust in the image, Research Report R05004, Central Research Institute of Electric Power Industry, 2006.)

すなわち、腐食度判定部11iは、メモリ15から読み込んだ判定画像データを特徴空間上に表現すると共に、早期−適期判別面を適用した場合のクラスの判別、適期−遅期判別面を適用した場合のクラスの判別、遅期−早期判別面を適用した場合のクラスの判別を順に行って当該判定画像の腐食度のクラスを決定する。   That is, the corrosion degree determination unit 11i expresses the determination image data read from the memory 15 on the feature space, class determination when the early-time determination surface is applied, and application of the time-delay determination surface Class determination and class determination when the late-early determination surface is applied are sequentially performed to determine a class of corrosion degree of the determination image.

さらに、腐食度判定部11iは、S2−3の処理においてメモリ15に記憶された加工判定画像データ毎の画像特徴量のうち前記の判定実施物の判定画像データ(即ちオリジナル判定画像)と関連付けられた加工判定画像データの画像特徴量をメモリ15から順に読み込む。   Further, the corrosion degree determination unit 11i is associated with the determination image data (that is, the original determination image) of the determination execution object among the image feature amounts for each processing determination image data stored in the memory 15 in the process of S2-3. The image feature amounts of the processed determination image data are sequentially read from the memory 15.

そして、腐食度判定部11iは、順に、メモリ15から読み込んだ加工判定画像データを特徴空間上に表現すると共に三つの判別面を適用して当該加工判定画像の腐食度のクラスを決定する。   Then, the corrosion degree determination unit 11i sequentially expresses the processing determination image data read from the memory 15 on the feature space and determines the corrosion degree class of the processing determination image by applying the three determination surfaces.

続いて、腐食度判定部11iは、一つの判定実施物に係る判定画像及び加工判定画像についての腐食度のクラス(本実施形態では合計九つ)の中から多数決によって当該判定実施物の腐食度のクラスを決定する。なお、九つの腐食度のクラスの分布が同数だった場合にはオリジナル判定画像の腐食度のクラスを当該判定実施物の腐食度のクラスとする。   Subsequently, the corrosion degree determination unit 11i uses the majority of the corrosion degree classes (in this embodiment, nine in total) for the determination image and the processing determination image related to one determination object to determine the corrosion degree of the determination object. Determine the class. When the distribution of the nine classes of corrosion degree is the same, the class of corrosion degree in the original judgment image is set as the class of corrosion degree of the judgment execution object.

そして、腐食度判定部11iは、判定実施物毎の腐食度のラベルを表示部14に表示させると共に、判定実施物毎の判定画像と腐食度のラベルとの組み合わせデータを判定結果ファイルとして記憶部12に記憶させる。   And the corrosion degree determination part 11i displays the label of the corrosion degree for every judgment implementation thing on the display part 14, and also memorize | stores the combination data of the judgment image and corrosion degree label for every judgment thing as a judgment result file 12 is stored.

なお、判別面生成ステップ(S1)において生成した判別面を適用することができる同類の判定実施物に係る判定画像データが判定画像データベース19に複数蓄積されている場合には、制御部11は判定画像データ毎にS2−1からS2−4までの処理を繰り返して行う。   When a plurality of pieces of determination image data related to similar determination implementations to which the determination surface generated in the determination surface generation step (S1) can be applied are stored in the determination image database 19, the control unit 11 determines The processing from S2-1 to S2-4 is repeated for each image data.

そして、制御部11は、腐食度評価プログラム17の処理を終了する(END)。   And the control part 11 complete | finishes the process of the corrosion degree evaluation program 17 (END).

以上の構成を有する本発明の腐食度評価方法、装置及びプログラムによれば、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく判別面が生成されると共に腐食度の判定が行われるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した判別面を生成することができると共に腐食度の判定を行うことができ、屋外の評価対象物や判定実施物から離れた地点から撮影した画像であって照明条件が一定に保たれていない画像であっても腐食度の判定を精度良く行うことが可能になる。   According to the corrosion degree evaluation method, apparatus, and program of the present invention having the above-described configuration, a determination surface based on an image group in which some ambiguity is added to white balance and exposure is generated and the degree of corrosion is determined. Therefore, it is possible to generate a discriminating surface that mitigates the effects of adjustment / conversion errors caused by the camera's automatic white balance setting function and automatic exposure setting function, and to determine the degree of corrosion. It is possible to accurately determine the degree of corrosion even if the image is taken from a point away from the object or the determination object and the illumination condition is not kept constant.

なお、上述の形態は本発明の好適な形態の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、本実施形態では、S1−2及びS2−2の処理における色加工において、オリジナル画像に対して色温度を変化させると共に明るさを変化させて変換した加工画像を作成するようにしているが、これに限られず、オリジナル画像に対して色温度のみを変化させて変換した加工画像を作成するようにしても良いし、或いは、オリジナル画像に対して明るさのみを変化させて変換した加工画像を作成するようにしても良い。   In addition, although the above-mentioned form is an example of the suitable form of this invention, it is not limited to this, A various deformation | transformation implementation is possible in the range which does not deviate from the summary of this invention. For example, in this embodiment, in the color processing in the processing of S1-2 and S2-2, a processed image is generated by changing the color temperature and changing the brightness with respect to the original image. However, the present invention is not limited to this, and a processed image obtained by converting only the color temperature of the original image may be created, or a processed image converted by changing only the brightness of the original image. You may make it create.

また、本実施形態では、判別面の生成に用いるためにS1−2の処理において加工事例画像を作成する際の色加工の程度並びに加工事例画像の作成枚数と、判定実施物の腐食度の判定に用いるためにS2−2の処理において加工判定画像を作成する際の色加工の程度並びに加工判定画像の作成枚数とが一致しているが、これに限られず、S1−2の処理における色加工の程度並びに加工事例画像の作成枚数とS2−2の処理における色加工の程度並びに加工判定画像の作成枚数とは一致していなくても良い。   Further, in the present embodiment, the degree of color processing when creating a machining example image in the processing of S1-2 for use in generating a discrimination surface, the number of machining example images created, and the determination of the degree of corrosion of the judgment object However, the present invention is not limited to this, and the color processing in the processing of S1-2 is the same as the degree of color processing and the number of processing determination images to be created in the processing of S2-2. And the number of processed example images created may not coincide with the degree of color processing and the number of processed determination images created in step S2-2.

また、本実施形態では、S1−2の処理において複数枚の加工事例画像を作成すると共に、S2−2の処理において複数枚の加工判定画像を作成するようにしているが、これに限られず、S1−2の処理において判別面生成のために複数枚の加工事例画像を作成する一方でS2−2の処理をしないで腐食度の判定にはオリジナル判定画像のみを用いるようにしても良いし、或いは、S1−2の処理をしないで判別面の生成にはオリジナル事例画像のみを用いる一方でS2−2の処理において腐食度の判定のために複数枚の加工判定画像を作成するようにしても良い。   In the present embodiment, a plurality of processing example images are created in the processing of S1-2, and a plurality of processing determination images are created in the processing of S2-2. However, the present invention is not limited to this. In the process of S1-2, while creating a plurality of processing example images for generating the discriminant surface, only the original determination image may be used for determining the corrosion degree without performing the process of S2-2. Alternatively, only the original case image is used to generate the discrimination surface without performing the process of S1-2, while a plurality of processing determination images are created for the determination of the corrosion degree in the process of S2-2. good.

また、本実施形態では、S1−2及びS2−2の処理における色加工の程度並びに加工画像の作成枚数について作業者が適宜決定するようにしたり交差検定法を用いて決定するようにしているが、これに限られず、腐食度が既に分かっている金物類のサンプルがある場合には、想定される多様な照明条件(例えば、順光と逆光,晴天と曇天,日中と夕方など)でサンプルを撮影してホワイトバランスや露出がどの程度変動するのかを撮影画像で予め確認し、その変動の程度を考慮して色加工の程度並びに加工画像の作成枚数を決定するようにしても良い。   In the present embodiment, the operator appropriately determines the degree of color processing in S1-2 and S2-2 and the number of processed images to be created, or uses a cross-validation method. However, if there is a hardware sample with a known degree of corrosion, not limited to this, the sample may be used under a variety of possible lighting conditions (for example, direct light and backlight, clear and cloudy, day and evening). The degree of color processing and the number of processed images to be created may be determined in advance by checking the degree of white balance and exposure with a photographed image and taking the degree of the fluctuation into consideration.

S1−2及びS2−2の処理における色加工の程度並びに加工画像の作成枚数の決定については、さらに、画像中で腐食を起こしていない箇所が特定できる場合には、当該箇所の色値を用いて色加工の程度並びに加工画像の作成枚数を決定するようにしても良い。具体的には、腐食を起こしていない箇所でのホワイトバランス(R,G,Bの比)が均等になるように色を変化させる色加工を行う。また、腐食を起こしていない箇所を複数特定することができる場合には、それぞれをリファレンスとすることにより加工画像を複数枚作成することができる。   Regarding the determination of the degree of color processing and the number of processed images to be created in the processing of S1-2 and S2-2, if a location where corrosion has not occurred in the image can be specified, the color value of the location is used. The degree of color processing and the number of processed images to be created may be determined. Specifically, color processing is performed to change the color so that the white balance (ratio of R, G, B) is uniform at the locations where corrosion has not occurred. In addition, when it is possible to specify a plurality of locations where corrosion has not occurred, a plurality of processed images can be created by using each as a reference.

本発明の腐食度評価方法、装置及びプログラムを実際の送電鉄塔の鋼材の腐食度の判定に適用した実施例を図4を用いて説明する。なお、本実施例では、判別面生成ステップ(S1)においては事例画像に対して色加工の処理(S1−2)を施し、判定ステップ(S2)においては判定画像に対しては色加工の処理(S2−2)を施さなかった。   An embodiment in which the corrosion degree evaluation method, apparatus and program of the present invention are applied to the determination of the corrosion degree of the steel material of an actual power transmission tower will be described with reference to FIG. In this embodiment, color processing (S1-2) is performed on the case image in the determination surface generation step (S1), and color processing is performed on the determination image in the determination step (S2). (S2-2) was not performed.

本実施例では、デジタルカメラを用いて撮影した1645枚の鉄塔鋼材錆画像を撮影画像として用いた。本実施例では、デジタルカメラに備わっている自動露出設定機能及び自動ホワイトバランス設定機能を利用して撮影された画像を用いた。さらに、本実施例で用いた画像には、照明条件が撮影のたびに変化しているものも含まれていた。   In this example, 1645 steel tower rust images photographed using a digital camera were used as photographed images. In this embodiment, an image photographed using the automatic exposure setting function and the automatic white balance setting function provided in the digital camera is used. Furthermore, the image used in the present embodiment includes an image in which the illumination condition changes every time shooting is performed.

そして、全ての画像について、画像特徴量を抽出するのに十分な解像度であり且つ撮影された鉄塔鋼材で最も小さく撮影されているものを拡大する必要がないことを考慮し、撮影画像から鉄塔鋼材部分の縦320画素×横320画素を切り取って事例画像データとした。   And, considering that all the images have sufficient resolution to extract the image feature amount and it is not necessary to enlarge the smallest photographed steel tower steel material, it is necessary to enlarge the steel tower steel material from the photographed image. A portion of 320 vertical pixels × horizontal 320 pixels was cut out and used as example image data.

また、本実施例では、亜鉛めっき鋼材表面の腐食度のラベルとして、溶融亜鉛めっきが十分に残存している状態である早期ラベル,亜鉛めっきの劣化が部分的に合金層まで達している状態である適期ラベル,全面で合金層が露出し一部で鉄素地及び鉄素地に近い部分からの錆が見られる状態である遅期ラベルの三つのラベルを用いた。そして、1645枚の錆画像のそれぞれに専門家が腐食度のラベルを付与した。   Moreover, in this example, as a label for the degree of corrosion on the surface of the galvanized steel material, an early label in which hot dip galvanization remains sufficiently, in a state where the deterioration of galvanization partially reaches the alloy layer. Three labels were used: a label at a certain time, an alloy layer exposed on the entire surface, and a part of the iron base and a part of the rust from the part close to the iron base. And the expert gave the label of the corrosion degree to each of the 1645 rust images.

また、本実施例では、S1−2の処理における色加工において、オリジナル事例画像の色温度を5000Kと仮定すると共に、仮定した色温度5000Kに対して0.9倍の4500Kに色温度を変換した画像と1.1倍の5500Kに色温度を変換した画像とを作成した。なお、5000KでのRGB値を(r,g,b)とすると、4500Kでの値は(1.149r,g,0.940b)となり、5500Kでの値は(0.897r,g,1.043b)となる。   In the present embodiment, in the color processing in the process of S1-2, the color temperature of the original case image is assumed to be 5000K, and the color temperature is converted to 4500K, 0.9 times the assumed color temperature of 5000K. An image and an image obtained by converting the color temperature to 1.1 times 5500K were created. If the RGB value at 5000K is (r, g, b), the value at 4500K is (1.149r, g, 0.940b), and the value at 5500K is (0.897r, g, 1. 043b).

さらに、オリジナル事例画像及び色温度を変換した画像のそれぞれに対して明るさを0.9倍にして少し暗く変換した画像と1.1倍にして少し明るく変換した画像とを作成した。   Furthermore, an image obtained by converting the original case image and the image obtained by converting the color temperature to a slightly darker brightness by 0.9 times and an image converted to a slightly brighter image by 1.1 times were created.

すなわち、本実施例では、図4に示すように、色合い(即ち色温度)について3種類と明るさ(即ち露出)について3種類との組み合わせで、一つのオリジナル事例画像について合計8種類の加工事例画像を作成した。   That is, in the present embodiment, as shown in FIG. 4, a total of eight processing examples are obtained for one original case image by combining three types of hue (that is, color temperature) and three types of brightness (that is, exposure). Created an image.

また、本実施例では、S1−3の処理における画像特徴量の抽出において、細かな色合いを扱う特徴量であってホワイトバランスや露出の変化に対して敏感な判別面を生成することができると考えられることを考慮し、画像特徴量としてHSVヒストグラムを用いた。   In the present embodiment, when extracting the image feature amount in the processing of S1-3, it is possible to generate a discrimination plane that is a feature amount that handles fine hues and that is sensitive to changes in white balance and exposure. Considering what can be considered, an HSV histogram was used as an image feature amount.

本実施例では、HSVヒストグラムを用いる際に、Hを96段階に区分して頻度分布を計算すると共に、S,Vはそれぞれ48段階に区分して頻度分布を計算した。すなわち、96+48+48=192次元のデータになる。また、特徴量の各成分が平均0,分散1になるように正規化した。   In this embodiment, when the HSV histogram is used, the frequency distribution is calculated by dividing H into 96 stages, and the frequency distribution is calculated by dividing S and V into 48 stages. That is, 96 + 48 + 48 = 192-dimensional data. In addition, normalization was performed so that each component of the feature amount had an average of 0 and a variance of 1.

そして、本実施例では、まず、腐食度の各ラベルの事例画像群からランダムに全体の4分の1を取り出して判定画像データにすると共に残りの全ての画像を事例画像データにし、当該事例画像データを用いて判別面を生成した後に当該判別面を用いて判定画像データの腐食度のラベルを判定した。本実施例では、この「ランダム取り出し→判別面生成→判定」の評価過程を100試行行った。   In the present embodiment, first, a quarter of the whole is randomly extracted from the case image group of each label of the corrosion degree and used as determination image data, and all the remaining images are used as case image data. After generating the discriminant surface using the data, the label of the corrosion degree of the judgment image data was judged using the discriminant surface. In this example, 100 trials of the evaluation process of “random extraction → discrimination surface generation → determination” were performed.

ここで、最初に取り出した全体の4分の1の判定画像の枚数nに対して本発明の腐食度評価方法が腐食度を正しく判定した画像の枚数mの割合(即ちm/n)を判定精度とし、100試行での判定精度の平均を平均判定精度とした。   Here, the ratio (namely, m / n) of the number m of the images for which the corrosion degree evaluation method of the present invention has correctly judged the corrosion degree is determined with respect to the number n of the determination images of one quarter of the whole taken out first. The average of the determination accuracy in 100 trials was defined as the average determination accuracy.

上記評価過程を100試行行い、平均判定精度は83.8%になった。この結果から、本発明が、デジタルカメラに備わっている自動露出設定機能及び自動ホワイトバランス設定機能を用いて撮影された画像データや照明条件が撮影のたびに変化している画像データを用いた腐食度の判定に有用であることが確認できた。   The evaluation process was performed for 100 trials, and the average determination accuracy was 83.8%. From this result, the present invention is a corrosion using the image data photographed using the automatic exposure setting function and the automatic white balance setting function provided in the digital camera and the image data in which the illumination condition is changed every time photographing is performed. It was confirmed that it was useful for determining the degree.

また、画像特徴量としてHSVヒストグラムを用いることにより、色合いや露出の変動を考慮した判別面を生成することができ、画像データによる腐食度の判定精度の向上に寄与することが確認できた。   In addition, it was confirmed that by using an HSV histogram as an image feature amount, a discrimination surface that takes into account variations in hue and exposure can be generated, which contributes to an improvement in the accuracy of determination of corrosion degree based on image data.

本発明の腐食度評価方法の実施形態の一例を説明するフローチャートである。It is a flowchart explaining an example of embodiment of the corrosion degree evaluation method of this invention. 本実施形態の腐食度評価方法をプログラムを用いて実施する場合の腐食度評価装置の機能ブロック図である。It is a functional block diagram of the corrosion degree evaluation apparatus in the case of implementing the corrosion degree evaluation method of this embodiment using a program. 判別面の生成を説明する概念図である。It is a conceptual diagram explaining the production | generation of a discriminant surface. 実施例におけるオリジナル事例画像と加工事例画像との関係を説明する図である。It is a figure explaining the relationship between the original example image in an Example, and a process example image.

符号の説明Explanation of symbols

1 特徴空間
2 事例画像及び加工事例画像データ群
2’クラス判別が難しい画像データ
3 判別面
DESCRIPTION OF SYMBOLS 1 Feature space 2 Case image and process case image data group 2 'Image data with which class distinction is difficult 3 Discrimination surface

Claims (9)

評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを作成するステップと、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与するステップと、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、前記判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定するステップとを有することを特徴とする腐食度評価方法。   Creating a case image of the evaluation object and label data of the corrosion degree for each case image, and creating data of a processing case image by changing the color temperature and / or brightness of the case image Adding the data of the corrosion degree label of the case image that is the basis of the machining case image to the data of the machining case image that is created and the data of the label of the corrosion degree of the case image and the case image And a step of generating a determination surface of the corrosion degree by a support vector machine using data of the processing example image and the corrosion degree label of the processing example image, and a step of creating determination image data of a determination object, And a step of determining the degree of corrosion of the determination image using the data of the determination image and the determination surface. 評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを作成するステップと、前記事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップと、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定するステップとを有することを特徴とする腐食度評価方法。   A step of creating a case image of the evaluation object and a label of the corrosion degree for each of the case images; and a surface for determining the degree of corrosion by a support vector machine using the data of the case image and the corrosion degree label of the case image A step of generating determination image data of a determination object, a step of generating data of a processing determination image by changing a color temperature and / or brightness of the determination image, and And determining the corrosion degree of the determination image using the determination image data, the processing determination image data, and the determination surface. 評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを作成するステップと、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与するステップと、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップと、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定するステップとを有することを特徴とする腐食度評価方法。   Creating a case image of the evaluation object and label data of the corrosion degree for each case image, and creating data of a processing case image by changing the color temperature and / or brightness of the case image Adding the data of the corrosion degree label of the case image that is the basis of the machining case image to the data of the machining case image that is created and the data of the label of the corrosion degree of the case image and the case image And a step of generating a determination surface of the corrosion degree by a support vector machine using data of the processing example image and the corrosion degree label of the processing example image, and a step of creating determination image data of a determination object, Changing the color temperature and / or brightness of the determination image to create processing determination image data; and the determination image data; and Corrosion evaluation method characterized by having a determining corrosion rate of the determination image by using the data as well as the determination surface of serial processing determination image. 評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを読み込む手段と、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与する手段と、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、前記判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する手段とを有することを特徴とする腐食度評価装置。   Means for reading the case image of the evaluation object and the label of the corrosion degree for each case image, and creating the processing case image data by changing the color temperature and / or brightness of the case image. Means for attaching the data of the corrosion degree label of the case image that is the basis of the processing case image to the data of the processing case image created together with the data of the label of the corrosion degree of the case image and the case image, and Means for generating a corrosion degree determination surface by a support vector machine using data of the processing example image and the corrosion degree label of the processing example image; means for reading determination image data of a determination implementation; and the determination image And a means for judging the degree of corrosion of the judgment image using the data and the discrimination surface. 評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを読み込む手段と、前記事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段と、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する手段とを有することを特徴とする腐食度評価装置。   Means for reading the case image of the evaluation object and the corrosion degree label data for each case image, and using the support image machine to determine the corrosion degree discrimination surface using the case image and the corrosion degree label data of the case image Means for generating, means for reading determination image data of the determination object, means for changing the color temperature and / or brightness of the determination image to create processing determination image data, and the determination A corrosion degree evaluation apparatus comprising: image data, processing determination image data, and means for determining the corrosion degree of the determination image using the determination surface. 評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを読み込む手段と、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与する手段と、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段と、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する手段とを有することを特徴とする腐食度評価装置。   Means for reading the case image of the evaluation object and the label of the corrosion degree for each case image, and creating the processing case image data by changing the color temperature and / or brightness of the case image. Means for attaching the data of the corrosion degree label of the case image that is the basis of the processing case image to the data of the processing case image created together with the data of the label of the corrosion degree of the case image and the case image, and Means for generating a corrosion degree determination surface by a support vector machine using data of the processing example image and the corrosion degree label of the processing example image; means for reading determination image data of a determination implementation; and the determination image Means for changing the color temperature and / or brightness of the image to create processing determination image data, and determining the data of the determination image and the processing determination image. Data and corrosion evaluation device, characterized in that it comprises a means for determining the corrosion rate of the determination image by using the discrimination surface. 評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与する処理と、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、前記判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する処理とをコンピュータに行わせることを特徴とする腐食度評価プログラム。   Processing of reading the case image of the evaluation object and the label of the corrosion degree for each case image from the storage means, and processing case image data by changing the color temperature and / or brightness of the case image , And the processing example image data that is the basis of the processed case image and the label of the corrosion level of the case image and the case image The processing example image and the processing example image and the corrosion degree label data of the processing example image are used to generate a corrosion degree discrimination surface by a support vector machine, and the judgment image data of the judgment object is read from the storage means. A process for causing a computer to perform a process and a process for determining the degree of corrosion of the determination image using the data of the determination image and the determination surface. Degree evaluation program. 評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、前記事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する処理と、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する処理とをコンピュータに行わせることを特徴とする腐食度評価プログラム。   The processing of reading the case image of the evaluation object and the corrosion degree label data for each case image from the storage means, and using the case image and the corrosion degree label data of the case image, the support vector machine Processing for generating a discrimination surface, processing for reading judgment image data of a judgment object from storage means, and creating data of a processing judgment image by changing color temperature and / or brightness of the judgment image A corrosion degree evaluation program that causes a computer to perform processing for determining the degree of corrosion of the determination image using the determination image data, the processing determination image data, and the determination surface. 評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与する処理と、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する処理と、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する処理とをコンピュータに行わせることを特徴とする腐食度評価プログラム。   Processing of reading the case image of the evaluation object and the label of the corrosion degree for each case image from the storage means, and processing case image data by changing the color temperature and / or brightness of the case image , And the processing example image data that is the basis of the processed case image and the label of the corrosion level of the case image and the case image The processing example image and the processing example image and the corrosion degree label data of the processing example image are used to generate a corrosion degree discrimination surface by a support vector machine, and the judgment image data of the judgment object is read from the storage means. Processing, processing for changing the color temperature and / or brightness of the determination image, or creating processing determination image data, and data of the determination image Fine the processing determination image data and corrosion evaluation program characterized by causing the process of determining corrosion rate of the determination image on a computer by using the discrimination surface of.
JP2008145969A 2008-06-03 2008-06-03 Corrosion degree evaluation method, apparatus and program Expired - Fee Related JP5248213B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008145969A JP5248213B2 (en) 2008-06-03 2008-06-03 Corrosion degree evaluation method, apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008145969A JP5248213B2 (en) 2008-06-03 2008-06-03 Corrosion degree evaluation method, apparatus and program

Publications (2)

Publication Number Publication Date
JP2009293993A JP2009293993A (en) 2009-12-17
JP5248213B2 true JP5248213B2 (en) 2013-07-31

Family

ID=41542305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008145969A Expired - Fee Related JP5248213B2 (en) 2008-06-03 2008-06-03 Corrosion degree evaluation method, apparatus and program

Country Status (1)

Country Link
JP (1) JP5248213B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191252A (en) * 2010-03-16 2011-09-29 Nippon Steel Engineering Co Ltd Surface quality evaluation method of metal and surface quality evaluation apparatus of metal
JP5551537B2 (en) * 2010-07-27 2014-07-16 一般財団法人電力中央研究所 Judgment criterion generation device, determination criterion generation method, and determination criterion generation program
CN102621056B (en) * 2012-03-29 2013-12-11 攀钢集团攀枝花钢铁研究院有限公司 Method for quantitatively measuring rusting ratio of surface of metal material
JP2014006852A (en) * 2012-06-27 2014-01-16 Seiko Epson Corp Recognition processing method, recognition processing device, robot system and recognition processing program
JP6116054B2 (en) * 2013-08-02 2017-04-19 富士重工業株式会社 Electrode inspection device for spot welder and electrode inspection method for spot welder
JP2018013436A (en) * 2016-07-22 2018-01-25 株式会社クボタ Joint state evaluation method and joint state evaluation device
JPWO2019151393A1 (en) * 2018-01-31 2020-12-03 株式会社ニチレイフーズ Food inspection system, food inspection program, food inspection method and food production method
CN110544009B (en) * 2019-07-26 2022-12-09 中国人民解放军海军航空大学青岛校区 Aviation organic coating aging damage quantitative evaluation method based on digital image processing
JP7054010B2 (en) 2019-12-25 2022-04-13 ダイキン工業株式会社 Stain evaluation method, water droplet evaluation method, repellent evaluation method and repellent evaluation device
CN113160909A (en) * 2021-04-30 2021-07-23 苏州华碧微科检测技术有限公司 Method for rapidly identifying metal corrosion failure
CN117635617B (en) * 2024-01-26 2024-04-09 广东海洋大学 Rapid calculation processing method and system based on high-entropy alloy data

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3181543B2 (en) * 1997-10-31 2001-07-03 東京電力株式会社 Deterioration / corrosion detection method for surface-treated steel
JP3329767B2 (en) * 1999-06-21 2002-09-30 東京電力株式会社 Deterioration / corrosion detection judgment method for steel materials
JP2002328095A (en) * 2001-04-27 2002-11-15 Nippon Denro Kk Simple on-site judging method for degradation of steel structure which is hot-dip galvanized
JP4266864B2 (en) * 2004-03-24 2009-05-20 中部電力株式会社 Corrosion degree evaluation method for hardware
JP3975406B2 (en) * 2005-11-14 2007-09-12 国立大学法人山口大学 Structure repair construction plan support system
JP4992081B2 (en) * 2006-09-20 2012-08-08 国立大学法人山口大学 Method for inspecting surface condition of object by image processing and image processing program therefor
JP4317865B2 (en) * 2006-11-24 2009-08-19 株式会社エティック Corrosion evaluation method for ferrous structures

Also Published As

Publication number Publication date
JP2009293993A (en) 2009-12-17

Similar Documents

Publication Publication Date Title
JP5248213B2 (en) Corrosion degree evaluation method, apparatus and program
JP5647878B2 (en) Steel pipe internal corrosion analysis apparatus and steel pipe internal corrosion analysis method
Wang et al. Gladnet: Low-light enhancement network with global awareness
RU2680765C1 (en) Automated determination and cutting of non-singular contour of a picture on an image
US9773302B2 (en) Three-dimensional object model tagging
US7936377B2 (en) Method and system for optimizing an image for improved analysis of material and illumination image features
CN103778621B (en) The recognition methods of foreign objects fragment
KR100734935B1 (en) Area segmentation of an image
US20140294296A1 (en) Spatially varying log-chromaticity normals for use in an image process
JP5864936B2 (en) Image processing apparatus, image processing method, and program
JP2015232482A (en) Inspection equipment, inspection method and program
JP2013026938A (en) Image processing apparatus, image processing method, and program
US20070009173A1 (en) Apparatus and method for shading correction and recording medium therefore
JP2002090308A (en) Evaluation system for degree of surface degradation of steel using image processing
JP2005346474A (en) Image processing method and image processor and program and storage medium
JP4468046B2 (en) Apparatus, method and program for determining rusting state of structure made of steel
JP2007033126A (en) Substrate inspection device, parameter adjusting method thereof and parameter adjusting device
EP2776979B1 (en) Post processing for improved generation of intrinsic images
CN113505622A (en) Test system and method for automatically identifying multiple bar codes and LED lamps
JP4985117B2 (en) Image processing program and image processing apparatus
JP2021189979A (en) Information processing device, information processing method and information processing program
JP2009205469A (en) Extraction system and method of object area
US20200273213A1 (en) Configuration for modifying a color feature of an image
JP7106318B2 (en) Image processing device, image processing method and program
JP6864722B2 (en) Inspection equipment, inspection methods and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130410

R150 Certificate of patent or registration of utility model

Ref document number: 5248213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees