TW201935320A - 評估系統、評估裝置、評估方法、評估程式及記錄媒體 - Google Patents

評估系統、評估裝置、評估方法、評估程式及記錄媒體 Download PDF

Info

Publication number
TW201935320A
TW201935320A TW107138630A TW107138630A TW201935320A TW 201935320 A TW201935320 A TW 201935320A TW 107138630 A TW107138630 A TW 107138630A TW 107138630 A TW107138630 A TW 107138630A TW 201935320 A TW201935320 A TW 201935320A
Authority
TW
Taiwan
Prior art keywords
evaluation
image
area
unit
captured image
Prior art date
Application number
TW107138630A
Other languages
English (en)
Inventor
中野可也
Original Assignee
日商新東工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商新東工業股份有限公司 filed Critical 日商新東工業股份有限公司
Publication of TW201935320A publication Critical patent/TW201935320A/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Textile Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本發明之評估系統係使用評估對象物之攝像圖像，進行評估對象物之鏽的程度相關之評估之系統，其具備：圖像取得部，其取得攝像圖像；修正部，其藉由修正攝像圖像而產生評估用圖像；評估部，其基於評估用圖像進行評估；及輸出部，其輸出評估部之評估結果；且修正部自攝像圖像擷取具有評估對象物之表面中之特定面積之範圍之圖像即評估區域，基於評估區域產生評估用圖像。

Description

評估系統、評估裝置、評估方法、評估程式及記錄媒體
本發明係關於評估系統、評估裝置、評估方法、評估程式及記錄媒體。
已知有使用檢查對象物之圖像進行檢查之檢查裝置。例如，於專利文獻1中，揭示有一種將藉由拍攝檢查對象物所得之圖像輸入至類神經網路，而判定缺陷之有無及種類之檢查裝置。
又，已知有評估產生於鋼材之鏽的程度。例如，於專利文獻2中，揭示有一種對鋼材照射光，由特定波長下之反射光強度測定標度之測定裝置。
[先前技術文獻]
[專利文獻]
[專利文獻1]日本專利特開2012-26982號公報
[專利文獻2]日本專利特開平8-254502號公報
[發明所欲解決之問題]
為評估產生於鋼材等對象物之表面之鏽的程度，如專利文獻1所記載，考慮使用對象物之圖像。該情形時，有攝像圖像之攝像條件每個攝像圖像不同之情形。例如既有自離開對象物之位置拍攝之情形，亦有於對象物附近拍攝之情形。又，設定並拍攝任意倍率。但，鏽的程度可根據實際對象物之鏽的擴展程度等評估。因此，直接使用對象物之攝像圖像之情形時，有無法充分獲得評估精度之虞。
本技術領域中，期望提高鏽的程度相關之評估精度。
[解決問題之技術手段]
本發明之一態樣之評估系統係使用評估對象物之攝像圖像，進行評估對象物之鏽的程度相關之評估之系統。評估系統具備：圖像取得部，其取得攝像圖像；修正部，其藉由修正攝像圖像而產生評估用圖像；評估部，其基於評估用圖像進行評估；及輸出部，其輸出評估部之評估結果。修正部自攝像圖像擷取具有評估對象物之表面中之特定面積之範圍之圖像即評估區域，基於評估區域產生評估用圖像。
本發明之其他態樣之評估裝置係使用評估對象物之攝像圖像，進行評估對象物之鏽的程度相關之評估之裝置。評估裝置具備：圖像取得部，其取得攝像圖像；修正部，其藉由修正攝像圖像而產生評估用圖像；評估部，其基於評估用圖像進行評估；及輸出部，其輸出評估部之評估結果。修正部自攝像圖像擷取具有評估對象物之表面中之特定面積之範圍之圖像即評估區域，基於評估區域產生評估用圖像。
本發明之進而其他態樣之評估方法係使用評估對象物之攝像圖像，進行評估對象物之鏽的程度相關之評估之方法。評估方法具備以下步驟：取得攝像圖像之步驟；藉由修正攝像圖像而產生評估用圖像之步驟；基於評估用圖像進行評估之步驟；及輸出進行評估之步驟中之評估結果之步驟。產生評估用圖像之步驟中，自攝像圖像擷取具有評估對象物之表面中之特定面積之範圍之圖像即評估區域，基於評估區域產生評估用圖像。
本發明之進而其他態樣之評估程式係用以使電腦執行以下步驟之程式：取得評估對象物之攝像圖像之步驟；藉由修正攝像圖像而產生評估用圖像之步驟；基於評估用圖像，進行評估對象物之鏽的程度相關之評估之步驟；及輸出進行評估之步驟中之評估結果之步驟。產生評估用圖像之步驟中，自攝像圖像擷取具有評估對象物之表面中之特定面積之範圍之圖像即評估區域，基於評估區域產生評估用圖像。
本發明之進而其他態樣之記錄媒體係記錄評估程式之電腦可讀取之記錄媒體，該評估程式用以使電腦執行以下步驟：取得評估對象物之攝像圖像之步驟；藉由修正攝像圖像而產生評估用圖像之步驟；基於評估用圖像，進行評估對象物之鏽的程度相關之評估之步驟；及輸出進行評估之步驟中之評估結果之步驟。產生評估用圖像之步驟中，自攝像圖像擷取具有評估對象物之表面中之特定面積之範圍之圖像即評估區域，基於評估區域產生評估用圖像。
該等評估系統、評估裝置、評估方法、評估程式及記錄媒體中，自評估對象物之攝像圖像擷取評估區域，基於評估區域產生評估用圖像。且，基於評估用圖像進行鏽的程度相關之評估，輸出評估結果。評估區域係具有評估對象物之表面中之特定面積之範圍之圖像。因此，不根據拍攝攝像圖像之條件(評估對象物與攝像裝置之距離及倍率等)，以具有評估對象物之表面中之相同面積之範圍為對象，進行產生於該範圍內之鏽的程度相關之評估。其結果，可提高鏽的程度相關之評估精度。
攝像圖像亦可包含標註於評估對象物之標記之圖像即標記區域。修正部亦可基於標記區域擷取評估區域。該情形時，可基於標記區域之大小，決定攝像圖像之上述範圍，擷取決定之範圍作為評估區域。因此，可不使用其他資訊，擷取評估區域。藉此，可使評估系統小型化。
標記亦可具有可特定標記之朝向之形狀。該情形時，可藉由標記區域識別攝像圖像之朝向。
標記亦可具有無指向性之形狀。該情形時，由於標記之形狀較簡單，故可使標記之製作容易化。
標記亦可具有開口部。開口部之開口面積亦可與上述面積相等。修正部亦可擷取經由開口部露出之評估對象物之表面之圖像，作為評估區域。該情形時，可簡化評估區域之擷取。
標記亦可由框包圍。亦可於標記與框之間設置間隙，間隙之顏色亦可與標記之外緣部分之顏色不同。該情形時，框與標記之間，存在具有與標記之外緣部分之顏色不同顏色之間隙。因此，即使標記區域周邊之顏色與標記區域外緣部分之顏色類似，亦可檢測標記區域之外緣，故標記區域之檢測精度提高。其結果，可提高鏽的程度相關之評估精度。
框亦可具有中斷框線之形狀。該情形時，於邊緣檢測等中，可減低由框包圍之區域被作為標記區域檢測出之可能性，故標記區域之檢測精度提高。其結果，可提高鏽的程度相關之評估精度。
評估系統亦可進而具備取得拍攝攝像圖像之攝像裝置與評估對象物之距離之距離取得部。修正部亦可基於上述距離擷取評估區域。由於可基於攝像裝置與評估對象物之距離，特定具有評估對象物之表面中之特定面積之範圍，故可更確實擷取評估區域。
修正部亦可基於攝像圖像所含之參照區域之顏色，修正評估區域之顏色。參照區域亦可為標註有特定顏色之參照體之圖像。即使為相同評估對象物，亦有攝像圖像之色調根據拍攝所使用之光源之色調而變化之情形。又，即使為相同評估對象物，亦有攝像圖像之亮度根據光之照射量而不同之情形。上述構成中，參照區域之顏色與特定之顏色不同之情形時，認為攝像圖像之顏色受到光的影響。因此，例如可以參照區域之顏色變為特定之顏色(例如原來的顏色)之方式，藉由修正評估區域之顏色，減低光的影響。藉此，可進而提高鏽的程度相關之評估精度。
修正部亦可將鏡面反射自評估區域去除。若對評估對象物照射強光，則有產生鏡面反射之情形，若於該狀態下拍攝評估對象物，則有於攝像圖像產生過曝之情形。產生過曝之區域中，損失顏色資訊。因此，藉由將鏡面反射(過曝)去除，而可復原顏色資訊。藉此，可進而提高鏽的程度相關之評估精度。
評估部亦可使用類神經網路進行評估。可藉由學習類神經網路，進而提高鏽的程度相關之評估精度。
修正部亦可藉由擴大或縮小評估區域，而使評估用圖像之尺寸與使用於類神經網路之學習之基準圖像之尺寸一致。該情形時，可適當進行類神經網路之評估。
評估系統亦可進而具備自攝像圖像擷取產生銹之候補區域之擷取部。修正部亦可藉由修正候補區域而產生評估用圖像。該情形時，由於無需評估評估對象物之表面全體，故可提高鏽的程度相關之評估效率。
評估亦可包含鏽程度之評估。其結果，可提高鏽程度之評估精度。
評估亦可包含除鏽度之評估。該情形時，可提高除鏽度之評估精度。
[發明之效果]
根據本發明之各態樣及各實施形態，可提高鏽的程度相關之評估精度。
以下，一面參照圖式，一面詳細說明本發明之實施形態。另，圖式說明中對同一要素標註同一符號，省略重複說明。
(第1實施形態)
圖1係概略地顯示包含第1實施形態之評估裝置之評估系統之構成圖。圖1所示之評估系統1為進行評估對象物之鏽的程度相關之評估之系統。鏽的程度相關之評估中，包含鏽程度及除鏽度。即，評估系統1評估評估對象物之鏽程度及除鏽度。作為評估對象物之例，列舉鋼材。
鏽程度係表示實施除鏽處理前之評估對象物之表面所產生之鏽的程度之指標。將鋼材於高溫下進行熱處理，於冷卻過程中於鋼材之表面形成黑色薄氧化被膜(鏽皮)。鏽皮相當於鋼材產生紅色鏽前之黑色鏽。鏽皮剝落，於鋼材之母材產生紅色鏽，進而紅色鏽惡化，逐漸侵蝕母材，於母材產生一面開孔一面腐蝕之孔蝕。鏽的程度包含鏽皮、紅色鏽及孔蝕程度(惡化程度)。除鏽度係表示除鏽處理之完成程度之指標。換言之，除鏽度係表示實施除鏽處理後之評估對象物之表面所殘留之鏽等附著物之程度之指標。作為除鏽處理之例，列舉爆破處理、水注處理及火焰清掃。作為除鏽處理，亦可使用電動工具、銼刀、刷子及抹刀等。
評估系統1具備1個或複數個使用者終端10，及評估裝置20。使用者終端10及評估裝置20藉由網路NW互相可通信地連接。網路NW亦可以有線及無線之任一者構成。作為網路NW之例，列舉網際網路、移動體通信網及WAN(Wide Area Network，廣域網路)。
使用者終端10係由使用者使用之終端裝置。使用者終端10藉由拍攝評估對象物而產生評估對象物之攝像圖像，將攝像圖像發送至評估裝置20。使用者終端10接收來自評估裝置20之評估結果，將評估結果向使用者輸出。使用者終端10可應用於內置有攝像裝置之攜帶裝置，亦可應用於可與攝像裝置通信之裝置。本實施形態中，作為使用者終端10，使用內置有攝像裝置之攜帶裝置進行說明。作為攜帶終端之例，列舉智慧型手機、平板終端及PC(Personal Computer，個人電腦)。
圖2係圖1所示之使用者終端之硬體構成圖。如圖2所示，使用者終端10物理上可作為電腦構成，該電腦具備：1個或複數個處理器101、主記憶裝置102、輔助記憶裝置103、通信裝置104、輸入裝置105、輸出裝置106、攝像裝置107及測量裝置108等之硬體。作為處理器101，使用處理速度較快之處理器。作為處理器101之例，列舉GPU(Graphics Processing Unit，圖形處理單元)及CPU(Central Processing Unit，中央處理單元)。主記憶裝置102係以RAM(Random Access Memory，隨機存取記憶體)及ROM(Read Only Memory，唯讀記憶體)等構成。作為輔助記憶裝置103之例，列舉半導體記憶體及硬碟裝置。
通信裝置104係經由網路NW與其他裝置進行資料收發之裝置。作為通信裝置104之例，列舉網卡。對於經由網路NW之資料之收發，亦可使用加密。即，通信裝置104亦可將資料加密，將經加密之資料發送至其他裝置。通信裝置104亦可自其他裝置接收經加密之資料，並將經加密之資料解碼。加密可使用三重DES(Data Encryption Standard，資料加密標準)及Rijndael等共通鍵加密方式，或RSA及ELGamal等公開鍵加密方式。
輸入裝置105係使用者操作使用者終端10時使用之裝置。作為輸入裝置105之例，列舉觸控面板、鍵盤及滑鼠。輸出裝置106係將各種資訊對使用者終端10之使用者輸出之裝置。作為輸出裝置106之例，列舉顯示器、揚聲器及振動子。
攝像裝置107係用以攝像(圖像化)之裝置。攝像裝置107例如為相機模組。具體而言，攝像裝置107包含：透鏡Cl及攝像元件Cs(參照圖9(a))等複數個光學系統之零件；驅動控制該等之複數個控制系統之電路；及將表示藉由攝像元件Cs產生之攝像圖像之電性信號轉換成數位信號即圖像信號之信號處理系統之電路部。測量裝置108係測量距離之裝置。作為測量裝置108之例，列舉毫米波雷達、超音波感測器、LIDAR(Light Detection and Ranging，光探測及測距)、運動立體聲、及立體照相機。
使用者終端10之圖1所示之各功能係藉由如下而實現：藉由將1個或複數個特定之電腦程式讀取至主記憶裝置102等硬體，基於1個或複數個處理器101之控制，使各硬體動作，且進行主記憶裝置102及輔助記憶裝置103之資料之讀出及寫入。
使用者終端10功能性具備圖像取得部11、距離取得部12、修正部13、發送部14、接收部15、輸出部16及修正資訊取得部17。
圖像取得部11係用以取得包含評估對象物之攝像圖像之部分。圖像取得部11例如係藉由攝像裝置107而實現。攝像裝置可為靜止圖像，亦可為動態圖像。攝像圖像例如係作為表示各像素(像素)之像素值之圖像資料而取得，但為便於說明而表現為攝像圖像。使用者終端10不具有攝像裝置107之情形時，圖像取得部11例如藉由自該其他裝置接收藉由其他裝置(例如具有相機功能之終端等)拍攝之攝像圖像，取得攝像圖像。例如，圖像取得部11自其他裝置經由網路NW接收攝像圖像之情形時，進行攝像圖像之接收處理之部分(圖2之通信裝置104等)作為圖像取得部11發揮功能。圖像取得部11將攝像圖像輸出至修正部13。
距離取得部12係用以取得產生攝像圖像之攝像裝置107(具體而言，係透鏡Cl)與評估對象物之距離D1之部分。距離取得部12例如係藉由測量裝置108實現。攝像裝置107為深度相機之情形時，由於與攝像圖像一起獲得距離D1，故距離取得部12係藉由攝像裝置107實現。使用者終端10不具有測量功能之情形時，距離取得部12例如藉由自該其他裝置接收由其他裝置(例如具有測量功能之終端等)測量之距離D1，而取得距離D1。例如，距離取得部12自其他裝置經由網路NW接收距離D1之情形時，進行距離D1之接收處理之部分(圖2之通信裝置104等)作為距離取得部12發揮功能。又，使用者亦可使用比例尺或捲尺測量距離D1，對使用者終端10輸入距離D1。該情形時，接收距離D1之輸入之部分(圖2之輸入裝置105等)作為距離取得部12發揮功能。距離取得部12將距離D1輸出至修正部13。
修正部13係用以藉由修正攝像圖像而產生評估用圖像之部分。修正部13自攝像圖像擷取評估區域，基於評估區域產生評估用圖像。評估區域係具有評估對象物之表面中之特定面積之範圍之圖像(圖像區域)。修正部13例如對攝像圖像進行尺寸修正、失真修正、顏色修正、鏡面反射去除、雜訊去除及振動修正。針對各修正處理之細節於下文敍述。修正部13將評估用圖像送出至發送部14。
發送部14係用以將評估用圖像發送至評估裝置20之部分。發送部14經由網路NW將評估用圖像發送至評估裝置20。發送部14進而將藉由修正資訊取得部17取得之修正資訊發送至評估裝置20。發送部14例如係藉由通信裝置104而實現。接收部15係用以接收來自評估裝置20之評估結果之部分。接收部15自評估裝置20經由網路NW接收評估結果。接收部15例如係藉由通信裝置104而實現。
輸出部16係用以輸出評估結果之部分。輸出部16例如係藉由輸出裝置106而實現。其他裝置具有之顯示器等輸出裝置中輸出評估結果之情形時，輸出部16例如經由網路NW將評估結果發送至其他裝置。該情形時，進行評估結果之發送處理之部分(圖2之通信裝置104等)作為輸出部16發揮功能。
修正資訊取得部17係用以取得評估結果之修正資訊之部分。例如，有使用者確認藉由輸出部16輸出之評估結果後，使用輸入裝置105修正評估結果之情形。此時，修正資訊取得部17取得經修正之評估結果作為修正資訊。修正資訊取得部17將修正資訊輸出至發送部14。
評估裝置20係使用評估對象物之攝像圖像(評估用圖像)，進行評估對象物之鏽的程度相關之評估之裝置。評估裝置20例如係藉由電腦等資訊處理裝置(伺服器裝置)構成。
圖3係圖1所示之評估裝置之硬體構成圖。如圖3所示，評估裝置20物理性可作為電腦構成，該電腦具備：1個或複數個處理器201、主記憶裝置202、輔助記憶裝置203、及通信裝置204等之硬體。作為處理器201，使用處理速度較快之處理器。作為處理器201之例，列舉GPU及CPU。主記憶裝置202係以RAM及ROM等構成。作為輔助記憶裝置203之例，列舉半導體記憶體及硬碟裝置。
通信裝置204係經由網路NW與其他裝置進行資料收發之裝置。作為通信裝置204之例，列舉網卡。對於經由網路NW之資料收發，亦可使用加密。即，通信裝置204亦可將資料加密，將經加密之資料發送至其他裝置。通信裝置204亦可自其他裝置接收經加密之資料，並將經加密之資料解碼。加密可使用三重DES及Rijndael等共通鍵加密方式，或RSA及ElGamal等公開鍵加密方式。
另，通信裝置204亦可實施判定使用者終端10之使用者為正規使用者或非正規使用者之使用者認證。該情形時，評估裝置20亦可於使用者為正規使用者之情形時，進行鏽的程度相關之評估，於使用者為非正規使用者之情形時，不進行鏽的程度相關之評估。對於使用者認證，例如使用預先登記之使用者ID(identifier，識別符)及密碼。對於使用者認證亦可使用一次性密碼本(一次性密碼)。
評估裝置20之圖1所示之各功能係藉由如下而實現：藉由將1個或複數個特定之電腦程式讀取至主記憶裝置202等硬體，基於1個或複數個處理器201之控制，使各硬體動作，且進行主記憶裝置202及輔助記憶裝置203之資料之讀出及寫入。
評估裝置20功能性包含接收部21、評估部22及發送部23。
接收部21係用以接收來自使用者終端10之評估用圖像之部分。接收部21經由網路NW接收來自使用者終端10之評估用圖像。接收部21進而接收來自使用者終端10之修正資訊。接收部21例如係藉由通信裝置204實現。接收部21將評估用圖像及修正資訊輸出至評估部22。
評估部22係基於評估用圖像，用以進行評估對象物之鏽的程度相關之評估之部分。評估部22使用類神經網路，進行評估對象物之鏽的程度相關之評估。神經網路可為卷積神經網路(Convolutional Neural Network：CNN)，亦可為遞歸類神經網路(Recurrent Neural Network：RNN)。評估部22將評估結果輸出至發送部23。
發送部23係用以對使用者終端發送評估結果之部分。發送部23經由網路NW將評估結果發送至使用者終端10。發送部23例如係藉由通信裝置204而實現。另，由於發送部23將評估結果輸出(發送)至使用者終端10，故可視為輸出部。
接著，參照圖4～圖15(b)，說明評估系統1進行之評估方法。圖4係顯示圖1所示之評估系統進行之評估方法之順序圖。圖5係詳細顯示圖4所示之修正處理之流程圖。圖6(a)～(f)係顯示標記之例之圖。圖7係用以說明失真修正之圖。圖8係用以說明使用標記之評估區域之擷取之圖。圖9(a)係用以說明評估對象物之實際大小之計算方法之圖。圖9(b)係顯示焦點距離與35 mm換算之焦點距離之關係之圖。圖10(a)及(b)係用於說明顏色修正之圖。圖11係顯示類神經網路之一例之圖。圖12係顯示評估結果之一例之圖。圖13係顯示評估結果之顯示例之圖。圖14係顯示除鏽度之評估結果之一例之圖。圖15(a)及(b)係顯示評估結果之修正例之圖。
圖4所示之評估方法之一連串處理，例如係以使用者終端10之使用者使用攝像裝置107拍攝評估對象物為契機而開始。首先，圖像取得部11取得評估對象物之攝像圖像(步驟S01)。例如，圖像取得部11取得藉由攝像裝置107產生之評估對象物之圖像，作為攝像圖像。且，圖像取得部11將取得之攝像圖像輸出至修正部13。
另，亦可於取得評估對象物之攝像圖像之前，對評估對象物標註標記MK。標記MK係於後述之圖像處理中，用於修正攝像圖像而使用。標記MK具有可特定標記MK之朝向之形狀。標記MK於上下方向及寬度方向之至少任一者中為非對稱。具體而言，如圖6(a)～(f)所示，標記MK包含標註白色之區域Rw及標註黑色之區域Rb。為使後述之圖像處理容易化，標記MK具有四角形之邊F1。邊F1為區域Rb之邊。如圖6(b)～(f)所示，標記MK亦可由框F2包圍，於框F2與區域Rb之間，設置間隙Rgap。
標記MK描繪於片材狀構件。例如，使用者終端10之使用者，將包含標記MK之片材狀構件直接黏貼於評估對象物。使用者亦可使用UAV(Unmanned Aerial Vehicle，無人飛行載具)或伸縮棒等，將包含標記MK之片材狀構件黏貼於評估對象物。
另，標記MK只要由標註有互相不同顏色之2個以上區域構成即可。例如，標註於區域Rw之顏色可為白色，亦可為灰色等。標註於區域Rb之顏色可為黑色，亦可為具有彩度之顏色。本實施形態中，使用圖6(a)所示之標記MK。
接著，修正部13修正攝像圖像(步驟S02)。如圖5所示，步驟S02之修正處理中，首先，修正部13進行用以修正攝像圖像之失真之失真修正(步驟S21)。將評估對象物與藉由自正面拍攝所得之圖像進行比較，有攝像圖像失真之情形。例如，攝像裝置107為深度相機之情形時，獲得攝像裝置107與評估對象物之各位置之距離。該情形時，修正部13基於攝像裝置107與評估對象物之各位置之距離，藉由將攝像圖像轉換成藉由自正面拍攝評估對象物所得之圖像，而進行失真修正。修正部13於評估對象物為管等具有曲面之構造物之情形時，亦可進而進行作為失真修正之曲面修正。
修正部13亦可使用標記MK進行失真修正。標註有標記MK之評估對象物之攝像圖像包含標記MK之圖像(圖像區域)即標記區域Rm。該情形時，首先，修正部13自攝像圖像擷取標記區域Rm。修正部13例如藉由對攝像圖像進行物體檢測處理或邊緣檢測處理，而擷取標記區域Rm。標記MK具有簡易形狀之情形時，邊緣檢測處理較物理檢測處理之檢測精度更高，處理速度更快，故亦可使用邊緣檢測處理。
且，修正部13確認擷取之標記區域Rm是否為標記MK之圖像。修正部13例如對標記區域Rm進行直方圖之平均化處理後，對標記區域Rm進行二值化處理。且，修正部13將已二值化之標記區域Rm與標記MK進行比較，於兩者一致之情形時，判定標記區域Rm為標記MK之圖像。藉此，取得攝像圖像之標記MK之頂點座標。修正部13於兩者不一致之情形時，判定標記區域Rm非標記MK之圖像，再次擷取標記區域Rm。
且，修正部13使用標記區域Rm計算攝像圖像之標記MK之朝向。由於標記MK於上下方向及寬度方向之至少任一者中為非對稱，故可計算攝像圖像之標記MK之朝向。且，如圖7所示，修正部13以使原來之標記MK之形狀自攝像圖像之標記MK之頂點座標及朝向復原之方式，投影轉換攝像圖像，從而將攝像圖像轉換成藉由自正面拍攝評估對象物所得之圖像。具體而言，修正部13將頂點Pm1設為原點，將自頂點Pm1朝向頂點Pm2之方向設為X1軸方向，將自頂點Pm1朝向頂點Pm4之方向設為Y1軸方向。且，修正部13藉由將X1-Y1座標系轉換成X-Y正交座標系，而復原標記MK之形狀。藉此進行失真修正。
接著，修正部13自攝像圖像擷取評估區域Re(步驟S22)。此處，鏽程度及除鏽度之評估需要對佔據評估對象物之表面中之特定面積之範圍(評估範圍)進行。因此，修正部13於攝像圖像中決定該評估範圍，將其作為評估區域Re擷取。即，評估區域Re係對應於攝像圖像中之評估範圍之圖像區域。攝像圖像中之評估區域Re之大小(尺寸)對應於距離D1而不同。
修正部13基於標記區域Rm，自攝像圖像擷取評估區域Re。例如，評估範圍設為將標記MK之各邊之長度以預先規定之倍數延長之大小。該情形時，如圖8所示，修正部13自標記區域Rm之頂點Pm1～Pm4之座標計算標記區域Rm之各邊之長度。且，修正部13藉由將標記區域Rm之各邊以特定倍數(此處為5倍)延長，而特定攝像圖像之評估範圍之大小。修正部13自攝像圖像擷取具有特定之評估範圍之大小之區域作為評估區域Re。評估區域Re中可包含標記區域Rm，亦可不包含標記區域Rm。
修正部13亦可不使用標記MK，基於距離D1，自攝像圖像擷取評估區域Re。該情形時，距離取得部12取得距離D1。且，如圖9(a)所示，修正部13使用式(1)，基於距離D1、焦點距離f1及攝像裝置107具有之攝像元件Cs之寬度w1，計算實際寬度W。寬度W係由攝像裝置107拍攝之評估對象物之水平方向之長度。評估對象物之全體未包含於攝像圖像中之情形時，寬度W係攝像範圍之評估對象物之水平方向之長度。焦點距離f1係攝像元件Cs至透鏡Cl之距離。攝像裝置107之攝像元件Cs之寬度w1係攝像元件Cs之水平方向之尺寸(長度)，並預先規定。
【數1】
另，修正部13自標註於攝像圖像之EXIF(Exchangeable Image File Format，可交換圖像文件格式)資訊，取得實際之焦點距離f1及寬度w1。無法自EXIF資訊獲得焦點距離f1及寬度w1之情形時，修正部13取得攝像裝置107之名稱，使用攝像裝置107之名稱檢索資料庫，從而取得焦點距離f1及寬度w1。使用者亦可使用輸入裝置105，將焦點距離f1及寬度w1輸入至使用者終端10。
有獲得非攝像元件Cs之寬度w1，而獲得35 mm換算之寬度w2之情形。該情形時，修正部13基於焦點距離f1、35 mm換算之焦點距離f2及寬度w2，計算寬度w1。如圖9(b)所示，攝像視角θ與35 mm換算之視角相等。因此，以下之關係式(2)成立。若整理式(2)則獲得式(3)。修正部13使用式(3)計算寬度w1。
【數2】
【數3】
修正部13亦可使用式(4)，自焦點距離f2及寬度w2直接計算寬度W。
【數4】
另，修正部13自EXIF資訊取得焦點距離f2。無法自EXIF資訊獲得焦點距離f2之情形時，修正部13取得攝像裝置107之名稱，使用攝像裝置107之名稱檢索資料庫，從而取得焦點距離f2。使用者亦可使用輸入裝置105，將焦點距離f2輸入至使用者終端10。
修正部13如式(5)，藉由將攝像圖像之寬度方向(水平方向)之像素數Npw除以寬度W，計算每1像素之寬度wp。修正部13自EXIF資訊取得像素數Npw。修正部13亦可藉由計數攝像圖像之寬度方向之像素，取得像素數Npw。
【數5】
修正部13與寬度W同樣地，計算所拍攝部分之高度H。高度H係藉由攝像裝置107拍攝之評估對象物之垂直方向之長度。評估對象物之全體未包含於攝像圖像中之情形時，高度H係攝像範圍之評估對象物之垂直方向之長度。修正部13如式(6)，藉由將攝像圖像之高度方向(垂直方向)之像素數Nph除以寬度H，計算每1像素之高度hp。修正部13自EXIF資訊取得像素數Nph。修正部13亦可藉由計數攝像圖像之高度方向之像素，取得像素數Nph。
【數6】
修正部13使用每1像素之寬度wp及高度hp，決定攝像圖像中之評估區域Re，擷取評估區域Re。例如，修正部13計算攝像圖像之評估範圍於寬度方向及高度方向上具有之像素數。修正部13將評估範圍之寬度除以寬度wp，將該除算結果設為寬度方向之像素數。同樣地，修正部13將評估範圍之高度除以高度hp，將該除算結果設為高度方向之像素數。且，修正部13自攝像圖像擷取具有寬度方向之像素數及高度方向之像素數之區域作為評估區域Re。
接著，修正部13修正評估區域Re之尺寸(步驟S23)。評估區域Re之大小可對應於距離D1而變化。因此，尺寸修正中，為與特定之評估尺寸一致，修正部13進行評估區域Re之伸縮處理。評估尺寸係類神經網路NN之學習所使用之基準圖像(教師資料)之尺寸。伸縮處理中，首先，修正部13將評估區域Re之大小與評估尺寸進行比較，決定進行擴大處理及縮小處理之哪一者。
修正部13於評估區域Re之大小小於評估尺寸之情形時，進行擴大處理，於評估區域Re之大小大於評估尺寸之情形時，進行縮小處理。即，修正部13藉由將評估區域Re擴大或縮小，而使評估用圖像之尺寸與評估尺寸一致。對擴大處理例如使用雙線性內插法。對縮小處理例如使用平均像素法。對擴大處理及縮小處理，可使用其他伸縮運算法，但較佳為即使進行伸縮處理亦保持圖像之狀態。
接著，修正部13進行評估區域Re之顏色修正(步驟S24)。即使為相同之評估對象物，圖像之明暗亦可能根據拍攝環境而變化。又，若拍攝所使用之光源之顏色不同，則圖像之顏色亦可能不同。為減低拍攝環境之影響，而進行顏色修正。修正部13基於攝像圖像所含之參照區域之顏色，修正評估區域Re之顏色。參照區域係標註有特定顏色之參照體之圖像(圖像區域)。
如圖10(a)所示，作為參照體，可使用標記MK之區域Rw。該情形時，標記MK之區域Rw之顏色係以比色計等預先測定，表示所測定顏色之基準值記憶於未圖示之記憶體。作為表示顏色之值，使用RGB值及HSV值等。如圖10(b)所示，修正部13取得攝像圖像(評估區域Re)所含之標記區域Rm之區域Rw之顏色值，將取得之值與基準值進行比較，以該等之差分變小(例如變為零)之方式進行顏色修正。對顏色修正使用灰階修正等。作為顏色修正，亦可對各像素值加入差分(偏移處理)。
亦可使用標記MK作為參照體。該情形時，亦可藉由將已預先測定顏色之試料(例如灰板)作為參照體，與評估對象物一起進行拍攝，而與使用標記MK之情形同樣地，進行評估區域Re之顏色修正。修正部13亦可基於灰色假說進行顏色修正。
接著，修正部13將鏡面反射自評估區域Re去除(步驟S25)。有鏡面反射於評估對象物具有金屬光澤之情形中產生之情形。有根據評估對象物之塗膜狀態，產生鏡面反射之情形。圖像中，產生鏡面反射之部分通常係作為強烈白色顯現。即，導致產生鏡面反射之部分於圖像中產生過曝。顏色修正後，由於產生鏡面反射之部分可能作為白色部分被檢測，故修正部13使用顏色修正後之圖像(評估區域Re)將鏡面反射去除。
此處，修正部13基於評估區域Re所含之各像素之像素值至特定鏡面反射部分。例如，修正部13於RGB之像素值任一者皆大於特定之臨限值之情形時，判定該像素為鏡面反射之一部分。修正部13亦可藉由將像素值轉換成HSV，對亮度(V)或亮度(V)及彩度(S)之兩者實施相同處理而特定鏡面反射部分。
且，修正部13將鏡面反射自鏡面反射部分去除，復原原來的圖像資訊(像素值)。修正部13例如根據使用納維斯托克方程之方法及Alexandru Telea(亞曆山德魯泰來亞)之快速行進法等，以鏡面反射部分附近之圖像資訊自動內插(復原)鏡面反射部分之圖像資訊。修正部13亦可藉由機械學習，預先學習各種鏽之圖像，從而復原鏡面反射部分之圖像資訊。機械學習例如係使用GAN(Generative Adversarial Network，生成對抗網路)。另，修正部13亦可對將鏡面反射部分之外緣擴大之區域(即，包含鏡面反射部分，大於鏡面反射部分之區域)復原圖像資訊。
接著，修正部13將雜訊自評估區域Re去除(步驟S26)。修正部13例如使用高斯濾波器及低通濾波器等雜訊抑制濾波器(雜訊抑制函數)，將雜訊自評估區域Re去除。
接著，修正部13進行評估區域Re之振動修正(步驟S27)。使用者使用使用者終端10進行拍攝時，有產生手震等振動之情形。修正部13例如使用維納濾波器及盲解卷積算法，進行圖像之振動修正。
另，圖5之修正處理為一例，修正部13進行之修正處理不限於此。亦可省略步驟S21、S23～S27之一部分或全部。步驟S21～S27亦可以任意順序進行。如上述，顏色修正後進行鏡面反射去除之情形時，圖像中鏡面反射部分顯現出強烈白色，故鏡面反射部分之特定精度提高。
又，如圖7所示，修正部13亦可視為藉由方格狀排列之複數個區塊構成標記區域Rm，使用標記區域Rm(標記MK)之4個頂點之座標，求得各區塊之頂點座標。藉此，修正部13可將標記區域Rm分割成複數個區塊進行處理。例如，修正部13使用各區塊，判定標記區域Rm是否為標記MK之圖像。又，修正部13亦可將任一區塊作為使用於顏色修正之參照區域。再者，修正部13亦可自各區塊之座標算出攝像圖像之失真程度，進行攝像裝置107之校正。
接著，修正部13將藉由步驟S02之修正處理修正之攝像圖像作為評估用圖像輸出至發送部14，發送部14經由網路NW將評估用圖像發送至評估裝置20(步驟S03)。此時，發送部14將評估用圖像與可唯一識別使用者終端10之終端ID一起，發送至評估裝置20。作為終端ID，例如亦可使用IP(Internet Protocol，網路協定)位址。且，接收部21接收自使用者終端10發送之評估用圖像，將評估用圖像輸出至評估部22。另，修正部13於評估用圖像之鮮明度不足之情形時，亦可不將評估用圖像輸出至發送部14。又，發送部14亦可如上述，將評估用圖像加密，將經加密之評估用圖像發送至評估裝置20。該情形時，接收部21自使用者終端10接收經加密之評估用圖像，將經加密之評估用圖像解碼，將評估用圖像輸出至評估部22。
接著，評估部22基於評估用圖像，進行評估對象物之鏽的程度相關之評估(步驟S04)。該例中，評估部22使用圖11所示之類神經網路NN，評估評估對象物之鏽程度及除鏽度。另，若評估部22接收到評估用圖像，則將可唯一識別評估用圖像之圖像ID賦予評估用圖像。
類神經網路NN輸入評估用圖像，輸出各類別之貼合率。作為類別，可使用鏽程度之等級、除鏽度之等級及其組合。作為鏽程度之等級，例如使用JIS(Japanese Industrial Standards，日本工業標準)Z0313所規定之等級A～D。依等級A、B、C、D之順序，評估對象物所產生之鏽的程度變大。作為除鏽度之等級，例如使用JIS Z0313所規定之等級St2、St3、Sa1、Sa2、Sa2.5、Sa3。JIS Z0313中，未規定對應於未實施除鏽處理之狀態之等級，但以下為便於說明而設為等級RAW。作為鏽程度之等級及除鏽度之等級，亦可使用其他等級。例如，作為鏽程度之等級，亦可使用ISO(International Organization for Standardization，國際標準化組織)、SIS(Swedish Standard，瑞典標準)、SSPC(Steel Structures Painting Council，美國鋼結構油漆協會)、SPSS(Standard for the Preparation of Steel Surface prior to Painting，塗裝前鋼材表面處理標準)、及NACE(the National Association of Corrosion Engineers，美國國際腐蝕工程師協會)等規格所規定之等級。作為除鏽度之等級，亦可使用ISO、SSPC、SPSS及NACE等規格所規定之等級。
如圖12所示，本實施形態中，作為類別，使用鏽程度之等級與除鏽度之等級之組合。貼合率表示評估對象物之鏽的程度屬於該類別(等級)之概率。貼合率愈大，意指評估對象物之鏽的程度屬於該類別(等級)之可能性愈高。另，等級A+等級St2、等級A+等級St3、等級A+等級Sa1、及等級A+等級Sa2皆不存在於任一規格中，但此處為方便，亦包含該等組合而說明。該等組合可由使用者設定，亦可省略。
評估部22亦可將評估用圖像分離成1個或複數個通道，將各通道之圖像資訊(像素值)作為類神經網路NN之輸入。評估部22例如將評估用圖像分離成顏色空間之各成分。使用RGB顏色空間作為顏色空間之情形時，評估部22將評估用圖像分類成R成分之像素值、G成分之像素值及B成分之像素值。使用HSV顏色空間作為顏色空間之情形時，評估部22將評估用圖像分類成H成分之像素值、S成分之像素值及V成分之像素值。評估部22亦可將評估用圖像轉換成灰度，將經轉換之圖像作為類神經網路NN之輸入。
如圖11所示，類神經網路NN具有輸入層L1、中間層L2及輸出層L3。輸入層L1位於類神經網路NN之入口，對輸入層L1輸入M個輸出值xi (i為1～M之整數)。輸入層L1具有複數個神經元41。神經元41係對應於輸入值xi 而設置，神經元41之數量與輸入值xi 之總數M相等。即，神經元41之數量與評估用圖像之各通道所含之像素數之總合相等。第i號神經元41將輸入值xi 輸出至中間層L2之第1中間層L21之各神經元421。輸入層L1包含節點41b。節點41b對各神經元421輸出偏差值bj (j為1～M1之整數)。
中間層L2位於輸入層L1與輸出層L3之間。由於中間層L2自類神經網路NN之外部隱藏，故亦稱為隱藏層。中間層L2包含1個或複數個層。圖11所示之例中，中間層L2包含第1中間層L21與第2中間層L22。第1中間層L21具有M1個神經元421。此時，第j號神經元421如式(7)所示，藉由對由重量係數wij 加權各輸入值xi 之值之總合進而加上偏差值bj 而獲得計算值zj 。另，類神經網路NN為回旋類神經網路之情形時，神經元421例如依序進行使用回旋、活性化函數之計算及池化。該情形時，對活性化函數例如使用ReLU函數。
【數7】
且，第j號神經元421對第2中間層L22之各神經元422輸出計算值zj 。第1中間層L21包含節點421b。節點421b對各神經元422輸出偏差值。以下，各神經元進行與神經元421相同之計算，對後段層之各神經元輸出計算值。中間層L2之最終段之神經元(此處為神經元422)對輸出層L3之各神經元43輸出計算值。
輸出層L3位於類神經網路NN之出口，輸出輸出值yk (k為1～N之整數)。輸出值yk 係分配成各類別，對應於該類別之貼合率之值。輸出層L3具有複數個神經元43。神經元43係與輸出值yk 對應設置，神經元43之數量與輸出值yk 之總數N相等。即，神經元43之數量與表示鏽的程度之類別之數量相等。各神經元43進行與神經元421相同之計算，將其計算結果作為參數，計算活性化函數，從而獲得輸出值yk 。作為活性化函數之例，列舉softmax函數、ReLU函數、雙曲線函數、雙彎曲函數、恆等函數及階梯函數。本實施形態中，使用softmax函數。因此，各輸出值yk 以N個輸出值yk 之合計變為1之方式正規化。即，藉由對輸出值yk 乘以100，而獲得貼合率(%)。
接著，評估部22例如將N個輸出值yk 與評估用圖像之圖像ID一起作為評估用圖像之評估結果，輸出至發送部23。N個輸出值yk 之排列係預先規定，各輸出值yk 與N個類別之任一類別建立對應。另，評估部22亦可將N個輸出值yk 中之最大輸出值與對應於該輸出值之類別名或索引(相當於圖12所示之「序號」)一起作為評估結果。此處，將對應於圖12所示之貼合率之輸出值之排列作為評估結果輸出至發送部23。該情形時，使用者終端10可決定使用者如何輸出。
且，發送部23經由網路NW將評估結果發送至使用者終端10(步驟S05)。此時，發送部23基於與評估用圖像一起自使用者終端10發送之終端ID，識別發送端之使用者終端10，對該使用者終端10發送評估結果。且，接收部15接收自評估裝置20發送之評估結果，將評估結果輸出至輸出部16。另，發送部23亦可如上述，將評估結果加密，將經加密之評估結果發送至使用者終端10。該情形時，接收部15自評估裝置20接收經加密之評估結果，將經加密之評估結果解碼，將評估結果輸出至輸出部16。
接著，輸出部16產生用以對使用者通知評估結果之輸出資訊，基於輸出資訊對使用者輸出評估結果(步驟S06)。
圖13之顯示例中，使用分佈圖。分佈圖之縱軸表示除鏽處理前之等級(鏽程度之等級)，分佈圖之橫軸表示除鏽處理後之等級(除鏽度之等級)。色標表示對應於貼合率之顏色。分佈圖中，藉由標示於除鏽處理前之等級與除鏽處理後之等級之交點之點，顯示該類別之貼合率。點之顏色及大小係根據對應於點之類別之貼合率而設定。對應於點之類別之貼合率愈大，點之大小亦愈大。點之顏色設定為對應於點所對應之類別之貼合率而設定。
點P1位於等級B與等級RAW之交點，具有對應於15%之顏色。即，點P1之除鏽處理前之等級為等級B，除鏽處理後之等級為等級RAW(未實施除鏽處理之狀態)之類別之貼合率顯示為15%。同樣地，點P2之除鏽處理前之等級為等級B，除鏽處理後之等級為等級Sa1之類別之貼合率顯示為5%。同樣地，點P3之除鏽處理前之等級為等級D，除鏽處理後之等級為等級Sa1之類別之貼合率顯示為85%。
該顯示例中，具有最大貼合率之類別之除鏽處理後之等級為等級RAW之情形時，使用該類別之除鏽處理前之等級作為鏽程度。另一方面中，具有最大貼合率之類別之除鏽處理後之等級為等級RAW以外之情形時，使用該類別之除鏽處理後之等級作為除鏽程度。
圖13之顯示例中，即使除鏽處理後之等級相同，亦根據除鏽處理前之等級而分類成不同類別。但，評估評估對象物之除鏽度之情形時，將鏽去除至何種程度較為重要。因此，輸出部16亦可對除鏽處理後之每個等級統一貼合率，顯示除鏽處理後之每個等級之貼合率。例如，如圖14所示，由於等級RAW之貼合率為等級A+等級RAW之貼合率、等級B+等級RAW之貼合率、等級C+等級RAW之貼合率及等級D+等級RAW之貼合率之合計，故為15%(=0+15+0+0)。等級St2、St3、Sa2、Sa2.5、Sa3之貼合率之任一者皆為0，等級Sa1之貼合率為85%(=0+5+0+80)。輸出部16亦可藉由對除鏽處理後之每個等級之貼合率乘以各等級之分類係數，將乘算結果合計，而將評估結果數值化。
輸出部16亦可使用評估結果，對使用者通知除鏽處理為合格或不合格。
同樣地，評估評估對象物之鏽程度之情形時，輸出部16亦可對除鏽處理前之每個等級統一貼合率，顯示除鏽處理前之每個等級之貼合率。
輸出部16亦可以文本表示評估結果。輸出部16例如以文本表示精確度最高類別之等級名，及其精確度。例如，輸出部16表示為「結果：[除鏽處理前]等級D→[除鏽處理後]等級Sa1(80%)」等。輸出部16亦可以文本表示所有類別之等級名及其精確度。
輸出部16可以聲音輸出評估結果，亦可以振動輸出評估結果。輸出部16之輸出形態亦可由使用者設定。
接著，修正資訊取得部17判定使用者是否已進行評估結果之修正操作。例如，使用者於確認了藉由輸出部16輸出之評估結果後，以顯示用於使用輸入裝置105修正評估結果之畫面之方式操作。
例如，如圖15(a)所示，使用者操作輸入裝置105，使用指針MP於分佈圖上指定類別。即，使用者藉由以目視檢查評估對象物而判定類別，將點Pu標示於對應於由使用者判定之類別之除鏽處理前之等級及除鏽處理後之等級之交點。
如圖15(b)所示，輸出部16亦可顯示類別之等級名及單選按鈕。該情形時，使用者藉由操作輸入裝置105，使用指針MP檢查單選按鈕，而選擇由使用者判定之類別。使用者為選擇類別，亦可使用下拉式清單或滑塊等物件。
當修正資訊取得部17判定未進行修正操作之情形時，評估系統1之評估方法之一連串處理便結束。另一方面，修正資訊取得部17判定藉由輸入裝置105進行了修正操作之情形時，將表示修正後之類別之資訊，與進行該修正操作之評估用圖像之圖像ID一同，作為修正資訊取得(步驟S07)。
且，修正資訊取得部17將修正資訊輸出至發送部14，發送部14經由網路NW將修正資訊發送至評估裝置20(步驟S08)。且，接收部21接收自使用者終端10發送之修正資訊，將修正資訊輸出至評估部22。另，發送部14亦可如上述，將修正資訊加密，將經加密之修正資訊發送至評估裝置20。該情形時，接收部21自使用者終端10接收經加密之修正資訊，將經加密之修正資訊解碼，將修正資訊輸出至評估部22。
接著，評估部22基於修正資訊進行學習(步驟S09)。具體而言，評估部22將修正後之類別與評估用圖像之組設為教師資料。評估部22亦可以在線學習、小批量學習及批量學習之任一方法，進行類神經網路NN之學習。在線學習係每次取得新的教師資料，使用該教師資料進行學習之方法。小批量學習係將一定量之教師資料作為1個單位，使用1個單位之教師資料進行學習之方法。批量學習係使用所有教師資料進行學習之方法。學習係使用反向傳播等運算法。另，所謂類神經網路NN之學習，意指將類神經網路NN所使用之重量係數及偏差值更新為更佳值。
如上，評估系統1之評估方法之一連串處理結束。
另，使用者終端10及評估裝置20之各功能部係藉由於構成使用者終端10及評估裝置20之電腦中執行用以實現各功能之程式模組而實現。包含該等程式模組之評估程式例如係藉由ROM或半導體記憶體等電腦可讀取之記錄媒體提供。又，評估程式亦可作為資料信號，經由網路提供。
以上說明之評估系統1、評估裝置20、評估方法、評估程式及記錄媒體中，自評估對象物之攝像圖像擷取評估區域Re，基於評估區域Re產生評估用圖像。且，基於評估用圖像進行鏽的程度相關之評估，輸出評估結果。評估區域Re係具有評估對象物之表面中之特定面積之範圍之圖像。因此，不根據拍攝攝像圖像之條件(評估對象物與攝像裝置107之距離及倍率等)，以具有評估對象物之表面中之相同面積之範圍為對象，進行產生於該範圍內之鏽的程度相關之評估。其結果，可提高鏽的程度相關之評估精度。具體而言，基於評估用圖像進行鏽程度及除鏽度之評估。因此，可提高鏽程度及除鏽度之評估精度。如此，可使用通用機作為攝像裝置107，可自由改變攝像裝置107與評估對象物之距離D1。
標記MK具有可特定標記MK之朝向之形狀。因此，可以攝像圖像所含之標記區域Rm之朝向及大小為基準，決定攝像圖像中具有評估對象物之表面中之特定面積之範圍，擷取所決定之範圍作為評估區域Re。藉此，可不使用其他資訊，擷取評估區域Re。因此，可使評估系統1小型化。
由於可基於產生攝像圖像之攝像裝置107與評估對象物之距離D1，特定具有評估對象物之表面中之特定面積之範圍，故可更確實擷取評估區域Re。
即使為相同評估對象物，亦有攝像圖像之色調亦根據拍攝所使用之光源之色調而變化之情形。又，即使為相同評估對象物，亦有攝像圖像之亮度根據光之照射量而不同之情形。因此，基於攝像圖像所含之參照區域(例如標記區域Rm之區域Rw)之顏色，修正評估區域Re之顏色。標記區域Rm之區域Rw之顏色與標記MK之區域Rw之顏色(白色)不同之情形時，認為攝像圖像之顏色受到光之影響。因此，以標記區域Rm之區域Rw之顏色變為標記MK之區域Rw之顏色之方式，修正評估區域Re之顏色。藉此，可減低光之影響。求結果，可提高鏽程度及除鏽度之評估精度。
若對評估對象物照射強光，則有產生鏡面反射之情形，若於該狀態下拍攝評估對象物，則有於攝像圖像產生過曝之情形。產生過曝之區域中，損失顏色資訊。因此，藉由將鏡面反射(過曝)自評估區域Re去除，而可復原顏色資訊。藉此，可提高鏽程度及除鏽度之評估精度。
使用類神經網路NN進行鏽程度及除鏽度之評估。除鏽處理前之鏽的圖案，及除鏽處理後之鏽的圖案不定形。因此，一般之物體檢測中，特定不定形物體之位置及狀態較困難。又，圖案辨識不適合辨識無數存在之圖案。相對於此，藉由學習類神經網路NN，而可評估鏽程度及除鏽度，可進而提高鏽程度及除鏽度之評估精度。
藉由擴大或縮小評估區域Re，而使評估用圖像之尺寸與使用於類神經網路NN之學習之基準圖像(教師資料)之尺寸一致。因此，可適當進行類神經網路NN之評估。
(第2實施形態)
圖16係概略地顯示包含第2實施形態之評估裝置之評估系統之構成圖。圖16所示之評估系統1A主要於取代使用者終端10，具備使用者終端10A之點，及取代評估裝置20，具備評估裝置20A之點，與評估系統1不同。
使用者終端10A主要於不具備修正部13之點，及取代評估用圖像，將攝像圖像及距離D1發送至評估裝置20A之點，與使用者終端10不同。另，使用者終端10A中，圖像取得部11將攝像圖像輸出至發送部14。距離取得部12將距離D1輸出至發送部14。發送部14將攝像圖像及距離D1發送至評估裝置20A。
評估裝置20A主要於自使用者終端10A接收取代評估用圖像之攝像圖像及距離D1之點，及進而具備修正部24之點，與評估裝置20不同。接收部21自使用者終端10A接收攝像圖像及距離D1，將攝像圖像及距離D1輸出至修正部24。另，由於接收部21自使用者終端10A取得攝像圖像，故視為圖像取得部。修正部24具有與修正部13相同之功能。即，修正部24自攝像圖像擷取評估區域，基於評估區域產生評估用圖像。且，修正部24將評估用圖像輸出至評估部22。
接著，參照圖17，說明評估系統1A進行之評估方法。圖17係顯示圖16所示之評估系統進行之評估方法之順序圖。首先，圖像取得部11取得評估對象物之攝像圖像(步驟S31)。例如，圖像取得部11與步驟S01同樣地，取得藉由攝像裝置107產生之評估對象物之圖像，作為攝像圖像。
且，圖像取得部11將取得之攝像圖像輸出至發送部14，發送部14經由網路NW將攝像圖像發送至評估裝置20A(步驟S32)。此時，發送部14將攝像圖像與可唯一識別使用者終端10A之終端ID一起，發送至評估裝置20A。且，接收部21接收自使用者終端10A發送之攝像圖像，將攝像圖像輸出至修正部24。另，發送部14亦可如上述，將攝像圖像加密，將經加密之攝像圖像發送至評估裝置20A。該情形時，接收部21自使用者終端10A接收經加密之攝像圖像，將經加密之攝像圖像解碼，將攝像圖像輸出至修正部24。
接著，修正部24修正攝像圖像(步驟S33)。由於步驟S33之處理與步驟S02之處理相同，故省略詳細說明。修正部24將藉由步驟S33之修正處理修正之攝像圖像作為評估用圖像，輸出至評估部22。以下，由於步驟S34～S39之處理與步驟S04～步驟S09之處理相同，故省略其詳細說明。如上，評估系統1A之評估方法之一連串處理結束。
另，使用者終端10A及評估裝置20A之各功能部係藉由於構成使用者終端10A及評估裝置20A之電腦中執行用以實現各功能之程式模組而實現。包含該等程式模組之評估程式例如係藉由ROM或半導體記憶體等電腦可讀取之記錄媒體提供。又，評估程式亦可作為資料信號，經由網路提供。
第2實施形態之評估系統1A、評估裝置20A、評估方法、評估程式及記錄媒體中，亦發揮與第1實施形態之評估系統1、評估裝置20、評估方法、評估程式及記錄媒體相同之效果。又，第2實施形態之評估系統1A、評估裝置20A、評估方法、評估程式及記錄媒體中，由於使用者終端10A不具有修正部13，故可減輕使用者終端10A之處理負荷。又，第2實施形態之評估系統1A、評估裝置20A、評估方法、評估程式及記錄媒體中，由於攝像圖像及距離D1蓄積於評估裝置20A，故可容易進行評估裝置20A中之資料擴張，可更有效地學習類神經網路NN。
(第3實施形態)
圖18係概略地顯示包含第3實施形態之評估裝置之評估系統之構成圖。圖18所示之評估系統1B主要於取代使用者終端10，具備使用者終端10B之點，及不具備評估裝置20之點，與評估系統1不同。使用者終端10B主要於進而具備評估部18之點，及不具備發送部14及接收部15之點，與使用者終端10不同。該情形時，使用者終端10B亦為脫機型評估裝置。
另，使用者終端10B中，修正部13將評估用圖像輸出至評估部18。修正資訊取得部17將修正資訊輸出至評估部18。評估部18具有與評估部22相同之功能。即，評估部18基於評估用圖像，進行評估對象物之鏽的程度相關之評估。且，評估部18將評估結果輸出至輸出部16。
接著，參照圖19，說明評估系統1B(使用者終端10B)進行之評估方法。圖19係顯示圖18所示之評估系統進行之評估方法之流程圖。
首先，圖像取得部11與步驟S01同樣地取得評估對象物之攝像圖像(步驟S41)。且，圖像取得部11將攝像圖像輸出至修正部13。接著，修正部13修正攝像圖像(步驟S42)。步驟S42之處理與步驟S02之處理相同，故省略其詳細說明。且，修正部13將藉由步驟S42之修正處理修正之攝像圖像作為評估用圖像，輸出至評估部18。
接著，評估部18基於評估用圖像，進行評估對象物之鏽的程度相關之評估(步驟S43)。步驟S43之處理與步驟S04之處理相同，故省略其詳細說明。且，評估部18將評估結果輸出至輸出部16。接著，輸出部16產生用以對使用者通知評估結果之輸出資訊，基於輸出資訊對使用者輸出評估結果(步驟S44)。步驟S44之處理與步驟S06之處理相同，故省略其詳細說明。
接著，修正資訊取得部17判定是否由使用者進行評估結果之修正操作(步驟S45)。判定修正資訊取得部17未進行修正操作之情形時(步驟S45：否)，評估系統1B之評估方法之一連串處理結束。另一方面，判定修正資訊取得部17進行修正操作之情形時(步驟S45：是)，與進行該修正操作之評估用圖像之圖像ID一起取得表示修正後之類別之資訊作為修正資訊。且，修正資訊取得部17將修正資訊輸出至評估部18。
接著，評估部18基於修正資訊進行學習(步驟S46)。步驟S46之處理與步驟S09之處理相同，故省略其詳細說明。如上，評估系統1B之評估方法之一連串處理結束。
另，使用者終端10B之各功能部係藉由於構成使用者終端10B之電腦中執行用以實現各功能之程式模組而實現。包含該等程式模組之評估程式例如係藉由ROM或半導體記憶體等電腦可讀取之記錄媒體提供。又，評估程式亦可作為資料信號，經由網路提供。
第3實施形態之評估系統1B、使用者終端10B、評估方法、評估程式及記錄媒體中，亦發揮與第1實施形態之評估系統1、評估裝置20、評估方法、評估程式及記錄媒體相同之效果。又，第3實施形態之評估系統1B、使用者終端10B、評估方法、評估程式及記錄媒體中，由於無需進行經由網路NW之資料收發，故產生伴隨經由網路NW之通信之時滯，可提高應答速度。又，可削減網路NW之流量及通信費用。
另，本發明之評估系統、評估裝置、評估方法、評估程式及記錄媒體不限於上述實施形態。
例如，修正部13、24於修正處理中不使用距離D1之情形時，使用者終端10、10A、10B亦可不具備距離取得部12。
又，使用者不進行評估結果之修正之情形時，使用者終端10、10A、10B亦可不具備修正資訊取得部17。
又，類神經網路NN中，亦可進行批量正規化。所謂批量正規化，係以分散變為固定之方式轉換各層之輸出值之處理。該情形時，由於無需使用偏差值，故可省略輸出偏差值之節點(節點41b及節點421b等)。
又，評估部18、22亦可使用類神經網路以外之方法，基於評估用圖像進行鏽的程度相關之評估。
又，輸出部16亦可將評估結果輸出至未圖示之記憶體(記憶裝置)，將評估結果保持至記憶體。輸出部16例如製作可唯一識別評估結果之管理序號，及將進行該評估之日期等與評估結果建立對應之管理資料，保存管理資料。
評估系統1、1A、1B亦可作為診斷工具使用。此處，針對將評估系統1使用於診斷工具之變化例進行說明。圖20係概略地顯示變化例之評估系統之構成圖。於塗裝之鋼材中，例如水分穿過塗膜等而於塗膜之下產生銹，從而塗膜浮起，產生塗膜剝離。塗膜剝離係塗佈於基底(金屬基底)之塗料之膜(塗膜)魚鱗狀剝離之狀態。若產生塗膜剝離，則基底露出，故易進而產生銹。如耐氣候性之鋼材可於無塗裝中使用。此種無塗裝之鋼材中，由於無塗膜，故不會產生因鏽之塗膜剝離，但有於鋼材部分地產生銹之情形。例如，評估對象物為鋼橋之情形時，對評估對象物之表面全體進行鏽之評估效率較差。
因此，圖20所示之變化例之評估系統1中，自藉由拍攝評估對象物全體或評估對象物之一部分所得之攝像圖像擷取產生銹之區域(候補區域Rc)之後，進行評估。本變化例之評估系統1中，鏽的程度相關之評估中包含評估對象物之鏽的分佈程度。
變化例之評估系統1進而具備擷取部19。擷取部19係用以自攝像圖像G擷取候補區域Rc之部分。如圖21(a)所示，擷取部19進行攝像圖像G之清潔，檢測包含塗膜剝離(鏽)之區域作為候補區域Rc。擷取部19例如藉由進行物體檢測處理，檢測候補區域Rc。對物體檢測處理使用級聯分類器、支持向量機(Support Vector Machine：SVM)及使用類神經網路之方法等圖像辨識技術。擷取部19例如區分污垢與塗膜剝離(鏽)，檢測候補區域Rc。即，擷取部19亦可檢測有污垢附著之區域，作為候補區域Rc。
如圖21(b)所示，擷取部19擷取包含候補區域Rc之區域Rex，將區域Rex輸出至修正部13。另，擷取部19於候補區域Rc大於特定尺寸之情形時，將候補區域Rc分割成複數個區域，將包含分割之各區域之複數個區域Rex輸出至修正部13。修正部13藉由對區域Rex進行上述修正而產生評估用圖像。
作為評估部22中使用之類別，例如可使用表示塗膜剝離之大小之等級，與表示塗膜剝離程度之等級之組合。作為塗膜剝離之大小之等級，例如使用SSPC規格中規定之「全體」、「點」、及「針點」。作為表示塗膜剝離程度之等級，例如使用「無異常」及「開始剝離」。
以上之變化例之評估系統1中，亦發揮與上述第1實施形態之評估系統1相同之效果。變化例之評估系統1中，自攝像圖像G擷取產生銹之候補區域Rc，使用候補區域Rc進行鏽的程度相關之評估。因此，由於無需評估評估對象物之表面全體，故可提高鏽的程度相關之評估效率。
標記MK之形狀不限於正方形。標記MK之形狀亦可為長方形。
上述實施形態中，標記MK具有可特定標記MK之朝向之形狀，但標記MK之形狀不限於具有指向性之形狀。標記MK之形狀亦可為無指向性之形狀。例如，如圖22(a)所示，亦可區域Rb之形狀為正方形，區域Rw之形狀為較區域Rb小一圈之正方形。亦可區域Rb之中心點與區域Rw之中心點重疊，且區域Rb之各邊與區域Rw之各邊以互相平行之方式配置。
如圖22(b)所示，標記MK亦可具有開口部Hm。開口部Hm係貫通描繪標記MK之片材狀構件之貫通孔。開口部Hm之開口面積與評估範圍之面積相等。該標記MK標註於評估對象物之情形時，評估對象物之表面經由開口部Hm露出。由於開口部Hm之開口面積與評估範圍之面積相等，故修正部13、24擷取經由開口部Hm露出之評估對象物表面之圖像作為評估區域Re。藉此，可簡化評估區域Re之擷取。
另，開口部Hm之開口面積亦可大於評估範圍之面積。該情形時，修正部13、24亦可自攝像圖像擷取經由開口部Hm露出之區域，作為評估區域Re之擷取之前處理。且，修正部13、24亦可自擷取之區域擷取評估區域Re。
如此，可不根據標記MK之形狀，以攝像圖像所含之標記區域Rm之大小為基準，決定攝像圖像中具有評估對象物之表面中之特定面積之範圍，作為評估區域Re擷取。藉此，可不使用其他資訊，擷取評估區域Re。因此，可使評估系統1、1A、1B小型化。
如圖22(a)所示，標記MK具有無指向性之形狀之情形時，標記MK之形狀較簡單，故可使標記MK之製作容易化。又，由於標記MK之朝向並不重要，故使用者可容易進行評估對象物之拍攝。
使用未由框F2包圍之標記MK之情形時，有因光之反射等而標記區域Rm與評估對象物之區域之邊界變得不明確之情形。此種情形時，邊緣檢測處理中，有無法檢測邊緣之情形。物體檢測中，若過於縮小判定臨限值，則錯誤檢測變多，若過於放大判定臨限值，則檢測遺漏變多。又，物體檢測本身無法獲得標記區域Rm之朝向(角度)。再者，以物體檢測處理擷取標記區域Rm之後，進行邊緣強調處理，進而進行邊緣檢測處理之情形時，如檢測精度提高，但標記區域Rm之外緣部分之顏色與標記區域Rm之周邊顏色幾乎不變之情形時，可能產生檢測遺漏。
另一方面，圖6(b)～(f)、圖22(c)及(d)所示之標記MK中，標記MK係由框F2包圍，於框F2與區域Rb之間設置間隙Rgap。間隙Rgap沿緣F1包圍區域Rb。間隙Rgap之顏色與標記MK之外緣部分(即區域Rb)之顏色不同。因此，即使標記區域Rm之周邊(框F2之外側)之顏色與標記區域Rm之外緣部分(區域Rb)之顏色類似，標記區域Rm之外緣(緣F1)亦明確，故可檢測標記區域Rm之外緣。例如，以物體檢測處理擷取標記區域Rm之後，進行邊緣強調處理，進而進行邊緣檢測處理之情形時，可更確實檢測區域Rb之頂點(頂點Pm1～Pm4)。因此，可高速且高精度地擷取標記區域Rm。其結果，可提高鏽的程度相關之評估精度。另，例如為確保間隙Rgap，框F2與區域Rb之距離(間隙Rgap之寬度)亦可為標記MK之一邊之1/10以上。例如考慮到標記MK之使用容易度，框F2與區域Rb之距離(間隙Rgap之寬度)亦可為標記MK之一邊之一半以下。
又，如圖22(c)及(d)所示，框F2亦可非完全包圍標記MK之框。即，亦可於框F2設置脫落部Fgap。例如，框F2不限於實線，亦可為虛線。該情形時，框F2具有將框F2之框線F2於中途中斷之形狀。於框F2設置脫落部Fgap之情形時，可藉由邊緣檢測處理等，減低由框F2包圍之區域被作為標記區域Rm檢測出之可能性，故標記區域Rm之檢測精度提高。即，由於可減低檢測出框F2之頂點之可能性，故可進而確實檢測標記區域Rm(區域Rb)之頂點。其結果，可提高鏽的程度相關之評估精度。
如圖23所示，修正部13、24自攝像圖像G擷取評估區域Re時，亦可自攝像圖像G隨機決定評估區域Re，擷取所決定之評估區域Re。該情形時，首先，修正部13、24求得評估區域Re之基準點Pr可取座標之最大值。所謂基準點Pr，係評估區域Re之4個頂點中之1個，此處，係評估區域Re之4個頂點中最接近X-Y座標之原點之頂點。例如，評估區域Re之一邊長度為100像素之情形時，基準點Pr之X座標之最大值xcrop_max 及Y座標之最大值ycrop_max 係以下式(8)表示。另，攝像圖像G之頂點Pg1位於原點(0, 0)，頂點Pg2位於(Xg , 0)，頂點Pg3位於(Xg , Yg )，頂點Pg4位於(0, Yg )。
【數8】
修正部13、24使用式(9)，隨機決定評估區域Re之基準點之座標(xcrop , ycrop )。另，函數random(最小值，最大值)係返回最小值至最大值之範圍內所含之任意值之函數。
【數9】
修正部13、24於所決定之評估區域Re與標記區域Rm重疊之情形時，亦可再次決定評估區域Re之基準點之座標。
如圖24所示，修正部13、24亦可對標記區域Rm指定擷取方向，自攝像圖像G擷取評估區域Re。該情形時，首先，修正部13、24計算攝像圖像G之中心位置Cg之座標(xcg , ycg )，及標記區域Rm之中心位置Cm之座標(xcm , ycm )。且，修正部13、24如式(10)所示，計算自中心位置Cm朝向中心位置Cg之矢量V。
【數10】
修正部13、24於自標記區域Rm之矢量V所示之方向，決定評估區域Re之位置。修正部13、24例如以評估區域Re之基準點Pr位於自中心位置Cm之矢量V所示方向之方式，決定評估區域Re之位置。此處，基準點Pr係評估區域Re之4個頂點中最接近標記區域Rm之頂點。修正部13、24例如以不與標記區域Rm重複之方式，決定評估區域Re之位置。具體而言，修正部13、24計算基準點Pr可取之座標中，最遠離標記區域Rm之基準點Pr_max之座標(xcrop_max , ycrop_max )，及最接近標記區域Rm之基準點Pr_min之座標(xcrop_min , ycrop_min )。且，修正部13、24以基準點Pr位於該等2點間之線段上之方式，決定評估區域Re之位置。
1、1A、1B‧‧‧評估系統
10、10A、10B‧‧‧使用者終端
11‧‧‧圖像取得部
12‧‧‧距離取得部
13、24‧‧‧修正部
14‧‧‧發送部
15‧‧‧接收部
16‧‧‧輸出部
17‧‧‧修正資訊取得部
18、22‧‧‧評估部
19‧‧‧擷取部
20、20A‧‧‧評估裝置
21‧‧‧接收部(圖像取得部)
22‧‧‧評估部
23‧‧‧發送部(輸出部)
24‧‧‧修正部
41‧‧‧神經元
41b‧‧‧節點
43‧‧‧神經元
101‧‧‧處理器
102‧‧‧主記憶裝置
103‧‧‧輔助記憶裝置
104‧‧‧通信裝置
105‧‧‧輸入裝置
106‧‧‧輸出裝置
107‧‧‧攝像裝置
201‧‧‧處理器
202‧‧‧主記憶裝置
203‧‧‧輔助記憶裝置
204‧‧‧通信裝置
421‧‧‧神經元
421b‧‧‧節點
422‧‧‧神經元
Cl‧‧‧透鏡
Cs‧‧‧攝像元件
D1‧‧‧距離
F1‧‧‧緣
F2‧‧‧框
Fgap‧‧‧脫落部
G‧‧‧攝像圖像
L1‧‧‧輸入層
L2‧‧‧中間層
L21‧‧‧第1中間層
L22‧‧‧第2中間層
L3‧‧‧輸出層
MK‧‧‧標記
MP‧‧‧指針
NN‧‧‧類神經網路
NW‧‧‧網路
P1～P3‧‧‧點
Pm1～Pm4‧‧‧頂點
Pu‧‧‧點
Rb‧‧‧區域
Rc‧‧‧候補區域
Re‧‧‧評估區域
Rex‧‧‧區域
Rm‧‧‧標記區域
Rw‧‧‧區域
S01～S09‧‧‧步驟
S21～S27‧‧‧步驟
S31～S39‧‧‧步驟
S41～S46‧‧‧步驟
W、w1、w2‧‧‧寬度
圖1係概略地顯示包含第1實施形態之評估裝置之評估系統之構成圖。
圖2係圖1所示之使用者終端之硬體構成圖。
圖3係圖1所示之評估裝置之硬體構成圖。
圖4係顯示圖1所示之評估系統進行之評估方法之順序圖。
圖5係詳細顯示圖4所示之修正處理之流程圖。
圖6(a)～(f)係顯示標記之例之圖。
圖7係用以說明失真修正之圖。
圖8係用以說明使用標記之評估區域之擷取之圖。
圖9(a)係用以說明評估對象物之實際大小之計算方法之圖。圖9(b)係顯示焦點距離與35 mm換算之焦點距離之關係之圖。
圖10(a)及(b)係用以說明顏色修正之圖。
圖11係顯示類神經網路之一例之圖。
圖12係顯示評估結果之一例之圖。
圖13係顯示評估結果之顯示例之圖。
圖14係顯示除鏽度之評估結果之一例之圖。
圖15(a)及(b)係顯示評估結果之修正例之圖。
圖16係概略地顯示包含第2實施形態之評估裝置之評估系統之構成圖。
圖17係顯示圖16所示之評估系統進行之評估方法之順序圖。
圖18係概略地顯示包含第3實施形態之評估裝置之評估系統之構成圖。
圖19係顯示圖18所示之評估系統進行之評估方法之流程圖。
圖20係概略地顯示變化例之評估系統之構成圖。
圖21(a)係用以說明候補區域之檢測之圖。圖21(b)係用以說明候補區域之擷取之圖。
圖22(a)～(d)係顯示標記之變化例之圖。
圖23係用以說明評估區域之擷取方法之變化例之圖。
圖24係用以說明評估區域之擷取方法之變化例之圖。

Claims (19)

  1. 一種評估系統，其係使用評估對象物之攝像圖像，進行上述評估對象物之鏽的程度相關之評估者，其包含： 圖像取得部，其取得上述攝像圖像； 修正部，其藉由修正上述攝像圖像而產生評估用圖像； 評估部，其基於上述評估用圖像進行上述評估；及 輸出部，其輸出上述評估部之評估結果；且 上述修正部自上述攝像圖像擷取具有上述評估對象物之表面中之特定面積之範圍之圖像即評估區域，基於上述評估區域產生上述評估用圖像。
  2. 如請求項1之評估系統，其中上述攝像圖像包含標註於上述評估對象物之標記之圖像即標記區域， 上述修正部基於上述標記區域擷取上述評估區域。
  3. 如請求項2之評估系統，其中上述標記具有可特定上述標記之朝向之形狀。
  4. 如請求項2之評估系統，其中上述標記具有無指向性之形狀。
  5. 如請求項2至4中任一項之評估系統，其中上述標記具有開口部， 上述開口部之開口面積與上述面積相等， 上述修正部擷取經由上述開口部露出之上述評估對象物之表面之圖像，來作為上述評估區域。
  6. 如請求項2至5中任一項之評估系統，其中上述標記被框包圍， 於上述標記與上述框之間設置間隙， 上述間隙之顏色與上述標記之外緣部分之顏色不同。
  7. 如請求項6之評估系統，其中上述框具有框線中斷之形狀。
  8. 如請求項1之評估系統，其中進而包含距離取得部，該距離取得部取得拍攝上述攝像圖像之攝像裝置與上述評估對象物之距離， 上述修正部基於上述距離擷取上述評估區域。
  9. 如請求項1至8中任一項之評估系統，其中上述修正部基於上述攝像圖像所含之參照區域之顏色，修正上述評估區域之顏色， 上述參照區域係標註有特定顏色之參照體之圖像。
  10. 如請求項1至9中任一項之評估系統，其中上述修正部將鏡面反射自上述評估區域去除。
  11. 如請求項1至10中任一項之評估系統，其中上述評估部使用類神經網路進行上述評估。
  12. 如請求項11之評估系統，其中上述修正部藉由擴大或縮小上述評估區域，使上述評估用圖像之尺寸與使用於上述類神經網路之學習之基準圖像之尺寸一致。
  13. 如請求項1至12中任一項之評估系統，其進而包含自上述攝像圖像擷取產生銹之候補區域之擷取部， 上述修正部藉由修正上述候補區域而產生上述評估用圖像。
  14. 如請求項1至13中任一項之評估系統，其中上述評估包含鏽程度之評估。
  15. 如請求項1至14中任一項之評估系統，其中評估包含除鏽度之評估。
  16. 一種評估裝置，其係使用評估對象物之攝像圖像，進行上述評估對象物之鏽的程度相關之評估者，其包含： 圖像取得部，其取得上述攝像圖像； 修正部，其藉由修正上述攝像圖像而產生評估用圖像； 評估部，其基於上述評估用圖像進行上述評估；及 輸出部，其輸出上述評估部之評估結果；且 上述修正部自上述攝像圖像擷取具有上述評估對象物之表面中之特定面積之範圍之圖像即評估區域，基於上述評估區域產生上述評估用圖像。
  17. 一種評估方法，其係使用評估對象物之攝像圖像，進行上述評估對象物之鏽的程度相關之評估者，其包含以下步驟： 取得上述攝像圖像之步驟； 藉由修正上述攝像圖像而產生評估用圖像之步驟； 基於上述評估用圖像進行上述評估之步驟；及 輸出進行上述評估之步驟中之評估結果之步驟；且 於產生上述評估用圖像之步驟中，自上述攝像圖像擷取具有上述評估對象物之表面中之特定面積之範圍之圖像即評估區域，基於上述評估區域產生上述評估用圖像。
  18. 一種評估程式，其用於使電腦執行以下步驟： 取得評估對象物之攝像圖像之步驟； 藉由修正上述攝像圖像而產生評估用圖像之步驟； 基於上述評估用圖像，進行上述評估對象物之鏽的程度相關之評估之步驟；及 輸出進行上述評估之步驟中之評估結果之步驟；且 於產生上述評估用圖像之步驟中，自上述攝像圖像擷取具有上述評估對象物之表面中之特定面積之範圍之圖像即評估區域，基於上述評估區域產生上述評估用圖像。
  19. 一種記錄媒體，其係記錄評估程式之電腦可讀取者，該評估程式用於使電腦執行以下步驟： 取得評估對象物之攝像圖像之步驟； 藉由修正上述攝像圖像而產生評估用圖像之步驟； 基於上述評估用圖像，進行上述評估對象物之鏽的程度相關之評估之步驟；及 輸出進行上述評估之步驟中之評估結果之步驟；且 於產生上述評估用圖像之步驟中，自上述攝像圖像擷取具有上述評估對象物之表面中之特定面積之範圍之圖像即評估區域，基於上述評估區域產生上述評估用圖像。
TW107138630A 2018-02-16 2018-10-31 評估系統、評估裝置、評估方法、評估程式及記錄媒體 TW201935320A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018026099A JP6881347B2 (ja) 2018-02-16 2018-02-16 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体
JP2018-026099 2018-02-16

Publications (1)

Publication Number Publication Date
TW201935320A true TW201935320A (zh) 2019-09-01

Family

ID=67620052

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107138630A TW201935320A (zh) 2018-02-16 2018-10-31 評估系統、評估裝置、評估方法、評估程式及記錄媒體

Country Status (3)

Country Link
JP (1) JP6881347B2 (zh)
TW (1) TW201935320A (zh)
WO (1) WO2019159425A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941796B2 (en) 2018-02-16 2024-03-26 Sintokogio, Ltd. Evaluation system, evaluation device, evaluation method, evaluation program, and recording medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021056117A (ja) * 2019-09-30 2021-04-08 日立造船株式会社 評価装置、評価システム、制御プログラム、および評価方法
CN111160265B (zh) * 2019-12-30 2023-01-10 Oppo（重庆）智能科技有限公司 文件转换方法、装置、存储介质及电子设备
JP7361613B2 (ja) * 2020-01-08 2023-10-16 キヤノンメディカルシステムズ株式会社 巻線検査方法、巻線検査装置、および超電導コイル装置の製造方法
JP7440823B2 (ja) * 2020-02-21 2024-02-29 オムロン株式会社 情報処理装置、情報処理方法及びプログラム
EP3971556A1 (en) * 2020-09-17 2022-03-23 Evonik Operations GmbH Qualitative or quantitative characterization of a coating surface
WO2024142405A1 (ja) * 2022-12-28 2024-07-04 日本電信電話株式会社 点検装置、点検方法、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3597439B2 (ja) * 2000-03-16 2004-12-08 株式会社巴コーポレーション 塗装された鋼材の塗装劣化の診断方法
JP2009053001A (ja) * 2007-08-27 2009-03-12 Akinobu Morita 構造物検査装置
KR100891934B1 (ko) * 2007-09-03 2009-04-08 한국도로공사 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법
JP4999642B2 (ja) * 2007-11-02 2012-08-15 中国電力株式会社 配電設備の劣化診断装置
JP5647878B2 (ja) * 2010-05-31 2015-01-07 東北電力株式会社 鋼管内部腐食解析装置及び鋼管内部腐食解析方法
JP2012026820A (ja) * 2010-07-22 2012-02-09 Nippon Sharyo Seizo Kaisha Ltd ブラスト後の除錆度検査システム
KR101074678B1 (ko) * 2011-03-03 2011-10-18 배상모 휴대단말기에 구비된 카메라를 이용한 물체의 실제 크기 측정 방법
JP5427198B2 (ja) * 2011-03-14 2014-02-26 株式会社日立製作所 設備劣化診断装置、設備劣化診断方法および設備劣化診断プログラム
JP5654402B2 (ja) * 2011-03-29 2015-01-14 株式会社日立製作所 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム
JP2015060493A (ja) * 2013-09-20 2015-03-30 大日本印刷株式会社 パターン検査装置、パターン検査方法
JP6201922B2 (ja) * 2014-07-23 2017-09-27 マツダ株式会社 車両用錆検出装置、車両用錆検出システム、及び車両用錆検出方法
JP6570113B2 (ja) * 2015-06-25 2019-09-04 ダイハツ工業株式会社 不具合の許否判定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941796B2 (en) 2018-02-16 2024-03-26 Sintokogio, Ltd. Evaluation system, evaluation device, evaluation method, evaluation program, and recording medium

Also Published As

Publication number Publication date
JP6881347B2 (ja) 2021-06-02
WO2019159425A1 (ja) 2019-08-22
JP2019144013A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
TW201935320A (zh) 評估系統、評估裝置、評估方法、評估程式及記錄媒體
CN110660066B (zh) 网络的训练方法、图像处理方法、网络、终端设备及介质
JP6773061B2 (ja) 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体
CN105335955B (zh) 对象检测方法和对象检测装置
CN105740775B (zh) 一种三维人脸活体识别方法及其装置
TWI441095B (zh) 距離估算方法及其距離估算裝置，及其機器可讀取媒體
JP6688277B2 (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
JP6935247B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN107564020B (zh) 一种图像区域确定方法及装置
JP2008046903A (ja) 対象個数検出装置および対象個数検出方法
CN112464829B (zh) 一种瞳孔定位方法、设备、存储介质及视线追踪系统
WO2021013049A1 (zh) 前景图像获取方法、前景图像获取装置和电子设备
CN111553947A (zh) 目标对象的定位方法、装置
EP4116929A1 (en) Information processing method, information processing system, and information processing device
JP2021516825A (ja) 群集推定手法の統合及び自動切り替えのための方法、システム及びプログラム
JP2018041406A (ja) 水面境界検出装置、水面境界検出方法及びコンピュータプログラム
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
WO2019078310A1 (ja) 顔三次元形状推定装置、顔三次元形状推定方法、及び、非一時的なコンピュータ可読媒体
JP2008236276A (ja) カメラ装置
JP2007122101A (ja) 画像処理装置及び画像処理方法
JP2007004721A (ja) 対象物検出装置、及び対象物検出方法
JP2018063675A (ja) 画像処理装置および制御方法
CN105913427A (zh) 一种基于机器学习的噪声图像显著性检测方法
JP2011090708A (ja) 対象個数検出装置および対象個数検出方法