TW202336705A - 圖像檢查裝置、機器學習裝置、圖像檢查方法、圖像檢查程式 - Google Patents

圖像檢查裝置、機器學習裝置、圖像檢查方法、圖像檢查程式 Download PDF

Info

Publication number
TW202336705A
TW202336705A TW112108028A TW112108028A TW202336705A TW 202336705 A TW202336705 A TW 202336705A TW 112108028 A TW112108028 A TW 112108028A TW 112108028 A TW112108028 A TW 112108028A TW 202336705 A TW202336705 A TW 202336705A
Authority
TW
Taiwan
Prior art keywords
inspection
image
lighting
unit
model
Prior art date
Application number
TW112108028A
Other languages
English (en)
Inventor
福井基文
Original Assignee
日商住友重機械工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商住友重機械工業股份有限公司 filed Critical 日商住友重機械工業股份有限公司
Publication of TW202336705A publication Critical patent/TW202336705A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

[課題]提供一種不依賴於照明條件就能夠適當地對檢查對象物進行圖像檢查之圖像檢查裝置等。 [解決手段]圖像檢查裝置(300)具備：檢查圖像取得部(310)，其取得拍攝了藉由照明裝置(301)被照明的檢查對象物之檢查圖像；照明條件估計部(320)，其根據檢查圖像，估計拍攝時的照明條件；圖像檢查模型選擇部(340)，其從分別與規定的複數個照明條件對應之複數個圖像檢查模型(332)中選擇與照明條件估計部(320)所估計的照明條件相符之圖像檢查模型(332)；及圖像檢查部(350)，其根據圖像檢查模型選擇部(340)所選擇的圖像檢查模型(332)，對檢查圖像進行檢查。

Description

圖像檢查裝置、機器學習裝置、圖像檢查方法、圖像檢查程式
本發明有關檢查對象物的圖像檢查裝置等。
已知有一種在對檢查對象物進行檢查時，利用拍攝了檢查對象物之檢查圖像之技術。例如，專利文獻1中揭示了一種將土木結構物作為檢查對象物，根據其檢查圖像檢查損傷之技術。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特開2016-21725號公報 [專利文獻2]日本特開平9-218935號公報 [專利文獻3]日本特開2007-72824號公報 [專利文獻4]日本特開2013-20530號公報 [專利文獻5]日本特開2020-77326號公報
[發明所欲解決之問題]
為了清楚地拍攝檢查對象物，有時會利用照明裝置，但根據照明條件，亦有可能反而導致難以視覺辨認損傷。
本發明鑑於該種情況而完成，其目的在於提供一種不依賴於照明條件就能夠適當地對檢查對象物進行圖像檢查之圖像檢查裝置等。 [解決問題之技術手段]
為了解決上述問題，本發明的一實施態樣的圖像檢查裝置具備：檢查圖像取得部，其取得拍攝了被照明的檢查對象物之檢查圖像；照明條件估計部，其根據檢查圖像，估計拍攝時的照明條件；圖像檢查模型選擇部，其從分別與規定的複數個照明條件對應之複數個圖像檢查模型中選擇與照明條件估計部所估計的照明條件相符之圖像檢查模型；及圖像檢查部，其根據圖像檢查模型選擇部所選擇的圖像檢查模型，對檢查圖像進行檢查。
在該實施態樣中，估計拍攝檢查圖像時的照明條件，並根據與其相符之圖像檢查模型對檢查圖像進行檢查，因此不依賴於拍攝時的照明條件就能夠適當地對檢查對象物進行圖像檢查。
本發明的另一實施態樣亦為圖像檢查裝置。該裝置具備：檢查圖像取得部，其取得拍攝了以不同照明條件被照明的檢查對象物之複數個檢查圖像；估計部，其針對所輸入的檢查圖像，輸出拍攝時的照明條件與規定的複數個照明條件各者相符之概率，同時根據輸出檢查對象物的損傷之估計模型，針對檢查圖像取得部所取得的複數個檢查圖像分別估計概率及損傷；及損傷檢測部，其將針對複數個檢查圖像的損傷的估計結果依循概率的估計結果進行綜合而檢測檢查對象物的損傷。
本發明的又一實施態樣為機器學習裝置。該裝置具備：機器學習部，其藉由訓練資料所致之機器學習，生成針對所輸入的檢查圖像輸出拍攝時的照明條件之照明條件估計模型，該訓練資料包括拍攝了藉由照明裝置被照明的檢查對象物之檢查圖像與該照明裝置的照明條件的組。
本發明的又一實施態樣為圖像檢查方法。該方法包括：檢查圖像取得步驟，取得拍攝了被照明的檢查對象物之檢查圖像；照明條件估計步驟，根據檢查圖像，估計拍攝時的照明條件；圖像檢查模型選擇步驟，從分別與規定的複數個照明條件對應之複數個圖像檢查模型中選擇與照明條件估計步驟中估計的照明條件相符之圖像檢查模型；及圖像檢查步驟，根據在圖像檢查模型選擇步驟中選擇的圖像檢查模型，對檢查圖像進行檢查。
再者，以上構成要素的任意組合、將該等表現轉換為方法、裝置、系統、記錄媒體、電腦程式等者亦包括在本發明中。 [發明之效果]
根據本發明，不依賴於照明條件就能夠適當地對檢查對象物進行圖像檢查。
以下，參照圖式對用於實施本發明的方式(以下，亦稱為實施方式)進行詳細說明。在說明及/或圖面中，對相同或相等的構成要素、構件、處理等標註相同的元件符號，並適當省略重複之說明。為了簡化說明，適當設定圖示之各部的縮尺或形狀，只要沒有特別提及，則不應做限定性解釋。實施方式為示例，並不對本發明的範圍做任何限定。實施方式中記載之所有特徵及該等的組合並不一定是本發明的本質。
本發明的圖像檢查裝置等能夠在任意檢查對象物的檢查中使用。因此，檢查對象物並沒有特別限定，在本實施方式中，以鍋爐的爐膛的水管壁、焦爐的爐壁作為檢查對象物之例子為中心進行說明。檢查對象物的其他例子將在後面進行說明。
圖1表示具備CFB(Circulating Fluidized Bed：循環流動床)鍋爐之發電設備的整體構成。再者，可以代替CFB鍋爐而將BFB(Bubbling Fluidized Bed：鼓泡流動床)鍋爐或旋轉窯等其他任意燃燒設備設置於發電設備。
CFB鍋爐具備：在矽砂等流體材料流動的爐膛11內供給煤等化石燃料等燃料而使其燃燒的燃燒部1、藉由在燃燒部1產生之熱而由水產生蒸汽之蒸汽產生部2、作為捕集流出至爐膛11外之流體材料並使其回到爐膛11內的循環部之流體材料循環部3、藉由燃燒部1的高溫排氣對供給至蒸汽產生部2之水及在蒸汽產生部2產生之蒸汽進行加熱之導熱部4、分離並捕集來自導熱部4的排氣中的煤煙或粉塵之排氣處理裝置5、將藉由排氣處理裝置5潔淨化之排氣釋放到大氣中之煙囪6。
燃燒部1具備作為燃燒室的爐膛11。爐膛11沿鉛直方向呈長筒狀，其底部為前端變細的形狀，以提高煤等固態燃料或流體材料的密度來實現有效的燃燒。爐膛11的底部的由「A」表示之區域表示由高密度的流體材料形成之流動床(亦稱為砂層)。在流動床A中，矽砂等粉末狀、粒子狀、塊狀的流體材料藉由從爐膛11的底部供給之流動流體而流動。投入到流動床A之煤等固態燃料藉由反覆接觸高溫流體材料以使其在流動床A內被攪拌而有效地燃燒。
在爐膛11的底部設置有作為由使氣體透過之多孔質材料構成之流體透過部的多孔板(亦稱為分散板)121。作為多孔板121的正下方空間的風箱122構成流動流體供給部，該流動流體供給部將透過第1流量控制閥71A從作為送風機的第1送風機71供給的流動流體透過多孔板121供給至爐膛11內。藉由風箱122供給至爐膛11的底部之氣體藉由使流體材料流動而形成流動床A的同時在流動床A或乾舷B中的燃料的燃燒中使用。
第1送風機71以外設置的第2送風機72將來自排氣處理裝置5之含二氧化碳排氣透過第2流量控制閥72A供給至乾舷B內，以促進乾舷B中燃料的燃燒而抑制因不完全燃燒而產生戴奧辛(dioxin)或一氧化碳等有害物質。如此，第1送風機71及第2送風機72使藉由爐膛11中的燃燒而產生之含二氧化碳排氣的至少一部分從排氣處理裝置5回流到爐膛11。
為了使流動床A中的流體材料循環，設置具有爐膛11外的循環路徑之外部循環機構13。外部循環機構13具備：與爐膛11的底部連通而能夠取出流動床A中流體材料的一部分之取出管131、對取出管131進行開閉控制而能夠調節流體材料的流量亦即基於取出管131之流體材料的取出量之開閉閥132、將利用取出管131取出的流體材料搬送至上方之箕式輸送機(bucket conveyor)等流體材料輸送機133、設置於與流動床A的上部對應之爐膛11的外周且接收藉由流體材料輸送機133搬送之流體材料之流體材料儲倉134、將貯存於流體材料儲倉134之流體材料再投入到爐膛11內之流體材料再投入部135。
在作為爐膛11的側壁之爐壁上設置有將燃料及其他材料供給至爐膛11內之材料供給部14、將用於形成流動床A的流體材料供給至爐膛11內之流體材料供給部15及啟動CFB鍋爐之啟動部16。材料供給部14具備儲存材料之漏斗狀料斗141、將從料斗141的底部排出之材料粉碎成粒狀之粉碎部142及將在粉碎部142中粉碎的材料供給至爐膛11內之送料器143。
材料供給部14將含有碳之含碳燃料供給至爐膛11內。含碳燃料並沒有特別限定，例如，可舉出無煙煤、煙煤、褐煤等各種煤、生物燃料、淤泥、廢材。該等含碳燃料在爐膛11中燃燒時產生二氧化碳。然而，生物燃料為二氧化碳淨排量少或零的碳中和燃料。材料供給部14中的粉碎部142將供給至爐膛11之前的材料粉碎成粒狀。將在粉碎部142中粉碎之必要量的粒狀材料藉由轉速可控的送料器143投入到爐膛11內。
供給用於形成流動床A的流體材料之流體材料供給部15具備儲存流體材料之漏斗狀流體材料料斗151、及將從流體材料料斗151的底部排出之流體材料供給至爐膛11內之流體材料送料器152。藉由控制流體材料送料器152的轉速，將必要量的流體材料投入到爐膛11內。
啟動CFB鍋爐之啟動部16具備啟動燃料儲存部161、啟動燃料控制閥162及啟動燃燒器163。啟動燃料儲存部161儲存作為含碳燃料的重油。啟動燃料控制閥162控制從啟動燃料儲存部161向啟動燃燒器163供給的重油量。具體而言，啟動燃料控制閥162在啟動CFB鍋爐時成為打開狀態，將儲存於啟動燃料儲存部161之重油供給至啟動燃燒器163。啟動燃燒器163利用因從啟動燃料控制閥162供給之重油的燃燒產生之火焰加熱流動床A內的流體材料。由於將啟動燃燒器163設置成向下方傾斜，因此由流體材料形成之流動床A的表面被直接加熱，流動床A及爐膛11內的溫度有效地得到提高。如此，啟動燃燒器163從上方加熱砂狀的流動床A，因此亦被稱為砂上燃燒器。
將充分提高了流動床A及爐膛11內的溫度之CFB鍋爐啟動之後，具體而言，從材料供給部14供給的燃料或材料在流動床A中變得可燃燒之後，啟動燃料控制閥162成為關閉狀態而停止向啟動燃燒器163供給重油。在之後的常規運轉狀態下，從材料供給部14供給的燃料在高溫爐膛11內燃燒。
以上，對CFB鍋爐的燃燒部1進行了詳細說明。接著，對CFB鍋爐的燃燒部1以外的構成進行說明。蒸汽產生部2具備：儲存蒸汽產生用水之汽鼓21、向汽鼓21供給水之給水管22、將汽鼓21內的水導入到高溫爐膛11內並加熱之水管23、將由水管23中被加熱的水產生之蒸汽作為CFB鍋爐的輸出而從汽鼓21排出之蒸汽管24。發電機25的蒸汽渦輪機藉由從蒸汽管24輸出的蒸汽而旋轉，藉此發電設備發電。給水管22藉由在燃燒部1的高溫排氣通過的導熱部4內蛇行，構成預熱給水之省煤器，蒸汽管24藉由在燃燒部1的高溫排氣通過的導熱部4內蛇行，構成使蒸汽過熱之過熱器。
流體材料循環部3具備從排出自爐膛11的上部之排氣分離並捕集粒狀流體材料之旋風器31、將被旋風器31捕集的流體材料送回爐膛11內之密封罐32。旋風器31為上部形成為大致圓筒狀且下部形成為大致圓錐狀之旋風式粉體分離器，產生沿內壁螺旋狀下降的氣流。來自爐膛11的排氣中包含的粒狀流體材料在沿氣流螺旋狀下降時藉由與旋風器31的內壁接觸並落下而被捕集。
設置於旋風器31的下方之密封罐32中填充有流體材料，防止未燃氣體等從爐膛11向旋風器31的逆流。填充於密封罐32之粒狀流體材料以藉由旋風器31新捕集的流體材料的重量被擠出的方式，逐漸返回爐膛11內。排氣處理裝置5分離並捕集來自導熱部4的排氣中的煤煙或粉塵。
圖2係表示構成作為檢查對象物的一例之CFB鍋爐或BFB鍋爐等的爐膛11的內壁之水管壁80之局部剖面立體圖。爐膛11的水管壁80由沿鉛直方向延伸的複數個管82和連結相鄰各管82之間的鰭片84構成。在各管82中流通水及其他液體、該等的蒸汽。由於水管壁80面向高溫爐膛11，因此有可能因熱而受到損傷。又，亦有可能因在爐膛11內燃燒的煤等燃料或灰等與水管壁80碰撞或附著於水管壁80而導致損傷。進而，亦有可能在高溫環境下成為高壓的管82內的水或水蒸汽從管82內損傷水管壁80。如下所述，根據本實施方式之圖像檢查裝置300，能夠有效地診斷水管壁80上的此類損傷。
作為拍攝爐膛11的水管壁80的檢查圖像之攝影裝置的攝影機30(圖2中未圖示)安裝於使攝影機30移動的移動體，例如，圖3所示之擠出裝置200之類的滑動機構、可以沿水管壁80移動的無人機、機器人、升降機等。攝影機30與移動體一同在爐膛11內沿水管壁80移動的同時，連續拍攝爐壁91。攝影機30可以為連續拍攝靜止圖像之靜態攝影機，亦可以為拍攝動畫之視訊攝影機。
圖3係示意地表示使用本實施方式的圖像檢查裝置之爐內觀察裝置之側視圖。該爐內觀察裝置用於觀察焦爐的碳化室(以下，亦簡稱為焦爐)的內部。圖4係示意地表示焦爐的內部之圖。
焦爐90為一對磚製爐壁91彼此對向設置之狹窄的爐。各爐壁91從焦爐90的一側的爐入口92延伸至另一側的爐出口93，其全長例如達到十幾米。相對向之爐壁91的間隔例如為數十厘米。焦爐90的底95到頂94為止的高度例如為數米。
圖3所示之擠出裝置200在焦爐90內反覆進行往復移動。在往程中，擠出裝置200從爐入口92插入到焦爐90內，向爐出口93擠出藉由焦爐90內的乾餾產生的焦炭C。在返程中，擠出裝置200在焦爐90內從爐出口93返回到爐入口92。擠出裝置200具備壓板210和推桿220，推桿220將壓板210連接到未圖示的驅動裝置。藉由該驅動裝置，壓板210能夠在焦爐90的爐入口92與爐出口93之間移動。壓板210具有與焦爐90大致相同的截面形狀，因此藉由壓板210的移動，將焦炭C朝向爐出口93擠出。
作為拍攝檢查圖像之攝影裝置的攝影機30安裝於作為使攝影機30移動之移動體的擠出裝置200，在焦爐90內與擠出裝置200一同在爐入口92與爐出口93之間移動的同時連續拍攝爐壁91。攝影機30可以為連續拍攝靜止圖像之靜態攝影機，亦可以為拍攝動畫之視訊攝影機。攝影機30安裝於壓板210的背面(圖3中右側的面)或安裝於在壓板210的後方設置之未圖示的支撐台。又，照射作為檢查對象物的爐壁91之一個或複數個照明裝置可以設置於作為攝影裝置的攝影機30自身、作為支撐攝影機30之支撐構件的支撐台、作為使攝影機30移動之移動體的擠出裝置200、作為可移動地收納攝影機30之收納空間的焦爐90等。
攝影機30可以包括各自朝向左右爐壁91安裝之2個攝影機，並拍攝左右兩側的爐壁91的前視圖像。為了拍攝左右爐壁91整體，2個攝影機可以沿上下方向改變角度的同時進行攝影。再者，攝影機30安裝成朝向與基於擠出裝置200之焦炭C的擠出方向相反的方向(圖3的右方向)，以使壓板210或焦炭C不阻礙視野。此時的攝影機30與爐入口92正對設置，能夠將左右兩側的爐壁91拍攝為立體圖像。作為用於保護攝影機30免受焦爐90內的高溫環境(例如1000℃以上)的熱對策，例如可以將攝影機30收納於耐熱套或冷卻箱內。
圖5係第1實施方式之圖像檢查裝置300的功能方塊圖。圖像檢查裝置300具備檢查圖像取得部310、照明條件估計部320、機器學習部330、圖像檢查模型選擇部340、圖像檢查部350。該等功能方塊藉由電腦的中央演算處理裝置、記憶體、輸入裝置、輸出裝置、與電腦連接的周邊機器等硬體資源和利用該等執行的軟體之協作來實現。無關於電腦的種類和設置場所，上述各功能方塊可以藉由單個電腦硬體資源實現，亦可以將分散於複數個電腦之硬體資源組合來實現。
攝影機30及檢查圖像儲存部302構成圖像輸入部，該圖像輸入部將拍攝了作為檢查對象物的被檢查面的爐膛11的水管壁80和焦爐的爐壁91之檢查圖像輸入到圖像檢查裝置300。顯示裝置40顯示出圖像檢查裝置300的處理內容等。操作部50由與顯示裝置40一體的觸控面板或與顯示裝置40分體的鍵盤或滑鼠等輸入裝置構成，根據使用者的操作生成針對圖像檢查裝置300的各種控制資訊。可以將程式設計成電腦自主進行基於操作部50之操作的一部分或全部。
檢查圖像儲存部302保存攝影機30所拍攝的水管壁80和爐壁91的檢查圖像群。檢查圖像儲存部302可以為攝影機30的內設記憶體，亦可以為記憶卡等通用可移除式媒體。又，亦可以為能夠利用有線或無線與攝影機30通訊的鍋爐外部或焦爐90外部的儲存器。圖像檢查裝置300對保存於檢查圖像儲存部302之檢查圖像群執行後述各處理。其中，在攝影機30與圖像檢查裝置300能夠利用有線或無線通訊且圖像檢查裝置300能夠即時取得並處理攝影機30所拍攝的檢查圖像時，並不一定需要將全部檢查圖像保存於檢查圖像儲存部302，可以不設置檢查圖像儲存部302或將檢查圖像儲存部302設定為小容量。
由攝影機30拍攝之檢查對象物被照明裝置301照射時，照明裝置301的照明參數，例如光束(流明：lumen)、光度(燭光：candela)、照度(勒克斯：lux)、亮度(每一光源面積的光度)、顏色(色相、彩度、明度)、照明範圍、照明角度等可以作為檢查圖像資料的元資料而與檢查圖像資料一同儲存於檢查圖像儲存部302。照明裝置301可以設置於作為攝影裝置的攝影機30自身，可以設置於支撐攝影機30之支撐構件，可以設置於使攝影機30移動之移動體(圖3中的擠出裝置200、無人機、機器人、升降機等)，可以設置於攝影機30的周圍空間(圖1中的爐膛11、圖3中的焦爐90、建築物或房屋的頂部、內部、外部、內壁、外壁等)。又，檢查對象物不限於由照明裝置301照射，亦可以被太陽光等自然光照射。
檢查圖像取得部310從攝影機30或檢查圖像儲存部302取得拍攝了由照明裝置301或自然光等照射的檢查對象物之檢查圖像。其中，檢查圖像取得部310從檢查圖像儲存部302取得檢查圖像時，使用者能夠藉由操作部50指定應取得之檢查圖像的拍攝日期時間、拍攝位置、拍攝時的照明裝置301的照明參數。此時，檢查圖像取得部310在檢查圖像儲存部302中檢索符合由檢查圖像指定部50指定的條件之檢查圖像，將選中的一個或複數個檢查圖像資料與部分或全部元資料一同從檢查圖像儲存部302取得。
照明條件估計部320根據針對所輸入的檢查圖像輸出拍攝時的照明條件之照明條件估計模型331，針對檢查圖像取得部310所取得的檢查圖像，估計拍攝時的照明條件。圖像檢查模型選擇部340從分別與規定的複數個照明條件對應之複數個圖像檢查模型332中選擇與照明條件估計部320所估計的照明條件相符之圖像檢查模型。圖像檢查模型332例如為在檢查圖像取得部310所取得的檢查圖像中檢測檢查對象物的損傷之損傷檢測模型。圖6示意地表示照明條件估計部320及圖像檢查模型選擇部340中的處理。再者，在本圖及後續圖中，為了便於說明，作為檢查圖像的例子示意地示出焦爐90的爐壁91的圖像，關於該等的說明同樣能夠應用於其他檢查對象物，尤其是鍋爐的爐膛11中的水管壁80的圖像檢查。
照明條件估計部320或照明條件估計模型331將由檢查圖像取得部310提供的檢查圖像資料42和可利用時將照明裝置301的照明參數41(檢查圖像資料42的元資料)作為輸入，估計拍攝該檢查圖像資料42時的照明條件。在圖示例中，作為照明條件估計部320或照明條件估計模型331的輸出的照明條件被分類為複數個照明種類I 1～I 6。各照明種類I 1～I 6為將出現於檢查圖像資料42中的照明的影響進行類型化而得者。照明種類例如可以為將光束、光度、照度、亮度、顏色、照明範圍、照明角度等照明參數藉由聚類(clustering)等方法進行分類而得者。
通常，各照明種類I 1～I 6與照明裝置301的照明參數41具有相関性，但即使在照明參數41相同的情況下，出現於檢查圖像資料42中的照明的影響會根據檢查對象物的結構或光學特性、照明裝置301以外的自然光或外部光的影響而不同。因此，照明裝置301的照明參數41在估計照明條件(各照明種類I 1～I 6)方面上為有效資訊，但並不是唯一能夠確定照明條件的絕對資料。因此，重要的是構建一種用於高精度地估計照明條件的照明條件估計模型331，其不依賴於是否能夠利用照明裝置301的照明參數41。
照明條件估計部320或照明條件估計模型331輸出由檢查圖像取得部310提供的檢查圖像資料42的拍攝時的照明條件分別與複數個照明種類I 1～I 6對應之概率p 1～p 6。圖像檢查模型選擇部340從分別與複數個照明種類I 1～I 6對應之複數個圖像檢查模型M 1～M 6中選擇與照明條件估計部320所估計的照明條件相符之一個或複數個圖像檢查模型。
圖像檢查模型選擇部340選擇一個圖像檢查模型時，選擇與照明條件估計部320所輸出的概率p 1～p 6最大的照明種類I 1～I 6對應之圖像檢查模型M 1～M 6。以下，對以p 1+p 2+p 3+p 4+p 5+p 6=1之方式進行歸一化的概率向量P為P=(p 1，p 2，p 3，p 4，p 5，p 6)=(0.4，0，0，0.3，0.2，0.1)的例子進行說明。此時，選擇一個圖像檢查模型之圖像檢查模型選擇部340選擇與照明條件估計部320所輸出的最大的概率p 1(0.4)的照明種類I 1對應之圖像檢查模型M 1。圖像檢查部350(圖5)根據圖像檢查模型選擇部340所選擇的圖像檢查模型M 1，對檢查圖像資料42進行檢查。例如，圖像檢查部350根據圖像檢查模型M 1，在檢查圖像資料42中檢測檢查對象物的損傷。
圖像檢查模型選擇部340可以選擇複數個圖像檢查模型。例如，圖像檢查模型選擇部340選擇與照明條件估計部320所輸出的概率p 1～p 6為規定值以上的照明種類I 1～I 6相符之圖像檢查模型M 1～M 6。在P=(p 1，p 2，p 3，p 4，p 5，p 6)=(0.4，0，0，0.3，0.2，0.1)的例子中，將相對於概率的規定值例如設定為「0.25」。此時，圖像檢查模型選擇部340選擇與照明條件估計部320所輸出的概率p 1～p 6為「0.25」以上的複數個照明種類I 1(p 1=0.4)、I 4(p 4=0.3)相符之複數個圖像檢查模型M 1、M 4。圖像檢查部350(圖5)根據所對應的概率p 1(0.4)、p 4(0.3)，對根據圖像檢查模型選擇部340所選擇的複數個圖像檢查模型M 1、M 4獲得之檢查結果或損傷檢測結果J 1、J 4進行加權。例如，使用歸一化因子p 0=p 1+p 4(0.7)，J=(p 1J 1+p 4J 4)/p 0成為最終的檢查結果或損傷檢測結果。再者，亦可以提取照明條件估計部320所輸出的概率p 1～p 6為規定值以上的照明種類I 1～I 6(在上述例子中為I 1、I 4)之後，將概率p 1(0.4)、p 4(0.3)設定為同一值(例如為兩者的平均「0.35」)來演算最終的檢查結果或損傷檢測結果J。
根據本實施方式，由照明條件估計部320估計拍攝檢查圖像資料42時的照明條件(照明種類I 1～I 6)，圖像檢查部350根據與其相符之圖像檢查模型M 1～M 6對檢查圖像進行檢查，因此不依賴於拍攝檢查圖像資料42時的照明條件就能夠適當地對檢查對象物進行圖像檢查。
照明條件估計模型331及/或圖像檢查模型332由構成機器學習裝置之機器學習部330生成。機器學習部330較佳為藉由基於包羅性訓練資料之類神經網路等中的機器學習，生成針對所輸入的檢查圖像資料42輸出拍攝時的照明條件(照明種類I 1～I 6)的概率p 1～p 6等之照明條件估計模型331，該訓練資料包括拍攝了由照明參數41已知的照明裝置301照射的檢查對象物之檢查圖像資料42與對該檢查圖像資料42人為或藉由標籤工具或註解工具賦予(被貼上標籤)之照明條件(照明種類I 1～I 6)的複數個組。
機器學習部330藉由基於包羅性訓練資料之類神經網路等中的機器學習，生成針對由照明條件估計部320分類為照明種類I 1～I 6之檢查圖像資料42輸出檢查對象物的檢查結果或損傷檢測結果J 1～J 6之圖像檢查模型M 1～M 6，該訓練資料包括以對應於各照明種類I 1～I 6之照明條件拍攝的各檢查圖像資料42與針對該各檢查圖像資料42人為或藉由標籤工具或註解工具賦予(被貼上標籤)之檢查結果或損傷檢測結果J 1～J 6的複數個組。具體而言，設定為k=1～6，藉由基於包羅性訓練資料之機器學習，由機器學習部330生成針對由照明條件估計部320分類為第k照明種類I k之檢查圖像資料42輸出檢查對象物的第k檢查結果或第k損傷檢測結果J k之第k圖像檢查模型M k，該訓練資料包括以對應於第k照明種類I k之照明條件拍攝的檢查圖像資料42與對該各檢查圖像資料42貼上標籤之第k檢查結果或第k損傷檢測結果J k的複數個組。
機器學習部330用於生成照明條件估計模型331的訓練資料可以包括照明裝置301的已知的照明參數41、或針對檢查圖像資料42人為或藉由標籤工具或註解工具賦予(被貼上標籤)之檢查對象物的檢查結果或損傷檢測結果J(相當於上述J 1、J 4等)藉由將該等各種可利用的資料作為訓練資料之協同訓練(Co-Training)，能夠提高基於照明條件估計模型331之照明條件的估計精度，甚至能夠提高基於圖像檢查部350之損傷等的檢測精度。藉由該協同訓練，將檢查圖像資料42作為輸入，能夠生成同時輸出照明條件(照明種類I 1～I 6)及損傷檢測結果J之估計模型331。關於細節，將在圖9中進行說明。
再者，將檢查對象物的檢查結果J作為訓練資料而進行了協同訓練之照明條件估計模型331或照明條件估計部320將檢查圖像資料42作為輸入，亦能夠輸出檢查結果J(圖6中未圖示，參照圖9)。因此，照明條件估計模型331或照明條件估計部320亦能夠作為圖像檢查部350發揮功能。因此，亦能夠僅由檢查圖像取得部310、照明條件估計部320、機器學習部330(照明條件估計模型331)構成圖像檢查裝置300，而不設置圖像檢查模型332、圖像檢查模型選擇部340、圖像檢查部350。再者，在後述第2實施方式(圖9)中，對利用照明條件估計模型331所輸出的檢查結果J之其他圖像檢查方法或損傷檢測方法進行說明。
圖7表示顯示裝置40的畫面例。在左上方示出作為檢查對象的檢查圖像資料42。在其下方的附帶資訊顯示區域44中，示出檢查圖像資料42所附帶的各種元資料，具體而言為拍攝日期時間、拍攝位置等。再者，藉由操作部50按下向前按鈕55時，檢查圖像資料42切換成上一個圖像，藉由操作部50按下向後按鈕56時，檢查圖像資料42切換成下一個圖像。
在類似照明條件圖像顯示區域45中，照明條件與檢查圖像資料42類似的其他圖像自動或藉由操作部50按下執行按鈕52來顯示。具體而言，針對檢查圖像資料42，照明條件估計部320所估計的照明種類I 1～I 6及/或概率p 1～p 6類似的一個或複數個圖像顯示於類似照明條件圖像顯示區域45。再者，在圖7中，為了便於說明，將類似照明條件圖像顯示區域45的圖像設定為拍攝了與檢查圖像資料42相同的檢查對象物的同一部位而得者，但顯示於類似照明條件圖像顯示區域45的圖像可以為拍攝了與檢查圖像資料42不同的檢查對象物及/或不同的部位而得者。藉由在畫面上對比該等照明條件類似的圖像群，能夠一目了然地判斷照明條件估計部320針對檢查圖像資料42的照明條件的估計結果是否合適。
在圖像檢查模型權重區域51中，基於圖像檢查模型選擇部340之圖像檢查模型M 1～M 6的選擇結果根據對應權重顯示。在圖示例中，由照明條件估計部320輸出的概率向量P=(p 1，p 2，p 3，p 4，p 5，p 6)=(0.4，0，0，0.3，0.2，0.1)的各要素直接作為權重而由圖像檢查模型權重區域51採用。在該狀態下，藉由操作部50按下執行按鈕52時，將各圖像檢查模型M 1～M 6根據在圖像檢查模型權重區域51中設定的權重(p 1，p 2，p 3，p 4，p 5，p 6)應用於檢查圖像資料42而可獲得檢查對象物的檢查結果或損傷檢測結果43。其中，若將各圖像檢查模型M 1～M 6應用於檢查圖像資料42而獲得之檢查結果或損傷檢測結果設定為J 1～J 6，則作為損傷檢測結果43的J表示為Σ kp kJ k。
損傷檢測結果43中的431～433示意地表示作為檢查對象物的焦爐90的爐壁91的損傷。具體而言，爐壁91的裂痕或孔、因驟熱或驟冷導致的畸變而破壞爐壁91的剝落、來自焦炭原料的煤之碳向爐壁91的附著、構成爐壁91之磚的接縫劣化等相當於損傷431～433。又，關於作為檢查對象物的被檢查面之鍋爐的爐膛11中的水管壁80上產生之損傷、缺陷、異常，如上所述，可例示由高溫爐膛11的熱導致的損傷、由爐膛11內燃燒的煤等燃料或灰等碰撞或附著導致的損傷、由在高溫環境下成為高壓的水或水蒸汽導致的來自管82內的損傷。再者，在無法獲得所希望的損傷檢測結果43等時，藉由操作部50變更圖像檢查模型權重區域51中的各權重(p 1，p 2，p 3，p 4，p 5，p 6)。如此，圖像檢查裝置300的使用者能夠在畫面上確認損傷檢測結果43的同時，使圖像檢查模型權重區域51中的各權重(p 1，p 2，p 3，p 4，p 5，p 6)最佳化。該最佳化內容對於照明條件估計模型331來說會成為極其有益的訓練資料，因此回饋到機器學習部330而用於照明條件估計模型331的更新。
藉由操作部50按下設置於圖7的畫面右下方之圖像保存按鈕53時，在畫面上生成的損傷檢測結果43與圖像檢查模型權重區域51中的各權重(p 1，p 2，p 3，p 4，p 5，p 6)一同儲存於檢查圖像儲存部302及其他資料庫。又，藉由操作部50按下修補旗標54時，針對損傷檢測結果43中被檢測的損傷431～433，記錄需要早期修補的觀察結果的同時，告知負責修補的部門或人員。
圖8係第2實施方式之圖像檢查裝置300的功能方塊圖。對與第1實施方式相同的構成要素標註相同的元件符號，並適當省略重複之說明。圖像檢查裝置300具備檢查圖像取得部310、與第1實施方式中的照明條件估計部320類似的估計部320、機器學習部330、圖像檢查部350。
檢查圖像取得部310從攝影機30或檢查圖像儲存部302取得拍攝了以不同照明條件照射的檢查對象物之複數個檢查圖像。其中，能夠藉由變更照明裝置301的照明參數41(圖9)來實現不同的照明條件。照明參數41的變更實施態樣可以具有規則，亦可以無規則。又，照明參數41可以在每次變更時儲存於檢查圖像儲存部302，亦可以完全不進行保存或記錄。
如圖9所示，估計部320針對所輸入的檢查圖像，輸出拍攝時的照明條件(照明參數41等)分別與複數個照明種類I 1～I 6相符之概率p 1～p 6的同時，根據輸出檢查對象物的損傷檢測結果J之估計模型331，針對檢查圖像取得部310所取得的複數個檢查圖像資料42分別估計概率p 1～p 6及損傷(檢測結果)J。作為估計模型331，能夠使用圖6的第1實施方式中的照明條件估計模型331。
損傷檢測部150(圖8)將針對以不同照明條件拍攝之複數個檢查圖像資料42的損傷的估計結果J根據概率p 1～p 6的估計結果進行綜合而檢測檢查對象物的損傷。具體而言，例如，針對每個檢查圖像資料42估計之概率p 1～p 6的最大值為規定值(例如「75%」)以上時，能夠充分信賴該檢查圖像資料42的照明條件的估計結果。因此，亦能夠充分信賴與該概率p 1～p 6同時獲得之損傷的估計結果J。如此，在以不同照明條件拍攝的複數個檢查圖像資料42中，僅提取能夠充分信賴照明條件的估計結果p 1～p 6及損傷的估計結果J者。然後，藉由對所提取的估計結果J進行例如平均，可獲得高精度的損傷的估計結果J。該方法例如亦能夠應用於隨機變更照明裝置301的照明參數41的同時連續拍攝的檢查圖像資料42群，因此成為不依賴於照明條件之穩健的(robust)損傷檢測方法。
以上，根據實施方式，對本發明進行了說明。本領域技術人員應理解實施方式為示例，該等的各構成要素、各處理程序的組合可具有各種變形例，並且此類變形例亦在本發明的範圍內。
在上述實施方式中，作為圖像檢查裝置300的檢查對象物，例示了鍋爐和焦爐90，但檢查對象物並不限定於此。例如，檢查對象物可以為施工設備等各種產業機械(包括鍋爐和焦爐)、橋樑等社會基礎設施、環保設備或水處理施設等各種產業結構物、或其他產業設備，被檢查面可以為此類產業設備的內部或外部的被檢查面。又，拍攝該等被檢查面的圖像群之攝影機能夠安裝於沿被檢查面可移動的任意構成的移動體。例如，攝影機亦可以安裝於所謂的無人機等飛行物體。
再者，實施方式中說明的各裝置的功能構成能夠藉由硬體資源或軟體資源、或者硬體資源與軟體資源的協作來實現。作為硬體資源，能夠利用處理器、ROM、RAM、其他LSI。作為軟體資源，能夠利用操作系統、應用程式等程式。 本申請案係主張基於2022年03月10日申請之日本專利申請第2022-037017號的優先權。該日本申請案的全部內容係藉由參閱而援用於本說明書中。
11:爐膛 30:攝影機 40:顯示裝置 41:照明參數 42:檢查圖像資料 43:損傷檢測結果 45:類似照明條件圖像顯示區域 50:操作部 51:圖像檢查模型權重區域 80:水管壁 90:焦爐 91:爐壁 300:圖像檢查裝置 301:照明裝置 302:檢查圖像儲存部 310:檢查圖像取得部 320:照明條件估計部 330:機器學習部 331:照明條件估計模型 332:圖像檢查模型 340:圖像檢查模型選擇部 350:圖像檢查部
[圖1]表示具備CFB鍋爐之發電設備的整體構成。 [圖2]係表示鍋爐的爐膛中的水管壁之局部剖面立體圖。 [圖3]係示意地表示焦爐的爐內觀察裝置之側視圖。 [圖4]係示意地表示焦爐的內部之圖。 [圖5]係第1實施方式之圖像檢查裝置的功能方塊圖。 [圖6]示意地表示照明條件估計部及圖像檢查模型選擇部中的處理。 [圖7]表示顯示裝置的畫面例。 [圖8]係第2實施方式之圖像檢查裝置的功能方塊圖。 [圖9]示意地表示估計部中的處理。
30:攝影機
40:顯示裝置
50:操作部
300:圖像檢查裝置
301:照明裝置
302:檢查圖像儲存部
310:檢查圖像取得部
320:照明條件估計部
330:機器學習部
331:照明條件估計模型
332:圖像檢查模型
340:圖像檢查模型選擇部
350:圖像檢查部

Claims (9)

  1. 一種圖像檢查裝置，其係具備： 檢查圖像取得部，其取得拍攝了被照明的檢查對象物之檢查圖像； 照明條件估計部，其根據前述檢查圖像，估計拍攝時的照明條件； 圖像檢查模型選擇部，其從分別與規定的複數個照明條件對應之複數個圖像檢查模型中選擇與前述照明條件估計部所估計的照明條件相符之圖像檢查模型；及 圖像檢查部，其根據前述圖像檢查模型選擇部所選擇的圖像檢查模型，對前述檢查圖像進行檢查。
  2. 如請求項1所述之圖像檢查裝置，其中 前述照明條件估計部根據針對所輸入的檢查圖像輸出拍攝時的照明條件之照明條件估計模型，針對前述檢查圖像取得部所取得的檢查圖像，估計拍攝時的照明條件。
  3. 如請求項1或請求項2所述之圖像檢查裝置，其中 前述圖像檢查模型為在前述檢查圖像中檢測前述檢查對象物的損傷之損傷檢測模型。
  4. 如請求項1或請求項2所述之圖像檢查裝置，其中 前述照明條件估計部輸出前述檢查圖像的拍攝時的照明條件與前述規定的複數個照明條件各者相符之概率， 前述圖像檢查模型選擇部選擇與前述照明條件估計部所輸出的概率為規定值以上的照明條件相符之圖像檢查模型， 前述圖像檢查部根據所因應的前述概率，對根據前述圖像檢查模型選擇部所選擇的圖像檢查模型之檢查結果進行加權。
  5. 一種圖像檢查裝置，其係具備： 檢查圖像取得部，其取得拍攝了以不同照明條件被照明的檢查對象物之複數個檢查圖像； 估計部，其針對所輸入的檢查圖像，輸出拍攝時的照明條件與規定的複數個照明條件各者相符之概率，同時根據輸出檢查對象物的損傷之估計模型，針對前述檢查圖像取得部所取得的複數個檢查圖像分別估計前述概率及前述損傷；及 損傷檢測部，其將針對前述複數個檢查圖像的前述損傷的估計結果依循前述概率的估計結果進行綜合而檢測前述檢查對象物的損傷。
  6. 一種機器學習裝置，其係具備： 機器學習部，其藉由訓練資料所致之機器學習，生成針對所輸入的檢查圖像輸出拍攝時的照明條件之照明條件估計模型，前述訓練資料包括拍攝了藉由照明裝置被照明的檢查對象物之檢查圖像與該照明裝置的照明條件的組。
  7. 如請求項6所述之機器學習裝置，其中 前述機器學習部藉由訓練資料所致之機器學習，生成針對所輸入的檢查圖像輸出拍攝時的照明條件及前述檢查對象物的損傷之前述照明條件估計模型，前述訓練資料包括前述檢查圖像、前述照明條件、該檢查圖像中的前述檢查對象物的損傷的組。
  8. 一種圖像檢查方法，其係包括： 檢查圖像取得步驟，取得拍攝了被照射的檢查對象物之檢查圖像； 照明條件估計步驟，根據前述檢查圖像，估計拍攝時的照明條件； 圖像檢查模型選擇步驟，從分別與規定的複數個照明條件對應之複數個圖像檢查模型中選擇與前述照明條件估計步驟中估計的照明條件相符之圖像檢查模型；及 圖像檢查步驟，根據前述圖像檢查模型選擇步驟中選擇的圖像檢查模型，對前述檢查圖像進行檢查。
  9. 一種圖像檢查程式，其使電腦執行如下步驟： 檢查圖像取得步驟，取得拍攝了被照明的檢查對象物之檢查圖像； 照明條件估計步驟，根據前述檢查圖像，估計拍攝時的照明條件； 圖像檢查模型選擇步驟，從分別與規定的複數個照明條件對應之複數個圖像檢查模型中選擇與前述照明條件估計步驟中估計的照明條件相符之圖像檢查模型；及 圖像檢查步驟，根據前述圖像檢查模型選擇步驟中選擇的圖像檢查模型，對前述檢查圖像進行檢查。
TW112108028A 2022-03-10 2023-03-06 圖像檢查裝置、機器學習裝置、圖像檢查方法、圖像檢查程式 TW202336705A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-037017 2022-03-10
JP2022037017 2022-03-10

Publications (1)

Publication Number Publication Date
TW202336705A true TW202336705A (zh) 2023-09-16

Family

ID=87936782

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112108028A TW202336705A (zh) 2022-03-10 2023-03-06 圖像檢查裝置、機器學習裝置、圖像檢查方法、圖像檢查程式

Country Status (2)

Country Link
TW (1) TW202336705A (zh)
WO (1) WO2023171293A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10991096B2 (en) * 2014-05-12 2021-04-27 Healthy.Io Ltd. Utilizing personal communications devices for medical testing
JP2020148643A (ja) * 2019-03-14 2020-09-17 セイコーエプソン株式会社 検査装置、検査方法、及びプログラム
US10692277B1 (en) * 2019-03-21 2020-06-23 Adobe Inc. Dynamically estimating lighting parameters for positions within augmented-reality scenes using a neural network
JP6896036B2 (ja) * 2019-09-30 2021-06-30 キヤノン株式会社 情報処理装置、判定方法、インプリント装置、リソグラフィシステム、物品の製造方法及びプログラム
JP2023153431A (ja) * 2020-08-27 2023-10-18 マクセルフロンティア株式会社 画像処理装置、検査システムおよび検査方法

Also Published As

Publication number Publication date
WO2023171293A1 (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
WO2019073852A1 (ja) 炉内状態量推定装置、推定モデル作成装置、それらのプログラムおよび方法
JP2022092448A (ja) 学習済モデル生成装置、学習済モデル生成プログラム、炉内温度予測装置、炉内温度予測プログラム、学習済モデル、および焼却システム
JP7308016B2 (ja) ごみ質推定システム及び方法、並びに、ごみ貯蔵設備
WO2023037742A1 (ja) 焼却炉設備の制御装置
JP7051792B2 (ja) 燃焼設備の状態特定装置、状態特定方法およびプログラム
CA2863911C (en) A method for controlling a combustion and/or gasification device
JP6718911B2 (ja) モデル作成方法、プラントの運転支援方法及びモデル作成装置
TW202336705A (zh) 圖像檢查裝置、機器學習裝置、圖像檢查方法、圖像檢查程式
JP7193231B2 (ja) ストーカ炉の燃焼制御装置及び方法、並びに、燃料移動量の検出装置及び方法
JP2022161065A (ja) ごみ質予測装置、焼却炉の燃焼制御装置、ごみ質予測方法、ごみ質予測モデルの学習方法およびごみ質予測モデルプログラム
JP6782203B2 (ja) 発熱量推定方法、発熱量推定装置、及びごみ貯蔵設備
TW202336704A (zh) 圖像檢查裝置、機器學習裝置、圖像檢查方法、圖像檢查程式
CN118159776A (zh) 控制装置
CN115143479A (zh) 燃烧炉设备的控制装置
CN111753691B (zh) 一种检测及控制气化炉的方法、设备及系统
RU38041U1 (ru) Котлоагрегат для сжигания угля в кипящем слое
JP2005090774A (ja) ゴミ焼却炉のゴミ供給量推定装置
JP7445058B1 (ja) 燃焼設備用システムおよび燃焼制御方法
JP7180093B2 (ja) 炉内監視装置及び炉内監視方法
TWI850785B (zh) 控制裝置
JP2021103063A (ja) ごみ焼却炉のごみ層厚評価方法及びごみ焼却炉の燃焼制御方法
JP2024092588A (ja) 構造物判定装置、構造物判定方法、構造物判定プログラム、飛行撮影システム
JP7507931B1 (ja) 燃焼設備用システム、および情報処理方法
JP4187604B2 (ja) 被燃焼物における放射エネルギーの計測方法および計測装置
JP7428080B2 (ja) 情報処理装置、情報処理方法、燃焼制御装置、および燃焼制御方法