TW202248899A - 檢查支援裝置、檢查支援系統、檢查支援方法及記錄媒體 - Google Patents

檢查支援裝置、檢查支援系統、檢查支援方法及記錄媒體 Download PDF

Info

Publication number
TW202248899A
TW202248899A TW111120467A TW111120467A TW202248899A TW 202248899 A TW202248899 A TW 202248899A TW 111120467 A TW111120467 A TW 111120467A TW 111120467 A TW111120467 A TW 111120467A TW 202248899 A TW202248899 A TW 202248899A
Authority
TW
Taiwan
Prior art keywords
image data
unit
aforementioned
object detection
inspection
Prior art date
Application number
TW111120467A
Other languages
English (en)
Other versions
TWI857303B (zh
Inventor
小池治憲
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW202248899A publication Critical patent/TW202248899A/zh
Application granted granted Critical
Publication of TWI857303B publication Critical patent/TWI857303B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

檢查支援裝置(4)具備：取得圖像資料之接收發送部(41)，該圖像資料為藉由搭載於可在發電機的內部移行的檢查機器人(1)之攝影機(11)所攝得的圖像的資料；等級分類部(43)，係使用屬於學習完成模型之分類模型及所取得的圖像資料而判定與圖像資料對應的等級，其中，該分類模型係用來從圖像資料判定表示異常的程度之等級；物體檢測部(44)，係使用屬於學習完成模型之物體檢測模型及所取得的圖像資料而判定圖像中的異物為什麼物體，其中，該物體檢測模型係用來從圖像資料識別發電機中的異物；結果統合部(45)，係利用等級分類部(43)的判定結果及物體檢測部(44)的判定結果，從所取得的圖像資料選出作為要提示給檢查作業者之確認對象圖像資料；以及結果提示部(46)，係將確認對象圖像資料及判定結果提示給檢查作業者。

Description

檢查支援裝置、檢查支援系統、檢查支援方法及記錄媒體
本揭示係關於支援發電機的檢查之檢查支援裝置、檢查支援系統、檢查支援方法及記錄媒體。
發電機要定期地進行檢查，但為了進行精密的檢查而進行轉子的拔出等就會因為檢查而使發電機長時間停止。因此，近年來，係使用在發電機的定子與轉子之間等的隙間移行的檢查機器人(inspection robot)而進行檢查。專利文獻1揭示一種搭載有攝影機等的感測器而移行之發電機檢查用機器人。使用專利文獻1揭示的發電機檢查用機器人，檢查作業者只要查看發電機檢查用機器人所取得的攝影圖像、感測器值，藉此無須轉子的拔出等就可進行發電機的檢查。 [先前技術文獻] [專利文獻]
[專利文獻1] 日本特開2018-118733號公報
[發明所欲解決之課題]
另一方面，使用發電機檢查用機器人進行檢查之際，檢查作業者係以目視方式查看藉由發電機檢查用機器人的移動而得到的動態影像形式的圖像。在就算是使用發電機檢查用機器人的情況，為了發電機的檢查也要幾天的時間，造成檢查作業者很大的負擔。因此，希望能夠減輕檢查作業者的作業負擔。
本揭示係有鑑於上述課題而完成者，其目的在得到能夠減輕在發電機的檢查中的檢查作業者的作業負擔之檢查支援裝置。 [解決課題之手段]
為了解決上述的課題，達成上述目的，本揭示之檢查支援裝置係具備：取得圖像資料之取得部，該圖像資料為藉由搭載於可在發電機的內部移行的檢查機器人之攝影機所攝得的圖像的資料；以及等級分類部，係使用屬於學習完成模型(trained model)之分類模型及取得部所取得的圖像資料而判定與取得部所取得的圖像資料對應的等級，其中，該分類模型係用來從圖像資料判定表示發電機的異常的程度之等級。檢查支援裝置更具備：物體檢測部，係使用屬於學習完成模型之物體檢測模型及取得部所取得的圖像資料而判定與取得部所取得的圖像資料對應的圖像中的異物為什麼物體，其中，該物體檢測模型係用來從圖像資料識別發電機中的異物；結果統合部，係利用等級分類部的判定結果及物體檢測部的判定結果，從取得部所取得的圖像資料選出作為要提示給檢查作業者的圖像資料之確認對象圖像資料；以及結果提示部，係將確認對象圖像資料、等級分類部的判定結果及物體檢測部的判定結果提示給檢查作業者。 [發明的效果]
本揭示之檢查支援裝置會產生可減輕在發電機的檢查中的檢查作業者的作業負擔之效果。
以下，根據圖式來詳細說明實施型態之檢查支援裝置、檢查支援系統、檢查支援方法及記錄媒體。
圖1係顯示實施型態之檢查支援系統的構成例之圖。如圖1所示，本實施型態之檢查支援系統係具備：資料庫裝置2、學習裝置3、檢查支援裝置4及顯示裝置5。另外，檢查支援系統可包含有檢查機器人(inspection robot) 1。
檢查機器人1係用於發電機的檢查之可在發電機的內部移行的檢查機器人，其係具備攝影機11及通訊部12。雖然省略圖示，但檢查機器人1亦可搭載有攝影機11以外的感測器。檢查機器人1係具備履帶式(caterpillar)移動裝置等的移動裝置，該檢查機器人1係一邊移行一邊以攝影機11進行拍攝而取得發電機內部的影像資料。通訊部12係將攝影機11所攝得的影像資料發送至資料庫裝置2。另外，檢查機器人1可以是以有線方式與未圖示的錄像機連接，將影像資料儲存於錄像機，然後資料庫裝置2從錄像機取得影像資料。影像資料為經設定的訊框率(frame rate)的動態影像，且為依每時間拍攝所得到的複數個圖像資料。
資料庫裝置2係具備：資料取得部21、靜態圖像產生部22、資料記憶部23、接收發送部24及模型記憶部25。資料取得部21係從攝影機11取得影像資料，並將取得的影像資料輸出至靜態圖像產生部22。靜態圖像產生部22係將影像資料分割為各個靜態圖像並將屬於靜態圖像資料型態的圖像資料儲存至資料記憶部23。分割出的各圖像資料為攝影機11所拍攝的圖像的資料。資料記憶部23係將從靜態圖像產生部22接收到的圖像資料記憶起來，並記憶發電機的開始使用日、顯示發電機的顏色及形狀等之設計資訊、過去進行檢查的日期及過去的檢查結果等的資訊作為輔助資訊。輔助資訊係包含例如發電機的開始使用日、發電機的設計資訊及發電機的過去的檢查結果之中的至少一者。輔助資訊可經由接收發送部24而從其他的裝置接收，亦可藉由未圖示的資料庫裝置2的輸入裝置而輸入。另外，資料取得部21可取得複數個發電機的接受檢查所得到的圖像資料。在此情況，輔助資訊係包含每個發電機的發電機的開始使用日、顯示發電機的顏色及形狀等之設計資訊、過去進行檢查的日期及過去的檢查結果等的資訊。
接收發送部24係在與學習裝置3、檢查支援裝置4等的其他的裝置之間進行資訊的接收發送。接收發送部24從學習裝置3接收到學習完成模型，就將接收到的學習完成模型儲存至模型記憶部25。如後述，在本實施型態中，係利用學習裝置3而產生屬於等級分類用的學習完成模型之分類模型及屬於物體檢測用的學習完成模型之物體檢測模型的兩種類的學習完成模型，其中分類模型係判定表示發電機的異常的程度的等級之學習完成模型，物體檢測模型係從圖像資料識別發電機中的異物之學習完成模型，因此模型記憶部25中儲存這兩種類的學習完成模型。另外，接收發送部24將模型記憶部25中記憶的分類模型及物體檢測模型發送至檢查支援裝置4。資料庫裝置2之發送出分類模型及物體檢測模型的動作可在進行模型的更新時進行，亦可在收到來自檢查支援裝置4的指示的情況進行。模型記憶部25記憶分類模型及物體檢測模型。
學習裝置3係具備：接收發送部31、分類模型產生部32、物體檢測模型產生部33、顯示部34、正確答案資料接受部35及再學習判定部36。接收發送部31係在與資料庫裝置2等的其他的裝置之間進行資訊的接收發送。接收發送部31從資料庫裝置2取得資料記憶部23中記憶的圖像資料及輔助資訊，並將取得的圖像資料及輔助資訊輸出至顯示部34。另外，接收發送部31從分類模型產生部32接收到分類模型就將分類模型發送至資料庫裝置2，從物體檢測模型產生部33接收到物體檢測模型就將物體檢測模型發送至資料庫裝置2。
顯示部34係顯示根據攝影機11所攝得的影像資料之圖像。詳言之，顯示部34係將從接收發送部31接收到的圖像資料顯示成為圖像並顯示與該圖像資料對應的輔助資訊。具有與發電機相關的知識之專家係藉由查看顯示部34上顯示的圖像及輔助資訊，而判定表示圖像的異常的程度之等級，並在圖像中有異物存在的情況判定異物的名稱。異物為例如釘子、塑膠片、環氧樹脂片等，但並不限於此等，可為過去曾在發電機中檢查到的異物，有可能存在於發電機中的異物等。
正確答案資料接受部35係接受等級的判定結果的輸入及異物的名稱的輸入，該等級的判定結果係屬於要產生與圖像資料對應的分類模型所需的正確答案資料，該異物的名稱係屬於要產生與圖像資料對應的物體檢測模型所需的正確答案資料。詳言之，正確答案資料接受部35係接受由專家所輸入的等級的判定結果作為用於分類模型的產生之正確答案資料，並將接受的判定結果輸出至分類模型產生部32。另外，正確答案資料接受部35係接受由專家所輸入的物體的名稱的判定結果作為用於物體檢測模型的產生之正確答案資料，並將接受的判定結果輸出至物體檢測模型產生部33。
分類模型產生部32係使用複數組(set)各包含圖像資料及正確答案資料接受部35所接受的等級的判定結果之學習用資料組，而產生分類模型。詳言之，分類模型產生部32以圖像資料及與該圖像資料對應之正確答案資料接受部35所接收到的正確答案資料之組作為學習用資料組，使用複數個學習用資料組進行機器學習而產生屬於學習完成模型之分類模型。分類模型產生部32將產生的分類模型輸出至接收發送部31。
物體檢測模型產生部33係使用複數組各包含圖像資料及正確答案資料接受部35所接受的物體的名稱之學習用資料組，而產生物體檢測模型。詳言之，物體檢測模型產生部33以圖像資料及與該圖像資料對應之從正確答案資料接受部35所接收到的正確答案資料之組作為學習用資料組，使用複數個學習用資料組進行機器學習而產生屬於學習完成模型之物體檢測模型。物體檢測模型產生部33將產生的物體檢測模型輸出至接收發送部31。
再學習判定部36係在將圖像資料輸入至分類模型而得到的判定結果與將該圖像資料輸入至物體檢測模型而得到的判定結果相矛盾之情況，以該圖像資料作為再學習候補，使顯示部34顯示出根據再學習候補之圖像。詳言之，再學習判定部36係經由接收發送部31而從資料庫裝置2取得檢查支援裝置4所判定的判定結果及對應的圖像資料，利用判定結果判定是否要進行再學習，在判定為要進行再學習之情況，使物體檢測模型產生部33或分類模型產生部32進行再學習。
檢查支援裝置4係具備：接收發送部41、模型記憶部42、等級分類部43、物體檢測部44、結果統合部45、結果提示部46、模板記憶部47及圖像插入部48。接收發送部41係在與資料庫裝置2等的其他的裝置之間進行資訊的接收發送。接收發送部41係取得檢查機器人1上搭載的攝影機11所攝得的圖像的資料(圖像資料)之取得部。從資料庫裝置2接收檢查對象的圖像資料，並將之輸出至等級分類部43及物體檢測部44。檢查對象的圖像資料係在檢查日拍攝檢查對象的發電機所得到的圖像資料。檢查對象的圖像資料係例如在資料庫裝置2中儲存於資料記憶部23，並發送至檢查支援裝置4。
另外，接收發送部41從資料庫裝置2接收到分類模型及物體檢測模型就將之記憶到模型記憶部42。模型記憶部42係記憶分類模型及物體檢測模型。如上述，分類模型及物體檢測模型的更新可在進行模型的更新時進行，亦可在有模型更新的指示經由未圖示的輸入手段而輸入到檢查支援裝置4的情況、或檢查支援裝置4從顯示裝置5接收到模型更新的指示的情況進行。
等級分類部43係使用分類模型及作為取得部之接收發送部41所取得的圖像資料，而判定與接收發送部41所取得的圖像資料對應之等級。詳言之，等級分類部43係將經由接收發送部41而從資料庫裝置2接收到的檢查對象的圖像資料輸入至模型記憶部42所記憶的分類模型，來進行該圖像資料的等級分類，並將分類結果作為判定結果而輸出至結果統合部45。等級分類係從圖像資料所表示圖像來決定表示檢查對象的發電機的異常的程度的等級之處理。等級可為例如異常度高、異常度低及無異常之三個等級，亦可為異常、正常之兩個等級，或是四個階段的等級。亦可不只包含異常度的高低，也包含例如刮痕、變色、異物混入等的異常的種類。另外，等級亦可為異常度與異常的種類之組合。例如等級可用異常度、有無刮痕、有無變色、有無異物混入之四個項目個別的值來加以表示。例如，與某個圖像資料對應之等級表示成異常度低、有刮痕、無變色、無異物混入，與另一圖像資料對應之等級表示成異常度高、有刮痕、有變色、有異物混入。等級的定義並不限定於此等。
物體檢測部44係使用物體檢測模型及藉由接收發送部41而取得的圖像資料，來判定與透過接收發送部41而取得的圖像資料對應的圖像中的異物是什麼物體。物體檢測部44係將經由接收發送部41而從資料庫裝置2接收到的檢查對象的圖像資料輸入至模型記憶部42中記憶的物體檢測模型，來進行該圖像資料所表示的圖像內的物體檢測。本實施型態中的物體檢測係異物的識別處理。亦即，物體檢測部44判定圖像內是否有異物存在，並在有異物存在的情況，以異物的物體名稱作為判定結果而輸出至結果統合部45。視為異物的物體係經過預先定義，在物體檢測模型之產生時，使有異物存在的圖像與對應於該異物的物體名稱相對應而學習起來。物體檢測部44在圖像內沒有異物存在的情況將表示沒有異物存在之判定結果，亦即表示正常之判定結果輸出至結果統合部45。
另外，等級分類部43及物體檢測部44係將判定結果連同識別對應的圖像資料之識別資訊一起經由接收發送部41而發送至資料庫裝置2。在資料庫裝置2，當接收發送部24接收到判定結果，就使判定結果與資料記憶部23中記憶的圖像資料相對應而儲存於資料記憶部23。
結果統合部45係統合等級分類部43的判定結果及物體檢測部44的判定結果。例如，結果統合部45可採取將對應於同一個圖像的判定結果合一列出為一個判定結果的方式進行統合。在等級分類部43的判定結果及物體檢測部44的判定結果都表示正常之情況，結果統合部45可用表示正常之一個判定結果來取代列出的兩個結果。在由於相同的異常的原因導致與複數個圖像資料對應的判定結果連續地都為表示相同的異常的值之情況，結果統合部45可將該等複數個圖像資料併成一組，使判定結果與一組圖像資料相對應。
另外，結果統合部45利用等級分類部43的判定結果及物體檢測部44的判定結果，從透過接收發送部41而取得的圖像資料選出作為要提示給檢查作業者的圖像資料之確認對象圖像資料。詳言之，結果統合部45係根據等級分類部43的判定結果、物體檢測部44的判定結果及檢查作業者所設定的設定資訊，就各圖像資料逐一判定是否要將之選作為確認對象圖像資料。確認對象圖像資料係要提示給檢查作業者讓檢查作業者可查看確認之圖像資料的候補。設定資訊係由檢查作業者經由顯示裝置5或經由未圖示的輸入手段而輸入至檢查支援裝置4，並記憶於模板記憶部47。關於上述的推測為有相同的異常的原因之一組圖像資料，可將一組圖像資料之中的一部分圖像資料選作為確認對象圖像資料，或是利用設定資訊指定是將一組圖像資料全部選作為確認對象圖像資料還是將一部分圖像資料選作為確認對象圖像資料。
設定資訊係設定出在什麼樣的判定結果的情況檢查作業者想要查看圖像資料之資訊。設定資訊可為設定出依每個等級分類的判定結果及物體檢測部44的判定結果的值是否要作為確認對象圖像資料之表，亦可為設定出要作為確認對象圖像資料之分類結果的條件之資訊。例如，利用設定資訊設定成只要等級分類為異常度高或異常度低，不管物體檢測部44的判定結果是什麼結果都要作為確認對象圖像資料，或是設定成在檢查出的異物為物體檢測部44所指定的物體的情況，不管等級分類是什麼結果都要作為確認對象圖像資料。設定資訊並不限定於此，只要能依據檢查作業者想要查看什麼樣的圖像資料者而適當地設定即可。此外，設定資訊還可設定成將正常的圖像資料的一部分選作為確認對象圖像資料。在此情況，可例如指定為每幾張圖像就將一張正常的圖像設為確認對象圖像資料，或是指定為根據拍攝的日期時間而依每一定時間就將正常的圖像設為確認對象圖像資料。
結果統合部45將判定為確認對象圖像資料的圖像資料與統合出的判定結果一起輸出至結果提示部46。結果提示部46係藉由將從結果統合部45接收到的圖像資料及對應的判定結果發送至顯示裝置5，而將圖像資料及判定結果提示給檢查作業者。在判定結果方面亦可不進行統合，而是將各個判定結果連同圖像資料一起發送至顯示裝置5。另外，結果提示部46亦可具有作為顯示部之功能，且藉由將從結果統合部45接收到的圖像資料所表示的圖像及對應的判定結果顯示出來，而進行圖像資料及判定結果的提示。亦即，結果提示部46可顯示出根據確認對象圖像資料之圖像，亦可將確認對象圖像資料發送給顯示根據確認對象圖像資料的圖像之顯示裝置5。結果統合部45將統合出的判定結果及圖像資料儲存至模板記憶部47。
模板記憶部47係記憶：檢查結果報告書的模板、圖像資料及對應的判定結果、設定資訊、決定要插入給檢查結果報告書之圖像的條件之插入圖像選擇資訊。插入圖像選擇資訊為例如決定將幾張什麼樣的判定結果的圖像插入至檢查結果報告書，或要將幾張正常資料插入至檢查結果報告書等之資訊。
圖像插入部48係利用等級分類部43的判定結果及物體檢測部44的判定結果，從藉由接收發送部41而取得的圖像資料選出要插入至檢查結果報告書之圖像資料，並將所選出的圖像插入至檢查結果報告書的模板。詳言之，圖像插入部48係利用模板記憶部47中記憶的插入圖像選擇資訊，從模板記憶部47中記憶的圖像資料之中選出要插入給檢查結果報告書之圖像資料。圖像插入部48從模板記憶部47讀出檢查結果報告書的模板，並將所選出的圖像插入至所讀出的模板。圖像插入部48將插入圖像之後的模板輸出至結果提示部46。結果提示部46將從圖像插入部48接收到的模板發送至顯示裝置5。另外，機器學習的判定結果一般而言包含有表示結果的準確度之資訊。例如，圖像插入部48利用該準確度而選擇準確度高的圖像將之插入給模板。
顯示裝置5係具備接收發送部51及顯示部52。接收發送部51係在與檢查支援裝置4等的其他的裝置之間進行資訊的接收發送。接收發送部51從檢查支援裝置4接收到圖像資料及對應的判定結果，就將圖像資料及對應的判定結果輸出至顯示部52。顯示部52係將從接收發送部51接收過來的圖像資料所表示的圖像連同判定結果一起顯示出來。檢查作業者藉由查看圖像及判定結果而進行檢查對象的發電機的目視檢查。因此，與一直觀看攝影機11所取得的影像資料的情況相比較可減輕檢查作業者的負擔。另外，接收發送部51係從檢查支援裝置4接收到插入有圖像的檢查結果報告書的模板，就將該模板輸出至顯示部52。顯示部52將從接收發送部51接收到的模板顯示出來。檢查作業者利用未圖示的輸入手段對於顯示的模板進行文章的追加，以及視需要而修正圖像的配置等。藉此，可減輕檢查結果報告書的作成時的作業負擔。再者，在檢查作業者看了顯示的圖像及判定結果之後，有想要追加查看在與該圖像對應的圖像資料的前後取得的圖像資料等的圖像資料之情況，可利用未圖示的輸入手段輸入指定要求取得的圖像資料之資訊。顯示裝置5收到圖像的取得的要求，就藉由接收發送部51將圖像資料的取得的要求發送至資料庫裝置2。接收發送部51從資料庫裝置2取得對應的圖像資料就將之輸出至顯示部52，顯示部52將該圖像顯示出來。
在圖1所示的例子中，將資料庫裝置2、學習裝置3及檢查支援裝置4分別顯示成個別的裝置，但亦可將資料庫裝置2、學習裝置3及檢查支援裝置4之中的兩個以上一體化而構成一個裝置。另外，如上述，可將顯示裝置5及檢查支援裝置4一體化。
接著，針對本實施型態的動作進行說明。首先，說明在本實施型態的學習裝置3中的學習完成模型之產生。本實施型態中，係如上述產生分類模型及物體檢測模型這兩種類的學習完成模型。圖2係顯示本實施型態的學習完成模型的產生處理的一例之流程圖。利用圖2來說明產生分類模型之際的處理。如圖2所示，學習裝置3顯示出圖像資料(步驟S1)。詳言之，顯示部34使經由接收發送部31而從資料庫裝置2接收到的圖像資料成為圖像而顯示出來。從資料庫裝置2取得的要在學習完成模型的產生中使用的圖像資料，可由專家來選出，亦可預先訂出要在學習完成模型的產生中使用的圖像的取得的期間，由資料庫裝置2將對應於該期間的圖像資料發送到學習裝置3。在由專家選出之情況，可例如由接收發送部31從資料庫裝置2取得表示資料庫裝置2所記憶的圖像資料的一覧之資訊，且由顯示部34顯示出該資訊，來讓專家選擇指定。表示專家所指定的圖像之資訊係藉由未圖示的輸入手段而被接收，並藉由接收發送部31而發送至資料庫裝置2。
圖3係示意地顯示本實施型態的顯示部34所顯示出的圖像的一例之圖。在圖3所示的例子中，圖像內存在有作為異物的一例之釘子201。圖4係示意地顯示本實施型態的顯示部34所顯示出的圖像的另一例之圖。在圖4所示的例子中，圖像內存在有變色區域202及刮痕203。專家查看如圖3、圖4所示的圖像，來判定與圖像所示的發電機內部的狀態對應的等級。
另外，學習裝置3顯示出輔助資訊(步驟S2)。詳言之，顯示部34使經由接收發送部31而從資料庫裝置2接收到的輔助資訊顯示出來。輔助資訊係與步驟S1中顯示的圖像資料對應的輔助資訊，係例如與圖像資料所表示的圖像一起顯示。輔助資訊係在專家決定與圖像資料對應的異常度的等級之際使用為參考資訊之資訊。輔助資訊如上述，為發電機的開始使用日、顯示發電機的顏色及形狀等之設計資訊、過去進行檢查的日期及過去的檢查結果等之資訊，可為例如該等之中的至少一者，但亦可包含該等以外的資訊。
專家在判定與圖像對應的等級之際，有輔助資訊可參考的情況可比未顯示輔助資訊的情況更能夠適切地進行等級的判定。例如，從圖像判定等級的專家只要是對於發電機有非常豐富的知識的專家，就可迅速地做出適切的判定，但就算是專家也會有單憑圖像難以判定等級的情況。在如此的情況，專家藉由參照輔助資訊可迅速地進行等級的判定。而且，專家不用另外搜尋查看發電機的設計資訊、開始使用日、以前的檢查結果等，可減輕專家的作業負擔。
接著，學習裝置3取得正確答案資料(步驟S3)。詳言之，正確答案資料接受部35將專家所輸入的等級的判定結果當作正確答案資料輸出至分類模型產生部32。該等級係如上述，以例如異常的程度加以分類，但亦可包含異常的種類。
接著，學習裝置3判斷學習用資料之產生是否要結束(步驟S4)，若還沒有要結束學習用資料之產生(步驟S4的結果為“否”)的情況，則重複步驟S1以來的處理。詳言之，步驟S4係分類模型產生部32在例如取得了預定數目的學習用資料的情況，判斷為要結束學習用資料之產生。
若要結束學習用資料之產生(步驟S4的結果為“是”)，則學習裝置3產生學習完成模型(步驟S5)。詳言之，分類模型產生部32係使用複數組各由圖像資料及正確答案資料所組成的學習用資料組，進行督導式學習(supervised learning)，來產生用來進行圖像資料的等級分類，亦即用來從圖像資料推論出對應的等級之學習完成模型，並將之輸出至接收發送部31。
督導式學習的演算法則，可採用任何演算法，例如類神經網路模型。類神經網路係由輸入層、中間層(隱藏層)及輸出層所構成，該輸入層由複數個神經元所構成，該中間層由複數個神經元所構成，該輸出層由複數個神經元所構成。中間層可為一層或兩層以上。
圖5係顯示類神經網路的一例之示意圖。例如，若是如圖5所示的三層的類神經網路，則當複數個輸入被輸入到輸入層(X1-X3)，輸入的值會乘上權重W1(w11-w16)然後輸入至中間層(Y1-Y2)，其結果再乘上權重W2(w21-w26)後從輸出層(Z1-Z3)輸出。此輸出結果會隨權重W1的值及權重W2的值而變。
在本實施型態中，係藉由以輸入屬於圖像資料之特徵量時之從輸出層輸出來的輸出會接近正確答資料之方式調整權重W1及權重W2，來學習特徵量與正確答案資料的關係。機器學習的演算法則並不限定於類神經網路。
回到圖2的說明。接著，學習裝置3發送出產生的學習完成模型(步驟S6)，然後，結束學習完成模型的產生處理。詳言之，接收發送部31將從分類模型產生部32接收到的屬於學習完成模型之分類模型發送至資料庫裝置2。
物體檢測模型的產生程序也一樣，按圖2所示的處理程序進行。在物體檢測模型之產生時，在上述的步驟S3中係輸入異物的物體名稱作為正確答案資料。例如，就圖3所示的例子而言，係輸入「釘子」作為正確答案資料。就圖4所示的例子而言，係輸入表示沒有異物之資訊作為正確答案資料。另外，在資料庫裝置2也儲存有過去由檢查機器人1以外的攝像裝置所攝得的在發電機內檢測出的作為異物的物體的圖像之情況，學習裝置3可取得該圖像資料並顯示出來，且接受與該圖像資料對應的正確答案資料的輸入。要當作異物而加以學習之物體，舉例來說有例如釘子、塑膠片、環氧樹脂片等，但要當作異物而加以學習之物體並不限於上述物體，只要為過去在發電機內檢測出的作為異物的物體、或是有可能作為異物而存在的物體即可。
在物體檢測模型之產生時，在上述的步驟S5，物體檢測模型產生部33係使用複數組由圖像資料及正確答案資料所組成的學習用資料組，進行督導式學習，來產生用來從圖像資料判定物體之學習完成模型。如此，由物體檢測模型產生部33進行在分類模型之產生當中分類模型產生部32進行的動作，與分類模型一樣以圖2所示的處理來產生屬於學習完成模型之物體檢測模型，然後發送至資料庫裝置2。
接著，說明本實施型態的檢查支援裝置4中的檢查支援的處理。檢查支援裝置4係經由資料庫裝置2而取得上述的分類模型及物體檢測模型並將之記憶於模型記憶部42。
圖6係顯示本實施型態的檢查支援裝置4中的檢查支援處理的一例之流程圖。如圖6所示，檢查支援裝置4進行等級分類(步驟S11)。詳言之，接收發送部41取得從資料庫裝置2取得的檢查對象的圖像資料，並將之輸出至等級分類部43及物體檢測部44。等級分類部43係從模型記憶部42讀出分類模型，並將從接收發送部41接收到的圖像資料輸入至所讀出的分類模型而得到輸出值，以此方式求出等級分類的結果(亦即等級的判定結果)。
接著，檢查支援裝置4進行物體檢測(步驟S12)。物體檢測部44從模型記憶部42讀出物體檢測模型，並將從接收發送部41接收到的圖像資料輸入至所讀出的物體檢測模型而得到輸出值，以此方式求出異物的識別結果(亦即物體檢測的判定結果)，並將判定結果輸出至結果統合部45。上述的步驟S11及步驟S12可同時進行。
接著，檢查支援裝置4進行結果的統合(步驟S13)。詳言之，結果統合部45將從物體檢測部44接收到的判定結果及從等級分類部43接收到的判定結果予以統合。結果的統合係如上述，包含將與相同的圖像資料對應的判定結果做成一個判定結果之處理、以及根據設定資訊而判定是否要作為確認對象圖像資料之判定處理。結果統合部45將被判定為確認對象的圖像資料與統合出的判定結果一起輸出至結果提示部46。另外，結果統合部45將判定結果及圖像資料儲存至模板記憶部47。
接著，檢查支援裝置4進行結果的提示(步驟S14)。詳言之，結果提示部46將圖像資料及對應的判定結果發送至顯示裝置5。顯示裝置5接收到圖像資料及對應的判定結果，就將表示圖像資料的圖像及判定結果顯示出來。
接著，檢查支援裝置4判斷與報告對象期間相應量的處理是否已結束(步驟S15)。詳言之，結果統合部45判定是否已對於與檢查結果報告書的作成對象期間相應量的圖像資料都進行了步驟S11~S14的處理。檢查結果報告書的作成對象期間可例如預先由日期時間之方式加以指定，亦可由顯示裝置5通知與報告對象期間相應量的處理結束，或是由未圖示的檢查支援裝置4的輸入手段輸入與報告對象期間相應量的處理結束之指示。
若與報告對象期間相應量的處理尚未結束(步驟S15的結果為“否”)，則檢查支援裝置4重複步驟S11以來的處理。若與報告對象期間相應量的處理已結束(步驟S15的結果為“是”)，則檢查支援裝置4選出要插入給檢查結果報告書之圖像(步驟S16)，並將所選的圖像插入至檢查結果報告書(步驟S17)。詳言之，圖像插入部48利用模板記憶部47所記憶的插入圖像選擇資訊，從模板記憶部47所記憶的圖像資料之中選出要插入給檢查結果報告書之圖像資料。然後，圖像插入部48將所選的圖像插入至模板記憶部47所記憶的檢查結果報告書的模板，以此方式將所選的圖像插入檢查結果報告書，再經由結果提示部46將模板發送至顯示裝置5。
檢查支援裝置4進行以上的處理，檢查作業者就可查看顯示於顯示裝置5的圖像及判定結果而藉此進行檢查對象的發電機的目視檢查。因此，與一直觀看利用攝影機11而取得的影像資料之情況相比較可減輕檢查作業者的負擔。另外，利用設定資訊設定成在判定為兩種類的判定結果之中至少一方並不正常之情況就將之當作是要確認的對象，則不管是哪一方的判定結果錯誤的情況，檢查作業者的查看確認都可圖像資料，可提高檢查的異常檢測的精度。
接著，說明使用判定結果之再學習。檢查支援裝置4將等級分類的判定結果及物體檢測的判定結果發送至資料庫裝置2。學習裝置3從資料庫裝置2取得該兩種類的判定結果並在兩種類的判定結果相矛盾的情況進行再學習，如此可提高學習完成模型的精度。
一般而言，物體檢測模型因為必須識別異物，所以與分類模型相比而言較難構築出高精度的學習完成模型。因此，在查看例如在等級分類判定為異常度高，且在物體檢測判定為沒有異物之圖像資料，而得知實際上有異物之情況，可將圖像資料與看到的異物的物體名稱相對應而進行再學習，藉此來提高物體檢測的精度。反之，在判定有異物，且在等級分類判定為沒有異常度之情況，也可能發生查看圖像資料時實際上沒有異物的情形。如此的情況也可將該圖像資料與沒有異物之正確答案資料相對應而進行再學習來提高物體檢測的精度。
圖7係顯示本實施型態的再學習處理的一例之流程圖。圖7所示的處理可例如每一定期間進行，亦可在有來自專家的指示之情況進行。處理對象的圖像資料及判定結果係例如由專家使用未圖示的輸入手段加以指定。如圖7所示，學習裝置3判定判定結果是否相矛盾(步驟S21)。詳言之，再學習判定部36使用經由接收發送部31而接收到的圖像資料及對應的兩種類的判定結果，在例如雖然在物體檢測判定為檢測有異物但在等級分類卻判定為沒有異常之情況、及雖然在物體檢測未檢測有異物但在等級分類卻判定為有異常之情況，判定是否有判定結果相矛盾的情形。
若沒有判定結果相矛盾的情形(步驟S21的結果為“否”)，則學習裝置3將處理對象變更為下一個圖像資料及判定結果，然後重複步驟S21以來的處理。若有判定結果相矛盾的情形(步驟S21的結果為“是”)，則學習裝置3使與判定結果對應的圖像顯示出來(步驟S22)。詳言之，在步驟S22，係再學習判定部36使與判定為相矛盾的判定結果對應的圖像資料作為再學習候補而將之輸出至顯示部34使之顯示於顯示部34，顯示部34係顯示出該圖像資料表示的圖像。藉此，讓專家查看圖像，判斷與該圖像資料對應的物體檢測的判定結果是否錯誤。
接著，學習裝置3判斷是否需要再學習(步驟S23)。詳言之，正確答案資料接受部35接受專家輸入的是否要再學習之指示，並將接受的指示輸出至再學習判定部36，再學習判定部36根據接收到的指示判斷是否需要再學習。亦即，正確答案資料接受部35係在顯示部34顯示出根據再學習候補之圖像時，接受表示要否再學習之輸入，接受表示要再學習之輸入。
若不需要再學習(步驟S23的結果為“否”)，則學習裝置3將處理對象變更為下一個圖像資料及判定結果，然後重複步驟S21以來的處理。若需要再學習(步驟S23的結果為“是”)，則學習裝置3進行再學習(步驟S24)，然後將處理對象變更為下一個圖像資料及判定結果，然後重複步驟S21以來的處理。在步驟S24，詳言之，再學習判定部36指示物體檢測模型產生部33要再學習，正確答案資料接受部35接受專家輸入的正確答案資料，並將接受的正確答案資料輸出至物體檢測模型產生部33。物體檢測模型產生部33使用以在步驟S22顯示的圖像資料及正確答案資料為一組的學習用資料組而進行再學習，藉此來更新物體檢測模型。亦即，物體檢測模型產生部33以再學習候補及正確答案資料接受部35所接收到物體名稱作為學習用資料組而進行再學習。另外，再學習亦可在蓄積有一定數量的學習用資料後才進行。
更新過的物體檢測模型發送至資料庫裝置2，然後從資料庫裝置2發送至檢查支援裝置4。藉此，更新檢查支援裝置4所記憶的物體檢測模型。以上所述的例子說明的雖然是更新物體檢測模型之例，但同樣可更新分類模型。
另外，在上述的例子中，學習裝置3係利用檢查支援裝置4所判定的結果而判斷是否要進行再學習，但亦可由再學習判定部36將從資料庫裝置2取得的圖像資料分別輸入分類模型及物體檢測模型來求出兩種類的判定結果，然後進行圖7所示的處理。
圖8係顯示本實施型態的進行再學習的例子之圖。如圖8所示，假設例如在等級分類判定為異常度高，在物體檢測並未檢查出異物。在此情況，根據上述的步驟S22而顯示出圖像。然後，如圖3所示的圖像，專家確認了圖像內存在有釘子201，該圖像就作為釘子的圖像而被再學習。亦即，給予異物名稱「釘子」作為正確答案資料然後使用以圖像資料及正確答案資料為一組之學習用資料進行再學習，來更新物體檢測模型。
如以上所述，本實施型態之檢查支援系統因為使用兩種類的學習完成模型，所以在使用兩種類的學習完成模型而得到的判定結果有相矛盾的情況，可查看圖像進行確認，在需要再學習的情況進行再學習。因而，可提高異常的檢測的精度。
在資料庫裝置2儲存有與複數個發電機有關的資料之情況，係就每個發電機分別產生學習完成模型。另外，亦可在專家根據各發電機的輔助資訊而判斷有規格等類似的發電機之情況，依據專家之指示，讓學習裝置3整合該等發電機的資料並使用作為學習用資料來產生學習完成模型。例如，可整合製造商相同且定子、轉子的塗裝色相似，並且稼動期間比較接近的發電機等。
另外，以上所述的例子雖然是使用兩種類的學習完成模型，但亦可使用三種類以上的學習完成模型。例如，學習裝置3除了產生上述的分類模型、物體檢測模型之外，亦可產生用來抽出物體所佔區域之區域抽出模型作為學習完成模型，且檢查支援裝置4使用區域抽出模型來抽出異物的形狀。
接著，說明本實施型態的資料庫裝置2、學習裝置3及檢查支援裝置4的硬體構成。本實施型態的資料庫裝置2、學習裝置3及檢查支援裝置4係在電腦系統上執行記述有資料庫裝置2、學習裝置3及檢查支援裝置4各者的處理之電腦程式，使電腦系統發揮作為資料庫裝置2，學習裝置3及檢查支援裝置4的功能。圖9係顯示實現本實施型態的檢查支援裝置4之電腦系統的構成例之圖。如圖9所示，該電腦系統係具備：控制部101、輸入部102、記憶部103、顯示部104、通訊部105及輸出部106，且各部經由系統匯流排107而相連接。資料庫裝置2及學習裝置3也一樣，藉由例如圖9所示的電腦系統而實現。
圖9中，控制部101為例如CPU (Central Processing Unit)等的處理器，執行記述有本實施型態的檢查支援裝置4的處理之檢查支援程式。輸入部102由例如鍵盤、滑鼠等所構成，供電腦系統的使用者用來進行各種資訊的輸入。記憶部103係包含RAM (Random Access Memory)、ROM (Read Only Memory)等的各種記憶體及硬碟等的儲存裝置(storage device)，記憶上述控制部101所要執行的程式、處理過程得到的必要的資料等。另外，記憶部103也作為程式的暫存的記憶區域而使用。顯示部104由顯示器、LCD (液晶顯示面板)等所構成，對電腦系統的使用者顯示各種畫面。通訊部105為實施通訊處理之收訊機及發訊機。輸出部106為印表機、喇叭等。圖9只是一例，電腦系統的構成並不限於圖9之例。
在此，說明電腦系統之進行到本實施型態的檢查支援程式成為可執行的狀態之動作例。在具有上述的構成之電腦系統中，從例如安置於未圖示的CD-ROM光碟機(drive)或DVD-ROM光碟機之CD-ROM或DVD-ROM將檢查支援程式安裝(install)到記憶部103。然後，要執行檢查支援程式時，將從記憶部103讀出的檢查支援程式儲存到記憶部103的主記憶區域。在此狀態下，控制部101按照儲存於記憶部103的程式而執行作為本實施型態的檢查支援裝置4的處理。
在上述的說明中，以CD-ROM或DVD-ROM作為記錄媒體而提供記述有檢查支援裝置4的處理之程式，但不限於此，亦可按照電腦系統的構成、所要提供的程式的大小等而使用例如經由通訊部105而由網際網路等的傳輸媒體提供來的程式。
圖1所示的等級分類部43、物體檢測部44、結果統合部45及圖像插入部48係藉由圖9所示的控制部101執行記憶於圖9所示的記憶部103中的檢查支援程式而實現。圖1所示的模型記憶部42及模板記憶部47為圖9所示的記憶部103的一部分。圖1所示的接收發送部41及結果提示部46係藉由圖9所示的通訊部105而實現。檢查支援裝置4亦可藉由複數個電腦系統而實現。例如，檢查支援裝置4可藉由雲端(cloud)電腦系統而實現。
例如，本實施型態之檢查支援程式係使電腦系統執行下述步驟：取得圖像資料之步驟，該圖像資料為藉由搭載於可在發電機的內部移行的檢查機器人之攝影機所攝得的圖像的資料；以及使用屬於學習完成模型之分類模型及所取得的圖像資料，而進行判定與所取得的圖像資料對應的等級的第一判定處理之步驟，其中，該分類模型係用來從圖像資料判定顯示發電機的異常的程度的等級。檢查支援程式更使電腦系統執行：使用屬於學習完成模型之物體檢測模型及所取得的圖像資料，而進行判定與所取得的圖像資料對應的圖像中的異物為什麼物體的第二判定處理之步驟，其中，該物體檢測模型係用來從圖像資料識別發電機中的異物；利用第一判定處理的判定結果及第二判定處理的判定結果，從所取得的圖像資料選出作為要提示給檢查作業者的圖像資料之確認對象圖像資料之步驟；以及將確認對象圖像資料、第一判定處理的判定結果及第二判定處理的判定結果提示給檢查作業者之步驟。
另外，圖1所示的資料庫裝置2的靜態圖像產生部22，係藉由圖9所示的控制部101執行記憶於圖9所示的記憶部103之程式而實現。圖1所示的資料記憶部23及模型記憶部25為圖9所示的記憶部103的一部分。圖1所示的資料取得部21及接收發送部24係藉由圖9所示的通訊部105而實現。資料庫裝置2亦可藉由複數個電腦系統而實現。例如，資料庫裝置2可藉由雲端電腦系統而實現。
另外，圖1所示的學習裝置3的分類模型產生部32、物體檢測模型產生部33及再學習判定部36，係藉由圖9所示的控制部101執行記憶於圖9所示的記憶部103之程式而實現。圖1所示的接收發送部31係藉由圖9所示的通訊部105而實現。圖1所示的顯示部34係藉由圖9所示的顯示部104而實現。圖1所示的正確答案資料接受部35係藉由圖9所示的輸入部102而實現。資料庫裝置2亦可藉由複數個電腦系統而實現。例如，資料庫裝置2可藉由雲端電腦系統而實現。
如以上所述，本實施型態之檢查支援裝置4使用兩種類的學習完成模型及圖像資料來判定發電機有無異常，並根據兩種類的判定結果而從所取得的圖像資料選出確認對象的圖像資料將之發送至顯示裝置5。因此，檢查作業者可觀看顯示於顯示裝置5之圖像及判定結果而進行檢查對象的發電機的目視檢查。因而，與一直觀看攝影機11所取得的影像資料的情況相比較可減輕檢查作業者的負擔。
另外，本實施型態之學習裝置3在為了產生學習完成模型而接受正確答案資料的輸入之際，不僅顯示圖像也顯示與發電機有關的資訊作為輔助資訊。因此，可減輕輸入正確答案資料之專家的負擔。而且，本實施型態之學習裝置3在使用檢查支援裝置4所得到的兩種類的判定結果而兩種類的判定結果相矛盾之情況，顯示出對應的圖像，並在需要再學習的情況進行再學習。因此，可使學習完成模型的精度提高。
以上的實施型態所揭示的構成只是一例，還可與別的公知的技術組合，或是將實施型態彼此相組合，也可在未脫離主旨的範圍內進行構成的一部分的省略或變更。
1:檢查機器人 2:資料庫裝置 3:學習裝置 4:檢查支援裝置 5:顯示裝置 11:攝影機 12:通訊部 21:資料取得部 22:靜態圖像產生部 23:資料記憶部 24, 31, 41, 51:接收發送部 25, 42:模型記憶部 32:分類模型產生部 33:物體檢測模型產生部 34, 52:顯示部 35:正確答案資料接受部 36:再學習判定部 43:等級分類部 44:物體檢測部 45:結果統合部 46:結果提示部 47:模板記憶部 48:圖像插入部 201:釘子 202:變色區域 203:刮痕 X1,X2,X3:輸入層 Y1,Y2:中間層 Z1,Z2,Z3:輸出層 w11,w12,w13,w14,w15,w16:權重 w21,w22,w23,w24,w25,w26:權重 101:控制部 120:輸入部 103:記憶部 104:顯示部 105:通訊部 106:輸出部 107:系統匯流排
圖1係顯示實施型態之檢查支援系統的構成例之圖。 圖2係顯示實施型態之學習完成模型的產生處理的一例之流程圖。 圖3係示意地顯示實施型態之顯示部所顯示的圖像的一例之圖。 圖4係示意地顯示實施型態之顯示部所顯示的圖像的另一例之圖。 圖5係顯示神經網路的一例之示意圖。 圖6係顯示實施型態之檢查支援裝置的檢查支援處理的一例之流程圖。 圖7係顯示實施型態之再學習處理的一例之流程圖。 圖8係顯示實施型態之進行再學習的例子之圖。 圖9係顯示實現實施型態之檢查支援裝置的電腦系統的構成例之圖。
1:檢查機器人
2:資料庫裝置
3:學習裝置
4:檢查支援裝置
5:顯示裝置
11:攝影機
12:通訊部
21:資料取得部
22:靜態圖像產生部
23:資料記憶部
24,31,41,51:接收發送部
25,42:模型記憶部
32:分類模型產生部
33:物體檢測模型產生部
34,52:顯示部
35:正確答案資料接受部
36:再學習判定部
43:等級分類部
44:物體檢測部
45:結果統合部
46:結果提示部
47:模板記憶部
48:圖像插入部

Claims (15)

  1. 一種檢查支援裝置，係具備： 取得圖像資料之取得部，該圖像資料為藉由搭載於可在發電機的內部移行的檢查機器人之攝影機所攝得的圖像的資料； 等級分類部，係使用屬於學習完成模型之分類模型及前述取得部所取得的前述圖像資料而判定與前述取得部所取得的前述圖像資料對應的等級，其中，該分類模型係用來從圖像資料判定表示前述發電機的異常的程度的等級； 物體檢測部，係使用屬於學習完成模型之物體檢測模型及前述取得部所取得的前述圖像資料而判定與前述取得部所取得的前述圖像資料對應的圖像中的異物為什麼物體，其中，該物體檢測模型係用來從圖像資料識別前述發電機中的異物； 結果統合部，係利用前述等級分類部的判定結果及前述物體檢測部的判定結果而從前述取得部所取得的前述圖像資料選出作為要提示給檢查作業者的前述圖像資料之確認對象圖像資料；以及 結果提示部，係將前述確認對象圖像資料、前述等級分類部的判定結果及前述物體檢測部的判定結果提示給檢查作業者。
  2. 如請求項1所述之檢查支援裝置，具備：圖像插入部，係利用前述等級分類部的判定結果及前述物體檢測部的判定結果，從前述取得部所取得的前述圖像資料選出要插入檢查結果報告書之前述圖像資料，並將選出的圖像插入檢查結果報告書的模板。
  3. 如請求項1或2所述之檢查支援裝置，其中，前述結果提示部係使根據前述確認對象圖像資料之圖像顯示出。
  4. 如請求項1或2所述之檢查支援裝置，其中，前述結果提示部係將前述確認對象圖像資料發送至將根據前述確認對象圖像資料之圖像顯示出之顯示裝置。
  5. 一種檢查支援系統，係具備： 學習裝置，係產生屬於學習完成模型之分類模型及屬於學習完成模型之物體檢測模型，其中，該分類模型係用來從圖像資料判定表示發電機的異常的程度之等級，該物體檢測模型係用來從圖像資料識別前述發電機中的異物；以及 支援前述發電機的檢查之檢查支援裝置； 前述檢查支援裝置係具備： 取得圖像資料之取得部，該圖像資料為藉由搭載於可在發電機的內部移行的檢查機器人之攝影機所攝得的圖像的資料； 等級分類部，係使用前述分類模型及前述取得部所取得的前述圖像資料而判定與前述取得部所取得的前述圖像資料對應的等級； 物體檢測部，係使用前述物體檢測模型及前述取得部所取得的前述圖像資料而判定與前述取得部所取得的前述圖像資料對應的圖像中的異物為什麼物體； 結果統合部，係利用前述等級分類部的判定結果及前述物體檢測部的判定結果而從前述取得部所取得的前述圖像資料選出作為要提示給檢查作業者的前述圖像資料之確認對象圖像資料；以及 結果提示部，係將前述確認對象圖像資料、前述等級分類部的判定結果及前述物體檢測部的判定結果提示給檢查作業者。
  6. 如請求項5所述之檢查支援系統，具備前述檢查機器人。
  7. 如請求項5或6所述之檢查支援系統，具備：將根據前述確認對象圖像資料之圖像顯示出之顯示裝置， 前述結果提示部係將前述確認對象圖像資料發送至前述顯示裝置。
  8. 如請求項5所述之檢查支援系統，其中，前述學習裝置係具備： 顯示部，係將根據前述攝影機所攝得的前述圖像資料之圖像顯示出； 正確答案資料接受部，係接受等級的判定結果的輸入，且接受異物的物體名稱的輸入，其中前述等級的判定結果係屬於要產生與前述圖像資料對應的前述分類模型所需的正確答案資料，而前述異物的物體名稱係屬於要產生與前述圖像資料對應的前述物體檢測模型所需的正確答案資料； 分類模型產生部，係使用複數組包含前述圖像資料及前述正確答案資料接受部所接受的前述等級的判定結果之學習用資料組，而產生前述分類模型；以及 物體檢測模型產生部，係使用複數組包含前述圖像資料及前述正確答案資料接受部所接受的前述物體名稱之學習用資料組，而產生前述物體檢測模型。
  9. 如請求項6所述之檢查支援系統，其中，前述學習裝置係具備： 顯示部，係將根據前述攝影機所攝得的前述圖像資料之圖像顯示出； 正確答案資料接受部，係接受等級的判定結果的輸入，且接受異物的物體名稱的輸入，其中前述等級的判定結果係屬於要產生與前述圖像資料對應的前述分類模型所需的正確答案資料，而前述異物的物體名稱係屬於要產生與前述圖像資料對應的前述物體檢測模型所需的正確答案資料； 分類模型產生部，係使用複數組包含前述圖像資料及前述正確答案資料接受部所接受的前述等級的判定結果之學習用資料組，而產生前述分類模型；以及 物體檢測模型產生部，係使用複數組包含前述圖像資料及前述正確答案資料接受部所接受的前述物體名稱之學習用資料組，而產生前述物體檢測模型。
  10. 如請求項7所述之檢查支援系統，其中，前述學習裝置係具備： 顯示部，係將根據前述攝影機所攝得的前述圖像資料之圖像顯示出； 正確答案資料接受部，係接受等級的判定結果的輸入，且接受異物的物體名稱的輸入，其中前述等級的判定結果係屬於要產生與前述圖像資料對應的前述分類模型所需的正確答案資料，而前述異物的物體名稱係屬於要產生與前述圖像資料對應的前述物體檢測模型所需的正確答案資料； 分類模型產生部，係使用複數組包含前述圖像資料及前述正確答案資料接受部所接受的前述等級的判定結果之學習用資料組，而產生前述分類模型；以及 物體檢測模型產生部，係使用複數組包含前述圖像資料及前述正確答案資料接受部所接受的前述物體名稱之學習用資料組，而產生前述物體檢測模型。
  11. 如請求項8至10中任一項所述之檢查支援系統，其中，前述顯示部係使包含發電機的開始使用日、前述發電機的設計資訊及前述發電機的過去的檢查結果之中至少一者之輔助資訊與前述圖像一起顯示。
  12. 如請求項8至10中任一項所述之檢查支援系統，其中，前述學習裝置具備： 再學習判定部，係在將前述圖像資料輸入至前述分類模型而得到的判定結果與將該圖像資料輸入至前述物體檢測模型而得到的判定結果相矛盾之情況，以該圖像資料作為再學習候補，且使前述顯示部顯示出根據再學習候補的圖像； 若前述顯示部顯示出根據前述再學習候補之圖像，則前述正確答案資料接受部係接受表示要否再學習之輸入，且若接受的輸入表示要再學習，就接受屬於與前述物體檢測模型對應的正確答案資料之物體名稱的輸入； 前述物體檢測模型產生部係以前述再學習候補及前述正確答案資料接受部所接受的前述物體名稱作為學習用資料組而進行再學習，藉此來更新前述物體檢測模型。
  13. 如請求項11所述之檢查支援系統，其中，前述學習裝置具備： 再學習判定部，係在將前述圖像資料輸入至前述分類模型而得到的判定結果與將該圖像資料輸入至前述物體檢測模型而得到的判定結果相矛盾之情況，以該圖像資料作為再學習候補，且使前述顯示部顯示出根據再學習候補的圖像； 若前述顯示部顯示出根據前述再學習候補之圖像，則前述正確答案資料接受部係接受表示要否再學習之輸入，且若接受的輸入表示要再學習，就接受屬於與前述物體檢測模型對應的正確答案資料之物體名稱的輸入； 前述物體檢測模型產生部係以前述再學習候補及前述正確答案資料接受部所接受的前述物體名稱作為學習用資料組而進行再學習，藉此來更新前述物體檢測模型。
  14. 一種檢查支援方法，為支援發電機的檢查之檢查支援裝置的檢查支援方法，包含： 取得圖像資料之步驟，該圖像資料為藉由搭載於可在前述發電機的內部移行的檢查機器人之攝影機所攝得的圖像的資料； 使用屬於學習完成模型之分類模型及前述取得的前述圖像資料，而進行判定與前述取得的前述圖像資料對應的等級的第一判定處理之步驟，其中，該分類模型係用來從圖像資料判定表示前述發電機的異常的程度之等級； 使用屬於學習完成模型之物體檢測模型及前述取得的前述圖像資料，而進行判定與前述取得的前述圖像資料對應的圖像中的異物為什麼物體的第二判定處理之步驟，其中，該物體檢測模型係用來從圖像資料識別前述發電機中的異物； 利用前述第一判定處理的判定結果及前述第二判定處理的判定結果而從前述取得的前述圖像資料選出作為要提示給檢查作業者的前述圖像資料之確認對象圖像資料之步驟；以及 將前述確認對象圖像資料、前述第一判定處理的判定結果及前述第二判定處理的判定結果提示給檢查作業者之步驟。
  15. 一種記錄媒體，係記錄有使電腦系統執行下列步驟之程式： 取得圖像資料之步驟，該圖像資料為藉由搭載於可在發電機的內部移行的檢查機器人之攝影機所攝得的圖像的資料； 使用屬於學習完成模型之分類模型及前述取得的前述圖像資料，而進行判定與前述取得的前述圖像資料對應的等級的第一判定處理之步驟，其中，該分類模型係用來從圖像資料判定表示前述發電機的異常的程度之等級； 使用屬於學習完成模型之物體檢測模型及前述取得的前述圖像資料，而進行判定與前述取得的前述圖像資料對應的圖像中的異物為什麼物體的第二判定處理之步驟，其中，該物體檢測模型係用來從圖像資料識別前述發電機中的異物； 利用前述第一判定處理的判定結果及前述第二判定處理的判定結果而從前述取得的前述圖像資料選出作為要提示給檢查作業者的前述圖像資料之確認對象圖像資料之步驟；以及 將前述確認對象圖像資料、前述第一判定處理的判定結果及前述第二判定處理的判定結果提示給檢查作業者之步驟。
TW111120467A 2021-06-08 2022-06-01 檢查支援裝置、檢查支援系統、檢查支援方法及記錄媒體 TWI857303B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2021/021790 2021-06-08
PCT/JP2021/021790 WO2022259380A1 (ja) 2021-06-08 2021-06-08 点検支援装置、点検支援システム、点検支援方法および点検支援プログラム

Publications (2)

Publication Number Publication Date
TW202248899A true TW202248899A (zh) 2022-12-16
TWI857303B TWI857303B (zh) 2024-10-01

Family

ID=80856392

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111120467A TWI857303B (zh) 2021-06-08 2022-06-01 檢查支援裝置、檢查支援系統、檢查支援方法及記錄媒體

Country Status (4)

Country Link
US (1) US20240242325A1 (zh)
JP (1) JP7004874B1 (zh)
TW (1) TWI857303B (zh)
WO (1) WO2022259380A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116046797B (zh) * 2023-01-06 2024-01-02 无锡中车时代智能装备研究院有限公司 一种发电机膛内视觉检测系统及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4149179B2 (ja) * 2002-03-05 2008-09-10 東京都下水道サービス株式会社 管渠内検査診断支援装置、管渠内検査診断支援方法及び管渠内検査診断支援プログラムを記憶した記憶媒体
JP4253522B2 (ja) * 2003-03-28 2009-04-15 株式会社日立ハイテクノロジーズ 欠陥分類方法及び装置
JP2010105657A (ja) * 2008-10-01 2010-05-13 Hi-Lex Corporation 移動装置および移動システム
JP5297272B2 (ja) * 2009-06-11 2013-09-25 株式会社日立製作所 装置異常監視方法及びシステム
TW201120310A (en) * 2009-12-09 2011-06-16 Nat Univ Chin Yi Technology The state telemetry technology and fault diagnosing system in large-scale wind power farms
JP2012173017A (ja) * 2011-02-18 2012-09-10 Hitachi High-Technologies Corp 欠陥分類装置
US11449980B2 (en) * 2016-07-08 2022-09-20 Ats Automation Tooling Systems Inc. System and method for combined automatic and manual inspection
JP6370509B2 (ja) * 2018-03-22 2018-08-08 三菱電機株式会社 発電機点検用ロボットの無限軌道走行装置、及び発電機点検用ロボットの移動体
JP2020051982A (ja) * 2018-09-28 2020-04-02 Ｊｆｅテクノリサーチ株式会社 画像検査装置及び検査モデル構築システム
CN114270370A (zh) * 2019-09-05 2022-04-01 三菱电机株式会社 推理装置、设备控制系统和学习装置
CN112360699A (zh) * 2020-10-22 2021-02-12 华能大理风力发电有限公司 一种全自动风力发电机组叶片智能巡视及诊断分析方法
CN112432667A (zh) * 2020-11-25 2021-03-02 深圳市特发信息股份有限公司 一种输电线路导线状态智能在线监测系统

Also Published As

Publication number Publication date
JPWO2022259380A1 (zh) 2022-12-15
WO2022259380A1 (ja) 2022-12-15
TWI857303B (zh) 2024-10-01
JP7004874B1 (ja) 2022-02-10
US20240242325A1 (en) 2024-07-18

Similar Documents

Publication Publication Date Title
CN109961421B (zh) 数据生成装置、数据生成方法以及数据生成记录介质
JP6693938B2 (ja) 外観検査装置
JP2000057349A (ja) 欠陥の分類方法およびその装置並びに教示用データ作成方法
JP6707920B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2020129439A (ja) 情報処理システムおよび情報処理方法
CN115443474A (zh) 学习装置、学习方法及推断装置
JPWO2019131742A1 (ja) 検査処理装置、検査処理方法、およびプログラム
JP2020042669A (ja) 検査装置及び機械学習方法
TW202248899A (zh) 檢查支援裝置、檢查支援系統、檢查支援方法及記錄媒體
JP2020042668A (ja) 検査装置及び機械学習方法
JP2002251603A (ja) 画像処理プログラム作成方法およびそのシステム
JP2023145412A (ja) 欠陥検出方法及びシステム
JP2019158684A (ja) 検査システム、識別システム、及び識別器評価装置
US20240362908A1 (en) Image analysis apparatus, image analysis method, and storage medium
EP3460729A1 (en) Information processing apparatus, system of assessing structural object, method of assessing structural object system of assessing structural object, and carrier means
JP6681082B2 (ja) 情報処理装置、情報システム、情報処理方法、およびプログラム
JP2007198968A (ja) 画像分類方法及び画像分類装置
CN108335287B (zh) 信息处理装置和信息处理方法
JP6341550B1 (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
JP7084634B2 (ja) 、情報処理装置、端末装置、情報処理方法、およびプログラム
JP6904062B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2020177429A (ja) 情報処理装置、情報処理方法及びプログラム
US20210150437A1 (en) Installing environment estimation device and computer readable medium
WO2022215446A1 (ja) 画像判定装置、画像判定方法、及び、プログラム
US20210056488A1 (en) Machine learning method and machine learning apparatus performing learning relating to work process