TWI839487B - 檢查支援系統 - Google Patents

Abstract

本發明提供一種可提高構造物檢查之作業效率及作業精度之檢查支援系統。本發明之檢查支援系統之特徵在於，自走裝置100基於依據第一檢查圖像之行走指令自走至目標位置，且拍攝第一檢查圖像中所含之攝影對象而取得第二檢查圖像，資訊處理裝置200自第二檢查圖像中所含之攝影對象之中提取適合於第一檢查圖像中所含之攝影對象的適合對象，且將對適合於適合對象之第一檢查圖像中所含之攝影對象可辨識地予以特定之特定資訊與該適合對象建立對應關係。

Description

檢查支援系統

本發明係關於一種檢查支援系統。

在日本經濟之高速增長期間，伴隨著高速公路及鐵路網等之社會基礎設施建設而建造較多之建築物。然而，近年來，該等建築物之經年劣化成為社會問題。 為了避免因經年劣化所致之事故，而定期檢測、維修成為對象之建築物是必不可缺的。另一方面，以嚴峻之商業環境及少子高齡化等之社會環境為要因，而擔負該龐大之檢查之操作人員有逐年減少之傾向。

鑒於此背景，作為此種檢查支援系統，本發明人已對下述之專利文獻1之發明進行了專利申請。 專利文獻1之發明係關於為了取得與構造物之檢查相關之各種檢查資料而自律行走之檢查機器人、及利用該檢查機器人收集檢查資料之檢查支援系統等者。 根據該發明，由於針對操作人員移動困難之場所，檢查機器人亦可自律收集檢查資料，故可謀求構造物之檢查之高效化。 [先前技術文獻] [專利文獻]

[專利文獻1]日本特開2015-111111號公報

[發明所欲解決之問題]

在進行專利文獻1之檢查機器人之自走控制時，其精度有其界限，難以自相同之角度重複拍攝成為檢查對象之構造物(例如，在每次定期進行之定期檢查時拍攝同一部位)。 因此，有可能成為降低檢查效率或誘發檢查錯誤之要因，專利文獻1之發明仍留有改善之餘地。

本發明係鑒於上述之問題而完成者，提供一種可提高構造物之檢查之作業效率及作業精度之檢查支援系統。 [解決問題之技術手段]

根據本發明提供一種檢查支援系統，其特徵在於使用構成為基於所接收之行走指令而可自走且搭載有拍攝用於檢查構造物之檢查圖像之攝影機構的自走裝置取得前述檢查圖像，且使所取得之前述檢查圖像儲存於資料庫，且前述檢查支援系統具備：圖像處理機構，其對於儲存於前述資料庫之前述檢查圖像，提取在該檢查圖像中拍攝到之一個或複數個攝影對象；特定資訊處理機構，其將對所提取之攝影對象各者可辨識地予以特定之特定資訊與攝影對象建立對應關係；檢索機構，其自儲存於前述資料庫之前述檢查圖像之中檢索第一檢查圖像；及指令產生機構，其產生用於使前述自走裝置朝可拍攝由前述檢索機構檢索到之前述第一檢查圖像中所含之攝影對象的目標位置自走之第一行走指令；且前述自走裝置基於所接收之前述第一行走指令自走至前述目標位置，且拍攝前述第一檢查圖像中所含之攝影對象而取得第二檢查圖像；前述圖像處理機構自前述第二檢查圖像中所含之攝影對象之中提取適合於前述第一檢查圖像中所含之攝影對象的適合對象；前述特定資訊處理機構將適合於前述適合對象之前述第一檢查圖像中所含之攝影對象之前述特定資訊與該適合對象建立對應關係。

根據上述發明，將事前拍攝且儲存於資料庫之圖像(第一檢查圖像)與事後拍攝之圖像(第二檢查圖像)相比，在拍攝到彼此適合之攝影對象之情形下，將特定事前拍攝之攝影對象之資訊(特定資訊)對於事後拍攝之攝影對象建立對應關係。 因而，由於即便在自不同之角度拍攝事前拍攝之攝影對象與事後拍攝之攝影對象之情形下，檢查者亦無須判斷攝影對象是否為相同者，故可提高檢查之作業效率及作業精度。 [發明之效果]

根據本發明，提供一種可提高構造物之檢查之作業效率及作業精度之檢查支援系統。

以下，針對本發明之實施形態利用圖式進行說明。此外，在所有之圖式中，對於同樣之構成要素賦予同一符號，且適宜地省略適說明。

＜檢查支援系統10之系統構成＞ 首先，針對檢查支援系統10之系統構成進行說明。 圖1係本發明之實施形態之檢查支援系統10之構成圖。

如圖1所示般，檢查支援系統10具備：自走裝置100、資訊處理裝置200、及資料庫300。 檢查支援系統10利用自走裝置100取得圖像資料，資訊處理裝置200對於自走裝置100所取得之圖像資料執行特定之處理，且將已執行特定之處理之圖像資料儲存於資料庫300。

自走裝置100所取得之圖像資料係用於構造物之檢查者。此處，構造物除一般之建築物以外，還包含道路、橋樑、工廠(plant)、水壩、堤防等。 在以下之說明中，方便上將自走裝置100取得之圖像資料稱為「檢查圖像」。

自走裝置100構成為基於自資訊處理裝置200接收之行走指令可自走。此處，所謂可自走係指具有在不搭載操作人員下可行走之機構。

自走裝置100搭載有攝影機構101、陀螺儀感測器102、距離感測器103、行走控制機構104、及收發機構105。

攝影機構101係拍攝存在於自走裝置100之周圍之對象物(以下稱為攝影對象)之裝置，係所謂之相機。可行的是，攝影機構101並不限定於可拍攝靜畫圖像者，可拍攝動畫。 陀螺儀感測器102計測攝影機構101朝向之方向、亦即可拍攝之方向。 距離感測器103測定攝影機構101至攝影對象之距離。 此外，在圖1中，雖然攝影機構101圖示為與陀螺儀感測器102及距離感測器103不同之構成，但其等可實現為一體之裝置。

行走控制機構104係控制自走裝置100之行走者。 且說，作為使移動體自律行走之技術，一般而言業已知悉SLAM(Simultaneous Localization and Mapping，同步定位與測繪)。 此處，SLAM係藉由根據圖像及感測器之檢測資訊等推定自身(自律行走機器人)相對於周圍之環境之相對位置，而一面迴避障礙物等一面實現自律行走之技術。藉由利用SLAM，而可與自律行走並行地製作周圍環境之地圖資料(三維之點群資料)。 在本實施形態中，自走裝置100之行走控制(行走控制機構104)雖然以應用SLAM之技術為前提，但可應用其以外之技術而實現。

收發機構105係自資訊處理裝置200接收各種資料，且對資訊處理裝置200發送各種資料者。例如，收發機構105可接收自資訊處理裝置200發送之行走指令，且可對資訊處理裝置200發送檢查圖像。

資訊處理裝置200使從自走裝置100接收之檢查圖像儲存於資料庫300。資訊處理裝置200既可由泛用之個人電腦實現，也可由特化用於檢查支援系統10之規格之電腦實現。

資訊處理裝置200具備：收發機構201、圖像處理機構202、特定資訊處理機構203、檢索機構204、及指令產生機構205。

收發機構201係從自走裝置100接收各種資料，且對自走裝置100發送各種資料者。 例如，收發機構201可接收從自走裝置100發送之檢查圖像，且可對自走裝置100發送行走指令。

圖像處理機構202對於儲存於資料庫300之檢查圖像，進行各種圖像處理。 例如，圖像處理機構202可執行：提取檢查圖像中拍攝到之一個或複數個攝影對象之圖像處理、及判別所提取之攝影對象是否為構造物中產生之劣化部分之圖像處理等。

特定資訊處理機構203將對由圖像處理機構202提取之攝影對象各者可辨識地予以特定之資訊(以下稱為特定資訊)，與攝影對象建立對應關係。 此處，特定資訊例如除了就每一攝影對象任意地決定之辨識資訊以外，並包含可客觀地特定攝影對象之唯一之資訊(例如，表示攝影對象所在之位置、範圍之資訊)。

檢索機構204自儲存於資料庫300之檢查圖像之中，檢索滿足某檢索條件之特定之檢查圖像。檢索機構204之檢索中使用之檢索條件無特別限制，可為使用者任意指定之條件，也可為預設之條件。 在以下之說明中，方便上將為了產生朝自走裝置100發送之行走指令而由檢索機構204檢索之檢查圖像稱為「第一檢查圖像」。有時將基於該行走指令行走之自走裝置100所取得之檢查圖像稱為「第二檢查圖像」，而予以相互區別。

指令產生機構205產生用於使自走裝置朝可拍攝由檢索機構204檢索到之第一檢查圖像中所含之攝影對象的目標位置自走之行走指令(以下稱第一行走指令)。 此處，「可拍攝第一檢查圖像中所含之攝影對象的目標位置」是指例如在拍攝到第一檢查圖像之時點自走裝置100所在之位置(嚴格而言乃被推定為所在之位置)，但該位置與上述之目標位置可未必一致。

如以上所說明般，檢查支援系統10可謂使用構成為基於所接收之行走指令而可自走且搭載有拍攝用於檢查構造物之檢查圖像之攝影機構101的自走裝置100取得檢查圖像，且使所取得之檢查圖像儲存於資料庫300者。 而且，檢查支援系統10可謂具備本發明之圖像處理機構202、特定資訊處理機構203、檢索機構204、及指令產生機構205。

＜關於由自走裝置100進行之檢查圖像之收集＞ 其次，針對由自走裝置100進行之檢查圖像之收集進行說明。 圖2(a)係檢查對象之構造物A之平面圖，圖2(b)係檢測構造物A之自走裝置100之移動路徑C之圖。 此外，圖2(b)所示之移動路徑C係一具體例，在本發明之實施中，容許自走裝置100在與移動路徑C不同之移動路徑中收集構造物A之檢查圖像。

如圖2(a)所示般，構造物A藉由複數個支柱、及設置於支柱之間之壁而被分為3個空間(空間A1、空間A2、空間A3)。 在檢查構造物A時，自走裝置100一面沿壁移動，一面全面地拍攝該壁，針對構造物A之所有壁收集檢查圖像。 更詳細而言，自走裝置100在拍攝到可自某一位置P1拍攝之區域R1之壁後，移動至下一位置P2，拍攝可自位置P2拍攝之區域R2之壁。此時，自走裝置100以區域R1與區域R2之端部連續或重複之方式決定自走裝置100移動之位置P2、及攝影機構101之攝影方向。自走裝置100無論在自位置P2其次移動至位置P3而自位置P3拍攝區域R3之壁之情形下，還是在自位置P3移動至下一位置P4而自位置P4拍攝區域R4之壁之情形下，均可藉由重複同樣之處理，而針對構造物A之壁，無遺漏地拍攝檢查圖像。

自走裝置100在拍攝到檢查圖像時，將表示該時點之時刻資訊、表示在時點所推定之自身之位置之位置資訊、表示由陀螺儀感測器102檢測到之該檢查圖像之攝影方向之向量資訊、及表示由距離感測器103測定到之攝影機構101至壁面之距離之距離資訊與該檢查圖像建立對應關係。 資訊處理裝置200藉由基於將自走裝置100所取得之檢查圖像與該檢查圖像建立對應關係之上述之資訊群之運算處理，而將構造物A之壁測繪為三維之點群資料。針對該運算處理，可應用已知之SLAM之技術之任一者，其方法無特別限制。

圖3係顯示將由資訊處理裝置200測繪之三維點群資料(構造物A之地圖資料)可視化之示意圖。 如圖3所示，資訊處理裝置200藉由如上述般導出三維點群資料，而可立體地解析構造物A之構造。 資訊處理裝置200可對於未圖示之顯示機構，以如圖3所示之立體表現顯示構造物A之構造。

圖4係顯示自走裝置100取得檢查圖像之處理程序之流程圖。

在步驟S102中，自走裝置100對資訊處理裝置200請求行走指令，且自資訊處理裝置200受理行走指令。 於在步驟S102中受理之行走指令中包含表示其次應移動之目標位置之資訊、或可運算出該目標位置之資訊，自走裝置100可基於該行走指令辨識下一目標位置。

在步驟S104中，自走裝置100在為初始狀態之情形下(在不具有構造物A之地圖資料之情形下)，一面計測構造物A之壁面與自身之相對位置，一面推定自身之位置，且自走至下一目標位置。或，自走裝置100在已具有構造物A之地圖資料之情形下，基於該地圖資料自走至下一目標位置。 步驟S104之自走控制持續進行至自走裝置100到達下一目標位置為止(在步驟S106為否之期間)，若自走裝置100到達下一目標位置(若步驟S106為是)，則前進至步驟S108之處理。

在步驟S108中，自走裝置100決定攝影機構101之攝影方向。該處理如上述般，以在前一目標位置處所拍攝之區域與此次拍攝之區域連續或重複之方式，決定攝影方向。 在步驟S110中，自走裝置100使攝影機構101以在步驟S108中決定之攝影方向拍攝。

在步驟S112中，自走裝置100對在步驟S110中所拍攝之檢查圖像賦予環境資訊。此處，環境資訊係包含表示拍攝到之時點之時刻資訊、表示拍攝時點時之自走裝置100之自身推定位置之位置資訊、表示攝影方向之向量資訊、及表示攝影機構101距壁面之距離之距離資訊的資訊群。

在步驟S114中，自走裝置100將經賦予環境資訊之檢查圖像發送至資訊處理裝置200。 若步驟S114之發送正常(在步驟S116為是之情形下)，前進至步驟S118之處理，若步驟S114之發送異常(在步驟S116為否之情形下)，重試步驟S114之發送。 此處，步驟S114之正常/異常可藉由例如存在來自資訊處理裝置200之ACK指令之應答等而判別。

在步驟S118之時點時，於自走裝置100之自身推定位置為最終之目標位置之情形下(在步驟S118為是之情形下)，結束由自走裝置100進行之檢查圖像之收集。 另一方面，在步驟S118之時點時，於自走裝置100之自身推定位置並非係最終之目標位置之情形下(在步驟S118為否之情形下)，前進至步驟S102，自走裝置100對資訊處理裝置200請求新的用於決定目標位置之行走指令。

＜關於由資訊處理裝置200進行之檢查圖像之儲存＞ 其次，針對由針對資訊處理裝置200進行之檢查圖像之儲存進行說明。 圖5係顯示資訊處理裝置200將檢查圖像儲存於資料庫300之處理程序之流程圖。

在步驟S202中，資訊處理裝置200基於對該檢查圖像賦予之環境資訊(尤其是，表示拍攝時點時之自走裝置100之自身推定位置之位置資訊、表示攝影方向之向量資訊、及表示攝影機構101距壁面之距離之距離資訊)，特定從自走裝置100接收到之檢查圖像為拍攝到構造物A之地圖資料之何處之範圍之圖像。

在步驟S204中，資訊處理裝置200(圖像處理機構202)自從自走裝置100接收到之檢查圖像之中提取攝影對象。此處所提取之攝影對象具體而言係在圖像解析中被解析為一個整體之對象物(物件)，也可換言為被區別於背景(壁面或地面)之物體。 於在步驟S204中未提取到攝影對象之情形下(在步驟S206為否之情形下)，前進至步驟S212。 另一方面，於在步驟S204中提取到攝影對象之情形下(在步驟S206為是之情形下)，前進至步驟S208。

在步驟S208中，資訊處理裝置200(圖像處理機構202)判別在步驟S204中所提取之攝影對象是否為劣化部分。此處，劣化部分例如若在檢查圖像中所拍攝者為混凝土壁則相當於裂痕(裂紋)，若在檢查圖像中所拍攝者為金屬構件則相當於鏽，若在檢查圖像中所拍攝者為塗裝壁(灰泥壁等)則可能相當於塗裝之剝落或浮起。

在步驟S210中，資訊處理裝置200(特定資訊處理機構203)對在步驟S204中所提取之攝影對象各者賦予可將彼此辨識之特定資訊。

將藉由上述之步驟S202～步驟S210之處理而產生之各種資訊(攝影範圍之位置資訊、有無攝影對象、攝影對象是否為劣化部分、攝影對象之特定資訊)，與檢查圖像及該檢查圖像中拍攝到之攝影對象建立對應關係，資訊處理裝置200(特定資訊處理機構203)使檢查圖像儲存於資料庫300。

此處，依照具體例，更詳細地說明利用圖5所說明之處理。 圖6(b)係顯示在某檢查中自位置P4拍攝到之檢查圖像T1之圖。 檢查圖像T1之攝影範圍係藉由步驟S202之處理而特定為圖6(a)所圖示之攝影範圍R41者。而且，資訊處理裝置200(圖像處理機構202)自檢查圖像T1之中，藉由步驟S204之處理而提取出攝影對象OB1(消防栓)、攝影對象OB2(構造物A之支柱)、及攝影對象OB3(裂痕)。 此情形下，在步驟S208之處理中，資訊處理裝置200(圖像處理機構202)判別為攝影對象OB1及攝影對象OB2非劣化部分，且判別為攝影對象OB3為劣化部分。 又，在步驟S210之處理中，資訊處理裝置200(特定資訊處理機構203)對攝影對象OB1～OB3各者賦予各自之辨識資訊(ID編號)、及各自之位置資訊。此處所賦予之攝影對象之位置資訊可特定為一點(單獨之點資料)，也可特定為範圍(複數個點資料)。

其次，設想在自拍攝到圖6(b)之檢查圖像T1之檢查起經過某程度之時間後進行之檢查中，拍攝用於與檢查圖像T1進行比較之檢查圖像T2。 此時，資訊處理裝置200對於自走裝置100，將用於將位置P4指定為可拍攝檢查圖像T1中拍攝到之攝影對象OB1～OB3之目標位置的行走指令發送至自走裝置100。 資訊處理裝置200朝自走裝置100發送該行走指令之時序，可為根據自走至位置P3且結束拍攝之自走裝置100之請求而指定下一目標位置之時序，也可為在初始狀態(檢查之最初之時點)下根據自走裝置100之請求而指定下一目標位置之時序。

自走裝置100基於該行走指令而自走至位置P4，且取得檢查圖像T2。此時，檢查圖像T2之攝影範圍(由步驟S202特定之範圍)係特定為攝影範圍R42(參照圖7(a))者。 將圖6(a)與圖7(a)比較可知，攝影範圍R41與攝影範圍R42往往成為略微不同之範圍。這是因為自走裝置100之自走控制之精度誤差為以數釐米單位產生者，即便作為自走裝置100之目標位置而指定之位置相同，實際之拍攝位置亦有可能不同。且，緣於根據自走裝置100朝該目標位置之進入角度之不同，而用於納入攝影對象OB1～OB3之攝影機構101之攝影方向亦有可能變化之故。

資訊處理裝置200(圖像處理機構202)自拍攝到如上述之攝影範圍R42之檢查圖像T2之中，藉由步驟S204之處理而提取到攝影對象OB4(消防栓)、攝影對象OB5(構造物A之支柱)、攝影對象OB6(裂痕)、及攝影對象OB7(裂痕)。

此處，由於攝影對象OB4為與攝影對象OB1大致相同之形狀，攝影對象OB5為與攝影對象OB2大致相同之形狀，故資訊處理裝置200(圖像處理機構202)將攝影對象OB4提取為適合於攝影對象OB1(適合對象)者，將攝影對象OB5提取為適合於攝影對象OB2(適合對象)者。 因而，資訊處理裝置200(特定資訊處理機構203)對攝影對象OB4賦予對攝影對象OB1賦予之特定資訊，對攝影對象OB5賦予對攝影對象OB2賦予之特定資訊。

換言之，自走裝置100可謂基於所接收之第一行走指令(基於檢查圖像T1之行走指令)自走至目標位置，且拍攝第一檢查圖像(檢查圖像T1)中所含之攝影對象而取得第二檢查圖像(檢查圖像T2)。 此時，圖像處理機構202可謂自第二檢查圖像中所含之攝影對象之中提取適合於第一檢查圖像中所含之攝影對象(攝影對象OB1及攝影對象OB2)之適合對象(攝影對象OB4及攝影對象OB5)。而且，特定資訊處理機構203可謂將與適合對象相適合之第一檢查圖像中所含之攝影對象之特定資訊與該適合對象建立對應關係。

藉此，將用於該拍攝之成為自走控制之根源之特定檢查圖像T1之攝影對象的資訊(特定資訊)，對於事後拍攝之檢查圖像T2中所拍攝之攝影對象建立對應關係。 因而，由於即便在事前拍攝之攝影對象與事後拍攝之攝影對象自不同之角度被拍攝到之情形下，檢查者亦無須判斷攝影對象是否為相同者，故可提高檢查之作業效率及作業精度。

又，雖然攝影對象OB6為與攝影對象OB3不同之形狀，但若攝影對象OB6與攝影對象OB3同樣地為裂痕，則可根據形狀及色彩等進行圖像解析，由於相互之位置大致吻合，故資訊處理裝置200(圖像處理機構202)推定為攝影對象OB6為攝影對象OB3進展而成者，且提取攝影對象OB6而作為相互適合(適合對象)者。 因而，資訊處理裝置200(特定資訊處理機構203)對攝影對象OB6賦予對攝影對象OB3賦予之特定資訊。

換言之，圖像處理機構202可謂在將自第二檢查圖像(檢查圖像T2)中所含之攝影對象之中所提取之第二劣化部分(攝影對象OB6)、與自第一檢查圖像(檢查圖像T1)中所含攝影對象之中所提取之第一劣化部分(攝影對象OB3)進行比較且相互適合之情形下，自第二檢查圖像中所含之攝影對象之中提取第二劣化部分而作為適合對象。而且，特定資訊處理機構203可謂將第一劣化部分之特定資訊對於所提取之第二劣化部分建立對應關係。 此時，圖像處理機構202可謂藉由將第二劣化部分(攝影對象OB6)與第一劣化部分(攝影對象OB3)進行比較，而執行推定第一劣化部分是否進展成為第二劣化部分之推定處理，在推定處理被肯定之情形下，提取第二劣化部分而作為對於第一劣化部分之適合對象。

藉此，由於即便為如裂痕般經時地進展(形狀或色彩變化)者，亦可以極高之精度將以前之檢查時之劣化狀況與之後之檢查時之劣化狀況建立對應關係，故可提高檢查之作業效率及作業精度。

另一方面，攝影對象OB7可解析為與攝影對象OB6不同之裂痕，與在檢查圖像T1中所拍攝之攝影對象OB1～OB3之任一者均不適合。因而，資訊處理裝置200(圖像處理機構202)將攝影對象OB7提取為非適合對象。 此時，資訊處理裝置200(特定資訊處理機構203)對攝影對象OB7賦予與對攝影對象OB1～OB3賦予之特定資訊不同之特定資訊。惟，在對攝影對象OB7賦予位置資訊而作為特定資訊之情形下，較佳為，基於周圍之攝影對象(尤其是，可能視為不動之對象物之並非係劣化部分之攝影對象(攝影對象OB4及攝影對象OB5))之位置資訊，資訊處理裝置200(特定資訊處理機構203)決定對攝影對象OB7賦予之位置資訊。這是因為，基於適切地進行檢查之觀點，較佳為在同一檢查圖像T2中所拍攝之攝影對象之位置資訊以較高之精度取得整合。 更佳為，資訊處理裝置200(特定資訊處理機構203)可鑒於檢查圖像T2之拍攝時之自走裝置100之目標位置(自身推定位置之位置資訊)、及檢查圖像T2之拍攝時之攝影機構101之攝影方向(向量資訊)，而決定對攝影對象OB7賦予之位置資訊。此係為了提高位置資訊之運算精度。

換言之，較佳為，特定資訊處理機構203利用與第二檢查圖像中所含之適合對象(攝影對象OB4、攝影對象OB5)建立對應關係之位置資訊，決定與第二檢查圖像(檢查圖像T2)中所含之攝影對象中之不符合適合對象之非適合對象(攝影對象OB7)建立對應關係之位置資訊。 更佳為，可行的是，特定資訊處理機構203除利用與第二檢查圖像中所含之適合對象建立對應關係之位置資訊以外，還利用拍攝到第二檢查圖像時之目標位置、及拍攝到第二檢查圖像時之攝影機構101之攝影方向，決定與第二檢查圖像(檢查圖像T2)中所含之攝影對象中之非適合對象(攝影對象OB7)建立對應關係之位置資訊。

此外，在對攝影對象OB7賦予辨識資訊(ID編號)而作為特定資訊之情形下，針對成為與攝影對象OB1～OB3之任一者均不同者情形，顯然無需特別說明。

＜變化例＞ 以上所說明之本發明之實施形態在達成本發明之目的之範圍內可進行各種變化。 以下，言及尚未說明之本發明之變化例。

可省略圖1所圖示之系統構成中所含之構成要素中之一部分，且可追加未圖示之構成要素。 又，可將自走裝置100所具有之構成要素之一部分變更為由資訊處理裝置200具備，可將資訊處理裝置200所具有之構成要素之一部分變更為由自走裝置100具備。

既可省略圖4及圖5之流程圖中所含之程序(步驟)中之一部分，也可追加未圖示之程序。 又，圖示之程序係一具體例，可在無障礙之範圍內施加置換處理之順序之將串行處理之順序置換為並行處理等之變更。

雖然說明了檢索機構204之檢索之檢索條件無特別限制之意旨，但在檢查之目的為構造物之劣化診斷之情形下，較佳為，可以劣化部分為所拍攝之檢查圖像為檢索條件進行檢索。 換言之，較佳為，檢索機構204可將儲存於資料庫300之檢查圖像中所含之攝影對象為劣化部分者檢測為第一檢查圖像，自走裝置100基於依據第一檢查圖像之行走指令(第一行走指令)自走至目標位置，且拍攝第一檢查圖像中所含之攝影對象而可獲得第二檢查圖像。

由圖像處理機構202進行之各種圖像處理可基於將儲存於資料庫300之檢查圖像用作示教資料之機器學習而執行。 尤其是，針對事後拍攝之檢查圖像之劣化部分是否為事前拍攝之檢查圖像之劣化部分進展而成者之推定處理，藉由機器學習之處理為合用。 此外，針對判別自檢查圖像所提取之攝影對象是否為在構造物產生之劣化部分之處理亦然，藉由機器學習之處理為合用。

本實施形態包含以下之技術思想。 (1)一種檢查支援系統，其特徵在於使用構成為基於所接收之行走指令而可自走且搭載有拍攝用於檢查構造物之檢查圖像之攝影機構的自走裝置取得前述檢查圖像，且使所取得之前述檢查圖像儲存於資料庫，且前述檢查支援系統具備：圖像處理機構，其對於儲存於前述資料庫之前述檢查圖像，提取在該檢查圖像中拍攝到之一個或複數個攝影對象；特定資訊處理機構，其將對所提取之攝影對象各者可辨識地予以特定之特定資訊，與攝影對象建立對應關係；檢索機構，其自儲存於前述資料庫之前述檢查圖像之中檢索第一檢查圖像；及指令產生機構，其產生用於使前述自走裝置朝可拍攝由前述檢索機構檢索到之前述第一檢查圖像中所含之攝影對象之目標位置自走之第一行走指令；且前述自走裝置基於所接收之前述第一行走指令自走至前述目標位置，且拍攝前述第一檢查圖像中所含之攝影對象而取得第二檢查圖像；前述圖像處理機構自前述第二檢查圖像中所含之攝影對象之中提取適合於前述第一檢查圖像中所含之攝影對象的適合對象；前述特定資訊處理機構將適合於前述適合對象之前述第一檢查圖像中所含之攝影對象之前述特定資訊，與該適合對象建立對應關係。 (2)如(1)之檢查支援系統，其中前述圖像處理機構可判別所提取之攝影對象是否為前述構造物中產生之劣化部分；且前述圖像處理機構在將自前述第二檢查圖像中所含之攝影對象之中所提取之第二劣化部分、與自前述第一檢查圖像中所含之攝影對象之中所提取之第一劣化部分進行比較且相互適合之情形下，自前述第二檢查圖像中所含之攝影對象之中提取前述第二劣化部分作為前述適合對象；前述特定資訊處理機構將前述第一劣化部分之前述特定資訊對所提取之前述第二劣化部分建立對應關係。 (3)如(2)之檢查支援系統，其中圖像處理機構藉由將前述第二劣化部分與前述第一劣化部分進行比較，而執行推定前述第一劣化部分是否進展成為前述第二劣化部分之推定處理，在前述推定處理為肯定之情形下，提取前述第二劣化部分作為對於前述第一劣化部分之前述適合對象。 (4)如(3)之檢查支援系統，其中由前述圖像處理機構進行之前述推定處理，乃基於將儲存於前述資料庫之前述檢查圖像用作示教資料之機器學習而執行。 (5)如(1)至(4)中任一項之檢查支援系統，其中前述特定資訊處理機構以前述構造物之攝影對象之位置資訊為前述特定資訊，而與自前述檢查圖像所提取之該攝影對象建立對應關係，且使用與前述第二檢查圖像中所含之前述適合對象建立對應關係之位置資訊，決定與前述第二檢查圖像中所含之攝影對象中不符合前述適合對象之非適合對象建立對應關係之位置資訊。 (6)如(5)之檢查支援系統，前述特定資訊處理機構除使用與前述第二檢查圖像中所含之前述適合對象建立對應關係之位置資訊以外，並使用拍攝前述第二檢查圖像時之前述目標位置、及拍攝前述第二檢查圖像時之前述攝影機構之攝影方向，決定與前述第二檢查圖像中所含之攝影對象中之前述非適合對象建立對應關係之位置資訊。 (7)如(1)至(6)中任一項之檢查支援系統，其中前述圖像處理機構可判別所提取之攝影對象是否為前述構造物中產生之劣化部分；且前述檢索機構可將儲存於前述資料庫之前述檢查圖像中所含之攝影對象為劣化部分者檢索為前述第一檢查圖像。 (8)如(7)之檢查支援系統，其中由前述圖像處理機構進行之劣化部分之判別，乃基於將儲存於前述資料庫之前述檢查圖像用作示教資料之機器學習而執行。

本發明申請案主張以2019年6月3日申請之日本專利申請案2019-103834為基礎之優先權，將該揭示之所有內容納入本申請案中。

100:自走裝置 101:攝影機構 102:陀螺儀感測器 103:距離感測器 104:行走控制機構 105:收發機構 200:資訊處理裝置 201:收發機構 202:圖像處理機構 203:特定資訊處理機構 204:檢索機構 205:指令產生機構 300:資料庫 A:構造物 A1:空間 A2:空間 A3:空間 C:移動路徑 OB1:攝影對象 OB2:攝影對象 OB3:攝影對象 OB4:攝影對象 OB5:攝影對象 OB6:攝影對象 OB7:攝影對象 P1:位置 P2:位置 P3:位置 P4:位置 R1:區域 R2:區域 R3:區域 R4:區域

圖1係本發明之實施形態之檢查支援系統之構成圖。 圖2(a)係檢查對象之構造物之平面圖，圖2(b)係顯示檢查構造物A之自走裝置之移動路徑之圖。 圖3係將由資訊處理裝置測繪之三維資料可視化之示意圖。 圖4係顯示自走裝置取得檢查圖像之處理程序之流程圖。 圖5係顯示資訊處理裝置將檢查圖像儲存於資料庫之處理程序之流程圖。 圖6(a)係顯示檢查圖像之攝影範圍之圖，圖6(b)係顯示在檢查圖像中所拍攝之攝影對象之圖。 圖7(a)係顯示檢查圖像之攝影範圍之圖，圖7(b)係顯示在檢查圖像中所拍攝之攝影對象之圖。

A:構造物

A1:空間

A2:空間

A3:空間

C:移動路徑

P1:位置

P2:位置

P3:位置

P4:位置

R1:區域

R2:區域

R3:區域

R4:區域

Claims (6)

1. 一種檢查支援系統，其特徵在於使用構成為基於所接收之行走指令而可自走且搭載有拍攝用於檢查構造物之檢查圖像之攝影機構的自走裝置取得前述檢查圖像，且使所取得之前述檢查圖像儲存於資料庫，且前述檢查支援系統具備：圖像處理機構，其對於儲存於前述資料庫之前述檢查圖像，提取該檢查圖像中拍攝到之一個或複數個攝影對象，可判別所提取之攝影對象是否為前述構造物中產生之劣化部分；特定資訊處理機構，其將前述構造物之每一攝影對象之位置資訊與各個攝影對象建立對應關係，而作為對所提取之攝影對象各者可辨識地予以特定之特定資訊；檢索機構，其自儲存於前述資料庫之前述檢查圖像之中檢索第一檢查圖像；及指令產生機構，其產生用於使前述自走裝置朝可拍攝由前述檢索機構檢索到之前述第一檢查圖像中所含之攝影對象的目標位置自走之第一行走指令；且前述自走裝置基於所接收之前述第一行走指令自走至前述目標位置，且拍攝前述第一檢查圖像中所含之攝影對象而取得第二檢查圖像；前述圖像處理機構自前述第二檢查圖像中所含之攝影對象之中提取適合於前述第一檢查圖像中所含之攝影對象的適合對象；前述特定資訊處理機構將適合於前述適合對象之前述第一檢查圖像中所含之攝影對象之前述特定資訊，與該適合對象建立對應關係； 在自前述第二檢查圖像所提取之攝影對象之中包含第二劣化部分的情形下，藉由將包含於自前述第一檢查圖像所提取之攝影對象之第一劣化部分與前述第二劣化部分針對各者之形狀、色彩及位置進行比較，而藉由前述圖像處理機構執行推定前述第一劣化部分是否進展成為前述第二劣化部分者之推定處理；在前述推定處理為肯定之情形下，前述圖像處理機構提取前述第二劣化部分而作為對於前述第一劣化部分之前述適合對象，前述特定資訊處理機構賦予作為前述第一劣化部分之前述特定資訊所給予的位置資訊，作為所提取之前述第二劣化部分之前述特定資訊；在前述推定處理為否定之情形下，前述圖像處理機構對於前述第一檢查圖像提取前述第二劣化部分作為非適合對象，前述特定資訊處理機構賦予基於作為未判別為劣化部分之其他攝影對象之前述特定資訊所給予的位置資訊而決定之位置資訊，作為所提取之前述第二劣化部分之前述特定資訊。
2. 如請求項1之檢查支援系統，其中由前述圖像處理機構進行之前述推定處理，乃基於將儲存於前述資料庫之前述檢查圖像用作示教資料之機器學習而執行。
3. 如請求項1之檢查支援系統，其中前述特定資訊處理機構除使用與前述第二檢查圖像中所含之前述適合對象建立對應關係之位置資訊以外，並使用拍攝前述第二檢查圖像時之前述目標位置、及拍攝前述第二檢查圖像時之前述攝影機構之攝影方向，決定與前述第二檢查圖像中所含之攝影對 象中之前述非適合對象建立對應關係之位置資訊。
4. 如請求項2之檢查支援系統，其中前述特定資訊處理機構除使用與前述第二檢查圖像中所含之前述適合對象建立對應關係之位置資訊以外，並使用拍攝前述第二檢查圖像時之前述目標位置、及拍攝前述第二檢查圖像時之前述攝影機構之攝影方向，決定與前述第二檢查圖像中所含之攝影對象中之前述非適合對象建立對應關係之位置資訊。
5. 如請求項1至4中任一項之檢查支援系統，其中前述圖像處理機構可判別所提取之攝影對象是否為前述構造物中產生之劣化部分；且前述檢索機構可將儲存於前述資料庫之前述檢查圖像中所含之攝影對象為劣化部分者檢索為前述第一檢查圖像。
6. 如請求項5之檢查支援系統，其中由前述圖像處理機構進行之劣化部分之判別，乃基於將儲存於前述資料庫之前述檢查圖像用作示教資料之機器學習而執行。