TW202008278A - 資訊處理裝置、資訊處理系統、方法及程式 - Google Patents

Abstract

本發明之檢驗資料接收部(120) 係由可攜式裝置接收在對接收診斷對象之檢驗作業中由可攜式裝置所收集之檢驗資料。學習部(130)係將過去所收集之檢驗資料輸入至類神經網路，並針對診斷對象有無損傷之診斷使之進行學習。診斷部(140)係將由檢驗資料接收手段所接收到之檢驗資料輸入至類神經網路，且由類神經網路之輸出來診斷出診斷對象有無損傷。指示部(150)係由診斷部(140)針對診斷對象所診斷之診斷結果，判斷檢驗作業之指示的內容，並將依據所判別之結果的指示傳送至可攜式裝置。

Description

資訊處理裝置、資訊處理系統、方法及程式

本發明係關於一種資訊處理裝置、資訊處理系統、方法及程式。

為了在工廠設備中維持安全及品質、機器之維修檢驗是不可或缺的。因此、在例如化學工廠中、為了檢驗管、槽等、複數個作業者會一面巡迴於工廠內、一面進行檢驗。

就作業者進行日常性之非破壊檢驗而言，具有目視檢查及敲打音檢查。例如，作業者係目視管，或是由敲打管時之敲打音來判斷管是否產生損傷。目視檢查及敲打音檢查係指由作業者之人工作業所進行之檢驗，因此作業者為了要正確地判斷是否有異常之發生，作業者必須累積經驗，且具有熟練之技能。因此，經驗較淺之作業者係與具有熟練之技能的作業者同行來累積作業之經驗。並且，會有下述之實際情況：在沒有具熟練之技能的作業者之情形下，經驗較淺之作業者係一面閲讀使用指南或是從控制管理室接收來自電話之指示，一面進行作業。

在專利文獻1所述之資訊處理系統中，記載有：在工廠中，將作業者所読取之測量器的指示值、及調整生產裝置之動作參數的調整量從作業者所攜帶之可穿戴式電腦傳送至主電腦。主電腦係將所收集之測量器的指示值及由作業者所進行之動作參數之調整量傳送至其他作業者所攜帶之可穿戴式電腦。 (先前技術文獻) (專利文獻)

專利文獻1：日本特開2001-22505號公報

(發明所欲解決之課題)

在專利文獻1中，在作業者之間，僅止於分享其他作業者所負責之測量器的指示值與動作參數之調整量，最後必須由作業者本身以負責之測量器的指示值進行異常發生之有無的判斷。然而，就經驗淺之作業者而言，難以進行適當之判斷。

本發明係鑑於上述實情而研創完成者，其目的在於由檢驗資料針對診斷對象進行診斷，且對作業者提示有關檢驗之適當的程序。 (解決課題之手段)

為了達成上述目的，在本發明之資訊處理裝置中，檢驗資料接收手段係在對診斷對象之檢驗作業中，由可攜式裝置接收藉由可攜式裝置所收集之檢驗資料。學習手段係將過去所收集之檢驗資料輸入至類神經網路(neuoral network)，並針對診斷對象有無損傷之診斷使之進行學習。診斷手段係將由檢驗資料接收手段所接收到之檢驗資料輸入至類神經網路，且由類神經網路之輸出來診斷出診斷對象有無損傷。指示手段係將顯示作業者對診斷對象應進行之檢驗作業之方法的指示、及顯示對應於診斷手段針對診斷對象所診斷之診斷結果作業者應採取之處置內容的指示傳送至可攜式裝置。 (發明之效果)

本發明之資訊處理裝置係在針對診斷對象之檢驗作業中，將由可攜式裝置所收集之檢驗資料輸入至類神經網路，而由類神經網路之輸出來診斷出診斷對象有無損傷。將依據診斷結果之指示傳送至可攜式裝置。藉由具備上述構成，可由檢驗資料針對診斷對象進行診斷，且對作業者提示有關檢驗之適當的順序。

以下，針對本發明實施形態之資訊處理系統1，一面參照圖式，一面詳細地說明。 (實施形態)

如第1圖所示，本發明之實施形態1之資訊處理系統1係包含資訊處理裝置100、及複數個可攜式裝置200。資訊處理系統1係管理例如化學工廠、鋼鐵工廠等之維修檢驗業務的系統。資訊處理裝置100係由可攜式裝置200所收集之工廠內的設備之檢驗資料，進行工廠內之設備是否發生損傷之診斷。

資訊處理裝置100係設置在工廠之控制管理室。一面對工廠之範圍內進行巡迴，一面進行檢驗作業之作業者50係分別攜帶可攜式裝置200。可攜式裝置200係如第2圖所示，由作業者50裝著之可穿戴式電腦。具體而言，可攜式裝置200係一體地安裝在作業者50所穿戴之安全帽10。如第1圖所示，資訊處理裝置100及可攜式裝置200係進行無線通信。例如，資訊處理裝置100係將對作業者50之指示傳送至可攜式裝置200。可攜式裝置200係將所取得之檢驗資料傳送至資訊處理裝置100。檢驗資料係顯示診斷對象之狀態的資料。在實施形態中，檢驗資料係包含由作業者50進行之敲打音檢查的敲打音之聲音資料、及對診斷對象進行攝影之圖像資料、及氣體濃度之測定值。

資訊處理裝置100係作為硬體構成，具有：記憶各種資料之記憶體101；檢測出使用者之輸入操作之輸入裝置102；將圖像輸出至顯示裝置之輸出裝置103；與其他裝置進行無線通信之無線通信電路104；及控制資訊處理裝置100整體之處理器105。記憶體101、輸入裝置102、輸出裝置103、及無線通信電路104皆係透過匯流排109連接在處理器105，且與處理器105進行通信。

記憶體101係包含揮發性記憶體及非揮發性記憶體，且記憶程式及各種資料。並且，記憶體101係使用作為處理器105之工件記憶體。並且，記憶體101係記憶用以實現資訊處理裝置100之檢驗作業處理的程式1000。

輸入裝置102係包含鍵盤、滑鼠、觸控面板等，且檢測出控制管理室內之使用者的輸入操作，並且將顯示所檢測出之使用者的輸入操作之信號輸出至處理器105。

輸出裝置103係包含顯示器、觸控面板等，且顯示依據從處理器105供給之信號的圖像。輸出裝置103係回應於例如控制管理室內之使用者的操作，將工廠範圍內的地圖顯示在顯示器。並且，輸出裝置103係將可攜式裝置200所攝影之圖像資料顯示在顯示器。

無線通信電路104係具有天線104a，且包含用以進行其他裝置與無線通信之網路工件介面電路。無線通信電路104係將從處理器105供給之資料轉換成電氣信號，且使電氣信號乘載於電波並予以輸出。並且，無線通信電路104係接收從其他裝置輸出之電波，將乘載於電波之電氣信號還原成資料並輸出至處理器105。

處理器105係包含CPU(Central Processing Unit)，且執行記憶於記憶體101之各種程式，以實現資訊處理装置100之各種功能。處理器105係更具備AI(Artificial Intelligence；人工智慧)用之專用處理器。

如第2圖所示，可攜式裝置200係一體地安裝在作業者50穿戴之安全帽10之AR(Augmented Reality；擴增虛擬實境)之頭戴型顯示器。如第1圖所示，可攜式裝置200係作為硬體構成，具有記憶各種資料之記憶體201；將從資訊處理裝置100供給之資訊提示給作業者50之輸出裝置202；收集有關檢驗之資料的收集裝置203；進行其他裝置與無線通信之無線通信電路204；及控制可攜式裝置200整體之處理器205。記憶體201、輸出裝置202、收集裝置203、及無線通信電路204皆係透過匯流排209連接在處理器205，且與處理器205通信。

記憶體201係包含揮發性記憶體、非揮發性記憶體，且記憶程式及各種資料。記憶體201係使用作為處理器205之工件記憶體。並且，記憶體201係用以實現可攜式裝置200之檢驗資料之收集處理的程式2000。記憶體201係收容在第2圖所示之本體部20。

輸出裝置202係具有顯示面板202a及揚聲器202b。顯示面板202a係依據處理器205之控制，將從資訊處理裝置100接收到的圖像顯示在顯示面板202a。顯示在顯示面板202a之圖像係顯示例如對於作業者50之作業之指示的圖像。如第2圖所示，在實施形態中，顯示面板202a係以位於作業者50之單方之眼前的方式配置。顯示面板202a係作成為具有覆蓋作業者50之單方之眼睛的程度之大小者。

如第1圖所示，揚聲器202b係依照處理器205之控制，輸出從資訊處理裝置100接收到之聲音。從揚聲器202b輸出之聲音係例如為顯示對於作業者50之作業之指示的聲音。揚聲器202b係收容在第2圖所示之本體部20。

如第1圖所示，收集装置203係具有攝影機203a、麥克風203b、氣體檢知感測器203c、及GPS(Global Positioning System；全球定位系統)接收機203d，且依據處理器205之控制來收集檢驗之各種資料。

如第2圖所示，攝影機203a係以朝向與透鏡作業者50之視線相同之方向的方式，配置在作業者50之臉的側面。攝影機203a係對存在於作業者50面向之方向之診斷對象進行攝影。攝影機203a係在電源導通之期間繼續進行攝影，並將所攝影之圖像資料輸出至處理器205。

如第2圖所示，麥克風203b係安裝在作業者50之臉的側面且由安全帽10及攝影機203a所夾持之位置。麥克風203b係收集由作業者50所發出之聲音、及因敲打音檢查所發出之敲打音等。麥克風203b係當檢測出聲音之輸入時，將所收集之聲音輸出至處理器205。

氣體檢知感測器203c係抽吸周圍之空氣，並測量空氣中所指定之氣體的濃度，且將測定值輸出至處理器205。如第2圖所示，氣體檢知感測器203c係透過纜線203e連接在本體部20。氣體檢知感測器203c係透過纜線203e將測定值輸出至處理器205。這是由於作業者50使氣體檢知感測器203c動作，而可抽吸周圍之氣體之故。

第1圖所示之GPS接收機203d係由GPS衛星所接收之衛星電波，來特定作業者50之現在位置，並將顯示所特定之位置的位置資料輸出至處理器205。GPS接收機203d所輸出之位置資料係以三維座標來表示者。在GPS接收機203d中，在所預定之每一期間，例如每隔1分鐘將顯示作業者50之現在位置的資訊輸出至處理器205。GPS接收機203d係收容在第2圖所示之本體部20。

第1圖所示之無線通信電路204係具有天線204a，且進行與其他裝置之無線通信電路無線通信。無線通信電路204係將從處理器205供給之資料轉換成電氣信號，並使電氣信號乘載於電波並予以輸出。並且，無線通信電路204係接收從其他裝置輸出之電波，並將乘載於電波之電氣信號復原成資料並輸出至處理器205。無線通信電路204係收容在第2圖所示之本體部20。

第1圖所示之處理器205係包含CPU，且實行記憶在記憶體201之各種程式，以實現可攜式裝置200之各種功能。

並且，處理器205係執行程式2000，且執行檢驗資料之收集處理。處理器205係在所設定之每一期間，將攝影機203a所輸出之圖像資料經由無線通信電路204傳送至資訊處理裝置100。處理器205係當麥克風203b輸出聲音資料時，經由無線通信電路204將該聲音資料傳送至資訊處理裝置100。處理器205係當氣體檢知感測器203c輸出氣體濃度之測定值時，透過無線通信電路204將該測定值傳送至資訊處理裝置100。處理器205係在檢驗資料以外，在所設定之每一期間，將顯示GPS接收機203d輸出之作業者50之現在位置的資訊經由無線通信電路204傳送至資訊處理裝置100。處理器205係收容在第2圖所示之本體部20。

如第3A圖所示，資訊處理裝置100係就功能而言，包含：記憶檢驗及診斷相關之各種資料的記憶部110；從可攜式裝置200接收檢驗資料之檢驗資料接收部120；進行深度學習之學習部130；由檢驗資料接收部120所接收到之檢驗資料及學習部130之學習結果來診斷出診斷對象之損傷之有無的診斷部140；及判斷對作業者50之指示的內容，並將所判別之指示內容輸出至可攜式裝置200之指示部150。檢驗資料接收部120係本發明之檢驗資料接收手段之一例。學習部130係本發明之學習手段的一例。診斷部140係本發明之診斷手段的一例。指示部150係本發明之指示手段的一例。

在實施形態中，資訊處理裝置100係使用學習完成之類神經網路，以診斷是否在診斷對象發生損傷。資訊處理裝置100所輸出之診斷結果係在診斷對象未產生損傷之診斷結果、或是在診斷對象產生損傷之診斷結果的任一者。

記憶部110係記憶檢驗及診斷相關之各種資料。具體而言，記憶部110係記憶：檢驗作業相關之檢驗說明指南111；檢驗之實施相關之履歷資料112；檢驗用之各種基準資料113；定義類神經網路之學習模式114；學習資料115；及儲存顯示相對於診斷對象之處置內容的資料之處置表116。記憶部110之功能係藉由記憶體101而實現。處置表116係本發明之處置資訊記憶手段的一例。

檢驗說明指南111係包含檢驗對象之位置、檢驗方法相關之資訊。檢驗說明指南111係包含：工廠範圍內之地圖資料；及屬於工廠範圍內之診斷對象之管、槽等位置的位置資料。此外，診斷對象之位置資料係以三維座標來表示者。

再者，檢驗說明指南111係包含在敲打音檢查時，顯示敲打診斷對象之位置的資訊。針對顯示敲打診斷對象之位置的資訊，亦以三維之座標來表示。例如，在診斷對象為延伸於範圍內之管時，利用對1個管之敲打音檢查，會有必須敲打複數個部位之情形。在此情形下，檢驗說明指南111係除了敲打管之位置之外，亦包含顯示敲打管之順序的資訊。

具體而言，履歷資料112係包含有：檢驗履歷之資料，係包含從可攜式裝置200接收到的檢驗資料及實施該檢驗之日期時間；特定診斷對象之資訊；及診斷結果資料。如前所述，在檢驗資料中，包含有對診斷對象進行攝影之圖像資料、由作業者進行敲打音檢查之敲打音的聲音資料、及氣體濃度之測定值。特定診斷對象之資訊係例如顯示診斷對象之位置的資訊。診斷結果資料係包含：顯示診斷部140由檢驗資料診斷之診斷結果的資料。例如，診斷結果資料係顯示診斷對象之損傷之發生的有無。

基準資料113係包含顯示敲打音檢查之聲音之適當之大小的基準值。指示部150係在從可攜式裝置200所接收之敲打音的大小未達該基準值時，透過可攜式裝置200對作業者50發出更強力地敲打之指示。再者，基準資料113係記憶判斷是否發生氣體洩漏之作為基準的氣體濃度之臨限值。

學習模式11係包含類神經網路之形狀、及定義規模之資訊。具體而言，學習模式114係包含：顯示學習模式之數式；中間層之總數、各層之神經元(節點)的個數、及各神經元之加權係數等。在實施形態中，記憶部110係記憶適合於圖像認識之學習模式、及適合於聲音認識之學習模式。這是由於診斷部140將對診斷對象進行攝影而得之圖像資料及敲打音之聲音資料輸入至學習完成之類神經網路，並且由類神經網路之輸出來進行診斷之故。記憶部110所記憶之學習模式的各神經元之加權係數係藉由學習部130之學習而被更新。

學習資料115係在後述之學習部130的學習中，包含：分別針對過去所收集之檢驗資料，分類成檢驗對象之有損傷或檢驗對象之無損傷的資料。

例如，假設診斷對象為管。此時，學習資料115係包含：發生損傷之管的圖像資料；敲打發生損傷之管時之敲打音的聲音資料；及顯示針對各個診斷對象之損傷之有無的值經彙整後的資料。再者，學習資料115係包含：未發生損傷之管的圖像資料；敲打未發生損傷之管時之敲打音的聲音資料；及顯示針對各個診斷對象之損傷之有無的值經彙整後的資料。包含在學習資料115之圖像資料、及聲音資料係可為在過去之檢驗時由可攜式裝置200所收集之資料，亦可為由其他機器例如個別之攝影機、麥克風等所收集之資料。此外，學習資料115係依據診斷對象之材質、診斷對象的大小、流動於內部之氣體等診斷對象相關之前提而進行群組分類者。包含在學習資料115之檢驗資料係針對具有損傷之檢驗對象的資料，但是否為針對無損傷之檢驗對象的資料之分類，係由依據例如過去檢驗中所收集之圖像、聲音資料而熟練之作業者進行判斷之診斷結果所成者。

處置表116係定義依每個診斷對象診斷出在診斷對象發生損傷等時作業者50應採取之對處方法的表。在第3B圖所示之例中，當診斷出發生氣體洩漏時，係作為對處方法定義為將閥關閉。在診斷出管損傷時，係定義為要報告。此時，必須進行管之更換，且在對控制管理室報告之後，進行管之修補作業、更換作業等。

檢驗資料接收部120係從可攜式裝置200接收診斷對象之檢驗資料之輸入。檢驗資料接收部120之功能係藉由無線通信電路104及處理器105而實現。檢驗資料接收部120係使從可攜式裝置200所接收之檢驗資料、及所接收之日時及可攜式裝置200之位置資料相對應而輸出至診斷部140。並且，檢驗資料接收部120係使所接收之檢驗資料、及辨識所接收之日時及傳送來源之可攜式裝置200之資訊相對應而儲存在記憶部110。

學習部130係將學習資料115輸入至由學習模式114所定義之構成的類神經網路，且藉由例如反向傳播算法，以類神經網路之輸出接近預先求出之真值的方式，調整類神經網路之中間層之神經元的加權係數，以決定使用在診斷部140之診斷的學習模式。在實施形態中，由於判別無損傷、及有損傷，因此學習部130係配置二個輸出層之神經元。就學習資料而言，係準備複數組過去之檢驗資料、顯示檢驗對象之損傷之有無的神經元之號碼經彙整後之資料。學習部130係將各學習資料之檢驗資料供給至類神經網路，且以顯示對應之號碼的輸出層的神經元發火(Neuron Fires)之方式，利用反向傳播算法來調整中間層與輸出層之各神經元的加權係數。藉由學習，利用所調整之加權係數來更新學習模式114之加權係數之值。如此，使類神經網路學習輸入與輸出之關係。學習部130之功能係藉由處理器105而實現。

顯示賦予至類神經網路之學習資料115之例。例如，學習資料115係包含：(a)已損傷之管的圖像資料與顯示有損傷之值之組合；(b)未損傷之管的圖像資料與顯示無損傷之值的組合；(c) 已損傷之管的敲打音之聲音資料與顯示有損傷之值的組合；以及(d)未損傷之管的敲打音之聲音資料、與顯示無損傷之值的組合。

採用適用於圖像認識之學習模式的類神經網路係將(a)之圖像資料作為輸入，將顯示發生損傷之值作為輸出，以調整中間層之神經元的加權係數，並且將(b)之圖像資料作為輸入，將顯示未發生損傷之值作為輸出，以調整中間層之神經元的加權係數。

再者，採用適合於聲音認識之學習模式的類神經網路係以(c)之聲音資料為輸入，以顯示發生損傷之值為輸出，調整中間層之神經元的加權係數，並且以(d)之聲音資料為輸入，以顯示未產生損傷之值為輸出，以調整中間層之神經元的加權係數。此外，上述之學習係為一例，學習資料115亦可僅包含(a)至(d)中之一部分的資料。此情形下亦可進行深度學習。

因此，當將新的檢驗資料輸入至學習過之類神經網路時，類神經網路係輸出顯示關於診斷對象之損傷之有無的值。亦即，學習過之類神經網路係可判斷診斷對象有無損傷。如此，學習過之類神經網路可從可攜式裝置200所收集之圖像資料、聲音資料來診斷出管是否具有損傷。學習部130之學習係必須在從可攜式裝置200供給檢驗資料之前預先設定。

診斷部140係在實現學習部130之學習過之學習模式的類神經網路，輸入從可攜式裝置200接收之檢驗資料，且從該輸出來診斷出診斷對象有無損傷。診斷部140之功能係藉由處理器105而實現。診斷部140係例如將可攜式裝置200所攝影之位於工廠之管的攝影圖像，輸入至採用學習過之學習模式的類神經網路，並且由類神經網路之輸出值來診斷出診斷對象是否損傷。診斷部140係將診斷之結果輸出至指示部150。

並且，診斷部140係將可攜式裝置200所收集之敲打音的聲音輸入至採用學習過之學習模式的類神經網路，且由類神經網路之輸出值診斷出診斷對象是否損傷。診斷部140係將診斷之結果輸出至指示部150。

並且，診斷部140係在可攜式裝置200所測定之氣體濃度的測定值超過定義在基準資料113之臨限值時，判定為發生氣體洩漏。診斷部140係將診斷之結果輸出至指示部150。

指示部150係判斷檢驗作業之指示的內容，且將依據所判別之結果的檢驗作業之指示傳送至可攜式裝置200。在此，指示部150判別之檢驗作業的指示，具有(i)非依據診斷部140之診斷結果的作業指示；及(ii)依據診斷部140之診斷結果的作業指示。

就(i)之例而言，例如指示部150係指示作業者50移動至檢查對象之位置。此時，指示部150係取得：顯示可攜式裝置200之GPS接收機203d所求出之作業者50之位置的位置資料；及距離檢驗說明指南111之檢驗對象的位置資料。指示部150係對可攜式裝置200傳送將顯示工廠範圍內之地圖上的作業者50之現在位置資料及診斷對象之位置資料、以及移動至診斷對象之位置的指示。

因此，可攜式裝置200之處理器205係在顯示面板202a顯示第4A圖所示之工廠範圍內的地圖圖像；顯示診斷對象之位置30的圖像。在圖示之例中，以塗黑之人型的圖像來顯示作業者50之現在位置，並以塗黑之星的圖像來顯示診斷對象之位置30。再者，以箭頭顯示從作業者50至診斷對象之位置30為止的路徑。再者，指示部150亦可將顯示輸出以聲音作為指示的信號傳送至可攜式裝置200。此時，可攜式裝置200之處理器205係從揚聲器202b輸出直至指示移動至經指定之位置30為止的聲音。

再者，指示部150亦可由作業者50在移動中，如第4B圖所示，控制可攜式裝置200，以使顯示道路順序之箭頭圖像顯示在顯示面板202a。此時，可攜式裝置200之處理器205係在顯示面板202a顯示箭頭之圖像。因此，在顯示面板202a上，重疊顯示有現實之範圍內的通路、及箭頭的圖像。

指示部150係當由從可攜式裝置200接收之位置資料、及包含在檢驗說明指南111之工廠範圍內的地圖資料，判斷作業者50到達診斷對象之位置30時，將檢驗作業之指示傳送至可攜式裝置200。具體而言，指示部150係為了將敲打診斷對象之部位顯示給作業者50，因此在包含在檢驗說明指南111之敲打音檢查中，將敲打位置之資訊及敲打該部位之指示傳送至可攜式装置200。

因此，可攜式裝置200之處理器205係如第5圖所示，將作業者50應敲打之位置的圖像、「敲打」之指示顯示在顯示面板202a。在圖示之例中，管1001、1002中的診斷對象係管1002，且以斜線所示之部位係顯示敲打的位置。因此，在顯示面板202a上，重疊顯示有現實之管1001、1002、「敲打」之指示、顯示應敲打之位置的圖像。並且，指示部150亦可將顯示輸出以聲音作為指示之信號傳送至可攜式裝置200。此時，可攜式裝置200之處理器205係從揚聲器202b輸出指示要敲打診斷對象的聲音。

指示部150從可攜式裝置200接收到敲打音之聲音資料時，就判斷其聲音之大小是否為充分之大小，當敲打音之大小並非為充分之大小時，更將要強力地敲打之指示傳送至可攜式裝置200。因此，可攜式裝置200之處理器205係如第6圖所示，更將要強力地敲打之指示顯示在顯示面板202a。在圖示之例中，顯示成顯示指示內容之「再強一點地敲打」。並且，指示部150亦可將顯示輸出以聲音作為指示的信號傳送至可攜式裝置200。此時，可攜式裝置200之處理器205係從揚聲器202b輸出指示更強力地敲打的聲音。

指示部150係更進一步將檢測氣體濃度之指示傳送至可攜式裝置200。因此，可攜式裝置200之處理器205係使用氣體檢知感測器203c，將檢測氣體濃度之指示顯示在顯示面板202a。再者，指示部150亦可將顯示輸出以聲音作為指示的信號傳送至可攜式裝置200。此時，可攜式裝置200之處理器205係從揚聲器202b輸出聲音，該聲音係指示使用氣體檢知感測器203c來檢測氣體濃度。

再者，指示部150係當顯示診斷部140之診斷結果為發生損傷時，(ii)如下述發出依據診斷部140之診斷結果的作業指示。例如，診斷部140係當判斷為發生氣體洩漏時，指示部150係依據診斷結果及處置表116，將作業者50應進行之指示傳送至可攜式裝置200。由於診斷結果為發生氣體洩漏，因此如第3B圖所示，為應進行使閥朝順時鐘旋轉之處置。指示部150係將顯示對象之閥位置的資訊、及顯示使閥旋轉之方向的資訊傳送至可攜式裝置200。

因此，可攜式裝置200之處理器205係如第7圖所示，就作為對象之閥而言，將「旋轉關閉」之指示、及顯示使閥旋轉之方向的箭頭之圖像顯示在顯示面板202a。因此，在顯示面板202a上，重疊顯示有現實之閥、使閥旋轉之指示的「旋轉關閉」之指示、及表示旋轉之方向的箭頭之圖像。再者，指示部150亦可將顯示輸出以聲音作為指示的信號傳送至可攜式裝置200。此時，可攜式裝置200之處理器205係從揚聲器202b輸出顯示關閉閥之指示的聲音。

再者，指示部150係以控制管理室之監視員可確認範圍內之作業者50的位置之方式，將第4A圖、第8圖所示之畫面顯示在輸出裝置103之顯示器。在第4A圖中，於工廠範圍內之地圖上，顯示有攜帶可攜式裝置200之所有作業者的位置。在第8圖中，顯示有以虛線所示之移動中的作業者50、及顯示移動路徑之箭頭。因此，監視員係可確認接受移動之指示的作業者50之動作。指示部150之功能係藉由無線通信電路104及處理器105而實現。

參照第9圖，說明具備上述構成之資訊處理裝置100係與可攜式裝置200共同地對作業者50發出指示之檢驗作業處理。

如第4A圖所示，假設作業者50係在穿戴安裝有可攜式裝置200之安全帽10的狀態下位於工廠之範圍內者。作業者50係攜帶敲打音檢查用之鐵鎚。在此，資訊處理裝置100係設為對作業者50指示進行診斷對象之檢驗者。此外，學習部130係完成類神經網路之學習，並在記憶部110中儲存有學習過之學習模式者。

並且，如前所述，可攜式裝置200之攝影機203a及麥克風203b與氣體檢知感測器203c係在分別設定之時間點取得檢驗資料。可攜式裝置200之處理器205係將檢驗資料傳送至資訊處理裝置100。再者，在亦已決定GPS接收機203d之時間點取得位置資料。處理器205係將位置資料傳送至資訊處理裝置100。

指示部150係將對作業者50發出往診斷對象之位置30移動的指示傳送至可攜式裝置200(步驟S11)。具體而言，指示部150係將包含工廠之地圖資料、顯示作業者50之現在位置的座標值及顯示診斷對象之位置30的座標值、以及移動指示之信號傳送至可攜式裝置200。與此相應，可攜式裝置200係將第4A圖所示之工廠的範圍內之地圖圖像、及往該位置移動的指示顯示在顯示面板202a。並且，可攜式裝置200之處理器205係從揚聲器202b輸出指示移動至位置30之聲音。設定為作業者50係依據指示移動至所指定之位置30者。

指示部150係由從可攜式裝置200接收之位置資料、及包含在檢驗說明指南111之工廠範圍內的地圖資料，判斷作業者50是否已到達所指定之位置30(步驟S12)。當判斷作業者50已到達所指定之位置30時(步驟S12；是)，指示部150係判斷是否從可攜式裝置200接收到攝影有診斷對象之圖像資料(步驟S13)。此外，如前所述，可攜式裝置200之攝影機203a係繼續進行攝影，且可攜式裝置200係在所決定之每一期間，將圖像資料傳送至資訊處理裝置100。指示部150係當判斷為接收到圖像資料時(步驟S13；是)，為了進行診斷處理就將所接收之圖像資料儲存在記憶部110。另一方面，指示部150係當判斷未從可攜式裝置200接收到圖像資料時(步驟S13；否)，則等待至接收圖像資料為止。

指示部150係將對作業者50之敲打音檢查的指示傳送至可攜式裝置200(步驟S14)。就敲打音檢查之指示而言，將包含顯示檢驗說明指南111所包含之敲打檢驗對象之部位的資訊之信號傳送至可攜式裝置200。可攜式裝置200係依據從指示部150接收到之信號，如第5圖所示，將顯示應敲打之位置的圖像顯示在顯示面板202a。再者，可攜式裝置200係從揚聲器202b輸出指示要敲打診斷對象之聲音。作業者50係設定為如指示般實施敲打音檢查者。因此，可攜式裝置200係對資訊處理裝置100傳送聲音資料。

指示部150係判斷是否從可攜式裝置200接收到敲打音之聲音資料(步驟S15)。在此，指示部150係判斷所接收之敲打音的大小是否為顯示包含在基準資料113之敲打音檢查之聲音之適當大小的基準值以上。

當從可攜式裝置200接收到的敲打音的大小未達基準值時，指示部150係判斷為並未接收到適當大小之敲打音的聲音資料(步驟S15；否)。此時，指示部150係再度發出針對敲打音檢查之指示(步驟S14)。具體而言，指示部150係將要更強力地敲打診斷對象之指示傳送至可攜式裝置200。與此相應，可攜式裝置200係如第6圖所示，將指示要更強力地敲打之訊息顯示在顯示面板202a。並且，可攜式裝置200係從揚聲器202b輸出指示要更強力地敲打之聲音。作業者50係設為如所指示般，更強力地敲打診斷對象者。

指示部150係當判斷從可攜式裝置200接收到充分大小之敲打音的聲音資料時(步驟S15；是)，將聲音資料儲存在記憶部110。接著，指示部150係將測量氣體濃度之指示傳送至可攜式裝置200(步驟S16)。相應於此，可攜式裝置200係將指示氣體濃度之測定的訊息顯示在顯示面板202a。再者，可攜式裝置200係從揚聲器202b輸出指示測量氣體濃度之聲音。作業者50係設為如所指示般，使用氣體檢知感測器203c來測量氣體濃度者。因此，可攜式裝置200係對資訊處理裝置100傳送計測值之資料。

指示部150係判斷是否從可攜式裝置200接收到氣體濃度之計測值的資料(步驟S17)。指示部150係在例如所設定之時間待機之後，當判斷從可攜式裝置200接收到氣體濃度之計測值之資料時(步驟S17；是)，將測定值之資料儲存在記憶部110。另一方面，指示部150係在例如進行所設定之時間待機之後，當判斷未從可攜式裝置200接收到氣體濃度之計測值的資料時，(步驟S17；否)，再度執行步驟S16之處理。

接著，診斷部140係從檢驗資料接收部120所接收之檢驗資料診斷出診斷對象有無損傷(步驟S18)。

具體而言，診斷部140係如以下所述進行診斷處理。診斷部140係將檢驗資料接收部120所接收到之圖像資料輸入至採用學習部130之學習過的圖像解析用之學習模式的類神經網路，來診斷出診斷對象是否損傷。接著，診斷部140係將檢驗資料接收部120所接收到之聲音資料輸入至採用學習部130之學習過的聲音解析用之學習模式的類神經網路，來診斷出診斷對象是否損傷。再者，診斷部140係依據檢驗資料接收部120所接收到之氣體濃度的測定值是否超過基準資料113之臨限值，來判斷是否發生氣體洩漏。當判斷發生氣體洩漏時，診斷部140係判斷診斷對象損傷。此外，診斷部140係將診斷結果記錄在記憶部110之履歷資料112。

指示部150係對作業者50提示診斷結果及作業指示(步驟S19)。在此，指示部150係當顯示出依據圖像資料之診斷結果、依據聲音資料之診斷結果、依據氣體濃度之測定值的診斷結果中之至少一個診斷結果為診斷對象具有損傷時，對作業者50提示診斷對象損傷之意旨。指示部150係將診斷結果與顯示依據處置表116之對處方法的資訊一併傳送至可攜式裝置200。

例如，顯示診斷對象為管，依據氣體濃度之測定值的診斷結果為診斷對象具有損傷。此時，指示部150係將關閉診斷對象之管之閥的指示傳送至可攜式裝置200。因此，可攜式裝置200係將從資訊處理裝置100接收到之診斷結果及對處方法顯示在顯示面板202a。

此外，在步驟S17中，當診斷部140診斷出在診斷對象未產生損傷時，指示部150係在步驟S18中，亦可不對作業者50提示作業指示。

然後，指示部150係再度執行步驟S11，並將移動至下一個診斷對象之位置的移動之指示傳送至可攜式裝置200。以上係由資訊處理裝置100進行之檢驗作業處理。

如以上說明，在實施形態中之資訊處理系統1係對作業者提示有關檢驗之適當程序，並從檢驗資料針對診斷對象進行診斷，且對作業者50指示應進行之作業。因此，即使是經驗較淺之作業者50亦能以適當之程序進行檢查。再者，資訊處理裝置100係從檢驗資料進行診斷，且依據診斷結果對作業者50提示對應方法，因此能夠進行適當之處置。

並且，依據資訊處理裝置100之指示，藉由累積敲打音檢查之經驗，即使是經驗較淺之作業者亦可學習到敲打位置、敲打強度等。並且，控制管理室之監視員係如習知所述，對於經驗較淺之作業者50，無須以電話來說明作業之方法。

(變形例1) 在實施形態中，診斷部140雖係對於診斷對象之損傷的有/無進行診斷，但並不限定於此。例如，預先定義顯示損傷之程度之等級，診斷部140係除了診斷對象有無損傷之外，在具有損傷時亦可診斷損傷之等級及/或損傷之原因的其他事項。

此時，學習部130係對應判別類神經網路之輸出層之神經元的數目之事象的個數來配置。例如，在判別無損傷、由損傷等級1、有損傷等級2、…、有損傷等級n時，配置(n+1)個輸出層之神經元。例如，在判別無損傷、有損傷原因1、有損傷原因2、…、有損傷原因m時，配置(m+1)個輸出層之神經元。就學習資料而言，係準備複數組檢驗資料、及顯示檢驗對象之損傷有無、損傷之程度及/或原因之輸出層的神經元之號碼經彙整後之資料。學習部130係將各學習資料之檢驗資料供給至類神經網路，且利用反向傳播算法等來調整中間層與輸出層之各神經元的加權係數，以使對應之號碼所表示之輸出層的神經元發火。亦即，學習部130係使類神經網路學習學習資料。診斷部140係將從可攜式裝置200接收到之檢驗資料輸入至學習過之類神經網路，以從該輸出診斷出診斷對象之損傷程度及或/原因。此外，即使在具有損傷之情形下，在損傷之程度･原因較輕微時，雖必須繼續地進行監視，但亦有無須急著進行維修作業之情形。

指示部150亦可依例如損傷之程度，依據第10圖所示之處置表116a，對可攜式裝置200發出作業之指示。此外，在第10圖所示之例中，等級之值越大，越會顯示發生大的損傷。

(變形例2) 在實施形態中，資訊處理裝置100係說明具有預先儲存處置內容之資料的處置表116之例，但並不限定於此。學習部130係學習對應診斷結果之處置的內容，診斷部140亦可診斷出診斷對象有無損傷，並且判斷處置之內容。診斷部140之診斷對象的損傷有無之診斷方法係如前所述。

例如，設定為判別處置1、處置2、…、處置p。此時，就學習資料而言，係準備複數組診斷結果之資料、及顯示處置之內容的輸出層之神經元的號碼組彙整後之資料。學習部130係將各學習資料之診斷結果的資料供給至類神經網路，且藉由反向傳播算法等來調整各神經元之加權係數。就學習資料而言，例如在過去之檢驗作業中，可使用熟練之作業者所判斷之診斷結果與處置之內容相關的資料。診斷部140係在診斷出診斷對象有無損傷之後，將診斷結果輸入至學習過之類神經網路，並且從該輸出判斷處置之內容。

在實施形態中，資訊處理裝置100係對作業者50發出敲打音檢查、關閉閥等之指示，但對作業者50之指示並不限定於此。例如，資訊處理裝置100係對作業者50提示測量器之位置，且對作業者50發出移動至測量器之位置的指示。資訊處理裝置100亦可令移動後之作業者50利用攝影機203a拍攝測量器所示之值，並且對作業者50發出與測量器之值對應的適當作業。

在實施形態中，資訊處理裝置100係對可攜式裝置200發送移動指示，且在作業者50移動之前，進行敲打音檢查、診斷對象之攝影，但並不限定於此。例如，設定為作業者50係巡迴於範圍內者，資訊處理裝置100係由從可攜式裝置200接收到之位置資料，判別作業者50位於診斷對象之附近時，亦可對可攜式裝置200發送敲打音檢查、診斷對象之攝影的指示。

並且，資訊處理裝置100係由記錄在履歷資料112之檢驗的履歷，在過去一定期間內實施針對診斷對象之檢驗時，亦可不對作業者50指示其診斷對象的檢驗。

資訊處理裝置100係當作業者50到達診斷對象之位置時，亦可將記錄在履歷資料112之檢驗的履歷、及過去之診斷結果傳送至　可攜式裝置200。因此，可攜式裝置200係將從資訊處理裝置100接收到之檢驗的履歷及過去之診斷結果顯示在顯示面板202a。

在上述實施形態中，雖說明可攜式裝置200具有攝影機203a、麥克風203b、氣體檢知感測器203c、GPS接收機203d之例，但可攜式裝置200亦可不具有該等構件之全部。例如，一部分之作業者亦可攜帶未具有攝影機203a之可攜式裝置200，而僅進行敲打音檢查。剩餘之作業者亦可攜帶未具有麥克風203b之可攜式裝置200，而僅進行診斷對象之攝影。並且，可攜式裝置200亦可具有其他感測器、例如溫度感測器、濕度感測器、壓力感測器。

在實施形態中，雖說明藉由資訊處理裝置100之處理器105進行演算，以實現類神經網路之例，但類神經網路亦可不藉由軟體來實現。例如，亦可使用以LSI晶片構成的神經元之類神經晶片，並藉由硬體來實現類神經網路。或者，亦可採用利用SQUID(Superconducting Quantum Interference Device:超傳導量子干渉装置)之類比電路的類神經網路、利用光之光學類神經網路(Optical neural networks)等。

就記錄上述程式之記錄媒體而言，可使用磁碟、光碟、光碟片、快閃記憶體、半導體記憶體、包含磁帶之電腦可讀取之記錄媒體。

本發明係在不脱離廣義之精神及範圍之情形下，可進行各式各樣之實施形態及變形者。並且，上述之實施形態係用以說明本發明者，並非限定本發明之範圍者。亦即，本發明之範圍並非由實施形態所示者，而是由申請專利範圍所示者。並且，申請專利範圍內及與該申請專利範圍相等之發明的意義之範圍內所實施之各種變形，係被視為在本發明之範圍內。

1‧‧‧資訊處理系統 10‧‧‧安全帽 20‧‧‧本體部 30‧‧‧位置 50‧‧‧作業者 100‧‧‧資訊處理裝置 101、201‧‧‧記憶體 102‧‧‧輸入裝置 103、202‧‧‧輸出裝置 104、204‧‧‧無線通信電路 104a、204a‧‧‧天線 105、205‧‧‧處理器 109、209‧‧‧匯流排 110‧‧‧記憶部 111‧‧‧檢驗說明指南 112‧‧‧履歷資料 113‧‧‧基準資料 114‧‧‧學習模式 115‧‧‧學習資料 116‧‧‧處置表 120‧‧‧檢驗資料接收部 130‧‧‧學習部 140‧‧‧診斷部 150‧‧‧指示部 200‧‧‧可攜式裝置 202‧‧‧輸出裝置 202a‧‧‧顯示面板 202b‧‧‧揚聲器 203‧‧‧收集裝置 203a‧‧‧攝影機 203b‧‧‧麥克風 203c‧‧‧氣體檢知感測器 203d‧‧‧GPS接收機 203e‧‧‧纜線 1000、2000‧‧‧程式 1001、1002‧‧‧管

第1圖係顯示實施形態之資訊處理系統之硬體構成的方塊圖。 第2圖係顯示實施形態之可攜式裝置之構成之一例的圖。 第3A圖係顯示實施形態之資訊處理裝置之功能方塊圖。 第3B圖係顯示實施形態之處置表之資料之一例的圖。 第4A圖係顯示實施形態之可攜式裝置之顯示面板所顯示之圖像之一例的圖。 第4B圖係顯示實施形態之可攜式裝置之顯示面板所顯示之圖像之其他例的圖。 第5圖係顯示針對實施形態之敲打音檢查之指示的圖像之一例的圖。 第6圖係顯示針對實施形態之敲打音檢查之指示的圖像之其他例的圖。 第7圖係顯示針對實施形態之維修作業之指示的圖像之一例的圖。 第8圖係顯示實施形態之資訊處理裝置之顯示器所顯示之範圍內之地圖的圖像之一例的圖。 第9圖係實施形態之檢驗作業處理之流程圖。 第10圖係顯示變形例1之處置表之資料之一例的圖。

100‧‧‧資訊處理裝置

110‧‧‧記憶部

111‧‧‧檢驗說明指南

112‧‧‧履歷資料

113‧‧‧基準資料

114‧‧‧學習模式

115‧‧‧學習資料

116‧‧‧處置表

120‧‧‧檢驗資料接收部

130‧‧‧學習部

140‧‧‧診斷部

150‧‧‧指示部

Claims (10)

1. 一種資訊處理裝置，係具備： 檢驗資料接收手段，係從可攜式裝置接收在對診斷對象之檢驗作業中由前述可攜式裝置所收集之檢驗資料； 學習手段，係將過去所收集之檢驗資料輸入至類神經網路，並針對前述診斷對象有無損傷的診斷使之進行學習； 診斷手段，係將前述檢驗資料接收手段所接收之前述檢驗資料輸入至前述類神經網路，且從前述類神經網路之輸出來診斷前述診斷對象有無損傷；以及 指示手段，係將顯示作業者對診斷對象應進行之檢驗作業之方法的指示、及顯示對應於前述診斷手段針對前述診斷對象所診斷之診斷結果作業者應採取之處置內容的指示傳送至前述可攜式裝置。
2. 如申請專利範圍第1項所述之資訊處理裝置，其中，前述檢驗資料係包含藉由作業者所進行之敲打音檢查而產生之敲打音的聲音資料， 前述指示手段係由從前述可攜式裝置所取得之前述敲打音的聲音資料，判斷作業者敲打前述診斷對象之強度是否適當，當判斷作業者敲打前述診斷對象之強度並非適當時，將變更敲打強度之指示供給至前述可攜式裝置，且透過前述可攜式裝置對作業者通知指示。
3. 如申請專利範圍第2項所述之資訊處理裝置，其中，前述檢驗資料係包含由前述可攜式裝置對前述診斷對象進行攝影而得之圖像資料， 前述診斷手段係由前述檢驗資料接收手段所接收之前述圖像資料及前述敲打音之聲音資料，來判斷前述診斷對象有無損傷。
4. 如申請專利範圍第2項或第3項所述之資訊處理裝置，其中， 前述指示手段係將顯示作業者敲打前述診斷對象之位置的資訊供給至前述可攜式裝置，並且使敲打前述診斷對象之位置顯示在前述可攜式裝置之顯示裝置。
5. 如申請專利範圍第1項所述之資訊處理裝置，更具備儲存資訊之處置資訊記憶手段，該資訊係顯示與診斷結果相對應之對於診斷對象的處置之內容， 前述指示手段係將進行與前述診斷手段所得之前述診斷對象之診斷結果一致之前述處置資訊記憶手段之對應於診斷結果的處置之指示傳送至前述可攜式裝置。
6. 如申請專利範圍第1項所述之資訊處理裝置，其中，前述指示手段係將顯示至前述診斷對象為止之路徑的資訊供給至前述可攜式裝置，且使前述可攜式裝置之顯示裝置顯示至前述診斷對象為止之前述路徑。
7. 如申請專利範圍第6項所述之資訊處理裝置，其中，前述指示手段係在從顯示由前述可攜式裝置接收到之作業者之現在位置的資訊，判斷出作業者到達前述診斷對象之附近時，將顯示檢驗作業之指示傳送至前述可攜式裝置。
8. 一種資訊處理系統，係具有可攜式裝置、及可與前述可攜式裝置相互通信之資訊處理裝置， 前述可攜式裝置係具備：將在對診斷對象之檢驗作業中所收集之檢驗資料傳送至前述資訊處理裝置之手段； 前述資訊處理裝置係具備： 檢驗資料接收手段，係從前述可攜式裝置接收前述檢驗資料； 診斷手段，係將前述檢驗資料輸入至類神經網路，且從前述類神經網路之輸出來診斷出診斷對象有無損傷；以及 指示手段，係將顯示作業者對於診斷對象應進行之檢驗作業之方法的指示、及顯示對應於前述診斷手段之診斷結果作業者應採取之處置之內容的指示傳送至前述可攜式裝置。
9. 一種方法，係由可與可攜式裝置相互通信之電腦所進行者，該方法係包含： 從前述可攜式裝置接收在對診斷對象之檢驗作業中由前述可攜式裝置所收集之檢驗資料的步驟； 將前述檢驗資料輸入至類神經網路，且從前述類神經網路之輸出來診斷出診斷對象有無損傷之步驟； 將顯示作業者對於診斷對象應進行之檢驗作業之方法的指示傳送至前述可攜式裝置之步驟；以及 將顯示對應於診斷結果作業者應採取之處置內容的指示傳送至前述可攜式裝置之步驟，其中，前述診斷結果係針對在前述診斷之步驟中所診斷之前述診斷對象者。
10. 一種程式，係使電腦執行： 將顯示作業者對診斷對象應進行之檢驗作業之方法的指示傳送至可攜式裝置， 從前述可攜式裝置接收在對診斷對象之檢驗作業中由前述可攜式裝置所收集之檢驗資料， 將前述檢驗資料輸入至類神經網路，且由前述類神經網路之輸出來診斷出診斷對象有無損傷， 將顯示對應於診斷結果作業者應採取之處置內容的指示傳送至前述可攜式裝置。

Images