TW201636940A

TW201636940A - 作業支援裝置

Info

Publication number: TW201636940A
Application number: TW104118089A
Authority: TW
Inventors: Takeyuki Aikawa; Takeo Kawaura; Hirohiko Higuchi
Original assignee: Mitsubishi Electric Corp
Priority date: 2015-04-03
Filing date: 2015-06-04
Publication date: 2016-10-16
Also published as: WO2016157528A1

Abstract

一種作業支援裝置，具備：自我位置推定部(103)，從來自感知器之位置資訊、作業者身上穿戴之拍攝裝置(304)對作業對象拍攝之影像資料、及具有階層式地儲存關於作業對象之資訊之作業步驟階層樹(404)與關於作業對象之位置資訊之作業支援資料(201)，來推定在作業場所裏之作業者之位置；資料輸入部(106)，接受根據作業者之聲音之輸入資料或根據作業者之手勢之輸入資料；以及意圖理解部(105)，從關於自我位置推定部(103)所推定之關於作業者之位置之資訊與作業支援資料(201)，來產生反映資料輸入部(106)接受的輸入資料之關於作業對象之關聯資訊。

Description

作業支援裝置

本發明係關於作業支援裝置，藉由使用擴增實境之關聯資訊之顯示以及聲音辨識或手勢辨識等之直覺上之輸入出介面，用以減輕機械設備之維護檢查作業、修理作業、設置作業等之一定之程序而執行之作業的作業負擔，並減低檢查遺漏或記錄錯誤等之作業疏失。

習知上，在水處理作業、工廠設備、發電設備等之機械設備，在運轉時不可欠缺維護檢查作業。有必要在檢查作業時，定期檢查多數之機器，並正確地記錄檢查結果，同時地在檢查結果如有不良時，根據需要執行機器調整等之對策。

在執行機械設備之檢查時，習知上，作業者用目視確認檢查對象，用手寫方式將檢查結果書記錄在檢查單後，將記錄之結果轉記並累積至電腦上之表格計算軟體等。

但是，以如此之流程執行檢查的話，有引起檢查單之記錄錯誤或在電腦軟體上之轉記疏失等之人為錯誤之可能性。又，在檢查結果發現不良時，有必要會一邊根據作業者之經驗調查原因，一邊以電話資詢關於上述機器之詳細負責人員。

作為減低如上述之人為錯誤之技術之一個範例，例如，在專利文件1中，公開著以影像辨識檢查對象機器，在平板終端上重疊顯示對應上述機器之檢查步驟之技術。

[先前技術文件] [專利文件]

[專利文件1]日本特開2014-78122號公報

然而，在如專利文件1之習知技術上，因為使用作為檢查用終端之觸摸面板式之行動資訊終端，所以有所謂的在檢查作業時，兩手成為佔用狀態，造成作業效率之降低或作業時之作業不穩定等之疑慮之課題。

本發明，係為了解決上述課題而發明的，其目的在於提供一種藉由聲音辨識與手勢辨識，讓資料輸入容易，對作業者而言能以更自然之形態來操作，因而減輕作業負擔，並減低檢查遺漏或記錄錯誤等之作業疏失之作業支援裝置。

有關本發明之作業支援裝置，具備：自我位置推定部，從來自感知器之位置資訊、作業者身上所穿戴之拍攝裝置來拍攝作業對象之影像資料、及具有階層式地儲存關於作業對象之資訊之作業步驟階層樹與關於作業對象之位置之作業支援資料，來推定在作業場所之作業者之位置；資料輸入部，接受根據作業者之聲音之輸入資料或根據作業者之手勢之輸入資料；以及意圖理解部，從關於自我位置推定部所推定之作業者之位置之資訊與作業支援資料，來產生反映資料輸入部接受的輸入資料之關於作業對象之關聯資訊。

根據本發明之作業支援裝置，能夠減輕作業負擔，並減低檢查遺漏或記錄錯誤等之作業疏失。

1‧‧‧作業支援裝置

2‧‧‧伺服器

31‧‧‧CPU

32‧‧‧記憶裝置

33‧‧‧記憶體

34‧‧‧通信介面裝置

101‧‧‧感知器資訊取得部

102‧‧‧影像輸入部

103‧‧‧自我位置推定部

104‧‧‧通信部

105‧‧‧意圖理解部

106‧‧‧資料輸入部

107‧‧‧關聯資訊顯示部

108‧‧‧聲音輸出部

109‧‧‧補助資訊呼叫指示部

110‧‧‧補助資訊選擇部

111‧‧‧補助資訊輸出部

201‧‧‧作業支援資料

202‧‧‧作業結果資料

203‧‧‧附有補助資訊ID之作業支援資料

204‧‧‧補助資訊資料

301，305‧‧‧終端

302‧‧‧配電盤

303‧‧‧顯示部

304‧‧‧攝影機

306‧‧‧耳機

401‧‧‧作業場所位置資訊

402‧‧‧作業對象位置資訊

403‧‧‧作業項目位置資訊

404‧‧‧作業步驟階層樹

501‧‧‧作業場所ID

502‧‧‧作業場所名稱

503‧‧‧作業場所位置

601‧‧‧作業對象ID

602‧‧‧作業對象名稱

603‧‧‧作業對象位置座標

701‧‧‧作業項目ID

702‧‧‧作業項目名稱

703‧‧‧作業項目座標

801‧‧‧步驟ID

802‧‧‧作業場所

803‧‧‧作業對象

804‧‧‧作業項目

805‧‧‧正常值

806‧‧‧聲音辨識詞典ID

807‧‧‧手勢辨識詞典ID

1001‧‧‧作業步驟管理部

1002‧‧‧作業步驟管理資料記錄部

1003‧‧‧作業對象距離計算部

1004‧‧‧關聯資訊產生部

1005‧‧‧資料輸入控制部

1201‧‧‧步驟ID

1202‧‧‧作業狀況

1501‧‧‧聲音辨識部

1502‧‧‧聲音辨識詞典

1503‧‧‧手勢辨識部

1504‧‧‧手勢辨識詞典

1701‧‧‧辨識語彙

1702‧‧‧讀出

2001‧‧‧作業項目ID

2002‧‧‧作業項目

2003‧‧‧記錄日期時間

2004‧‧‧作業結果

2401‧‧‧附有補助資訊ID之作業步驟階層樹

2501‧‧‧補助資訊ID

[第1圖]係有關於本發明之第一實施例之作業支援裝置之架構圖。

[第2圖]係在本發明之第一實施例中之作業者之作業狀態之一個範例說明圖。

[第3圖]係表示本發明之第一實施例之作業支援裝置之硬體架構之一個範例圖。

[第4圖]係在本發明之第一實施例中，以伺服器管理之作業支援資料之一個範例說明圖。

[第5圖]係在本發明之第一實施例中，以伺服器管理之作業支援資料所具備之作業場所位置資訊之資料內容之一個範例說明圖。

[第6圖]係在本發明之第一實施例中，以伺服器管理之作業支援資料所具備之作業對象位置資訊之資料內容之一個範例說明圖。

[第7圖]係在本發明之第一實施例中，以伺服器管理之作業支援資料所具備之作業項目位置資訊之資料內容之一個範例說明圖。

[第8圖]係在本發明之第一實施例中，以伺服器管理之作業支援資料所具備之作業步驟階層樹之資料內容之一個範例說明圖。

[第9圖]係說明有關於本發明之第一實施例之作業支援裝置之動作之流程圖。

[第10圖]係本發明之第一實施例之意圖理解部之詳細架構圖。

[第11圖]係在第一實施例中，說明根據意圖理解部之意圖理解處理之動作之流程圖。

[第12圖]係表示作業步驟管理資料記錄部記錄之作業步驟管理資料之一個範例圖。

[第13圖]係關聯資訊產生部產生的關於作業對象之關聯資訊之概念圖。

[第14圖]係表示藉由關聯資訊顯示部，重疊顯示各配電盤A~C之檢查狀況之一個範例。

[第15圖]係具有作業步驟指定項目之作業步驟階層樹之一個範例說明圖。

[第16圖]係第一實施例之資料輸入部之詳細架構圖。

[第17圖]係說明根據第一實施例之資料輸入部之步驟ST906之詳細動作之流程圖。

[第18圖]係在第一實施例中，聲音辨認詞典之內容之一個範例說明圖。

[第19圖]係表示在第一實施例中，根據關聯資訊顯示部之作業項目重疊顯示之一個範例圖。

[第20圖]係表示在第一實施例中，根據作業者之作業項目之檢查結果輸入後之重疊顯示之一個範例圖。

[第21圖]係表示在第一實施例中，檢查結果之值為合理值以外之異常值，亦即，檢查結果有不良時之重疊顯示之一個範例圖。

[第22圖]係在第一實施例中，作業結果資料之內容之一個範例說明圖。

[第23圖]係有關於本發明之第二實施例之作業支援裝置之架構圖。

[第24圖]係說明有關於本發明之第二實施例之作業支援裝置之動作之流程圖。

[第25圖]係在第二實施例中，伺服器儲存之附帶補助資訊ID之作業支援資料之內容之一個範例說明圖。

[第26圖]係在第二實施例中之附帶補助資訊ID之作業步驟階層樹之資料內容之一個範例說明圖。

[第27圖]係在第二實施例中，補助資訊輸出部，將補助資訊資料顯示在眼鏡型之終端之顯示部之一個範例說明圖。

以下，關於本發明之實施例，參照圖面詳細做說明。

[第一實施例]

第1圖，係有關於本發明之第一實施例之作業支援裝置1之架構圖。

又，在以下，雖然以機器設備之檢查作業之作業支援裝置當例子做說明，但本發明之作業支援裝置之使用，並不局限於檢查作業，亦可適用於修理作業或設置工程等之遵從一定步驟來執行之整個作業。

又，在本發明，所謂的作業對象，是指配電盤等之成為藉由作業者執行檢查、修理、設置之作業對象之機器；所謂的對象項目，是指開關或電流表等，在為作業對象之機器中，作業者實際進行檢查、修理、設置等具體事項、零件等。

作業支援裝置1，透過網路被連接至伺服器2，如第1圖所示地，具備感知器資訊取得部101、影像輸入部102、自我位置推定部103、通信部104、意圖理解部105、資料輸入部106、關聯資訊顯示部107及聲音輸出部108。

感知器資訊取得部101，接受藉由GPS(圖示省略)取得之位置資訊或無線LAN基地台ID等之感知器資訊，取得作業者之概略位置資訊。

影像輸入部102，接受來自作業者身上所穿戴之照相機等之拍攝裝置之影像資料，取得作業對象之影像資料。

自我位置推定部103，透過通信部104，參照伺服器2上有的作業支援資料201，基於影像輸入部102取得的影像資料與感知器資訊取得部101取得之作業者之概略位置資訊，推定自我之位置，作為正確之詳細位置資訊，並輸出自我位置推定結果。

意圖理解部105，基於自我位置推定部103輸出之自我位置推定結果、來自資料輸入部106之資料輸入結果及儲存在伺服器2之作業支援資料201，產生應顯示之關聯資訊與應輸出之聲音資訊。

又，所謂的關聯資訊，在此，指的是關聯至檢查作業中之作業對象之資訊，但並不局限於此，亦指關聯至修理作業中之作業對象之資訊或關聯至設置工程中之作業對象之資訊等之關聯至使用作業支援裝置1之作業中之作業對象之資訊。

又，意圖理解部105，透過通信部104將檢查結果資料記錄在伺服器2之作業結果資料202上。

資料輸入部106，從作業者，接受藉由聲音辨識或手勢辨識之檢查結果資料之輸入。

關聯資訊顯示部107，以意圖理解部105之指示為基準，顯示關聯至在使用作業支援裝置1之作業中之作業對象之關聯資訊。

聲音輸出部108，以意圖理解部105之指示為基準，執行為了來自資料輸入部106之資料輸入結果確認之復誦或要求再輸入時之系統聲音之輸出。

第2圖，係在本發明之第一實施例中之作業者之作業狀態之一個範例說明圖。

作業者，如第2圖所示地，在配戴眼鏡型之終端301之狀態下，例如，執行為檢察對象之配電盤302之檢查。亦即，在第2圖，配電盤302為檢察對象。又，在上述眼鏡型之終端301上，搭載著在第1圖所說明的作業支援裝置1。

眼鏡型終端301，具備：顯示部303，顯示關聯資訊；攝影機304，往作業者面對之方向拍攝而設置之為了拍攝作業對象；終端305，執行各種通信；以及耳機306，為了聲音之輸入出。又耳機306具備聽筒、麥克風等之聲音之輸入出部。

顯示部303，具備關聯資訊顯示部107。又，攝影機304具備影像輸入部102。

終端305，具備執行和伺服器2等外部機器通信之通信部104；為了取得GPS資訊或無線LAN基地台ID資訊之感知器資訊取得部101；自我位置推定部103；以及意圖理解部105。

第3圖，係表示本發明之第一實施例之作業支援裝置1之硬體架構之一個範例圖。

在本發明之第一實施例，自我位置推定部103和意圖理解部105，藉由實行記憶在記憶裝置32、記憶體33之程式之CPU31、系統LSI等之處理電路來實現。

又，亦可複數之處理電路合作來實現上述功能。

關聯資訊顯示部107，使用顯示部303。然而，此僅為一範例，關聯資訊顯示部107，亦可以其他之硬體來構成。

通信部104、和感知器資訊取得部101構成執行和伺服器2等外部機器通信之通信介面裝置34。

影像輸入部102，使用攝影機304。然而，此僅為一範例，影像輸入部102亦可以是其他之硬體來構成。

資料輸入部106和聲音輸出部108，使用耳機306。然而，此僅為一範例，資料輸入部106和聲音輸出部108，亦可以是其他之硬體來構成。

第4圖，係在本發明之第一實施例中，以伺服器2管理之作業支援資料201之一個範例說明圖。又，作業支援資料201事先經由作業管理者等，被登錄到伺服器2。

作業支援資料201，具備：作業場所位置資訊401，登錄了作業場所之概略位置資訊；作業對象位置資訊402，登錄了作業對象之3維位置資訊；作業項目位置資訊403，對作業對象，登錄了對應各作業項目之位置；以及作業步驟階層樹404，遵從作業步驟，階層地儲存關於作業對象之資訊。

第5圖，係在本發明之第一實施例中，以伺服器2管理之作業支援資料201所具備之作業場所位置資訊401之資料內容之一個範例說明圖。

作業場所位置資訊401，如第5圖所示地，係至少記錄了作業場所ID501、作業場所名稱502及作業場所位置503之組合之表格。

又，為了容易在此說明，作業場所位置503，如「A棟1F」之作業場所名稱被記錄，但實際上，根據GPS之經緯度之資訊，或最靠近之無線LAN基地台之ID等，從裝載在做業者攜帶之作業支援裝置1之感知器(圖示省略)或GPS等，事先登錄感知器資訊取得部101可以取得之資訊。

第6圖，係在本發明之第一實施例中，以伺服器2管理之作業支援資料201所具備之作業對象位置資訊402之資料內容之一個範例說明圖。

在第6(A)圖中所示之作業對象位置資訊402，係至少記錄了作業對象ID601、作業對象名稱602、作業對象位置座標603之組合之表格資料。

作業對象位置座標603，係表示例如是在所謂電氣室A之作業場所中之配電盤A、配電盤B、配電盤C等之作業對象之3維位置資訊。

在第6圖，作業對象位置座標603，將各配電盤A~C簡略化為矩形之平面，而以4點之3維座標來表示。第6(B)圖，係表達記錄在作業對象位置資訊402之3維資訊之圖解概念圖。

又，作業對象位置座標603，在此，如第6圖所示地，為簡略化後之矩形之平面，但並不局限於此，亦可是複數之平面之組合。除了簡略化後之矩形之平面，亦能夠藉由在複數之平面上之組合，在後面敘述之關聯資訊顯示時，執行更自然之重疊顯示。

第7圖，係在本發明之第一實施例中，以伺服器2管理之作業支援資料201所具備之作業項目位置資訊403之資料內容之一個範例說明圖。

在第7(A)圖上所示之作業項目位置資訊403，係至少記錄了作業項目ID701、作業項目名稱702、作業項目座標703之組合之表格資料。

作業項目座標703，表示例如在所謂的配電盤A之作業對象之開關X、開關Y、電流表Z等之作業項目之2維位置資訊。在第7(A)圖，各作業項目簡略化為矩形，並以4點之2維座標表示。在第7(B)圖，係表達記錄在作業項目位置資訊403之2維位置資訊之圖解概念圖。

第8圖，係在本發明之第一實施例中，以伺服器2管理之作業支援資料201所具備之作業步驟階層樹404之資料內容之一個範例說明圖。

在第8(A)圖上所示之作業步驟階層樹404，係至少記錄了步驟ID801、作業場所802、作業對象803、作業項目804、正常值805、聲音辨識詞典ID806、手勢辨識詞典ID807之組合之表格資料。步驟ID801，遵從作業步驟依次分配其ID。因而，在第8(A)圖，以P1→P2‧‧‧所謂的順序來執行作業。

又，在第8圖，為了容易理解，作業場所802、作業對象803、作業項目804，各自以作業場所名稱502、作業對象名稱602、作業項目名稱702來記錄，但是並不侷限於此，亦可以作業場所ID501、作業對象ID601、作業項目ID701來事先記錄，而顯示關於這些之內容作為關係資訊之時，隨時參照其他之表格，亦即作業場所位置資訊401作業對象位置資訊402、作業項目位置資訊403，來特定名稱。

第8(B)圖，係表達記錄在作業步驟階層樹404之階層關係之圖解概念圖。

關於動作做說明。

第9圖，係說明有關於本發明之第一實施例之作業支援裝置1之動作之流程圖。

又，在以下，說明作業支援裝置1，使用從上述第4圖至第8圖之作業支援資料201，而作業者，在A棟1F之電氣室A作為最初之檢查場所，來執行作業支援。然而，已預先知道在A棟1F之電氣室A為最初之檢查場所。

一旦做業者到達最初之檢查場所之A棟1F之電氣室A，感知器資訊取得部101，即取得概略位置資訊，並將取得之概略位置資訊通知自我位置推定部103(步驟ST901，感知器資訊取得處理)。具體而言，感知器資訊取得部101，例如取得藉由GPS所取得之位置資訊或無線LAN基地台ID等之感知器資訊，將上述已取得之感知器資訊，通知自我位置推定部103，做為作業者之概略位置資訊。在此，感知器資訊取得部101，取得所謂的A棟1F之概略位置資訊。

如果更詳細地來說明，在此第一實施例中，從室外時GPS所得到之位置資訊，在室內時藉由與無線LAN基地台之關係之位置推定，或例如藉由現有之門禁系統之協助，感知器資訊取得部101經常自動取得作業者在那個場所(建物、層、房間之單位為止)，作為概略位置資訊。

感知器資訊取得部101，執行上述經常自動取得之概略位置資訊，和作業場所位置資訊401之作業場所位置503間之調正，在一致之情況下，判斷為作業者到達上述一致之場所並已開始作業。然而，此概略位置資訊和作業場所位置資訊401間之調正，例如每一秒等，定期地來執行。

又，同時地，影像輸入部102，從作業者身上所穿戴之攝影機304拍攝之影像資料，來取得作業對象之影像資料，並通知給自我位置推定部103(步驟ST902，影像資訊取得處理)。具體而言，例如，在此第一實施例，作業者將裝置安裝並啟動後，成為執行用攝影機304拍攝動畫之狀態，一旦感知器資訊取得部101從取得之概略位置資訊，判斷作業開始，即出示攝影開始之指示至攝影機304，而自動地執行影像之影像辨識。

又，關於攝影機304之攝影停止，如果從感知器資訊取得部101取得之概略位置資訊，判斷為結束最初之檢查場所之檢查後，移動至下一場所，則終止上述場所之全部檢查項目之檢查結果之輸入，並對攝影機304出示攝影停止之指示，自動使攝影停止。

自我位置推定部103，透過通信部104，參照在伺服器2上有的支援裝置資料201，並基於以步驟ST902所取得之影像資訊及以步驟ST901所取得之概略位置資訊，來推定作業者正確之詳細位置，並輸出詳細位置資訊，作為自我位置推定結果(步驟ST903，自我位置推定處理)。

具體而言，在此，自我位置推定部103，以所謂的A棟1F之概略位置當作關鍵，參照第5圖之作業支援資料201之作業場所位置資訊401，取得作業場所ID及作業場所名稱。在此，能夠取得作業場所ID為1之電器室A。接著自我位置推定部103，參照第8圖之作業步驟階層樹404，取得在電器室A之作業對象。在此，能夠取得「配電盤A」、「配電盤B」、「配電盤C」之作業對象。進而，自我位置推定部103，參照作業對象位置資訊402，取得各配電盤A~C之作業對象位置座標603。

又，在此，在第8圖之作業步驟階層樹404，因為作業場所之名稱及作業對象之名稱之資訊被記錄，所以從作業場所之名稱及作業對象之名稱，參照作業對象位置資訊402，取得各配電盤A~C之作業對象位置座標603，但並不侷限於此，亦可在作業步驟階層樹404，於作業場所ID及作業對象ID之資訊被記錄之情況下，從參照作業場所位置資訊401而取得之作業場所ID，來取得作業場所之名稱，再從取得之作業場所之名稱，參照作業步驟階層樹404，又從以作業步驟階層樹404取得之作業對象ID，特定並取得作業對象位置座標 603。

如此地，自我位置推定部103，執行取得之作業對象位置座標603、和以步驟ST901取得之概略位置資訊及以步驟ST902取得之影像資料之匹配，推定作業者在電氣室A內之哪個位置站立，面向哪個方向，作為作業者之正確之詳細位置。

又，關於此作業者正確之詳細位置之推定處理，可使用現有之技術(例如參照特開2013-054661號公報「資訊顯示系統、資訊顯示方法及資訊顯示用程式」。

自我位置推定部103，將推定之作業者正確之詳細位置資訊，輸出至意圖理解部105，作為自我位置推定結果。亦即，在自我位置推定結果，包含關於作業者之詳細位置及作業者面向哪個方向之資訊。

意圖理解部105，基於根據在步驟ST903之自我位置推定部103之自我位置推定結果及伺服器2之作業支援資料201之資訊，產生對作業者應顯示之關聯資訊與對作業者應輸出之聲音資訊。又，按照作業狀況執行資料輸入用詞典之設定(步驟ST904，意圖理解處理)。

在此，關於根據意圖理解部105之步驟ST904之意圖理解處理之詳細動作，使用第10圖、第11圖來具體說明。

第10圖，係本發明之第一實施例之意圖理解部105之詳細架構圖。

如第10圖所示地，意圖理解部105，具備作業步驟管理部1001、作業步驟管理資料記錄部1002、作業對象距離計算部 1003、關聯資訊產生部1004及資料輸入控制部1005。

作業步驟管理部1001，參照作業步驟管理資料記錄部1002，取得現在之作業狀況。又，關於來自作業者之資料輸入結束後之作業項目，係執行以作業步驟管理資料記錄部1002來管理之作業步驟管理資料之作業狀況之更新。

作業步驟管理資料記錄部1002，記錄作業步驟管理資料。

作業對象距離計算部1003，從作業步驟管理部1001取得之現在之作業狀況來特定成為現在作業對象之機器，並參照作業支援資料201，以自我位置推定部103推定之自我位置推定結果為基準，計算成為現在作業對象之機器與作業者間之距離。

關聯資訊產生部1004，從根據自我位置推定部103推定之自我位置推定結果和作業支援資料201，產生應顯示之關聯資料。

資料輸入控制部1005，按照根據自我位置推定部103推斷之自我位置推定結果，和作業對象距離計算部1003算出之現在作業對象之機器與作業者間之距離，來判定是否為應從資料輸入部106接受資料輸入之作業狀態。又，資料輸入控制部1005，基於作業支援資料201之作業步驟階層樹404，以接著應執行之步驟來設定必要之資料輸入用詞典(在此，省略圖示，細節在後面說明)。

又，在此，作業步驟管理資料記錄部1002，係意圖理解部105所具備的，但並不侷限於此，作業步驟管理資料記錄部1002，亦可是在意圖理解部105之外部具備。

第11圖，係在第一實施例中，說明根據意圖理解部105之意圖理解處理之動作之流程圖。

亦即，第11圖，係第9圖之步驟ST904之處理之詳細流程圖。

作業步驟管理部1001，參照作業步驟管理資料記錄部1002中所記錄之作業步驟管理資料，取得現在之作業狀況(步驟ST1101，作業狀況取得處理)。

在此，第12圖，係表示作業步驟管理資料記錄部1002記錄之作業步驟管理資料之一個範例圖。

如第12圖所示地，作業步驟管理資料，至少包含和第8圖所示之作業步驟階層樹404之步驟ID801同一步驟ID1201，及記錄各步驟之作業狀況之作業狀況1202。又，在第12圖，表示步驟ID為P1~P6之作業步驟為在未處理狀態，步驟ID在P7之後之作業步驟為作業完成之狀態。

作業對象距離計算部1003，以在第9圖之步驟ST903之自我位置推定部103所輸出之自我位置推定結果為基準，並參照伺服器2之作業支援資料201，計算成為現在作業對象之機器與作業者間之距離(步驟ST1102，作業對象距離計算處理)。

具體而言，作業對象距離計算部1003，首先，在步驟ST1101中，取得作業順序管理部1001所取得之現在作業狀況，並參照作業支援資料201之作業步驟階層樹404，特定現在作業對象為作業步驟為未處理，且步驟ID對應至P1~P3之配電盤A，步驟ID對應至P4~P6之配電盤B。然後，作業對象距離計算部903，基於自我位置推定結果，藉由對應之3D模式之計算，算出特定為當前作業對象之機器，亦即配電盤A與配電盤B和作業者間之距離。又，配電盤A和配電盤B之位置，亦可參照作業對象位置資訊402之作業對象位置座標603來取得。

資料輸入控制部1005，按照在第9圖之步驟ST903之自我位置推定部103輸出之自我位置推定結果，與以在步驟ST1102之作業對象距離計算部903算出之現在作業對象之機器和作業者間之距離，來判定是否為應從資料輸入部106接受資料輸入之作業狀態(步驟ST1103，輸入判斷處理)。

具體而言，資料輸入控制部1005，如果在以在步驟ST1102之作業對象距離計算部1003算出之現在作業對象之機器和作業者間之距離，比事前定義之既定值還大，則判定為不可從資料輸入部106輸入資料(步驟ST1103之“NO”)，而進入步驟ST1104。相反地，如果作業對象距離計算部1003算出之現在作業對象之機器和作業者間之距離，比事前定義之既定值小，則判定為可以輸入來自資料輸入部106之資料(步驟ST1103之“YES”)，而進入步驟ST1105。亦即，如果作業對象，在此，配電盤A與作業者間之距離，或配電盤B與作業者間之距離，比事前定義之既定值小，則作業者對距離為比既定值小之作業對象，執行作業，並判定為可以輸入關於作業結果之來自作業者之資料，而如果作業對象和作業者間之距離比事前定義之既定值大，則作業者不對作業對象執行作業，並判定為不可輸入關於作業結果之來自作業者之資料。然而，在此判定上使用之既定值，作業管理者在事前，應適當地設置檢查作業可能之距離。

在步驟ST1103，在此，作業對象距離計算部903算出之現在作業對象之機器和作業者間之距離，比既定值還大，則判斷為不可資料輸入。亦即，判斷作業者不靠近配電盤A與配電盤B，而進入步驟ST1104。又，步驟ST1105後之處理，亦即，作業者靠近作業對象，而關於執行上述靠近作業對象之檢查作業時之處理，會在後面會說明。

在步驟ST1103，在判斷為現在作業對象之機器和作業者間之距離比既定值大而不可輸入資料之時(步驟ST1103之“NO”之時)，關聯資訊產生部1004，以在第9圖之步驟ST903中自我位置推定部103輸出之自我位置推定結果和作業支援資料201為基準，產生關於作業對象之關聯資訊(步驟ST1104，作業對象關聯資訊產生處理)。

具體而言，首先，關聯資訊產生部1004，基於在步驟ST1101中之作業步驟管理部1001取得之現在之作業狀況，並參照作業支援資料201之作業步驟階層樹404與作業步驟管理資料記錄部1002，取得在現在之作業場所之作業對象與其作業狀況。在此，關聯資訊產生部904，取得電器室A之未處理之作業對象「配電盤A」、「配電盤B」，作業完成之作業對象「配電盤C」，然後，關聯資訊產生部1004，關於取得之各作業對象，參照作業對象位置資訊402，取得在作業場所之作業對象位置座標603。另一方面，在自我位置推定部103所推定之自我位置推定結果，因為包含作業者之位置與攝影機 304面對之方向，亦即，作業者面對之方向，所以關聯資訊產生部1004，假想在作業者之位置之作業者面對之方向上直行之平面，藉由將各作業對象之3維座標投影在此假設之平面上，則能夠藉由計算來求得重疊顯示時之各作業對象之座標資訊。於此，關聯資訊產生部1004算出上述重疊顯示時之各作業對象之座標資訊，產生算出之座標資訊和作業對象名稱，作為關於作業對象之關聯資訊。然後，將上述產生之關於作業對象之關聯資訊，通知關聯資訊顯示部107。在此，將未處理之作業對象為「配電盤A」、「配電盤B」，和作業完成之作業對象為「配電盤C」與重疊顯示時之各作業對象之座標資訊，通知關聯資訊顯示部107，作為關於作業對象之關聯資訊。

第13圖，係關聯資訊產生部1004產生之關於作業對象之關聯資訊之概念圖。

在第13圖，用V來表示之方向1401，係自我位置推定部103推定之自我位置推定之結果所得到之攝影機304之方向向量V，亦表示作業者眼見之方向。

以D表示之平面1402，係在方向向量V直行之假想平面，意是顯示將作業對象投影之平面。

3維模型1403，係基於作業對象位置資訊402之作業對象位置座標603所構築之3維模型。

經以上之說明，結束關於藉由意圖理解部105之意圖理解處理之詳細說明，現回到第9圖之流程圖。

資料輸入部106，在步驟ST904中，判斷意圖理解部105之資料輸入控制部1005，是否已設定資料輸入用詞典(步驟ST905，輸入判定處理)。具體而言，資料輸入部106，判定資料輸入控制部1005，在使用第11圖說明之步驟ST1106中，是否已設定資料輸入用詞典。

在步驟ST905中，資料輸入控制部1005，在判斷資料輸入用詞典已設定之情況下(步驟ST905之“YES”之情況)，進入步驟ST906。

在步驟ST905中，資料輸入控制部905，在判斷資料輸入用詞典尚未設定之情況下(步驟ST905之“NO”之情況)，跳過步驟ST906~步驟ST909之處理，而進入步驟ST910。

在此，於第11圖中，資料輸入控制部1005，因為不可以輸入來自資料輸入部106之資料，亦不執行步驟ST1106之處理，所以進入步驟ST910。又，關於步驟ST906~步驟ST909之處理，則在後面說明。

在步驟ST910中，關聯資訊顯示部107，顯示關於在步驟ST904之意圖理解部105建構之作業對象之關聯資訊(步驟ST910，關聯資訊顯示處理)。亦即，關聯資訊顯示部107，顯示關於在第11圖之步驟ST1104之意圖理解部105之關聯資訊產生部1004所建構之作業對象之關聯資訊。

具體而言，關聯資訊顯示部107，在使用第2圖說明之眼鏡型之終端301之顯示部303上，重疊顯示各配電盤A~C之檢查狀況。

在此，於第14圖，表示藉由關聯資訊顯示部107，重疊顯示各配電盤A~C之檢查狀況之一個範例。

如第14圖所示地，根據關聯資訊顯示部107，顯示配電盤 A係第一檢查對象(檢查對象1)，配電盤B係第二檢查對象(檢查對象2)，配電盤C為檢查完畢。又，在關於關聯資訊產生部1004產生的作業對象之關聯資訊中，包含步驟ID801之資訊，關聯資訊產生部1004，遵從上述步驟ID801之資訊，使關聯資訊顯示部107讓作業順序出現來顯示關聯資訊。在第14圖，顯示以檢查對象1至檢查對象2之順序來執行檢查作業之作業順序。然而，檢查對象1、檢查對象2‧‧‧之順序，是在關於步驟ID801之ID中，從含有設定成較小，亦即較早之作業順序之步驟ID801之作業對象開始，依順序對作業對象編號。

之前，在檢查對象為複數時，作業者應該以如何知順序來檢查等之綜合資訊之獲得，成為一個課題，因此作業者如能獲得包含要應該以如何之順序來檢查之綜合資訊，則能減低作業疏失。

又，在每個作業對象之作業順序，可設定為一定要以決定之順序來實行之「固定順序」，亦可以設定為以任意之順序來實行事前決定之複數項目單位而對檢查作業無影響之「任意順序」。例如在第14圖之最右側之配電盤(假設是配電盤C)為「檢查完畢」，那可假定配電盤A~C之作業順序為任意之順序。

例如，藉由將作業步驟階層樹404如第15圖地展開，則能處裡上述「任意順序」之作業對象。在第15圖，表示電器室A以下，亦即，配電盤A~配電盤C之檢查順序為任意之順序。

又，在第15圖，表示各配電盤之作業項目為固定順序。如此地，關於作業項目，能夠設定為「固定順序」之項目和「任意順序」之項目。作業項目之作業順序之顯示，在後面說明。

意圖理解部105，判定是否有殘餘之作業(步驟ST911，殘餘作業判定處理)。

在步驟ST911中，於判斷為有殘餘之作業之情況下(步驟ST911之“YES”之情況)，則返回至步驟ST901，藉著重複步驟ST901至步驟ST910之處理，如果做業者眼見的方向一改變，安裝之攝影機304之面向隨之改變，之後按照自我位置推定結果，會追蹤並移動作業對象關聯資訊之顯示位置。如此地，能夠藉由作業者之視野上，重疊顯示關連至作業對象之資訊，以防止形狀類似之配電盤A和配電盤B之作業順序之誤取或記錄疏失。

又，在此，作業者不再執行檢查作業，所以返回至步驟ST901。

接著，說明關於作業者實際執行檢查作業，而輸入檢查結果時之動作。具體而言，在以下說明作業者靠近為最初之檢查對象之配電盤A而執行之配電盤A之檢查作業。

作業者，靠近最初之作業對象，亦即，為最初之檢查對象之配電盤A，經由和上述之第9圖之步驟ST902、步驟ST903同樣之順序，得到自我位置推定部103所推定之自我位置推定結果。

接著，在步驟ST904，藉由意圖理解部105，實行第11圖之步驟ST1101~步驟ST1106之處理。

在步驟ST1101，和上述同樣地，作業步驟管理部1001參照作業步驟管理資料記錄部1002，取得現在之作業狀況。在此，和上述同樣地，獲得所謂的步驟ID為P1~P6之作業步驟為未處理，而步驟ID為P7以後之作業步驟為處理完成之作業狀況。

在步驟ST1102，和上述同樣地，作業對象距離計算部1003，以在步驟ST903之自我位置推定部103輸出之自我位置推定結果當基準，並參照作業支援資料201，計算成為現在作業對象之機器和作業者間之距離。

在步驟ST1103，和上述同樣地，資料輸入控制部1005，按照在步驟ST903之自我位置推定部103輸出之自我位置推定結果，和以在步驟ST1102之作業對象距離計算部1003算出之現在作業對象之機器與作業者間之距離，來判定是否為應從資料輸入部106接受資料輸入之作業狀態。

在此，作業者靠近為檢查對象之配電盤A，如果成為作業者與配電盤A間之距離比既定值還小的狀態，則資料輸入控制部1005判斷為應從資料輸入部106接受輸入資料(步驟ST1103之“YES”)，而進入步驟ST1105。

在步驟ST1105，關聯資訊產生部1004，從在步驟ST903之自我位置推定部103輸出之自我位置推定結果，並參照作業支援資料201，產生關於判斷為靠近作業者之作業對象之作業項目之關聯資訊(作業項目關聯資訊產生處理)。

具體而言，關聯資訊產生部1004，首先，基於在步驟ST1101之作業順序管理部1001所取得之現在作業狀況之資訊，並參照作業支援資料201之作業步驟階層樹404，取得對應至為「未處理」之步驟ID之作業項目名稱。在此，因為根據作業順序管理部1001，從如第12圖所示之作業順序管理資料，取得步驟ID為P1~P6之作業順序為「未處理」之作業狀況之資訊，所以關聯資訊產生部1004，參照作業步驟階層樹404，由步驟ID為P1~P6中，取得對應至為配電盤A之作業項目之步驟P1~P3之「開關X(正常值關閉)」、「開關Y(正常值關閉)」、「電流表(正常值550~600A)」，作為作業項目名稱。

接著，關聯資訊產生部1004，關於各作業項目，參照作業項目位置資訊403之作業項目座標703，取得在作業對象內之各作業項目之位置資訊。

又，關聯資訊產生部1004，使之和上述步驟ST1104之處理同樣地，假想在作業者之位置之作業者面對之方向上垂直之平面，將各作業對象之3維座標投影在此假想之平面上。又，關聯資訊產生部1004，基於從作業項目位置資訊403之作業項目座標703所取得之各作業項目之位置資訊，藉由計算求得重疊顯示時之各作業項目之座標資訊。關聯資訊產生部1004，產生上述重疊顯示時之各作業項目之座標資訊，和作業名稱，作為關於作業項目之關聯資訊。然後，將上述產生之關於作業項目之關聯資訊，通知關聯資訊顯示部107。在此，關聯資訊產生部1004，將未處理之作業對象「配電盤A」之作業項目「開關X」、「開關Y」、「電流表Z」，和重疊顯示之時之各作業項目之座標資訊，通知關聯資訊顯示部107，作為關於作業項目之關聯資訊。

在步驟ST1106，資料輸入控制部1005，基於以在步驟ST1101之作業步驟管理部1001取得之現在作業狀況之資訊，並參照作業支援資料201之作業步驟階層樹404，接著進行對應至應處理而未處理之作業項目之聲音辨識詞典ID806與手勢辨識詞典ID807(將聲音辨識詞典ID806與手勢辨識詞典ID807，作為資料輸入用詞典ID)之設定(資料輸入用詞典ID選擇處理)。又，來自上述聲音辨識詞典ID806與手勢辨識詞典ID807之聲音辨識詞典與手勢辨識詞典之具體之設定方法，與根據使用聲音辨識詞典與手勢辨識詞典之作業者之資料輸入處理之細節，會在後面說明。

經以上之說明，結束關於作業者實際執行檢查作業，而輸入檢查結果時之意圖理解處理之詳細說明，接著，隨著第9圖說明關於上述動作。

執行在第11圖所說明之處理，意圖理解部105之關聯資訊產生部1004，一旦將關於作業項目之關聯資訊，通知關聯資訊顯示部107，資料輸入部106，即判定是否資料輸入用詞典ID被設定(步驟ST905，資料輸入判定處理)。具體而言，在第11圖之步驟ST1106，資料輸入控制部1005，判定是否設定聲音辨識詞典ID與手勢辨識詞典ID。又，是否設定聲音辨識詞典ID與手勢辨識詞典ID，亦可以是，根據例如，對來自意圖理解部105之資料輸入部106，傳送設定過之聲音辨識詞典ID或手勢辨識詞典ID之資訊，而資料輸入部106，是否已接收到聲音辨識詞典ID或手勢辨識詞典ID來判斷。

在此，如上述所說明，因為設定聲音辨識詞典ID或手勢辨識詞典ID，作為資料輸入用詞典ID，所以進入步驟ST906。

資料輸入部106，將對應至以在步驟ST1106所設定之聲音辨識詞典ID806與手勢辨識詞典ID807之聲音辨識詞典與手勢辨識詞典，作為資料輸入用詞典ID，而一邊參照上述資料輸入用詞典ID，一邊接受作業者之資料輸入(步驟ST906，資料輸入處理)。

又，作業者之資料輸入，例如從，根據在耳機306上所具備之麥克風之聲音輸入，或手勢來執行。像作業者執行之手勢動作，例如為用手製作OK記號等。藉由使攝影機304拍攝上述OK記號等，作業者執行資料輸入。資料輸入部106，藉由透過影像輸入部102接受上述影像，獲得作業者之資料輸入資訊。

關於步驟ST906之動作，參照第16圖、第17圖來說明。

第16圖，係本第一實施例之資料輸入部106之詳細架構圖。

資料輸入部106，如第16圖所示，具備聲音辨識部1501、聲音辨識詞典1502、手勢辨識部1503及手勢辨識詞典1504。

聲音辨識部1501，參照聲音辨識詞典1502，辨識作業者發出之聲音，得到辨識結果。

聲音辨識詞典1502，記憶對應至作業項目之聲音辨識詞典。又，聲音辨識詞典1502，係預先被設定之詞典。

手勢辨識部1503，參照手勢辨識詞典1504，辨識作業者執行之手勢動作，得到辨識結果。

手勢辨識詞典1504，關聯記憶手勢動作與動作內容。又，手勢辨識詞典1504，係預先被設定之詞典。

又，在此，聲音辨識詞典1502和手勢辨識詞典 1504，係資料輸入部106所具備之詞典，但並不侷限於此，聲音辨識詞典1502和手勢辨識詞典1504亦可在資料輸入部106之外部來具備。

第17圖，係說明根據此第一實施例之資料輸入部106之步驟ST906之詳細動作之流程圖。

接受作業者之資料輸入，而資料輸入處理一開始，資料輸入部106之聲音辨識部1501，即參照聲音辨識詞典1502，來辨識作業者發出之聲音，得到辨識結果(步驟ST1601)。

在此步驟ST1601中，藉由聲音辨識部1501之聲音辨識處理，可以使用現有之技術(例如，參照特開2000-112494號公報「聲音辨識檢查系統」)。

又，關於聲音辨識詞典1502，是事先針對每個作業項目而準備的，聲音辨識部1501，藉由第11圖之步驟ST1106中之意圖理解部105之資料輸入控制部1005來設定，而使用對應至現在處理中之作業項目之聲音辨識詞典ID806所對應之聲音辨識詞典1502。

在此，第18圖，係在第一實施例中，聲音辨識詞典1502之內容之一個範例說明圖。

在聲音辨識詞典1502，第8圖所示之作業步驟階層樹404之作業對象，例如，對應至「配電盤A」之各作業項目之語彙，被事先登錄。

在第18圖，因為以一次之發聲，輸入對於複數之作業項目之作業結果是可能的，所以表格中之第4行上所示之如「關閉關閉<N>安培」之語彙，亦被登錄。所謂的<N>，係為了要辨識電流表之數值等之特殊符號。

資料輸入部106之手勢辨識部1503，參照手勢辨識詞典1504，來辨識作業者執行之手勢動作，得到辨識結果(步驟ST1602)。

在此步驟ST1602中，藉由手勢辨識部1503之手勢辨識處理，可以使用現有之技術(例如，參照特開2011-76255號公報「手勢辨識裝置、手勢辨識方法及手勢辨識程式」、特開2010-237766「資訊處理裝置、命令實行控制方法及命令實行控制程式」、特開2007-034525「資訊處理裝置、及資訊處理方法、以及電腦‧程式」)。

又，關於手勢辨識詞典1504，和聲音辨識詞典1502同樣地，是事先針對每個作業項目而準備的，藉由第11圖之步驟ST1106中之意圖理解部105之資料輸入控制部1005來設定，成為使用對應至現在處理中之作業項目之手勢辨識詞典ID807所對應之手勢辨識詞典1504。

經以上之說明，結束關於關於藉由資料輸入部106之步驟906之動作之詳細說明，現回到第9圖之流程圖。

意圖理解部105之資料輸入控制部1005，判定資料輸入結果之有無(步驟ST907，輸入結果判定處理)。

在步驟ST907，於判斷為有資料輸入結果時(步驟ST907之“YES”之情況)，意圖理解部105之資料輸入控制部1005，對聲音輸出部108，複誦以步驟ST906辨識之來自作業者之輸入結果，同時使輸入結果對關聯資訊顯示部107顯示(步驟ST908)。

意圖理解部105之作業步驟管理部1001，更新作業步驟管理資料記錄部1002(步驟ST909，作業步驟管理資料更新處理)。具體而言，關於在步驟ST906接受輸入，來自作業者之資料輸入結束之作業項目，將第12圖所示之作業步驟管理資料之作業狀況1102，從「未處理」更新為「作業完畢」。亦即，在此，例如，一旦作業者檢查配電盤A開關X為關閉(OFF)時，即將第12圖所示之作業步驟管理資料之步驟P1更新為「作業完畢」。所謂的配電盤A之開關X之作業項目之步驟ID為P1，是由作業步驟階層樹404所特定的。

相反地，在步驟ST907於判斷為無資料輸入結果時(步驟ST907之“NO”之情況)，則進入步驟ST910。

在步驟ST910，關聯資訊顯示部107，將從意圖理解部105之關聯資訊產生部1004通知之關聯資訊，顯示在顯示部303。

具體而言，關聯資訊顯示部107，將配電盤A之檢查項目，重疊顯示在第2圖所示之眼鏡型之終端301之顯示部303上。

第19圖，係表示在第一實施例中，根據關聯資訊顯示部107之作業項目重疊顯示之一個範例圖。

在第19圖，提示確認開關X為關閉(OFF)，開關Y為關閉(OFF)，電流表之顯示為正常值範圍(550A~600A)內。

亦即，在上述步驟ST910，於接受來自作業者之資料輸入時，意圖理解部105之關聯資訊產生部1004，關於產生之作業項目之關聯資訊，對關聯資訊顯示部107，重疊顯示如第19圖所示之作業項目。亦即，關聯資訊顯示部107，遵從來自意圖理解部105之指示，將如第19圖所示的，顯示在眼鏡型之終端301之顯示部303上。

然後，作業者，確認上述顯示，執行檢查作業後，執行檢查結果之資料輸入。

又，如第19圖所示地，基於藉由上述之第11圖之在步驟ST1105之關聯資訊產生部1004所得到之作業對象內之各作業項目之位置資訊，從各作業項目之顯示，重疊顯示對其作業對象機器所拉出的線。

又，在關於關聯資訊產生部1004產生之作業對象之關聯資訊中，包含步驟ID801之資訊，關聯資訊產生部1004，遵從上述步驟ID801之資訊，對關聯資訊顯示部107，使作業者了解作業順序地來顯示關聯資訊。在第19圖，例如，遵從步驟ID801，執行顯示以提示以檢查對象1~檢查對象3之順序來執行作業。

藉此，作業者，能夠獲得包含所謂的應以何種順序來檢查之資訊之綜合資訊，而能夠減低作業疏失。

如此地，藉由重複從步驟ST901至步驟ST910之處理，一旦做業者眼見之方向改變，安裝之攝影機304之方向即隨之改變，接著按照自我位置推定結果，來追蹤並移動上述拉出的線之顯示位置。如此地，能夠藉由在作業者之視野上重疊顯示關聯至作業項目之資訊，防止關於形狀相似之機器之作業順序之誤取或記錄疏失。

又，作業對象距離計算部1003計算之現在作業對象之機器與作業者間之距離比既定值大時，亦即，作業者並不十分靠近要檢查之機器時，則不可輸入資料，如第14圖所示地，接著執行關聯至檢查對象為複數之作業對象之關聯資訊之顯示，而在作業對象距離計算部1003計算之現在作業對象之機器與作業者間之距離比既定值小時，亦即，作業者十分靠近要檢查之機器時，如第19圖所示地，因為執行關聯至作業者就要檢查之作業對象之作業項目之關聯資訊之顯示，所以能夠按照作業者之狀況，適當地提供對作業者而言必要之資訊。

第20圖，係表示在第一實施例中，根據作業者之作業項目之檢查結果輸入後之重疊顯示之一個範例圖。

執行在第19圖所示之顯示，提示作業者之檢查作業，在步驟ST907於判斷有來自作業者之檢查結果之資料輸入結果時，遵從來自意圖理解部105之指示，關聯資訊顯示部107，按照此資料輸入結果時，執行如第20圖之顯示。

在第20圖，關聯資訊顯示部107，因為在眼鏡型之終端301之顯示部303上，藉由在各檢查項目後面顯示○之符號，以顯示檢查結果無問題的檢查對象。又，在執行這些顯示的同時，遵從來自意圖理解部105之指示，聲音輸出部108，從耳機306所具備的喇叭等，執行為了作業者容易確認之檢查結果之復誦(參照步驟ST908)。又，遵從來自意圖理解部105之指示，關聯資訊顯示部107，亦將作業者輸入之電流值，一起顯示在顯示部303。

具體而言，例如，一旦作業者發出「開關X關閉」之聲音來輸入檢查結果，資料輸入部106即執行上述發聲內容之聲音辨識，並將辨識結果輸出至意圖理解部105，在意圖理解部105，參照作業步驟階層樹404，來判斷辨識過之檢查結果是否為正常值。然後，在判斷為正常值時，意圖理解部105則對關聯資訊顯示部107，在上述作業項目之後方，在此為開關X之後方顯示○之符號。

第21圖，係表示在第一實施例中，檢查結果之值為合理值以外之異常值，亦即，檢查結果有不良時之重疊顯示之一個範例圖。

在檢查結果有誤輸入時，如第21圖所示地，關聯資訊顯示部107，遵從來自意圖理解部105之指示，在眼鏡型之終端301之顯示部303上之作業項目1301之後方顯示X之符號。藉此，顯示檢查結果有問題之作業項目。

具體而言，例如，一旦作業者發聲來輸入檢查結果，資料輸入部106即執行上述發聲內容之聲音辨識，並將辨識結果輸出至意圖理解部105，在意圖理解部105，參照作業步驟階層樹404，來判斷辨識過之檢查結果是否為正常值。然後，在判斷不為正常值時，意圖理解部105則對關聯資訊顯示部107，在上述作業項目之後方，顯示X之符號。又此時，意圖理解部105，亦可對聲音輸出部108，輸出對作業者要求檢查作業結果之資料再輸入之系統聲音。

重複以上之順序，如果完成全部作業項目之輸入(步驟ST911之“NO”之情況)，意圖理解部105，則透過通信部104，使全部作業項目之資料輸入結果，記錄在伺服器2條之作業結果資料202上(步驟ST912)。

在此，作業結果資料202之內容，在22圖表示。

判定意圖理解部105有無殘留作業，在判斷為有殘留作業時(步驟ST911之“YES”之情況)，則重複步驟ST901至步驟ST910之處理。

又，在本實施例1，如第1圖所示，成為作業支援裝置1和伺服器2分開之架構，但並不侷限於此，在作業支援裝置1具有十分之計算能力和記憶容量之情況下，亦可以是伺服器2內藏在作業支援裝置1之架構。

又，在本實施例1，亦可以具備在判斷為移動至下一個場所之情況下，例如藉由利用GPS或無線LAN基地台資訊等，顯示到達下一個場所之導航指引之功能。

如以上所說明，根據第一實施例，藉由具備：自我位置推定部103，基於作業對象之位置資訊和作業對象之影像，來推定作業者之位置資訊；以及意圖理解部105，基於自我位置推定結果、資料輸入結果、與具有遵從作業步驟而階層地儲存關於作業對象之資訊之作業步驟階層樹404與關於作業對象之位置資訊之作業支援資料201，來產生應顯示之關聯資訊與應輸出之聲音資訊；所以可以提供作業者應以何種順序來檢查之資訊。又，對作業者而言，能以自然的型態來操作。

因此，能夠減輕作業負擔，並減低檢查之遺漏或記錄錯誤等之作業疏失。又，因為在輸入上使用聲音辨識，作業者不必要在檢查中手持筆記用具或攜帶型終端機器，所以能夠更有效率地進行作業結果之輸入。又，因為能夠使用各個作業上最適合之聲音辨識詞典與手勢辨識詞典，所以可以成為誤辨識少之有效率之輸入。

[第二實施例]

在第二實施例，對作業者，合併顯示關於作業對象之作業項目之補助資訊之實施例，做說明。

又，在本第二實施例，所謂的補助資訊，例如，作業者執行檢查作業時之電流值異常時之檢查步驟等之作業者在作業時之成為助益之資訊。

第23圖，係有關於本發明之第二實施例之作業支援裝置1之架構圖。

第23圖所示之作業支援裝置1，和在第一實施例中使用第1圖來說明之作業支援裝置1相比，差異點只在於又具備補助資訊呼叫指示部109、補助資訊選擇部110及補助資訊輸出部111。因為關於其他之構造，和第1圖之作業支援裝置1相同，所以在相同的構造上，附加相同之符號，而省略重複之說明。

補助資訊呼叫指示部109，接受作業者之補助資訊呼叫之指示，通知意圖理解部105。

補助資訊選擇部110，透過意圖理解部105，參照儲存在伺服器2之附加補助資訊ID之作業支援資料203及補助資訊資料204，從補助資訊資料204，選擇按照作業步驟之應顯示之補助資訊，輸出至意圖理解部105。又，在儲存在伺服器2之附加補助資訊資料204，儲存著附帶了附加補助資訊ID之作業支援資料203之補助資訊ID及補助資訊；補助資訊，由關聯至作業項目之文書資料或動畫資料而成。

附加補助資訊ID之作業支援資料203，係在第一實施例所說明之作業支援資料201上，附加了為了特定上述補助資訊資料204之補助資訊ID。

補助資訊輸出部111，輸出藉由補助資訊選擇部110所選擇之補助資訊資料。

又，本第二實施例之作業支援裝置1之硬體架構，和在第一實施例使用第3圖所說明的為同樣之架構。

補助資訊選擇部110，使用CPU31。

補助資訊呼叫指示部109，使用耳機306。又，補助資訊輸出部111，使用顯示部303或耳機306。又，這只是一個範例，亦可補助資訊呼叫指示部109及補助資訊輸出部111，為其他的硬體架構所構成。

第24圖，係說明有關於本發明之第二實施例之作業支援裝置1之動作之流程圖。

第24圖中所示之本發明之第二實施例之作業支援裝置1之動作，與在第一實施例使用第9圖所說明之動作之差異點，在於追加了步驟ST2301~步驟ST2303。其他關於步驟ST901~步驟ST912之動作，因為和在第9圖所說明的為同樣之動作，所以附加相同之步驟號碼，而省略重複之說明。在此只關於和第一實施例不同之動作，做說明。

在步驟ST904，意圖理解部105，一旦基於根據在步驟ST903之自我位置推定部103之自我位置推定結果及伺服器2之附加補助資訊ID之作業支援資料203，產生應顯示之關聯資訊及應輸出之聲音資料，同時執行按照作業狀況來執行資料輸入用詞典ID之設定之意圖理解處理，即判定補助資訊呼叫指示部109是否接受來自作業者之補助資訊呼叫指示(步驟ST2301，補助資訊呼叫判定處理)。

具體而言，補助資訊呼叫指示部109，例如，測出作業者發出「呼叫幫助」等之特殊關鍵詞之聲音時之聲音辨識結果，將此結果通知意圖理解部105；在步驟ST2301，根據意圖理解部105是否已接收上述通知，來判定補助資訊呼叫指示部109是否已接受來自作業者之補助資訊呼叫指示。

又，「呼叫幫助」等，關於成為補助資訊呼叫指示之特殊關鍵詞，係事先設定好的，亦可補助資訊呼叫指示部109，從作業者之發話內容之聲音辨識結果，來判斷上述之特殊之關鍵詞是否被測出。

在步驟ST2301，於判斷為未接受來自作業者之補助資訊呼叫指示時(步驟ST2301之“YES”之情況)，進入步驟ST905，之後，執行和第一實施例所說明的同樣之動作。

在步驟ST2301，於判斷為已接受來自作業者之補助資訊呼叫指示時(步驟ST2301之“NO”之情況)，補助資訊選擇部110，透過意圖理解部105，參照伺服器2之附有補助資訊ID之作業支援資料203及補助資訊資料204，按照作業步驟，從補助資訊資料204選擇應顯示之補助資訊(步驟ST2302，補助資訊選擇處理)。又，補助資訊選擇部110，以在步驟ST2302所選擇之補助資訊，被輸出至意圖理解部105。

第25圖，係在本第二實施例中，伺服器2儲存之附有補助資訊ID之作業支援資料203之內容之一個範例說明圖。

又，在第25圖，關於和在第一實施例中使用第4圖來說明之作業支援資料201相同之資訊上，附加相同之符號，而省略重複之說明。

在第25圖所示之附有補助資訊ID之作業支援資料203，和第4圖之作業支援資料201之相異點，在於作業步驟階層樹404、附有補助資訊ID之作業步驟階層樹2401。

第26圖，係在第二實施例中之附有補助資訊ID之作業步驟階層樹2401之資料內容之一個範例說明圖。

又，在第26圖，關於和在第一實施例中使用第8圖說明之作業步驟階層樹404之各資訊相同之資訊，附加相同之符號，而省略重複之說明。

在第26圖所示之附有補助資訊ID之作業步驟階層樹2401，除了第8圖之作業步驟階層樹404之各資訊外，其差異點僅為又保有補助資訊ID2501。

在步驟ST2302，補助資訊選擇部110，基於藉由意圖理解部105之步驟ST904之處理，具體為以第11圖之步驟ST1101之處理所得到之作業奘況，從附有補助資訊ID之作業步驟階層樹2401，取得按照現在處理中之作業步驟之補助資訊ID，並從補助資訊資料204，選擇對應此補助資訊ID之補助資訊。

具體而言，例如，在第11圖之步驟ST1101，一旦將配電盤A判斷為「未處理」之作業項目，補助資訊選擇部110，即從第26圖之附有補助資訊ID之作業步驟階層樹2401，來特定對應至為配電盤A之作業項目之步驟P1~P3之「開關X(正常值關閉)」、「開關Y(正常值關閉)」、「電流表(正常值550~600A)」，作為作業項目名稱，並取得H1~H3，作為對應至上述作業項目名稱之補助資訊ID。

又，補助資訊選擇部110，以取得之補助資訊ID當關鍵，參照補助資訊資料204，選擇對應至補助資訊ID之補助資訊。

然而，在補助資訊資料204，補助資訊ID及補助資訊事先被附帶儲存。所謂的補助資訊，例如，電流值異常時之檢查步驟等，係成為作業者在執行檢查作業時之有益資訊，並為關聯至作業項目之文書資料或動畫資料。

補助資訊輸出部111，以來自意圖理解部105之指示為基準，將在步驟ST2302之補助資訊選擇部110所選擇之補助資訊資料，顯示在，例如，眼鏡型之終端301之顯示部303上(步驟ST2303，補助資訊顯示處理)。

第27圖，係表示在第二實施例中，補助資訊輸出部111，將補助資訊資料顯示在眼鏡型之終端301之顯示部303之一個範例說明圖。

在第27圖之範例中，顯示了表示電流值為異常時之檢查步驟之文書資訊(參照第27圖之2601)。

又，第27圖為一範例，但亦可補助資訊輸出部111，執行根據動畫之步驟顯示。

又，在此，補助資訊輸出部111，將補助資訊資料顯示在眼鏡型之終端301之顯示部303，但並不局限於此，亦可補助資訊資料成為聲音資料，補助資訊輸出部111，從眼鏡型之終端301之耳機306上提供之聽筒等之輸出部，來朗讀聲音資料；意圖理解部105，能夠指示執行按照輸出方法之輸出之補助資訊輸出部111。

如以上所說明，根據第二實施例，藉由提供接受來自作業者之補助資訊呼叫指示之補助資訊呼叫指示部109，和在補助資訊呼叫指示部109接受補助資訊呼叫指示之時，透過意圖理解部105，參照階層地整理並儲存作業步驟之附加補助資訊ID之作業支援資料203及補助資訊資料204，按照作業步驟選擇應顯示之補助資訊之補助資訊選擇部110，作業者能夠取得更自然之型態之補助資訊。又，作業者，能夠藉由取得補助資訊來作業，而能減輕作業負擔，並能更減低檢查遺漏或記錄錯誤等之作業疏失。

又，在第一實施例，作業支援裝置1，係為如第1圖所示之架構，但作業支援裝置1藉由具備自我位置推定部103及意圖理解部105，而獲得如上述之效果。

又，本發明，在發明之範圍內，可以是各實施例之自由之組合或是可以各實施例之任意之構成要素之變形，或是可以在各實施例省略任意之構成要素。

【產業上之利用可能性】

有關本發明之作業支援裝置，因為其架構能夠減輕作業負擔，減低檢查遺漏或記錄錯誤等之作業疏失，所以能夠適用於機械設備之維護檢查作業、修理作業、設置作業等之遵從一定之步驟來執行之作業之作業支援裝置。