TWI601023B - 資料收集伺服器及欠損資料補完方法 - Google Patents
資料收集伺服器及欠損資料補完方法 Download PDFInfo
- Publication number
- TWI601023B TWI601023B TW105122591A TW105122591A TWI601023B TW I601023 B TWI601023 B TW I601023B TW 105122591 A TW105122591 A TW 105122591A TW 105122591 A TW105122591 A TW 105122591A TW I601023 B TWI601023 B TW I601023B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- information
- loss
- collection
- periodic
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C25/00—Arrangements for preventing or correcting errors; Monitoring arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Selective Calling Equipment (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Testing And Monitoring For Control Systems (AREA)
Description
本發明關於從複數個測量器收集資料(data)之資料收集伺服器(server)中,尤以在定期收集時補完欠損之資料的技術。
資料收集伺服器係從經由通訊手段而連接之複數個測量器依固定時間定期地收集測量器的量測資訊。然而,由於通訊狀況之變化,並不一定能從全部的量測器取得量測資訊,某些機器的量測資料會暫時性地產生欠損。然而,在產生有通訊障礙之狀況下,即便使有資料欠損之機器再度傳送資料,亦僅是徒然增加通訊量(traffic),而難以再度取得並補完資料。另一方面,各測量機器通常保持有過去數日份之測量資料。
因此,已揭示有一種無線通訊系統,係在測量資料有欠損時,藉由在與該機器之通訊恢復之情況下使欠損資料群組化(group)並再度傳送而進行補完(例如,參閱專利文獻1)。
專利文獻1:日本特開2009-140184號公報(段落第0016至0040段,圖式第1至6圖)
然而,有產生欠損資料之機器基本上會有被設置於容易產生通訊障礙之環境之情形,即便是通訊恢復後,並僅是使其將欠損之資料一併再度傳送,亦常有再度取得失敗之情形。例如,在某種系統之安裝例中,於定時收集的間隔(interval)為30分時,分配給定期收集與再度取得之時間比例約為2:1。在這種情況下,若持續出現上述之再取得失敗之機器,則再取得對象機器就會逐漸增加,再取得所需時間就增大而對定時收集造成障礙。
本發明係為了解決上述課題所研創者,其目的在於獲得一種資料收集伺服器,係可有效率地再度取得資料並補完欠損資料。
本發明之資料收集伺服器之特徵在於包括:資料取得部,係與複數個測量器之各者進行通訊,並取得前述複數個測量器之各者藉由定期測量而測量得出之資料;定期收集資訊產生部,係產生定期收集資訊,該定期收集資訊係將前述資料取得部所取得之資料中,藉由與前述定期測量同步之定期收集而收集到之資料予以彙整而
得者;欠損狀況解析部,係依據前述定期收集資訊,將從前述複數個測量器之各者收集到之資料的欠損狀況予以解析並產生欠損資訊;以及補完動作控制部,係依據前述欠損資訊,控制用以將前述定期收集資訊中之欠損之資料予以補完之補完動作;其中,前述補完動作控制部係在前述定期收集之各者之後,對於前述複數個測量器之各者,設定以產生欠損時為起點而連續之預定次數份之資料群組;前述資料取得部係按每個前述設定之資料群組再度取得相應之測量器所保持之資料。
再者,本發明之欠損資料補完方法係將資料收集伺服器經由通訊手段收集複數個測量器之各者藉由定期測量所測量得出之資料之系統中之欠損資料補完之方法,其特徵在於包括下述步驟:定期收集資訊產生步驟,係產生定期收集資訊,該定期收集資訊係將從前述複數個測量器取得之資料中,藉由與前述定期測量同步之定期收集而收集之資料予以彙整而得者;欠損狀況解析步驟,係依據前述定期收集資訊,將從前述複數個測量器之各者收集到之資料的欠損狀況予以解析並產生欠損資訊;以及補完動作控制步驟,係依據前述欠損資訊,控制用以將前述定期收集資訊中之欠損之資料予以補完之補完動作;其中,在前述補完動作控制步驟中,係在前述定期收集之各者之後,對於前述複數個測量器之各者,設定以產生欠損時為起點而連續之預定次數份之資料群組,並按每個前述設定之資料群組再度取得相應之測量器所保持之資料。
依據本發明之資料收集伺服器或欠損資料補完方法,在產生欠損時,係按每個以產生欠損時為起點而設定之連續之預定次數份之資料群組而再度取得資料,故可有效率地再度取得資料並補完欠損。
1‧‧‧資料收集伺服器
2、2-1至2-1000‧‧‧測量器
10‧‧‧定期收集資訊產生部
20‧‧‧欠損狀況解析部
30‧‧‧補完動作控制部
40‧‧‧資料收集控制部
70‧‧‧資料取得部
100‧‧‧定期收集資訊保持部
200‧‧‧欠損資訊保持部
Dd‧‧‧欠損資訊
Dp‧‧‧定期收集資訊
Ga、Gai‧‧‧再度取得群組
N‧‧‧再度取得群組長
Ti至Ti+4‧‧‧收集時刻
Vc‧‧‧欠損次數值
Vf‧‧‧旗標值
Vt‧‧‧欠損時刻值
第1圖係用以說明本發明實施形態1之資料收集伺服器的構成之功能方塊(block)圖。
第2圖係用以說明以本發明實施形態1之資料收集伺服器及欠損資料補完方法進行定期收集時之定期收集資訊與欠損資訊的參照關係之圖。
第3圖係用以說明以本發明實施形態1之資料收集伺服器及欠損資料補完方法執行再度時之定期收集資訊與欠損資訊的參照關係之圖。
第4圖係用以說明本發明實施形態1之資料收集伺服器及欠損資料補完方法之流程圖(flow chart)。
第5圖係顯示本發明實施形態1之資料收集伺服器與測量器之關係之構成示意圖。
第1至5圖係用以說明本發明實施形態1之資料收集伺服器的構成或欠損資料補完方法之圖,第1圖係用以說明資料收集伺服器的構成之功能方塊圖,第2圖及第3圖係就進行資料補完的具體例,顯示某個時間點
之定期收集資訊與在到該時間點為止之數次份之欠損資訊各者的資料格式者,第2圖係顯示定期收集執行後之定期收集資訊與欠損資訊的關係,第3圖係顯示執行再度取得後之定期收集資訊與欠損資訊的關係。再者,第4圖係用以說明資料收集伺服器的動作及欠損資料補完方法之從定期收集到資料補完動作為止之過程之流程圖,第5圖係顯示資料收集伺服器與測量器之關係之構成示意圖。
如第1圖所示,本發明之實施形態1之資料收集伺服器1係包括:資料取得部70,係經由網路(network)與測量器通訊,並取得測量器所保持之測量資料;定期收集資訊產生部10,係按固定時間從資料取得部70所定期收集之測量資料產生定期收集資訊Dp,並予以輸出至定期收集資訊保持部100;欠損狀況解析部20,係從保存於定期收集資訊保持部100之定期收集資訊Dp解析欠損狀況而產生欠損資訊Dd,並予以輸出至欠損資訊保持部200;補完動作控制部30,係依據欠損資訊Dd及定期收集資訊Dp決定再度取得對象,使資料取得部70再度取得資料,並依據再度取得之測量資料進行定期收集資訊Dp之資料補完;以及資料收集控制部40,係控制上述各機器的整體動作。
另外,上述各機器亦可以物理性獨立之機器加以構成,不言而喻地亦可以對電腦等之硬體嵌入軟體之方式加以構成。該情形,亦可將與各機器相對應的「…部」適用為「…步驟」。
就本發明實施形態1之資料收集伺服器1或欠損資料補完方法之基本動作而言,係在欠損資料解析部20的動作或欠損狀況解析步驟中,從定期收集資訊Dp抽出在過去取得之測量資料的欠損部位,並產生欠損資訊Dd,該欠損資訊Dd係用以從欠損部位將預先決定之連續之資料定義為一個資料補完群組以作為再度取得對象之資訊。在補完動作控制部30或資料補完步驟中,係依據欠損資訊Dd及定期收集資訊Dp定義資料補完群組並執行資料補完(資料再度取得),而進行定期收集資訊Dp中的欠損之資料的補完。此時,重點在於不論欠損之有無,皆將以從欠損開始之時間點作為起點而預先決定之數量的連續之資料作為再度取得對象,首先先針對該意義進行說明。
一般而言,在以通訊封包(packet)的形態取得資料時,由於有標頭(header)部的管理負擔(overhead),故將資料部的長度設為比標頭部的長度更長,係可提高通訊效率。例如,在某種安裝例中,標頭部的長度為53byte而1個資料的長度為8byte,故藉由以將總括取得之資料長度設為比53byte更大之方式進行分群(grouping),可提高通訊效率(每筆通訊量可取得之資料數)。亦即,對於某種機器,總括取得8比資料以上係可達到高效率之資料取得。
於此,在欠損不連續地產生時,若要僅取得欠損之資料,則必須取得各時間點的時刻資訊及該時間點的數值資料兩者。例如,於時刻t1、t3、t4、t6,在所需之數值資料D1、D3、D4、D6產生欠損時,即便僅欲總括
取得欠損之4筆數值資料,在取得時,會如「t1、D1、t3、D3、t4、D4、t6、D6」,合併時刻資料而需要8筆資料。
相對於此,在上述欠損狀況下,若以不論前頭之時刻t1開始有無欠損,皆取得連續之資料之方式定義取得對象,則在與上述之資料數同樣取得8筆資料時,時刻資料只需前頭者即可。並且,由於為定期收集,故只要知道起點即可判別各收集時刻,故可得到t1、D1、D2、D3、D4、D5、D6、D7之7筆數值資料。亦即,相較於選擇所需之數值資料並予以取得之情形,以有欠損之資料為前頭而總括取得固定數量之資料之方式於每次相同之通訊量所得到之資料數會更多。
當然,在不連續的欠損的間隔較廣,無需補完之資料比需要補完之資料更多時,則僅取得所選擇之資料時的通訊效率比取得連續之資料時之通訊效率更好。因此,到目前為止,並未考量對於要補完之資料,不論是否有無欠損皆積極地取得連續的資料。然而,本申請案發明人係發現,於收集來自多個測量機器之測量值之資料收集伺服器,在產生通訊障礙時,大多為連續產生之情形(機器),而從欠損開始之時刻開始,連續取得預先決定之次數份的數值資料係可達到高效率之資料取得。
因此,於本發明實施形態之資料收集伺服器1或欠損資料補完方法,係以上述標頭份以上之資料量之次數,取得從欠損開始連續之規定次數(7次以上)份以上之資料。再者,為了提高再度取得的成功率,係僅將最近
的定時收集成功之機器設為再度取得對象。以下,係詳細地進行說明。其中,由於將規定次數(稱為再度取得群組長N。)設為本來的「7以上」而具體地說明時,資料之顯示及解析會變得繁複,故假設將規定次數設為「4」而進行具體的說明。另外,關於資料收集伺服器1及測量器2之具體的關係之說明係容後述。
如上述,再度取得群組Ga係在來自某種機器之資料收集產生欠損時,進行總括的再度取得之資料的群組。具體而言,係定義在按每個機器決定之某個收集時刻Ti,初次產生於該機器中之欠損時,顯示該欠損開始時刻(收集時刻(Ti+3))之欠損時刻值Vt。並且,將以欠損時刻值Vt為起點之再取群組長N份之連續的全部的收集時刻(Ti至Ti+3)所對應之資料,不論其是否在途中有欠損,皆設為與欠損時刻Vt產生對應關係之一個再度取得群組Gai。
並且,針對某個再度取得群組Gai,係在欠損時刻值(欠損時刻值Vt:收集時刻(Ti))之收集結束之時間點,將欠損次數值Vc設為1。並且,在之後不論在途中是否有欠損,係按每個定期收集增加計數(count up),直至再度取得群組Gai的最後的定期收集(收集時刻(Ti+3))為止。並且,欠損次數值Vc達到再度取得群組長N份時,即視為再度取得群組Gai完成,並產生決定在下次之收集時刻(Ti+4)進行再度取得動作之旗標(flag)值Vf。此時,將欠損次數
值Vc重設(設定為0),並在之後的收集中產生欠損時,視為「初次產生欠損」,而在至欠損時刻值Vt及新的再度取得群組Gaj完成為止,將欠損次數值Vc增加計數。
並且,為了算出上述之再度取得群組Gai、欠損時刻值Vt、欠損次數值Vc、旗標值Vf,定期收集資訊產生部10係按每次定期收集產生以下所示之定期收集資訊Dp。
在資料取得部70按固定時間(30分)定期收集複數個測量器2所測定之資料時,定期收集資訊產生部10係依據所收集之資料,產生第2圖之上段所示之定期收集資訊Dp。定期收集資訊Dp係顯示從各測量器2收集之趨勢資料(trend data)者,例如第2圖所示者為,以從時刻T1開始定期收集,並在執行過時刻T7之定期收集之後立即產生之定期收集資訊Dp。
另外,在藉由後述之資料補完處理之前後來區別在時刻Tc定期收集時產生之定期收集資訊時,將補完處理前的定期收集資訊標記為「Dp(Tc)U」,將藉由資料再度取得而經過資料補完(修正)之定期收集資訊標記為「Dp(Tc)C」。於第2圖中,在以矩陣(matrix)(表格)形式表現定期收集資訊Dp時,第一行(column,縱向)為各測量器2的ID(M1至M1000(一千台份),以下會有代替「2」以測量器Mi之方式附記ID進行標示之情形)。並且,第1列
(row,橫向)為時刻ID(記載為T1、T2、T3、…),第2列為時刻資料,第3列以後為各測量器Mi的測量資料。
並且,各測量器2例如為電度表,就測量資料而言,係收集電度數的累計值時之定期收集資訊Dp,在第3列以後之欄記載有數值者為顯示成功收集到資料時之資料。另一方面,記載為「X」者為顯示無法收集到資料。例如,ID為M3之測量器2係顯示雖於時刻T1、T3、T6、T7中成功收集到14、23、52、61之資料,惟在T2、T4、T5係收集失敗而產生欠損資料。
另外,關於「收集時刻」,各測量器2與資料收集伺服器1係同步,可將定期收集時之收集時刻視為各測量器2進行過測量之時刻。再者各測量器2所記憶之複數次份之測量資料亦與各自對應之收集時刻一致。因此,在之後之說明中,亦包含測量時刻作為「收集時刻」而進行說明。再者,在本實施形態中,為便於說明,雖針對時刻而顯示實際時刻資料及時刻ID(Ti)之2種類之資料,惟在實用上僅有一方即可。
接著針對欠損資訊Dd進行說明。
欠損狀況解析部20係依據定期收集資訊Dp,將從產生欠損之時刻開始連續之再度取得群組長N份(4次份)之資料定義成再度取群組Ga,以再度取得群組Ga單位來算出欠損時刻值Vt、欠損次數值Vc、旗標值Vf,並產生欠
損資訊Dd。
具體而言,欠損狀況解析部20係使用在收集時刻Tc進行過定期收集後最新的定期收集資訊Dp(Tc)U和在之前最近之定期收集(收集時刻Tc-1)時產生之欠損資訊Dd(稱為欠損資訊Ddc-1。)、以及從補完動作控制部30輸出之補完動作資訊,而產生在下次定期收集時所用之欠損資訊Ddc。例如,在收集時刻T7進行定期收集時,使用在前次收集產生且在本次收集所用之欠損資訊Dd6、定期收集資訊Dp(T7)及補完動作資訊,而產生於下次使用之欠損資訊Dd7(解析欠損)。另外,在第2圖之下段係為了說明之前的定期收集時之動作及初始設定值等,而不僅是在收集時刻T7所使用之Dd6,亦並排記載過去7次份之欠損資訊(Dd0至Dd6)。
各欠損資訊Ddi係分別可由矩陣形式表現,在第一行記載各測量器2之ID(M1至M1000(一千台份)),在第2行記載顯示再度取得群組Ga是否完成之旗標值Vf,在第3行記載顯示每個再度取得群組Ga的起點(產生欠損之最初的收集時刻)之欠損時刻值Vt。於此,作為屬於定期收集開始前之值之初始值,在預設狀態(default)下旗標值Vf係設定為「0」,欠損時刻值Vt係設定為「空欄」,欠損次數值Vc係設定為「0」。其中,在例如按每日或每週作為個別檔案而保存定期收集資訊Dp、欠損資訊Dd時,只要使初始值接續前次值即可。
另外,例如測量器M1之Dd1至Dd3,記載
有欠損時刻值Vt且旗標值Vf為0時,原本欠損次數值Vc會具有1至3之任一之值,惟在第2圖之例中係省略欠損次數值Vc之記載。再者,雖亦可將欠損次數值Vc保存於欠損資訊Dd內,惟由於只要有定期收集資訊Dp及欠損時刻Vt即可立即算出,故亦可不刻意將欠損次數值Vc予以保存。因此,在使用第4圖於後述說明之流程圖中,關於欠損次數值Vc的增加計數之動作係省略記載。
再者,如後述,在第2圖所示之定期收集資訊Dp(T7)U中,係在收集時刻T6之後進行欠損資料的補完處理。然而在該例中,係依據在該時刻之資料再度取得(欠損資料的補完)失敗,而導致於該時刻下次之收集時刻T7執行定期收集之設定來顯示資料。亦即,第2圖所示之定期收集資訊Dp(T7)U之資料係未進行過補完,各收集時刻之資料係維持再在其定期收集時所收集之資料之狀態。
另外,在動作步驟中,係不論補完動作實際上是否有執行,在確認過是否需要補完動作之後,產生下次定期收集所需之欠損資訊Dd,惟若同時針對補完動作及欠損資料Dd之產生則會變得繁複。因此,首先針對在不伴隨補完動作時,欠損狀況解析部20是如何設定(產生)在下次定期收集時所用之欠損資訊Dd,係亦參考第4圖之流程圖而進行說明。就具體例而言,針對在進行過定期收集後,對於複數個測量器中顯示典型的資料測量狀況之測量器M1、M3、M1000,於某個收集時刻係如何解析欠損狀況進行說明。
欠損狀況解析部20首先製作對於測量器M1至M1000設定旗標值Vf=0、欠損時刻值Vt=「-」、欠損次數值Vc=0作為預設值之欠損資訊Dd0。不過如上述,在分為按每日或每週處理欠損資訊Dd及定期收集資訊Dp時,只要依據在之前的資訊的最終值來產生該資訊的初始值即可。
第4圖所示之流程基本上為各機器按照資料收集控制部40之指示而動作者。基本上,係進行定期收集動作並在產生定期收集資訊Dp後,從測量器M1至M1000為止反覆實施欠損狀況的解析、資料補完、欠損資訊Dd的產生等一連串動作。資料取得部70係通過通運網路從測量器2取得定期收集資料(S10),定期收集資訊產生部10係產生定期收集資訊Dp並輸出至定期收集資訊保持部100(S20)。並且,對於各測量器2係依序執行如以下之解析及補完動作。
於收集時刻T1中,係使用定期收集資訊Dp(T1)U(第2圖所示之Dp(T7)U中,至收集時刻T1為止之累積資料)與欠損資訊Dd0及表示補完動作未進行之補完動作資訊來解析欠損狀態。此時,雖於測量器M1產生欠損,惟由於在Dd0並未有欠損時刻值Vt,故判定為「為最初的欠損」。並且,
於下次使用之欠損資訊Dd1的測量器M1之欄中追加欠損時刻T1(動作A1:步驟Sk10(Y)→Sk110(No)→Sk150)。再者,將欠損次數值Vc設定為1。
於收集時刻T4,係使用定期收集資訊Dp(T4)U(第2圖所示之Dp(T7)中,至收集時刻T4為止之累積資料)與欠損資訊Dd3及表示補完動作未進行之補完動作資訊來解析欠損狀態。此時,於測量器M1中,由於為從欠損開始之第4次收集,且欠損次數值Vc為4,故於Dd4之測量器M1之欄係將旗標值Vf設定為1,並重設欠損次數值Vc(動作A2:步驟Sk10(Y)→Sk110(Y)→S120(=N)→Sk130→Sk140→Sk200)。
於收集時刻T5中,係使用定期收集資訊Dp(T5)U(第2圖所示之Dp(T7)中,至收集時刻T5為止之累積資料)與欠損資訊Dd4及表示補完動作未進行之補完動作資訊來解析欠損狀態。此時,於測量器M1中,雖產生欠損且於Dd4有欠損時刻值Vt,惟由於欠損次數值Vc為0,故判定為「視為最初的欠損」,並於Dd5之測量器M1之欄追加欠損時刻T5(動作A3:步驟Sk10(Y)→Sk110(Y)→Sk120(=0)→Sk150→→Sk200)。再者,將欠損次數值Vc設定為1。
於收集時刻T2中,係使用定期收集資訊Dp(T2)U與欠損資訊Dd1及表示補完動作未進行之補完動作資訊來解析
欠損狀態。此時,雖於測量器M3產生有欠損,惟由於在Dd1沒有欠損時刻值Vt,故判定為「最初之欠損」,並於Dd2之測量器M3之欄中追加欠損時刻T2(步驟Sk10(Y)→Sk110(No)→Sk150→→Sk200)。再者,將欠損次數值設定為1。
於收集時刻T5中,係使用定期收集資訊Dp(T5)U與欠損資訊Dd4及表示補完動作未進行之補完動作資訊來解析欠損狀態。此時,於測量器M3中,由於為從欠損開始之第4次收集,且欠損次數值Vc為4,故於Dd5之測量器M3之欄係將旗標值Vf設定為1,並重設欠損次數值Vc(動作B:步驟Sk10(Y)→S120(=N)→Sk130→→Sk200)。
於收集時刻T3中,雖於測量器M1000產生欠損,惟由於在Dd2沒有欠損時刻值Vt,故判定為「最初之欠損」,並於Dd3之測量器M1000之欄追加欠損時刻T3(步驟Sk10(Y)→Sk110(No)→Sk150→→Sk200)。再者,將欠損次數值Vc設定為1。
於收集時刻T6中,係使用定期收集資訊Dp(T6)U與欠損資訊Dd5及表示補完動作未進行之補完動作資訊來解析欠損狀態。此時,於測量器M1000中,雖沒有欠損,惟由於為從欠損開始之第4次收集,而欠損次數值Vc為4,故於Dd6之測量器M1000之欄係將旗標值Vf
設定為1,並重設欠損次數值Vc(動作C:步驟Sk10(No)→S20(=0)→Sk90(=N)→Sk130→→Sk200)。
接著,說明補完動作控制部30之補完動作及補完成功時之定期收集資訊Dp之修正,以及因應於補完動作資訊之欠損狀況解析部20進行之欠損資訊Dd的產生動作。
基本上,如上述,確認現在時刻Tc之欠損的有無(Sk10)。在現在時刻Tc產生有欠損時(Y),於該計測器2之相關通訊路徑會有產生有某種障礙的可能性,且會有即便要求資料的再度取得亦無法取得資料的可能性。
或者,亦會有變成於通訊中只能等待逾時(timeout)的可能性,故不僅是資料在取得失敗,亦有在該期間亦成為佔據通訊之狀態,成為阻礙其他通訊而無法進行有效率的通訊之狀態之情形。為了避免該狀況,係確認現在時刻Tc之資料取得狀態,判斷是否實施資料補完。並且,在無欠損時,係確認欠損資訊Ddc-1的旗標值Vf(Sk20)。
以下,使用第3圖所示之定期收集資訊Dp及欠損資訊Dd具體地進行說明。第3圖所示者為在時刻T7進行定期收集,並且在進行過資料補完後經過修正之定期收集資訊Dp(T7)C、從時刻T5至T7之用於補完動作之欠損資訊Dd4至Dd6、於補完後產生之欠損資訊Dd7。在各資訊內的顯示內容係與在第2圖所說明者相同,故省略重新說明。
於此,亦參考第4圖之流程圖,對於複數個
測量器中顯示典型的資料測量狀況之測量器M1、M3、M1000,於某個收集時刻係如何控制補完動作進行說明。
於收集時刻T5至T7各者,欠損資訊Dd4至Dd6的旗標值Vf為1(資訊D1)。然而,於定期收集資訊Dp中,於該定期收集時之資料係有欠損(資訊D2)。藉此,補完動作控制部30係不進行在測量器M1之資料再度取得,並將表示不進行之補完動作資訊輸出至欠損狀況解析部20。另一方面,欠損狀況解析部20係依據該定期收集之補完動作資訊及定期收集資訊Dp(Ti)C,及前次定期收集的欠損資訊Ddi-1,而產生用於下次之欠損資訊Ddi(步驟Sk10(Y)→Sk110→Sk120→→Sk200)。此時,於T6及T7中,欠損次數值Vc係分別為1及2,故係維持前次旗標,並將欠損次數值增加計數(Sk120(0<Vc<N)→Sk160→Sk200)。
於收集時刻T6中,欠損資訊Dd5之旗標值Vf為1(資訊E1),於該定期收集之定期收集資訊Dp(T6)U(第2圖)沒有資料之欠損(資訊E2)。藉此,補完動作控制部30係將從欠損時刻值Vt以測量器M3的時刻T2為起點之4次份之資料設定成再度取得群組Ga2,並進行資料再度取得(Sk10(No)→Sk20(=1)→Sk30)。然而,由於資料再度取得失敗,故將表示該內容之補完動動作資訊輸出至欠損狀況解析部
20(Sk40(No)→Sk70)。欠損狀況解析部20係解析欠損狀況,由於欠損時刻值Vt的數量為僅有T2之1,且欠損次數值Vc為0,故維持前次旗標(1)。亦即,藉由欠損時刻值Vt、旗標值Vf皆為繼承前次值之值而產生欠損資訊Dd6的測量器M3的欄(動作E0:步驟Sk70(=1)→Sk90(<N)→Sk95→Sk200)。
於收集時刻T7中,欠損資訊Dd6的旗標值Vf為1(資訊E1),於該定期收集之定期收集資訊Dp(T6)U(第2圖)沒有資料欠損(資訊E3)。藉此,補完動作控制部30係將以測量器M3的時刻T2為起點之4次份之資料設定成再度取得群組Ga2,並進行再度取得(Sk10(No)→Sk20(=1)→Sk30)。
此時,由於除了標頭以外,僅需顯示起點之時刻T2、時刻T2的資料D2、時刻T3的資料D3、時刻T4的資料D4、時刻T5的資料D5之5筆資料,而可從測量器M3有效率地進行通訊。另外,由於已知從測量器M3獲得之資料的起點為T2,故依情況亦可無需顯示起點之時刻T2之資料。亦即,亦可將再度取得對象之資料數縮減成資料D2、資料D3、資料D4、資料D5之4筆資料。
由於在該條件下之資料再度取得成功,故以第3圖所示之Dp(T6)C之方式修正定期收集資訊Dp(動作E1:Sk40(Y)→Sk50)。並且,將表示該內容之補完動作資訊輸出至欠損狀況解析部20。
欠損狀況解析部20係刪除作為欠損時刻值
Vt而保存之T2,並且由於藉由將T2刪除而使欠損時刻值Vt之數量成為0,故將旗標值Vf設定為0而產生欠損資訊Dd6的測量器M3之欄(動作E2:步驟Sk60→Sk70(0)→Sk100→Sk200)。
於收集時刻T7中,欠損資訊Dd6之旗標值Vf為1(資訊F1),於該定期收集之定期收集資訊Dp(T7)U(第2圖)沒有資料之欠損(資訊F2)。藉此,補完動作控制部30係將從欠損時刻值Vt以測量器M1000的時刻T3為起點之4次份之資料設定成再度取得群組Ga3,並進行再度取得(Sk10(No)→Sk20(=1)→Sk30)。然而,由於資料再度取得失敗,故將表示該內容之補完動動作資訊輸出至欠損狀況解析部20(Sk40(No)→Sk70)。欠損狀況解析部20係解析欠損狀況,由於欠損時刻值Vt的數量為僅有T3之1,且欠損次數值Vc為0,故維持前次旗標(1)。亦即,藉由欠損時刻值Vt、旗標值Vf皆為繼承前次值之值而產生欠損資訊Dd7的測量器M1000的欄(動作F0:步驟Sk70(=1)→Sk90(<N)→Sk95→Sk200)。
將上述動作對各測量器Mi依序實施後,產生欠損資訊Dd7,並預備進行下次定期收集。藉此,在經由通訊路徑從複數個測量器2定期地收集資料時,係能夠使再度取得動作不對定期收集造成影響,而進行資料的再度取得(補完)。結果,能夠依據資料的欠損狀況效率良好
地再度取得資料並進行欠損資料的補完。
於此,關於資料收集伺服器1及測量器2之構成,係使用第5圖重新進行說明。資料收集伺服器1係如第5圖所示,經由無線或如PLC(Power Line Comunication,電力線通訊)之有線通訊手段而定期地從測量器2-1至2-1000(測量器M1至M1000)收集測量資料。各測量器2-1至2-1000係於內部亦保存有過去的定期收集之測量資料,在圖中係顯示保有12小時份之定期收集(30分×25次)之資料。
例如,設想就資料收集伺服器1而言係為查表伺服器,就測量器2而言為智慧型量錶(meter)等之查表系統。或者,應用於就資料收集伺服器1而言使用節能資料收集伺服器,就測量器2而言使用測量終端機之節能系統,就資料收集伺服器1而言使用需求(demnad)資料收集伺服器,就測量器2而言使用交易用量錶之需求監視系統等時,即可有效率地進行欠損資料之收集。
另外,在本發明實施形態之資料收集伺服器1或資料欠損補完方法中,係以通訊狀態會變化為前提。該前提不限於無線通訊,即便是如PLC之有線的通訊手段亦會有相同情形。這是由於例如在如PLC之經由電力線之通訊中,即便電力線有施加屏障(shield),亦會因所使用之機器所發出之雜訊(noise)等而造成通訊狀況變化。亦即,本發明實施形態之資料收集伺服器1或資料欠損補完方法不論是在以無線通訊手段進行通訊之構成,或以有線通訊手段進行通訊之構成中,對於會因環境等造成通訊狀
況變化之構成皆可發揮效果。
另外,本發明實施形態1之資料收集伺服器1及欠損資料補完方法中,尤其是於第2至4圖中,係以對於各測量器2使其具有1個旗標值Vf為前提進行說明。並且,在某個測量器Mi存在有複數個欠損時刻值Vt時,係將以對應於最舊的時間之欠損時刻值Vt為起點之一個再度取得群組Ga設為再度取得對象。藉此,再度取得對象之數量受限制,可不對定期收集造成影響而執行再度取得動作。
另一方面,亦可與欠損時刻值Vt對應而設定旗標值Vf,從而產生欠損資訊Dd。此時,旗標值為1(Sk20),亦即作為再度取得群組Ga而完成者皆可設為再度取得對象。或者,亦可對於全部的測量器2預先算出再度取得群組Ga的數量,並對成為再度取得之候補者賦予優先順序而決定再度取得對象。例如,於第4圖之流程中,係例示按每個測量器2抽出再度取得群組Ga並執行補完動作。然而,在以上述方式賦予優先順位並選擇再度取得群組Ga時,亦可在對於全部的測量器2抽出再度取得群組後,選擇實際作為再度取得對象之再度取得群組Ga後再執行再度取得。
此時,就選擇基準而言,只要以欠損時刻值Vt從舊到新之順序選擇固定數量之再度取得群組Ga而進行補完,即能夠使例如能夠彙整統計之資料的日期最為接近現在時刻。或者,只要選擇欠損時刻值Vt的數量多的
測量器的再度取得群組Ga,即可校正每個測量器的資料的欠損率的偏差而予以均值化。再者,通訊條件的好壞,亦即可藉由該定期收集之欠損的數量,在欠損的數量少即通訊條件較佳,而欠損多則通訊條件較差,從而判斷通訊條件。此時,亦可以欠損愈多則愈少之方式,因應欠損數量而使選擇作為再取得對象之數量變化。
再者,在本實施形態中,就通訊狀態佳之情形而言,係以相應之定期收集時沒有欠損之測量器2為對象而再度取得資料,惟並不限於此,只要是至少取得從欠損開始連續之資料即可。此時,補完動作控制部30亦可不使用定期收集資訊Dp而僅以欠損資訊Dd來控制補完動作。再者,關於欠損資訊Dd亦不限定於以最近一次定期收集所產生之欠損資訊Ddc-1,只要調整欠損次數值Vc、及/或旗標值Vf等的賦予時序、及/或評估基準,即可使用以相應之定期收集所產生之欠損資訊Ddc。
如上述,依據本發明實施形態1之資料收集伺服器1,係構成為包括:資料取得部70,與複數個測量器2(M1至M1000)之各者進行通訊,並取得複數個測量器2之各者藉由定期測量而測量之資料;定期收集資訊產生部10,產生將資料取得部70所取得的資料中藉由與定期測量同步之定期收集所收集之資料予以彙整之定期收集資訊Dp;欠損狀況解析部20,依據定期收集資訊Dp而解析從複數個測量器2之各者收集之資料的欠損狀況而產生欠損資訊Dd;以及補完動作控制部30,依據欠損資訊Dd,
控制用以補完定期收集資訊Dp中的欠損之資料的補完動作;該補完動作控制部30係在定期收集之各者之後,對於複數個測量器2之各者,設定以欠損產生時(欠損時刻值Vt)為起點而連續之預定次數份之資料群組(再度取得群組Ga),資料取得部70係按每個所設定之資料群組(再度取得群組Ga)而再度取得相應之測量器所保持之資料,因此,以定期收集為前提時,可抑制通訊所需之資料量,並有效率地再度取得資料而進行欠損資料之補完。
尤其,補完動作控制部30係構成為依據定期收集資訊Dp,而將資料群組(再度取得群組Ga)中,相應之定期收集時資料有欠損之測量器2的資料群組(再度取得群組Ga)從再度取得之對象中剔除。亦即,僅以在該時間點通訊狀態為良好狀態之測量器2為對象,故再度取得之成功率變高,可更有效率地進行資料之補完。
再者,補完動作控制部30係在對於複數個測量器2之各者設定有複數個資料群組(再度取得群組Ga)時,僅選擇欠損產生時間(欠損時刻值Vt)為最舊之資料群組作為再度取得對象,因此,例如對於各機器係確保作出統計等最為需要之較舊的資料,並限制再度取得對象的數量,可不影響定期收集而執行再度取得動作。
或者,補完動作控制部30係在對於複數個測量器2設定之資料群組(再度取得群組Ga)之總數比預定數更多時,只要優先選擇欠損產生時間(欠損時刻值Vt)為最舊者作為前述再度取得對象,即可使能夠總括統計之資
料的日期最為接近現在時刻。
或者,補完動作控制部30係在對於複數個測量器2設定之資料群組(再度取得群組Ga)之總數比預定數更多時,只要優先選擇資料群組(再度取得群組Ga)之數量較多之測量器2的資料群組(再度取得群組Ga)作為再度取得對象,則將通訊狀態持續出現較差狀態之測量器2的資料集中地補完,而可將資料的齊全程度的偏差均值化。
如上述,依據本發明實施形態1之欠損資料補完方法,係資料收集伺服器1經由通訊手段將複數個測量器2之各者藉由定期測量所測量之資料予以收集之系統中的將欠損資料補完之方法,包括:定期收集資訊產生步驟(S20),係產生將從複數個測量器2取得之資料中藉由與定期測量同步之定期收集所收集之資料予以彙整之定期收集資訊Dp;欠損狀況解析步驟(Sk60至Sk100、Sk130至Sk160),依據定期收集資訊Dp而解析從複數個測量器2之各者收集之資料的欠損狀況而產生欠損資訊Dd;以及補完動作控制步驟(Sk10至Sk50),依據欠損資訊Dd,控制用以補完定期收集資訊中的欠損之資料的補完動作;在補完動作控制步驟中,係在定期收集之各者之後,對於複數個測量器2之各者,設定以欠損產生時(欠損時刻值Vt)為起點而連續之預定次數份之資料群組(再度取得群組Ga),資料取得部70係按每個所設定之資料群組(再度取得群組Ga)而再度取得相應之測量器所保持之資料,因此,以定期收集為前提時,可抑制通訊所需之資料量,並有效率地再度
取得資料而進行欠損資料之補完。
在補完動作控制步驟(Sk10)中,構成為依據定期收集資訊Dp,而將資料群組(再度取得群組Ga)中,相應之定期收集時資料有欠損之測量器2的資料群組(再度取得群組Ga)從再度取得之對象中剔除。亦即,僅以在該時間點通訊狀態為良好狀態之測量器2為對象,故再度取得之成功率變高,可更有效率地進行資料之補完。
1‧‧‧資料收集伺服器
10‧‧‧定期收集資訊產生部
20‧‧‧欠損狀況解析部
30‧‧‧補完動作控制部
40‧‧‧資料收集控制部
70‧‧‧資料取得部
100‧‧‧定期收集資訊保持部
200‧‧‧欠損資訊保持部
Dd‧‧‧欠損資訊
Dp‧‧‧定期收集資訊
Ga‧‧‧再度取得群組
Vf‧‧‧旗標值
Vt‧‧‧欠損時刻值
Claims (7)
- 一種資料收集伺服器,係包括:資料取得部,係與複數個測量器之各者進行通訊,並取得前述複數個測量器之各者藉由定期測量而測量得出之資料;定期收集資訊產生部,係產生定期收集資訊,該定期收集資訊係將前述資料取得部所取得之資料中,藉由與前述定期測量同步之定期收集而收集到之資料予以彙整而得者;欠損狀況解析部,係依據前述定期收集資訊,將從前述複數個測量器之各者收集到之資料的欠損狀況予以解析並產生欠損資訊;以及補完動作控制部,係依據前述欠損資訊,控制用以將前述定期收集資訊中之欠損之資料予以補完之補完動作;其中,前述補完動作控制部係在前述定期收集之各者之後,對於前述複數個測量器之各者,設定以產生欠損時為起點而連續之預定次數份之資料群組,而前述資料取得部係按每個前述設定之資料群組將相應之測量器所保持之資料作為再度取得之對象而予以再度取得。
- 如申請專利範圍第1項所述之資料收集伺服器,其中,前述補完動作控制部係依據前述定期收集資訊,而將前述資料群組中,相應之前述定期收集時資料有欠損之測量器的資料群組從前述再度取得之對象中剔除。
- 如申請專利範圍第1或2項所述之資料收集伺服器,其中,前述補完動作控制部係在對於前述複數個測量器之各者設定有複數個前述資料群組時,僅選擇欠損產生時間為最舊之資料群組作為前述再度取得之對象。
- 如申請專利範圍第1或2項所述之資料收集伺服器,其中,前述補完動作控制部係在對於前述複數個測量器設定之前述資料群組之總數比預定數更多時,優先選擇欠損產生時間為最舊者作為前述再度取得之對象。
- 如申請專利範圍第1或2項所述之資料收集伺服器,其中,前述補完動作控制部係在對於前述複數個測量器設定之前述資料群組之總數比預定數更多時,優先選擇前述資料群組之數量較多之測量器的資料群組作為前述再度取得之對象。
- 一種欠損資料補完方法,係將資料收集伺服器經由通訊手段將複數個測量器之各者藉由定期測量所測量到之資料予以收集之系統中的欠損資料補完之方法,包括:定期收集資訊產生步驟,係產生定期收集資訊,該定期收集資訊係將從前述複數個測量器取得之資料中藉由與前述定期測量同步之定期收集所收集到之資料予以彙整而得者;欠損狀況解析步驟,依據前述定期收集資訊而解析從前述複數個測量器之各者收集到之資料的欠損狀況而產生欠損資訊;以及補完動作控制步驟,依據前述欠損資訊,控制用以 補完前述定期收集資訊中的欠損之資料的補完動作;在前述補完動作控制步驟中,係在前述定期收集之各者之後,對於前述複數個測量器之各者,設定以欠損產生時為起點而連續之預定次數份之資料群組,並按每個所設定之資料群組而將相應之測量器所保持之資料作為再度取得之對象而予以再度取得。
- 如申請專利範圍第6項所述之欠損資料補完方法,其中,在前述補完動作控制步驟中,依據前述定期收集資訊,將前述資料群組中,於相應之定期收集時資料有欠損之測量器的資料群組從前述再度取得之對象中剔除。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
??PCT/JP2016/069405 | 2016-06-30 | ||
PCT/JP2016/069405 WO2018003053A1 (ja) | 2016-06-30 | 2016-06-30 | データ収集サーバおよび欠損データ補完方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI601023B true TWI601023B (zh) | 2017-10-01 |
TW201810079A TW201810079A (zh) | 2018-03-16 |
Family
ID=60786128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105122591A TWI601023B (zh) | 2016-06-30 | 2016-07-18 | 資料收集伺服器及欠損資料補完方法 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6540897B2 (zh) |
CN (1) | CN109328375B (zh) |
TW (1) | TWI601023B (zh) |
WO (1) | WO2018003053A1 (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050065840A1 (en) * | 2002-08-29 | 2005-03-24 | Toyoji Ikezawa | Data collection supporting system, server, and data collecting method |
US20070083642A1 (en) * | 2005-10-07 | 2007-04-12 | International Business Machines Corporation | Fully distributed data collection and consumption to maximize the usage of context, resource, and capacity-based client server interactions |
JP2009140184A (ja) * | 2007-12-05 | 2009-06-25 | Kansai Electric Power Co Inc:The | 無線通信システム |
TWI344605B (en) * | 2005-05-11 | 2011-07-01 | Via Tech Inc | Batch transmitting server and batch transmitting method |
TWI462017B (zh) * | 2012-02-24 | 2014-11-21 | Wistron Corp | 伺服器部署系統及資料更新的方法 |
CN105138484A (zh) * | 2015-08-07 | 2015-12-09 | 珠海格力电器股份有限公司 | 数据采集服务器 |
TWI524191B (zh) * | 2010-08-27 | 2016-03-01 | Alibaba Group Holding Ltd | Data analysis methods, systems and servers |
CN105468594A (zh) * | 2014-08-11 | 2016-04-06 | 中兴通讯股份有限公司 | 一种采集数据的优化方法、系统及服务器 |
TWI531910B (zh) * | 2014-11-17 | 2016-05-01 | 物聯智慧科技(深圳)有限公司 | 資料管理方法、電腦程式產品及管理伺服器端 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000036987A (ja) * | 1998-07-17 | 2000-02-02 | Mitsubishi Heavy Ind Ltd | 遠隔監視装置 |
US7365929B2 (en) * | 2006-07-30 | 2008-04-29 | International Business Machines Corporation | Synchronous servo channel for tape drive systems |
JP2008103991A (ja) * | 2006-10-19 | 2008-05-01 | Oki Electric Ind Co Ltd | データ伝送方法 |
CN101222311B (zh) * | 2008-01-29 | 2010-12-08 | 杭州华三通信技术有限公司 | 实时报文丢包恢复方法、系统及接收端单元 |
KR20120001474A (ko) * | 2010-06-29 | 2012-01-04 | 삼성전자주식회사 | 무선 통신 시스템에서 하향링크 자원 할당 정보의 송수신 방법 및 장치 |
JP5437328B2 (ja) * | 2011-08-09 | 2014-03-12 | 日本電信電話株式会社 | 観測値信頼度評価装置、観測値信頼度評価方法及び観測値信頼度評価プログラム |
CN104518853B (zh) * | 2013-09-27 | 2018-04-17 | 北京新媒传信科技有限公司 | 一种数据重传的方法、接收端及系统 |
CN104735036B (zh) * | 2013-12-24 | 2019-06-14 | 横河电机株式会社 | 一种数据回填方法及装置 |
-
2016
- 2016-06-30 JP JP2018524653A patent/JP6540897B2/ja active Active
- 2016-06-30 WO PCT/JP2016/069405 patent/WO2018003053A1/ja active Application Filing
- 2016-06-30 CN CN201680087138.7A patent/CN109328375B/zh active Active
- 2016-07-18 TW TW105122591A patent/TWI601023B/zh active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050065840A1 (en) * | 2002-08-29 | 2005-03-24 | Toyoji Ikezawa | Data collection supporting system, server, and data collecting method |
TWI344605B (en) * | 2005-05-11 | 2011-07-01 | Via Tech Inc | Batch transmitting server and batch transmitting method |
US20070083642A1 (en) * | 2005-10-07 | 2007-04-12 | International Business Machines Corporation | Fully distributed data collection and consumption to maximize the usage of context, resource, and capacity-based client server interactions |
JP2009140184A (ja) * | 2007-12-05 | 2009-06-25 | Kansai Electric Power Co Inc:The | 無線通信システム |
TWI524191B (zh) * | 2010-08-27 | 2016-03-01 | Alibaba Group Holding Ltd | Data analysis methods, systems and servers |
TWI462017B (zh) * | 2012-02-24 | 2014-11-21 | Wistron Corp | 伺服器部署系統及資料更新的方法 |
CN105468594A (zh) * | 2014-08-11 | 2016-04-06 | 中兴通讯股份有限公司 | 一种采集数据的优化方法、系统及服务器 |
TWI531910B (zh) * | 2014-11-17 | 2016-05-01 | 物聯智慧科技(深圳)有限公司 | 資料管理方法、電腦程式產品及管理伺服器端 |
CN105138484A (zh) * | 2015-08-07 | 2015-12-09 | 珠海格力电器股份有限公司 | 数据采集服务器 |
Also Published As
Publication number | Publication date |
---|---|
CN109328375B (zh) | 2020-12-15 |
JPWO2018003053A1 (ja) | 2018-09-27 |
TW201810079A (zh) | 2018-03-16 |
WO2018003053A1 (ja) | 2018-01-04 |
JP6540897B2 (ja) | 2019-07-10 |
CN109328375A (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5076932B2 (ja) | フレームカウンタ補正装置及び対向装置 | |
EP2597828B1 (en) | Dynamic adaptations for network delays during complex event processing | |
EP2342850A1 (en) | A method for synchronizing clocks in a communication network | |
EP3068083B1 (en) | Method and apparatus for remaining lifetime aging | |
EP3148150B1 (en) | Method and device for determining transmission buffer size | |
TWI601023B (zh) | 資料收集伺服器及欠損資料補完方法 | |
US20100329146A1 (en) | Flow information collection apparatus | |
JP5862811B1 (ja) | 評価装置、評価方法、及びプログラム | |
JP4924457B2 (ja) | 雨量値・累計雨量値の収集・積算方法 | |
CN106294066B (zh) | 报警数据处理方法及装置 | |
US20170064489A1 (en) | Network system, method for determining communication quality, and analysis apparatus | |
US7623527B2 (en) | Method for analyzing network trace, method for judging order among nodes, processor for analyzing network trace, computer-executable program for controlling computer as processor, and method for correcting time difference among nodes in network | |
JP6398339B2 (ja) | 製造工場におけるスケジュール管理装置および製造工場の操業方法 | |
CN112332941A (zh) | 一种基于分布式系统的时间误差校正方法 | |
JP2002152266A (ja) | パケット・ロス計測システム | |
JP5598362B2 (ja) | トラフィックデータの監視システムおよびサーバ間データ整合方法 | |
CN110086592B (zh) | 基于虚拟时间轴的数据处理方法、装置及电子设备 | |
WO2021147304A1 (zh) | 一种基于异步应答的传输数据的方法及系统 | |
CN115225523B (zh) | 智能终端设备信息采集时间校正系统及方法 | |
JP6568662B2 (ja) | データ収集システム、データ収集方法、クライアント装置、サーバー装置及びプログラム | |
CN1255971C (zh) | 在网络测量中检测时钟重置的方法 | |
US20230344738A1 (en) | One way latency estimation without clock synchronization | |
WO2016138669A1 (zh) | 服务器及其运算方法 | |
JP5811663B2 (ja) | 時刻補正装置、時刻補正方法、およびプログラム | |
JP2009140358A (ja) | 性能演算装置および性能演算処理プログラム |