TWI428767B - 最佳化配置系統參數集之方法，程式及裝置 - Google Patents
最佳化配置系統參數集之方法，程式及裝置 Download PDFInfo
- Publication number
- TWI428767B TWI428767B TW096121840A TW96121840A TWI428767B TW I428767 B TWI428767 B TW I428767B TW 096121840 A TW096121840 A TW 096121840A TW 96121840 A TW96121840 A TW 96121840A TW I428767 B TWI428767 B TW I428767B
- Authority
- TW
- Taiwan
- Prior art keywords
- parameter set
- performance
- evaluation
- parameter
- test
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000011156 evaluation Methods 0.000 claims description 102
- 238000005259 measurement Methods 0.000 claims description 99
- 238000012360 testing method Methods 0.000 claims description 51
- 238000003860 storage Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 3
- 238000011056 performance test Methods 0.000 claims 2
- 230000006866 deterioration Effects 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000010845 search algorithm Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/80—Database-specific techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/875—Monitoring of systems including the internet
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Debugging And Monitoring (AREA)
Description
本發明一般係與系統最佳化技術有關，更特別地，是與最佳化一系統的一組態參數(configuration parameter)集之方法，程式及裝置有關。
隨著網際網路(Internet)的擴增，近年來網頁系統(Web system)也相當普及，典型的網頁系統包括一HTTP伺服器，其為閘道器(gateway)、應用伺服器、以及資料庫伺服器，此一系統透過網際網路與用戶端連接。HTTP伺服器接收用戶端的瀏覽器透過網際網路所傳來的HTTP要求，在進行過濾之後將要求傳遞給應用伺服器。應用伺服器傳送查詢至資料庫伺服器，並適當地使用所獲得的資料。此外，應用伺服器藉由應用軟體來處理由HTTP伺服器所收到的要求。
網頁系統的效能(比如說處理量，也就是每單位時間所處理的要求數目)與複數個不同組態參數(在本說明書中簡稱為參數)，像是用戶端連線至HTTP伺服器的最大允許數目，最初的堆積大小(heap size)，最大的記憶體大小、最大的執行緒大小(thread size)，以及應用伺服器的最大池大小(pool size)，緩衝器池大小，資料庫伺服器的指數是否存在等等有關。很明顯地，為了要讓網頁系統的效能最大化，就需要讓指令集最佳化。
在最佳化網頁系統的指令集的方法中，考慮其中一種方法，其以一工作量(workload)施加於網頁系統，經過固定的一段時間後針對複數個準備好的參數集量測每一個的傳輸率(throughput)。接著，選擇具有最大傳輸率的參數集。然而，這個方法會花大量的時間做最佳化，因為簡單的網頁系統也可能會有300個可能的參數集。此外，如果拿來施加工作量的一段固定的時間太短，可能沒辦法正確地量測效能，而固定時間過長又會量測到過多的效能。
更進一步，為了解決最佳化花費太長的時間，有個可能的辦法是設計者根據經驗和直覺，在準備好的複數個參數集中選出認為是最佳的參數集，而最佳的組態則是採用該些被選擇的參數集所產生。然而，這個方法是根據主觀判斷並缺乏多樣性。為了解決主觀的問題，最佳化參數集與驗證網頁系統的效能之技術係於底下的文件中揭示。
在McGraw－Hill於2000年出版，由A.M.Law與W.D.Kelton所著的模擬模型化與分析(第三版)一書中揭示了一種方法，其藉由實驗的設計選擇一具有最佳量測數值的組態，在此方法中，並非針對所有的組態量測效能，但是在量測效能時，是採用有部分是隨機而非利用量測資訊所選擇的組態，因此具有某種程度的準確性。
日本專利申請公開號2005－222343一案揭示了下坡簡化式(downhill simplex)方法的搜尋演算法，在揭示方法中，效能是以接近現行最佳組態的組態進行量測，具有一定程度的準確性。接著，如果量測結果比現行最佳組態還要好，該搜尋演算法則以該被量測的組態更換最佳組態。
在第十三屆全球資訊網國際研討會的論文中第287至296頁由B.Xi、Z.Liu、M.Raghavachari、C.H.Xia、以及L.Zhang所著的「應用伺服器組態的智慧型爬坡演算法(A smart hill－climbing algorithm)」揭示一種搜尋演算法，用以更換其中一種認為是最佳的組態成另一個配置。在此方法中，藉由迴歸一已取得的量測數值至二次函數，找出在還沒有量測過效能的配置中，一個估計較其他為佳的配置。接著，在所估計的組態下量測效能，達到某一程度的準確性。如果量測結果比最佳組態要好，那麼就以所估計的組態取代最佳組態。
日本專利申請公開號2003－131907一案揭示了一種技術用以：虛擬地實現複數個連接至網頁系統之用戶端，網頁系統包括瓶頸(bottleneck)用以進行效能驗證；對一電腦增加一工作量以進行效能量測；以及輸出驗證結果，包括網頁系統的效能的資訊以及避免瓶頸的資訊。
日本專利申請公開號2004－46734一案揭示了一種技術用以：事先儲存一模型樣式、一系統特徵、一功能特徵、以及一響應一時間預測模型資訊於一系統模型資料庫；以及讓一效能預測程式根據做為輸入項目而被輸入的參數，以及系統模型資料庫中的資訊，預測一網頁系統的效能。
根據上述的前案技術，最佳化組態可能不會被包括在用來評估的一被選擇的參數群組中，或者是效能量測
由於用作評估的所有參數集都必須先經過具有固定準確性的效能量測，所以可能會做了許多不必要的效能量測。
在此背景下，本發明的一個目的是提供一種方法、程式以及設備(apparatus)，藉由更有效地選擇參數集來最佳化系統的參數集，從而讓系統效能達到最大。
為了達到上述目的，本發明提供一種用以最佳化一由複數個系統組態參數所組成之參數集之方法，包含以下的步驟：儲存複數個參數集；選擇複數參數集的其中一個其中一個作為要被評估的一測試參數集；僅量測在N個(N為正整數)構成該測試參數集的整組效能量測之批次工作的其中一個之批次工作效能；根據一差異來計算一評估數值，該差異為一利用該測試參數集量測過r個(r為小於N的正整數)批次工作的效能後所取得的量測數值之積分，以及使用在效能量測中已經執行過的參數集中之一最佳參數集來取得針對該些r個批次工作執行效能量測所得平均量測數值之一積分之差。在此，r為已經執行過測試參數集的效能量測之批次工作的數目；決定該評估數值是否脫離一評估延續範圍；以及在該決定步驟中決定該評估數值已經脫離該預先決定的評估延續範圍而朝向效能惡化的條件下，終止對該測試參數集的評估。較佳地，該評估延續範圍為一寬度，從當r等於0時為一寬度W，到當r等於N時為一寬度W’(0W’<W)。
本方法利用相關的測試參數集取代現行的最佳參數集，並且在決定評估數值已經脫離該預先決定的評估延續範圍而朝向效能提升的條件下，進行整組相關測試參數集的效能量測。較佳為本發明重複上述步驟，直到決定該評估數值已經脫離該預先決定的評估延續範圍而朝向效能惡化或效能提升的方向進行為止。
在選擇步驟中可包括從複數個參數集中選出一參數集作為該測試參數集，在該參數集之下的效能被估計為最佳。在此情況下，較佳為選擇步驟包括以下的步驟：藉由迴歸一平方誤差以便最小化該平方誤差來計算一效能曲線，其中一權重係與該些評估結果的正確性有關，藉由使用已被用來評估過效能的該些參數集之評估結果，指定給該平方誤差；以及利用該效能曲線搜尋一在其底下之效能被估計為最佳之參數集。
在上述指定一與該些評估結果的正確性有關之權重給平方誤差的步驟中，較佳為其中的權重係根據顯示效能評估的批次工作的數目之變異之一指數，以及/或者在個別的參數集的該效能評估數值中的一變異之一指數，指定給該平方誤差。
在上文中，本發明是以最佳化一參數集的方法來概述，然而，本發明可以是用以最佳化參數集的設備、程式或程式產品。程式產品可包括，舉例來說，一個儲存上述程式的記錄媒體，或者是傳輸該程式的媒體。
要注意的是，上述有關本發明的概要並沒有列出本發明的所有必要特點，而這些結構元件的組合或子組合也是本發明的一部分。
以下的詳細說明將根據圖表提供可用以執行本發明之最佳模式，然而以下的實施例並非用來限制在申請專利範圍中所述之發明，而且實施例所述的功能的所有組合並非解決問題所必須之手段。
另外，本發明可為數種不同的型態實施，而不應被認為僅限於實施例內的說明。此外，應注意的是，實施例所述功能的所有組合並非解決問題所必須之手段。而相同參考數字在整個實施例說明中係指定給同一元件。
第一圖所示為在本發明的實施例中的參數集最佳化設備(parameter set optimization apparatus)100(之後簡稱為最佳化設備100)的外觀，以及根據本發明實施例，被最佳化的網頁系統(web system)120。在本發明的實施例中，最佳化設備100與網頁系統120透過網路110彼此連接。
最佳化設備100儲存複數個組態參數集，是為了要被最佳化的網頁系統120所準備。最佳化設備100使用每一參數集設定網頁系統的組態，並藉由對網頁系統120應用一權重(weight)以執行效能評估。最佳化設備100接著根據效能評估的結果，選擇一最佳的參數集來最佳化網頁系統120的效能。
網路110為一通訊路徑，將最佳化設備100連接至網頁系統120。舉例來說，網路110可利用網際網路具體實施，網路110，也就是網際網路，使用知名的TCP/IP(傳輸控制協定/網際網路協定)來連接不同的系統。在網路110中，彼此通訊的系統係由通用位址或本地位址所指示之IP位址進行標示。
網頁系統120根據來自用戶端(client)的要求(較佳為一HTTP要求)提供應用服務。在本發明的實施例中，網頁系統120採用所謂的三層架構，並包括一HTTP伺服器122、一應用伺服器124，以及一資料庫伺服器126。
HTTP伺服器122的功能為接收來自用戶端的要求，然後對要求執行過濾，接著將作為結果的要求傳送至應用伺服器124。熟悉此技藝者可適當地利用Apache來建立HTTP伺服器122，其為Apache軟體基金會(Apache Software Foundation)的原始碼開放軟體，以及微軟(Microsoft Corporation)的網際網路資訊服務。
應用伺服器124的功能為因應用戶端的要求，執行先前引進的應用軟體，並傳回一結果。應用伺服器124的功能為產生一查詢(較佳為SQL查詢)來查詢執行應用所需的資料，以及查詢資料庫伺服器124。熟悉此技藝者可適當地利用國際商業機器公司(IBM)所提供的WebSphere(R)以及BEA系統公司(BEA Systems Inc.)所提供的Weblogic(R)來建構應用伺服器124。
資料庫管理軟體(DBMS)係安裝於資料庫伺服器126並用來管理資料庫，資料庫內儲存讓應用伺服器124可執行處理的資料。熟悉此技藝者可適當地利用資料庫管理軟體像是IBM所提供的DB2(R)、Oracle公司的Oracle資料庫、還有微軟的SQL Server等來建立資料庫伺服器126。
第二圖所示為在本發明的實施例中的最佳化設備100之功能方塊圖。再具有如第八圖所示之硬體組態之資訊處理器中，第二圖的功能方塊圖所示的每一元件都可藉由：讓CPU 1來讀取儲存在硬碟裝置13或其類似者之作業系統與電腦程式加以具體實施，將作業系統與電腦程式被載入主記憶體4後，使得硬體資源與軟體配合而運作。
在本發明的實施例中，最佳化設備100包括一參數集儲存單元210、一輸入單元220、一輸出單元230、一系統控制器240、一工作量產生器250、一資料分析器260，以及一重測控制器270。最佳化設備100透過網路110連接至目標系統120。
參數集儲存單元210儲存網頁系統120的參數集，較佳為複數個參數集被儲存於參數集儲存單元210。此外，較佳為參數集被儲存為延伸標記語言(XML)的格式。要注意的是，儲存於參數集儲存單元210的參數集可由使用者準備，或者是由一電腦根據預先決定的規則自動產生。此外，電腦自動產生的參數集可由使用者適當地選擇，而被選擇的參數集可被儲存。換句話說，應注意的是，使用者可以任何形式準備該複數個參數集。
輸入單元220可由輸入裝置如鍵盤6以及滑鼠7具體實施，輸入單元220接受來自操作最佳化設備100的使用者的輸入，像是起始參數集的設定的操作，還有資料與系統控制的資料等。輸出單元230可由輸出裝置如顯示裝置11具體實施，輸出單元230為使用者顯示需要用來最佳化參數集、錯誤訊息、根據本發明的實施例所選擇的最佳參數集，諸如此類的資訊。
系統控制器240持有使用者在輸入單元220所輸入的系統控制資訊，系統控制器240根據來自輸入單元220的使用者輸入與來自量測控制器270的指令，利用應已量測過效能的參數集，設定網頁系統120，而參數集是由參數集儲存單元210所取得。在本發明的實施例中，系統控制器240執行像是啟動/停止工作量產生器250、啟動/停止網頁系統120的程式，以及起始化/終止效能量測等控制功能。
工作量產生器250根據系統控制器240的指令，為每一個參數集產生數個HTTP要求，作為效能評估用的系統工作量。接著，工作量產生器250連續地傳送HTTP要求給網頁系統120。工作量產生器250可產生足夠的工作量，用以充分地評估每一參數集的效能(之後稱之為整組的工作量)。工作量產生器250也可在量測單元產生工作量，在每一個量測單元中，整組的工作量會被分割(之後稱為「批次工作(batch)」)。
在本發明的實施例中，將會在一個假設狀況下進行，其中工作量是持續30分鐘，將每一個由對應的參數集所組成的HTTP要求傳送至網頁系統120。同時，對所有的參數集來說，整組工作量的量不一定都要相同。特別是，為了要取得每一參數集的量測結果，當效能量測的結果的變異大時，可施加較大的工作量，當變異小時，可施加較小的工作量。以此方式，每一參數集的整組工作量的量互不相同。
此外，本發明的實施例將會在一個假設狀況下進行，其中一個批次工作的工作量為持續5分鐘傳送要求(在此例中的工作量等於持續30分鐘傳送要求的1/6，也就是整組工作量的1/6)。然而，為了決定批次工作的大小，也可以讓一個參數集內的批次工作具有不同的大小，而不是切割為相同的大小。此外，也可以均勻地變動每一參數集的批次工作的大小。
資料分析器260為了每一個要被評估的參數集，透過網路110從網頁系統120取得因應工作量產生器250傳送的HTTP要求所產生的效能量測的結果。資料分析器260分析所取得量測結果，並且在有需要的時候，傳送包括每一批次工作的平均數值的分析結果給量測控制器270。
量測控制器270讓資料分析器260監測網頁系統120對工作量產生器250所傳送的HTTP要求之回應，藉以控制每一參數集的效能量測。此外，量測控制器270根據從資料分析器260所取得的每一量測單元的平均為基礎，計算樣本平均、樣本變異、決定標準、量測單元的總數，以決定要連續地量測效能的參數集，並且決定終止量測。接著，量測控制器270傳送決定結果給系統控制器240。量測控制器270將決定為最佳的參數集的資訊傳送至輸出單元230，以便將資訊呈現給使用者。
第三圖所示為本發明的實施例的系統的起始化操作之流程圖，在本發明的實施例中，流程由步驟305開始，在步驟310，準備複數個參數集，並儲存於參數集儲存單元210。如已述，參數集可由使用者準備，或者是由一電腦根據預先決定的規則自動產生。此外，電腦自動產生的參數集可由使用者適當地選擇，而被選擇的參數集可被儲存。換句話說，應注意的是，使用者可以任何形式準備該複數個參數集。
流程進行至步驟315，根據使用者在輸入單元220的輸入，選擇儲存於參數集儲存單元210的複數個參數集中要率先評估的起始參數集(initial parameter set)。在本發明的實施例中，有可能以一個儘可能最佳的組態來設定起始參數集，以便有效地最佳化參數集。因此，較佳為使用者根據經驗和知識，選擇一被認為具有最佳效能的起始參數集。舉例來說，使用者知道，在選擇起始參數集時，對應用伺服器124來說，最大堆積大小(heap size)最好是實體記憶體的1/4，起始堆積大小為最大堆積大小的一半，而最大與最小執行緒大小為50，最大與最小連結池大小(connection pool size)為30。
流程前進至步驟320，接著量測控制器270自動地決定合適的工作量的內容，並產生整組工作量(也就是要傳送30分鐘的HTTP要求)。附帶一提，由於網頁系統的效能係隨著工作量變化，因此有必要在對每一參數集進行效能量測時，使用同一適當的工作量，以便比較不同的組態參數，並藉此評估網頁系統120的效能。當網頁系統120上的工作量小，就必須給予適量的工作量，因為此時組態參數集的差異所造成的效能差異不是那麼明顯。量測控制器270考慮到此一特性，決定一適當的工作量等級，然後如本發明的實施例產生工作量。
特別地，量測控制器270對具有起始組態參數集的網頁系統120施加一具有少數用戶端的工作量(舉例來說，數目可能是2至3)。接著量測控制器270取得構成網頁系統120的每一資源的資源使用率，接著，從所取得的資源使用率的平均數值開始增加工作量，一直到飽和狀態，算出在飽和狀態的傳輸率(throughput)和用戶端數目。量測控制器270決定在飽合狀態的用戶端數目的二倍數目為適當的工作量。在本發明的實施例中，所決定的用戶端數目係用來在下一步驟執行組態參數集的效能量測。
流程前進至步驟325，系統效能係以起始參數集量測，將步驟320所產生的工作量施加至網頁系統120，其中起始參數集係由系統控制器240設定。此時，是施加整組工作量(換句話說，也就是要傳送30分鐘的HTTP要求)，並監測效能量測的結果。在開始量測後，效能量測的結果的資料的每一指數之統計量都會被計算。接著，要決定統計量是否落在固定範圍內，以此方式來決定效能數值是否已經達到統計上的穩定狀態。在終止量測的時間之前，若效能數值還沒有到達統計上的穩定狀態，則決定參數集的量測是在統計上的不穩定狀態，接著會有一個錯誤訊息通知使用者在量測過程中有錯誤，而這些都會由量測控制器270透過輸出單元230顯示。
在終止量測的時間之前，若效能數值已到達統計上的穩定狀態，而整組效能量測是正常地終止，那麼在步驟330會儲存起始參數集與效能量測結果。據此，流程會在步驟335終止。
第四圖所示為在本發明的實施例中由最佳化設備100具體實施的組態參數集最佳化流程之流程圖400。流程由步驟405開始，在步驟410，從還沒有被評估過效能的參數集，選擇一估計具有最佳效能的參數集，接著對網頁系統120進行參數設定。順帶一提，在本發明的實施例中，在步驟410中的被選擇用來評估的參數集係稱為「測試參數集」，以下將會參考第六圖說明如何選擇測試參數集。
流程前進至步驟415，在此會產生一個批次單元的工作量，當批次工作的大小係選擇為，每一批次工作的效能量測數值的平均數值係獨立地接近一常態分佈(normal distribution)時，就可以在高度準確性下決定每一參數集的優劣性。如上所述，在本發明的實施例中，一個批次工作的大小係等於傳送5分鐘的要求。流程前進至步驟420，一個批次工作的工作量會被單獨提供給網頁系統120，接著會執行效能量測。
流程前進至步驟425，在此會決定測試參數集和已經量測過效能的參數集中達到最佳效能的參數集(在本說明書中稱之為最佳參數集)，根據步驟420的效能量測結果，何者的效能較佳。接著將參考第五圖說明決定的方法。
第五圖所示為本發明的實施例的系統在進行效能評估的過程之圖表500，圖表500的水平軸為進行特定組態參數集的效能評估的過程之時間軸，圖表500的垂直軸所示為一評估數值，顯示在測試參數集與最佳參數集之下的效能何者較佳或較差，效能是在效能評估的過程中的某一點擷取。特別地，在本發明的實施例中所使用的評估數值是根據一差異來計算，該差異為一利用測試參數集量測過r個(r為小於N的正整數)批次工作的效能後所取得的量測數值之積分，以及使用在效能評估中已經執行過的參數集中之一最佳參數集來取得針對r個批次工作的效能的平均量測數值之一積分之差，r係定義為測試參數集中已經完成效能量測的批次工作數目，順帶一提，r為小於W的正整數。在本發明的實施例中，使用最佳參數集作為r個批次工作的平均量測數值的積分，是以最佳參數集的平均量測數值乘以r而取得。
本發明的實施例的圖表500包括一第一區域520、一第二區域530、以及一第三區域540。第一區域520被二條線分開，分別是直線550和560。直線550表示在其上的數值隨著α線段而線性地遞減，直線560表示在其上的數值隨著－α線段而線性地遞增。上述評估數值的線圖510係繪示於圖表500。假設在本發明的實施例中，由線圖510所顯示的數值係在第一區域520內(也就是在評估持續範圍內)，這是因為介於：在終止r個批次工作的效能評估時所擷取的最佳參數集之量測結果的平均數值乘以r後得到的數值，以及測試參數集的r個批次工作的量測結果之積分數值，這兩者之間的差異的絕對值相當小的原因。這時並無法得知測試參數集與最佳參數集何者較佳。
假設，在本發明的實施例中，線圖510的數值落在第二區域530內，由於以r乘以最佳參數集之量測結果的平均數值所得的數值，比起測試參數集的r個批次工作的量測結果之積分數值要小很多。在此情況下，測試參數集要比最佳參數集要佳。另一方面，假設線圖510落在第三區域540，因為以r乘以最佳參數集之量測結果的平均數值所得的數值，比起測試參數集的r個批次工作的量測結果之積分數值要大很多，在此情況下，最佳參數集要比測試參數集要佳。
在上述說明中有個值得注意的地方是，評估持續範圍(evaluation continuing range)的寬度W在r等於0時為2α，而該數值會遞減為W’，當r等於N的時候為0，換句話說，在剛開始評估參數集的時候，量測準確性低，此時，假設：最佳參數集之量測結果的平均數值乘以r後得到的數值，以及測試參數集的r個批次工作的量測結果之積分數值，這兩者之間的差異的絕對值不會是相當大的數值。在此情況下，並沒有辦法決定測試參數集與最佳參數集何者較佳。
在上述的說明中，有考慮到評估持續範圍的寬度線性地遞減的情形。同時，可以考慮以各種變異來改變評估持續範圍的寬度。換句話說，要注意的是，只要評估持續範圍的寬度在至少r小於N時大於0，就有可能用到本發明的實施例中所提供的最佳化設備100。在本發明的實施例中，較佳為W’小於W。順帶一提，當W’大於0，而線圖510在r等於N時係位於評估持續範圍，最佳化設備100較佳地在輸出單元230上顯示錯誤訊息，表示測試參數集與最佳參數集何者較佳不得而知，藉此讓使用者了解此一訊息。
根據上述方法，如果在步驟425無法得知測試參數集與最佳參數集何者較佳，則流程由步驟425回到步驟415，並且進一步重複步驟415與420。換句話說，步驟415與420會一直重複，直到線圖510從評估持續範圍向效能惡化或效能提升的方向脫離為止。在本發明的實施例中，每一次重複步驟415與420的時候，評估持續範圍的寬度會變窄，最後會變成0。因此，應注意的是，測試參數集與最佳參數集的優劣性最終會被決定。
如果在步驟425決定測試參數集較佳(換句話說，線圖510從評估持續範圍向效能提升的方向脫離)，流程由步驟425前進至步驟430。接著，整組由測試參數集組成的工作量(30分鐘)會被提供給網頁系統120，接著，流程前進至步驟435，而測試參數集與其量測結果會被儲存為最佳參數集，而流程繼續前進至步驟440。
如果在步驟425決定最佳參數集較佳(換句話說，線圖510從評估持續範圍向效能惡化的方向脫離)，流程由步驟425直接進至步驟440。接著，終止對測試參數集的效能評估，此一流程省掉了任何對測試參數集的進一步量測，並且有助於縮短評估時間。
在步驟440，決定是否有參數集還沒有被評估過，如果在步驟440決定有參數集還沒有被評估過，流程會從步驟440回到步驟410，如第四圖中標示著「是」的箭頭所示，然後從剩下的參數集中選出新的測試參數集，並且重複上述步驟。
如果在步驟440決定沒有參數集還沒有被評估過，流程會從步驟440前進至步驟445，流程會在現行最佳參數集被提供作為最後的參數集，透過輸出單元230呈現給使用者以後終止。
第六圖所示為在本發明的實施例中選擇估計為最佳的參數集之流程圖600，透過流程圖600，將更可清楚了解第四圖的流程圖400之步驟410。流程由605開始，在步驟610讀取已經被量測效能的參數集之量測結果。
流程前進至步驟615，一開始是根據複數個在步驟610中所讀取的量測結果，從還沒有被量測過效能的參數集中選出一在其底下的效能被估計為最佳之組態參數集，對於此種資訊處理工作，有個方法可以根據過去的效能量測結果，估計還沒有被量測過效能的目標參數集之效能。更特別地，可藉由選擇一迴歸函數(regression function)以便最小化平方誤差，從而取得一效能曲線，並藉此利用該效能曲線搜尋一在其底下之效能被估計為最佳之參數集。
參考第七A圖，以下將舉個例子，其中效能曲線近似於二次曲線。在此例中，有可能藉由選擇一迴歸函數(regression function)，讓過去的量測結果(710、720、730與740)代入第一方程式後所得的數值為最小，以計算出一效能曲線(750)。如此一來，就可以利用計算出來的效能曲線(參考第七A圖的圖表)，識別出估計為最佳的參數集(760)。順帶一提，可變參數類型的數目會設為1以便簡化說明。同時，多維度的效能曲線也可利用複數個可變參數來計算，這點是毋庸置疑的。
順帶一提，並不是每一次都是如本發明的實施例所說明，使用整組(30分鐘)效能量測。因此，量測準確性(第七B圖的715、725、735與745)可能會跟著步驟610中所讀取的複數個量測結果(710、720、730與740)而變化。舉例來說，假設在量測一特定參數集的效能時只接收10分鐘的工作量，由此而決定特定參數集要比一現有參數集的效能要差，在此情況下，對測試參數集的評估就會終止(如第四圖的步驟425)。對於有進行過效能評估的參數集來說，不用說，儲存於最佳化設備100中的效能數值之準確性會低於以整組(30分鐘)效能評估所作的效能數值之準確性。
在本發明的實施例中，因為量測組態參數集的效能時，與利用整組效能量測來比較，其準確性會有差異，所以可能會計算出具有相當低準確性的效能曲線。為此，在本發明的實施例中，較佳為對於具有高準確性的效能曲線提供高評價，具有低準確性的效能曲線提供低評價。特別地，在本發明的實施例中,較佳為藉由迴歸一平方誤差以便最小化該平方誤差來取得一效能曲線，其中平方誤差使用：(1)每一參數集所執行過的效能評估的數目Ni，以及(2)在每一參數集中指示效能評估數值的變化之取樣變異(sample variance)Si，作為與準確度相關的權重。
因此，當近似於二次曲線的效能曲線是以加上權重的平方誤差計算而得，其計算方式可藉由選擇一迴歸函數(regression function)，讓量測結果代入第二方程式後所得的數值為最小而求得。
要注意的是，參數集i的取樣變異Si(sample variance)可經由最佳化設備100的第三方程式計算而得。
接著流程前進至步驟620，其中利用計算好的效能曲線，從還沒有被量測過效能的參數集中搜尋在其底下的效能被估計為最佳之參數集，流程前進至步驟625，在此決定在步驟620中是否有找到參數集。在步驟625若決定已經找到參數集，則流程由步驟635前進至步驟525，如標示著「是」的箭頭所示，由該參數集所量測到的效能會被估計具有最佳效能，然後會被選擇。流程前進至步驟640，而選擇參數集的動做會被終止，接著，流程從第四圖中的步驟415繼續下去。
在步驟625若決定沒有找到參數集，則流程前進至步驟630，並利用不同的已知方法(舉例來說，一搜尋演算法)搜尋在其底下的效能被估計為最佳的參數集。接著，流程前進至步驟625，由另一方法所搜尋的參數集若經估計會讓系統表現最佳，就會被選擇。流程繼續至步驟640，終止選擇參數集的工作，接下來，流程從第四圖中的步驟415繼續下去。
第八圖所示為在本發明的實施例中適合用來具體實現最佳化設備100的資訊處理器(information processor)之硬體配置的範例。資訊處理器包括中央處理單元(CPU)1與主記憶體4，兩者皆連接至匯流排2。可卸除的儲存裝置(可更換記憶媒體的外接儲存系統)，像是硬碟裝置13與30、CD－ROM裝置26與29、軟碟裝置20、MO裝置28、以及DVD裝置31，係透過軟碟機控制器19、IDE控制器25、以及SCSI控制器27連接至匯流排2。
記憶媒體像是軟碟片、MO、CD－ROM、或DVD－ROM光碟會被置入可卸除的儲存裝置。電腦程式的程式碼可被儲存於記錄媒體中，像是硬碟裝置13與30以及ROM 14，藉由對CPU或其類似者下指令，並與作業系統配合，用以執行本發明。電腦程式先被載入主記憶體4然後執行，電腦程式可被壓縮，或者切割為複數個程式，用以個別地儲存在複數個媒體內。
資訊處理器透過鍵盤/滑鼠控制器5從輸入裝置像是鍵盤6或滑鼠7接收輸入，資訊處理器透過DAC/LCDC 10連接顯示裝置11，用以對使用者呈現視覺資料。資訊處理器可透過網路配接卡18(如乙太網路卡或記號環卡)或其類似者連接至網路，藉此可與其他電腦或其類似者通訊。儘管在圖中未顯示，資訊處理器可透過平行埠連接至印表機，或者透過串列埠連接至數據機。
從上述的說明，可輕易地了解可用來具體實施本發明的實施例中的資料處理系統100，是一般個人電腦、工作站、或大型主機等資訊處理器。替代地，資訊處理器可由這類資訊處理器的組合具體實施，然而這些元件僅為範例，而所有的組態元件都並非本發明所需的必要元件。
毋庸置疑的是，熟悉此技藝者可輕易地對資訊處理器的每一硬體組態元件進行更動，在本發明的實施例中，舉例來說，其中一種更動可以是結合複數個機器，並且將功能分配給這些機器。這些更動都很明顯地被包括在本發明的原則中。
最佳化設備100可採用支援圖形使用者介面(GUI)多視窗工作環境的作業系統，像是由微軟所提供的Windows作業系統、蘋果電腦所提供的MacOS、具有X Windiw System的UNIX類型系統(舉例來說，由IBM提供的AIX作業系統，或者是Linux)。
要注意的是，在本發明的實施例中的資料處理系統並不限於特定的多視窗作業系統，換句話說，任何能夠提供資源管理功能，讓應用程式軟體或其類似者能夠使用資料處理系統的資源的作業系統，都可以作為作業系統。順帶一提，資源管理功能可包括硬體資源管理、檔案操作、工作管理、記憶體保護、虛擬儲存管理、以及其類似者。熟悉此技藝者應可了解，在此並不贅述。
此外，本發明可以硬體、軟體、或硬體與軟體的組合具體實施，若以硬體與軟體搭配的方式執行，可以用資料處理系統加上預先決定的程式作為典型的範例，在此例中，預先決定的程式會控制資料處理系統，使得本發明的流程可被載入、然後在資料處理系統中執行，如此得以運作。此一程式可由指令集組成，指令集可由任意語言、程式碼或標記來表示。這一類的指令集可以讓系統直接執行任一特定的功能，或在：1.轉換至其他語言、程式碼或標記；以及2.將指令集複製至另一媒體的任一或所有步驟之後執行。
毋庸置疑，本發明不僅包括上述程式本身，同時也包括儲存程式的媒體，執行本發明的功能的程式可以儲存在任意的電腦可讀記錄媒體，像是軟碟片、MO、CD－ROM、DVD光碟、硬碟機、ROM、MRAM或者RAM之中。為了將程式儲存在記錄媒體中，程式由另一資料處理系統可透過通訊連線下載，或者是從另一記錄媒體複製，使得程式可被儲存於一記錄媒體。此外，程式可被壓縮以便儲存於單一記錄媒體，或者是分割為複數個程式，以便儲存於複數個記錄媒體。還有，應注意的是，提供以各種模式執行本發明的程式產品也是可行的。
如上所述，根據本發明的實施例，本發明可有效率地為包括複數個組態參數的網頁系統最佳化一參數集。因此，很容易能夠了解本發明可有效率地建構具有高效能的網頁系統。
熟悉此技藝者可在上述實施例中加入各種變化與改進，舉例來說，在本發明的實施例中可對所有準備好的參數集執行效能評估。同時，在滿足一預設條件下，可終止對參數集的評估，舉例來說，(1)當系統的效能評估已經起始化經過一預先決定的時間後；以及(2)當有預先決定數目的參數集已經執行過效能評估時。應注意的是，加入此等變化或改進的實施例，很明顯地係於本發明的技術範疇內。
中央處理單元(CPU)．．．1
匯流排．．．2
主記憶體．．．4
鍵盤/滑鼠控制器．．．5
鍵盤．．．6
滑鼠．．．7
VGA．．．8
VRAM．．．9
DAC/LCDC．．．10
顯示裝置．．．11
CRT．．．12
硬碟裝置．．．13
ROM．．．14
串列埠．．．15
平行埠．．．16
計時器．．．17
網路配接卡．．．18
軟碟機控制器．．．19
軟碟裝置．．．20
音效控制器．．．21
放大器．．．22
喇叭．．．23
麥克風．．．24
IDE控制器．．．25
CD－ROM裝置．．．26
SCSI控制器．．．27
MO裝置．．．28
CD－ROM裝置．．．29
硬碟裝置．．．30
DVD裝置．．．31
最佳化設備．．．100
網路．．．110
網頁系統．．．120
HTTP伺服器．．．122
應用伺服器．．．124
資料庫伺服器．．．126
參數集儲存單元．．．210
輸入單元．．．220
輸出單元．．．230
系統控制器．．．240
工作量產生器．．．250
資料分析器．．．260
量測控制器．．．270
第一區域．．．520
第二區域．．．530
第三區域．．．540
直線．．．550
直線．．．560
量測結果．．．710,720,730,740
效能曲線．．．750
最佳的參數集．．．760
量測準確度．．．715,725,735,745
為了更完整地了解本發明，以及其優點，以下將參考實施方式並配合所附的圖表加以說明，其中：第一圖所示為在本發明的實施例中的參數集最佳化設備以及連接至該參數集最佳化設備之網頁系統；第二圖所示為在本發明的實施例中的參數集最佳化設備之功能方塊圖；第三圖所示為本發明的實施例的系統的起始化操作之流程圖；第四圖所示為本發明的實施例的系統的操作之流程圖；第五圖所示為本發明的實施例的系統在進行效能評估的過程之圖表；第六圖所示的流程圖為在本發明的實施例中選擇估計為最佳的參數集之流程；第七A圖與第七B圖所示的示意圖為在本發明的實施例中選擇估計為最佳的參數集之方法；以及第八圖所示的示意圖為在本發明的實施例中適合用來具體實現最佳化設備的資訊處理器之硬體配置的範例。
最佳化設備．．．100
網路．．．110
網頁系統．．．120
參數集儲存單元．．．210
輸入單元．．．220
輸出單元．．．230
系統控制器．．．240
工作量產生器．．．250
資料分析器．．．260
量測控制器．．．270
Claims (28)
- 一種用以最佳化由複數個系統組態參數所組成之參數集之方法，包含以下的步驟：儲存複數個參數集；選擇該複數個參數集的其中一個作為要被評估的一測試參數集；僅量測在構成該測試參數集的整組效能量測之N個(N為正整數)批次工作的其中一個之效能；根據一差異來計算一評估數值，該差異為一利用該測試參數集量測過構成該測試參數集的整組效能量測之r個(r為小於N的正整數)批次工作的效能後所取得的量測數值之積分，以及使用最佳參數集來取得針對該些r個批次工作執行效能量測之平均量測數值之一積分間之差，該最佳參數集係使用在已經執行過的效能量測中該參數集之一；決定該評估數值是否脫離一評估延續範圍，該評估延續範圍為一寬度，從當r等於0時為一寬度W，到當r等於N時為一寬度W’；以及在該決定步驟中只要決定該評估數值為已經脫離該評估延續範圍而朝向效能惡化，則終止對該測試參數集的評估。
- 如申請專利範圍第1項之方法，其中W’的數值小於W的數值。
- 如申請專利範圍第1項之方法，其中W’的數值為0。
- 如申請專利範圍第1項之方法，更包含重複以下步驟的步驟：執行效能量測；計算該評估數值；以及在該決定步驟中決定，直到該評估數值被決定是由該評估持續範圍向效能惡化或效能提升的一方向脫離為止。
- 如申請專利範圍第1項之方法，更包含在該決定步驟中只要決定該評估數值是脫離該評估持續範圍而朝向效能提升，則以該測試參數集更換一現行最佳參數集的步驟。
- 如申請專利範圍第5項之方法，更包含在該決定步驟中只要決定該評估數值是脫離該評估持續範圍而朝向效能提升，則針對該測試參數集執行整組效能量測。
- 如申請專利範圍第1項之方法，其中該評估持續範圍的該寬度隨著r的一數值增加而變窄。
- 如申請專利範圍第1項之方法，其中該評估持續範圍的該寬度隨著r的一數值增加而線性地變窄。
- 如申請專利範圍第1項之方法，更包含以下的步驟：由該複數個參數集選擇一起始最佳參數集；以及針對該起始最佳參數集執行整組效能量測。
- 如申請專利範圍第1項之方法，其中該選擇步驟包括從該複數個參數集中選出一參數集作為該測試參數集，在該參數集之下的效能被估計為最佳之步驟。
- 如申請專利範圍第1項之方法，其中該選擇步驟包括根據已經被評估過效能的參數集的評估結果，從該複數個參數集中還沒有被評估過效能的參數集中選出一參數集作為該測試參數集，在該參數集之下的效能被估計為最佳之步驟。
- 如申請專利範圍第1項之方法，其中該選擇步驟包括以下的步驟：藉由使用已被用來評估過效能的該些參數集之評估結果，執行迴歸一平方誤差以便最小化該平方誤差來計算一效能曲線，其中與該些評估結果的正確性有關之一權重被指定給該平方誤差；以及利用該效能曲線搜尋一被估計為效能最佳之參數集。
- 如申請專利範圍第12項之方法，其中一權重係根據針對每一參數集所執行的效能評估之批次工作的數目，指定給該平 方誤差。
- 如申請專利範圍第12項之方法，其中一權重係根據在個別的參數集的效能評估數值中的一變異之一指數，指定給該平方誤差。
- 如申請專利範圍第12項之方法，其中該效能曲線係近似於一二次曲線。
- 如申請專利範圍第12項之方法，其中該選擇步驟更包含以下的步驟：決定在該搜尋步驟中是否有偵測到一被估計為效能最佳之參數集；以及因應在該決定是否有偵測到該被估計為效能最佳之參數集的步驟中決定有偵測到該被估計為效能最佳之參數集，選擇該被偵測到的參數集作為該測試參數集。
- 如申請專利範圍第16項之方法，其中該選擇步驟更包含因應在該決定是否有偵測到該被估計為效能最佳之參數集的步驟中決定沒有偵測到該被估計為效能最佳之參數集，執行另一方法用以搜尋一被估計為效能最佳之參數集之步驟。
- 如申請專利範圍第1項之方法，更包含重複以下步驟的步 驟：執行該選擇步驟；執行效能量測；計算該評估數值；決定該評估數值是否脫離該評估持續範圍；以及終止該評估，直到針對所有複數個參數集的該效能量測都完成了為止。
- 如申請專利範圍第1項之方法，更包含重複以下步驟的步驟：執行該選擇步驟；執行效能量測；計算該評估數值；決定該評估數值是否脫離該評估持續範圍；以及終止該評估，直到滿足一預先決定的條件為止。
- 如申請專利範圍第19項之方法，其中該預先決定的條件為一系統的效能評估起始後所經過的一預先決定的期間。
- 如申請專利範圍第19項之方法，其中該預先決定的條件為執行過該效能量測的參數集的數目之一上限。
- 如申請專利範圍第1項之方法，其中該系統為一網頁系 統。
- 一種用以根據已經被量測過效能的複數個組態參數集的效能量測之結果，從複數個還沒有被量測過效能的參數集中選出一被估計為效能最佳之組態參數集之方法，包含以下的步驟：呼叫已經被量測過效能的該複數個組態參數集的效能量測之結果，該些量測結果以量測準確性來說，有可能彼此不同；藉由使用已被用來評估過效能的該些參數集之評估結果，執行迴歸一平方誤差以便最小化該平方誤差來計算一效能曲線，其中與該些評估結果的正確性有關之一權重被指定給該平方誤差；以及利用該效能曲線搜尋一在其底下之效能被估計為最佳之參數集。
- 如申請專利範圍第23項之方法，其中一權重係根據針對每一參數集所執行的效能評估之批次工作的數目，指定給該平方誤差。
- 如申請專利範圍第23項之方法，其中一權重係根據在個別的參數集的效能評估數值中的一變異之一指數，指定給該平方誤差。
- 如申請專利範圍第23項之方法，其中該效能曲線係近似於一二次曲線。
- 一種用以最佳化由複數個系統組態參數所組成之參數集之電腦程式產品，包含一程式使得一電腦執行以下的步驟：儲存複數個參數集；選擇該複數個參數集之其中一個作為要被評估的一測試參數集；僅量測在構成該測試參數集的整組效能量測之N個(N為正整數)批次工作的其中一個批次工作之效能；根據一差異來計算一評估數值，該差異為一利用該測試參數集量測過構成該測試參數集的整組效能量測之r個(r為小於N的正整數)批次工作的效能後所取得的量測數值之積分，以及使用最佳參數集來取得針對該些r個批次工作執行效能量測之平均量測數值之一積分間之差，該最佳參數集係使用在已經執行過的效能量測中該參數集之一；決定該評估數值是否脫離一評估延續範圍，該評估延續範圍為一寬度，從當r等於0時為一寬度W，到當r等於N時為一寬度W’；以及在該決定步驟中只要決定該評估數值為已經脫離該評估延續範圍而朝向效能惡化，則終止對該測試參數集的評估。
- 一種用以最佳化由複數個系統組態參數所組成之參數集 之裝置，包含：一儲存單元用以儲存複數個參數集；選擇裝置，用以選擇該複數個參數集之其中一個作為要被評估的一測試參數集；量測裝置，用以僅量測在N個(N為正整數)構成該測試參數集的整組效能量測之批次工作的其中一個批次工作之效能；計算裝置，用以根據一差異來計算一評估數值，該差異為一利用該測試參數集量測過構成該測試參數集的整組效能量測之r個(r為小於N的正整數)批次工作的效能後所取得的量測數值之積分，以及使用最佳參數集來取得針對該些r個批次工作執行效能量測之平均量測數值之一積分間之差，該最佳參數集係使用在已經執行過的效能量測中該參數集之一；決定裝置，用以決定該評估數值是否脫離一評估延續範圍，該評估延續範圍為一寬度，從當r等於0時為一寬度W，到當r等於N時為一寬度W’；以及終止裝置，用以在該決定步驟中只要決定該評估數值為已經脫離該評估延續範圍而朝向效能惡化，則終止對該測試參數集的評估。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006175489 | 2006-06-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200820017A TW200820017A (en) | 2008-05-01 |
| TWI428767B true TWI428767B (zh) | 2014-03-01 |
Family
ID=38846113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW096121840A TWI428767B (zh) | 2006-06-26 | 2007-06-15 | 最佳化配置系統參數集之方法，程式及裝置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8494806B2 (zh) |
| EP (1) | EP2040170B1 (zh) |
| JP (1) | JP4898805B2 (zh) |
| CN (1) | CN101573693B (zh) |
| CA (1) | CA2650531C (zh) |
| TW (1) | TWI428767B (zh) |
| WO (1) | WO2008001678A2 (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8117146B2 (en) * | 2008-02-20 | 2012-02-14 | Oracle International Corporation | Computing the values of configuration parameters for optimal performance of associated applications |
| US20120264796A1 (en) * | 2009-03-20 | 2012-10-18 | The Salk Institute For Biological Studies | Methods for modulating circadian rhythms |
| JP5967091B2 (ja) * | 2011-08-04 | 2016-08-10 | 日本電気株式会社 | システムパラメータ設定支援システム、システムパラメータ設定支援装置のデータ処理方法、およびプログラム |
| CN103178981B (zh) * | 2011-12-24 | 2016-03-02 | 腾讯科技（深圳）有限公司 | 连接管理方法和系统 |
| JP5765266B2 (ja) * | 2012-02-24 | 2015-08-19 | 富士通株式会社 | 性能評価方法、情報処理装置およびプログラム |
| JP5906844B2 (ja) * | 2012-03-14 | 2016-04-20 | 富士通株式会社 | コンピュータパラメータのチューニングプログラム、方法、及び装置 |
| JP2013242761A (ja) * | 2012-05-22 | 2013-12-05 | Internatl Business Mach Corp <Ibm> | マルコフ決定過程システム環境下における方策パラメータを更新するための方法、並びに、その制御器及び制御プログラム |
| KR20150043377A (ko) * | 2012-08-07 | 2015-04-22 | 어드밴스드 마이크로 디바이시즈, 인코포레이티드 | 클라우드 컴퓨팅 시스템을 튜닝하는 시스템 및 방법 |
| US9588820B2 (en) * | 2012-09-04 | 2017-03-07 | Oracle International Corporation | Cloud architecture recommender system using automated workload instrumentation |
| CN103699474A (zh) * | 2012-09-27 | 2014-04-02 | 鸿富锦精密工业（深圳）有限公司 | 存储设备监控系统及方法 |
| AU2014331287A1 (en) * | 2013-10-01 | 2016-04-14 | Medela Holding Ag | System for optimizing guide values |
| US9483393B1 (en) * | 2013-12-05 | 2016-11-01 | Amazon Technologies, Inc. | Discovering optimized experience configurations for a software application |
| JP6571134B2 (ja) * | 2017-06-20 | 2019-09-04 | 株式会社東芝 | パラメータ最適化装置、パラメータ最適化方法およびプログラム |
| US11681931B2 (en) | 2019-09-24 | 2023-06-20 | International Business Machines Corporation | Methods for automatically configuring performance evaluation schemes for machine learning algorithms |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7277832B2 (en) * | 2001-05-04 | 2007-10-02 | Bigwood Technology, Inc. | Dynamical method for obtaining global optimal solution of general nonlinear programming problems |
| JP2003131907A (ja) | 2001-10-19 | 2003-05-09 | Toshiba Corp | Ｗｅｂシステムの性能評価システム、方法及びプログラム |
| JP2004046734A (ja) | 2002-07-15 | 2004-02-12 | Fuji Electric Holdings Co Ltd | Ｗｅｂシステム性能予測装置、Ｗｅｂシステム性能予測方法、及びプログラム |
| US7831693B2 (en) * | 2003-08-18 | 2010-11-09 | Oracle America, Inc. | Structured methodology and design patterns for web services |
| US8204719B2 (en) | 2003-08-26 | 2012-06-19 | International Business Machines Corporation | Methods and systems for model-based management using abstract models |
| JP4460319B2 (ja) | 2004-02-06 | 2010-05-12 | 株式会社日立製作所 | チューニング制御方法及びシステム |
| EP1583265B1 (en) * | 2004-04-01 | 2012-12-12 | Intel Mobile Communications GmbH | Methods for calibrating a transmitter and a receiver path of a communication device and test system therefor |
| US7272707B2 (en) | 2004-05-19 | 2007-09-18 | International Business Machines Corporation | Methods and apparatus for automatic system parameter configuration for performance improvement |
| CN1275162C (zh) * | 2004-09-21 | 2006-09-13 | 威盛电子股份有限公司 | 动态随机存取存储器初始化设定方法 |
-
2007
- 2007-06-15 TW TW096121840A patent/TWI428767B/zh not_active IP Right Cessation
- 2007-06-21 WO PCT/JP2007/062531 patent/WO2008001678A2/ja active Application Filing
- 2007-06-21 US US12/306,702 patent/US8494806B2/en active Active
- 2007-06-21 CN CN200780019048.5A patent/CN101573693B/zh active Active
- 2007-06-21 JP JP2008522517A patent/JP4898805B2/ja not_active Expired - Fee Related
- 2007-06-21 CA CA2650531A patent/CA2650531C/en active Active
- 2007-06-21 EP EP07767357.2A patent/EP2040170B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20100268511A1 (en) | 2010-10-21 |
| CN101573693B (zh) | 2012-02-01 |
| TW200820017A (en) | 2008-05-01 |
| CA2650531A1 (en) | 2008-01-03 |
| US8494806B2 (en) | 2013-07-23 |
| EP2040170A1 (en) | 2009-03-25 |
| JPWO2008001678A1 (ja) | 2009-11-26 |
| CA2650531C (en) | 2015-03-24 |
| EP2040170B1 (en) | 2013-05-29 |
| CN101573693A (zh) | 2009-11-04 |
| EP2040170A4 (en) | 2012-05-23 |
| JP4898805B2 (ja) | 2012-03-21 |
| WO2008001678A2 (fr) | 2008-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI428767B (zh) | 最佳化配置系統參數集之方法，程式及裝置 | |
| US10565083B2 (en) | Simulating hosted application performance | |
| EP2698712B1 (en) | Computer program, method, and information processing apparatus for analyzing performance of computer system | |
| US8180604B2 (en) | Optimizing a prediction of resource usage of multiple applications in a virtual environment | |
| JP4756675B2 (ja) | コンピュータ資源のキャパシティを予測するためのシステム、方法およびプログラム | |
| US8260603B2 (en) | Scaling a prediction model of resource usage of an application in a virtual environment | |
| US7552036B2 (en) | Preconditioning for stochastic simulation of computer system performance | |
| US8145456B2 (en) | Optimizing a prediction of resource usage of an application in a virtual environment | |
| US8627147B2 (en) | Method and computer program product for system tuning based on performance measurements and historical problem data and system thereof | |
| US20050228875A1 (en) | System for estimating processing requirements | |
| Apte et al. | AutoPerf: Automated load testing and resource usage profiling of multi-tier internet applications | |
| US8973000B2 (en) | Determining multiprogramming levels | |
| US20090235274A1 (en) | Apparatus and method for task count control | |
| JP4843379B2 (ja) | 計算機システムの開発プログラム | |
| Glatard et al. | Optimizing jobs timeouts on clusters and production grids | |
| Rao et al. | CoSL: A coordinated statistical learning approach to measuring the capacity of multi-tier websites | |
| JP2008234407A (ja) | 自動負荷試験装置および自動負荷試験方法 | |
| US20120253880A1 (en) | Simulating dependency of token arrival on process performance | |
| MXPA04003127A (es) | Sistema y metodo para asignar una medida metrica de motor a un sistema de computacion. | |
| Liu et al. | Evaluating the scalability of enterprise javabeans technology | |
| CN106855840B (zh) | 一种系统cpu分析方法和装置 | |
| Kumar et al. | Estimating model parameters of adaptive software systems in real-time | |
| JPWO2013141018A1 (ja) | 最適システム設計支援装置 | |
| Kelley et al. | Rapid in-situ profiling of colocated workloads | |
| Li et al. | Scalability and performance analysis of BDPS in clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |