TWI426461B - Satisfaction Survey Method and System - Google Patents

Description

滿意度調查方法及系統

本發明係有關於一種滿意度調查方法及系統，特別是指一種運用試題反應理論(Item Response Theory，IRT)之滿意度調查方法及系統。

由於醫院評鑑制度要求醫院須做各樣式的病患滿意度調查，因此許多醫院遂採行一年一度的問卷調查與分析來進行此種病患滿意度調查。其中，許多醫院係推行平衡計分卡來進行病患滿意度調查，而其中的顧客面又包括有門急住診病患滿意度，如此勢必會造成病患在填卷時的負擔，且醫院方面也必須花費許多人力來進行病患滿意度調查過程中的分析工作。因此，有必要尋求解決之道。

因此，本發明之目的，即在提供一種滿意度調查方法。

於是，本發明滿意度調查方法包含下列步驟：(A)提供一用以自動計算使用者對服務之滿意度水準之滿意度調查系統，該滿意度調查系統包括一題目挑選模組、一反應機率計算模組、一滿意度估計模組以及一題庫資料庫，該題庫資料庫包括多個題目，每一個題目具有多個選項、與各選項相對應之閾階難度參數，以及一由各閾階難度參數計算出之整體難度；(B)在該服務結束後，該使用者輸入一整體滿意度，以做為初始之滿意度；(C)該題目挑選模組至該題庫資料庫中自動挑選整體難度符合該初始之滿意度之題目；(D)在該使用者填答該題目後，該反應機率計算模組運用一試題反應理論模式，根據該使用者對已填答題目之填答反應、該滿意度以及已填答題目之閾階難度參數，計算出該使用者之與所有已填答題目之填答反應分別對應之各題期望反應機率；(E)該滿意度估計模組運用一滿意度估計法則，根據使用者已填答題目之閾階難度參數，以及所計算出來之期望反應機率，計算出該使用者之滿意度；(F)該題目挑選模組判斷是否已符合一預定結束條件；及(G)若該(F)步驟之判斷結果為否，則該題目挑選模組從該等尚未填答的題目中自動挑選出具有最大訊息量之題目，並反覆進行該等(D)至(G)步驟。

本發明之另一目的，即在提供一種滿意度調查系統。

於是，本發明滿意度調查系統適用於自動計算使用者對服務之滿意度水準。該滿意度調查系統包含一題庫資料庫、一反應機率計算模組、一滿意度估計模組及一題目挑選模組。該題庫資料庫包括多個題目，每一個題目具有多個選項、與各選項相對應之閾階難度參數，以及一由各閾階難度參數計算出之整體難度。該反應機率計算模組在使用者填答整體難度符合使用者所輸入的初始之滿意度之題目後，運用一試題反應理論模式，根據該使用者對已填答題目之填答反應、該滿意度以及已填答題目之閾階難度參數，計算出該使用者之與所有已填答題目之填答反應分別對應之各題期望反應機率。該滿意度估計模組用以運用一滿意度估計法則，根據使用者已填答的題目之閾階難度參數以及所計算出來之期望反應機率，計算出該使用者之滿意度。該題目挑選模組用以判斷是否已符合一預定結束條件，且若判斷結果為否，則從該等尚未填答的題目中自動挑選出具有最大訊息量之題目供使用者填答。

本發明之功效在於，可根據使用者對題庫資料庫中某一問卷題目的填答結果，自動計算出滿意度，並自動挑選出下一題目供使用者填答，且使用者不需做完所有題目即可產生可信賴的作答成績結果，因而可減輕使用者在填卷時的負擔，以及服務之提供者在進行滿意度調查過程中的分析工作負擔。

有關本發明之前述及其他技術內容、特點與功效，另以配合參考圖式之一個較佳實施例的詳細說明中，將可清楚地呈現。

在此發明被詳細描述之前，要注意的是，於以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1~3，本發明滿意度調查系統1及方法係運用試題反應理論(Item Response Theory，IRT)之電腦化適性測驗(Computerized Adaptive Test，CAT)系統及方法，用於自動計算使用者對服務之滿意度水準。其中，該服務可泛指在各行各業中提供給使用者的服務。例如，若針對醫院所提供的醫療服務而言，則該使用者指的是接收該醫療服務的病患，且本發明滿意度調查系統1及方法可用以根據病患對題庫中某一問卷題目的填答結果，自動計算出滿意度，並自動挑選出下一題目供病患填答。本說明書中以下將以醫院中的病患滿意度調查為例來詳細說明本發明之較佳實施例。

如圖1所示，本發明滿意度調查系統1之較佳實施例包含一題庫資料庫11、輸入介面12、反應機率計算模組13、滿意度估計模組14以及題目挑選模組15。該題庫資料庫11包括多個題目，每個題目具有多個選項。由於滿意度調查中的每一個題目通常不會只有滿意以及不滿意兩個選項，因此本發明滿意度調查系統1及方法較佳是用在每一個填答題目具有至少三個選項(如滿意、尚可及不滿意等)之情況下。在本較佳實施例中，即是以如圖3所示之18個題目來組成該題庫資料庫11，且每一個題目各具有5個選項。

以下將配合圖2流程圖來說明本發明滿意度調查方法的步驟以及該滿意度調查系統1之各元件的細節。

在本較佳實施例中，係運用試題反應理論中的通用部分計分模式(Generalized Partial Credit Model，GPCM)來計算使用者答出某一題目i 之答題反應選項k 之期望反應機率P _ik (θ)，如以下公式(1)所示：

其中θ為滿意度，v 為閾階(Threshold)，a _i 表示題i 的鑑別度，b _iv 為題i 的閾階v 之困難度，稱閾階難度參數，m _i 為題i 的選項數。以圖3本較佳實施例中題庫資料庫11中的18個題目為例，因每個題目具有5個選項(如很不滿意、不滿意、尚可、滿意、很滿意)，故m _i =5，且有5-1=4個閾階(選項0與1間具有閾階1，選項1與2間具有閾階2，以此類推)。若病患對某一題的答題反應為〝尚可〞，則該題的k 值為2(因〝尚可〞為選項2)。此外，圖3中每一個題目有其4個閾階難度參數b₁ 、b₂ 、b₃ 、b₄ ，且在本較佳實施例中，係將各題目的b₁ 、b₂ 、b₃ 、b₄ 取平均值而計算出各題目之整體難度。再者，在本較佳實施例中，由於每個題目的鑑別度a _i 皆相等，故公式(1)中分子與分母中的鑑別度a _i 可消去而簡化成為Rasch(1960)的部分計分模式(Partial Credit Model，PCM)。

如圖2步驟1所示，本發明系統1運用GPCM自動計算出滿意度及自動挑選出下一題目供病患填答前，需先由服務之提供者提供該題庫資料庫11。亦即，在本發明較佳實施例中，需先由院方提供系統1中的題庫資料庫11，其具有諸如圖3所示之18個滿意度調查題目，供病患在出院時進行填答。

於是，如步驟22所示，在院方所提供之醫療服務結束而病患離院時，病患可藉由在本發明系統1之輸入介面12輸入整體滿意度，以做為初始滿意度。其中。該輸入介面12例如可為設置在醫院內之電腦終端機之操作介面。或者，該輸入介面12亦可為電話語音介面，用以在病患離院後，由院方撥打電話給該病患進行語音滿意度調查，以取得病患之填答反應，供本系統1其他元件進行計算及分析之用。

接著，如步驟23所示，該題目挑選模組15至該題庫資料庫11中自動挑選整體難度符合該初始之滿意度之題目。如圖3所示，在本較佳實施例中，由於每個題目都有其對應之整體難度(圖3中的18個題目係以整體難度由難至易排序)，因此題目挑選模組15可根據以下原則自動挑選題目給病患作答：初始滿意度愈高則挑愈困難題目，反之，初始滿意度愈低則挑愈容易題目。接著，如步驟24所示，病患便可透過該輸入介面12填答步驟23中題目挑選模組15所選出的題目。

然後，如步驟25所示，在病患填答步驟23中題目挑選模組15所選出的題目後，該反應機率計算模組13運用上述公式(1)，根據病患對該已填答的初始題目之填答反應、該初始滿意度θ及該已填答的初始題目之閾階難度參數，計算出病患之與其填答反應對應之期望反應機率P _ik (θ)。

接著，如步驟26所示，該滿意度估計模組14運用一滿意度估計法則，根據該初始題目之閾階難度參數，以及步驟25中計算出來的期望反應機率P _ik (θ)，計算出病患之新的暫時滿意度。在本較佳實施例中，該滿意度估計法則的過程中，例如可為期望後驗法(Expected A Posteriori，EAP)，即加權一事前受試者能力分佈的最大概似估計法(Maximum Likelihood Estimation，MLE)，以估計出下一階段的暫時滿意度水準的θ值，即所謂的病患新的暫時滿意度值θ。

接著，如步驟27所示，該題目挑選模組15判斷是否已符合一預定結束條件。若步驟27的判斷結果為否，則如步驟28所示，該題目挑選模組15從該等尚未填答的題目中自動挑選出具有最大訊息量I _i (θ)之題目，其中題目i 之訊息量之算法如以下公式(2)所示受試者對題i 的回答反應變異數×題i 的鑑別度係數a _i 之平方(Donoghue,1994)。

於是，本發明系統1可反覆進行步驟24~27，直到符合該預定結束條件，該題目挑選模組15才停止挑選題目，以結束病患之填答過程。

在本較佳實施例中，該預定結束條件例如可為測量信度ρ大於約0.80。本發明方法之較佳實施例在進行步驟27之判斷動作時，係藉由如下公式(3)~(5)，而計算出病患填答題目後所產生的新的測量信度ρ值。在本較佳實施例中，係在變異數(σ² )為1(標準化分數)的情況下，判斷此所產生的新測量信度ρ值是否大於約0.80(即測量標準誤SEM (θ)是否小於約0.45)，若是，則結束填答過程，若否，則反覆進行步驟28、24~27等步驟。

因此，在本發明較佳實施例中利用圖3所示18個題目、IRT，以及結束條件設為測量信度ρ大於約0.80之情況下，病患實際回答問卷題目的題數將顯著少於18題，而仍能具有可信賴的作答成績結果，因而確實能大幅減經病患在填卷時的負擔。

此外，當步驟27的判斷結果為是而結束填答過程後，在本較佳實施例中，該系統1可進一步利用最大概似估計法(Maximum Likelihood Estimation，MLE)來估計病患之最後滿意度(圖未示)，也就是將公式(1)之受試者在各題上的反應機率連乘積，如公式(6)，取其在各個可能滿意水準下

的公式(6)最大可能下之水準θ。為簡化電腦處理速度，系統採用牛頓-拉福生演算法(Newton-Raphson Algorithm)疊代演算求解出該受試者最後的滿意度，即前項暫時滿意度θ值減去公式(1)之一階導數(公式(7))除以二階導數(公式(8))而求出病患之最後滿意度值θ，其中一階導數表示各題之殘差總量，二階導數表示各題之殘差總變異量×(-1)。

綜上所述，本發明滿意度調查方法及系統係運用試題反應理論之電腦化適性測驗，可針對病患對題庫中某一問卷題目的填答結果，自動計算出滿意度，並自動挑選出下一題目供病患填答，且病患不需做完所有題目即可讓院方獲得可信賴的作答成績結果，因而能減經病患在填卷時的負擔，且也可減輕醫院方面在進行病患滿意度調查過程中的分析工作負擔，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

1．．．滿意度調查系統

11．．．題庫資料庫

12．．．輸入介面

13．．．反應機率計算模組

14．．．滿意度估計模組

15．．．題目挑選模組

21~28．．．步驟

圖1是一系統方塊圖，說明本發明滿意度調查系統之較佳實施例；

圖2是一流程圖，說明本發明滿意度調查方法之較佳實施例；及

圖3是一份滿意度調查題目，說明本發明較佳實施例中用於病患離院時滿意度調查之題庫資料庫中的18個題目。

1．．．滿意度調查系統

11．．．題庫資料庫

12．．．輸入介面

13．．．反應機率計算模組

14．．．滿意度估計模組

15．．．題目挑選模組

Claims (14)

1. 一種滿意度調查方法，包含下列步驟：(A)提供一用以自動計算使用者對服務之滿意度水準之滿意度調查系統，該滿意度調查系統包括一題目挑選模組、一反應機率計算模組、一滿意度估計模組以及一題庫資料庫，該題庫資料庫包括多個題目，每一個題目具有多個選項、與各選項相對應之閾階難度參數，以及一由各閾階難度參數計算出之整體難度；(B)在該服務結束後，該使用者輸入一整體滿意度，以做為初始之滿意度；(C)該題目挑選模組至該題庫資料庫中自動挑選整體難度符合該初始之滿意度之題目；(D)在該使用者填答該題目後，該反應機率計算模組運用一試題反應理論模式，根據該使用者對已填答題目之填答反應、該滿意度以及已填答題目之閾階難度參數，計算出該使用者之與所有已填答題目之填答反應分別對應之各題期望反應機率；(E)該滿意度估計模組運用一滿意度估計法則，根據使用者已填答題目之閾階難度參數，以及所計算出來之期望反應機率，計算出該使用者之滿意度；(F)該題目挑選模組判斷是否已符合一預定結束條件；以及(G)若該(F)步驟之判斷結果為否，則該題目挑選模組從尚未填答的題目中自動挑選出具有最大訊息量之題 目，並反覆進行該等(D)至(G)步驟。
2. 根據申請專利範圍第1項所述之滿意度調查方法，其中在該(A)步驟中，每一個題目之選項之個數為至少三個。
3. 根據申請專利範圍第1項所述之滿意度調查方法，其中在該(A)步驟中，各題目之整體難度等於各題目之所有選項之閾階難度參數之平均值。
4. 根據申請專利範圍第1項所述之滿意度調查方法，其中在該(D)步驟中，該試題反應理論模式為通用部分計分模式。
5. 根據申請專利範圍第1項所述之滿意度調查方法，其中在該(E)步驟中，該滿意度估計法則為期望後驗法。
6. 根據申請專利範圍第1項所述之滿意度調查方法，其中在該(F)步驟中，該預定結束條件為測量信度大於0.80。
7. 根據申請專利範圍第1項所述之滿意度調查方法，在該(G)步驟後，更包含步驟(H)，若該(F)步驟之判斷結果為是，則停止挑選題目，以結束使用者之填答過程。
8. 一種滿意度調查系統，適用於自動計算使用者對服務之滿意度水準，該滿意度調查系統包含：一題庫資料庫，包括多個題目，每一個題目具有多個選項、與各選項相對應之閾階難度參數，以及一由各閾階難度參數計算出之整體難度；一反應機率計算模組，用以在使用者填答整體難度符合使用者所輸入的初始之滿意度之題目後，運用一試題反應理論模式，根據該使用者對已填答題目之填答反 應、該滿意度以及已填答題目之閾階難度參數，計算出該使用者之與所有已填答題目之填答反應分別對應之各題期望反應機率；一滿意度估計模組，用以運用一滿意度估計法則，根據使用者已填答的題目之閾階難度參數以及所計算出來之期望反應機率，計算出該使用者之滿意度；以及一題目挑選模組，用以判斷是否已符合一預定結束條件，且若判斷結果為否，則從尚未填答的題目中自動挑選出具有最大訊息量之題目供使用者填答。
9. 根據申請專利範圍第8項所述之滿意度調查系統，其中每一個題目之選項之個數為至少三個。
10. 根據申請專利範圍第8項所述之滿意度調查系統，其中各題目之整體難度等於各題目之所有選項之閾階難度參數之平均值。
11. 根據申請專利範圍第8項所述之滿意度調查系統，其中該試題反應理論模式為通用部分計分模式。
12. 根據申請專利範圍第8項所述之滿意度調查系統，其中該滿意度估計法則為期望後驗法。
13. 根據申請專利範圍第8項所述之滿意度調查系統，其中該預定結束條件為信度大於0.80。
14. 根據申請專利範圍第8項所述之滿意度調查系統，其中若該判斷結果為是，則該題目挑選模組停止挑選題目，以結束使用者之填答過程。