TW201145209A - Satisfaction degree survey method and system - Google Patents

Description

201145209 六、發明說明： 【發明所屬之技術領域】 本發明係有關於一種滿意度調查方法及系統，特別是 指一種運用試題反應理論（Item Response Theory，irt)之滿 意度調查方法及系統。 【先前技術】 由於醫院評鑑制度要求醫院須做各樣式的病患滿意度 調查，因此許多醫院遂採行一年一度的問卷調查與分析來 進行此種病患滿意度調查。其中，許多醫院係推行平衡計 分卡來進行病患滿意度調查，而其中的顧客面又包括有門 急住診病患滿意度，如此勢必會造成病患在填卷時的負擔 ，且醫院方面也必須花費許多人力來進行病患滿意度調查 過程中的分析工作。因此，有必要尋求解決之道。 【發明内容】 因此’本發明之目的，即在提供一種滿意度調查方法

於疋’本發明滿意度調查方法包含下列步驟：（A)提供 一用以自動計算使用者對服務之滿意度水準之滿意度調查 系統，該滿意度調查系統包括一題目挑選模組、一反應機 率計算模組、一滿意度估計模組以及一題庫資料庫，該題 庫資料庫包括多個題目，每一個題目具有多個選項、與各 選項相對應之閾階難度參數，以及一由各閾階難度參數計 算出之整體難度；（B)在該服務結束後，該使用者輸入一整 體滿意度’以做為初始之滿意度；（C)該題目挑選模組至該 201145209 題庫資料庫中自動挑選整體難度符合該初始之滿意度之題 目，（D)在該使用者填答該題目後，該反應機率計算模組運 用一試題反應理論模式，根據該使用者對已填答題目之填 答反應、該滿意度以及已填答題目之閾階難度參數，計算 出該使用者之與所有已填答題目之填答反應分別對應之各 題期望反應機率；（E)該滿意度估計模組運用一滿意度估計 法則，根據使用者已填答題目之閾階難度參數，以及所計 算出來之期望反應機率，計算出該使用者之滿意度；（〇該 題目挑選模組判斷是否已符合一預定結束條件；及⑴)若該 (F)步驟之判斷結果為否，則該題目挑選模組從該等尚未填 答的題目中自動挑選出具有最大訊息量之題目，並逢 行該等（D)至（G)步驟。 本發明之另一目的，即在提供一種滿意度調查系統。 於是，本發明滿意度調查系統適用於自動計算使用者 對服務之滿意度水準。該滿意度調查系統包含一題庫資料 庫、-反應機率計算模組、—滿意度估計模組及—題目挑 選模組。該題庫資料庫包括多個題目，每一個題目具有多 個選項、與各選項相對應之間階難度參冑，以& 一由各間 階難度參數計算出之整體難度1反應機率計算模組在使 用者填答整體難度符合使用者所輸人的初始之滿意度之題 目後運用6式題反應理論模式，根據該使用者對已填答 題目之填答反應、该滿意度以及已填答題目之閾階難度參 數’計算出該使用者之與所有已填答題目之填答反應分別 對應之各題期望反應機率。該滿意度估計模組用以運用一 201145209 滿意度估計法則’根據制者已填答的題目之閾階難度參 數以及所計算出來之期望反應機率，計算出該使用者之滿 意度1題目«模組用以判斷是否已符合—預定結束條 件’且若判斷結果為否’則從該等尚未填答的題目中自動 挑選出具有最大訊息量之題目供使用者填答。

本發明之功效在於，可根據使用者對題庫資料庫中某 一問卷題目的填答結果，自動計算出滿意度，並自動挑選 出下一題目供使用料答，且使用者不需做完所有題目即 可產生可信賴的作答成績結果，因而可減輕使用者在填卷 時的負擔，以及服務之提供者在進行滿意度調查過程中的 分析工作負擔。 【實施方式】 有關本發明之前述及其他技術内容、特點與功效，另 以配合參考圖式之一個較佳實施例的詳細說明中，將可清 楚地呈現。 在此發明被詳細描述之前，要注意的是，於以下的說 明内容中’類似的元件是以相同的編號來表示。 參閱圖1〜3 ’本發明滿意度調查系統1及方法係運用試 題反應理論（Item Response Theory，IRT)之電腦化適性測驗 (Computerized Adaptive Test，CAT)系統及方法，用於自動 計算使用者對服務之滿意度水準。其中，該服務可泛指在 各行各業中提供給使用者的服務。例如，若針對醫院所提 供的醫療服務而言，則該使用者指的是接收該醫療服務的 病患，且本發明滿意度調查系統1及方法可用以根據病患 5 201145209 ，自動計算出滿意度， 。本說明書中以下將以 細說明本發明之較佳實 對題庫中某一問卷題目的填答結果 並自動挑選出下一題目供病患填答 醫院_的病患滿意度調查為例來詳 施例。 如圖1所示，本發明滿意度調查系統i之較佳實施例 包含-題庫資料庫η、輸人介面12、反應機率計算模組13 、滿意度估計馳η以及題目挑選模組151題庫資料庫 11包括多個題目，每個題目具有多個選項。由於滿意度調 查中的每-個題目通常不會只有滿意以及不滿意兩個選項 ’因此本發明滿意度調查线1及方法較佳是用在每一個 填答題目具有至少三個選項（如滿意、尚可及不滿意等）之情 況下。在本較佳實施例中，即是以如圖3所示之18個題目 來組成該題庫資料庫u，且每一個題目各具有5個選項。 以下將配合圓2流程®來說明本發明滿意度調查方法 的步驟以及該滿意度調查系統1之各元件的細節。 、在本較佳實施例中，係運用試題反應理論中的通用部 刀。t 刀模式（Generalized partial Credit M〇del，GpCM)來計 算使用者答出某-題目，·之答題反應選項*之期望反應機率 尽(Θ) ’如以下公式（1)所示 ' k

其中0為滿意度’ ν為閾階（Threshold)，表示題《·的鑑別 度Μ為題ζ的閾階ν之困難度，稱閾階難度參數，叫為 題*的選項數°以_ 3本較佳實施例中題庫資料庫11中的 201145209

18個題目為例，因每個題目具有5個選項(如很不滿音、不 滿意 '尚可、滿意、很滿意），故㈣，且有W 選項。與1間具有間階丨，選項1與2間具有間階2,以此 類推）。右病患對某-題的答題反應為、、尚可,，，則 值為2(因、尚可為選項2)。 r圖3中每一個題目有 其4個閾階難度參，且在本較佳實施例中 ’係將各題目的bi、b2、bi、V» Hb τ n 2 b3 b4取平均值而計算出各題目之

整體難度。再者’在本較佳實施例中，由於每個題目的鑑 別度α,皆相等，故公式⑴中分子與分母中的鑑別度…可消 去而簡化成為RaSeh(咖）的部分計分模式 Mode卜 PCM)。 如圖2步驟1所示，本發明系統I運用GPCM自動計 算出滿意度及自動挑選出下一題目供病患填答前，需先由 服務之提供者提供該題庫資料庫U。亦即，在本發明較佳 實知例中’ 由方提供系統丨中的題庫資料庫】i，其 具有諸如圖3所之18個滿意度調查題目，供病患在出院 時進行填答。 於疋’如步驟22所示’在院方所提供之醫療服務結束 而病患離院時’病患可藉由在本發明系統i之輸人介面12 輸入整體滿意度，以做為初始滿意度。其中。該輸入介面 例如可為設置在醫院内之電腦終端機之操作介面。或者 ’該輸入介面12亦可為電話語音介面，用以在病患離院後 由h方撥打電活給該病患進行語音滿意度調查，以取得 病患之填答反應、’供本^统1纟以件進行計算及分析之 201145209 用0 接著’如步驟23所示，該題目挑選模組15至該題庫 資料庫11中自動挑選整體難度符合該初始之滿意度之題目 。如圖3所示，在本較佳實施例中’由於每個題目都有其 對應之整體難度（圖3中的18個題目係以整體難度由難至易 排序）’因此題目挑選模組15可根據以下原則自動挑選題目 給病患作答：初始滿意度愈高則挑愈困難題目，反之，初 始滿意度愈低則挑愈容易題目。接著，如步驟24所示，病 患便可透過該輸入介面丨2填答步驟23中題目挑選模組15 所選出的題目。 然後，如步驟25所示，在病患填答步驟23中題目挑 選模組15所選出的題目後，該反應機率計算模組13運用 上述公式（1)，根據病患對該已填答的初始題目之填答反應 、該初始滿意度Θ及該已填答的初始題目之閾階難數 ，計算出病患之與其填答反應對應之期望反應機率物。 接著，如㈣26所示，該滿意度料模組14運用一 滿意度估計法則，根據該初始題目之間階難度參數，以及 步驟25中計算出來的期望反應機率物，計算出病患之新 的暫時滿意度。在本較佳實施例 過私中，例如可為期望後驗法（咏㈣Α 咖， ’即加權一事前受試者能力 ^ . 月匕力刀佈的最大概似估計法 (Maximum LikeHh00d Estimati〇n， π ΛΑ此+ ’以估S十出下一階 奴的暫時滿意度水準的0值， 度值Θ。 的病患新的暫時滿意 201145209 :著’如步驟27所示’該題目挑選模 =:定結束條件。若步驟27的判斷結果：： 一28所不’該題目挑選模組15從 中自動挑選出具有最大訊息以⑷之題目，真。的通目 訊息量之算法如以下公式⑺所*受試者對冑 ^之 變異數娜Ζ·的^別度係數之平方（DGnGghue，丨994):反應「訌⑽)彻(Θ)— ’/(Θ) = <3;

\^=0 =a,2 var(/) (2) 於是，本發明系統1可反覆進行步驟24〜27,直到符入 該預定結束條件，該題目挑選模組15才停止挑選題目：： 結束病患之填答過程。 在本較佳實施例中，該預定結束條件例如可為測量信 度<〇大於約0·80。本發明方法之較佳實施例在進行步驟u 之判斷動作時，係藉由如下公式⑶〜(5)，而計算出病患填答 題目後所產生的新的測量信“冑。在本較佳實施例中， 係在變異數(¢72)為1(標準化分數)的情況下判斷此所產生 的新測量信度ρ值是否大於約G 8G(即測量標準誤歸（Θ) 是否小於約0.45)，若是，則結束填答過程，若否，則反覆 進行步驟28、24〜27等步驟。 各題sfl息函數總和/(外=⑼ SEM= y[a\\-p) (3)(4)(5) 因此，在本發明較佳實施例中利用圖3所示18個題目 9 201145209 、IRT，以及結束條件設為測量信度p大於約〇 8〇之情況下 ，病患實際回答問卷題目的題數將顯著少於18題而仍能 具有可信賴的作答成績結果，因而確實能大幅減經病患在 填卷時的負擔。 此外，當步驟27的判斷結果為是而結束填答過程後， 在本較佳實施例中，該系統丨可進—步制最大概似估計 法（Maximum Likelihood Estimation，MLE)來估計病患之最 後滿意度（圖未示），也就是將公式（1)之受試者在各題上的 反應機率連乘積，如公式（6)，取其在各個可能滿意水準下 L=tlPM (6) /=1 的公式（6)最大可能下之水準0。為簡化電腦處理速度，系 統採用牛頓-拉福生演算法（Newt〇n_Raphs〇n Alg〇rithm) 疊代决鼻求解出該受試者最後的滿意度，即前項暫時滿意 度0值減去公式（1)之一階導數（公式除以二階導數（公式 (8))而求出病患之最後滿意度值0 ’其中一階導數表示各題 之殘差總量，二階導數表示各題之殘差總變異量χ(_丨）。 —^(θ)[ k - cP ic (Θ )], (7) c = 0 k=〇 「5 2 d2 」 m =Σ&(θ> k=0 θθΡίΛΘ) (8) 10 201145209 綜上所述，本發明滿意度調查方法及系統係運用試題 反應理論之電腦化適性測驗，可針對病患對題庫中某一問 卷題目的填答結果，自動計算出滿意度，纟自動挑選出下 一題目供病患填答，且病患不需做完所有題目即可讓院方 獲得可信賴的作答成績結果，因而能減經病患在填卷時的 負擔’且也可減輕醫院方面在進行病患滿意度調查過程中 的分析工作負擔，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之較佳實施例而已，當不 能以此限定本發明實施之範圍’即大凡依本發明中請專利 辄圍及發明說明内容所作之簡單的等效變化與修飾，皆仍 屬本發明專利涵蓋之範圍内。 【圖式簡單說明】

圖3是一份滿意度調查題目， 中用於病患離院時滿意度調查之題庫 流程圖’說明本發明滿意 圖1是一系統方塊圖 較佳實施例； 圖2是一 實施例；及 說明本發明滿意度調查系統之 度調查方法之較佳 說明本發明較佳實施例 資料庫中的18個題目 201145209 【主要元件符號說明】 1…… •…滿意度調查系統 14....... …滿意度估計模組 11 ..... •…題庫資料庫 15....... ••題目挑選模組 12 -----輸入介面 21 〜28·· ……步驟 13.···· •…反應機率計算模組

12

Claims (1)

1. 201145209 七、申請專利範圍： 1. 一種滿意度調查方法，包含下列步驟：

   (A)提供一用以自動計算使用者對服務之滿意度水準 之滿意度調查系統’該滿意度調查系統包括一題目挑選 模組、一反應機率計算模組、一滿意度估計模組以及一 題庫資料庫，該題庫資料庫包括多個題目，每一個題目 具有多個選項、與各選項相對應之閾階難度參數，以及 一由各閾階難度參數計算出之整體難度； (B)在该服務結束後，該使用者輸入一整體滿意度， 以做為初始之滿意度； (C) 該題目挑選模組至該題庫資料庫中自動挑選整體 難度符合該初始之滿意度之題目； (D) 在該使用者填答該題目後，該反應機率計算模组 運用一試題反應理論模式’根據該使用者對已填答題目 之填答反應、該滿意度以及已填答題目之間階難度參數 ’計算出該使用者之與所有已填答題目之填答反應分別 對應之各題期望反應機率； ⑻該滿意度估計模組運用—滿意度估計法則，根據 吏用者已填答題目之間階難度參數，以及所計算出來之 期望反應機率’計算出該使用者之滿意度； ;以^該題目挑㈣,符合1定結束條件 (G)若該（F)步驟 組從該等尚未填答的 之判斷結果以’則該題目挑選模 題目中自動挑選出具有最大訊息量 13 201145209 之題目，並反覆進行該等⑼至⑹步驟。 2·根據申請專利範圍第 y…、止 弟1項所述之滿意度調查方法，其中 3根攄申-直 冑碭目之選項之個數為至少三個。 J ·根據肀s青專利節圍笛1 μ 圍第項所述之滿意度調查方法，其中 在該（Α)步驟中，各顏曰+杜_ 題目之查體難度等於 項之閾階難度參數之平均值。 之所有選 4.根據申请專利範圍第〗 員所述之滿忍度調查方法，其中 在该（D)步驟中，該試 鲁 式。 久您埋DW杈式為通用部分計分模 5·根據申請專利範圍第1 項所述之滿意度調查方法，苴 在該（E)步驟中，該滿音 '、 〜、度估计法則為期望後驗法。 6.根據申知專利範圍第丨 λ 碉所11之滿思度调查方法，其中 ^ 〃巾，該騎結束條件相量信度大於約請 〇 =申請專利範圍第1項所述之滿意度調查方法，在該 I)步驟後’更包含步驟⑻，若該（F)步驟之判斷結果為 疋，料錢選題目，以結束使㈣之填答過程。 .—種滿意度調查系統，適用於自 、目動。十算使用者對服務之 滿思度水準，該滿意度調查系統包含： -題庫資料庫’包括多個題目’每—個題目具有多 固選項、與各選項相對應之閾階難度參數，以及一由各 閾階難度參數計算出之整體難度； ,一反應機率計算模組，心在使用者填答整體難度 符合使用者所輸入的初始之滿音度 /兩思！之碭目後，運用一試 14 201145209 題反應理論模式，根據該使用者對已填答題目之填答反 應、該滿意度以及已填答題目之閾階難度參數，計算出 該使用者之與所有已填答題目之填答反應分別對應之各 題期望反應機率； 一滿意度估計模組，用以運用一滿意度估計法則， 根據使用者已填答的題目之閾階難度參數以及所計算出 來之期望反應機率’計算出該使用者之滿意度；以及 一題目挑選模組，用以判斷是否已符合一預定結束 條件，且右判斷結果為否，則從該等尚未填答的題目中 自動挑選出具有最大訊息量之題目供使用者填答。 9·根據申請專利範圍第8項所述之滿意度調查系統，其中 每一個題目之選項之個數為至少三個。 〇.根據申„月專利範圍第8項所述之滿意度調查系統，其中 各題目之整體難度等於各題目之所有選項之閾階難度泉 數之平均值。 / 具中 "•根據申請專利範圍第8項所述之滿意度調查系統 該試題反應理論模式為通用部分計分模式。 其中 12·根據申請專利範圍第8項所述之滿意度調查系統 该滿意度估計法則為期望後驗法。 其中 13·=申請專利範圍第8項所述之滿意度調查系統 该預疋結束條件為信度大於約0.80。 14.，射請專㈣㈣8項所述之滿意度财系統，其中 ::::::為是，則該題目挑選模組停止挑選題目， 以、·、°束使用者之填答過程。 15