WO2005048118A1 - オンライン手続きにおける計測方法、評価方法及びアンケート実施方法 - Google Patents

オンライン手続きにおける計測方法、評価方法及びアンケート実施方法 Download PDF

Info

Publication number
WO2005048118A1
WO2005048118A1 PCT/JP2004/016997 JP2004016997W WO2005048118A1 WO 2005048118 A1 WO2005048118 A1 WO 2005048118A1 JP 2004016997 W JP2004016997 W JP 2004016997W WO 2005048118 A1 WO2005048118 A1 WO 2005048118A1
Authority
WO
WIPO (PCT)
Prior art keywords
procedure
cookie
information
online
response
Prior art date
Application number
PCT/JP2004/016997
Other languages
English (en)
French (fr)
Inventor
Kenji Katsui
Original Assignee
Kenji Katsui
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kenji Katsui filed Critical Kenji Katsui
Priority to JP2005515484A priority Critical patent/JP4087410B2/ja
Publication of WO2005048118A1 publication Critical patent/WO2005048118A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Definitions

  • the present invention relates to a method for measuring and evaluating the operability of an online procedure experienced by a user.
  • Non-Special Reference 1 UsabiiityEngineenng Jakob Nielsen
  • Patent Document 1 Japanese Patent Laid-Open No. 7-325802 "User Pity Measurement Method"
  • Patent Document 2 JP-A-10-341 "User interface evaluation device"
  • Patent Document 3 JP-A-2001-44094 "Service Management System"
  • the conventional monitoring method lacks statistical reliability.
  • observation and verification by a monitor have been performed to evaluate the operability of the system. This is done during the product development process with the aim of finding problems and improving prototypes through ergonomic testing and analysis, so there is no need to collect large amounts of data.
  • the time and error count data required for service level agreements, etc. may require a high degree of statistical reliability because the data may determine the amount of payment.
  • To collect a large amount of data using the monitor method would require enormous costs.For example, suppose that 100 monitorers test 10 procedures, each of which has 5 procedures, three times each. A total of 15,000 tests are required. Considering the test environment settings, this is not a realistic figure.
  • the expert score is set to 100 seconds
  • the system operator will increase the score, in other words, get a bonus point
  • we will make all sorts of improvements and devises to bring the time to a little closer to 100 seconds, and invest to the limit of the amount of benefit. Indeed, it is unclear to anyone whether service quality is worth the bonus amount, which will continue to improve almost infinitely. In other words, even if there is too much investment or too much bonus, it may be possible to continue investing indefinitely.
  • the present invention is intended to solve the above problems.
  • the first object of the present invention is to collect the required procedure time and the number of procedure errors for all users at low cost and with low risk, in principle, without using the monitor method. And setting an appropriate reference value that does not result in an excessive level.
  • a third object of the present invention is to achieve the above object without adding new burdens and risks to existing systems and operators.
  • the present invention has the following means.
  • the procedure referred to here is a procedure screen (data transmission screen or data download screen) that is not a procedure completed simply on one screen, and a top screen, a navigation screen, and a help screen required to reach the screen. It is composed of a group of screens, such as screens, that guide the procedure (hereinafter “guidance screens”). Therefore, the measurement time is not simply the transition time from one screen to one screen or the response time, but the user requests one of a plurality of predefined measurement target screens. This is the time required for a user to transmit data or download data to achieve a predetermined purpose. However, when downloading data, the time taken for the data to be sent from the procedure to the client, generally called the download time, is not measured. However, since this time greatly depends on the user environment, excluding this time may be considered appropriate.
  • the following measures are taken in order to cope with the user's movement that makes a complex transition among the screen groups composed as described above and to reduce the load on the server that performs the evaluation.
  • the measurement target screen is roughly divided into a procedure screen and a guidance screen, and the guidance screen includes a top screen, a navigation screen, a help screen, and the like (FIG. 6).
  • the time information to be recorded is based on the premise that the user transitions across a plurality of procedure groups, rather than only the requested time to be measured initially, and records all times when the user first accesses each procedure group.
  • Measurement data time information, procedure group identification information required for evaluation is recorded in a cookie and managed by the evaluation server and client terminal, so that no burden is placed on the procedure server.
  • “Cookie” is information determined by a procedure server program when the client terminal connects to the procedure server, and is information stored in the client terminal for each server. In the present invention, all information having the above functions is defined as “Cookie” regardless of the name. Typically, the function relating to the “Cookie” is provided as a standard in Internet Explorer (registered trademark) and Netscape Navigator (registered trademark) browsers (Internet web page browsing software).
  • the cookie storing the measurement data (time information and procedure group identification information) is stored in the client browser, so that the client-server communication is resumed, the server simply uses the cookie information sent from the client. Therefore, within a single communication (within a single screen transition), the client, that is, the party sending the Cookie can be specified, and individual identification is not required. Therefore, in the method described below, the individual identification method is omitted.
  • the method of the present invention is a method of calculating the required time upon receipt of the procedure completion information, following the method of (1) above, and checks the contents of the cookie and the response.
  • one or more procedure start times Information power The feature is that the most appropriate start time is selected and the required time is calculated.
  • “refer” is a type of auxiliary information included in request or response information, and Refers to information.
  • the client's browser sends the cookie and refer to the server on request. Therefore, the server can know a plurality of measurement data by referring to the Cookie obtained from the client, and by referring to the refer, the appropriate measurement data, that is, An appropriate start time can be extracted.
  • the method of the present invention uses electronic information communicated between a terminal client connected to a network and a server that performs a procedure service, and further shows the operability together with the procedure start time.
  • This method measures the number of input errors, which is one of the main indicators, at the same time, and features the recording of time information as a start time candidate and the number of error occurrences using cookies.
  • the method of the present invention is a method for determining the required time and the number of errors following a signal from the completion of the procedure following the above (3).
  • the feature is that it is determined at the same time.
  • the method of the present invention uses the measurement data collected by the above methods (1) to (4) or other methods and the results of a satisfaction questionnaire survey on system operability. It is a method of creating evaluation standard values by using the same case identification information and automatically combining the results of questionnaire surveys conducted at a different timing from the measurement data.
  • the operability index of a positive case is extracted from the existence of the user evaluation result, and for example, an average value thereof is obtained, thereby obtaining the "operation operability index.”
  • this figure is the “average level that individual users can evaluate as positive” and can be regarded as the optimal level that does not result in excessive investment for businesses and clients. As a result, the business operator and the issuer can automatically determine the optimal evaluation standard without any burden.
  • the effect of the present invention is to visualize and quantify the quality of online services that are permeating all economic activities and people's lives from the user's point of view. It encourages the offer.
  • FIG. 1 is a configuration diagram of a proxy type network.
  • FIG. 2 is a block diagram of a joint operation network.
  • FIG. 3 is a configuration diagram of an embedded network.
  • FIG. 5 is a screen configuration example and a transition example.
  • FIG. 6 is an example of a procedure system definition screen.
  • FIG. 7 is an example of a procedure detail definition screen.
  • FIG. 8 is a flowchart relating to a method of recording a procedure start time.
  • FIG. 9 is a flowchart relating to a method for determining measurement data by signaling completion of a procedure.
  • FIG. 10 is a flowchart relating to a method of recording the number of times an error has occurred.
  • FIG. 11 is a flowchart relating to a method of creating an evaluation reference value or an evaluation value.
  • FIG. 12 is an example of a table in which measurement data and user evaluation data are combined.
  • FIG. 13 is an example of an evaluation value.
  • the present invention relates to a client terminal (102) connected to a network (101) and a server (hereinafter, referred to as a procedure server) (103) for providing an online electronic procedure service.
  • a client terminal (102) connected to a network (101) and a server (hereinafter, referred to as a procedure server) (103) for providing an online electronic procedure service.
  • This is a method in which the proxy-type evaluation server (104) measures and evaluates operability data based on the data communicated between them.
  • the evaluation server measures a predetermined index value based on a so-called proxy function part (104-1) that relays data communicated between the procedure server and the client terminal, and calculates the index value based on the data. It consists of a measurement and evaluation function part (104-2) to store and store.
  • proxy-type server it is possible to enable an ASP service that evaluates many online procedure services in one place.
  • the measurement / evaluation function has a receiving means (411) for receiving data via the proxy function part, and a transmitting means (412) for transmitting data to the proxy function part.
  • a definition means (420) for performing a definition necessary for measurement in advance is provided.
  • request content determination means (431) for determining whether or not the content of the request from the client is a predefined content, determines whether or not the request has a Cookie to be measured attached to the request.
  • Cookie presence / absence determination means (432) indicating the same procedure group as the request content in the Cookie
  • Cookie content determination means (433) for determining whether or not the identification information has power
  • Cookie creation means (434) for creating a new cookie, or adding a new U to an existing cookie, and adding or modifying information Extracts the error count information from the existing Cookie and adds 1 to the error count means (435), and if there is any information such as predefined procedure completion information or error occurrence information in the response from the procedure server.
  • writing means (441) for writing cookies and the like in the temporary storage means writing means (442) for reading cookies and the like from the temporary storage means, and cookies stored in the temporary storage means and the cookies themselves are deleted.
  • the cookie to be written to or read from the temporary storage means a measurement cookie that includes measurement data (time information, error count information) and identification information (procedure identification information, procedure group identification information).
  • the measurement data indicating the operability and the questionnaire results collected by a different method are combined into the same table in the measurement data 'questionnaire result synthesizing means (451).
  • Positive measurement data extraction means (452) that determines whether or not the power is positive and extracts measurement data having the same case identification information according to a predetermined definition, the average value of the extracted measurement data (evaluation reference value ), And evaluation value calculating means (454) for calculating a comparison value between the evaluation standard value and the average value of all data.
  • database writing means (461) for writing measurement data, calculation data, evaluation results, definition contents, and the like to the storage means (database), database reading means (462) for reading the information from the storage means, It has storage means (database) (463) for permanently storing information.
  • a case identification information creating means creating information for individually identifying the processing cases) ( 471), and has a completion message 'questionnaire synthesizing means (472) for synthesizing the completion message data and the question data in order to simultaneously transmit the completion message and the questionnaire.
  • the power cooperative server which is a means of the proxy type evaluation server
  • all information is transmitted and received to and from the procedure server, and the configuration in the measurement evaluation function is the same as that of the proxy type evaluation server.
  • the completion judgment is made. And the definition of error determination becomes simpler.
  • the procedure type determining means (437) and the step involving the determining means are not required. The same applies to the embedded procedure server.
  • the website has three levels of hierarchy.
  • the screen group located in the rightmost column of the figure is a screen where the user finally performs data registration, that is, a procedure screen (502).
  • the screens located at the leftmost and middle positions are a top screen and a navigation screen.
  • a guidance screen (501) for accurately guiding the user to the procedure screen such as a help screen.
  • the procedures are roughly classified into three. Each of them is a procedure group A (510), a procedure group B (520), and a procedure group C (530), and is composed of 2-5 types of procedure screens.
  • the transition screen is A001 ⁇ A004 ⁇ A104 ⁇ B001 ⁇ A007 ⁇ Screen not to be measured ⁇ B001 ⁇
  • the procedure start time is set as the procedure start time.
  • the time of the first transition to the group B is defined as the procedure start time. It is reasonable to consider. Therefore, the start time must be “10:30” (521) that transits to B001 instead of “10:25” that transits to the A001 screen.
  • the procedure completion time is "10:40"
  • the required time is the difference of 10 minutes.
  • the measurement data in this case results in the time required for the procedure of “B103” being “10 minutes” and the number of errors being “two times”.
  • This definition consists of a definition of the entire procedure (Fig. 6) and a definition of the individual procedure (Fig. 7).
  • the relevant individual procedure screens (613) are combined into one, and identification information (611) is given as a group of procedures.
  • the procedure group defines a measurement target screen (612) to be measured at the start time. This measurement target includes the procedure screen.
  • a URL or a file name or a character string (721) indicating the completion notification, and the occurrence of an error are determined.
  • Necessary information for example, a URL, a file name or a character string (722) indicating the occurrence of an error, and a logical expression (723) for the user evaluation judging means to judge the questionnaire response result from the user as a positive tendency I do. (Fig. 7)
  • FIG. 8 shows a method of recording the procedure start time, which is characterized in that candidate time information is recorded using a cookie for each procedure group.
  • the cookie presence / absence determining means determines whether or not the request includes a cookie for measurement, or not. (802) If there is a measurement cookie, the writing means (441) temporarily stores the cookie. An instruction to write (803) to (444) is issued.
  • the cookie content determination means (433) is instructed to determine whether the Cookie includes the same identification information as the procedure group to which the request belongs (805).
  • the cookie content determination means determines that this is the first transition to the procedure group. Therefore, it is necessary to record a new start time. That is, the time determined by the clock in the server and the information for identifying the procedure group to which the request belongs (information for identifying the procedure group such as the procedure group identification information and the procedure identification information) are transmitted to the cookie creation means (434). Instruct Cookie to be created (806). The time determined above can be considered from the time when the request from the client is received to the time when the time information is created in the Cookie. When using the reception time, it is needless to say that all the reception times need to be recorded regardless of the presence or absence of the measurement target.
  • the cookie After creating time information and identification information in the cookie by the cookie creating means (434) irrespective of whether it is new or not, the cookie is temporarily stored in the writing means (441) by the temporary storage means ( Instruct 444) to write and store (807).
  • the cookie is deleted by the deletion means (443) when the procedure is completed. It is also possible for the user to close the browser or delete it automatically after a certain period of time.
  • the cookie created in this way is temporarily stored in the evaluation server (104).
  • the Cookie is not included in the information (808) sent to the server (103).
  • the candidate information that is the procedure start time is recorded in a cookie.
  • the greatest advantage of this method is that it is necessary to improve the system so that there is no load on the procedure server (103) side There is no data, and the data to be temporarily stored on the evaluation server (104) side is the minimum necessary in order to store all information in the Cookie.
  • the proxy-type evaluation server (104) In the force-cooperation type server (201), all information is only transmitted to and received from the procedure server (103). The processing method is the same as the proxy type. Similarly, the same applies to the embedded procedure server (301). However, when new improvements and functions are added to the procedure server (103) side, for example, when a unique means for transmitting information indicating the screen to be measured to the evaluation server (104 M rule is added) In practice, the request content determination means is located on the procedure server (103) side, and there is an intermediate method between the two, such as not having the means in the evaluation server (104).
  • the method described above uses a “typical cookie” among the defined cookies, stores the time and the client's individual identification information on the server side, and saves the client's individual identification information in the cookie. You may do it.
  • a “typical cookie” among the defined cookies, stores the time and the client's individual identification information on the server side, and saves the client's individual identification information in the cookie. You may do it.
  • Fig. 9 shows a method of determining the required time after the procedure (1) is signaled by the completion of the procedure. Using a cookie, a response, and refer to determine an appropriate procedure start time, The feature is that the time is calculated.
  • the response content determining means (436) checks whether the response includes predefined procedure completion information in the response. ,no (902).
  • the procedure completion information includes a file name and a URL of a procedure completion message that is not displayed if the procedure is not completed, such as “The procedure has been completed successfully”, a character string “END” included in the message, and the like.
  • the definition method can be used and divided in case-no-case, such as a method for defining each procedure, a method for defining each procedure group, and a method for defining common to all procedure groups. I assumed a way to define it.
  • a response is sent (909) to the client (102) as it is.
  • the response content judging means (436) recognizes the completion information in the response
  • the procedure screen information is read from refer to the procedure type judging means (437), and the procedure system definition (FIG. 6) is read. Then, the user is instructed to determine which type of procedure is performed (903).
  • the temporary storage means (444) sends the information to the reading means (442) from the temporary storage means (444).
  • the measurement cookie is read (904), and the measurement data extraction means (439) is instructed to select and retrieve (905) time information belonging to the same procedure group as the completion procedure from the read cookie. .
  • the identification information has a certain regularity (in the example, the first character is defined as a procedure group code and the last three characters are defined as an individual code), and a specific character string (in the example, A method of selecting time information having “B”) or by reading out a pre-defined procedure code system (Fig. 6), specifying which procedure group the completion procedure “B103” belongs to, and then selecting the same procedure A method of selecting time information having a group code is conceivable.
  • the required time calculation means (439) calculates the difference from the completion time to calculate the required time (906). Make the instructions.
  • the difference between the start time 10:30:00 and the completion time 10:40:00, that is, the required time is 10 minutes.
  • the completion time referred to here is the response reception time, the response content determination unit.
  • the time when the completion information is detected in (436), the time when the start time is determined by the measurement data extracting means (438), the time when the subtraction calculation is performed, and the like can be considered.
  • the response reception time it is needless to say that all reception times need to be recorded regardless of whether the procedure is completed or not completed.
  • the database writing means (461) After calculating the required time, the database writing means (461) identifies the required time, the procedure type code, and the individual processing cases created by the matter identification information creating means (471).
  • the information (hereinafter referred to as “case identification information”) to be stored is stored in the storage means (463) (907).
  • the case identification information creating means (471) creates case identification information to be added to the measurement data, and provides questionnaire information for investigating user satisfaction with operability. Attached to.
  • the method of providing the information may be performed by using a cookie or in a normal information format, as long as the case identification information can be returned along with the response result.
  • the case identification information is created and issued by the evaluation server (104) independently.
  • a method of separately obtaining identification information from the procedure server (103) may be considered.
  • the deletion of the Cookie may be performed at the same time as writing to the storage means.
  • a response such as a completion message is transmitted to the client side (909).
  • the client transmission of the response is the last stage in this case, it may be performed after it is determined that there is completion information.
  • the completion message is added with the questionnaire survey information and the case identification information. That Therefore, after the completion message 'questionnaire synthesizing means (472) receives the procedure completion message from the procedure server (103), the questionnaire content is synthesized with the completion message after the message content.
  • the case identification information may be added to a part of the questionnaire information as described above, or may be transmitted by a cookie.
  • the measurement Cookie is not deleted, and it is used by adding the case identification information. The deletion may be done after sending the questionnaire. Of course, you may create a new cookie.
  • a questionnaire survey may be conducted all at once at a predetermined time.
  • the above is a method of determining the completion of a procedure when a user transmits data, such as an electronic application procedure. Conversely, a method of determining completion when a user downloads data such as an electronic application form is described.
  • One or more of the data file names are defined in advance as completion information, and a method of detecting this by the response content determination means (436) or separately receiving a unique completion message from the procedure server is available. Conceivable. Other procedures are the same.
  • the candidate information that is the procedure start time is recorded in a cookie.
  • the greatest merit of this method is that there is no need to improve the system without any load on the procedure server side.
  • the point and the cookie are to hold all information, so the data temporarily stored on the evaluation server side is the minimum necessary.
  • the proxy-type evaluation server (104) In the force-cooperation type server (201), all information is only transmitted to and received from the procedure server (103). The processing method is the same as the proxy type. Similarly, the same applies to the embedded procedure server (301). However, when new improvements and functions are added to the procedure server (103), for example, information indicating the completion of the procedure or information indicating the type of the completed procedure is evaluated by the evaluation server (a unique means of transmitting information to the 104 M rule). In this case, the response content determination means and the procedure type determination means are practically located on the procedure server side (103), and the evaluation server (104) does not have such means. There are also intermediate methods.
  • the first difference is that the cookie creation means (434) creates an initial value indicating the number of errors (for example, "0" or character information) when creating time information and identification information in a new cookie. (806). However, if the error count information that does not create the error count initial value is not in the Cookie, a separate means determines the error count to be 0, or the error count information is blank when counting the measurement data. In this case, there is a method to regard this as 0 times.
  • the response content determining means (436) determines whether an error has occurred. It is determined whether there is information indicating the occurrence of an error (eg, URL, file name, or character string) (1002). If there is, the reading means (442) is instructed to read (1003) the measurement cookie of the case temporarily stored in the temporary storage means (444).
  • the error counting means (435) takes out the error count information of the Cookie, and adds "1" (1004). If the error count information is an initial value that is not a numerical value, set this to “1”. Subsequently, the cookie creating means (434) creates new error count information in the cookie (1005).
  • the required time and the number of errors are determined by signaling the completion of the procedure.
  • the required time and the number of errors are determined at the same time. It is characterized in that it is determined. Therefore, the flowcharts correspond to Fig. 8, Fig. 9 and Fig. 10, and the differences from (2) are as follows in addition to the explanation in (3).
  • the measurement data extracting means (438) selects and extracts appropriate time information from the cookie, it also extracts error count information from the same cookie (905), and the database writing means (461) stores it.
  • the error number information taken out is also written (907) in the storage means (463).
  • the evaluation criteria are obtained by using the measurement data collected by the above method (1) to (4) or other methods and the results of a questionnaire survey of user satisfaction regarding system operability.
  • This method is characterized in that the same case identification information is used to combine the two data created at different timings (corresponding to 1101-1105 in Fig. 11).
  • the evaluation reference value referred to here is "the average score of the user who is positive in the operability".
  • the rational level is as described above.
  • the receiving means (411) receives answer data (1101) to the questionnaire regarding the user operability of the system having the case identification information
  • the received data is sent to the measurement data 'questionnaire result synthesizing means (451).
  • the same item identification information as the data is retrieved from the storage means (463), and an instruction is given to add the response data to the retrieved item (1102).
  • the questionnaire survey was sent to the user together with the procedure completion message, before or after the procedure completion message was transmitted, or simultaneously with the procedure completion message, and the project identification information was provided by the evaluation server when the procedure was completed. Things.
  • FIG. 12 shows an example of the synthesized table.
  • the database reading means (462) reads the evaluation result of the user from the storage means (463) (1103), and the evaluation result is stored in advance in the positive measurement data extracting means (452).
  • a positive power rejection judgment is made in light of the defined definition, and an instruction is given to extract (1104) the measurement data of the positive case from the storage means (463).
  • the definition of positive is CS (user satisfaction)> 0.
  • “+1, +2” is a positive evaluation, and the measurement data of the evaluation is extracted.
  • an instruction is given to the evaluation reference value calculation means (453) to calculate (1105) the average value of the measurement data.
  • the average value is calculated using standard statistics such as summing up the measurement data (time or number of times) of positive cases and excluding values with a fixed upper / lower ratio that cannot be simply divided by the number of cases. Including adding a processing method.
  • correction rate and the calculation formula for correction are various, and will vary depending on the characteristics of the procedure and the negotiation progress in concluding the service level agreement.
  • the evaluation value calculation means obtains a comparison value between the overall average score (the value obtained by dividing the total value of all users by the number of cases) and the evaluation reference value (1106) .
  • the overall average score may be obtained after the evaluation reference value is obtained (1105), but not before the evaluation value.
  • the calculation of the average value includes the addition of standard statistical processing methods, such as eliminating values with a fixed upper and lower rate.
  • the database writing means (461) writes the above calculation result in the storage means (463) and stores it (1107). See Figure 13 for examples of evaluation values.
  • the present invention is applicable to any information system service where a customer exists, regardless of whether it is in Japan or overseas.
  • the provision form is assumed to be provision by a dedicated application, provision of a dedicated server equipped with a dedicated application, deployment by an ASP service by a proxy server, and the like, and further development to outsourcing consulting utilizing aggregated data. Can be expected.

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

　ネットワーク（101 ）で接続されたクライアント端末（102）とオンラインによる電子手続きサービスを提供するサーバ（以下、手続きサーバという。）（103 ）において、クライアント側と手続きサーバ側の間で通信されるデータをもとにプロキシ型評価サーバ（104）が操作性データを計測し、評価する方法である。この評価には、オンライン開始時刻計測、オンライン手続の所用時間計測がある。それらの計測には、クライアント端末（102）のブラウザ機能に含まれるCookieが使用される。Cookieには、オンライン手続の開始時刻が記憶され、このCookieの内容に基づいてオンライン開始時刻を計測する。また、予め定義されたオンライン手続が完了したことを判定すると、前記Cookieの内容に基づいてオンライン手続の所用時間を計測する。

Description

明 細 書
オンライン手続きにおける計測方法、評価方法及びアンケート実施方法 技術分野
[0001] 本発明は、利用者が体感するオンライン手続きの操作性について、これを測定し、 評価する方法に関するものである。
背景技術
[0002] オンライン手続きにおける操作性の良否は、実際に手続きに要した時間や手続き の成功率等に反映されることが知られている。（例えば、非特許文献 1参照） しかし、現在、所要時間や手続き成功率などソフトウェア等の操作性を評価するに あたって用いられる方法は、少人数によるモニターを用いた方式によるものであり、例 えば、複数名集められた習熟度の異なる被験者の平均時間、平均エラー回数等を 計測し、最も習熟した被験者の平均時間や平均エラー回数等のスコア (以下、「熟練 者スコア」という）と比較することによって、システムの操作性を評価している。（例えば 、特許文献 1一 3参照）
一方、事業者 (発注者)が、オンライン手続きサービスを外部委託者にアウトソーシ ングするにあたって、一般に発注者と受託者の間にサービス水準協定が締結される 力 その水準を構成する指標は、システム稼働率やレスポンスタイムなどに止まって おり、発注者や利用者にとって最も重要な、システムそのもの操作性や使いやすさ、 サービス品質そのものを問う指標はいまだない。
非特干文献 1： UsabiiityEngineenng Jakob Nielsen
特許文献 1：特開平 7-325802号 「ユーザピリティ測定方法」
特許文献 2 :特開平 10-341号 「ユーザインターフェイス評価装置」
特許文献 3：特開平 2001-44094号 「サービス管理システム」
発明の開示
発明が解決しょうとする課題
[0003] 情報システムのアウトソーシングにあたっては、従来、システム稼働率やレスポンス タイムなど機械的な性能をもってサービス水準を定義し、システムの品質を評価して きた。しかし、この方法では、システムを受託した者の努力と関心は、例えば「稼働率 を 99, 99%にする」と力「レスポンスタイムを 3%向上させる。」といった技術性能の向 上に払われてしまい、システムの発注者、あるいはシステムの利用者が究極的に求 めるサービスそのものを総合的に向上させるものではない。特に利用者にとっての「 使いやすさ」や「わかりやすさ」、「快適さ」といった操作性にとって、最も重要な要素 が省みられな!/ヽ傾向にある。
[0004] このような発注者と受託者の情報サービスに対する認識、目的意識の格差は、例え ば、「システムの稼働率は極めて高いが、ユーザからは、わかりづらい、時間がかかる といった苦情が絶えない。」、「ユーザの登録エラーが頻繁に起こるため、ユーザ個々 に修正の連絡や確認を頻繁に行う作業コストがかかり過ぎる。」、「あまりにユーザイン ターフェイスがひどいので、その改良を指示したところ、契約外と言われ、多額の追 加費用を請求された。」などと 、つたトラブル発生の原因となって 、る。
[0005] 特に急速に進む電子行政サービスの分野では、行政の硬直的な調達制度や行政 職員の経験不足などが相まって、このようなトラブルが多発するとともに、ややもすれ ばユーザの使い勝手を無視したシステムが提供される傾向が見られる。
[0006] このように、情報システムのアウトソーシングにおいて最も重要なユーザにとっての サービス品質を確保、向上させるには、発注者と受託者の責任分担を明確にするとと もに、システム操作性を評価する数値目標を設定し、サービス水準協定の主要指標 と位置付けるなどの措置をとる必要がある。
[0007] そこで最大の問題となるのが、システムの操作'性、具体的にはシステムの操作'性を 示すにあたって必要となる「所要時間」や「エラー回数」と 、つた指標データを 、かに 計測し、数値化するか、ということになる。（当然ながら、操作性が優れていれば、手 続きは短時間に終了し、かつ登録ミスが少ない。操作性を示す指標には、そのほか に「問 、合わせ件数が少な!/、」、「ユーザの作業ストレスが少な 、」などの指標が考え られる力 本発明では一般に計測評価困難と言われている上記 2指標に着目した。 ) しかし、従来、システム操作性の計測や評価は現実的には不可能とされてきた。そ れには次の 2つの理由がある。
[0008] 1 従来のモニター方式では、統計学的な信頼性を欠けるため。 [0009] 従来、システムの操作性を評価するには、モニターによる観察、検証が行われてき た。これは、商品開発過程において、人間工学的な試験、分析により、問題点の発見 とプロトタイプを改良することを目的として行われるものであるため、大量のデータを 取得する必要がない。しかしながら、サービス水準協定等に求められる所要時間や エラー回数データは、そのデータが支払額を決定する場合があることから、統計学的 な信頼性の高さが必要となる。かといつて、大量のデータをモニター方式で集めるに は膨大なコストが必要となり、例えば、 5種類の手続き力もなる 10種類の手続き群を、 モニター 100人が各 3回テストを行うとすると、のべ 1万 5000回のテストが必要となる。 テスト環境の設定も考え合わせると、これは現実的な数字とは言えな 、。
[0010] 2 数値データを評価するために必要な基準値設定が困難なため。
[0011] 一方、例え、所要時間やエラー回数を計測することができても、適切な比較基準を 設定することができなければ目標値の設定や実績値との相対比較を行うことができな い。つまり、アウトソーシング契約にあたって、あら力じめ発注者と受託者がサービス 水準を合意することができな 、ことになる。
[0012] 例えば、行政の電子申請システムは数万種類あると言われている力 当然ながら、 目標とする手続き所要時間も数万種類あることになる。通常、モニター方式では、基 準値に熟練者の平均スコアを用いることが多いが、このような行政手続きに対し、そも そも数万種類ものモニター試験を行うこと自体が現実的ではな 、。このような熟練者 スコアを用いるもう一つの問題点は、一般ユーザが熟練者レヴェルまで習熟する必 要が全くないにも関わらず、発注者も受注者も、ユーザのスコアを高めるために、つ い不必要な投資を行いがちになる、という点である。例えば、熟練者スコアを 100秒と 設定した場合、もし、一般ユーザが 150秒で「十分満足できるインターフェイスだ」と 判断したとしても、システム運営者はスコアを上げるため、言い換えればボーナスボイ ントを獲得するために、少しでも 100秒に近づけるためのありとあらゆる改良 ·工夫を 行い、受益額の限界まで投資することとなろう。確かに、サービス品質は、ほぼ無限 に向上し続けることとなる力 果たしてボーナス額に値するものかどうかは何人にとつ ても不明である。つまり過剰なる投資、過剰なるボーナスとなっても、無限に投資し続 けることとなりかねない。 [0013] 本発明は、以上の問題点の解決を図るものである。
[0014] すなわち、本発明の第 1の目的は、モニター方式を用いることなぐ原則、全ユーザ の手続き所要時間や手続きエラー回数等を低コスト、低リスクで収集すること、さらに 第 2の目的は、過剰水準とならない適切な基準値を設定することである。
[0015] また、通常、上記仕組みを導入するには、手続きシステムそのものを改良する力 あ るいは特別なアプリケーションをインストールする必要があるため、手続きシステムを 管理する側に、改良コストや不具合リスクといった新たな負担をかけてしまうこととなる 。したがって、本発明の第 3の目的は、既存システムや運営者に新たな負担やリスク をかけることなぐ上記目的を達成することにある。
課題を解決するための手段
[0016] 上記目的を達成するため、本発明は、次の解決手段を有する。
[0017] (1)ネットワークで接続されたユーザ端末クライアントと手続きサーバの間で通信され る電子情報を用いて、手続き開始時刻を記録する方法であり、その候補となる時刻 情報を手続き群毎に Cookieを用いて記録する点を特徴として 、る。
[0018] なお、ここで言う手続きとは、単に 1画面で完結する手続きではなぐ手続き画面 (デ ータ送信画面又はデータダウンロード画面）とそこに至るまでに必要なトップ画面、ナ ピゲーシヨン画面、ヘルプ画面など手続きを誘導する画面群（以下「誘導画面」 )から 構成されるものである。したがって、計測を行う時間は、単なる 1画面から 1画面への 遷移時間や応答時間ではなぐ予め定義された複数の計測対象画面の一つを利用 者が要求してから、 0ないし複数の画面遷移を経て、利用者がデータを送信するか、 データをダウンロードするなど所定の目的が達成されるまでに要する時間となる。た だし、データをダウンロードする場合は、手続きサーノくからデータが送信され、クライ アントに達するまでの時間、一般にダウンロード時間と呼ばれる時間は計測されな ヽ 。しかし、当該時間はユーザ環境に大きく左右されるため、これを対象外とすることは 適切と考えられよう
上記のような複雑に構成された画面群を複雑に遷移するユーザの動きに対応する とともに、評価を行うサーバの負荷を減らすため、以下の方策をとる。
[0019] 1 全ての手続き画面を体系的に定義する。 [0020] 計測対象画面は、手続き画面と誘導画面に大別され、誘導画面はトップ画面とナビ ゲーシヨン画面、ヘルプ画面等からなる（図 6)。
[0021] 2 記録する時刻情報は、当初計測対象の要求時刻だけではなぐユーザが複数の 手続き群に跨って遷移することを前提とし、手続き群毎に最初にアクセスした時刻を すべて記録する。
[0022] 3 評価に必要な計測データ（時刻情報、手続き群識別情報）は Cookieに記録し、評 価サーバとクライアント端末で管理することで手続きサーバには一切の負担をかけな い。
[0023] 4 上記の Cookieに必要なデータを全て書き込むため、評価サーバは、常に最新
Cookieだけを一時記憶すればよい。したがって、評価サーバには最小限の負担しか かからない。
[0024] 本発明における「Cookie」とは、クライアント端末が手続きサーバに接続したときに手 続きサーバのプログラムにより決められた情報であって、サーバ毎にクライアント端末 に記憶される情報をいう。本発明においては、呼び名にかかわらず、上記の機能を 持つ情報をすベて「Cookie」と定義する。典型的には、この「Cookie」に関する機能は 、 InternetExplorer (登録商標）や Netscape Navigator(登録商標）のブラウザ（インタ 一ネットの Webページ閲覧ソフト）に標準的に設けられている。
[0025] なお、上記に定義した Cookieのうち、典型的「Cookie」の特徴の一つは個体識別が 要らない点である。すなわち、クライアントとサーバ間の一つの画面についての通信 が終わった後、計測データ (時刻情報、手続き群識別情報)を保存した Cookieはクラ イアントのブラウザに保存されるため、次の画面に対してクライアント-サーバ間通信 が再び行なわれる際には、サーバは、単純にクライアントから送付されてくる Cookie 情報を利用するだけとなる。したがって、ひとつの通信内（一度の画面遷移内）では、 クライアント、つまり Cookieを送る相手が特定できるため、個体識別は不要となる。そ のため、以下に述べる方法においては、個体識別方法を省略している。
[0026] (2)また、本発明の方法は、上記の（1)の方法に引き続き、手続き完了情報の受信を 合図に、所要時間を算出する方法であり、 Cookieと応答の内容をチェックすることで 完了したカゝどうかを判断するとともに、 referを用いて、 1又は複数の手続き開始時刻 情報力 最も適切な開始時刻を選択し、所要時間を算出する点を特徴としている なお、本発明における「refer」とは、要求又は応答情報の中に含まれる補助情報の 一種であり、前画面情報を指す。クライアントのブラウザは、要求時に Cookieと referを サーバに送る。したがって、サーバでは、クライアントから取得した Cookieを参照する ことで、複数の計測データを知ることが出来、 referを参照することで、前記複数の計 測データの中から、適切な計測データ、つまり、適切な開始時刻を抽出することがで きる。
[0027] (3)また、本発明の方法は、ネットワークで接続された端末クライアントと手続きサービ スを行うサーバ間で通信される電子情報を用いて、手続き開始時刻とともに、操作性 を示すもう一つの主要指標である入力エラー回数を同時期に計測する方法であり、 Cookieを用いて開始時刻の候補となる時刻情報とエラー発生回数を記録する点を特 徴としている。
[0028] (4)また、本発明の方法は、上記 (3)に引き続き、手続きの完了を合図に、所要時間 とエラー回数を決定する方法であり、 Cookieを用いて、所要時間とエラー回数を同時 に決定する点を特徴として 、る。
[0029] (5)また、本発明の方法は、上記（1)から (4)の方法、あるいはその他の方法を用い て収集された計測データとシステム操作性に関する満足度アンケートの調査結果を 用いて評価基準値を作成する方法であり、計測データとは異なるタイミングで実施さ れたアンケート調査結果を同一の案件識別情報を用いて自動的に合成する点を特 徴としている。
[0030] まず、時間やエラー回数等の指標は、その数値自体で操作性を評価することはで きないため、比較対象となる基準値を設定し、実績値との対比を行う必要がある。
[0031] 本方法では、上記データベースをもとに、利用者評価結果が存在する中から肯定 的である案件の操作性指標を抽出し、例えばその平均値を求めることで、「操作性に 対し肯定的と評価する利用者の平均スコア」を求める。この数値は、逆に言えば、「利 用者個々が肯定的と評価できうる平均水準」であり、事業者や発注者にとって、過剰 投資とならない、最適な水準と見なすことできるからである。これにより、事業者や発 注者は何ら負担なぐ最適な評価基準を自動的に決定することが可能となる。 発明の効果
[0032] 本発明の効果は、あらゆる経済活動、国民生活に浸透しつつあるオンラインサービ スの品質を利用者の視点に立って可視化、定量ィ匕することで、ユーザピリティの高い システムサービスの提供を促すものである。
[0033] 例えば、行政がシステム開発を発注する段階におけるシステムベンダー選びは、従 来は金額や実績、システム稼働率等をもってしカゝ評価できなカゝつた。しかし、本発明 に基づく指標を評価指標の一部に加えることで、システムベンダーを総合的かつ合 理的に評価、選択できるようになるとともに、かつ運営段階においては、サービス水 準協定に新たに当該指標を加えることで、受託者側が主体的にサービス品質向上努 力を払うよう、強いインセンティブを働かせることができる。
[0034] さらに、情報サービス本来の品質を巡り、システムベンダー間の健全な競争を促し、 情報システム産業の健全な発展に寄与することが期待できる。
[0035] 特に、今後急速な進展が見こまれながらも、ユーザにサービスの利用選択権がほと んど無い電子行政サービス分野においては、本方法の導入により、サービス品質の 劇的な向上とシステム予算の削減、引いては国民の利便性向上に大きく寄与するも のと予想する。
図面の簡単な説明
[0036] [図 1]プロキシ型ネットワーク構成図である。
[図 2]共同動作型ネットワーク構成図である。
[図 3]埋込み型ネットワーク構成図である。
圆 4]計測評価機能の構成である。
[図 5]画面構成例と遷移例である。
[図 6]手続き体系定義画面例である。
[図 7]手続き詳細定義画面例である。
[図 8]手続き開始時刻を記録する方法に関するフローチャートである。
[図 9]手続きの完了を合図に計測データを決定する方法に関するフローチャートであ る。
[図 10]エラー発生回数を記録する方法に関するフローチャートである。 [図 11]評価基準値又は評価値を作成する方法に関するフローチャートである。
[図 12]計測データとユーザ評価データが合成されたテーブル例である。
[図 13]評価値例である。
発明を実施するための最良の形態
[0037] 以下、本発明の実施にあたって、 Webブラウザを用いた最良の形態について図表 を用いて説明する。
[0038] (0)
はじめにネットワーク構成について説明する。（図 1)
本発明は、ネットワーク（101 )で接続されたクライアント端末（102)とオンラインによ る電子手続きサービスを提供するサーバ（以下、手続きサーバという。 ) (103 )におい て、クライアント側と手続きサーバ側の間で通信されるデータをもとにプロキシ型評価 サーバ（104)が操作性データを計測し、評価する方法である。
[0039] 当該評価サーバは、手続きサーバとクライアント端末の間で通信されるデータを中 継するいわゆるプロキシ機能部分（104- 1 )とそのデータをもとに所定の指標値を計 測し、計算し、記憶する計測評価機能部分 (104-2 )からなる。このプロキシ型サーバ を用いることで、多数のオンライン手続きサービスを 1ケ所にて評価する ASPサービス を可能とすることができる。
[0040] なお、上記のようにプロキシサーバを用いる方式のほかに、手続きサーバと共同動 作する共同動作型評価サーバ (201 )を設置する方式 (図 2)、直接、手続きサーバ内 に計測評価機能を組み込み、評価機能埋め込み型手続きサーバ (301 )とする方式 ( 図 3)も考えられる。
[0041] 次に評価サーバにおける計測評価機能について説明する。（図 4)
上記計測評価機能は、まず、プロキシ機能部分を介してデータを受信する受信手 段 (411 )、そしてデータをプロキシ機能部分に送信する送信手段 (412 )を有する。
[0042] 次に、予め計測に必要な定義を行うための定義手段 (420)を有する。
[0043] 次に、クライアントからの要求内容が予め定義された内容か否かを判定する要求内 容判定手段 (431 )、上記要求に計測対象となる Cookieが付いている力否かを判定 する Cookie有無判定手段 (432 )、上記 Cookieの中に要求内容と同じ手続き群を示 す識別情報がある力否かを判定する Cookie内容判定手段 (433)、新たに Cookieを作 成し、あるいは既存の Cookieに新 U、情報を追加'修正するための Cookie作成手段（ 434 )、既存の Cookieの中のエラー回数情報を取出し、 1を加えるエラーカウント手段 (435)、手続きサーノくからの応答の中に、予め定義された手続き完了情報又はエラ 一発生情報等の情報があるか否かを判定する応答内容判定手段 (436 )、 referから 、手続き画面情報を読取り、完了した手続き種別を判定する手続き種別判定手段（ 437)、一時記憶させた Cookieから完了した手続きと同一手続き群に属する時刻情報 を選択し、取り出すとともに、同じ Cookieからエラー回数情報を取り出す計測データ 抽出手段 (438)、上記の時刻と手続き完了時刻の差を計算する所要時間算出手段（ 439 )を有する。
[0044] 次に、一時記憶手段に Cookie等を書き込む書込手段 (441)、一時記憶手段から Cookie等を読込む読取手段 (442 )、一時記憶手段に記憶されている Cookie及び Cookieそのものを削除する削除手段 (443 )、一時的に情報を記憶する一時記憶手 段 (444)を有する。なお、一時記憶手段に書きこむ、あるいは読み出す Cookieとは、 計測データ (時刻情報、エラー回数情報)及び識別情報 (手続き識別情報、手続き群 識別情報)を含む計測用 Cookie指す。
[0045] 次に、所定の時期に、操作性を示す計測データと、それとは異なる方法で収集され たアンケート結果を同一テーブルに合成する計測データ'アンケート結果合成手段（ 451 )、上記アンケート結果が所定の定義により、肯定的力否かを判定し、同一の案 件識別情報を有する計測データを抽出する肯定的計測データ抽出手段 (452)、抽 出された計測データの平均値 (評価基準値)を計算する評価基準値計算手段 (453 ) 、上記評価基準値と全データの平均値の対比値を計算する評価値算定手段 (454) を有する。
[0046] 次に、記憶手段 (データベース）に計測データ、計算データ、評価結果、定義内容 等を書き込むデータベース書込手段 (461 )、記憶手段から上記情報を読込むデー タベース読取手段 (462 )、情報を恒久的に記憶する記憶手段 (データベース） (463 )を有する。
[0047] さらに、処理案件を個別に識別するための情報を作成する案件識別情報作成手段（ 471 )、完了メッセージとアンケートを同時に送信するため、完了メッセージデータとァ ンケートデータを合成する完了メッセージ 'アンケート合成手段 (472)を有する。
[0048] 以上は、プロキシ型評価サーバが有する手段である力 共同動作型サーバにおい ては、全ての情報が手続きサーバと送受信することになり、計測評価機能内の構成 はプロキシ型と同じである。し力しながら、手続きサーバ側に新たな改良、機能を追 加する場合で、例えば、手続きの完了やエラーの発生を示す情報を評価サーバ側に 送信する独自の手段を加えた場合は完了判定やエラー判定の定義がより簡素となる 。また、完了した手続きを識別する情報を送信する独自の手段を加えた場合は、手 続き種別判定手段 (437 )及び当該判定手段を伴うステップは不要となる。埋め込み 型手続きサーバにおいても、同様である。
[0049] 次に、具体的な画面構成例の上での遷移例を仮定し、どのような計測データとなる かについて説明する。（図 5)
本事例は三段階の階層力もなる Webサイトである。
[0050] 本図の右端列に位置する画面群は、ユーザが最終的にデータ登録等を行う画面、 すなわち手続き画面 (502 )であり、左端及び中間に位置する画面がトップ画面、ナビ ゲーシヨン画面、ヘルプ画面等のユーザを手続き画面に正確に導くための誘導画面 (501)である。
[0051] さらに、本事例では、手続きを大きく 3つに分類している。各々、手続き群 A (510 ) 、手続き群 B (520 )、手続き群 C (530 )とし、 2-5種類の手続き画面で構成されて いる。
[0052] この Webサイトにぉ 、て、ユーザは次のように画面遷移したと仮定する。
[0053] まず、ユーザは、手続き群 Aのトップ画面 A001 (511)に 10時 25分に遷移し、 A009を 経て、 A104で手続きを行うかに見えた力 いったん手続きを中断し、 10時 30分に手続 き群 Bのトップ画面 B001 (521 )に遷移した。その後、さらに A007、計測対象外画面と 遷移し、最終的には、 B103にて 2度の入力エラーののち 10時 40分に手続きを完了（ 522)したとする。
[0054] 遷移画面は、 A001→A004→A104→B001→A007→計測対象外画面→B001→
B005→B103→エラー画面→B103→エラー画面→B103→手続き完了メッセージ画面 、である。
[0055] このような複雑な事例の場合、どの時点を手続き開始時刻とするかが問題となるが 、最終的な手続きが B103である以上、 B群にはじめて遷移した時刻を手続き開始時 刻と見なすのが妥当である。したがって、開始時刻は A001画面に遷移した「10時 25 分」ではなぐ B001に遷移した「10時 30分」（521)としなければならない。
[0056] したがって、本事例の場合、手続き完了時刻が「10時 40分」であるから、所要時間 は、その差 10分となる。つまり、本事例の計測データは、「B103」の手続きに所要時間 「10分」、エラー回数「2回」という結果になる。
[0057] 続いて、定義内容について説明する。
[0058] 本定義は、手続き全体の定義 (例図 6)と個別手続きの定義 (例図 7)からなる。
[0059] まず、手続き全体の定義については、関連性がある個々の手続き画面 (613 )を一 つにまとめ、手続き群として識別情報 (611 )を付与する。当該手続き群には、開始時 刻の計測対象とする計測対象画面 (612 )を定義しておく。なお、本計測対象には、 手続き画面を含む。
[0060] 次に、個別の手続き (画面）毎に、手続きの完了を判定するために必要な情報、例 えば完了通知を示す URLやファイル名又は文字列（721 )と、エラー発生を判定する ために必要な情報、例えばエラー発生を示す URLやファイル名又は文字列（722)と 、ユーザ評価判定手段がユーザからのアンケート回答結果を肯定的傾向と判定する ための論理式 (723 )を定義する。（図 7)
図 7では、利用者満足度を 2から + 2の 5段階で評価しており、「肯定的評価」につ いては、プラス以上、すなわち「CS (利用者満足度） >0」と定義している。
[0061] 以上の前提に立って、具体的な計測評価方法につ!、て説明する。
[0062] (1)
図 8は、手続き開始時刻を記録する方法であり、その候補となる時刻情報を手続き 群毎に Cookieを用いて記録する点を特徴として 、る。
[0063] まず、受信手段 (411 )がクライアントからの要求を受信 (801)すると、 Cookie有無判 定手段 (432 )が、当該要求に計測用の Cookieが含まれている力、否かを判定 (802 ) する。計測用 Cookieがあれば、書込手段 (441)に対し、当該 Cookieを一時記憶手段 (444 )に書き込む（803 )よう指示を行う。
[0064] 次に、要求内容判定手段 (431 )力 当該要求が計測対象画面の一つ力否かを判 断するため、あらかじめ定義されたものカゝ否かを判定 (804)する。計測対象ならば、 Cookie内容判定手段 (433 )に対し、当該 Cookie内に当該要求が属する手続き群と 同一の識別情報が含まれて 、るかどうかを判定する (805)よう指示を行う。
[0065] なお、上記では、受信後に、まず Cookieの有無を判定した力 さらなる方法として、 まず、計測対象力否かを判定したのち、 Cookieの有無を判定する方法、各々平行処 理する方法などが考えられる。
[0066] 次に、 Cookie内容判定手段 (433 )により、同一の識別情報が無かった場合 (計測 用 Cookieそのものが無力つた場合を含む）、その手続き群に遷移したのは初めてと判 断されるため、新たな開始時刻を記録する必要がある。つまり、 Cookie作成手段 (434 )に対し、サーバ内時計で決定した時刻と当該要求が属する手続き群を識別する情 報 (手続き群識別情報や手続き識別情報等の手続き群を識別可能な情報)を Cookie に作成する（806)よう指示を行う。なお、上記の決定した時刻とは、クライアントからの 要求を受信した時刻から、まさに Cookieに時刻情報を作成する際の時刻まで考えら れる。受信時刻を用いる場合は、計測対象の有無に関わらず、全ての受信時刻を記 録しておく必要があるのは言うまでもない。
[0067] 図 5の事例では、手続き群 Aに初めて遷移した A001 (511)の時点で、「A10 : 25 : 00 」という情報が Cookieで新規に作成され、さらに B001 (521 )に遷移した時点で、新た に「B10 : 30 : 00」が作成、追加されることになる。この時点では、ユーザが実施したい 手続きは手続き群 Aなのか手続き群 Bなのか明らかではない。なお、上記「A」、「B」 は手続き群を識別するコードを示す。
[0068] Cookie作成手段 (434 )にて、新規力否かに関わらず、 Cookieに時刻情報と識別情 報を作成したあと、書込手段 (441)に対して、上記 Cookieを一時記憶手段 (444 )に 書込み、記憶する（807 )よう指示を行う。なお、 Cookieは手続きが完了すると削除手 段 (443 )によって削除される。また、ユーザがブラウザを閉じる、あるいは一定時間を 経過するなどにより自動的に削除することも可能である。
[0069] このように作成された Cookieは評価サーバ（104 )内に一時記憶されるため、手続き サーバ（103)に送られる（808 )情報には上記 Cookieは含まれない。
[0070] なお、手続きサーバ（103 )からの応答があると、当該 Cookieは読出され、当該応答 に付けられて、クライアント（102)に返信される。これらのプロセスは、手続きが完了す るまで繰り返される。
[0071] 以上の方法により、手続き開始時刻となる候補情報を Cookieで記録するわけだが、 この方法の最大のメリットは、手続きサーバ（103)側への負荷がまったく無ぐシステ ムの改良も必要ない、という点と Cookieに全ての情報を保有させるため、評価サーバ (104 )側で一時記憶するデータは必要最小限となる点にある。
[0072] なお、以上は最も理想的なプロキシ型評価サーバ（104 )による処理方法である力 共同動作型サーバ (201)においては、全ての情報が手続きサーバ（103 )と送受信さ れるだけで、処理方法はプロキシ型と同じである。同様に、埋め込み型手続きサーバ (301 )においても同じである。但し、手続きサーバ（103)側に新たな改良、機能を追 加する場合で、例えば、計測対象画面であることを示す情報を評価サーバ（104 M則 に送信する独自の手段を加えた場合は、実質的には要求内容判定手段が手続きサ ーバ（103)側にあることとなり、評価サーバ（104 )内に当該手段を持たさないようにす るなど、両者の中間的方法もある。
また、以上は、定義した Cookieの中の「典型的な Cookie」を用いた方法である力 時 刻情報とクライアントの個体識別情報をサーバ側に記憶し、 Cookieにクライアント個体 識別情報を保存するようにしても良い。このような構成であると、一つの画面の通信毎 に、どのクライアントとの通信であるかを Cookieから取得した個体識別情報とサーバ に記憶した個体識別情報とにより認識することになる。
[0073] (2)
次に手続きの完了にともな 、、所要時間を算出する方法である。
[0074] 図 9は、（1)の方法に引き続き、手続きの完了を合図に、所要時間を決定する方法 であり、 Cookieと応答、 referを用いて、適切な手続き開始時刻を決定し、所要時間を 算出する点を特徴としている。
[0075] 受信手段 (411 )が手続きサーバ（103 )から応答を受信する（901)と、応答内容判 定手段 (436 )に対し、当該応答の中に予め定義された手続き完了情報があるか、否 かを判定する（902 )よう指示を行う。手続き完了情報とは、「手続きが無事終了しまし た。」といった完了しなければ表示されない手続き完了メッセージのファイル名や URL 、当該メッセージに含まれる「終了」という文字列などである。その定義方法について は、手続き毎に定義する方法、手続き群毎に定義する方法、全手続き群に共通して 定義する方法などケースノ ィケースで使 、分けることが可能だが、本事例では手続 き毎に定義する方法を想定した。
[0076] このような完了情報が無ければ、当該応答に計測用 Cookieを付けて、あるいは
Cookieが無ければ、そのままでクライアント（102)側に応答を送信 (909 )することにな る。しかし、応答内容判定手段 (436 )が、当該応答に完了情報を認めた場合、手続 き種別判定手段 (437 )に対して、 referから手続き画面情報を読取り、手続き体系の 定義（図 6)に照らし、どの手続き種別かを判定する (903 )よう指示を行う。
[0077] 手続き種別判定手段 (437 )にお ヽて、完了した手続きの種別及び識別情報が判 定されたあとは、読取手段 (442)に対して、一時記憶手段 (444 )から当該案件の計 測用 Cookieを読取 (904 )り、さらに計測データ抽出手段 (439 )に対して、読み取つ た Cookieから完了手続きと同一手続き群に属する時刻情報を選択し、取り出す (905 )よう指示を行う。
[0078] 図 5の事例では、 Cookieに記録された二つの時刻情報「A10 : 25 : 00」「B10 : 30 : 00」 の中から、完了手続き「B103」と同じ手続き群識別情報を有する後者を選択すること になる。なお、詳しい選択方法については、事例のように識別情報に一定の規則性（ 例では、前 1文字は手続き群コード、後ろ 3文字は個別コードと定義)をもたせ、特定 の文字列 (例では「B」 )を有する時刻情報を選択する方法、あるいは予め定義された 手続きコード体系（図 6)を読み出し、完了手続き「B103」がどの手続き群に属してい る力を特定したのち、同一の手続き群コードを有する時刻情報を選択する、という方 法などが考えられる。
[0079] 計測データ抽出手段 (438 )において、開始時刻が抽出されたのちは、所要時間算 手段 (439)に対して、完了時刻との差を計算し、所要時間を算出する (906 )よう指示 を行う。事例では、開始時刻 10 : 30 : 00と完了時刻 10:40:00の差、すなわち所要時間 は 10分である。なお、ここで言う完了時刻とは、応答の受信時刻、応答内容判定手段 (436)にて完了情報を検知した時刻、計測データ抽出手段 (438 )にて開始時刻を決 定した時刻、まさに差引き計算を行う時刻などが考えられる。なお、応答の受信時刻 を用いる場合は、手続きの完了、未完了に関わらず、全ての受信時刻を記録してお く必要があるのは言うまでもない。
[0080] 所要時間を算出したのちは、データベース書込手段 (461)に対して、当該所要時 間、手続き種別コードのほか、案件識別情報作成手段 (471 )が作成した個々の処理 案件を識別する情報 (以下、「案件識別情報」という。）を記憶手段 (463)に保存する（ 907 )よう指示を行う。
[0081] 手続き完了と同時に、あるいその後に、案件識別情報作成手段 (471 )は、上記の 計測データに付与する案件識別情報を作成するとともに、操作性に関するユーザの 満足度を調査するアンケート情報に付与する。付与する方法は、 Cookieで行っても 良いし、通常の情報形式でも良ぐいづれにしても、回答結果に付随して当該案件 識別情報が返信されることができれば良 、。この案件識別情報が計測データとアン ケート結果で共有されることにより、本来は不連続な行為であるデータ計測行為とァ ンケート行為を連続的に実施し、かつその計測結果とアンケート結果を関係させるこ とができる。これによりのちに述べる評価基準値を作成することが可能となるほか、ュ 一ザのスコアに応じたアンケートの選択、計測データと操作性満足度の関係性分析 などが可能となる。
[0082] なお、案件識別情報は、評価サーバ（104 )側で独自に作成、発行する方法以外に
、手続きサーバ（103)カゝら別途識別情報を得る方法などが考えられる。
[0083] 記憶手段 (463 )への書込みが終了したのちは、削除手段 (443)に対して、当該
Cookieを削除する（908 )よう指示し、これを削除する。なお、 Cookieの削除は記憶手 段に書き込むと同時であってもよい。
[0084] 最後に完了メッセージ等の応答をクライアント側に送信 (909)する。なお、応答のク ライアント送信は、本事例では最後の段階であるが、完了情報が有ると判定したのち であっても良い。
[0085] また、上記のアンケート調査は、データ計測の直後に実施し、上記完了メッセージ にアンケート調査情報と案件識別情報を加えたものを送信することが望まし 、。その ため、完了メッセージ 'アンケート合成手段 (472 )が、手続きサーバ（103 )から手続き 完了メッセージを受信したのち、当該完了メッセージにアンケート内容をメッセージ内 容のあとに合成する。
[0086] こうすることで、 1画面短縮することができるため、ユーザの時間コストを短縮し、結 果、アンケートへの回答率を高めることができる効果がある。なお、案件識別情報は、 先ほど述べたように当該アンケート情報の一部にカ卩えても良いし、 Cookieで送信して も良い。 Cookieで送信する場合は、計測用 Cookieを削除せず、これに案件識別情報 を加えて利用し、削除行為はアンケート送信後としても良い。無論、新たな Cookieを 作成してもよい。なお、所定の時期に一斉にアンケート調査を実施しても良い。
[0087] 以上は、電子申請手続きのように、ユーザがデータを送信する場合の手続き完了 判定方法である力 逆にユーザが電子申請書様式などのデータをダウンロードする 場合の完了判定方法はというと、予め当該データファイル名を完了情報として 1ない し複数定義しておき、これを応答内容判定手段 (436 )が検知する方法、あるいは別 途、手続きサーバからの独自の完了メッセージを受信する方法が考えられる。その他 の手順は同じである。
[0088] 以上の方法により、手続き開始時刻となる候補情報を Cookieで記録するわけだ力 この方法の最大のメリットは、手続きサーバ側への負荷がまったく無ぐシステムの改 良も必要ない、という点と Cookieに全ての情報を保有させるため、評価サーバ側で一 時記憶するデータは必要最小限となる点にある。
[0089] なお、以上は最も理想的なプロキシ型評価サーバ（104 )による処理方法である力 共同動作型サーバ (201)においては、全ての情報が手続きサーバ（103 )と送受信さ れるだけで、処理方法はプロキシ型と同じである。同様に、埋め込み型手続きサーバ (301 )においても同じである。但し、手続きサーバ（103)側に新たな改良、機能を追 加する場合で、例えば、手続き完了を示す情報や完了手続き種別を示す情報を評 価サーバ（104 M則に送信する独自の手段を加えた場合は、実質的には応答内容判 定手段や手続き種別判定手段が手続きサーバ側（103)にあることとなり、評価サーバ (104 )内に当該手段を持たさないようにするなど、両者の中間的方法もある。
[0090] (3) 別の実施形態として、 Cookieを用いて手続き開始時刻の候補となる時刻情報とエラ 一発生回数情報を記録する方法がある。この方法は、 Cookieを用いて開始時刻の候 補となる時刻情報とエラー発生回数を同時期に記録する点を特徴としている。したが つて、フローチャートは図 8と図 9に相当するため、（1)との相違点のみを記述する。
[0091] 第 1の違いは、 Cookie作成手段 (434 )にて、新たな Cookieに時刻情報と識別情報 を作成する際にあわせて、エラー回数を示す初期値 (例えば「0」や文字情報)を作成 する（806)ことである。しかし、当該エラー回数初期値を作成することなぐエラー回数 情報が Cookie内に無いことをもって、別途手段がエラー回数を 0回と判定する方法、 あるいは計測データの集計時にエラー回数情報が空欄等である場合、これを 0回と 見なす方法などがある。
[0092] 第 2の違いは、以下に述べるエラー回数をカウント、記録する方法が付加される点 である。（図 10)
受信手段 (411 )が手続きサーバ（103 )からの応答を受信（1001)したのち、応答内 容判定手段 (436)が、エラーが発生したかどうかを判断するため、応答中に予め定義 されたエラー発生を示す情報 (例えば URLやファイル名又は文字列）があるかどうか を判定する（1002)。ある場合、読取手段 (442)に対して一時記憶手段 (444 )に一時 記憶した当該案件の計測用 Cookieを読み出す（1003)よう指示を行う。
[0093] 次に、エラーカウント手段 (435 )が上記 Cookieのエラー回数情報を取りだし、「1」を 加算（1004)する。なお、エラー回数情報が数値でない初期値の場合はこれを「1」に する。続いて、 Cookie作成手段 (434)が新たなエラー回数情報を Cookieに作成する（ 1005)。
[0094] なお、上記の作成された Cookieは、応答とともに、クライアント側に送信される。
[0095] (4)
次に手続きの完了にともない、所要時間とエラー回数を決定する方法がある。
[0096] この方法は、上記（3)の方法に引き続き、手続きの完了を合図に、所要時間とエラ 一回数を決定する方法であり、 Cookieを用いて、所要時間とエラー回数を同時期に 決定する点を特徴としている。したがって、フローチャートは図 8、図 9、図 10に該当す るため、（2)との相違点は、（3)の説明内容に加え、以下のとおりである。 [0097] 計測データ抽出手段 (438 )が Cookieから適切な時刻情報を選択、取出す際に、あ わせて同一 Cookieからエラー回数情報を取出す（905)こと、及びデータベース書込 手段 (461 )が記憶手段 (463 )に所要時間を書きこむ際、あわせて取出されたエラー 回数情報を記憶手段 (463 )に書き込む (907)ことである。
[0098] (5)
また、別の実施形態として、上記（1)から (4)の方法、あるいはその他の方法を用い て収集された計測データとシステム操作性に関するユーザの満足度アンケートの調 查結果を用いて評価基準値を作成する方法がある。この方法は、異なるタイミングで 作成される上記両データを合成するため、同一の案件識別情報を用いる点を特徴と している（図 11の 1101— 1105に対応）。あるいは、同一テーブルを合成せずに、別の テーブルとして作成 '管理し、上記の案件識別情報を用いて、回答結果が満足傾向 にある案件と同一の案件識別情報を有する計測データを抽出する点を特徴としてい る。
[0099] なお、ここで言う評価基準値とは、「操作性に肯定的なユーザの平均スコア」であり、 従来の専門家等を用いた基準値に比較し、ユーザやシステム発注者にとって最も合 理的水準であることは既述のとおりである。
[0100] 受信手段 (411 )が案件識別情報を有するユーザ力 のシステム操作性に関するァ ンケート調査に対する回答データを受信（1101)すると、計測データ'アンケート結果 合成手段 (451)に対し、受信した回答データと同一の案件識別情報を記憶手段 (463 )から検索し、検索結果の案件に当該回答データをつけ加える（1102)よう指示を行 う。なお、当該アンケート調査は、手続き完了メッセージとともに、あるいは手続き完了 メッセージを送信する前又は後、あるいは同時にユーザに送信されたものであり、案 件識別情報は評価サーバ側において、手続き完了時に付与されたものである。また 、合成されたテーブル事例は図 12のとおりである。
[0101] なお、この段階で同一の案件識別情報を検索せずに、異なるテーブルを別途作成 し、評価基準値作成データを抽出する際に案件識別情報を検索し、同一識別情報 を有する計測データを抽出する方法もある。
[0102] 次に、所定の時期（例えば、案件が発生する度でも良いし、月に 1度でも良いし、年 に 1度でも良い）に、データベース読取手段 (462 )が、記憶手段 (463 )からユーザの 評価結果を読取り（1103)、肯定的計測データ抽出手段 (452 )に対して、当該評価 結果が予め定められた定義に照らして肯定的力否力判定し、肯定的案件の計測デ ータを記憶手段 (463)から抽出する（1104)よう指示を行う。例えば、図 7のように「一 2 、 一 1、 0、 + 1、 + 2」のような 5段階評価で、肯定的であることの定義が CS (利用者満 足度） >0である場合、「 + 1、 + 2」が肯定的評価となり、当該評価の計測データを抽 出することとなる。
[0103] 次に評価基準値計算手段 (453 )に対して、当該計測データの平均値を算出（1105 )するよう指示を行う。なお、平均値の計算方法は、肯定的な案件の計測データ (時 間又は回数等)を合計し、当該件数で除するだけでなぐ上下一定率の値を排除す るなど、標準的な統計処理方法を加えることを含む。
[0104] あるいは、単純な平均値を求める方法以外に、アンケート結果に応じて計測データ の件数比率やデータそのものに一定の重み付けを行う方法もある。例えば、最高評 価である + 2が 100件あり、その平均値が 120秒で、次点評価である + 1が 200件あり 、その平均値が 140秒であった場合を想定すると、
単純な平均値は、 (120 X 100 + 140 X 200 ) ÷ (100 + 200 ) = 133秒である。
[0105] 次に、評価に重み付けを行うため、次点評価に件数比率 0.5を乗じて補正した場合
(120 X 100 + 140 X 200 X 0.5 ) ÷ (100 + 200 X 0.5 ) = 130秒となる。
[0106] また、同様に計測データの差に 0.5を乗じ、これを補正した場合、
[120 X 100 + { 140 -(140 -120 ) X 0.5 } X 200] ÷ (100 + 200 ) = 127秒となる。無 論、最高評価者のみの平均値 (120秒)を評価基準値とする方法もある。
[0107] このように、補正率、補正のための計算式は多様であり、手続きの特徴やサービス 水準協定締結にあたっての交渉経過により変化することとなる。
[0108] (6)
また、他の実施形態として、（5)の方法で算出された評価基準値を用い、評価値を 算出する方法がある。この方法は、平均実績値との対比値を求めることで、評価基準 値からの乖離度を数値ィ匕する点に特徴がある。したがって、フローチャートは図 11全 てに相当する。
[0109] 評価基準値を求めたあと、評価値算定手段 (454 )が全体の平均スコア (全ユーザ の合計値を当該件数で除した値)と評価基準値との対比値を求める (1106)。無論、全 体平均スコアを求めるのは評価基準値を求めた（1105)後である必要はなぐその前 でも構わない。なお、平均値の算定にあたっては、上下一定率の値を排除するなど、 標準的な統計処理方法を加えることを含む。
[0110] 最後に、データベース書込手段 (461 )が、上記計算結果を記憶手段 (463)に書込 み、保存（1107)する。なお、評価値の事例は図 13を参照。
産業上の利用可能性
[0111] 本発明は、国内外を問わず、顧客が存在するあらゆる情報システムサービスに適用 可能である。
[0112] その提供形態は、専用アプリケーションによる提供、専用アプリケーションを搭載し た専用サーバの提供、プロキシサーバによる ASPサービスによる展開等が想定され 、さらには集約したデータを活用したアウトソーシングコンサルティングへの展開も期 待できる。

Claims

請求の範囲
[1] オンラインで提供される手続きサービスに関し、クライアント端末と手続きサーバの 間で通信される電子情報を用いた次のステップを備えることにより、オンライン手続き の開始時刻を計測することを特徴とするオンライン手続きにおける計測方法。
受信手段が、クライアント端末力 の要求を受けたのち、 Cookie有無判定手段が当 該要求に所定の計測対象とする Cookieが含まれて ヽるカゝ、否かを判定するステップ
Cookie有無判定手段が、前記 Cookieがあると判定した場合、書込手段に対し、当 該 Cookieを一時記憶手段に書き込むよう指示を行うステップ
要求内容判定手段が、当該要求が予め定義された計測対象の一つ力否かを判定 するステップ
要求内容判定手段が、当該要求が計測対象画面の一つであると判定した場合、 Cookie内容判定手段に対し、当該 Cookie内に当該要求が属する手続き群と同一の 手続き群を示す識別情報が含まれている力否かを判定するよう指示するステップ 上記指示を受けた Cookie内容判定手段が、同一の識別情報が無!、と判定した場 合、又は前記 Cookieそのものが無いと判定した場合、 Cookie作成手段に対し、当該 要求のあった時刻情報をオンライン手続きの開始時刻とする Cookieを作成するよう指 示を行うステップ
上記指示を受けた Cookie作成手段が Cookieを作成したのち、書込手段に対し、当 該 Cookieを一時記憶手段に保存するよう指示を行うステップ
[2] 請求項 1の各ステップと次のステップを備えることにより、オンライン手続きの所要時 間を計測することを特徴とするオンライン手続きにおける計測方法。
手続きサーバ側からの応答を受信した受信手段が、応答内容判定手段に対し、当 該応答の中に予め定義された手続きの完了を示す情報があるか、否かを判定するよ う指示を行うステップ
応答内容判定手段が、完了情報があると判定した場合、読取手段に対し、一時記 憶していた Cookieを読取るよう指示を行うステップ
応答内容判定手段が、完了情報があると判定した場合、手続き種別判定手段が、 完了した手続き種別を判定するステップ 計測データ抽出手段が一時記憶手段から読み出された Cookieの中に前記完了し たものと判定された手続き種別と同一の手続き群に属する時刻情報を抽出したのち 、所要時間算出手段に対し、当該時刻と手続きが完了した時刻との差を計算するよう 指示を行うステップ
上記指示を受けた所要時間算定手段が、データベース書込手段に対し、上記の計 算結果に基づく情報をオンライン手続きの所要時間に対応するものとして記憶手段 に保存するよう指示を行うステップ
オンラインで提供される手続きサービスに関し、クライアント端末と手続きサーバの 間で通信される電子情報を用いた次のステップを備えることにより、オンライン手続き の開始時刻及びエラー回数を計測することを特徴とするオンライン手続きにおける計 測方法。
受信手段が、クライアント端末力 の要求を受けたのち、 Cookie有無判定手段が当 該要求に所定の計測対象とする計測用 Cookieが含まれて ヽるカゝ、否かを判定するス テツプ
Cookie有無判定手段が、計測用 Cookieがあると判定した場合、書込手段に対し、 当該 Cookieを一時記憶手段に書き込むよう指示を行うステップ
要求内容判定手段が、当該要求が予め定義された計測対象の一つ力否かを判定 するステップ
要求内容判定手段が、当該要求が計測対象画面の一つであると判定した場合、 Cookie内容判定手段に対し、当該 Cookie内に当該要求が属する手続き群と同一の 手続き群を示す識別情報が含まれている力否かを判定するよう指示するステップ 上記指示を受けた Cookie内容判定手段が、同一の識別情報が無!、と判定した場 合、又は計測用 Cookieそのものが無いと判定した場合、 Cookie作成手段に対し、当 該要求のあった時刻情報をオンライン手続きの開始時刻とする Cookieを作成するよう 指示を行うステップ
上記指示を受けた Cookie作成手段が Cookieを作成したのち、書込手段に対し、当 該 Cookieを一時記憶手段に保存するよう指示を行うステップ
受信手段が手続きサーバ側からの応答を受信したのち、応答内容判定手段が当 該応答の中に予め定義された手続きエラーの発生を示すエラー発生情報があるか、 否かを判定するステップ
応答内容判定手段が、エラー発生情報があると判定した場合、読取手段に一時記 憶していた Cookieを読取らせたのち、エラーカウント手段に対し、当該 Cookieのエラ 一回数情報に「1」を加算する力 エラー回数情報が無い場合は「1」を作成するよう 指示を行うステップ
上記指示を受けたエラーカウント手段が、エラー回数情報を作成したのち、 Cookie 作成手段に対し、当該エラー回数情報を含む Cookieを作成するよう指示を行うステツ プ
上記指示を受けた Cookie作成手段が Cookieを作成したのち、書込手段に対し、当 該 Cookieを一時記憶手段に保存するよう指示を行うステップ
[4] 請求項 3の各ステップと次のステップを備えることにより、オンライン手続きの所要時 間及びエラー回数を計測することを特徴とするオンライン手続きにおける計測方法。 手続きサーバ側からの応答を受信した受信手段が、応答内容判定手段に対し、当 該応答の中に予め定義された手続きの完了を示す情報があるか、否かを判定するよ う指示を行うステップ
応答内容判定手段が、完了情報があると判定した場合、読取手段に対し、一時記 憶していた Cookieを読取るよう指示を行うステップ
応答内容判定手段が、完了情報があると判定した場合、手続き種別判定手段が、 完了した手続き種別を判定するステップ
計測データ抽出手段が一時記憶手段から読み出された Cookieの中に判定された 手続き種別と同一の手続き群に属する時刻情報を抽出するとともに、エラー回数情 報を取り出したのち、所要時間算出手段に対し、当該時刻と手続きが完了した時刻と の差をオンライン手続きの所要時間に対応したものとして計算するよう指示を行うステ ップ
上記指示を受けた所要時間算定手段が、データベース書込手段に対し、上記の所 要時間とエラー回数情報を含む情報を記憶手段に保存するよう指示を行うステップ
[5] オンラインで提供される手続きサービスに関し、クライアント端末と手続きサーバの 間で通信される電子情報を用いた次のステップを備えることにより、オンライン手続き の操作性を評価するための基準値を作成することを特徴とするオンライン手続きにお ける評価方法。
オンラインでの手続き完了時に所定の方法で作成された案件識別情報を有するこ とを特徴とするユーザからのシステム操作性に関するアンケート調査に対する回答デ ータを受信した受信手段が、計測データ'アンケート結果合成手段に対し、計測デー タとともに記憶手段に保存されている同一の案件識別情報を検索し、当該案件に個 々のアンケート回答データをつけカ卩えるよう指示を行うステップ
上記指示を受けた計測データ'アンケート結果合成手段が、計測データとアンケー ト回答データを合成するステップ
所定の時期に、データベース読取手段が、記憶手段から上記の合成されたデータ を読取り、肯定的計測データ抽出手段に対して、当該回答データが予め定められた 定義に照らして肯定的な案件の計測データを抽出するよう指示を行うステップ 肯定的計測データ抽出手段が上記計測データを抽出したのち、評価基準値計算 手段に対して、抽出された計測データを用いた所定の計算方法にて評価基準値を 計算するよう指示を行うステップ
[6] 請求項 5の各ステップと次のステップを備えることにより、オンライン手続きの操作性 の評価を可能にすることを特徴とするオンライン手続きにおける評価方法。
評価基準値を算出した評価基準値算出手段が、評価値算定手段に対し、当該評 価基準値と計測データの平均値との対比値、又は該評価基準値と個別計測データと の対比値の平均値を求めるよう指示を行うステップ
評価値を求めた評価値算定手段が、データベース書込手段に対し、上記計算結 果を記憶手段に保存するステップ
[7] オンラインで提供される手続きサービスに関し、クライアント端末と手続きサーバの 間で通信される電子情報を用いた次のステップを備えることにより、オンライン手続き のエラー回数を計測することを特徴とするオンライン手続きにおける計測方法。
受信手段が、クライアント端末からの要求を受けた後、 Cookie有無判定手段が当該 要求に所定の計測用 Cookieが含まれている力否かを判定するステップ、 Cookie有無判定手段が、計測用 Cookieがあると判定した場合、書込手段に対し、 当該 Cookieを一時記憶手段に書き込むよう指示を行うステップと、
受信手段が手続きサーバ側からの応答を受信したのち、応答内容判定手段が当 該応答の中に予め定義された手続きエラーの発生を示す情報があるか、否かを判定 するステップ
応答内容判定手段が、エラー発生情報があると判定した場合、読取手段に一時記 憶していた Cookieを読取らせたのち、エラーカウント手段に対し、当該 Cookieのエラ 一回数情報に「1」を加算する力 エラー回数情報が無い場合は「1」を作成するよう 指示を行うステップ
上記指示を受けたエラーカウント手段が、エラー回数情報を作成したのち、 Cookie 作成手段に対し、当該エラー回数情報を含む Cookieを作成するよう指示を行うステツ プ
[8] オンラインで提供される手続きサービスに関し、クライアント端末と手続きサーバの 間で通信される電子情報を用いた次のステップを備えることにより、オンライン手続き の操作性の評価を可能にすることを特徴とするオンライン手続きにおける評価方法。 オンラインでの手続き完了時に所定の方法で作成された案件識別情報を有するこ とを特徴とするユーザからのシステム操作性に関するアンケート調査に対する回答デ ータを受信した受信手段が、データベース書込手段に対し、記憶手段の独自のテー ブルに、当該識別情報とアンケート回答データを保存するよう指示を行うステップ 所定の時期に、データベース読取手段が、記憶手段力 上記アンケート回答デー タを読取り、肯定的計測データ抽出手段に対して、当該回答データの中で予め定め られた定義に照らして肯定的な案件識別情報を抽出したのち、さらに記憶手段に別 途保存されている計測データの中から、当該案件識別情報を有する計測データを抽 出するよう指示を行うステップ
肯定的計測データ抽出手段が上記計測データを抽出したのち、評価基準値計算 手段に対して、抽出された計測データを用いた所定の計算方法にて評価基準値を 計算するよう指示を行うステップ
[9] オンラインで提供される手続きサービスに関し、クライアント端末と手続きサーバの 間で通信される次のステップを有することを特徴とするオンライン手続きのアンケート 実施方法。
オンライン手続きの完了後、案件識別情報作成手段が、案件識別情報を作成し、 計測データに付与するとともに、操作性に関するユーザの満足度を調査するアンケ ート情報に付与するステップ
同じくオンライン手続きの完了後、完了メッセージ 'アンケート合成手段が、手続き 完了メッセージに上記のアンケート内容を合成するステップ
送信手段が上記合成済み完了メッセージ 'アンケートをユーザに送信するステップ
PCT/JP2004/016997 2003-11-17 2004-11-16 オンライン手続きにおける計測方法、評価方法及びアンケート実施方法 WO2005048118A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005515484A JP4087410B2 (ja) 2003-11-17 2004-11-16 オンライン手続きにおける計測方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003386376 2003-11-17
JP2003-386376 2003-11-17

Publications (1)

Publication Number Publication Date
WO2005048118A1 true WO2005048118A1 (ja) 2005-05-26

Family

ID=34587397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/016997 WO2005048118A1 (ja) 2003-11-17 2004-11-16 オンライン手続きにおける計測方法、評価方法及びアンケート実施方法

Country Status (2)

Country Link
JP (1) JP4087410B2 (ja)
WO (1) WO2005048118A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158889A (ja) * 2006-12-25 2008-07-10 Fujitsu Ltd トラブル要因検出プログラム、トラブル要因検出方法およびトラブル要因検出装置
JP2009064125A (ja) * 2007-09-05 2009-03-26 Fuji Electric Systems Co Ltd サーバ装置、そのプログラム
JP2009064124A (ja) * 2007-09-05 2009-03-26 Fuji Electric Systems Co Ltd 性能データ収集・表示システム、性能データ表示装置、そのプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325802A (ja) * 1994-05-31 1995-12-12 At & T Corp ユーザビリティ測定方法
JPH11110312A (ja) * 1997-09-08 1999-04-23 Internatl Business Mach Corp <Ibm> ワールド・ワイド・ウェブのエンド・ユーザ応答時間モニタ
JP2000207317A (ja) * 1999-01-14 2000-07-28 Fujitsu Ltd 情報システム、サ―バ、情報収集方法、及び、記録媒体
JP2000278317A (ja) * 1999-03-23 2000-10-06 Nec Corp 通信ネットワーク監視システムならびに同システムにおけるネットワークサービス品質評価方法
JP2002007232A (ja) * 2000-06-21 2002-01-11 Cybird Co Ltd Ｗｗｗサーバーの性能試験方法およびサーバー試験装置
JP2003044372A (ja) * 2001-07-27 2003-02-14 Nec Corp Ｗｅｂレスポンス測定結果提供システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325802A (ja) * 1994-05-31 1995-12-12 At & T Corp ユーザビリティ測定方法
JPH11110312A (ja) * 1997-09-08 1999-04-23 Internatl Business Mach Corp <Ibm> ワールド・ワイド・ウェブのエンド・ユーザ応答時間モニタ
JP2000207317A (ja) * 1999-01-14 2000-07-28 Fujitsu Ltd 情報システム、サ―バ、情報収集方法、及び、記録媒体
JP2000278317A (ja) * 1999-03-23 2000-10-06 Nec Corp 通信ネットワーク監視システムならびに同システムにおけるネットワークサービス品質評価方法
JP2002007232A (ja) * 2000-06-21 2002-01-11 Cybird Co Ltd Ｗｗｗサーバーの性能試験方法およびサーバー試験装置
JP2003044372A (ja) * 2001-07-27 2003-02-14 Nec Corp Ｗｅｂレスポンス測定結果提供システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158889A (ja) * 2006-12-25 2008-07-10 Fujitsu Ltd トラブル要因検出プログラム、トラブル要因検出方法およびトラブル要因検出装置
JP4504346B2 (ja) * 2006-12-25 2010-07-14 富士通株式会社 トラブル要因検出プログラム、トラブル要因検出方法およびトラブル要因検出装置
US7894360B2 (en) 2006-12-25 2011-02-22 Fujitsu Limited Trouble-factor detecting device, trouble-factor detecting method, and computer product
JP2009064125A (ja) * 2007-09-05 2009-03-26 Fuji Electric Systems Co Ltd サーバ装置、そのプログラム
JP2009064124A (ja) * 2007-09-05 2009-03-26 Fuji Electric Systems Co Ltd 性能データ収集・表示システム、性能データ表示装置、そのプログラム

Also Published As

Publication number Publication date
JP4087410B2 (ja) 2008-05-21
JPWO2005048118A1 (ja) 2007-11-29

Similar Documents

Publication Publication Date Title
Olabode et al. An assessment of the reliability of secondary data in management science research
US7904808B2 (en) Computer-readable recording medium where document management program is recorded, document management apparatus, and document management method
US20160092912A1 (en) Automated optimization of an advertisement placement engine
US20080221950A1 (en) Storage medium having requirement confirmation support program stored therein, requirement confirmation support method, and requirement confirmation support apparatus
KR100803889B1 (ko) 클라이언트 단말로 제공되는 서비스 성능 분석 방법 및시스템
US20080269921A1 (en) System and Method for Providing Support Assistance
KR100970851B1 (ko) 시스템 구축 가이드 시스템
US20030101088A1 (en) Web-based survey method for measuring customer service response
KR101981962B1 (ko) 네트워크를 통한 중고기계의 안전거래방법
JP4487686B2 (ja) 財務データ処理システムおよび方法
JP3580497B2 (ja) 企業診断システム、企業診断方法、企業診断用サーバ、および記録媒体
JP2006053616A (ja) サーバ装置、ｗｅｂサイト推奨方法およびプログラム
JP4187682B2 (ja) 学習項目提案方法及びコンピュータ
JP4087410B2 (ja) オンライン手続きにおける計測方法
KR101986672B1 (ko) 데이터베이스 상의 기계제품정보를 효율적으로 표시하기 위한 방법 및 시스템
KR20010034993A (ko) 홈페이지의 성능을 진단 및 평가하기 위한 방법 및 그시스템
Redkina Library sites as seen through the lens of web analytics
JP4479343B2 (ja) システム有用性調査の支援のためのプログラム、装置
Sehjal et al. Awareness of clinical coding: A survey of junior hospital doctors
Wiedenhoefer Digital Customer Experience Engineering
KR100839048B1 (ko) Ｃｄｍ사업 베이스라인 설정 및 모니터링 자동 관리 방법
JP4077420B2 (ja) 知識活用効果シミュレーション装置、知識活用効果シミュレーション方法、および知識活用効果をシミュレーション計算するプログラム
WO2003019437A1 (en) Ecommerce benchmarking
Mamtora et al. Australian academic libraries and research support
JP2005011075A (ja) 自社保有技術の管理システム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005515484

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase