WO2021179957A1 - 产品使用质量或性能的判定方法及设备 - Google Patents

产品使用质量或性能的判定方法及设备 Download PDF

Info

Publication number
WO2021179957A1
WO2021179957A1 PCT/CN2021/078674 CN2021078674W WO2021179957A1 WO 2021179957 A1 WO2021179957 A1 WO 2021179957A1 CN 2021078674 W CN2021078674 W CN 2021078674W WO 2021179957 A1 WO2021179957 A1 WO 2021179957A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
test data
experience factor
significance level
test
Prior art date
Application number
PCT/CN2021/078674
Other languages
English (en)
French (fr)
Inventor
张运红
赵朝义
Original Assignee
中国标准化研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国标准化研究院 filed Critical 中国标准化研究院
Publication of WO2021179957A1 publication Critical patent/WO2021179957A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management

Definitions

  • the present invention relates to the technical field of product performance determination, in particular to a method and equipment for determining product use quality or performance, that is, a method for determining whether the product performance is qualified or not that may affect the safety and health of users during the use of the product. equipment.
  • Disadvantage 1 The manufacturing technology is constantly updated.
  • the existing product performance testing and determination methods may not be able to support products manufactured with the latest manufacturing technology.
  • the previous determination methods have limitations and tend to fail to keep up with the development of manufacturing technology;
  • Disadvantage 3 the unity of the judgment standard.
  • the product performance conforms to the standard for performance testing. It only takes a single value as the limit.
  • the measurement error needs to be accurately controlled and calculated. If the measurement error is too large, it is easy to cause bias in the judgment of the result and affect the objective fairness of the conclusion.
  • Performance compliance testing is mainly aimed at whether the inherent properties of the product meet specific requirements, and this requirement is mainly based on the physical properties of the product, and whether it is applicable to the target user is still unknown.
  • Using traditional methods can not accurately determine whether the product quality or performance is suitable for its target users and meets the requirements of the target users.
  • most of the product's testing judgment indicators have not been tested and verified by actual users, which may be derived from existing manufacturing experience or consensus among several manufacturers.
  • the purpose of the present invention is to provide a method and equipment for determining product use quality or performance, so as to solve the existing problems in product use quality or performance testing and certification.
  • the present invention provides a product quality or performance to calculate the experience factor effect amount based on the pre-use test data and the post-use test data;
  • the level p value and the significance level ⁇ value are compared to obtain a significant difference result.
  • the determination method when comparing the experience factor significance level p value with the significance level ⁇ value to obtain a difference significance result, the determination method further includes:
  • the judgment trend includes: a positive influence or a negative influence.
  • the determination trend includes a positive influence
  • the experience factor effect size when the experience factor effect size is positive and the p value is less than the specified significance level ⁇ value, the result is qualified; when the p value is greater than or equal to the specified significance level If the significance level ⁇ value or the experience factor effect size is negative and the p value is less than the specified significance level ⁇ value, the result is unqualified.
  • the determination method further includes: determining the sample size according to a prescribed confidence level and statistical test power; then,
  • the pre-use test data includes all pre-use test data corresponding to the sample size
  • the post-use test data includes all post-use test data corresponding to the sample size.
  • the present invention also provides a system for judging product use quality or performance, which is used to execute the aforementioned judging method, and the judging method includes:
  • the experience factor significance level p value is compared with the significance level ⁇ value to obtain a difference significance result.
  • the present invention also provides a determiner, which is used to perform analysis of variance or t-test on the input pre-use test data and post-use test data to obtain the significance level p value of the experience factor at the specified confidence level;
  • the experience factor significance level p value is compared with the significance level ⁇ to obtain a difference significance result.
  • the present invention also provides an electronic device including a memory, a processor, and a computer program stored on the memory and capable of running on the processor.
  • the processor executes the computer program, the The method of determining the quality or performance of the product in use.
  • the present invention also provides a non-transitory computer-readable storage medium on which computer instructions are stored, and when the computer instructions are executed by a computer, the method for determining the quality or performance of the product is realized.
  • the experience factor effect size is calculated based on the acquired pre-fatigue test data and post-fatigue test data; the pre-use test data and the post-use test data are analyzed by variance analysis or t test to obtain the experience factor significance level p; The experience factor significance level p value is compared with the significance level ⁇ value to obtain a significance result.
  • the pre-use test data and the post-use test data can be obtained to effectively obtain the real data before and after the product is used.
  • the difference before and after use is compared, and the significant value of the experience factor is obtained, and then By comparing with the significance level, we can judge the effect of using the product on the user. Combining this effect with the conventional standard judgment result can more accurately judge the quality or performance of the product and solve the problems caused by a single judgment standard. This is a limitation problem.
  • Fig. 1 is a schematic flow chart of the steps of a method for determining product use quality or performance in an embodiment of the present invention.
  • FIG. 2 is a schematic diagram of the physical structure of an electronic device provided in an embodiment of the present invention.
  • the present invention provides a method for judging product quality or performance and corresponding equipment.
  • a method for judging product use quality or performance includes: obtaining test data before use and test data after use, calculating the experience factor effect size; performing variance on the test data before use and test data after use Analyze or t-test to obtain the significance level p value of the experience factor at the prescribed confidence level; compare the significance level p value of the experience factor with the significance level ⁇ value and combine the effect size of the experience factor to obtain a difference significance result.
  • the acquisition of pre-use test data and post-use test data can effectively obtain the real data before and after the product is used.
  • the difference before and after use is compared to obtain the significant value of the experience factor, and Comparing it with the significance level, to determine the effect of the user's use of the product.
  • Combining the effect with the conventional standard determination result can more accurately determine the quality or performance of the product and solve the various problems caused by the single standard determination.
  • Limitations For example, in view of the continuous update of manufacturing technology, the existing performance test methods cannot accurately determine whether the product meets the user's quality or performance requirements.
  • This technical solution collects user data before and after use, and compares the actual data before and after user use.
  • test data of this technical solution comes from the test data actually used by the user, which is closer to the usage scenario, and the user’s use effect or influence is added to the judgment method.
  • the conclusion of this article provides a more accurate basis for judging the use effect of the product after it is launched on the market.
  • N Z2 ⁇ (P ⁇ (1-P))/E, where Z is the confidence interval, n is the sample size, d is the sampling error range, and ⁇ is the standard deviation , Generally take 0.5.
  • E The standard deviation of the sample mean is multiplied by the z value, that is, the total error p: the proportion of the target population in the population.
  • the confidence level is 95%, and the sample size can be determined from this. In other embodiments, the confidence level can also be changed according to the actual test purpose and requirements.
  • the effect size of the experience factor is the effect size of the experience factor.
  • the effect size refers to the difference caused by factors, and is an index to measure the size of the treatment effect. There are many ways to calculate the effect size in this industry, such as using Excel to calculate the effect size.
  • the step of collecting test data can be included in the entire determination method, or it can be independent of the determination method in this technical solution.
  • the stored data can be directly read .
  • the data is the data obtained by the induced task after selecting the target user.
  • the method for setting the induced task is: the setting of the induced task and its duration can be based on the existing evaluation data experience and evaluation results, and can also refer to the industry-recognized test content and duration of the test. Induction tasks need to be recognized by the industry or have experimental data.
  • the target user, as the subject is selected in the following way: usually establish a special traceable sample library, or use convenient random sampling for selection. The determination of the sample size needs to be calculated according to the confidence level, test power, etc. and using relevant formulas, or it can be determined according to previous experimental experience.
  • two-factor analysis of variance or multi-factor analysis of variance or t-test can also be performed as needed. Analysis of variance or t-test can be directly calculated using existing procedures.
  • the experience factor (fatigue factor) significance level p value is compared with the significance level ⁇ value to obtain a significant result.
  • the use experience of the target user group is used to make judgments, and the product use quality or performance judgments are made by comparing the results of user test data before and after use.
  • the user If after the test task, the user’s post-test data is higher than the pre-test data, and at a certain confidence level (such as 95%, it can also be set to 80%, 90%, or 99% in other embodiments), the value is significantly higher than Data performance before the test (p ⁇ 0.05), it is judged as unqualified;
  • p>0.05 it means that there is no major change in the state before and after the test, and the user is not adversely affected, and it is judged as qualified;
  • the value after the user test is lower than the value before the test, and at a certain confidence level (such as 95%, it can also be set to 80%, 90%, or 99%, etc.), the value is significantly lower than the data value before the test (p ⁇ 0.05), indicating that the product has a significantly better impact on users, and it is judged as excellent.
  • the use experience of the target user group is used to make judgments, and the product use quality or performance judgments are made by comparing the results of user test data before and after use. .
  • the data value after the user test is lower than the data value before the test, and within a certain confidence level (such as 95%, it can also be set to 80%, 90% or 99%, etc.) significantly lower than the data before the test Value (p ⁇ 0.05), it is judged as unqualified;
  • p>0.05 it means that there is no qualitative change in the state before and after, and no impact on the user, it is judged as normal, no change, no value to the user, and it can also be judged as unqualified;
  • the user test result after the test task is higher than the value of the data before the test, and within a certain confidence level (such as 95%, it can also be set to 80%, 90%, or 99%, etc.), it is significantly higher than the value before the test (p ⁇ 0.05), it means that the product has a good influence on the user, and it is judged as qualified.
  • a certain confidence level such as 95%, it can also be set to 80%, 90%, or 99%, etc.
  • the average fatigue before the test is 23.25
  • the average fatigue after the test is 32.85
  • the fatigue factor effect size is 62.
  • the fatigue degree after the test is significantly higher than the fatigue benchmark state before the test.
  • the statistical test results It is shown that at the 95% confidence level, the fatigue degree after the test is significantly higher than the fatigue degree before the test, and if p ⁇ 0.05, it is judged as unqualified.
  • the fatigue average value before the test is 41.40
  • the fatigue average value after the test is 41.90
  • the fatigue factor effect size is 10
  • the fatigue degree after the test is similar to the fatigue reference state value before the test.
  • the average visual fatigue before the test is 32.85
  • the average visual fatigue after the test is 22.85
  • the fatigue factor effect size is -66.
  • the present invention also provides a system for judging product use quality or performance, which is used to implement the judging methods of the foregoing embodiments.
  • the judgment method includes: calculating the fatigue factor effect amount according to the obtained pre-fatigue test data and the post-fatigue test data;
  • the significance level p value of the fatigue factor is compared with the significance level ⁇ to obtain a significant result.
  • the present invention also provides a determiner, which is used to perform experience factor calculation and analysis of variance or t-test on the input pre-use test data and post-use test data to obtain the p value of the significance level of the experience factor;
  • the experience factor significance level p value is compared with the significance level ⁇ value to obtain a significance result.
  • the determiner device can be a hardware device or a software program, and the module settings can be determined according to the needs of the method steps.
  • the present invention also provides an electronic device, including a memory, a processor, and a computer program stored in the memory and capable of running on the processor.
  • the processor executes the computer program, the determination method of any of the above embodiments is implemented.
  • the electronic device of the embodiment of the present invention may also include a communication interface and a bus.
  • a communication interface and a bus. 2
  • FIG. 2 is a schematic diagram of the physical structure of an electronic device provided by an embodiment of the present invention, including: at least one memory 401, at least one processor 402, a communication interface 403, and a bus 404.
  • the memory 401, the processor 402, and the communication interface 403 communicate with each other through the bus 404, and the communication interface 403 is used for information transmission;
  • the memory 401 stores a computer program that can run on the processor 402, and the processor 402 executes the The computer program implements the steps of the method for determining product use quality or performance as in the foregoing embodiments.
  • the electronic device includes at least a memory 401, a processor 402, a communication interface 403, and a bus 404, and the memory 401, the processor 402, and the communication interface 403 form a mutual communication connection through the bus 404, and can complete mutual communication.
  • the processor 402 reads the program instructions of the calculation method from the memory 401.
  • the communication interface 403 can also realize a communication connection between the electronic device and the target data device, and can complete mutual information transmission, such as realizing data reading through the communication interface 403.
  • the processor 402 calls the program instructions in the memory 401 to execute the methods provided in the foregoing method embodiments.
  • the above-mentioned program instructions in the memory 401 can be implemented in the form of a software functional unit and when sold or used as an independent product, they can be stored in a computer readable storage medium.
  • all or part of the steps in the foregoing method embodiments may be implemented by a program instructing relevant hardware.
  • the foregoing program may be stored in a computer readable storage medium.
  • the execution includes the foregoing method implementations.
  • Example steps; and the aforementioned storage media include: U disk, mobile hard disk, read-only memory (Read-OnlyMemory, ROM), random access memory (RandomAccessMemory, RAM), magnetic disks or optical disks, etc. can store program code medium.
  • the present invention also provides a non-transitory computer-readable storage medium on which computer instructions are stored.
  • a method for determining product use quality or performance is realized.
  • each implementation manner can be implemented by means of software plus a necessary general hardware platform, and of course, it can also be implemented by hardware.
  • the above technical solution essentially or the part that contributes to the existing technology can be embodied in the form of a software product, and the computer software product can be stored in a computer-readable storage medium, such as a U disk or a mobile hard disk. , ROM, RAM, magnetic disk or optical disk, etc., including several instructions to make a computer device (such as a personal computer, server, or network device, etc.) execute the methods of the above method embodiments or some parts of the method embodiments .
  • the present invention provides a method for judging product use quality or performance, which includes: calculating experience factor effect size based on test data before use and test data after use; performing variance analysis or t-test on the test data before use and test data after use , Obtain the significance level p value of the experience factor at the specified confidence level; according to the specified confidence level and experience factor effect size, compare the significance level p value of the experience factor with the significance level ⁇ value to obtain a significant difference result . And the arbiter, electronic equipment and non-transitory computer-readable storage medium corresponding to the determination method.
  • pre-use and post-use test data analysis of variance or t-test find the significance level p-value of the experience factor difference change, combined with the experience factor effect size, determine whether it is significant at the specified confidence level, thereby judging the impact of product use quality or performance
  • the influence effect is combined with the conventional standard determination result to accurately determine whether the product is qualified, and solve the limitation of the single standard determination and the problem of inaccurate testing.
  • the pre-use test data and the post-use test data can be obtained effectively to obtain the real data before and after the product is used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Investigating Strength Of Materials By Application Of Mechanical Stress (AREA)
  • General Factory Administration (AREA)

Abstract

本发明涉及产品使用质量或性能判定技术领域，特别涉及产品使用质量或性能的判定方法及设备。该判定方法包括：根据使用前、使用后测试数据计算体验因子效应量；对使用前、使用后测试数据方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；根据规定的置信水平和体验因子效应量，将体验因子显著性水平p值与显著性水平α值比较得出差异显著性结果。对使用前、后测试数据方差分析或t检验，求体验因子差异变化的显著性水平p值，结合体验因子效应量，在规定置信水平判定其是否显著，由此判断产品使用质量或性能的影响情况，将该影响效果与常规的标准判定结果相结合，准确判定产品是否合格，解决单一标准判定的局限性以及测试不准的问题。

Description

产品使用质量或性能的判定方法及设备 技术领域
本发明涉及产品性能判定技术领域，特别是涉及产品使用质量或性能的判定方法及设备，即产品在使用过程中可能会对用户安全和健康等方面产生影响的产品使用性能是否合格的判定方法及设备。
背景技术
现有的认证技术规范中对产品是否满足某一标准要求通常采用符合性判定方法，即某一检测结果是否在某一个值或者某一区间范围内。
该方法的弊端在于以下几个方面：
弊端1，生产制造技术不断更新，现有的产品性能测试及判定方法可能无法支持使有最新生产制造技术制造的产品，以往判定方法存在局限性，容易跟不上生产制造技术的发展；
弊端2，检测标准的时效性和适用性，如果检测标准落后于技术发展，新的生产制造技术突破了检测标准还能带来比较好的结果，就会影响认证结果的准确性，给企业和社会造成损失。
弊端3，判定标准的单一性。产品性能符合性能测试的判定标准比较单一，仅以单一数值为判定界限，需要对测量误差进行精准控制和计算，测量误差过大会很容易引起结果判定的偏颇，影响结论的客观公正性。
弊端4，判定方法的片面性和绝对性。性能方面的符合性测试主要针对产品固有属性是否满足特定的要求，而这个要求主要基于产品的物理性能，对目标用户是否适用尚不可知。使用传统方法不能准确判定产品使用质量或性能是否适用于其目标用户并满足目标用户的要求。目前，大部分产品的检测判定指标未经过实际使用人群的测试 验证，可能来源于已有的生产制造经验或者几个厂家之间的协商一致。
发明内容
(一)要解决的技术问题
本发明的目的是提供产品使用质量或性能判定方法及设备，以解决现有产品使用质量或性能测试及认证存在的问题。
(二)技术方案
为了解决上述技术问题，本发明提供一种产品使用质量或性能的根据使用前测试数据和使用后测试数据计算体验因子效应量；
对所述使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；
根据规定的置信水平和体验因子效应量，将所述体验因子显著性
水平p值与显著性水平α值进行比较得出差异显著性结果。
在一些实施例中，优选为，在将所述体验因子显著性水平p值与显著性水平α值进行比较得出差异显著性结果时，所述判定方法还包括：
确定判定趋向，所述判定趋向包括：正向影响或负向影响。
在一些实施例中，优选为，当判定趋向包括负向影响时，当p值大于或等于规定的显著性水平α值，或者体验因子为负且p值小于规定的显著性水平α值时，则判定为合格或优异；其体验因子效应量为正，且p值小于规定的显著性水平α值，则结果判定为不合格。
在一些实施例中，优选为，当判定趋向包括正向影响时，当体验因子效应量为正且p值小于规定的显著性水平α值时，则结果为合格；当p值大于或等于规定的显著性水平α值或体验因子效应量为负且p值小于规定的显著性水平α值则结果为不合格。
在一些实施例中，优选为，在所述获取使用前测试数据和使用后测试数据之前，所述判定方法还包括：根据规定的置信水平和统计检验力确定样本量；则，
所述使用前测试数据包括所有所述样本量对应的使用前测试数据；
所述使用后测试数据包括所有所述样本量对应的使用后测试数据。
本发明还提供了一种产品使用质量或性能的判定系统，其用于执行上述判定方法，所述判定方法包括：
根据使用前测试数据和使用后测试数据计算体验因子效应量；
对所述使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；
根据规定的置信水平和体验因子效应量，将所述体验因子显著性水平p值与显著性水平α值进行比较得出差异显著性结果。
本发明还提供了一种判定器，其用于对输入的使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；
根据规定的置信水平和体验因子效应量，将所述体验因子显著性水平p值与显著性水平α进行比较得出得出差异显著性结果。
本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现所述的产品使用质量或性能的判定方法。
本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机指令，所述计算机指令被计算机执行时，实现所述的产品使用质量或性能的判定方法。
(三)有益效果
本发明提供的技术中根据获取的疲劳前测试数据和疲劳后测试数据，计算体验因子效应量；对使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子显著性水平p；将体验因子显著性水平p值与显著性水平α值进行比较得出显著性结果。在本技术方案 中，获取使用前测试数据和使用后测试数据，可以有效得到产品使用前后的真实数据，通过方差分析或t检验，比较使用前后的差异，求取体验因子显著值，并将其与显著性水平进行比较，由此判断使用产品对用户造成的影响效果，将该影响效果与常规的标准判定结果相结合，能更加准确判定产品使用的质量或性能，解决单一判定标准产生的各种局限性问题。
附图说明
图1为本发明一个实施例中产品使用质量或性能判定方法的步骤流程示意图。
图2为本发明一个实施例中提供的电子设备的实体结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实例用于说明本发明，但不用来限制本发明的范围。
为了对弥补标准判定存在的各种问题，本发明给出了一种产品使用质量或性能的判定方法及相应设备。
一种产品使用质量或性能的判定方法，如图1所示，包括：获取使用前测试数据和使用后测试数据，计算体验因子效应量；对所述使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；将所述体验因子显著性水平p值与显著性水平α值进行比较并结合体验因子效应量得出差异显著性结果。
在本技术方案中，获取使用前测试数据和使用后测试数据，可以有效得到产品使用前后的真实数据，通过方差分析或t检验，对比得到使用前后的差异性，求取体验因子显著值，并将其与显著性水平进行比较，由此判断用户使用产品的影响效果，将该影响效果与常规的标准判定结果相结合，能更加准确判定产品使用质量或性能，解决单一标准判定产生的各种局限性问题。比如，针对生产制造技术不断更 新，现有性能测试方法无法准确判定该产品是否满足用户使用质量或性能要求的问题，通过本技术方案采集用户使用前后的数据，通过对比用户使用前后的实际数据情况，获取产品使用质量或性能是否合格，如果合格，可以辅助标准检测；如果不合格，可以建议产品性能检测采用更先进设备，提出更高的要求而避免被误判。又比如：针对检测标准时效性问题，通过本技术方案的判断，可以验证现有产品使用质量或性能标准要求是否具备足够先进性，同时能促进标准的更替。又比如：对判断标准单一，结果不公正的问题，本技术方案给出用户使用产品前后的测试数据，并最终确认产品使用质量或性能是否良好，从而增加了产品使用质量或性能判断的另一个维度，提高了判断结论的公平、公正性。又比如：针对判定方法的绝对性，缺乏用户真实使用情况的判断依据，本技术方案的测试数据来源于用户真实使用的测试数据，更贴近使用场景，在判定方法中增加了用户使用效果或影响的结论，为产品推向市场后的使用效果提供更准确的判断依据。
该产品使用质量或性能的判定方法，可以通过如下步骤展开，如图1所示：
首先，根据置信水平及统计检验力等确定样本量；
一个实施例中给出样本量的计算公式：N＝Z2×(P×(1-P))/E，其中，Z为置信区间、n为样本容量、d为抽样误差范围、σ为标准差，一般取0.5。E:样本均值的标准差乘以z值，即总的误差p:目标总体占总体的比例。
通常置信水平为95％，由此确定样本量即可。在其他的实施例中，还可以根据实际测试目的和要求更换置信水平。
然后，获取样本量产生的所有使用前测试数据和使用后测试数据，计算体验因子效应量；
体验因子效应量即体验因子的效应量。效应量是指由于因素引起的差别，是衡量处理效应大小的指标。在本行业存在多种方法计算效 应量，比如采用Excel计算效应量。
以疲劳为例，关于疲劳的界定，可以参考现有对疲劳的判定方法，也可以根据经验值直接确定。另外，只要保证第一次测试和第二次测试之间存在足够的时间，在该时间内，使用者的使用状态发生变化，都可以理解为第一次测试为疲劳前测试，第二次测试为疲劳后测试。
需要说明的是，在本技术方案中，采集测试数据的步骤可以包括在整个判定方法中，也可以独立于本技术方案中的判定方法，在执行获取步骤时，可以直接读取已存储的数据。数据为选择目标用户后诱发任务获取的数据。对于诱发任务的设定方法为：诱发任务及其时间长短的设定可以依据现有的测评数据经验以及测评结果，也可以参考行业公认的测试内容和测试时间长短。诱发任务需获得行业公认或者具有实验数据依据。目标用户作为被试者，选择的方式为：通常建立专门的可追踪样本库，也可采用方便随机抽样进行选取。样本量的确定需要根据置信水平、检验力等并利用相关公式来进行计算，也可以根据以往实验经验来确定。
当采集测试数据包括在整个判定方法中时，由于使用者存在个体差异，这种差异将通过实验设计以及数据处理等处理方法来进行平衡或消除。
随后，将使用前测试数据和使用后测试数据进行单因素方差分析或t检验，获取体验因子显著性水平p值；
在其他的实施例中，也可以根据需要进行双因素方差分析或多因素方差分析或t检验。方差分析或t检验可采用现有程序直接计算。
然后，根据规定的置信水平和体验因子效应量，将体验因子(疲劳因子)显著性水平p值与显著性水平α值进行比较得出显著性结果。
显著性结果包括：不合格、合格和优异，在一些情况下合格和优异仅是程度的不同而已。
在进行比较时，需要考虑正向影响比较，还是负向影响比较。比 较和得出显著性结果的方法为：
如果被试者诱发任务后的总体测试结果明显比测试前差，则直接判定该产品不符合要求。具体判定标准如下：
(1)对于给使用者带来不良负向影响的检测判定
在保证产品使用质量或性能符合规定的客观要求的基础上，利用目标用户群体的使用体验来进行判定，通过使用前后的用户测试数据比较结果来进行产品使用质量或性能判定。
如果测试任务后，用户的测试后数据比测试前数据更高，且在一定置信水平(如95％，其他实施例中也可以设置为80％、90％或99％等)其数值显著高于测试前数据表现情况(p＜0.05)，则判定为不合格；
如果p>0.05，则说明测试前后状态没有发生大的变化，未给用户带来不良影响，则判定为合格；
如果诱发任务后，用户测试后数值比测试前数值更低，且在一定置信水平(如95％，也可以设置为80％、90％或99％等)其数值显著低于测试前数据值情况(p＜0.05)，说明该产品对用户具有显著更好的影响，则判定为优异。
(2)对于给用户带来正向影响的检测判定
在保证产品使用质量或性能符合规定的客观要求的基础上，利用目标用户群体的使用体验来进行判定，通过使用前后的用户测试数据比较结果来进行产品使用质量或性能判定。。
如果测试任务后，用户测试后数据数值比测试前数据数值更低，且在一定置信水平(如95％，也可以设置为80％、90％或99％等)内显著低于测试前的数据数值(p＜0.05)，则判定为不合格；
如果p>0.05，则说明前后状态没有发生质的变化，未给用户带来影响，则判定为一般，没有发生变化，未给用户带来价值，也可判定为不合格；
如果测试任务后的用户测试结果比测试前数据数值更高，且在一定置信水平(如95％，也可以设置为80％、90％或99％等)内显著高于测试前的数值(p＜0.05)，则说明该产品对用户具有好的影响，则判定为合格。
下面通过一个具体实施例来说明该判定方法：
Figure PCTCN2021078674-appb-000001
对样品1的20组疲劳前后测试数据进行单因素方差分析，测试结果如下：
表1样品1疲劳重复测量方差分析结果(95％的置信水平)
Figure PCTCN2021078674-appb-000002
样品1的测试结果中，测试前的疲劳平均值是23.25，测试后的疲劳平均值为32.85，疲劳因子效应量为62，测试后的疲劳程度明显高于测试前的疲劳基准状态，统计检验结果显示，在95％置信水平，测试后的疲劳程度显著高于测试前的疲劳程度，p＜0.05，则判定为不合格。
对样品2的20组疲劳前后测试数据进行单因素方差分析，测试结果如下：
表2样品2疲劳重复测量方差分析结果(95％的置信水平)
Figure PCTCN2021078674-appb-000003
样品2的测试结果中，测试前的疲劳平均值是41.40，测试后的疲劳平均值为41.90，疲劳因子效应量为10，测试后的疲劳程度与测试前的疲劳基准状态值差不多，统计检验结果显示，在95％的置信水平，测试前后疲劳程度差异不显著，p＝0.086>0.05，说明诱发任务后用户的疲劳状态变化不大，该样品没有让用户产生显著的疲劳状态，则判为合格。
对样品3的20组疲劳前后测试数据进行单因素方差分析，测试结果如下：
表3样品3疲劳重复测量方差分析结果(95％的置信水平)
Figure PCTCN2021078674-appb-000004
样品3的测试结果中，测试前的视疲劳平均值是32.85，测试后的视疲劳平均值为22.85，疲劳因子效应量为-66，统计检验结果显示，在95％的置信水平，测试后的视疲劳程度低于测试前的视疲劳基准状态，p＝0.000<0.05，说明经过诱发任务，用户的视疲劳状态不仅没有 加重，而且明显变好，则判定为优异。
本发明还提供了一种产品使用质量或性能的判定系统，用于执行上述各实施例的判定方法。
该判定方法包括：根据获取的疲劳前测试数据和疲劳后测试数据计算疲劳因子效应量；
对所述疲劳前测试数据和疲劳后测试数据进行方差分析或t检验，获得疲劳因子显著性水平p值；
结合疲劳因子效应量，将所述疲劳因子显著性水平p值与显著性水平α进行比较得出显著性结果。
本发明还提供了一种判定器，其用于对输入的使用前测试数据和使用后测试数据进行体验因子计算和方差分析或t检验，获得体验因子显著性水平p值；
根据规定的置信水平和体验因子效应量，将所述体验因子显著性水平p值与显著性水平α值进行比较得出显著性结果。
该判定器设备可以为硬件设备或软件程序，模块设置可以根据方法步骤的需要而定。
本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述任一实施例的判定方法。
本发明实施例的电子设备还可以包括通信接口和总线。参考图2，为本发明实施例提供的电子设备的实体结构示意图，包括：至少一个存储器401、至少一个处理器402、通信接口403和总线404。
其中，存储器401、处理器402和通信接口403通过总线404完成相互间的通信，通信接口403用于信息传输；存储器401中存储有可在处理器402上运行的计算机程序，处理器402执行该计算机程序时，实现如上述各实施例的产品使用质量或性能的判定方法的步骤。
可以理解为，该电子设备中至少包含存储器401、处理器402、通 信接口403和总线404，且存储器401、处理器402和通信接口403通过总线404形成相互间的通信连接，并可完成相互间的通信，如处理器402从存储器401中读取计算方法的程序指令等。另外，通信接口403还可以实现该电子设备与目标数据设备之间的通信连接，并可完成相互间信息传输，如通过通信接口403实现数据的读取等。
电子设备运行时，处理器402调用存储器401中的程序指令，以执行上述各方法实施例所提供的方法。
上述的存储器401中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机指令，计算机指令被计算机执行时，实现的产品使用质量或性能的判定方法。
可以理解的是，以上所描述的装置、电子设备及存储介质的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有 技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分的方法。
另外，本领域内的技术人员应当理解的是，在本发明实施例的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例的说明书中，说明了大量具体细节。然而应当理解的是，本发明实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明实施例公开并帮助理解各个发明方面中的一个或多个，在上面对本发明实施例的示例性实施例的描述中。
然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明实施例的单独实施例。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
工业实用性
本发明提供了产品使用质量或性能的判定方法，其包括：根据使用前测试数据和使用后测试数据计算体验因子效应量；对所述使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；根据规定的置信水平和体验因子效应量，将所述体验因子显著性水平p值与显著性水平α值进行比较得出差异显著性结果。及其对应该判定方法的判定器、电子设备和非暂态计算机可读存储介质。对使用前、后测试数据方差分析或t检验，求体验因子差异变化的显著性水平p值，结合体验因子效应量，在规定置信水平判定其是否显著，由此判断产品使用质量或性能的影响情况，将该影响效果与常规的标准判定结果相结合，准确判定产品是否合格，解决单一标准判定的局限性以及测试不准的问题。在本技术方案中，获取使用前测试数据和使用后测试数据，可以有效得到产品使用前后的真实数据，通过方差分析或t检验，比较使用前后的差异，求取体验因子显著值，并将其与显著性水平进行比较，由此判断使用产品对用户造成的影响效果，将该影响效果与常规的标准判定结果相结合，能更加准确判定产品使用的质量或性能，解决单一判定标准产生的各种局限性问题。

Claims (9)

  1. 一种产品使用质量或性能的判定方法，其特征在于，包括：
    根据使用前测试数据和使用后测试数据计算体验因子效应量；
    对所述使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；
    根据规定的置信水平和体验因子效应量，将所述体验因子显著性水平p值与显著性水平α值进行比较得出差异显著性结果。
  2. 根据权利要求1所述的产品使用质量或性能的判定方法，其特征在于，在将所述体验因子显著性水平p值与显著性水平α值进行比较得出差异显著性结果时，所述判定方法还包括：
    确定判定趋向，所述判定趋向包括：正向影响或负向影响。
  3. 根据权利要求2所述的产品使用质量或性能的判定方法，其特征在于，所述判定趋向为正向影响，使用后测数据与前测试数据进行比较，当体验因子效应量为正且p值小于规定的显著性水平α值时，则结果判定为合格；当p值大于或等于规定的显著性水平α值或者体验因子效应量为负且p值小于规定的显著性水平α值时，则结果判定为不合格。
  4. 根据权利要求2所述的产品使用质量或性能的判定方法，其特征在于，所述判定趋向为负向影响，使用后测试数据与使用前测试数据进行比较，当p值大于或等于规定的显著性水平或者体验因子效应量为负且p值小于规定的显著性水平α值时，则结果判定为合格或优异；当体验因子效应量为正，且p值小于规定的显著性水平α值时，则判定为不合格。
  5. 根据权利要求1-4任一项所述的产品使用质量或性能的判定方法，其特征在于，在所述获取使用前测试数据和使用后测试数据之前，所述判定方法还包括：根据规定的置信水平和统计检验力确定样本量；则，
    所述使用前测试数据包括所有所述样本量对应的使用前测试数据；
    所述使用后测试数据包括所有所述样本量对应的使用后测试数据。
  6. 一种产品使用质量或性能的判定系统，其特征在于，其用于执行权利要求1-5任一项所述的判定方法，所述判定方法包括：
    根据使用前测试数据和使用后测试数据计算体验因子效应量；
    对所述使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；
    根据规定的置信水平和体验因子效应量，将所述体验因子显著性水平p值与显著性水平α值进行比较得出差异显著性结果。
  7. 一种判定器，其特征在于，其用于对输入的使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；
    根据规定的置信水平和体验因子效应量，将所述体验因子显著性水平p值与显著性水平α进行比较得出得出差异显著性结果。
  8. 一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-6任一项所述的判定方法。
  9. 一种非暂态计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被计算机执行时，实现如权利要求1-6任一项所述的判定方法。
PCT/CN2021/078674 2020-03-11 2021-03-02 产品使用质量或性能的判定方法及设备 WO2021179957A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010166832.6A CN111400656A (zh) 2020-03-11 2020-03-11 产品使用质量或性能的判定方法及设备
CN202010166832.6 2020-03-11

Publications (1)

Publication Number Publication Date
WO2021179957A1 true WO2021179957A1 (zh) 2021-09-16

Family

ID=71432305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/078674 WO2021179957A1 (zh) 2020-03-11 2021-03-02 产品使用质量或性能的判定方法及设备

Country Status (2)

Country Link
CN (1) CN111400656A (zh)
WO (1) WO2021179957A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450991A (zh) * 2023-04-18 2023-07-18 中国人民解放军海军航空大学 火箭测试数据自动判读方法、系统、电子设备及存储介质
CN117217476A (zh) * 2023-09-15 2023-12-12 南京轶诺科技有限公司 一种产线测试资源自动化配置方法
WO2024045429A1 (zh) * 2022-08-31 2024-03-07 西安热工研究院有限公司 一种全自动制样系统的性能检验方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400656A (zh) * 2020-03-11 2020-07-10 中国标准化研究院 产品使用质量或性能的判定方法及设备
CN116703254B (zh) * 2023-08-09 2024-03-15 深圳市永义模具有限公司 模具机械零部件生产信息管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102494699A (zh) * 2011-12-14 2012-06-13 中国人民解放军国防科学技术大学 捷联式航空重力仪测量参数置信度评估方法
CN106384119A (zh) * 2016-08-23 2017-02-08 重庆大学 一种利用方差分析确定k值的k‑均值聚类改进算法
CN109559199A (zh) * 2018-11-19 2019-04-02 杭州国家电子商务产品质量监测处置中心 一种反映网购消费者质量体验的产品抽样方法
CN111400656A (zh) * 2020-03-11 2020-07-10 中国标准化研究院 产品使用质量或性能的判定方法及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725291B2 (en) * 2006-04-11 2010-05-25 Moresteam.Com Llc Automated hypothesis testing
JP2016096396A (ja) * 2014-11-12 2016-05-26 日本電信電話株式会社 映像品質の同一性判定装置、方法およびプログラム
CN105852797A (zh) * 2016-05-18 2016-08-17 北京理工大学 一种基于心电信号的立体显示视觉疲劳检测系统
CN106959925B (zh) * 2017-04-25 2020-06-30 北京云测信息技术有限公司 一种版本测试方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102494699A (zh) * 2011-12-14 2012-06-13 中国人民解放军国防科学技术大学 捷联式航空重力仪测量参数置信度评估方法
CN106384119A (zh) * 2016-08-23 2017-02-08 重庆大学 一种利用方差分析确定k值的k‑均值聚类改进算法
CN109559199A (zh) * 2018-11-19 2019-04-02 杭州国家电子商务产品质量监测处置中心 一种反映网购消费者质量体验的产品抽样方法
CN111400656A (zh) * 2020-03-11 2020-07-10 中国标准化研究院 产品使用质量或性能的判定方法及设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024045429A1 (zh) * 2022-08-31 2024-03-07 西安热工研究院有限公司 一种全自动制样系统的性能检验方法
CN116450991A (zh) * 2023-04-18 2023-07-18 中国人民解放军海军航空大学 火箭测试数据自动判读方法、系统、电子设备及存储介质
CN116450991B (zh) * 2023-04-18 2024-02-23 中国人民解放军海军航空大学 火箭测试数据自动判读方法、系统、电子设备及存储介质
CN117217476A (zh) * 2023-09-15 2023-12-12 南京轶诺科技有限公司 一种产线测试资源自动化配置方法
CN117217476B (zh) * 2023-09-15 2024-03-08 南京轶诺科技有限公司 一种产线测试资源自动化配置方法

Also Published As

Publication number Publication date
CN111400656A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
WO2021179957A1 (zh) 产品使用质量或性能的判定方法及设备
WO2019104854A1 (zh) 性能测试评价方法、装置、终端设备及存储介质
US10140336B1 (en) Accuracy testing of query optimizers
CN113485931A (zh) 测试方法、装置、电子设备及计算机可读存储介质
CN110348717B (zh) 基于栅格粒度的基站价值评分方法和装置
WO2023246352A1 (zh) 健康数据管理方法、装置、电子设备和可读存储介质
CN112184415A (zh) 数据处理方法、装置、电子设备和存储介质
Vanacore et al. Robustness of κ‐type coefficients for clinical agreement
CN114550865A (zh) 一种影响学生体测的多维度数据分析方法及装置
US20200000413A1 (en) Method and system for automated diagnostics of none-infectious illnesses
CN111858287A (zh) 代码性能评价方法及装置、电子设备和存储介质
CN115542236A (zh) 电能表运行误差估计方法及装置
Anderson et al. Detecting glaucomatous progression with infrequent visual field testing
CN115778317A (zh) 皮肤测评方法、皮肤测评设备以及存储介质
JP2019531530A (ja) 工程／装備の計測データの微細変動検知方法及びシステム
KR102007922B1 (ko) 스트레스 측정 모형 개발 방법 및 시스템
CN112199269B (zh) 一种数据处理的方法以及相关装置
JP5483780B1 (ja) サービス品質情報の品質属性特定システム及びサービス品質情報の品質属性特定方法
CN113257380B (zh) 一种差值核查及差值核查规则的制订方法和装置
CN115935138B (zh) 数据处理方法、装置、电子设备及存储介质
CN114765624B (zh) 信息推荐方法、装置、服务器及存储介质
CN117420468A (zh) 电池状态评估方法、装置、设备及存储介质
Wooluru et al. ACCURACY ANALYSIS OF WRIGHT’S CAPABILITY INDEX “CS” AND MODELLING NON-NORMAL DATA USING STATISTICAL SOFTWARE-A COMPARATIVE STUDY
Huba et al. The S model: Method performance specifications based on Six Sigma metrics
CN116974926A (zh) 测试记录生成方法、系统、终端设备及计算机存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768803

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21768803

Country of ref document: EP

Kind code of ref document: A1