WO2018142581A1 - 認知負荷評価装置および認知負荷評価方法 - Google Patents

認知負荷評価装置および認知負荷評価方法 Download PDF

Info

Publication number
WO2018142581A1
WO2018142581A1 PCT/JP2017/004004 JP2017004004W WO2018142581A1 WO 2018142581 A1 WO2018142581 A1 WO 2018142581A1 JP 2017004004 W JP2017004004 W JP 2017004004W WO 2018142581 A1 WO2018142581 A1 WO 2018142581A1
Authority
WO
WIPO (PCT)
Prior art keywords
modal
information
load
cross
evaluation
Prior art date
Application number
PCT/JP2017/004004
Other languages
English (en)
French (fr)
Inventor
克希 小林
進也 田口
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018564990A priority Critical patent/JP6482747B2/ja
Priority to PCT/JP2017/004004 priority patent/WO2018142581A1/ja
Publication of WO2018142581A1 publication Critical patent/WO2018142581A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a cognitive load evaluation apparatus and a cognitive load evaluation method for evaluating the cognitive load of a user who operates a human machine interface (hereinafter referred to as HMI).
  • HMI human machine interface
  • the cognitive load evaluation device described in Patent Document 1 calculates a visual load, an auditory load, an operation load, and a surrounding situation load in an HMI, and operates the HMI by linearly combining these loads.
  • the user's cognitive load is quantitatively evaluated.
  • GUI graphical user interface
  • voice guidance voice guidance
  • the cognitive load evaluation device is presented in each modal. Recognize the cognitive load that the information gives users. For this reason, although the cognitive load of the user who operates the HMI does not become a high value, the cognitive load of the user is actually increased due to the difference between the contents of the screen display and the voice guidance.
  • the present invention solves the above-mentioned problem, and in an HMI having a plurality of modals, a cognitive load that takes into account the influence of information presented on one side of the modals and information presented on the other side on the user is considered. It is an object to obtain a cognitive load evaluation device and a cognitive load evaluation method that can be evaluated.
  • the cognitive load evaluation device includes a modal information extraction unit and a cross-modal load evaluation unit.
  • the modal information extraction unit extracts modal information indicating the presentation contents of information in each of the plurality of modals based on the result of analyzing the information presented by the HMI having the plurality of modals.
  • the cross-modal load evaluation unit is configured to provide information presented on one side of the modal and information presented on the other side to the user operating the HMI based on the result of collating the modal information extracted by the modal information extraction unit.
  • the evaluation value of the cross-modal load which is the cognitive load given to each other, is calculated.
  • the cognitive load that takes into account the impact can be evaluated.
  • FIG. 2A is a block diagram showing a hardware configuration for realizing the function of the cognitive load evaluation apparatus according to Embodiment 1.
  • FIG. 2B is a block diagram showing a hardware configuration for executing software that realizes the function of the cognitive load evaluation apparatus according to Embodiment 1.
  • 3 is a flowchart showing the operation of the cognitive load evaluation device according to Embodiment 1.
  • FIG. 4A is a diagram illustrating an example of the contents of screen display in the HMI.
  • FIG. 4B is a diagram illustrating an example of the content of voice guidance in the HMI. It is a figure which shows an example of command information.
  • FIG. 7A is a diagram illustrating an example of modal information (visual information).
  • FIG. 7B is a diagram illustrating an example of modal information (auditory information). It is a flowchart which shows operation
  • FIG. 1 is a block diagram showing a configuration of a cognitive load evaluation apparatus 10 according to Embodiment 1 of the present invention.
  • the cognitive load evaluation device 10 is a device that evaluates the cognitive load of the user who operates the HMI, and the input device 20 and the output device 30 are connected to each other.
  • the HMI is an HMI having a plurality of modals. In the following description, it is assumed that the HMI has a first modal (visual) for visually presenting information and a second modal (hearing) for visually presenting information.
  • the cognitive load evaluation device 10 includes a visual load evaluation unit 103 for the first modal and an auditory load evaluation unit for the second modal. 104.
  • the modal information extraction unit 100 extracts modal information based on the result of analyzing the information presented by the HMI.
  • the information presented by the HMI is acquired from the device having the HMI by the input device 20 and input to the modal information extraction unit 100.
  • the modal information indicates the presentation contents of information in the modal, for example, property information indicating the presentation contents of commands in the modal.
  • the command information is information in which commands that can be selected by the HMI are defined.
  • the cross modal load evaluation unit 101 calculates a cross modal load evaluation value based on the result of collating the modal information extracted by the modal information extraction unit 100.
  • the cross-modal load is a cognitive load that the information presented on one side of the modals and the information presented on the other side give each other to the user who operates the HMI to be evaluated.
  • the evaluation value of the cross-modal load that the information presented in the first modal and the information presented in the second modal give to the user who operates the HMI to be evaluated is calculated.
  • the visual load evaluation unit 103 is a cognitive load evaluation unit corresponding to the first modal, and is a cognitive load in which cross-modal load is added to the cognitive load given to the user by the information visually presented in the first modal. Calculate the evaluation value of the load.
  • the cognitive load given to the user by the information visually presented in the first modal is referred to as a visual load
  • the cognitive load in which the cross-modal load is added to the visual load is referred to as a cross-modal visual load.
  • the visual load evaluation unit 103 calculates the evaluation value of the visual load based on the modal information regarding the first modal, and integrates the evaluation value of the cross modal load into the calculated evaluation value of the visual load. The evaluation value of the modal visual load is calculated.
  • the auditory load evaluating unit 104 is a cognitive load evaluating unit corresponding to the second modal, and is a cognitive load in which a cross-modal load is added to the cognitive load given to the user by the information presented auditorily in the second modal. Calculate the evaluation value of the load.
  • the cognitive load given to the user by the information audibly presented in the second modal is referred to as the auditory load
  • the cognitive load in which the cross-modal load is added to the auditory load is referred to as the cross-modal auditory load.
  • the auditory load evaluation unit 104 calculates the evaluation value of the auditory load based on the modal information regarding the second modal, and integrates the evaluation value of the cross modal load into the calculated evaluation value of the auditory load. The evaluation value of the modal auditory load is calculated.
  • the load integration unit 102 calculates a value obtained by integrating the evaluation value of the cognitive load calculated by the visual load evaluation unit 103 and the evaluation value of the cognitive load calculated by the auditory load evaluation unit 104. Information indicating the value calculated by the load integration unit 102 is sent to the output device 30 as the evaluation result of the cognitive load of the user who operates the HMI. The output device 30 visually or audibly presents the evaluation result of the cognitive load received from the load integration unit 102 to the user.
  • the cognitive load evaluation device 10 includes the modal information extraction unit 100 and the cross modal load evaluation unit 101, so that the evaluation value of the cross modal load can be calculated.
  • the cognitive load in consideration of the influence of the information presented on one side of the modal and the information presented on the other side on the user. Can be evaluated. Therefore, the visual load evaluation unit 103, the auditory load evaluation unit 104, and the load integration unit 105, which are configurations other than the modal information extraction unit 100 and the cross-modal load evaluation unit 101, may be excluded from the cognitive load evaluation device 10.
  • the visual load evaluation unit 103, the auditory load evaluation unit 104, and the load integration unit 105 may be configured in an external device provided separately from the cognitive load evaluation device 10.
  • FIG. 2A is a block diagram illustrating a hardware configuration that realizes the function of the cognitive load evaluation apparatus 10.
  • FIG. 2B is a block diagram illustrating a hardware configuration that executes software that implements the functions of the cognitive load evaluation apparatus 10.
  • the mouse 201 and the keyboard 202 are the input device 20 illustrated in FIG. 1, and may be configured to be included in a device having an HMI to be evaluated, for example.
  • the user who operates the evaluation target HMI can perform various operations such as selection of the evaluation target HMI and selection of information presented in the HMI using the mouse 201 and the keyboard 202.
  • the input device 20 acquires information presented by the HMI and the command information from a device having the HMI to be evaluated, and outputs the information to the cognitive load evaluation device 10.
  • the display 203 and the speaker 204 are the output device 30 shown in FIG.
  • the display 203 displays an HMI operation screen or a cognitive load evaluation result by the cognitive load evaluation device 10.
  • the speaker 204 outputs audio information such as audio guidance for the operation content of the HMI.
  • the auxiliary storage device 205 stores information presented by the HMI and command information.
  • the auxiliary storage device 205 is realized by, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an HDD (Hard Disk Drive), or the like, and may be a storage device combining these. Further, a part or all of the storage area of the auxiliary storage device 205 may be provided in the external device.
  • the cognitive load evaluation device 10 acquires command information by communicating with the external device via a communication line such as the Internet or an intranet.
  • the functions of the modal information extraction unit 100, the cross-modal load evaluation unit 101, the load integration unit 102, the visual load evaluation unit 103, and the auditory load evaluation unit 104 in the cognitive load evaluation device 10 are realized by a processing circuit. That is, the cognitive load evaluation device 10 includes a processing circuit for executing these functions.
  • the processing circuit may be dedicated hardware or a CPU (Central Processing Unit) that executes a program stored in the memory.
  • CPU Central Processing Unit
  • the processing circuit 200 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application), or the like.
  • a specific integrated circuit (FPGA), a field-programmable gate array (FPGA), or a combination thereof is applicable.
  • the functions of the modal information extraction unit 100, the cross-modal load evaluation unit 101, the load integration unit 102, the visual load evaluation unit 103, and the auditory load evaluation unit 104 in the cognitive load evaluation device 10 may be realized by processing circuits, respectively. Each function may be realized by a single processing circuit.
  • the functions of the modal information extraction unit 100, the cross-modal load evaluation unit 101, the load integration unit 102, the visual load evaluation unit 103, and the auditory load evaluation unit 104 are as follows. , Software, firmware, or a combination of software and firmware. Software and firmware are described as programs and stored in the memory 207.
  • the processor 206 implements each function by reading and executing a program stored in the memory 207. That is, the cognitive load evaluation apparatus 10 includes a memory 207 for storing a program that, when executed by the processor 206, results in the processing from step ST301 to step ST307 shown in FIG. These programs cause the computer to execute the procedures or methods of the modal information extraction unit 100, the cross-modal load evaluation unit 101, the load integration unit 102, the visual load evaluation unit 103, and the auditory load evaluation unit 104.
  • the memory is, for example, non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Programmable EPROM), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disk) and the like are applicable.
  • non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Programmable EPROM), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disk) and the like are applicable.
  • a part of the functions of the modal information extraction unit 100, the cross-modal load evaluation unit 101, the load integration unit 102, the visual load evaluation unit 103, and the auditory load evaluation unit 104 is realized by dedicated hardware, and a part thereof It may be realized by software or firmware.
  • the modal information extraction unit 100 and the cross-modal load evaluation unit 101 realize their functions with dedicated hardware processing circuits, and the load integration unit 102, the visual load evaluation unit 103, and the auditory load evaluation unit 104 have a processor.
  • the function is realized by executing a program stored in the memory 207.
  • the processing circuit can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • FIG. 3 is a flowchart showing the operation of the cognitive load evaluation apparatus 10 and shows a series of processes until the cognitive load of the user operating the HMI is evaluated.
  • the modal information extraction unit 100 inputs information acquired by the input device 20 from a device having an HMI to be evaluated (step ST301).
  • the information input from the input device 20 is information presented by the evaluation target HMI and the command information described above.
  • the HMI to be evaluated has a first modal (visual) and a second modal (hearing).
  • the modal information extraction unit 100 analyzes information presented by the evaluation target HMI and extracts modal information (step ST302). For example, the modal information extraction unit 100 analyzes the information presented in the evaluation target HMI, and extracts modal information related to the first modal and modal information related to the second modal based on the analysis result.
  • the modal information regarding the first modal is described as visual information
  • the modal information regarding the second modal is described as auditory information.
  • the cross-modal load evaluation unit 101 calculates an evaluation value of the cross-modal load between the first modal and the second modal based on the visual information and the auditory information extracted by the modal information extraction unit 100. (Step ST303). For example, the cross-modal load evaluation unit 101 collates the presentation contents of visual information with the presentation contents of auditory information, and calculates the evaluation value of the cross-modal load between the visual information and the auditory information based on the collation result. .
  • the visual load evaluation unit 103 evaluates the cross-modal visual load based on the visual information extracted by the modal information extraction unit 100 and the evaluation value of the cross-modal load calculated by the cross-modal load evaluation unit 101.
  • a value is calculated (step ST304).
  • the evaluation value of the cross-modal visual load is a linear combination of the evaluation value of the visual load and the evaluation value of the cross-modal load.
  • the visual load is a cognitive load given to the user by visually presented information.
  • the auditory load evaluation unit 104 calculates a cross-modal auditory load evaluation value based on the auditory information extracted by the modal information extraction unit 100 and the cross-modal load evaluation value calculated by the cross-modal load evaluation unit 101. (Step ST305).
  • the evaluation value of the cross-modal auditory load is a linear combination of the evaluation value of the auditory load and the evaluation value of the cross-modal load.
  • the auditory load is a cognitive load given to the user by the information presented auditorily.
  • the load integration unit 102 calculates a value obtained by integrating the evaluation value of the cross-modal visual load and the evaluation value of the cross-modal auditory load (step ST306). Integration means that the evaluation value of the cross-modal visual load and the evaluation value of the cross-modal auditory load are linearly combined.
  • the integrated value calculated by the load integrating unit 102 is sent to the output device 30 as an evaluation value of the cognitive load of the user who operates the HMI to be evaluated.
  • the output device 30 outputs the evaluation value received from the load integration unit 102 as the evaluation result of the cognitive load (step ST307).
  • the display 203 displays the evaluation value of the cognitive load. Thereby, the user can recognize the cognitive load in the HMI to be evaluated.
  • the modal information extraction unit 100 inputs information presented for each modal from the input device 20. Since the HMI to be evaluated has a first modal (visual) and a second modal (auditory), information shown in FIGS. 4A and 4B is presented in this HMI.
  • the screen display 401 is, for example, an operation selection screen. Based on the content of the screen display 401, the user can select a desired operation from “music search”, “address book”, and “destination search” using the input device 20.
  • the screen display 401 is displayed on the display 203 shown in FIGS. 2A and 2B.
  • the voice guidance 402 is voice information that prompts selection of an operation, for example. Based on the content of the voice guidance 402, the user can select a desired operation from “music search”, “address book”, and “destination search” using the input device 20.
  • the voice guidance 402 is output from the speaker 204 shown in FIGS. 2A and 2B.
  • FIG. 5 is a diagram illustrating an example of the command information 501.
  • Command information 501 is information in which commands are defined.
  • the commands defined in the command information 501 are commands that can be selected by the user in the information presented in the evaluation target HMI.
  • the command information 501 may use information created when the HMI is designed, or may be information appropriately set by the user when evaluating the cognitive load of the user who operates the HMI.
  • a command ID that is command identification information is associated with the content of an operation executed by selecting the command.
  • the command information shown in FIG. 5 when a command whose command ID is C1 is selected, music search is executed. Similarly, when a command with a command ID of C2 is selected, display of the address book is executed, and when a command with a command ID of C3 is selected, a destination search is executed.
  • the cognitive load of the user who operates the HMI includes a cognitive load when selecting a command presented in the first modal and a cognitive load when selecting a command presented in the second modal. . Furthermore, the cognitive load given by the information presented in the second modal when selecting the command presented in the first modal, and the first modal in selecting the command presented in the second modal. The cognitive load given by the presented information is also included.
  • FIG. 6 is a flowchart showing the operation of the modal information extraction unit 100, and shows the detailed processing of step ST302 of FIG.
  • the modal information extraction unit 100 refers to the command information (step ST601), and determines whether there is a command CX from which property information is not extracted from the information presented in the evaluation target HMI (step ST601). ST602).
  • the command CX is a command that can be selected in the evaluation target HMI, for example, a command defined in the command information 501.
  • step ST602 If there is no command CX from which property information has not been extracted (step ST602; NO), the process ends.
  • the modal information extraction unit 100 checks whether or not the command CX exists in the contents of the screen display 401 (step ST603). For example, the modal information extraction unit 100 checks whether or not the command CX defined in the command information 501 exists by searching for information related to the screen display 401 using the command ID.
  • step ST603 When there is no command CX in the contents of the screen display 401 (step ST603; NO), the process proceeds to step ST605.
  • step ST603; YES when the command CX exists in the content of the screen display 401 (step ST603; YES), the modal information extraction unit 100 extracts property information related to the command CX from the content of the screen display 401 (step ST604).
  • the property information extracted in step ST604 is information indicating the presentation content of the command CX on the screen display 401, and is property information of information presented in the first modal.
  • the property information includes, for example, the font size of character information indicating the command CX on the screen display 401, color information such as brightness and saturation of the screen display 401, and the appearance order of the character information.
  • the appearance order of the character information on the screen display 401 indicates the order in which the character information is arranged in a certain direction on the screen.
  • the modal information extraction unit 100 may create the property information based on HMI design data such as HTML (HyperText Markup Language), for example. Further, the property information may be information created using the result of analyzing the HMI screen information.
  • HMI design data such as HTML (HyperText Markup Language)
  • step ST605 the modal information extraction unit 100 confirms whether or not the command CX exists in the content of the voice guidance 402. For example, the modal information extraction unit 100 checks whether there is a command CX defined in the command information 501 by searching for information related to the voice guidance 402 using the command ID.
  • step ST605 When the command CX does not exist in the content of the voice guidance 402 (step ST605; NO), the process returns to step ST601 and repeats the series of processes described above.
  • step ST605; YES when the command CX exists in the content of the voice guidance 402 (step ST605; YES), the modal information extraction unit 100 extracts property information related to the command CX from the content of the voice guidance 402 (step ST606).
  • the property information is information indicating the presentation content of the command CX in the voice guidance 402, and is property information of information presented in the second modal.
  • the property information includes, for example, the speech speed and volume of the text information including the character information indicating the command CX in the voice guidance 402, the order of appearance in time series in which the character information is output as a voice, and the like.
  • the modal information extraction unit 100 may perform natural language processing such as morphological analysis and dependency analysis on sentence information including character information indicating the command CX, and create the property information based on the processing result. .
  • the property information may be information created using HMI design data.
  • step ST606 When the process of step ST606 is completed, the process returns to step ST601, and the series of processes described above is repeated until there is no command CX whose property information has not been extracted.
  • the property information extracted in step ST604 corresponds to visual information
  • the property information extracted in step ST606 corresponds to auditory information.
  • FIG. 7A is a diagram illustrating an example of the modal information extracted in step ST604, and visual information 701 is property information regarding the screen display 401 in FIG. 4A.
  • FIG. 7B is a diagram illustrating an example of the modal information extracted in step ST606, and the auditory information 702 is property information regarding the voice guidance 402 in FIG. 4B.
  • the visual information 701 indicates the visual presentation contents of commands having command IDs C1 to C3.
  • the name of the operation executed when the command with the command ID C1 is selected is “music search”.
  • the appearance order of the character information “music search” on the screen display 401 is “1”, the font size of this character information is “aaa”, and the brightness of the display area is “bbb”.
  • the auditory information 702 indicates the auditory presentation contents of commands having command IDs C1 to C3.
  • the name of the operation executed when the command with the command ID C2 is selected is “address book”.
  • the order in which the character information “address book” is read out that is, the appearance order is “3”
  • the speech speed is “xxx”
  • the volume is “yyy”.
  • FIG. 8 is a flowchart showing the operation of the cross-modal load evaluation unit 101, and shows detailed processing of step ST303 in FIG.
  • the cross-modal load evaluation unit 101 refers to the visual information 701 and the auditory information 702 (step ST801) and confirms whether there is a common property item (step ST802).
  • the property item is information indicating the type of information constituting the property information. For example, in the visual information 701, “name”, “order of appearance”, “font size”, and “lightness” correspond to property items. In the auditory information 702, “name”, “order of appearance”, “speech speed”, and “volume” correspond to property items. Information set in the property item is associated with each command.
  • step ST802 If there is no common property item (step ST802; NO), the process of FIG. 8 ends. On the other hand, if a common property item exists (step ST802; YES), the process proceeds to step ST803.
  • step ST803 the cross-modal load evaluation unit 101 determines whether there is a command CX in which the contents of the common property item are not collated in the visual information 701 and the auditory information 702 among the commands CX corresponding to the common property item. Determine whether or not.
  • step ST803 If there is no command CX in which the contents of the common property items are not collated (step ST803; NO), the processing from step ST801 is repeated for the next target property item. On the other hand, when there is a command CX in which the content of the common property item is not collated (step ST803; YES), the cross-modal load evaluation unit 101 determines the visual information 701 and the property item corresponding to the command CX. The contents are collated with the auditory information 702 (step ST804).
  • the cross-modal load evaluation unit 101 When the contents of the common property item match between the visual information 701 and the auditory information 702 (step ST805; YES), the cross-modal load evaluation unit 101 includes the visual information 701, the auditory information 702, and the contents of the property item. It is determined that there is no wrinkle. In this case, the process returns to step ST803.
  • the cross-modal load evaluation unit 101 determines that the contents of the property item are the visual information 701 and the auditory information 702. It is determined that there is a defect. In this case, cross-modal load evaluation unit 101 calculates cross-modal load evaluation value LC for this property item (step ST806). Thereafter, the process returns to step ST801, and the above-described series of processing is repeated for the next target property item until there is no common property item.
  • the visual information 701 and the auditory information 702 share the property item “appearance order” as shown in FIGS. 7A and 7B.
  • the property item “order of appearance” corresponds to three commands having command IDs C1 to C3.
  • the cross-modal load evaluating unit 101 collates the contents of the property item “order of appearance” corresponding to each of the three commands having command IDs C1 to C3 with the visual information 701 and the auditory information 702.
  • the contents of the property item “appearance order” corresponding to the command having the command ID C1 is “1” in the visual information 701, but “2” in the auditory information 702, and these contents do not match.
  • the cross-modal load evaluation unit 101 determines that there is a flaw in the contents between the visual information 701 and the auditory information 702 regarding the property item “order of appearance”.
  • the cross-modal load evaluation unit 101 creates three rank vectors each having three commands having command IDs C1 to C3 as elements, and sets the distance measure between the rank vectors to the cross-section related to the property item “appearance order”. Calculated as an evaluation LC of modal load.
  • the distance scale includes Kendall distance or L1 norm.
  • the cross-modal load evaluation unit 101 adds a value obtained by adding arbitrary values as many as the number of commands CX in which the contents of the property item “appearance order” are different between the visual information 701 and the auditory information 702 to evaluate the cross-modal load LC. May be calculated as
  • the arbitrary value is a value arbitrarily set by the user.
  • the cross-modal load evaluation unit 101 has the contents of the visual information 701 and the auditory information 702 even for one of the property items “appearance order” corresponding to each of the three commands having command IDs C1 to C3. If they do not match, a value arbitrarily set by the user may be used as the evaluation LC of the cross-modal load.
  • the evaluation value LC of the cross-modal load can be calculated by the same process for other property items common to the visual information 701 and the auditory information 702.
  • FIG. 9 is a flowchart showing the operation of the visual load evaluation unit 103, and shows detailed processing in step ST304 of FIG.
  • the visual load evaluation unit 103 calculates an evaluation value LV of the visual load based on the visual information 701 (step ST901). For example, the visual load evaluation unit 103 adds a constant value to the visual load evaluation value LV when the property item “font size” in the visual information 701 is smaller than the threshold or when the property item “brightness” is smaller than the threshold. To do. In this way, when the presentation content is difficult for the user to visually recognize, the visual load evaluation unit 103 calculates the visual load evaluation value LV so that the value becomes high.
  • the visual load evaluation unit 103 calculates the evaluation value LCV of the cross-modal visual load by linearly combining the evaluation value LV of the visual load and the evaluation value LC of the cross-modal load according to the following formula (1) (step ST902). ).
  • ⁇ and ⁇ are coefficients of linear combination.
  • LCV ⁇ LC + ⁇ LV (1)
  • FIG. 10 is a flowchart showing the operation of the auditory load evaluation unit 104, and shows detailed processing of step ST305 in FIG.
  • the auditory load evaluation unit 104 calculates an evaluation value LA of the auditory load based on the auditory information 702 (step ST1001). For example, the auditory load evaluation unit 104 adds a constant value to the evaluation value LA of the auditory load when the property item “speech speed” in the auditory information 702 is faster than the threshold or the property item “volume” is lower than the threshold. To do. In this way, when the presentation content is difficult for the user to recognize audibly, the auditory load evaluation unit 104 calculates the evaluation value LA of the auditory load so that the value becomes higher.
  • the auditory load evaluation unit 104 linearly combines the evaluation value LA of the auditory load and the evaluation value LC of the cross-modal load according to the following equation (2), thereby calculating the evaluation value LCA of the cross-modal auditory load (step ST1002). ).
  • the load integration unit 102 integrates a value obtained by integrating the evaluation value LCV of the cross-modal visual load and the evaluation value LCA of the cross-modal auditory load according to the following formula (3) into the cognitive load of the user who operates the HMI to be evaluated. Calculated as an evaluation value L.
  • ⁇ and ⁇ are weights of linear combination.
  • the modal information extraction unit 100 extracts the visual information 701 and the auditory information 702 based on the result of analyzing the information presented by the HMI. .
  • the cross-modal load evaluation unit 101 calculates a cross-modal load evaluation value LC based on the result of collating the visual information 701 and the auditory information 702.
  • the evaluation value LC of the cross-modal load becomes high, which is close to the user's sense. Cognitive load can be evaluated.
  • the presentation contents of information are the same in the first modal and the second modal, the information presented in the first modal and the information presented in the second modal assist each other in recognition.
  • the evaluation value L of the cognitive load may be reduced by determining that the user is doing.
  • the cognitive load evaluation device 10 includes a visual load evaluation unit 103, an auditory load evaluation unit 104, and a load integration unit 105.
  • the visual load evaluation unit 103 calculates an evaluation value LCV of the cross-modal visual load.
  • the auditory load evaluation unit 104 calculates an evaluation value LCA of the cross-modal auditory load.
  • the load integration unit 105 calculates an evaluation value L obtained by integrating the evaluation value LCV of the cross-modal visual load and the evaluation value LCA of the cross-modal auditory load. By comprising in this way, the cognitive load which considered the evaluation value LCV of cross-modal visual load and the evaluation value LCA of cross-modal auditory load can be evaluated.
  • the cross-modal load evaluation unit 101 collates items common between property information in the first modal and property information in the second modal, When there is a discrepancy in content, the evaluation value of the cross-modal load is calculated. By comprising in this way, when there is a discrepancy in the presentation contents of information in the first modal and the second modal, the evaluation value L of the cognitive load can be increased by the evaluation value LC of the cross modal load.
  • the cross-modal load evaluation unit 101 is an item in which items common between property information in one of the modals and property information in the other indicate the appearance order of the commands.
  • the evaluation value LC of the cross-modal load is calculated based on the order of appearance of the commands.
  • the cross-modal load evaluation unit 101 determines an arbitrary number of commands corresponding to the item. A value obtained by adding the values is calculated as an evaluation value LC of the cross-modal load. Even if comprised in this way, the evaluation value L of cognitive load can be raised with the evaluation value LC of cross-modal load, when there is a discrepancy in the presentation content of information by the 1st modal and the 2nd modal.
  • FIG. FIG. 11 is a block diagram showing the configuration of the cognitive load evaluation apparatus 11 according to Embodiment 2 of the present invention.
  • the cognitive load evaluation device 11 includes a modal information extraction unit 100, a cross modal load evaluation unit 101, a visual load evaluation unit 110, an auditory load evaluation unit 111, and a load integration unit 112.
  • the visual load evaluation unit 110 is a cognitive load evaluation unit corresponding to the first modal (vision), and the visual load evaluation value LV that is a cognitive load given to the user by the information visually presented in the first modal. Is calculated.
  • the calculation method of the visual load evaluation value LV is the same as that shown in the first embodiment.
  • the auditory load evaluation unit 111 is a cognitive load evaluation unit corresponding to the second modal (hearing), and an auditory load evaluation value LA that is a cognitive load given to the user by the information presented in an auditory manner in the second modal. Is calculated.
  • the method for calculating the auditory load evaluation value LA is the same as that described in the first embodiment.
  • the load integration unit 112 integrates a value obtained by integrating the evaluation value LV of the visual load, the evaluation value LA of the auditory load, and the evaluation value LC of the cross-modal load as the evaluation value L of the cognitive load of the user who operates the evaluation target HMI. calculate.
  • the functions of the modal information extraction unit 100, the cross-modal load evaluation unit 101, the visual load evaluation unit 110, the auditory load evaluation unit 111, and the load integration unit 112 in the cognitive load evaluation device 11 are realized by a processing circuit. That is, the cognitive load evaluation device 11 includes a processing circuit for executing these functions.
  • the processing circuit may be dedicated hardware or a CPU that executes a program stored in a memory.
  • FIG. 12 is a flowchart showing the operation of the cognitive load evaluation device 11 and shows a series of processes until the cognitive load of the user who operates the HMI is evaluated.
  • the processing from step ST1201 to step ST1203 and step ST1207 in FIG. 12 is the same as that from step ST301 to step ST303 and step ST307 in FIG.
  • the processing in step ST1204 in FIG. 12 is the same as step ST901 in FIG.
  • the processing in step ST1205 in FIG. 12 is also the same as step ST1001 in FIG.
  • step ST1206 the load integration unit 112 linearly combines the evaluation value LC of the cross-modal load, the evaluation value LV of the visual load, and the evaluation value LA of the auditory load according to the following equation (4), thereby evaluating An evaluation value L of the cognitive load of the user who operates the HMI is calculated.
  • ⁇ , ⁇ , and ⁇ are linear combination coefficients.
  • L ⁇ LC + ⁇ LV + ⁇ LA (4)
  • the cognitive load evaluation device 11 includes the visual load evaluation unit 110, the auditory load evaluation unit 111, and the load integration unit 112.
  • the visual load evaluation unit 110 calculates the visual load evaluation value LV based on the visual information extracted by the modal information extraction unit 100.
  • the auditory load evaluation unit 111 calculates an evaluation value LA of the auditory load based on the auditory information extracted by the modal information extraction unit 100.
  • the load integration unit 112 calculates a value obtained by integrating the evaluation values of the visual load, the auditory load, and the cross-modal load. Even with this configuration, in the HMI having the first modal and the second modal, the information presented in the first modal and the information presented in the second modal are mutually given to the user. The cognitive load that takes into account the impact can be evaluated.
  • any combination of each embodiment, any component of each embodiment can be modified, or any component can be omitted in each embodiment. .
  • the cognitive load evaluation device can evaluate the cognitive load that considers the influence of the information presented on one side of the modal and the information presented on the other side on the user. It is suitable for evaluating the cognitive load of the user who operates the HMI of the device.
  • 11 cognitive load evaluation device 20 input device, 30 output device, 100 modal information extraction unit, 101 cross modal load evaluation unit, 102, 112 load integration unit, 103, 110 visual load evaluation unit, 104, 111 auditory load evaluation Part, 200 processing circuit, 201 mouse, 202 keyboard, 203 display, 204 speaker, 205 auxiliary storage device, 206 processor, 207 memory, 401 screen display, 402 voice guidance, 501 command information, 701 visual information, 702 auditory information.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

モーダル情報抽出部（１００）が、ＨＭＩで提示された情報を解析した結果に基づいて、視覚情報（７０１）と聴覚情報（７０２）とを抽出する。クロスモーダル負荷評価部（１０１）が、視覚情報（７０１）と聴覚情報（７０２）とを照合した結果に基づいて、クロスモーダル負荷の評価値（ＬＣ）を算出する。

Description

認知負荷評価装置および認知負荷評価方法
　この発明は、ヒューマンマシンインタフェース（以下、ＨＭＩと記載する）を操作するユーザの認知負荷を評価する認知負荷評価装置および認知負荷評価方法に関する。
　近年、画像、音声、ジェスチャといった複数のモーダル（入出力様式）を用いるマルチモーダルなＨＭＩが普及している。
　また、機器のユーザビリティを向上させるには、機器のＨＭＩが、ユーザから認知されやすい情報を提示する必要がある。このため、従来から、ユーザが情報を認知するときの負荷（認知負荷）を定量的に評価する技術が提案されている。
　例えば、特許文献１に記載された認知負荷評価装置は、ＨＭＩにおける視覚的な負荷、聴覚的な負荷、操作負荷および周辺状況負荷を算出し、これらの負荷を線形結合することで、ＨＭＩを操作するユーザの認知負荷を定量的に評価している。
特開２０１２－１６４０２０号公報
　しかしながら、特許文献１に記載された認知負荷評価装置では、複数のモーダルで提示された情報がユーザに与える負荷を、モーダルごとに独立して評価している。このため、モーダル同士の一方で提示された情報と他方で提示された情報とが相互にユーザに与える影響が考慮されないという課題があった。
　例えば、グラフィカルユーザインタフェース（以下、ＧＵＩと記載する）を、音声ガイダンスに従って操作するＨＭＩでは、ＧＵＩ（視覚）と音声ガイダンス（聴覚）との２つのモーダルで情報が提示される。ユーザは、このＨＭＩを操作するときに、音声ガイダンスの内容を認知しながら、ＧＵＩの内容も同時に認知している。
　このようなＨＭＩにおいて、音声ガイダンスが理解しやすく、画面表示が見やすいが、画面表示と音声ガイダンスとの間に内容の齟齬が生じている場合、上記認知負荷評価装置は、個々のモーダルで提示された情報がユーザに与える認知負荷を低く評価する。
　このため、上記ＨＭＩを操作するユーザの認知負荷が高い値にならないが、実際には、画面表示と音声ガイダンスとの内容の齟齬によってユーザの認知負荷は高まっている。
　この発明は上記課題を解決するもので、複数のモーダルを有したＨＭＩにおいて、モーダル同士の一方で提示された情報と他方で提示された情報とが相互にユーザに与える影響を考慮した認知負荷を評価することができる認知負荷評価装置および認知負荷評価方法を得ることを目的とする。
　この発明に係る認知負荷評価装置は、モーダル情報抽出部とクロスモーダル負荷評価部とを備える。モーダル情報抽出部は、複数のモーダルを有したＨＭＩで提示された情報を解析した結果に基づいて、複数のモーダルのそれぞれにおける情報の提示内容を示すモーダル情報を抽出する。クロスモーダル負荷評価部は、モーダル情報抽出部によって抽出されたモーダル情報を照合した結果に基づいて、ＨＭＩを操作するユーザに対して、モーダル同士の一方で提示された情報と他方で提示された情報とが相互に与える認知負荷であるクロスモーダル負荷の評価値を算出する。
　この発明によれば、クロスモーダル負荷の評価値を算出することで、複数のモーダルを有したＨＭＩにおいて、モーダル同士の一方で提示された情報と他方で提示された情報とが相互にユーザに与える影響を考慮した認知負荷を評価することができる。
この発明の実施の形態１に係る認知負荷評価装置の構成を示すブロック図である。 図２Ａは、実施の形態１に係る認知負荷評価装置の機能を実現するハードウェア構成を示すブロック図である。図２Ｂは、実施の形態１に係る認知負荷評価装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態１に係る認知負荷評価装置の動作を示すフローチャートである。 図４Ａは、ＨＭＩにおける画面表示の内容の一例を示す図である。図４Ｂは、ＨＭＩにおける音声ガイダンスの内容の一例を示す図である。 コマンド情報の一例を示す図である。 モーダル情報抽出部の動作を示すフローチャートである。 図７Ａは、モーダル情報（視覚情報）の一例を示す図である。図７Ｂは、モーダル情報（聴覚情報）の一例を示す図である。 クロスモーダル負荷評価部の動作を示すフローチャートである。 視覚負荷評価部の動作を示すフローチャートである。 聴覚負荷評価部の動作を示すフローチャートである。 この発明の実施の形態２に係る認知負荷評価装置の構成を示すブロック図である。 実施の形態２に係る認知負荷評価装置の動作を示すフローチャートである。
　以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係る認知負荷評価装置１０の構成を示すブロック図である。認知負荷評価装置１０は、ＨＭＩを操作するユーザの認知負荷を評価する装置であり、入力装置２０と出力装置３０とが接続している。上記ＨＭＩは、複数のモーダルを有したＨＭＩである。以下の説明では、上記ＨＭＩが、視覚的に情報を提示する第１のモーダル（視覚）と、聴覚的に情報を提示する第２のモーダル（聴覚）とを有するものとする。例えば、第１のモーダルでは、画面表示で情報が提示され、第２のモーダルでは音声ガイダンスで情報が提示される。
　認知負荷評価装置１０は、モーダル情報抽出部１００、クロスモーダル負荷評価部１０１および負荷統合部１０２に加え、第１のモーダルについての視覚負荷評価部１０３と、第２のモーダルについての聴覚負荷評価部１０４とを備える。
　モーダル情報抽出部１００は、上記ＨＭＩで提示された情報を解析した結果に基づいてモーダル情報を抽出する。上記ＨＭＩで提示された情報は、当該ＨＭＩを有する機器から入力装置２０によって取得されてモーダル情報抽出部１００に入力される。
　モーダル情報は、モーダルにおける情報の提示内容を示しており、例えば、モーダルにおけるコマンドの提示内容を示すプロパティ情報である。コマンド情報は、ＨＭＩで選択可能なコマンドが定義された情報である。
　クロスモーダル負荷評価部１０１は、モーダル情報抽出部１００によって抽出されたモーダル情報を照合した結果に基づいて、クロスモーダル負荷の評価値を算出する。
　クロスモーダル負荷は、評価対象のＨＭＩを操作するユーザに対して、モーダル同士の一方で提示された情報と他方で提示された情報とが相互に与える認知負荷である。
　ここでは、評価対象のＨＭＩを操作するユーザに対して、第１のモーダルで提示された情報と第２のモーダルで提示された情報とが相互に与えるクロスモーダル負荷の評価値が算出される。
　視覚負荷評価部１０３は、第１のモーダルに対応する認知負荷評価部であって、第１のモーダルで視覚的に提示された情報がユーザに与える認知負荷に対してクロスモーダル負荷を加味した認知負荷の評価値を算出する。以下、第１のモーダルで視覚的に提示された情報がユーザに与える認知負荷を視覚負荷と呼び、視覚負荷に対してクロスモーダル負荷を加味した認知負荷をクロスモーダル視覚負荷と記載する。
　例えば、視覚負荷評価部１０３は、第１のモーダルに関するモーダル情報に基づいて、視覚負荷の評価値を算出し、算出した視覚負荷の評価値にクロスモーダル負荷の評価値を統合することで、クロスモーダル視覚負荷の評価値を算出する。
　聴覚負荷評価部１０４は、第２のモーダルに対応する認知負荷評価部であって、第２のモーダルで聴覚的に提示された情報がユーザに与える認知負荷に対してクロスモーダル負荷を加味した認知負荷の評価値を算出する。以下、第２のモーダルで聴覚的に提示された情報がユーザに与える認知負荷を聴覚負荷と呼び、聴覚負荷に対してクロスモーダル負荷を加味した認知負荷をクロスモーダル聴覚負荷と記載する。
　例えば、聴覚負荷評価部１０４は、第２のモーダルに関するモーダル情報に基づいて、聴覚負荷の評価値を算出し、算出した聴覚負荷の評価値にクロスモーダル負荷の評価値を統合することで、クロスモーダル聴覚負荷の評価値を算出する。
　負荷統合部１０２は、視覚負荷評価部１０３によって算出された認知負荷の評価値と、聴覚負荷評価部１０４によって算出された認知負荷の評価値とを統合した値を算出する。
　負荷統合部１０２によって算出された値を示す情報は、上記ＨＭＩを操作するユーザの認知負荷の評価結果として出力装置３０に送られる。出力装置３０は、負荷統合部１０２から受け取った認知負荷の評価結果を視覚的または聴覚的にユーザに提示する。
　認知負荷評価装置１０は、モーダル情報抽出部１００とクロスモーダル負荷評価部１０１とを備えることによって、クロスモーダル負荷の評価値を算出することができる。このクロスモーダル負荷の評価値を用いることで、複数のモーダルを有したＨＭＩにおいて、モーダル同士の一方で提示された情報と他方で提示された情報とが相互にユーザに与える影響を考慮した認知負荷を評価することができる。
　従って、モーダル情報抽出部１００およびクロスモーダル負荷評価部１０１以外の構成である、視覚負荷評価部１０３、聴覚負荷評価部１０４および負荷統合部１０５については、認知負荷評価装置１０から除いてもよい。例えば、視覚負荷評価部１０３、聴覚負荷評価部１０４および負荷統合部１０５は、認知負荷評価装置１０とは別に設けられた外部装置が備える構成であってもよい。
　図２Ａは、認知負荷評価装置１０の機能を実現するハードウェア構成を示すブロック図である。図２Ｂは、認知負荷評価装置１０の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図２Ａおよび図２Ｂにおいて、マウス２０１およびキーボード２０２は、図１に示した入力装置２０であり、例えば、評価対象のＨＭＩを有する機器が備える構成であってもよい。評価対象のＨＭＩを操作するユーザは、マウス２０１およびキーボード２０２を用いて、例えば、評価対象のＨＭＩの選択およびＨＭＩにおいて提示された情報の選択などの各種操作を行うことができる。
　また、入力装置２０は、評価対象のＨＭＩを有する機器から、当該ＨＭＩで提示される情報および上記コマンド情報を取得して認知負荷評価装置１０に出力する。
　ディスプレイ２０３およびスピーカ２０４は、図１に示した出力装置３０である。ディスプレイ２０３は、ＨＭＩの操作画面あるいは認知負荷評価装置１０による認知負荷評価結果を表示する。スピーカ２０４は、ＨＭＩの操作内容の音声ガイダンスなどの音声情報を出力する。
　補助記憶装置２０５には、ＨＭＩで提示される情報およびコマンド情報が記憶される。補助記憶装置２０５は、例えば、ＲＡＭ　（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ　（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ　（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などで実現され、これらを組み合わせた記憶装置であってもよい。また、補助記憶装置２０５の記憶領域の一部または全部を外部装置に設けてもよい。この場合、認知負荷評価装置１０が、インターネットあるいはイントラネットなどの通信回線を経由して上記外部装置と通信してコマンド情報を取得する。
　認知負荷評価装置１０における、モーダル情報抽出部１００、クロスモーダル負荷評価部１０１、負荷統合部１０２、視覚負荷評価部１０３および聴覚負荷評価部１０４の各機能は、処理回路により実現される。すなわち、認知負荷評価装置１０は、これらの機能を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもメモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよい。
　前述した処理回路が、図２Ａに示す専用のハードウェアの処理回路２００である場合、処理回路２００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。
　認知負荷評価装置１０における、モーダル情報抽出部１００、クロスモーダル負荷評価部１０１、負荷統合部１０２、視覚負荷評価部１０３および聴覚負荷評価部１０４の各機能をそれぞれ処理回路で実現してもよいし、各機能をまとめて１つの処理回路で実現してもよい。
　前述した処理回路が、図２Ｂに示すプロセッサ２０６である場合、モーダル情報抽出部１００、クロスモーダル負荷評価部１０１、負荷統合部１０２、視覚負荷評価部１０３、および聴覚負荷評価部１０４の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ２０７に格納される。
　プロセッサ２０６は、メモリ２０７に格納されたプログラムを読み出し実行することにより各機能を実現する。すなわち、認知負荷評価装置１０は、プロセッサ２０６によって実行されるときに、図３に示すステップＳＴ３０１からステップＳＴ３０７までの処理が結果的に実行されるプログラムを格納するためのメモリ２０７を備える。これらのプログラムは、モーダル情報抽出部１００、クロスモーダル負荷評価部１０１、負荷統合部１０２、視覚負荷評価部１０３および聴覚負荷評価部１０４の手順または方法をコンピュータに実行させるものである。
　メモリは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）などが該当する。
　また、モーダル情報抽出部１００、クロスモーダル負荷評価部１０１、負荷統合部１０２、視覚負荷評価部１０３および聴覚負荷評価部１０４の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
　例えば、モーダル情報抽出部１００およびクロスモーダル負荷評価部１０１は、専用のハードウェアの処理回路でその機能を実現し、負荷統合部１０２、視覚負荷評価部１０３および聴覚負荷評価部１０４については、プロセッサ２０６がメモリ２０７に格納されたプログラム実行することにより、その機能を実現する。
　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって前述の機能を実現することができる。
　次に動作について説明する。
　図３は、認知負荷評価装置１０の動作を示すフローチャートであり、ＨＭＩを操作するユーザの認知負荷が評価されるまでの一連の処理を示している。
　まず、モーダル情報抽出部１００が、評価対象のＨＭＩを有する機器から入力装置２０によって取得された情報を入力する（ステップＳＴ３０１）。
　入力装置２０から入力される情報は、評価対象のＨＭＩで提示された情報および前述したコマンド情報である。以下、評価対象のＨＭＩは、第１のモーダル（視覚）および第２のモーダル（聴覚）を有するものとする。
　モーダル情報抽出部１００は、評価対象のＨＭＩで提示された情報を解析し、モーダル情報を抽出する（ステップＳＴ３０２）。
　例えば、モーダル情報抽出部１００が、評価対象のＨＭＩにおける情報の提示内容を解析し、この解析結果に基づいて、第１のモーダルに関するモーダル情報と第２のモーダルに関するモーダル情報とを抽出する。以下、第１のモーダルに関するモーダル情報を視覚情報と記載し、第２のモーダルに関するモーダル情報を聴覚情報と記載する。
　次に、クロスモーダル負荷評価部１０１は、モーダル情報抽出部１００によって抽出された視覚情報および聴覚情報に基づいて、第１のモーダルと第２のモーダルとの間におけるクロスモーダル負荷の評価値を算出する（ステップＳＴ３０３）。
　例えば、クロスモーダル負荷評価部１０１が、視覚情報の提示内容と聴覚情報の提示内容とを照合し、この照合結果に基づいて視覚情報と聴覚情報との間のクロスモーダル負荷の評価値を算出する。
　続いて、視覚負荷評価部１０３は、モーダル情報抽出部１００によって抽出された視覚情報と、クロスモーダル負荷評価部１０１によって算出されたクロスモーダル負荷の評価値とに基づいて、クロスモーダル視覚負荷の評価値を算出する（ステップＳＴ３０４）。
　クロスモーダル視覚負荷の評価値は、視覚負荷の評価値と、クロスモーダル負荷の評価値とを線形結合したものである。視覚負荷は、視覚的に提示された情報がユーザに与える認知負荷である。
　聴覚負荷評価部１０４は、モーダル情報抽出部１００によって抽出された聴覚情報と、クロスモーダル負荷評価部１０１によって算出されたクロスモーダル負荷の評価値とに基づいて、クロスモーダル聴覚負荷の評価値を算出する（ステップＳＴ３０５）。
　クロスモーダル聴覚負荷の評価値は、聴覚負荷の評価値と、クロスモーダル負荷の評価値とを線形結合したものである。聴覚負荷は、聴覚的に提示された情報がユーザに与える認知負荷である。
　負荷統合部１０２は、クロスモーダル視覚負荷の評価値とクロスモーダル聴覚負荷の評価値とを統合した値を算出する（ステップＳＴ３０６）。統合とは、クロスモーダル視覚負荷の評価値とクロスモーダル聴覚負荷の評価値とを線形結合することを意味する。
　負荷統合部１０２によって算出された統合値は、評価対象のＨＭＩを操作するユーザの認知負荷の評価値として出力装置３０に送られる。
　出力装置３０は、負荷統合部１０２から受け取った評価値を認知負荷の評価結果として出力する（ステップＳＴ３０７）。例えば、ディスプレイ２０３が、認知負荷の評価値を表示する。これにより、ユーザは、評価対象のＨＭＩにおける認知負荷を認識することができる。
　次に、モーダル情報が抽出されるまでの一連の処理について詳細に説明する。
　モーダル情報抽出部１００は、入力装置２０からモーダルごとに提示された情報を入力する。評価対象のＨＭＩは、第１のモーダル（視覚）と第２のモーダル（聴覚）を有しているので、このＨＭＩでは、図４Ａおよび図４Ｂに示すような情報が提示される。
　図４Ａに示すように、第１のモーダルでは画面表示４０１で情報が提示される。
　画面表示４０１は、例えば、操作の選択画面である。ユーザは、画面表示４０１の内容に基づいて、入力装置２０を用いて、“楽曲検索”、“アドレス帳”および“目的地検索”のうちから目的の操作を選択することができる。画面表示４０１は、図２Ａおよび図２Ｂに示したディスプレイ２０３に表示される。
　図４Ｂに示すように、第２のモーダルでは音声ガイダンス４０２で情報が提示される。
　音声ガイダンス４０２は、例えば、操作の選択を促す音声情報である。ユーザは、音声ガイダンス４０２の内容に基づいて、入力装置２０を用いて、“楽曲検索”、“アドレス帳”および“目的地検索”のうちから目的の操作を選択することができる。音声ガイダンス４０２は、図２Ａおよび図２Ｂに示したスピーカ２０４から音声出力される。
　また、モーダル情報抽出部１００は、入力装置２０からコマンド情報を入力する。
　図５は、コマンド情報５０１の例を示す図である。コマンド情報５０１は、コマンドが定義された情報である。コマンド情報５０１に定義されたコマンドは、評価対象のＨＭＩで提示された情報においてユーザが選択可能なコマンドである。
　コマンド情報５０１は、ＨＭＩが設計されたときに作成された情報を用いてもよいが、ＨＭＩを操作するユーザの認知負荷を評価するときにユーザが適宜設定した情報であってもよい。
　コマンド情報５０１には、コマンドの識別情報であるコマンドＩＤと、コマンドを選択することで実行される操作の内容とが対応付けられている。
　図５に示すコマンド情報では、コマンドＩＤがＣ１であるコマンドが選択されると、楽曲検索が実行される。同様にコマンドＩＤがＣ２であるコマンドが選択されると、アドレス帳の表示が実行され、コマンドＩＤがＣ３であるコマンドが選択されると、目的地検索が実行される。
　上記ＨＭＩを操作するユーザの認知負荷には、第１のモーダルで提示されたコマンドを選択するときの認知負荷と、第２のモーダルで提示されたコマンドを選択するときの認知負荷とが含まれる。さらに、第１のモーダルで提示されたコマンドを選択するときに第２のモーダルで提示された情報が与える認知負荷と、第２のモーダルで提示されたコマンドを選択するときに第１のモーダルで提示された情報が与える認知負荷も含まれる。
　図６はモーダル情報抽出部１００の動作を示すフローチャートであり、図３のステップＳＴ３０２の詳細な処理を示している。
　モーダル情報抽出部１００は、コマンド情報を参照して（ステップＳＴ６０１）、評価対象のＨＭＩで提示された情報のうち、プロパティ情報を抽出していないコマンドＣＸが存在するか否かを判定する（ステップＳＴ６０２）。なお、コマンドＣＸとは、評価対象のＨＭＩにおいて選択可能なコマンドであり、例えば、コマンド情報５０１に定義されたコマンドである。
　プロパティ情報を抽出していないコマンドＣＸが存在しない場合（ステップＳＴ６０２；ＮＯ）、処理を終了する。
　プロパティ情報を抽出していないコマンドＣＸが存在する場合（ステップＳＴ６０２；ＹＥＳ）、モーダル情報抽出部１００は、画面表示４０１の内容にコマンドＣＸが存在するか否かを確認する（ステップＳＴ６０３）。
　例えば、モーダル情報抽出部１００は、コマンドＩＤを用いて画面表示４０１に関する情報を検索することにより、コマンド情報５０１に定義されたコマンドＣＸが存在するか否かを確認する。
　画面表示４０１の内容にコマンドＣＸがない場合（ステップＳＴ６０３；ＮＯ）、ステップＳＴ６０５の処理に移行する。
　一方、画面表示４０１の内容にコマンドＣＸが存在する場合（ステップＳＴ６０３；ＹＥＳ）、モーダル情報抽出部１００は、画面表示４０１の内容からコマンドＣＸに関するプロパティ情報を抽出する（ステップＳＴ６０４）。
　ステップＳＴ６０４で抽出されるプロパティ情報は、画面表示４０１におけるコマンドＣＸの提示内容を示す情報であり、第１のモーダルで提示される情報のプロパティ情報である。上記プロパティ情報には、例えば、画面表示４０１における、コマンドＣＸを示す文字情報のフォントサイズ、画面表示４０１の明度および彩度といった色情報、および、上記文字情報の出現順などが含まれる。画面表示４０１における上記文字情報の出現順とは、上記文字情報が画面上の一定の方向に並んだ順番を示している。
　図４Ａでは、画面の上辺側を基準として、“楽曲検索”についてのコマンドの出現順が“１”であり、“アドレス帳”についてのコマンドの出現順が“２”であり、“目的地検索”についてのコマンドの出現順が“３”である。
　モーダル情報抽出部１００は、例えば、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）などのＨＭＩの設計データに基づいて上記プロパティ情報を作成してもよい。また、上記プロパティ情報は、ＨＭＩの画面情報を解析した結果を用いて作成された情報であってもよい。
　ステップＳＴ６０５において、モーダル情報抽出部１００は、音声ガイダンス４０２の内容にコマンドＣＸが存在するか否かを確認する。
　例えば、モーダル情報抽出部１００は、コマンドＩＤを用いて音声ガイダンス４０２に関する情報を検索することにより、コマンド情報５０１に定義されたコマンドＣＸが存在するか否かを確認する。
　音声ガイダンス４０２の内容にコマンドＣＸが存在しない場合（ステップＳＴ６０５；ＮＯ）、ステップＳＴ６０１に戻って前述した一連の処理を繰り返す。
　一方、音声ガイダンス４０２の内容にコマンドＣＸが存在する場合（ステップＳＴ６０５；ＹＥＳ）、モーダル情報抽出部１００は、音声ガイダンス４０２の内容からコマンドＣＸに関するプロパティ情報を抽出する（ステップＳＴ６０６）。
　上記プロパティ情報は、音声ガイダンス４０２におけるコマンドＣＸの提示内容を示す情報であり、第２のモーダルで提示される情報のプロパティ情報である。上記プロパティ情報には、例えば、音声ガイダンス４０２における、コマンドＣＸを示す文字情報を含む文章情報の話速、音量、および、上記文字情報が音声出力される時系列での出現順などが含まれる。
　図４Ｂに示した音声ガイダンス４０２では、“目的地検索”、“楽曲検索”、“アドレス帳”の順で音声出力されている。従って、“目的地検索”についてのコマンドの出現順は“１”であり、“楽曲検索”についてのコマンドの出現順は“２”であり、“アドレス帳”についてのコマンドの出現順は“３”である。
　モーダル情報抽出部１００は、コマンドＣＸを示す文字情報を含む文章情報に対して、形態素解析、係り受け解析といった自然言語処理を施し、この処理結果に基づいて、上記プロパティ情報を作成してもよい。また、上記プロパティ情報は、ＨＭＩの設計データを用いて作成された情報であってもよい。
　ステップＳＴ６０６の処理が完了すると、ステップＳＴ６０１に戻り、プロパティ情報が未抽出のコマンドＣＸが存在しなくなるまで、前述した一連の処理が繰り返される。
　ステップＳＴ６０４で抽出されたプロパティ情報が視覚情報に相当し、ステップＳＴ６０６で抽出されたプロパティ情報が聴覚情報に相当する。
　図７Ａは、ステップＳＴ６０４で抽出されたモーダル情報の一例を示す図であり、視覚情報７０１が、図４Ａの画面表示４０１についてのプロパティ情報である。
　図７Ｂは、ステップＳＴ６０６で抽出されたモーダル情報の一例を示す図であり、聴覚情報７０２が、図４Ｂの音声ガイダンス４０２についてのプロパティ情報である。
　図７Ａに示すように、視覚情報７０１は、コマンドＩＤがＣ１～Ｃ３であるコマンドの視覚的な提示内容を示している。
　例えば、コマンドＩＤがＣ１のコマンドが選択されると実行される操作の名称は“楽曲検索”である。画面表示４０１における“楽曲検索”という文字情報の出現順は“１”であり、この文字情報のフォントサイズは“ａａａ”、その表示エリアの明度は“ｂｂｂ”である。
　図７Ｂに示すように、聴覚情報７０２は、コマンドＩＤがＣ１～Ｃ３であるコマンドの聴覚的な提示内容を示している。
　例えば、コマンドＩＤがＣ２のコマンドが選択されると実行される操作の名称は“アドレス帳”である。音声ガイダンス４０２において、“アドレス帳”という文字情報が読み上げられる順番、すなわち出現順は“３”であり、話速が“ｘｘｘ”、音量が“ｙｙｙ”である。
　次に、クロスモーダル負荷の評価値を算出する処理について詳細に説明する。
　図８は、クロスモーダル負荷評価部１０１の動作を示すフローチャートであり、図３のステップＳＴ３０３の詳細な処理を示している。
　クロスモーダル負荷評価部１０１は、視覚情報７０１と聴覚情報７０２とを参照して（ステップＳＴ８０１）、共通のプロパティ項目が存在するか否かを確認する（ステップＳＴ８０２）。
　プロパティ項目とは、プロパティ情報を構成する情報の種別を示す情報である。
　例えば、視覚情報７０１では、“名称”、“出現順”、“フォントサイズ”、“明度”がプロパティ項目に相当する。聴覚情報７０２では、“名称”、“出現順”、“話速”、“音量”がプロパティ項目に相当する。プロパティ項目に設定される情報はコマンドごとに対応付けられている。
　共通のプロパティ項目が存在しない場合（ステップＳＴ８０２；ＮＯ）、図８の処理は終了する。一方、共通のプロパティ項目が存在すると（ステップＳＴ８０２；ＹＥＳ）、ステップＳＴ８０３の処理に移行する。
　ステップＳＴ８０３において、クロスモーダル負荷評価部１０１は、共通のプロパティ項目に対応するコマンドＣＸのうち、視覚情報７０１と聴覚情報７０２とで共通のプロパティ項目の内容が照合されていないコマンドＣＸが存在するか否かを判定する。
　上記共通のプロパティ項目の内容が照合されていないコマンドＣＸが存在しない場合（ステップＳＴ８０３；ＮＯ）、次に対象となるプロパティ項目に対して、ステップＳＴ８０１からの処理が繰り返される。
　一方、上記共通のプロパティ項目の内容が照合されていないコマンドＣＸが存在する場合（ステップＳＴ８０３；ＹＥＳ）、クロスモーダル負荷評価部１０１は、当該コマンドＣＸに対応する上記プロパティ項目について、視覚情報７０１と聴覚情報７０２とで内容を照合する（ステップＳＴ８０４）。
　上記共通のプロパティ項目の内容が視覚情報７０１と聴覚情報７０２とで一致した場合（ステップＳＴ８０５；ＹＥＳ）、クロスモーダル負荷評価部１０１は、このプロパティ項目の内容には視覚情報７０１と聴覚情報７０２とで齟齬がないと判定する。この場合、ステップＳＴ８０３の処理に戻る。
　上記共通のプロパティ項目の内容が視覚情報７０１と聴覚情報７０２とで一致しない場合（ステップＳＴ８０５；ＮＯ）、クロスモーダル負荷評価部１０１は、このプロパティ項目の内容は、視覚情報７０１と聴覚情報７０２とで齟齬があると判定する。この場合、クロスモーダル負荷評価部１０１は、このプロパティ項目に関するクロスモーダル負荷の評価値ＬＣを算出する（ステップＳＴ８０６）。この後、ステップＳＴ８０１に戻って、共通のプロパティ項目がなくなるまで、次に対象となるプロパティ項目に対して前述した一連の処理が繰り返される。
　例えば、視覚情報７０１と聴覚情報７０２とでは、図７Ａおよび図７Ｂに示すように、プロパティ項目“出現順”が共通している。プロパティ項目“出現順”には、コマンドＩＤがＣ１～Ｃ３である３つのコマンドが対応している。
　クロスモーダル負荷評価部１０１は、コマンドＩＤがＣ１～Ｃ３である３つのコマンドのそれぞれに対応するプロパティ項目“出現順”の内容を、視覚情報７０１と聴覚情報７０２とで照合する。コマンドＩＤがＣ１であるコマンドに対応するプロパティ項目“出現順”の内容は、視覚情報７０１では“１”であるが、聴覚情報７０２では“２”であり、これらの内容は一致していない。これにより、クロスモーダル負荷評価部１０１は、プロパティ項目“出現順”に関して視覚情報７０１と聴覚情報７０２とで内容に齟齬が生じていると判定する。
　クロスモーダル負荷評価部１０１は、コマンドＩＤがＣ１～Ｃ３である３つのコマンドのそれぞれを要素とした３つの順位ベクトルを作成して、順位ベクトル間の距離尺度を、プロパティ項目“出現順”に関するクロスモーダル負荷の評価ＬＣとして算出する。距離尺度には、Ｋｅｎｄａｌｌ距離あるいはＬ１ノルムなどがある。
　また、クロスモーダル負荷評価部１０１は、視覚情報７０１と聴覚情報７０２とでプロパティ項目“出現順”の内容が異なるコマンドＣＸの個数だけ任意の値を足し合わせた値を、クロスモーダル負荷の評価ＬＣとして算出してもよい。任意の値とは、ユーザが任意で設定した値である。
　さらに、クロスモーダル負荷評価部１０１は、コマンドＩＤがＣ１～Ｃ３である３つのコマンドのそれぞれに対応するプロパティ項目“出現順”のうち、１つでも、視覚情報７０１と聴覚情報７０２とで内容が一致しない場合、ユーザが任意に設定した値を、クロスモーダル負荷の評価ＬＣとしてもよい。
　なお、プロパティ項目“出現順”について説明したが、視覚情報７０１と聴覚情報７０２とで共通する他のプロパティ項目についても同様の処理によってクロスモーダル負荷の評価値ＬＣを算出することができる。
　次に、クロスモーダル視覚負荷の評価値を算出する処理について詳細に説明する。
　図９は、視覚負荷評価部１０３の動作を示すフローチャートであって、図３のステップＳＴ３０４の詳細な処理を示している。
　まず、視覚負荷評価部１０３が、視覚情報７０１に基づいて、視覚負荷の評価値ＬＶを算出する（ステップＳＴ９０１）。例えば、視覚負荷評価部１０３は、視覚情報７０１におけるプロパティ項目“フォントサイズ”が閾値よりも小さい場合またはプロパティ項目“明度”が閾値よりも小さい場合に、視覚負荷の評価値ＬＶに一定値を加算する。
　このようにユーザが視覚的に認知しにくい提示内容である場合、視覚負荷評価部１０３は、値が高くなるように視覚負荷の評価値ＬＶを算出する。
　視覚負荷評価部１０３は、下記式（１）に従って、視覚負荷の評価値ＬＶとクロスモーダル負荷の評価値ＬＣとを線形結合することで、クロスモーダル視覚負荷の評価値ＬＣＶを算出する（ステップＳＴ９０２）。ただし、下記式（１）において、α，βは線形結合の係数である。
　ＬＣＶ＝αＬＣ＋βＬＶ　　　・・・（１）
　次に、クロスモーダル聴覚負荷の評価値を算出する処理について詳細に説明する。
　図１０は、聴覚負荷評価部１０４の動作を示すフローチャートであって、図３のステップＳＴ３０５の詳細な処理を示している。
　まず、聴覚負荷評価部１０４が、聴覚情報７０２に基づいて、聴覚負荷の評価値ＬＡを算出する（ステップＳＴ１００１）。例えば、聴覚負荷評価部１０４は、聴覚情報７０２におけるプロパティ項目“話速”が閾値よりも速い場合またはプロパティ項目“音量”が閾値よりも小さい場合に、聴覚負荷の評価値ＬＡに一定値を加算する。
　このようにユーザが聴覚的に認知しにくい提示内容である場合、聴覚負荷評価部１０４は、値が高くなるように聴覚負荷の評価値ＬＡを算出する。
　聴覚負荷評価部１０４は、下記式（２）に従って、聴覚負荷の評価値ＬＡとクロスモーダル負荷の評価値ＬＣとを線形結合することで、クロスモーダル聴覚負荷の評価値ＬＣＡを算出する（ステップＳＴ１００２）。ただし、下記式（２）において、γ，δは線形結合の係数である。
　ＬＣＡ＝γＬＣ＋δＬＡ　　　・・・（２）
　次に、図３のステップＳＴ３０６の処理について詳細に説明する。
　負荷統合部１０２は、下記式（３）に従って、クロスモーダル視覚負荷の評価値ＬＣＶと、クロスモーダル聴覚負荷の評価値ＬＣＡとを統合した値を、評価対象のＨＭＩを操作するユーザの認知負荷の評価値Ｌとして算出する。ただし、下記式（３）において、ε，ζは線形結合の重みである。認知負荷の評価値Ｌは、ディスプレイ２０３に表示される。
　Ｌ＝εＬＣＶ＋ζＬＣＡ　　　・・・（３）
　以上のように、実施の形態１に係る認知負荷評価装置１０において、モーダル情報抽出部１００が、ＨＭＩで提示された情報を解析した結果に基づいて、視覚情報７０１と聴覚情報７０２とを抽出する。クロスモーダル負荷評価部１０１が、視覚情報７０１と聴覚情報７０２とを照合した結果に基づいて、クロスモーダル負荷の評価値ＬＣを算出する。
　クロスモーダル負荷の評価値を算出することで、第１のモーダルと第２のモーダルとを有したＨＭＩにおいて、第１のモーダルで提示された情報と第２のモーダルで提示された情報とが相互にユーザに与える影響を考慮した認知負荷を評価することができる。
　例えば、画面表示４０１と音声ガイダンス４０２とが個々に情報を明瞭に提示していても、これらの提示内容に齟齬がある場合、クロスモーダル負荷の評価値ＬＣが高くなるので、ユーザの感覚に近い認知負荷を評価することができる。
　なお、第１のモーダルと第２のモーダルとで情報の提示内容が一致している場合、第１のモーダルで提示された情報と第２のモーダルで提示された情報とが相互に認知の補助をしていると判断して、認知負荷の評価値Ｌを低減してもよい。
　実施の形態１に係る認知負荷評価装置１０は、視覚負荷評価部１０３、聴覚負荷評価部１０４および負荷統合部１０５を備える。視覚負荷評価部１０３は、クロスモーダル視覚負荷の評価値ＬＣＶを算出する。聴覚負荷評価部１０４は、クロスモーダル聴覚負荷の評価値ＬＣＡを算出する。負荷統合部１０５は、クロスモーダル視覚負荷の評価値ＬＣＶとクロスモーダル聴覚負荷の評価値ＬＣＡとを統合した評価値Ｌを算出する。
　このように構成することで、クロスモーダル視覚負荷の評価値ＬＣＶとクロスモーダル聴覚負荷の評価値ＬＣＡとを考慮した認知負荷を評価することができる。
　実施の形態１に係る認知負荷評価装置１０において、クロスモーダル負荷評価部１０１は、第１のモーダルにおけるプロパティ情報と第２のモーダルにおけるプロパティ情報との間で共通する項目を照合して、項目の内容に不一致があった場合にクロスモーダル負荷の評価値を算出する。このように構成することで、第１のモーダルと第２のモーダルとで情報の提示内容に齟齬がある場合に、クロスモーダル負荷の評価値ＬＣによって認知負荷の評価値Ｌを高めることができる。
　実施の形態１に係る認知負荷評価装置１０において、クロスモーダル負荷評価部１０１は、モーダル同士の一方におけるプロパティ情報と他方におけるプロパティ情報との間で共通する項目がコマンドの出現順を示す項目であって、コマンドの出現順に不一致があった場合に、コマンドの出現順に基づいてクロスモーダル負荷の評価値ＬＣを算出する。
　また、クロスモーダル負荷評価部１０１は、第１のモーダルにおけるプロパティ情報と第２のモーダルにおけるプロパティ情報との間で一意に対応する項目がない場合、項目に対応付けられたコマンドの個数だけ任意の値を加算した値をクロスモーダル負荷の評価値ＬＣとして算出する。
　このように構成しても、第１のモーダルと第２のモーダルとで情報の提示内容に齟齬がある場合に、クロスモーダル負荷の評価値ＬＣによって認知負荷の評価値Ｌを高めることができる。
実施の形態２．
　図１１は、この発明の実施の形態２に係る認知負荷評価装置１１の構成を示すブロック図である。図１１において、図１と同一の構成要素には、同一の符号を付して説明を省略する。認知負荷評価装置１１は、図１１に示すように、モーダル情報抽出部１００、クロスモーダル負荷評価部１０１、視覚負荷評価部１１０、聴覚負荷評価部１１１および負荷統合部１１２を備える。
　視覚負荷評価部１１０は、第１のモーダル（視覚）に対応する認知負荷評価部であり、第１のモーダルで視覚的に提示された情報がユーザに与える認知負荷である視覚負荷の評価値ＬＶを算出する。視覚負荷の評価値ＬＶの算出方法は、実施の形態１で示した内容と同様である。聴覚負荷評価部１１１は、第２のモーダル（聴覚）に対応する認知負荷評価部であり、第２のモーダルで聴覚的に提示された情報がユーザに与える認知負荷である聴覚負荷の評価値ＬＡを算出する。聴覚負荷の評価値ＬＡの算出方法は、実施の形態１で示した内容と同様である。負荷統合部１１２は、視覚負荷の評価値ＬＶと聴覚負荷の評価値ＬＡとクロスモーダル負荷の評価値ＬＣとを統合した値を、評価対象のＨＭＩを操作するユーザの認知負荷の評価値Ｌとして算出する。
　認知負荷評価装置１１におけるモーダル情報抽出部１００、クロスモーダル負荷評価部１０１、視覚負荷評価部１１０、聴覚負荷評価部１１１および負荷統合部１１２の各機能は、処理回路によって実現される。すなわち、認知負荷評価装置１１は、これらの機能を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもメモリに格納されるプログラムを実行するＣＰＵであってもよい。
　次に動作について説明する。
　図１２は、認知負荷評価装置１１の動作を示すフローチャートであって、ＨＭＩを操作するユーザの認知負荷が評価されるまでの一連の処理を示している。
　図１２のステップＳＴ１２０１からステップＳＴ１２０３およびステップＳＴ１２０７の処理は、図３のステップＳＴ３０１からステップＳＴ３０３およびステップＳＴ３０７と同一であるので説明を省略する。また、図１２のステップＳＴ１２０４の処理は、図９のステップＳＴ９０１と同一であるので説明を省略する。図１２のステップＳＴ１２０５の処理も、図１０のステップＳＴ１００１と同一であるので説明を省略する。
　ステップＳＴ１２０６において、負荷統合部１１２は、下記式（４）に従って、クロスモーダル負荷の評価値ＬＣと、視覚負荷の評価値ＬＶと、聴覚負荷の評価値ＬＡとを線形結合することで、評価対象のＨＭＩを操作するユーザの認知負荷の評価値Ｌを算出する。
　ただし、下記式（４）において、α，β，γは線形結合の係数である。
　Ｌ＝αＬＣ＋βＬＶ＋γＬＡ　　　・・・（４）
　以上のように、実施の形態２に係る認知負荷評価装置１１は、視覚負荷評価部１１０、聴覚負荷評価部１１１および負荷統合部１１２を備える。視覚負荷評価部１１０は、モーダル情報抽出部１００によって抽出された視覚情報に基づいて、視覚負荷の評価値ＬＶを算出する。聴覚負荷評価部１１１は、モーダル情報抽出部１００によって抽出された聴覚情報に基づいて、聴覚負荷の評価値ＬＡを算出する。負荷統合部１１２は、視覚負荷、聴覚負荷、およびクロスモーダル負荷のそれぞれの評価値を統合した値を算出する。
　このように構成しても、第１のモーダルと第２のモーダルとを有したＨＭＩにおいて、第１のモーダルで提示された情報と第２のモーダルで提示された情報とが相互にユーザに与える影響を考慮した認知負荷を評価することができる。
　なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る認知負荷評価装置は、モーダル同士の一方で提示された情報と他方で提示された情報とが相互にユーザに与える影響を考慮した認知負荷を評価することができるので、例えば、車載機器のＨＭＩを操作するユーザの認知負荷の評価に好適である。
　１０，１１　認知負荷評価装置、２０　入力装置、３０　出力装置、１００　モーダル情報抽出部、１０１　クロスモーダル負荷評価部、１０２，１１２　負荷統合部、１０３，１１０　視覚負荷評価部、１０４，１１１　聴覚負荷評価部、２００　処理回路、２０１　マウス、２０２　キーボード、２０３　ディスプレイ、２０４　スピーカ、２０５　補助記憶装置、２０６　プロセッサ、２０７　メモリ、４０１　画面表示、４０２　音声ガイダンス、５０１　コマンド情報、７０１　視覚情報、７０２　聴覚情報。

Claims (7)

  1. 　複数のモーダルを有したヒューマンマシンインタフェースで提示された情報を解析した結果に基づいて、前記複数のモーダルのそれぞれにおける情報の提示内容を示すモーダル情報を抽出するモーダル情報抽出部と、
    　前記モーダル情報抽出部によって抽出されたモーダル情報を照合した結果に基づいて、前記ヒューマンマシンインタフェースを操作するユーザに対して、モーダル同士の一方で提示された情報と他方で提示された情報とが相互に与える認知負荷であるクロスモーダル負荷の評価値を算出するクロスモーダル負荷評価部と
    　を備えたことを特徴とする認知負荷評価装置。
  2. 　前記複数のモーダルのそれぞれに対応して設けられ、前記モーダル情報抽出部によって抽出されたモーダル情報と前記クロスモーダル負荷評価部によって算出されたクロスモーダル負荷の評価値とに基づいて、前記複数のモーダルのそれぞれで提示された情報が前記ユーザに与える認知負荷に対してクロスモーダル負荷を加味した認知負荷の評価値を算出する認知負荷評価部と、
    　前記認知負荷評価部によって算出された認知負荷の評価値をそれぞれ統合した値を算出する負荷統合部と
    　を備えたことを特徴とする請求項１記載の認知負荷評価装置。
  3. 　前記モーダル情報抽出部は、前記ヒューマンマシンインタフェースにおいて選択可能なコマンドが定義されたコマンド情報を参照して、モーダル情報からコマンドの提示内容を示すプロパティ情報を抽出し、
    　前記クロスモーダル負荷評価部は、モーダル同士の一方におけるプロパティ情報と他方におけるプロパティ情報との間で共通する項目を照合して、項目の内容に不一致があった場合にクロスモーダル負荷の評価値を算出すること
    　を特徴とする請求項１記載の認知負荷評価装置。
  4. 　前記クロスモーダル負荷評価部は、モーダル同士の一方におけるプロパティ情報と他方におけるプロパティ情報との間で共通する項目がコマンドの出現順を示す項目であって、コマンドの出現順に不一致があった場合に、コマンドの出現順に基づいてクロスモーダル負荷の評価値を算出すること
    　を特徴とする請求項３記載の認知負荷評価装置。
  5. 　前記クロスモーダル負荷評価部は、モーダル同士の一方におけるプロパティ情報と他方におけるプロパティ情報との間で一意に対応する項目がない場合、項目に対応付けられたコマンドの個数だけ任意の値を加算した値をクロスモーダル負荷の評価値として算出すること
    　を特徴とする請求項３記載の認知負荷評価装置。
  6. 　前記複数のモーダルのそれぞれに対応して設けられ、前記モーダル情報抽出部によって抽出されたモーダル情報に基づいて、前記複数のモーダルのそれぞれで提示された情報が前記ユーザに与える認知負荷の評価値を算出する認知負荷評価部と、
    　前記認知負荷評価部のそれぞれによって算出された認知負荷の評価値と、前記クロスモーダル負荷評価部によって算出されたクロスモーダル負荷の評価値とを統合した値を算出する負荷統合部と
    　を備えたことを特徴とする請求項１記載の認知負荷評価装置。
  7. 　モーダル情報抽出部が、複数のモーダルを有したヒューマンマシンインタフェースで提示された情報を解析した結果に基づいて、前記複数のモーダルのそれぞれにおける情報の提示内容を示すモーダル情報を抽出するステップと、
    　クロスモーダル負荷評価部が、前記モーダル情報抽出部によって抽出されたモーダル情報を照合した結果に基づいて、前記ヒューマンマシンインタフェースを操作するユーザに対して、モーダル同士の一方で提示された情報と他方で提示された情報とが相互に与える認知負荷であるクロスモーダル負荷の評価値を算出するステップと
    　を備えたことを特徴とする認知負荷評価方法。
PCT/JP2017/004004 2017-02-03 2017-02-03 認知負荷評価装置および認知負荷評価方法 WO2018142581A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018564990A JP6482747B2 (ja) 2017-02-03 2017-02-03 認知負荷評価装置および認知負荷評価方法
PCT/JP2017/004004 WO2018142581A1 (ja) 2017-02-03 2017-02-03 認知負荷評価装置および認知負荷評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/004004 WO2018142581A1 (ja) 2017-02-03 2017-02-03 認知負荷評価装置および認知負荷評価方法

Publications (1)

Publication Number Publication Date
WO2018142581A1 true WO2018142581A1 (ja) 2018-08-09

Family

ID=63040417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004004 WO2018142581A1 (ja) 2017-02-03 2017-02-03 認知負荷評価装置および認知負荷評価方法

Country Status (2)

Country Link
JP (1) JP6482747B2 (ja)
WO (1) WO2018142581A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886326A (zh) * 2019-01-31 2019-06-14 深圳市商汤科技有限公司 一种跨模态信息检索方法、装置和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012164020A (ja) * 2011-02-03 2012-08-30 Nec Corp 認知負荷評価装置、認知負荷評価方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012164020A (ja) * 2011-02-03 2012-08-30 Nec Corp 認知負荷評価装置、認知負荷評価方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SUMITAKA OKAJO: "A Study on Usability Indices (1): A Proposal for Quantification of User's Cognitive Load", FIT2011 DAI 10 KAI FORUM ON INFORMATION TECHNOLOGY KOEN RONBUNSHU, 22 August 2011 (2011-08-22), pages 527 - 528 *
TAKAHIRO IWATA: "Workload evaluation of information cognition in a multi-task environment", IPSJ SIG NOTES UBIQUITOUS COMPUTING SYSTEM( UBI), vol. 2009, no. 8, 15 May 2009 (2009-05-15), pages 1 - 8 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886326A (zh) * 2019-01-31 2019-06-14 深圳市商汤科技有限公司 一种跨模态信息检索方法、装置和存储介质
CN109886326B (zh) * 2019-01-31 2022-01-04 深圳市商汤科技有限公司 一种跨模态信息检索方法、装置和存储介质

Also Published As

Publication number Publication date
JP6482747B2 (ja) 2019-03-13
JPWO2018142581A1 (ja) 2019-03-14

Similar Documents

Publication Publication Date Title
CN104252864B (zh) 实时语音分析方法和系统
JP6465077B2 (ja) 音声対話装置および音声対話方法
US9431027B2 (en) Synchronized gesture and speech production for humanoid robots using random numbers
KR102199928B1 (ko) 사용자 페르소나를 고려한 대화형 에이전트 장치 및 방법
US10789952B2 (en) Voice command execution from auxiliary input
JP4898712B2 (ja) アドバイス装置、アドバイス方法、アドバイスプログラム及びアドバイスプログラムを記録したコンピュータ読み取り可能な記録媒体
EP2849054A1 (en) Apparatus and method for selecting a control object by voice recognition
KR20150144031A (ko) 음성 인식을 이용하는 사용자 인터페이스 제공 방법 및 사용자 인터페이스 제공 장치
Vretos et al. Exploiting sensing devices availability in AR/VR deployments to foster engagement
JP6482747B2 (ja) 認知負荷評価装置および認知負荷評価方法
US20140278428A1 (en) Tracking spoken language using a dynamic active vocabulary
JP4906776B2 (ja) 音声制御装置
JP2005525603A (ja) ハンドヘルド装置用音声コマンド及び音声認識
Gonçalves et al. Automatic detection of stereotypical motor movements
Unander-Scharin Extending opera-artist-led explorations in operatic practice through interactivity and electronics
Mackamul Improving the discoverability of interactions in interactive systems
US11862144B2 (en) Augmented training data for end-to-end models
Tian et al. Recognizing emotions in dialogues with disfluencies and non-verbal vocalisations
KR20130137367A (ko) 이미지 기반 도서 관련 서비스 제공 시스템 및 방법
KR20240149881A (ko) 서사 텍스트 및 음성 컴퓨터 게임 사용자 인터페이스
JP2016143050A (ja) 音声認識装置および音声認識方法
KR20150107344A (ko) 디스플레이 장치 및 디스플레이 장치의 비속어 처리 방법
WO2019026716A1 (ja) 情報処理装置、及び情報処理方法
JP4840052B2 (ja) 発音学習支援装置及び発音学習支援プログラム
Kanawade et al. Gesture and voice recognition in story telling application

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17894783

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018564990

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17894783

Country of ref document: EP

Kind code of ref document: A1