WO2024042817A1 - 情報提供装置及び情報提供方法 - Google Patents
情報提供装置及び情報提供方法 Download PDFInfo
- Publication number
- WO2024042817A1 WO2024042817A1 PCT/JP2023/021345 JP2023021345W WO2024042817A1 WO 2024042817 A1 WO2024042817 A1 WO 2024042817A1 JP 2023021345 W JP2023021345 W JP 2023021345W WO 2024042817 A1 WO2024042817 A1 WO 2024042817A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- recipient
- provider
- explanation
- gaze
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000004891 communication Methods 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims description 55
- 230000008451 emotion Effects 0.000 claims description 40
- 230000002996 emotional effect Effects 0.000 claims description 20
- 230000010365 information processing Effects 0.000 claims description 13
- 230000002123 temporal effect Effects 0.000 claims description 11
- 238000013459 approach Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 abstract description 9
- 238000003379 elimination reaction Methods 0.000 abstract description 9
- 230000019771 cognition Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Definitions
- the present invention relates to an information providing device and an information providing method.
- This system includes a video acquisition unit that acquires a video of the second user, which is obtained by photographing a second user listening to the voice of the first user who is a speaker;
- the present invention relates to a system comprising: a determining unit that determines at least one of the second user's emotion and concentration level based on the second user; and a providing unit that provides the first user with the determination result by the determining unit.
- an object of the present invention is to provide a technology that can support the elimination of the gap in awareness and recognition among those involved who come into contact with the information in a situation where information is provided in real time.
- the information providing device of the present invention that solves the above problems includes a communication device that performs data communication with other devices, and an observation unit that observes the explanation status of the information by the information provider. a process of acquiring position information; a process of acquiring information of a gaze position of the recipient from a gaze analysis unit that estimates the gaze direction of the recipient receiving the explanation; and a process of acquiring information of the gaze position of the recipient who receives the explanation, and
- the present invention is characterized by comprising an arithmetic device that executes a process of identifying and outputting a gap in information exchange between the provider and the recipient based on each piece of information.
- the information processing device is equipped with a communication device that performs data communication with other devices, and the information processing device receives information from an observation unit that observes the explanation status of the information by the information provider.
- a process of acquiring information on the explanation position in the information a process of acquiring information on the gaze position of the recipient from a gaze analysis unit that estimates the gaze direction of the recipient receiving the explanation, and the explanation position and
- the present invention is characterized by executing a process of identifying and outputting a gap in information exchange between the provider and the recipient based on each piece of information on the line of sight position.
- the present invention in a situation where information is provided in real time, it is possible to support the elimination of gaps in awareness and recognition among the parties involved who come into contact with the information.
- FIG. 1 is a network configuration diagram including an information providing device according to the present embodiment.
- FIG. 2 is a diagram showing an example of the hardware configuration of an information providing device according to the present embodiment. It is a diagram showing an example of the hardware configuration of a provider terminal in this embodiment. It is a diagram showing an example of the hardware configuration of a recipient terminal in this embodiment. It is a figure showing an example of composition of content DB in this embodiment. It is a figure showing an example of composition of management DB in this embodiment. It is a figure showing the example of composition of the judgment table in this embodiment. It is a figure showing an example of composition of user management DB in this embodiment. It is a figure showing an example of a flow of an information provision method in this embodiment. It is a figure showing a conceptual example in this embodiment. It is a figure which shows the example of a screen in this embodiment. It is a figure which shows the example of a screen in this embodiment.
- FIG. 1 is a network configuration diagram including an information providing apparatus 100 of this embodiment.
- the information providing apparatus 100 shown in FIG. 1 is a computer that can support eliminating gaps in awareness and recognition among parties involved in accessing information in a situation where information is provided in real time.
- the information providing apparatus 100 of this embodiment is communicably connected to a provider terminal 200 and a recipient terminal 300 via an appropriate network 1 such as a LAN (Local Area Network) such as the Internet. ing. Therefore, these may be collectively referred to as the information providing system 10.
- an appropriate network 1 such as a LAN (Local Area Network) such as the Internet. ing. Therefore, these may be collectively referred to as the information providing system 10.
- the information providing device 100 of the present embodiment provides a service that eliminates the gap between the information provider and the recipient when information is transmitted based on various contents such as lectures at educational institutions and seminars and conferences at companies. It can be called a device.
- the provider terminal 200 is a terminal operated by a person (information provider) who transmits information to students, students, conference participants, etc. using the above-mentioned content.
- a person information provider
- the provider terminal 200 stores content such as lectures and outputs it to students and the like as appropriate.
- the recipient terminal 300 is a terminal operated by a person (receiver) who recognizes the information issued by the above-mentioned provider and performs learning or the like.
- a personal computer, a tablet terminal, a smartphone, etc. can be assumed for displaying the content distributed from the provider terminal 200 and providing it to the recipient.
- FIG. 2 the hardware configuration of the information providing apparatus 100 of this embodiment is shown in FIG. 2 as follows. That is, the information providing device 100 includes a storage device 101, a memory 103, an arithmetic device 104, and a communication device 105.
- the storage device 101 is composed of an appropriate nonvolatile storage element such as an SSD (Solid State Drive) or a hard disk drive.
- an SSD Solid State Drive
- a hard disk drive any suitable nonvolatile storage element
- the memory 103 is composed of a volatile storage element such as a RAM (Random Access Memory).
- the arithmetic device 104 is a CPU that reads the program 102 held in the storage device 101 to the memory 103 and executes it, performs overall control of the device itself, and performs various determinations, calculations, and control processing.
- the program 102 described above includes a machine learning engine 1021.
- the machine learning engine 1021 is an engine for estimating the recipient's emotion and concentration level, and it estimates the recipient's emotion based on sensing data obtained from the gaze analysis unit 308 and emotion analysis unit 309 of the recipient terminal 300. and concentration level (this function may be provided in the recipient terminal 300).
- the communication device 105 is assumed to be a network interface card or the like that connects to the network 1 and handles communication processing with the provider terminal 200 and the recipient terminal 300.
- the storage device 101 stores at least a content DB 125, a management DB 126, a determination table 127, and a user management DB 128. There is. However, details regarding these databases and the like will be described later.
- FIG. 3 shows an example of the hardware configuration of the provider terminal 200 in this embodiment.
- the provider terminal 200 of this embodiment includes a storage device 201, a memory 203, a calculation device 204, an input device 205, an output device 206, a communication device 207, and an observation unit 208.
- the storage device 201 is configured with an appropriate nonvolatile storage element such as an SSD (Solid State Drive) or a hard disk drive.
- an SSD Solid State Drive
- a hard disk drive any suitable nonvolatile storage element
- the memory 203 is composed of a volatile storage element such as a RAM (Random Access Memory).
- RAM Random Access Memory
- the arithmetic device 204 is a CPU that reads out and executes the program 202 held in the storage device 201 to the memory 203, performs overall control of the device itself, and performs various determinations, calculations, and control processing.
- the input device 205 is a user interface device such as a keyboard, mouse, and microphone that accepts input operations from the provider.
- the output device 206 is a user interface device such as a display or a speaker that outputs the processing results of the arithmetic device 204.
- the communication device 207 is assumed to be a network interface card or the like that connects to the network 1 and handles communication processing with the information providing device 100 and the recipient terminal 300.
- a content DB 225 is stored in addition to a program 202 for implementing functions necessary for the provider terminal 200 of this embodiment. However, details regarding this content DB 225 will be described later.
- FIG. 4 shows an example of the hardware configuration of the recipient terminal 300 in this embodiment.
- the recipient terminal 300 of this embodiment includes a storage device 301, a memory 303, a calculation device 304, an input device 305, an output device 306, a communication device 307, a gaze analysis unit 308, an emotion analysis unit 309, and a posture analysis unit 310. .
- the storage device 301 is composed of an appropriate nonvolatile storage element such as an SSD (Solid State Drive) or a hard disk drive.
- the memory 303 is composed of a volatile storage element such as a RAM (Random Access Memory).
- the arithmetic device 304 is a CPU that reads out and executes the program 302 held in the storage device 301 to the memory 303, performs overall control of the device itself, and performs various determinations, calculations, and control processing.
- the input device 305 is a user interface device such as a keyboard, mouse, or microphone that accepts input operations from the recipient.
- the output device 306 is a user interface device such as a display or a speaker that outputs the processing results of the arithmetic device 304.
- the communication device 307 is assumed to be a network interface card or the like that connects to the network 1 and handles communication processing with the information providing device 100 and the provider terminal 200.
- the line of sight analysis unit 308 is a unit that estimates the part of the information presented by the provider that the recipient is viewing based on appropriate inputs such as a line of sight sensor and facial image data.
- the line of sight analysis unit 308 may appropriately adopt various products implemented using existing technology.
- the emotion analysis unit 309 is a unit that estimates, based on appropriate input such as facial image data, what kind of emotion the recipient, who has been presented with information from the provider, interacts with the information.
- the emotion analysis unit 309 may appropriately adopt various products implemented using existing technology.
- the posture analysis unit 310 captures a face image of the recipient and detects a change in the center of gravity of the face area indicated by this face image, thereby calculating, for example, the distance that the center of gravity of the face has moved in the last one second. If this moving distance is equal to or greater than the threshold value, it is determined that there has been a change in the posture of the recipient.
- This posture analysis unit may employ existing technology that inputs a face image, a sensor, etc. as appropriate.
- FIG. 5 shows an example of the content DB 125 in this embodiment.
- the content DB 125 of this embodiment is a database that stores electronic data such as materials acquired from the provider terminal 200 and used by the provider in lectures, seminars, and the like.
- This content DB 125 is, for example, a collection of records in which each value such as content ID, content content, and provision target is associated with a provider ID that uniquely identifies a provider as a key.
- the records that make up this content DB 125 are data stored in the content DB 225 held in the provider terminal 200. In other words, it is data provided from the provider terminal 200.
- FIG. 6 shows an example of the management DB 126 of this embodiment.
- the management DB 126 of this embodiment records what kind of content the provider used and what kind of target the provider gave the explanation to, and as a result, the information on the side of the person who received the explanation, that is, the information recipient.
- This is a database that manages the situation (line of sight, emotions, changes in line of sight, changes in posture).
- This management DB 126 uses the provider ID as a key, the content ID used by the provider, the date and time when the content was used, the explanation position at the date and time, the explanation target, the gaze position in the content of the whole explanation target, and the emotion. It is a collection of records that are associated with values such as , line of sight change, posture change, and gap.
- the "explanation targets" managed in this management DB 126 are, for example, a group of granular recipients, such as the faculty to which the lecture target students belong, and the companies to which the seminar participants belong. Therefore, the values of gaze position (average), emotion (average), gaze change (average), posture change (average), and gap are also the average values of the observed values, estimated values, etc. of each member of the recipient group. or the median value. Note that the concept of acquiring and calculating each value held in the management DB 126 will be described later.
- FIG. 7 shows an example of the determination table 127.
- the judgment table 127 of this embodiment shows the type of gap that has occurred between the provider of information such as content and the recipient who receives the explanation, etc., and what actions the provider and recipient should take to resolve the gap. This is a table that specifies the advice that should be given.
- This determination table 127 is a collection of records in which, for example, gaps are used as keys and values such as recipient's emotion and concentration level, advice target, and advice content are associated with each other.
- FIG. 8 shows an example of the user management DB 128 of this embodiment.
- the user management DB 128 of this embodiment acquires and manages values corresponding to the attributes of each user such as the above-mentioned provider and recipient, as well as the usage form and status of content, etc. from the provider terminal 200 and the recipient terminal 300. It is a database.
- This user management DB 128 uses the user ID as a key to associate values such as provider/recipient distinction, affiliation, content used, date and time of use, explanation position, gaze position, emotion, gaze change, posture change, and gap. It is a collection of records.
- the values of the gaze position, emotion, gaze change, posture change, and gap in the management DB 126 are the sum of the values of the corresponding users in the user management DB 128.
- FIG. 9 is a diagram showing an example flow of the information providing method in this embodiment.
- a certain provider is operating his own provider terminal 200 and giving an explanation based on predetermined content.
- this explanation by the provider is aimed at recipients with certain attributes. It is assumed that the recipients acquire the content from the provider terminal 200 (or the information providing device 100), display it on the recipient terminal 300, and listen to the provider's explanation while viewing the content.
- the information providing device 100 acquires information on the explanation position in the content by the provider from the observation unit 208 of the provider terminal 200 (s1).
- This explanation position information is, for example, a value indicating the position where the provider placed a cursor or laser pointer in the content, or the location read out by the provider.
- the observation unit 208 identifies the cursor position on the screen of the provider terminal 200 using image recognition technology, and sets the information being displayed at that position as the explanation position.
- the observation unit 208 acquires audio data of the provider reading out the content, identifies this using audio analysis technology, and identifies the corresponding position in the content using the keyword or sentence uttered at the relevant timing. , this is the explanation position.
- the information providing device 100 acquires information on the position where the recipient is looking down of the above-mentioned content that the recipient is supposed to be viewing, that is, the position of the eye line, from the line-of-sight analysis unit 308 of the recipient terminal 300. (s2). Sensing of the gaze position by the gaze analysis unit 308 may be performed by appropriately employing existing techniques.
- the information providing device 100 acquires the above-mentioned information on the emotional change of the recipient from the emotional analysis unit 309 of the recipient terminal 300 (s3).
- the emotion change information in the emotion analysis unit 309 can be obtained by, for example, performing facial expression analysis on the recipient's facial image taken with a camera to identify the emotion (anger, sadness, joy, etc.), and identifying the same emotion. If the emotions continue for a certain period of time, it is determined that the mind is stable and the concentration level is high, and if the emotions are not continuous, it is determined that the mind is unstable and the concentration level is low.
- the degree of concentration is low if the above-mentioned line-of-sight positions are not continuous for a certain period of time or more, and that the degree of concentration is high if the line-of-sight positions are continuous.
- the information providing device 100 uses the posture analysis unit 310 of the recipient terminal 300 to obtain information on the posture change of the recipient (s4).
- the operation of the posture analysis unit 310 and its output value are as described above. be.
- the information providing device 100 determines the composite situation of the recipient's posture, emotion, and temporal change in line of sight that has been obtained so far (s5).
- FIG. 10 shows the concept of overlapping temporal changes, which is an example of determination of this complex situation. According to this concept, if a time period in which the number of emotions triggered is unstable and a time period in which the temporal change in gaze is discontinuous overlaps, that time period is determined to be a time period in which the level of concentration decreases.
- the information providing device 100 estimates the concentration level of the recipient based on the determination result in s5 described above (s6). It is estimated that the degree of concentration is low for the time period in which the above-mentioned overlap is confirmed, and that the degree of concentration is high for other time periods.
- the information providing device 100 identifies the gap in information exchange between the provider and the recipient based on the information of the provider's explanation position and the recipient's gaze position (s7).
- this gap is one of "Former”, “Later”, and “Neutral”.
- this classification of gaps is just an example, and it is also possible to adopt a mode in which divisions are further divided or simplified than those in the above-described embodiments, as appropriate.
- the information providing device 100 stores the combinations of the precedence relationship between the explanation position and the gaze position, the recipient's emotion, and the level of concentration in the determination table 127 (FIG. 7) in the gap identified in s7.
- the information is compared and advice is generated (s8).
- the target of advice can be both the provider and the recipient.
- advice that requires a careful and relaxed explanation can be specified in the determination table 127.
- the determination table 127 can specify advice to the recipient, asking the recipient to make a setting so that the provider can be notified later if there is anything unclear.
- the information providing device 100 distributes the advice generated in s8 (see FIG. 11) to the terminal of the provider or recipient who is the target person (s9), and ends the process. Note that, as information provided here, temporal changes in emotions and concentration levels of all recipients and statistical information may be displayed. For example, when the above-mentioned advice is distributed to the recipient and the recipient takes action (see FIG. 12), the information providing device 100 receives flag setting for a predetermined part of the content, and sends this information to the content and the provider. If the provider's explanation position approaches a specified location in the relevant content (a location set by the recipient), the information providing device 100 The applicant shall be notified that there is a need for explanation.
- the arithmetic device acquires information on emotional changes in the recipient from a predetermined emotional analysis unit, and calculates the situation of the emotional changes and the gaze time indicated by the gaze direction information.
- the method may further include a process of generating advice directed to at least one of the recipients and notifying the terminal of at least one of the provider and the recipient of the advice.
- the computing device acquires information on the posture change of the recipient from a predetermined posture analysis unit, and acquires information on the posture change, the emotional change, and the gaze time.
- the degree of concentration of the recipient may be estimated based on the situation of the change, and a composite situation of the change in posture, the change in emotion, and the time change in the line of sight.
- the calculation device is configured to determine whether or not there is a sequential relationship between the explanation position and the line of sight position in the gap, the emotion of the recipient, and the level of concentration.
- the advice may be generated according to a combination of the following.
- the arithmetic device may generate a request to resolve the gap as the advice directed to the provider and notify it to the provider's terminal.
- Advice is generated for the recipient to perform a predetermined designation operation on a portion of the information that the recipient does not fully understand before the provider starts explaining the information, and the provider's explanation position is set to the information
- the recipient may be notified that there is a need for an explanation regarding the location.
- the information processing device acquires information on emotional changes in the recipient from a predetermined emotional analysis unit, and determines the state of the emotional changes and the line of sight indicated by the gaze direction information.
- a process of estimating the concentration level of the recipient based on a temporal change situation and a composite situation of the emotional change and the temporal change of the line of sight, and a process of estimating the concentration level of the recipient based on the gap and the concentration level may further execute a process of generating advice directed to at least one of the recipients and notifying the terminal of at least one of the provider and the recipient of the advice.
- the information processing device acquires information on the posture change of the recipient from a predetermined posture analysis unit, and acquires information on the posture change, the emotional change, and the line of sight.
- the degree of concentration of the recipient may be estimated based on a time change situation and a composite situation of the posture change, the emotional change, and the time change of the line of sight.
- the information processing device may determine the precedence relationship or the presence or absence of the relationship between the explanation position and the line of sight position in the gap, the emotion of the recipient, and the level of concentration.
- the advice may be generated depending on the combination.
- the information processing device may generate a request to resolve the gap and notify the provider's terminal as the advice to the provider.
- Advice is generated for the recipient to perform a predetermined designation operation on a portion of the information that the recipient does not fully understand before the provider starts explaining, and the provider's explanation position is set to the
- a notification may be sent to the effect that there is a need for explanation by the recipient regarding the part.
- Network 10 Information provision system 100 Information provision device 101 Storage device 102 Program 1021 Machine learning engine 103 Memory 104 Arithmetic device 105 Communication device 125 Content DB 126 Management DB 127 Judgment table 128 User management DB 200 Provider terminal 201 Storage device 202 Program 203 Memory 204 Arithmetic device 205 Input device 206 Output device 207 Communication device 208 Observation unit 225 Content DB 300 Recipient terminal 301 Storage device 302 Program 303 Memory 304 Arithmetic device 305 Input device 306 Output device 307 Communication device 308 Gaze analysis unit 309 Emotion analysis unit 310 Posture analysis unit
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Educational Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消を支援可能とする。情報提供装置100において、他装置とのデータ通信を行う通信装置105と、情報の提供者による当該情報の説明状況を観測する観測ユニットから、前記提供者による前記情報における説明位置の情報を取得する処理と、前記情報の説明を受ける受領者における視線方向を推定する視線分析ユニットから、当該受領者における視線位置の情報を取得する処理と、前記説明位置及び前記視線位置の各情報に基づき、前記提供者と前記受領者の間における情報授受のギャップを特定し出力する処理を実行する演算装置104を含む構成とする。
Description
本発明は、情報提供装置及び情報提供方法に関するものである。
===参照による取り込み===
本出願は、2022年8月22日に出願された日本特許出願第2022-131903号の優先権を主張し、その内容を参照することにより、本出願に取り込む。
学校や企業等での授業や会議など、リアルタイムでの情報発信が行われる状況下において、当該情報の発信者側は自身が想定している適切なペースでの発信を行いたいと考える一方、当該情報を受け取る側は自分に合ったペースで情報を受け取りたいと考える傾向にある。つまり、情報の発信者と受信者とで、根本的な意識がずれてギャップが生まれている可能性は高い。
そこで例えば、こうした情報を介したコミュニケーションに関する従来技術として、ユーザ同士の円滑なコミュニケーションを支援する提供システム、提供方法、提供装置、及びコンピュータプログラム(特許文献1参照)などが提案されている。
本出願は、2022年8月22日に出願された日本特許出願第2022-131903号の優先権を主張し、その内容を参照することにより、本出願に取り込む。
学校や企業等での授業や会議など、リアルタイムでの情報発信が行われる状況下において、当該情報の発信者側は自身が想定している適切なペースでの発信を行いたいと考える一方、当該情報を受け取る側は自分に合ったペースで情報を受け取りたいと考える傾向にある。つまり、情報の発信者と受信者とで、根本的な意識がずれてギャップが生まれている可能性は高い。
そこで例えば、こうした情報を介したコミュニケーションに関する従来技術として、ユーザ同士の円滑なコミュニケーションを支援する提供システム、提供方法、提供装置、及びコンピュータプログラム(特許文献1参照)などが提案されている。
このシステムは、話者である第1ユーザの音声を聴取する第2ユーザを撮影することにより得られる、前記第2ユーザの映像を取得する映像取得部と、取得された前記第2ユーザの映像に基づいて、前記第2ユーザの感情及び集中度の少なくとも一方を判断する判断部と、前記判断部による判断結果を、前記第1ユーザに提供する提供部とを備えるシステムにかかるものである。
上述の授業や会議などにおける、情報の発信者と受信者との間の意識のギャップは、リアルタイムで情報発信が続くことに伴い拡大し、発信者が説明中の箇所と受信者が認識中の箇所とのずれに加え、当該情報に対する理解の進捗や深さに関する受信者間での大きな相違も生み出しやすい。
それはそのまま、情報の発信者と受信者との間のコミュニケーション不和や、受信者間での情報理解の格差につながり、当該授業や会議の成果も当初期待していたものとはなり難い。特に受信者にとっては、理解の進まないまま続々と情報が提示され、適宜な知見や知識を得られないどころか、不満だけが蓄積される結果となる。
それはそのまま、情報の発信者と受信者との間のコミュニケーション不和や、受信者間での情報理解の格差につながり、当該授業や会議の成果も当初期待していたものとはなり難い。特に受信者にとっては、理解の進まないまま続々と情報が提示され、適宜な知見や知識を得られないどころか、不満だけが蓄積される結果となる。
そこで本発明の目的は、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消を支援可能とする技術を提供することにある。
上記課題を解決する本発明の情報提供装置は、他装置とのデータ通信を行う通信装置と、情報の提供者による当該情報の説明状況を観測する観測ユニットから、前記提供者による前記情報における説明位置の情報を取得する処理と、前記情報の説明を受ける受領者における視線方向を推定する視線分析ユニットから、当該受領者における視線位置の情報を取得する処理と、前記説明位置及び前記視線位置の各情報に基づき、前記提供者と前記受領者の間における情報授受のギャップを特定し出力する処理を実行する演算装置とを備えることを特徴とする。
また、本発明の情報提供方法は、情報処理装置が、他装置とのデータ通信を行う通信装置を備えて、情報の提供者による当該情報の説明状況を観測する観測ユニットから、前記提供者による前記情報における説明位置の情報を取得する処理と、前記情報の説明を受ける受領者における視線方向を推定する視線分析ユニットから、当該受領者における視線位置の情報を取得する処理と、前記説明位置及び前記視線位置の各情報に基づき、前記提供者と前記受領者の間における情報授受のギャップを特定し出力する処理と、を実行することを特徴とする。
また、本発明の情報提供方法は、情報処理装置が、他装置とのデータ通信を行う通信装置を備えて、情報の提供者による当該情報の説明状況を観測する観測ユニットから、前記提供者による前記情報における説明位置の情報を取得する処理と、前記情報の説明を受ける受領者における視線方向を推定する視線分析ユニットから、当該受領者における視線位置の情報を取得する処理と、前記説明位置及び前記視線位置の各情報に基づき、前記提供者と前記受領者の間における情報授受のギャップを特定し出力する処理と、を実行することを特徴とする。
本発明によれば、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消を支援可能となる。
<ネットワーク構成>
以下に本発明の実施形態について図面を用いて詳細に説明する。図1は、本実施形態の情報提供装置100を含むネットワーク構成図である。図1に示す情報提供装置100は、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消を支援可能とするコンピュータである。
以下に本発明の実施形態について図面を用いて詳細に説明する。図1は、本実施形態の情報提供装置100を含むネットワーク構成図である。図1に示す情報提供装置100は、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消を支援可能とするコンピュータである。
本実施形態の情報提供装置100は、図1で示すように、インターネットなLAN(Local Area Network)など適宜なネットワーク1を介して、提供者端末200、及び受領者端末300と通信可能に接続されている。よって、これらを総称して情報提供システム10としてもよい。
本実施形態の情報提供装置100は、教育機関における講義や企業におけるセミナーや会議といった各種コンテンツに基づく情報伝達の機会に際し、その情報の提供者と受領者との間のギャップ解消を図るサービスの提供装置と言える。
一方、提供者端末200は、上述のようなコンテンツを用いて学生や受講者、会議参加者などに情報発信を行う者(情報の提供者)が操作する端末である。具体的には、講義等のコンテンツを格納し、受講者等に向けて適宜に出力するパーソナルコンピュータ、タブレット端末、スマートフォンなどを想定できる。
他方、受領者端末300は、上述の提供者が発した情報を認識し、学習等を行う者(受領者)が操作する端末である。具体的には、提供者端末200から配信されたコンテンツを表示して受領者に提供するための、パーソナルコンピュータ、タブレット端末、スマートフォンなどを想定できる。
<ハードウェア構成>
また、本実施形態の情報提供装置100のハードウェア構成は、図2に以下の如くとなる。すなわち情報提供装置100は、記憶装置101、メモリ103、演算装置104、および通信装置105、を備える。
<ハードウェア構成>
また、本実施形態の情報提供装置100のハードウェア構成は、図2に以下の如くとなる。すなわち情報提供装置100は、記憶装置101、メモリ103、演算装置104、および通信装置105、を備える。
このうち記憶装置101は、SSD(Solid State Drive)やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。
また、メモリ103は、RAM(Random Access Memory)など揮発性記憶素子で構成される。
また、演算装置104は、記憶装置101に保持されるプログラム102をメモリ103に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうCPUである。
なお、上述のプログラム102は、機械学習エンジン1021を含んでいるとすれば好適である。機械学習エンジン1021は、受領者における感情や集中度の推定のためのエンジンであり、受領者端末300の視線分析ユニット308や感情分析ユニット309から得られるセンシングデータに基づいて、当該受領者の感情や集中度を自動判定する(こうした機能は受領者端末300が備えるとしてもよい)。
また、通信装置105は、ネットワーク1と接続して提供者端末200や受領者端末300との通信処理を担うネットワークインターフェイスカード等を想定する。
また、記憶装置101内には、本実施形態の情報提供装置として必要な機能を実装する為のプログラム102に加えて、コンテンツDB125、管理DB126、判定テーブル127、及びユーザ管理DB128が少なくとも記憶されている。ただし、これらデータベース等についての詳細は後述する。
続いて、図3に本実施形態における提供者端末200のハードウェア構成例について示す。本実施形態の提供者端末200は、記憶装置201、メモリ203、演算装置204、入力装置205、出力装置206、通信装置207、及び観測ユニット208を備える。
このうち記憶装置201は、SSD(Solid State Drive)やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。
また、メモリ203は、RAM(Random Access Memory)など揮発性記憶素子で構成される。
また、演算装置204は、記憶装置201に保持されるプログラム202をメモリ203に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうCPUである。
また、入力装置205は、提供者からの入力動作を受け付ける、キーボードやマウス、マイクといったユーザインターフェイス機器となる。
また、出力装置206は、演算装置204での処理結果を出力する、ディスプレイやスピーカーといったユーザインターフェイス機器となる。
また、通信装置207は、ネットワーク1と接続して情報提供装置100や受領者端末300との通信処理を担うネットワークインターフェイスカード等を想定する。
また、記憶装置201内には、本実施形態の提供者端末200として必要な機能を実装する為のプログラム202に加えて、コンテンツDB225が少なくとも記憶されている。ただし、このコンテンツDB225についての詳細は後述する。
続いて、図4に本実施形態における受領者端末300のハードウェア構成例について示す。本実施形態の受領者端末300は、記憶装置301、メモリ303、演算装置304、入力装置305、出力装置306、通信装置307、視線分析ユニット308、感情分析ユニット309、及び姿勢分析ユニット310を備える。
このうち記憶装置301は、SSD(Solid State Drive)やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。
また、メモリ303は、RAM(Random Access Memory)など揮発性記憶素子で構成される。
また、演算装置304は、記憶装置301に保持されるプログラム302をメモリ303に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうCPUである。
また、入力装置305は、受領者からの入力動作を受け付ける、キーボードやマウス、マイクといったユーザインターフェイス機器となる。
また、出力装置306は、演算装置304での処理結果を出力する、ディスプレイやスピーカーといったユーザインターフェイス機器となる。
また、通信装置307は、ネットワーク1と接続して情報提供装置100や提供者端末200との通信処理を担うネットワークインターフェイスカード等を想定する。
また、視線分析ユニット308は、提供者から提示された情報のうち、受領者が視認している箇所を、視線センサーや顔画像データなどの適宜な入力に基づき推定するユニットである。この視線分析ユニット308は、既存技術により実装される各種製品等を適宜に採用すればよい。
また、感情分析ユニット309は、提供者から情報を提示された受領者がどのような感情で当該情報に接しているかを、顔画像データなどの適宜な入力に基づき推定するユニットである。この感情分析ユニット309は、既存技術により実装される各種製品等を適宜に採用すればよい。
また、姿勢分析ユニット310は、受領者の顔画像を撮影し、この顔画像が示す顔エリアの重心変化を検知することで、例えば、直近1秒間の顔の重心の移動距離を算定する。この移動距離が閾値以上となれば、当該受領者の姿勢変化があったと判定する。この姿勢分析ユニットは、顔画像やセンサなどを適宜入力とする既存技術を採用すればよい。
<データ構造例>
続いて、本実施形態の情報提供装置100が用いる各種情報について説明する。図5に、本実施形態におけるコンテンツDB125の一例を示す。
<データ構造例>
続いて、本実施形態の情報提供装置100が用いる各種情報について説明する。図5に、本実施形態におけるコンテンツDB125の一例を示す。
本実施形態のコンテンツDB125は、提供者端末200から取得した、当該提供者が講義やセミナーなどで使用する資料等の電子データを格納したデータベースである。
このコンテンツDB125は、例えば、提供者を一意に特定する提供者IDをキーとして、コンテンツID、コンテンツの内容、提供対象といった各値を対応付けたレコードの集合体となっている。このコンテンツDB125を構成するレコードは、提供者端末200で保持するコンテンツDB225の格納データである。つまり、提供者端末200から提供されたデータである。
続いて、図6に本実施形態の管理DB126の一例を示す。本実施形態の管理DB126は、提供者がどのようなコンテンツを使用して、どのような対象に説明等を行ったのか、そしてその結果、当該説明を受けた者すなわち情報の受領者の側の状況(視線、感情、視線変化、姿勢変化)はどうであったかを管理するデータベースである。
この管理DB126は、提供者IDをキーとして、当該提供者が使用したコンテンツID、当該コンテンツを使用した日時、当該日時における説明位置、説明対象、当該説明対象全体におけるコンテンツ中での視線位置、感情、視線変化、姿勢変化、及びギャップといった値を対応付けたレコードの集合体となっている。
この管理DB126にて管理する「説明対象」は、例えば、講義対象となる学生の所属学部、セミナー受講者の所属企業、といった粒度の受領者群となる。よって、視線位置(平均)、感情(平均)、視線変化(平均)、姿勢変化(平均)、及びギャップの各値も、当該受領者群の構成員それぞれの観測値、推定値等の平均値や中央値をとった値となる。なお、管理DB126で保持する各値の取得、算定の概念については後述する。
続いて、図7に判定テーブル127の一例を示す。本実施形態の判定テーブル127は、コンテンツ等の情報の提供者と、その説明等を受ける受領者との間に発生したギャップの種類と、当該ギャップの解消に向け、提供者や受領者に行うべきアドバイスを規定したテーブルである。
この判定テーブル127は、例えば、ギャップをキーとして、受領者の感情及び集中度、アドバイス対象、及びアドバイス内容、といった値を対応付けたレコードの集合体となっている。
図7の例では、コンテンツ中で提供者により説明中の箇所が受領者が視認中の箇所よりも先行してしまっているギャップである「Former」の場合、受領者における感情の良否や集中度の高低に関わらず、提供者に向けたアドバイスとして、丁寧な説明と説明速度の低下を促すアドバイス内容が規定されている。
また、コンテンツ中で提供者により説明中の箇所が受領者が視認中の箇所よりも遅れてしてしまっているギャップである「Later」の場合、受領者に向けたアドバイスとして、疑問点等の記録設定を受領者に要請するアドバイスが規定されている。
また、コンテンツ中で提供者により説明中の箇所と受領者が視認中の箇所が一致している「Neutral」の場合、受領者の感情が「Negative」であれば、当該コンテンツの提供者に向けた、「コミュニケーション改善とコンテンツ見直」のアドバイスが規定されている。勿論、こうした規定の条件や内容は一例であって、これらの例に判定テーブル127の内容を限定するものではない。
続いて、図8に本実施形態のユーザ管理DB128の一例を示す。本実施形態のユーザ管理DB128は、上述の提供者や受領者といったユーザそれぞれの属性や、コンテンツの利用形態や状況などについて、提供者端末200や受領者端末300から対応する値を取得し管理するデータベースである。
このユーザ管理DB128は、ユーザIDをキーとして、提供者/受領者の区別、所属、利用コンテンツ、利用の日時、説明位置、視線位置、感情、視線変化、姿勢変化、及びギャップといった値を対応付けたレコードの集合体となっている。管理DB126における視線位置、感情、視線変化、姿勢変化、及びギャップの各値は、このユーザ管理DB128にて関する対応ユーザの値を集計したものとなる。
<フロー例>
以下、本実施形態における情報提供方法の実際手順について図に基づき説明する。以下で説明する情報提供方法に対応する各種動作は、情報提供装置100がメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
<フロー例>
以下、本実施形態における情報提供方法の実際手順について図に基づき説明する。以下で説明する情報提供方法に対応する各種動作は、情報提供装置100がメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
図9は、本実施形態における情報提供方法のフロー例を示す図である。ここでは、或る提供者が、自身の提供者端末200を操作しつつ、所定のコンテンツに基づく説明等を行っている状況を想定する。また、この提供者による説明は、ある属性をもった受領者らに向けて実施されている。受領者らは、当該コンテンツを提供者端末200(ないし情報提供装置100)から取得して受領者端末300で表示し、このコンテンツを閲覧しつつ、提供者の説明を聞いているものとする。
この場合、情報提供装置100は、提供者端末200の観測ユニット208から、当該提供者によるコンテンツ中での説明位置の情報を取得する(s1)。この説明位置の情報は、例えば、コンテンツ中で提供者がカーソルやレーザーポインタを置いた位置や、提供者が読み上げた箇所を示す値である。
観測ユニット208は、例えば、提供者端末200の画面中におけるカーソル位置を画像認識技術で特定し、当該位置にて表示中の情報を、説明位置とする。あるいは、観測ユニット208は、提供者がコンテンツを読み上げている音声データを取得し、これを音声解析技術で特定し、当該タイミングで発しているキーワードや一文にてコンテンツ中での対応位置を特定し、これを説明位置とする。
続いて、情報提供装置100は、受領者端末300の視線分析ユニット308から、当該受領者が閲覧しているはずの上述のコンテンツのうち視線を落としている位置、すなわち視線位置の情報を取得する(s2)。視線分析ユニット308による視線位置の感知は、既存技術を適宜に採用して実行するとすればよい。
続いて、情報提供装置100は、上述の受領者における感情変化の情報を、受領者端末300の感情分析ユニット309から取得する(s3)。この感情分析ユニット309における感情変化の情報は、例えば、カメラにて撮影した受領者の顔画像に関する表情分析を実行して感情(怒り、悲しみ、喜び、・・・)を特定し、同じ感情が一定時間以上連続していると精神が安定して集中度は高く、感情が連続していないと精神が不安定で集中度は低い、と判定する。
また、集中度の観点で、上述の視線位置が一定時間以上連続していないと集中度が低く、視線位置が連続していると集中度は高い、と判定できる。
また、情報提供装置100は、受領者端末300の姿勢分析ユニット310による、当該受領者の姿勢変化の情報を取得する(s4)姿勢分析ユニット310の動作とその出力値については既に述べたとおりである。
続いて、情報提供装置100は、ここまでで得てきた、受領者における姿勢、感情、及び視線の時間変化の複合的な状況を判定する(s5)。この複合的な状況の判定の一例である、時間変化の重複の概念を図10に示す。この概念においては、感情の発動個数が不安定な時間帯と、視線の時間変化が不連続な時間帯が重なり合っているならば、当該時間帯を集中度低下の時間帯と判定するものとなる(姿勢変化が頻繁に行われている時間帯の重複も考慮に入れる)。なお、複合的な状況の判定手法として、上述の重複判定の他にも、感情を重み付けして判断するといった手法も採用可能であり、特に限定するものではない。
続いて、情報提供装置100は、上述のs5での判定結果に基づいて、当該受領者における集中度を推定する(s6)。上述の重複が確認された時間帯については集中度低、それ以外の時間帯については集中度高、と推定することになる。
続いて、情報提供装置100は、提供者の説明位置及び受領者の視線位置の各情報に基づき、その提供者と受領者との間における情報授受のギャップを特定する(s7)。このギャップは、既に述べたように、「Former」、「Later」、「Neutral」の何れかとなる。但し、こうしたギャップの区分は一例であって、上述の実施形態よりもさらに細分化した区分、或いは単純化した区分で運用する形態も適宜採用可能である。
また、情報提供装置100は、s7で特定したギャップにおける、説明位置と視線位置の間の先後関係またはその有無、受領者の感情、集中度の高低、の組合せを判定テーブル127(図7)に照合してアドバイスを生成する(s8)。アドバイスの対象は、提供者と受領者のいずれもなりうる。
例えば、提供者による説明が受領者にとって難解であったり、徒に高速である場合、受領者はコンテンツの理解が遅れ気味となるギャップが発生する。その場合、丁寧でゆったりとした説明を行うよう求めるアドバイスが判定テーブル127で特定できる。
また、提供者による説明が受領者にとって簡単すぎるものであったり、徒に遅い場合、受領者は提供者の説明箇所を超えてコンテンツの先読みを行うギャップが発生する。その場合、受領者に対して、不明点などがあれば後に提供者に通知できるよう設定するよう求めるアドバイスが判定テーブル127で特定できる。
情報提供装置100は、s8で生成したアドバイス(図11参照)を、その対象者となる提供者または受領者の端末に配信し(s9)、処理を終了する。なお、ここでの情報提供として、受領者全体の感情や集中度の時間変化や統計情報を表示してもよい。例えば、上述の受領者に対するアドバイスが配信され、当該受領者が対応した場合(図12参照。該当コンテンツ中の所定箇所についてのフラグ設定を情報提供装置100が受け、この情報を当該コンテンツおよび提供者と紐付けて別途管理するものとする)、提供者の説明位置が、該当コンテンツ中の指定箇所(受領者により設定された箇所)に接近した場合、情報提供装置100は、当該箇所について受領者による説明ニーズが存在する旨を通知するものとする。
以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
こうした本実施形態によれば、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消を支援可能となる。
本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態の情報提供装置において、前記演算装置は、前記受領者における感情変化の情報を所定の感情分析ユニットから取得し、当該感情変化の状況、前記視線方向の情報が示す視線の時間変化の状況、及び前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する処理と、前記ギャップ及び前記集中度に基づいて、前記提供者又は前記受領者の少なくともいずれかに向けたアドバイスを生成し、当該アドバイスを前記提供者又は前記受領者の少なくともいずれかの端末に通知する処理をさらに実行するものである、としてもよい。
これによれば、ギャップ解消に向けて、特に情報の提供者側として動く具体的な契機が提示されることになり、ひいては、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消をさらに精度良く支援可能となる。
また、本実施形態の情報提供装置において、前記演算装置は、前記受領者の姿勢変化の情報を所定の姿勢分析ユニットから取得し、当該姿勢変化の状況、前記感情変化の状況、前記視線の時間変化の状況、及び前記姿勢変化と前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定するものである、としてもよい。
これによれば、受領者に集中度をより高精度に推定可能となる。ひいては、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消をより効率良く支援可能となる。
また、本実施形態の情報提供装置において、前記演算装置は、前記ギャップにおける、前記説明位置と前記視線位置の間の先後関係またはその有無と、前記受領者の感情と、前記集中度の高低との組合せに応じて、前記アドバイスを生成するものである、としてもよい。
これによれば、前向きな感情をもって情報提供を受けているが、集中度が低下している者、或いは逆に、ネガティブな感情をもって情報提供を受けているが、集中度は維持されている者といった様々な状況に的確に対応して、ギャップ解消に向けたアドバイスを生成・提示可能となる。ひいては、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消をより精度良く支援可能となる。
また、本実施形態の情報提供装置において、前記演算装置は、前記提供者に向けた前記アドバイスとして、前記ギャップの解消依頼を生成し前記提供者の端末に通知するものである、としてもよい。
これによれば、ギャップ解消に向けた明示的な情報提供が提供者に行われることとなり、ひいては、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消をより的確に支援可能となる。
また、本実施形態の情報提供装置において、前記演算装置は、前記ギャップが、前記情報における前記受領者の視線位置が前記提供者による説明位置よりも先行している状況を示している場合、前記情報のうち前記提供者による説明開始前かつ前記受領者にとって理解不十分な箇所について所定の指定操作を行うよう、前記受領者に向けたアドバイスを生成し、前記提供者の説明位置が、前記情報のうち前記指定操作を受けた箇所に接近した場合、当該箇所について前記受領者による説明ニーズが存在する旨を通知するものである、としてもよい。
これによれば、情報の受領者の置かれた状況を尊重しつつ、ギャップの解消を効率的かつ的確に図ることが可能となる。ひいては、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消をより的確に支援可能となる。
また、本実施形態の情報提供方法において、前記情報処理装置が、前記受領者における感情変化の情報を所定の感情分析ユニットから取得し、当該感情変化の状況、前記視線方向の情報が示す視線の時間変化の状況、及び前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する処理と、前記ギャップ及び前記集中度に基づいて、前記提供者又は前記受領者の少なくともいずれかに向けたアドバイスを生成し、当該アドバイスを前記提供者又は前記受領者の少なくともいずれかの端末に通知する処理をさらに実行する、としてもよい。
また、本実施形態の情報提供方法において、前記情報処理装置が、前記受領者の姿勢変化の情報を所定の姿勢分析ユニットから取得し、当該姿勢変化の状況、前記感情変化の状況、前記視線の時間変化の状況、及び前記姿勢変化と前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する、としてもよい。
また、本実施形態の情報提供方法において、前記情報処理装置が、前記ギャップにおける、前記説明位置と前記視線位置の間の先後関係またはその有無と、前記受領者の感情と、前記集中度の高低との組合せに応じて、前記アドバイスを生成する、としてもよい。
また、本実施形態の情報提供方法において、前記情報処理装置が、前記提供者に向けた前記アドバイスとして、前記ギャップの解消依頼を生成し前記提供者の端末に通知する、としてもよい。
また、本実施形態の情報提供方法において、前記情報処理装置が、前記ギャップが、前記情報における前記受領者の視線位置が前記提供者による説明位置よりも先行している状況を示している場合、前記情報のうち前記提供者による説明開始前かつ前記受領者にとって理解不十分な箇所について所定の指定操作を行うよう、前記受領者に向けたアドバイスを生成し、前記提供者の説明位置が、前記情報のうち前記指定操作を受けた箇所に接近した場合、当該箇所について前記受領者による説明ニーズが存在する旨を通知する、としてもよい。
1 ネットワーク
10 情報提供システム
100 情報提供装置
101 記憶装置
102 プログラム
1021 機械学習エンジン
103 メモリ
104 演算装置
105 通信装置
125 コンテンツDB
126 管理DB
127 判定テーブル
128 ユーザ管理DB
200 提供者端末
201 記憶装置
202 プログラム
203 メモリ
204 演算装置
205 入力装置
206 出力装置
207 通信装置
208 観測ユニット
225 コンテンツDB
300 受領者端末
301 記憶装置
302 プログラム
303 メモリ
304 演算装置
305 入力装置
306 出力装置
307 通信装置
308 視線分析ユニット
309 感情分析ユニット
310 姿勢分析ユニット
10 情報提供システム
100 情報提供装置
101 記憶装置
102 プログラム
1021 機械学習エンジン
103 メモリ
104 演算装置
105 通信装置
125 コンテンツDB
126 管理DB
127 判定テーブル
128 ユーザ管理DB
200 提供者端末
201 記憶装置
202 プログラム
203 メモリ
204 演算装置
205 入力装置
206 出力装置
207 通信装置
208 観測ユニット
225 コンテンツDB
300 受領者端末
301 記憶装置
302 プログラム
303 メモリ
304 演算装置
305 入力装置
306 出力装置
307 通信装置
308 視線分析ユニット
309 感情分析ユニット
310 姿勢分析ユニット
Claims (12)
- 他装置とのデータ通信を行う通信装置と、
情報の提供者による当該情報の説明状況を観測する観測ユニットから、前記提供者による前記情報における説明位置の情報を取得する処理と、前記情報の説明を受ける受領者における視線方向を推定する視線分析ユニットから、当該受領者における視線位置の情報を取得する処理と、前記説明位置及び前記視線位置の各情報に基づき、前記提供者と前記受領者の間における情報授受のギャップを特定し出力する処理を実行する演算装置と、
を備える情報提供装置。 - 前記演算装置は、
前記受領者における感情変化の情報を所定の感情分析ユニットから取得し、当該感情変化の状況、前記視線方向の情報が示す視線の時間変化の状況、及び前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する処理と、
前記ギャップ及び前記集中度に基づいて、前記提供者又は前記受領者の少なくともいずれかに向けたアドバイスを生成し、当該アドバイスを前記提供者又は前記受領者の少なくともいずれかの端末に通知する処理をさらに実行するものである、
ことを特徴とする請求項1に記載の情報提供装置。 - 前記演算装置は、
前記受領者の姿勢変化の情報を所定の姿勢分析ユニットから取得し、当該姿勢変化の状況、前記感情変化の状況、前記視線の時間変化の状況、及び前記姿勢変化と前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定するものである、
ことを特徴とする請求項2に記載の情報提供装置。 - 前記演算装置は、
前記ギャップにおける、前記説明位置と前記視線位置の間の先後関係またはその有無と、前記受領者の感情と、前記集中度の高低との組合せに応じて、前記アドバイスを生成するものである、
ことを特徴とする請求項3に記載の情報提供装置。 - 前記演算装置は、
前記提供者に向けた前記アドバイスとして、前記ギャップの解消依頼を生成し前記提供者の端末に通知するものである、
ことを特徴とする請求項2に記載の情報提供装置。 - 前記演算装置は、
前記ギャップが、前記情報における前記受領者の視線位置が前記提供者による説明位置よりも先行している状況を示している場合、前記情報のうち前記提供者による説明開始前かつ前記受領者にとって理解不十分な箇所について所定の指定操作を行うよう、前記受領者に向けたアドバイスを生成し、
前記提供者の説明位置が、前記情報のうち前記指定操作を受けた箇所に接近した場合、当該箇所について前記受領者による説明ニーズが存在する旨を通知するものである、
ことを特徴とする請求項2に記載の情報提供装置。 - 情報処理装置が、
他装置とのデータ通信を行う通信装置を備えて、
情報の提供者による当該情報の説明状況を観測する観測ユニットから、前記提供者による前記情報における説明位置の情報を取得する処理と、前記情報の説明を受ける受領者における視線方向を推定する視線分析ユニットから、当該受領者における視線位置の情報を取得する処理と、前記説明位置及び前記視線位置の各情報に基づき、前記提供者と前記受領者の間における情報授受のギャップを特定し出力する処理と、
を実行することを特徴とする情報提供方法。 - 前記情報処理装置が、
前記受領者における感情変化の情報を所定の感情分析ユニットから取得し、当該感情変化の状況、前記視線方向の情報が示す視線の時間変化の状況、及び前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する処理と、
前記ギャップ及び前記集中度に基づいて、前記提供者又は前記受領者の少なくともいずれかに向けたアドバイスを生成し、当該アドバイスを前記提供者又は前記受領者の少なくともいずれかの端末に通知する処理をさらに実行する、
ことを特徴とする請求項7に記載の情報提供方法。 - 前記情報処理装置が、
前記受領者の姿勢変化の情報を所定の姿勢分析ユニットから取得し、当該姿勢変化の状況、前記感情変化の状況、前記視線の時間変化の状況、及び前記姿勢変化と前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する、
ことを特徴とする請求項8に記載の情報提供方法。 - 前記情報処理装置が、
前記ギャップにおける、前記説明位置と前記視線位置の間の先後関係またはその有無と、前記受領者の感情と、前記集中度の高低との組合せに応じて、前記アドバイスを生成する、
ことを特徴とする請求項9に記載の情報提供方法。 - 前記情報処理装置が、
前記提供者に向けた前記アドバイスとして、前記ギャップの解消依頼を生成し前記提供者の端末に通知する、
ことを特徴とする請求項8に記載の情報提供方法。 - 前記情報処理装置が、
前記ギャップが、前記情報における前記受領者の視線位置が前記提供者による説明位置よりも先行している状況を示している場合、前記情報のうち前記提供者による説明開始前かつ前記受領者にとって理解不十分な箇所について所定の指定操作を行うよう、前記受領者に向けたアドバイスを生成し、
前記提供者の説明位置が、前記情報のうち前記指定操作を受けた箇所に接近した場合、当該箇所について前記受領者による説明ニーズが存在する旨を通知する、
ことを特徴とする請求項8に記載の情報提供方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-131903 | 2022-08-22 | ||
JP2022131903A JP2024029571A (ja) | 2022-08-22 | 2022-08-22 | 情報提供装置及び情報提供方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024042817A1 true WO2024042817A1 (ja) | 2024-02-29 |
Family
ID=90012981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/021345 WO2024042817A1 (ja) | 2022-08-22 | 2023-06-08 | 情報提供装置及び情報提供方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024029571A (ja) |
WO (1) | WO2024042817A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020054855A1 (ja) * | 2018-09-14 | 2020-03-19 | 日本電気株式会社 | 授業支援システム、判定装置、授業支援方法及びプログラム |
JP2022053433A (ja) * | 2020-09-24 | 2022-04-05 | ワールド ヴァーテックス カンパニー リミテッド | 人工知能技術を活用した画像教育システムおよび学習支援方法 |
WO2022168180A1 (ja) * | 2021-02-02 | 2022-08-11 | 株式会社I’mbesideyou | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム |
JP2022135476A (ja) * | 2021-03-05 | 2022-09-15 | 学校法人玉川学園 | 情報処理装置、及びプログラム |
JP2022142913A (ja) * | 2021-03-17 | 2022-10-03 | 株式会社Jvcケンウッド | 会議支援制御装置および会議支援方法 |
-
2022
- 2022-08-22 JP JP2022131903A patent/JP2024029571A/ja active Pending
-
2023
- 2023-06-08 WO PCT/JP2023/021345 patent/WO2024042817A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020054855A1 (ja) * | 2018-09-14 | 2020-03-19 | 日本電気株式会社 | 授業支援システム、判定装置、授業支援方法及びプログラム |
JP2022053433A (ja) * | 2020-09-24 | 2022-04-05 | ワールド ヴァーテックス カンパニー リミテッド | 人工知能技術を活用した画像教育システムおよび学習支援方法 |
WO2022168180A1 (ja) * | 2021-02-02 | 2022-08-11 | 株式会社I’mbesideyou | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム |
JP2022135476A (ja) * | 2021-03-05 | 2022-09-15 | 学校法人玉川学園 | 情報処理装置、及びプログラム |
JP2022142913A (ja) * | 2021-03-17 | 2022-10-03 | 株式会社Jvcケンウッド | 会議支援制御装置および会議支援方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2024029571A (ja) | 2024-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10938832B2 (en) | Systems and methods for providing an interactive media presentation | |
Duff et al. | Practice effects in the prediction of long-term cognitive outcome in three patient samples: A novel prognostic index | |
US11366812B2 (en) | Using live data streams and/or search queries to determine information about developing events | |
US8698872B2 (en) | System and method for notification of events of interest during a video conference | |
KR20190084278A (ko) | 이미지들을 공유하기 위한 자동 제안들 | |
CN112997206A (zh) | 用于对会议内容进行共享的主动建议 | |
CN116018789A (zh) | 在线学习中用于对学生注意力进行基于上下文的评估的方法、系统和介质 | |
CN112204594A (zh) | 减轻通信系统中偏见的影响 | |
Shin et al. | Too close and crowded: understanding stress on mobile instant messengers based on proxemics | |
CN116210217A (zh) | 用于视频会议的方法和装置 | |
Zhang et al. | Accommodation, social attraction, and intergroup attitudes on social media: the effects of outgroup self-presentation and ingroup accommodation | |
WO2024042817A1 (ja) | 情報提供装置及び情報提供方法 | |
Gergle | Discourse processing in technology-mediated environments | |
US11411902B2 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program | |
Trieu et al. | Channel navigation in interpersonal communication: Contemporary practices and proposed future research directions | |
JP7019984B2 (ja) | 情報提示システム、情報提示方法及びプログラム | |
CN116401467A (zh) | 交友匹配模型构建、好友推荐、用户匹配方法、电子设备 | |
JP6913995B1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
Suwinyattichaiporn et al. | “Who’s Doing the Phubbing?”: Exploring Individual Factors that Predict Phubbing Behaviors During Interpersonal Interactions | |
JP2020201770A (ja) | コミュニケーションシステム、コミュニケーション方法及びプログラム | |
US11949727B2 (en) | Organic conversations in a virtual group setting | |
WO2022113248A1 (ja) | ビデオミーティング評価端末及びビデオミーティング評価方法 | |
JP7471683B2 (ja) | 反応通知システム | |
JP7465013B2 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
JP7465012B2 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23856934 Country of ref document: EP Kind code of ref document: A1 |