WO2024042817A1 - 情報提供装置及び情報提供方法 - Google Patents

情報提供装置及び情報提供方法 Download PDF

Info

Publication number
WO2024042817A1
WO2024042817A1 PCT/JP2023/021345 JP2023021345W WO2024042817A1 WO 2024042817 A1 WO2024042817 A1 WO 2024042817A1 JP 2023021345 W JP2023021345 W JP 2023021345W WO 2024042817 A1 WO2024042817 A1 WO 2024042817A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
recipient
provider
explanation
gaze
Prior art date
Application number
PCT/JP2023/021345
Other languages
English (en)
French (fr)
Inventor
愛 利國
正恭 加藤
祐樹 野寄
康人 西脇
和喜 唐津屋
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2024042817A1 publication Critical patent/WO2024042817A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education

Definitions

  • the present invention relates to an information providing device and an information providing method.
  • This system includes a video acquisition unit that acquires a video of the second user, which is obtained by photographing a second user listening to the voice of the first user who is a speaker;
  • the present invention relates to a system comprising: a determining unit that determines at least one of the second user's emotion and concentration level based on the second user; and a providing unit that provides the first user with the determination result by the determining unit.
  • an object of the present invention is to provide a technology that can support the elimination of the gap in awareness and recognition among those involved who come into contact with the information in a situation where information is provided in real time.
  • the information providing device of the present invention that solves the above problems includes a communication device that performs data communication with other devices, and an observation unit that observes the explanation status of the information by the information provider. a process of acquiring position information; a process of acquiring information of a gaze position of the recipient from a gaze analysis unit that estimates the gaze direction of the recipient receiving the explanation; and a process of acquiring information of the gaze position of the recipient who receives the explanation, and
  • the present invention is characterized by comprising an arithmetic device that executes a process of identifying and outputting a gap in information exchange between the provider and the recipient based on each piece of information.
  • the information processing device is equipped with a communication device that performs data communication with other devices, and the information processing device receives information from an observation unit that observes the explanation status of the information by the information provider.
  • a process of acquiring information on the explanation position in the information a process of acquiring information on the gaze position of the recipient from a gaze analysis unit that estimates the gaze direction of the recipient receiving the explanation, and the explanation position and
  • the present invention is characterized by executing a process of identifying and outputting a gap in information exchange between the provider and the recipient based on each piece of information on the line of sight position.
  • the present invention in a situation where information is provided in real time, it is possible to support the elimination of gaps in awareness and recognition among the parties involved who come into contact with the information.
  • FIG. 1 is a network configuration diagram including an information providing device according to the present embodiment.
  • FIG. 2 is a diagram showing an example of the hardware configuration of an information providing device according to the present embodiment. It is a diagram showing an example of the hardware configuration of a provider terminal in this embodiment. It is a diagram showing an example of the hardware configuration of a recipient terminal in this embodiment. It is a figure showing an example of composition of content DB in this embodiment. It is a figure showing an example of composition of management DB in this embodiment. It is a figure showing the example of composition of the judgment table in this embodiment. It is a figure showing an example of composition of user management DB in this embodiment. It is a figure showing an example of a flow of an information provision method in this embodiment. It is a figure showing a conceptual example in this embodiment. It is a figure which shows the example of a screen in this embodiment. It is a figure which shows the example of a screen in this embodiment.
  • FIG. 1 is a network configuration diagram including an information providing apparatus 100 of this embodiment.
  • the information providing apparatus 100 shown in FIG. 1 is a computer that can support eliminating gaps in awareness and recognition among parties involved in accessing information in a situation where information is provided in real time.
  • the information providing apparatus 100 of this embodiment is communicably connected to a provider terminal 200 and a recipient terminal 300 via an appropriate network 1 such as a LAN (Local Area Network) such as the Internet. ing. Therefore, these may be collectively referred to as the information providing system 10.
  • an appropriate network 1 such as a LAN (Local Area Network) such as the Internet. ing. Therefore, these may be collectively referred to as the information providing system 10.
  • the information providing device 100 of the present embodiment provides a service that eliminates the gap between the information provider and the recipient when information is transmitted based on various contents such as lectures at educational institutions and seminars and conferences at companies. It can be called a device.
  • the provider terminal 200 is a terminal operated by a person (information provider) who transmits information to students, students, conference participants, etc. using the above-mentioned content.
  • a person information provider
  • the provider terminal 200 stores content such as lectures and outputs it to students and the like as appropriate.
  • the recipient terminal 300 is a terminal operated by a person (receiver) who recognizes the information issued by the above-mentioned provider and performs learning or the like.
  • a personal computer, a tablet terminal, a smartphone, etc. can be assumed for displaying the content distributed from the provider terminal 200 and providing it to the recipient.
  • FIG. 2 the hardware configuration of the information providing apparatus 100 of this embodiment is shown in FIG. 2 as follows. That is, the information providing device 100 includes a storage device 101, a memory 103, an arithmetic device 104, and a communication device 105.
  • the storage device 101 is composed of an appropriate nonvolatile storage element such as an SSD (Solid State Drive) or a hard disk drive.
  • an SSD Solid State Drive
  • a hard disk drive any suitable nonvolatile storage element
  • the memory 103 is composed of a volatile storage element such as a RAM (Random Access Memory).
  • the arithmetic device 104 is a CPU that reads the program 102 held in the storage device 101 to the memory 103 and executes it, performs overall control of the device itself, and performs various determinations, calculations, and control processing.
  • the program 102 described above includes a machine learning engine 1021.
  • the machine learning engine 1021 is an engine for estimating the recipient's emotion and concentration level, and it estimates the recipient's emotion based on sensing data obtained from the gaze analysis unit 308 and emotion analysis unit 309 of the recipient terminal 300. and concentration level (this function may be provided in the recipient terminal 300).
  • the communication device 105 is assumed to be a network interface card or the like that connects to the network 1 and handles communication processing with the provider terminal 200 and the recipient terminal 300.
  • the storage device 101 stores at least a content DB 125, a management DB 126, a determination table 127, and a user management DB 128. There is. However, details regarding these databases and the like will be described later.
  • FIG. 3 shows an example of the hardware configuration of the provider terminal 200 in this embodiment.
  • the provider terminal 200 of this embodiment includes a storage device 201, a memory 203, a calculation device 204, an input device 205, an output device 206, a communication device 207, and an observation unit 208.
  • the storage device 201 is configured with an appropriate nonvolatile storage element such as an SSD (Solid State Drive) or a hard disk drive.
  • an SSD Solid State Drive
  • a hard disk drive any suitable nonvolatile storage element
  • the memory 203 is composed of a volatile storage element such as a RAM (Random Access Memory).
  • RAM Random Access Memory
  • the arithmetic device 204 is a CPU that reads out and executes the program 202 held in the storage device 201 to the memory 203, performs overall control of the device itself, and performs various determinations, calculations, and control processing.
  • the input device 205 is a user interface device such as a keyboard, mouse, and microphone that accepts input operations from the provider.
  • the output device 206 is a user interface device such as a display or a speaker that outputs the processing results of the arithmetic device 204.
  • the communication device 207 is assumed to be a network interface card or the like that connects to the network 1 and handles communication processing with the information providing device 100 and the recipient terminal 300.
  • a content DB 225 is stored in addition to a program 202 for implementing functions necessary for the provider terminal 200 of this embodiment. However, details regarding this content DB 225 will be described later.
  • FIG. 4 shows an example of the hardware configuration of the recipient terminal 300 in this embodiment.
  • the recipient terminal 300 of this embodiment includes a storage device 301, a memory 303, a calculation device 304, an input device 305, an output device 306, a communication device 307, a gaze analysis unit 308, an emotion analysis unit 309, and a posture analysis unit 310. .
  • the storage device 301 is composed of an appropriate nonvolatile storage element such as an SSD (Solid State Drive) or a hard disk drive.
  • the memory 303 is composed of a volatile storage element such as a RAM (Random Access Memory).
  • the arithmetic device 304 is a CPU that reads out and executes the program 302 held in the storage device 301 to the memory 303, performs overall control of the device itself, and performs various determinations, calculations, and control processing.
  • the input device 305 is a user interface device such as a keyboard, mouse, or microphone that accepts input operations from the recipient.
  • the output device 306 is a user interface device such as a display or a speaker that outputs the processing results of the arithmetic device 304.
  • the communication device 307 is assumed to be a network interface card or the like that connects to the network 1 and handles communication processing with the information providing device 100 and the provider terminal 200.
  • the line of sight analysis unit 308 is a unit that estimates the part of the information presented by the provider that the recipient is viewing based on appropriate inputs such as a line of sight sensor and facial image data.
  • the line of sight analysis unit 308 may appropriately adopt various products implemented using existing technology.
  • the emotion analysis unit 309 is a unit that estimates, based on appropriate input such as facial image data, what kind of emotion the recipient, who has been presented with information from the provider, interacts with the information.
  • the emotion analysis unit 309 may appropriately adopt various products implemented using existing technology.
  • the posture analysis unit 310 captures a face image of the recipient and detects a change in the center of gravity of the face area indicated by this face image, thereby calculating, for example, the distance that the center of gravity of the face has moved in the last one second. If this moving distance is equal to or greater than the threshold value, it is determined that there has been a change in the posture of the recipient.
  • This posture analysis unit may employ existing technology that inputs a face image, a sensor, etc. as appropriate.
  • FIG. 5 shows an example of the content DB 125 in this embodiment.
  • the content DB 125 of this embodiment is a database that stores electronic data such as materials acquired from the provider terminal 200 and used by the provider in lectures, seminars, and the like.
  • This content DB 125 is, for example, a collection of records in which each value such as content ID, content content, and provision target is associated with a provider ID that uniquely identifies a provider as a key.
  • the records that make up this content DB 125 are data stored in the content DB 225 held in the provider terminal 200. In other words, it is data provided from the provider terminal 200.
  • FIG. 6 shows an example of the management DB 126 of this embodiment.
  • the management DB 126 of this embodiment records what kind of content the provider used and what kind of target the provider gave the explanation to, and as a result, the information on the side of the person who received the explanation, that is, the information recipient.
  • This is a database that manages the situation (line of sight, emotions, changes in line of sight, changes in posture).
  • This management DB 126 uses the provider ID as a key, the content ID used by the provider, the date and time when the content was used, the explanation position at the date and time, the explanation target, the gaze position in the content of the whole explanation target, and the emotion. It is a collection of records that are associated with values such as , line of sight change, posture change, and gap.
  • the "explanation targets" managed in this management DB 126 are, for example, a group of granular recipients, such as the faculty to which the lecture target students belong, and the companies to which the seminar participants belong. Therefore, the values of gaze position (average), emotion (average), gaze change (average), posture change (average), and gap are also the average values of the observed values, estimated values, etc. of each member of the recipient group. or the median value. Note that the concept of acquiring and calculating each value held in the management DB 126 will be described later.
  • FIG. 7 shows an example of the determination table 127.
  • the judgment table 127 of this embodiment shows the type of gap that has occurred between the provider of information such as content and the recipient who receives the explanation, etc., and what actions the provider and recipient should take to resolve the gap. This is a table that specifies the advice that should be given.
  • This determination table 127 is a collection of records in which, for example, gaps are used as keys and values such as recipient's emotion and concentration level, advice target, and advice content are associated with each other.
  • FIG. 8 shows an example of the user management DB 128 of this embodiment.
  • the user management DB 128 of this embodiment acquires and manages values corresponding to the attributes of each user such as the above-mentioned provider and recipient, as well as the usage form and status of content, etc. from the provider terminal 200 and the recipient terminal 300. It is a database.
  • This user management DB 128 uses the user ID as a key to associate values such as provider/recipient distinction, affiliation, content used, date and time of use, explanation position, gaze position, emotion, gaze change, posture change, and gap. It is a collection of records.
  • the values of the gaze position, emotion, gaze change, posture change, and gap in the management DB 126 are the sum of the values of the corresponding users in the user management DB 128.
  • FIG. 9 is a diagram showing an example flow of the information providing method in this embodiment.
  • a certain provider is operating his own provider terminal 200 and giving an explanation based on predetermined content.
  • this explanation by the provider is aimed at recipients with certain attributes. It is assumed that the recipients acquire the content from the provider terminal 200 (or the information providing device 100), display it on the recipient terminal 300, and listen to the provider's explanation while viewing the content.
  • the information providing device 100 acquires information on the explanation position in the content by the provider from the observation unit 208 of the provider terminal 200 (s1).
  • This explanation position information is, for example, a value indicating the position where the provider placed a cursor or laser pointer in the content, or the location read out by the provider.
  • the observation unit 208 identifies the cursor position on the screen of the provider terminal 200 using image recognition technology, and sets the information being displayed at that position as the explanation position.
  • the observation unit 208 acquires audio data of the provider reading out the content, identifies this using audio analysis technology, and identifies the corresponding position in the content using the keyword or sentence uttered at the relevant timing. , this is the explanation position.
  • the information providing device 100 acquires information on the position where the recipient is looking down of the above-mentioned content that the recipient is supposed to be viewing, that is, the position of the eye line, from the line-of-sight analysis unit 308 of the recipient terminal 300. (s2). Sensing of the gaze position by the gaze analysis unit 308 may be performed by appropriately employing existing techniques.
  • the information providing device 100 acquires the above-mentioned information on the emotional change of the recipient from the emotional analysis unit 309 of the recipient terminal 300 (s3).
  • the emotion change information in the emotion analysis unit 309 can be obtained by, for example, performing facial expression analysis on the recipient's facial image taken with a camera to identify the emotion (anger, sadness, joy, etc.), and identifying the same emotion. If the emotions continue for a certain period of time, it is determined that the mind is stable and the concentration level is high, and if the emotions are not continuous, it is determined that the mind is unstable and the concentration level is low.
  • the degree of concentration is low if the above-mentioned line-of-sight positions are not continuous for a certain period of time or more, and that the degree of concentration is high if the line-of-sight positions are continuous.
  • the information providing device 100 uses the posture analysis unit 310 of the recipient terminal 300 to obtain information on the posture change of the recipient (s4).
  • the operation of the posture analysis unit 310 and its output value are as described above. be.
  • the information providing device 100 determines the composite situation of the recipient's posture, emotion, and temporal change in line of sight that has been obtained so far (s5).
  • FIG. 10 shows the concept of overlapping temporal changes, which is an example of determination of this complex situation. According to this concept, if a time period in which the number of emotions triggered is unstable and a time period in which the temporal change in gaze is discontinuous overlaps, that time period is determined to be a time period in which the level of concentration decreases.
  • the information providing device 100 estimates the concentration level of the recipient based on the determination result in s5 described above (s6). It is estimated that the degree of concentration is low for the time period in which the above-mentioned overlap is confirmed, and that the degree of concentration is high for other time periods.
  • the information providing device 100 identifies the gap in information exchange between the provider and the recipient based on the information of the provider's explanation position and the recipient's gaze position (s7).
  • this gap is one of "Former”, “Later”, and “Neutral”.
  • this classification of gaps is just an example, and it is also possible to adopt a mode in which divisions are further divided or simplified than those in the above-described embodiments, as appropriate.
  • the information providing device 100 stores the combinations of the precedence relationship between the explanation position and the gaze position, the recipient's emotion, and the level of concentration in the determination table 127 (FIG. 7) in the gap identified in s7.
  • the information is compared and advice is generated (s8).
  • the target of advice can be both the provider and the recipient.
  • advice that requires a careful and relaxed explanation can be specified in the determination table 127.
  • the determination table 127 can specify advice to the recipient, asking the recipient to make a setting so that the provider can be notified later if there is anything unclear.
  • the information providing device 100 distributes the advice generated in s8 (see FIG. 11) to the terminal of the provider or recipient who is the target person (s9), and ends the process. Note that, as information provided here, temporal changes in emotions and concentration levels of all recipients and statistical information may be displayed. For example, when the above-mentioned advice is distributed to the recipient and the recipient takes action (see FIG. 12), the information providing device 100 receives flag setting for a predetermined part of the content, and sends this information to the content and the provider. If the provider's explanation position approaches a specified location in the relevant content (a location set by the recipient), the information providing device 100 The applicant shall be notified that there is a need for explanation.
  • the arithmetic device acquires information on emotional changes in the recipient from a predetermined emotional analysis unit, and calculates the situation of the emotional changes and the gaze time indicated by the gaze direction information.
  • the method may further include a process of generating advice directed to at least one of the recipients and notifying the terminal of at least one of the provider and the recipient of the advice.
  • the computing device acquires information on the posture change of the recipient from a predetermined posture analysis unit, and acquires information on the posture change, the emotional change, and the gaze time.
  • the degree of concentration of the recipient may be estimated based on the situation of the change, and a composite situation of the change in posture, the change in emotion, and the time change in the line of sight.
  • the calculation device is configured to determine whether or not there is a sequential relationship between the explanation position and the line of sight position in the gap, the emotion of the recipient, and the level of concentration.
  • the advice may be generated according to a combination of the following.
  • the arithmetic device may generate a request to resolve the gap as the advice directed to the provider and notify it to the provider's terminal.
  • Advice is generated for the recipient to perform a predetermined designation operation on a portion of the information that the recipient does not fully understand before the provider starts explaining the information, and the provider's explanation position is set to the information
  • the recipient may be notified that there is a need for an explanation regarding the location.
  • the information processing device acquires information on emotional changes in the recipient from a predetermined emotional analysis unit, and determines the state of the emotional changes and the line of sight indicated by the gaze direction information.
  • a process of estimating the concentration level of the recipient based on a temporal change situation and a composite situation of the emotional change and the temporal change of the line of sight, and a process of estimating the concentration level of the recipient based on the gap and the concentration level may further execute a process of generating advice directed to at least one of the recipients and notifying the terminal of at least one of the provider and the recipient of the advice.
  • the information processing device acquires information on the posture change of the recipient from a predetermined posture analysis unit, and acquires information on the posture change, the emotional change, and the line of sight.
  • the degree of concentration of the recipient may be estimated based on a time change situation and a composite situation of the posture change, the emotional change, and the time change of the line of sight.
  • the information processing device may determine the precedence relationship or the presence or absence of the relationship between the explanation position and the line of sight position in the gap, the emotion of the recipient, and the level of concentration.
  • the advice may be generated depending on the combination.
  • the information processing device may generate a request to resolve the gap and notify the provider's terminal as the advice to the provider.
  • Advice is generated for the recipient to perform a predetermined designation operation on a portion of the information that the recipient does not fully understand before the provider starts explaining, and the provider's explanation position is set to the
  • a notification may be sent to the effect that there is a need for explanation by the recipient regarding the part.
  • Network 10 Information provision system 100 Information provision device 101 Storage device 102 Program 1021 Machine learning engine 103 Memory 104 Arithmetic device 105 Communication device 125 Content DB 126 Management DB 127 Judgment table 128 User management DB 200 Provider terminal 201 Storage device 202 Program 203 Memory 204 Arithmetic device 205 Input device 206 Output device 207 Communication device 208 Observation unit 225 Content DB 300 Recipient terminal 301 Storage device 302 Program 303 Memory 304 Arithmetic device 305 Input device 306 Output device 307 Communication device 308 Gaze analysis unit 309 Emotion analysis unit 310 Posture analysis unit

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消を支援可能とする。情報提供装置１００において、他装置とのデータ通信を行う通信装置１０５と、情報の提供者による当該情報の説明状況を観測する観測ユニットから、前記提供者による前記情報における説明位置の情報を取得する処理と、前記情報の説明を受ける受領者における視線方向を推定する視線分析ユニットから、当該受領者における視線位置の情報を取得する処理と、前記説明位置及び前記視線位置の各情報に基づき、前記提供者と前記受領者の間における情報授受のギャップを特定し出力する処理を実行する演算装置１０４を含む構成とする。

Description

情報提供装置及び情報提供方法
　本発明は、情報提供装置及び情報提供方法に関するものである。
＝＝＝参照による取り込み＝＝＝
　本出願は、２０２２年８月２２日に出願された日本特許出願第２０２２－１３１９０３号の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　学校や企業等での授業や会議など、リアルタイムでの情報発信が行われる状況下において、当該情報の発信者側は自身が想定している適切なペースでの発信を行いたいと考える一方、当該情報を受け取る側は自分に合ったペースで情報を受け取りたいと考える傾向にある。つまり、情報の発信者と受信者とで、根本的な意識がずれてギャップが生まれている可能性は高い。
　そこで例えば、こうした情報を介したコミュニケーションに関する従来技術として、ユーザ同士の円滑なコミュニケーションを支援する提供システム、提供方法、提供装置、及びコンピュータプログラム（特許文献１参照）などが提案されている。
　このシステムは、話者である第１ユーザの音声を聴取する第２ユーザを撮影することにより得られる、前記第２ユーザの映像を取得する映像取得部と、取得された前記第２ユーザの映像に基づいて、前記第２ユーザの感情及び集中度の少なくとも一方を判断する判断部と、前記判断部による判断結果を、前記第１ユーザに提供する提供部とを備えるシステムにかかるものである。
特開２０２１－１１１２３９号公報
　上述の授業や会議などにおける、情報の発信者と受信者との間の意識のギャップは、リアルタイムで情報発信が続くことに伴い拡大し、発信者が説明中の箇所と受信者が認識中の箇所とのずれに加え、当該情報に対する理解の進捗や深さに関する受信者間での大きな相違も生み出しやすい。
　それはそのまま、情報の発信者と受信者との間のコミュニケーション不和や、受信者間での情報理解の格差につながり、当該授業や会議の成果も当初期待していたものとはなり難い。特に受信者にとっては、理解の進まないまま続々と情報が提示され、適宜な知見や知識を得られないどころか、不満だけが蓄積される結果となる。
　そこで本発明の目的は、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消を支援可能とする技術を提供することにある。
　上記課題を解決する本発明の情報提供装置は、他装置とのデータ通信を行う通信装置と、情報の提供者による当該情報の説明状況を観測する観測ユニットから、前記提供者による前記情報における説明位置の情報を取得する処理と、前記情報の説明を受ける受領者における視線方向を推定する視線分析ユニットから、当該受領者における視線位置の情報を取得する処理と、前記説明位置及び前記視線位置の各情報に基づき、前記提供者と前記受領者の間における情報授受のギャップを特定し出力する処理を実行する演算装置とを備えることを特徴とする。
　また、本発明の情報提供方法は、情報処理装置が、他装置とのデータ通信を行う通信装置を備えて、情報の提供者による当該情報の説明状況を観測する観測ユニットから、前記提供者による前記情報における説明位置の情報を取得する処理と、前記情報の説明を受ける受領者における視線方向を推定する視線分析ユニットから、当該受領者における視線位置の情報を取得する処理と、前記説明位置及び前記視線位置の各情報に基づき、前記提供者と前記受領者の間における情報授受のギャップを特定し出力する処理と、を実行することを特徴とする。
　本発明によれば、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消を支援可能となる。
本実施形態の情報提供装置を含むネットワーク構成図である。 本実施形態における情報提供装置のハードウェア構成例を示す図である。 本実施形態における提供者端末のハードウェア構成例を示す図である。 本実施形態における受領者端末のハードウェア構成例を示す図である。 本実施形態におけるコンテンツＤＢの構成例を示す図である。 本実施形態における管理ＤＢの構成例を示す図である。 本実施形態における判定テーブルの構成例を示す図である。 本実施形態におけるユーザ管理ＤＢの構成例を示す図である。 本実施形態における情報提供方法のフロー例を示す図である。 本実施形態における概念例を示す図である。 本実施形態における画面例を示す図である。 本実施形態における画面例を示す図である。
＜ネットワーク構成＞
　以下に本発明の実施形態について図面を用いて詳細に説明する。図１は、本実施形態の情報提供装置１００を含むネットワーク構成図である。図１に示す情報提供装置１００は、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消を支援可能とするコンピュータである。
　本実施形態の情報提供装置１００は、図１で示すように、インターネットなＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）など適宜なネットワーク１を介して、提供者端末２００、及び受領者端末３００と通信可能に接続されている。よって、これらを総称して情報提供システム１０としてもよい。
　本実施形態の情報提供装置１００は、教育機関における講義や企業におけるセミナーや会議といった各種コンテンツに基づく情報伝達の機会に際し、その情報の提供者と受領者との間のギャップ解消を図るサービスの提供装置と言える。
　一方、提供者端末２００は、上述のようなコンテンツを用いて学生や受講者、会議参加者などに情報発信を行う者（情報の提供者）が操作する端末である。具体的には、講義等のコンテンツを格納し、受講者等に向けて適宜に出力するパーソナルコンピュータ、タブレット端末、スマートフォンなどを想定できる。
　他方、受領者端末３００は、上述の提供者が発した情報を認識し、学習等を行う者（受領者）が操作する端末である。具体的には、提供者端末２００から配信されたコンテンツを表示して受領者に提供するための、パーソナルコンピュータ、タブレット端末、スマートフォンなどを想定できる。
＜ハードウェア構成＞
　また、本実施形態の情報提供装置１００のハードウェア構成は、図２に以下の如くとなる。すなわち情報提供装置１００は、記憶装置１０１、メモリ１０３、演算装置１０４、および通信装置１０５、を備える。
　このうち記憶装置１０１は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。
　また、メモリ１０３は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）など揮発性記憶素子で構成される。
　また、演算装置１０４は、記憶装置１０１に保持されるプログラム１０２をメモリ１０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。
　なお、上述のプログラム１０２は、機械学習エンジン１０２１を含んでいるとすれば好適である。機械学習エンジン１０２１は、受領者における感情や集中度の推定のためのエンジンであり、受領者端末３００の視線分析ユニット３０８や感情分析ユニット３０９から得られるセンシングデータに基づいて、当該受領者の感情や集中度を自動判定する（こうした機能は受領者端末３００が備えるとしてもよい）。
　また、通信装置１０５は、ネットワーク１と接続して提供者端末２００や受領者端末３００との通信処理を担うネットワークインターフェイスカード等を想定する。
　また、記憶装置１０１内には、本実施形態の情報提供装置として必要な機能を実装する為のプログラム１０２に加えて、コンテンツＤＢ１２５、管理ＤＢ１２６、判定テーブル１２７、及びユーザ管理ＤＢ１２８が少なくとも記憶されている。ただし、これらデータベース等についての詳細は後述する。
　続いて、図３に本実施形態における提供者端末２００のハードウェア構成例について示す。本実施形態の提供者端末２００は、記憶装置２０１、メモリ２０３、演算装置２０４、入力装置２０５、出力装置２０６、通信装置２０７、及び観測ユニット２０８を備える。
　このうち記憶装置２０１は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。
　また、メモリ２０３は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）など揮発性記憶素子で構成される。
　また、演算装置２０４は、記憶装置２０１に保持されるプログラム２０２をメモリ２０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。
　また、入力装置２０５は、提供者からの入力動作を受け付ける、キーボードやマウス、マイクといったユーザインターフェイス機器となる。
　また、出力装置２０６は、演算装置２０４での処理結果を出力する、ディスプレイやスピーカーといったユーザインターフェイス機器となる。
　また、通信装置２０７は、ネットワーク１と接続して情報提供装置１００や受領者端末３００との通信処理を担うネットワークインターフェイスカード等を想定する。
　また、記憶装置２０１内には、本実施形態の提供者端末２００として必要な機能を実装する為のプログラム２０２に加えて、コンテンツＤＢ２２５が少なくとも記憶されている。ただし、このコンテンツＤＢ２２５についての詳細は後述する。
　続いて、図４に本実施形態における受領者端末３００のハードウェア構成例について示す。本実施形態の受領者端末３００は、記憶装置３０１、メモリ３０３、演算装置３０４、入力装置３０５、出力装置３０６、通信装置３０７、視線分析ユニット３０８、感情分析ユニット３０９、及び姿勢分析ユニット３１０を備える。
　このうち記憶装置３０１は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。
　また、メモリ３０３は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）など揮発性記憶素子で構成される。
　また、演算装置３０４は、記憶装置３０１に保持されるプログラム３０２をメモリ３０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。
　また、入力装置３０５は、受領者からの入力動作を受け付ける、キーボードやマウス、マイクといったユーザインターフェイス機器となる。
　また、出力装置３０６は、演算装置３０４での処理結果を出力する、ディスプレイやスピーカーといったユーザインターフェイス機器となる。
　また、通信装置３０７は、ネットワーク１と接続して情報提供装置１００や提供者端末２００との通信処理を担うネットワークインターフェイスカード等を想定する。
　また、視線分析ユニット３０８は、提供者から提示された情報のうち、受領者が視認している箇所を、視線センサーや顔画像データなどの適宜な入力に基づき推定するユニットである。この視線分析ユニット３０８は、既存技術により実装される各種製品等を適宜に採用すればよい。
　また、感情分析ユニット３０９は、提供者から情報を提示された受領者がどのような感情で当該情報に接しているかを、顔画像データなどの適宜な入力に基づき推定するユニットである。この感情分析ユニット３０９は、既存技術により実装される各種製品等を適宜に採用すればよい。
　また、姿勢分析ユニット３１０は、受領者の顔画像を撮影し、この顔画像が示す顔エリアの重心変化を検知することで、例えば、直近１秒間の顔の重心の移動距離を算定する。この移動距離が閾値以上となれば、当該受領者の姿勢変化があったと判定する。この姿勢分析ユニットは、顔画像やセンサなどを適宜入力とする既存技術を採用すればよい。
＜データ構造例＞
　続いて、本実施形態の情報提供装置１００が用いる各種情報について説明する。図５に、本実施形態におけるコンテンツＤＢ１２５の一例を示す。
　本実施形態のコンテンツＤＢ１２５は、提供者端末２００から取得した、当該提供者が講義やセミナーなどで使用する資料等の電子データを格納したデータベースである。
　このコンテンツＤＢ１２５は、例えば、提供者を一意に特定する提供者ＩＤをキーとして、コンテンツＩＤ、コンテンツの内容、提供対象といった各値を対応付けたレコードの集合体となっている。このコンテンツＤＢ１２５を構成するレコードは、提供者端末２００で保持するコンテンツＤＢ２２５の格納データである。つまり、提供者端末２００から提供されたデータである。
　続いて、図６に本実施形態の管理ＤＢ１２６の一例を示す。本実施形態の管理ＤＢ１２６は、提供者がどのようなコンテンツを使用して、どのような対象に説明等を行ったのか、そしてその結果、当該説明を受けた者すなわち情報の受領者の側の状況（視線、感情、視線変化、姿勢変化）はどうであったかを管理するデータベースである。
　この管理ＤＢ１２６は、提供者ＩＤをキーとして、当該提供者が使用したコンテンツＩＤ、当該コンテンツを使用した日時、当該日時における説明位置、説明対象、当該説明対象全体におけるコンテンツ中での視線位置、感情、視線変化、姿勢変化、及びギャップといった値を対応付けたレコードの集合体となっている。
　この管理ＤＢ１２６にて管理する「説明対象」は、例えば、講義対象となる学生の所属学部、セミナー受講者の所属企業、といった粒度の受領者群となる。よって、視線位置（平均）、感情（平均）、視線変化（平均）、姿勢変化（平均）、及びギャップの各値も、当該受領者群の構成員それぞれの観測値、推定値等の平均値や中央値をとった値となる。なお、管理ＤＢ１２６で保持する各値の取得、算定の概念については後述する。
　続いて、図７に判定テーブル１２７の一例を示す。本実施形態の判定テーブル１２７は、コンテンツ等の情報の提供者と、その説明等を受ける受領者との間に発生したギャップの種類と、当該ギャップの解消に向け、提供者や受領者に行うべきアドバイスを規定したテーブルである。
　この判定テーブル１２７は、例えば、ギャップをキーとして、受領者の感情及び集中度、アドバイス対象、及びアドバイス内容、といった値を対応付けたレコードの集合体となっている。
　図７の例では、コンテンツ中で提供者により説明中の箇所が受領者が視認中の箇所よりも先行してしまっているギャップである「Ｆｏｒｍｅｒ」の場合、受領者における感情の良否や集中度の高低に関わらず、提供者に向けたアドバイスとして、丁寧な説明と説明速度の低下を促すアドバイス内容が規定されている。
　また、コンテンツ中で提供者により説明中の箇所が受領者が視認中の箇所よりも遅れてしてしまっているギャップである「Ｌａｔｅｒ」の場合、受領者に向けたアドバイスとして、疑問点等の記録設定を受領者に要請するアドバイスが規定されている。
　また、コンテンツ中で提供者により説明中の箇所と受領者が視認中の箇所が一致している「Ｎｅｕｔｒａｌ」の場合、受領者の感情が「Ｎｅｇａｔｉｖｅ」であれば、当該コンテンツの提供者に向けた、「コミュニケーション改善とコンテンツ見直」のアドバイスが規定されている。勿論、こうした規定の条件や内容は一例であって、これらの例に判定テーブル１２７の内容を限定するものではない。
　続いて、図８に本実施形態のユーザ管理ＤＢ１２８の一例を示す。本実施形態のユーザ管理ＤＢ１２８は、上述の提供者や受領者といったユーザそれぞれの属性や、コンテンツの利用形態や状況などについて、提供者端末２００や受領者端末３００から対応する値を取得し管理するデータベースである。
　このユーザ管理ＤＢ１２８は、ユーザＩＤをキーとして、提供者／受領者の区別、所属、利用コンテンツ、利用の日時、説明位置、視線位置、感情、視線変化、姿勢変化、及びギャップといった値を対応付けたレコードの集合体となっている。管理ＤＢ１２６における視線位置、感情、視線変化、姿勢変化、及びギャップの各値は、このユーザ管理ＤＢ１２８にて関する対応ユーザの値を集計したものとなる。
＜フロー例＞
　以下、本実施形態における情報提供方法の実際手順について図に基づき説明する。以下で説明する情報提供方法に対応する各種動作は、情報提供装置１００がメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
　図９は、本実施形態における情報提供方法のフロー例を示す図である。ここでは、或る提供者が、自身の提供者端末２００を操作しつつ、所定のコンテンツに基づく説明等を行っている状況を想定する。また、この提供者による説明は、ある属性をもった受領者らに向けて実施されている。受領者らは、当該コンテンツを提供者端末２００（ないし情報提供装置１００）から取得して受領者端末３００で表示し、このコンテンツを閲覧しつつ、提供者の説明を聞いているものとする。
　この場合、情報提供装置１００は、提供者端末２００の観測ユニット２０８から、当該提供者によるコンテンツ中での説明位置の情報を取得する（ｓ１）。この説明位置の情報は、例えば、コンテンツ中で提供者がカーソルやレーザーポインタを置いた位置や、提供者が読み上げた箇所を示す値である。
　観測ユニット２０８は、例えば、提供者端末２００の画面中におけるカーソル位置を画像認識技術で特定し、当該位置にて表示中の情報を、説明位置とする。あるいは、観測ユニット２０８は、提供者がコンテンツを読み上げている音声データを取得し、これを音声解析技術で特定し、当該タイミングで発しているキーワードや一文にてコンテンツ中での対応位置を特定し、これを説明位置とする。
　続いて、情報提供装置１００は、受領者端末３００の視線分析ユニット３０８から、当該受領者が閲覧しているはずの上述のコンテンツのうち視線を落としている位置、すなわち視線位置の情報を取得する（ｓ２）。視線分析ユニット３０８による視線位置の感知は、既存技術を適宜に採用して実行するとすればよい。
　続いて、情報提供装置１００は、上述の受領者における感情変化の情報を、受領者端末３００の感情分析ユニット３０９から取得する（ｓ３）。この感情分析ユニット３０９における感情変化の情報は、例えば、カメラにて撮影した受領者の顔画像に関する表情分析を実行して感情（怒り、悲しみ、喜び、・・・）を特定し、同じ感情が一定時間以上連続していると精神が安定して集中度は高く、感情が連続していないと精神が不安定で集中度は低い、と判定する。
　また、集中度の観点で、上述の視線位置が一定時間以上連続していないと集中度が低く、視線位置が連続していると集中度は高い、と判定できる。
　また、情報提供装置１００は、受領者端末３００の姿勢分析ユニット３１０による、当該受領者の姿勢変化の情報を取得する（ｓ４）姿勢分析ユニット３１０の動作とその出力値については既に述べたとおりである。
　続いて、情報提供装置１００は、ここまでで得てきた、受領者における姿勢、感情、及び視線の時間変化の複合的な状況を判定する（ｓ５）。この複合的な状況の判定の一例である、時間変化の重複の概念を図１０に示す。この概念においては、感情の発動個数が不安定な時間帯と、視線の時間変化が不連続な時間帯が重なり合っているならば、当該時間帯を集中度低下の時間帯と判定するものとなる（姿勢変化が頻繁に行われている時間帯の重複も考慮に入れる）。なお、複合的な状況の判定手法として、上述の重複判定の他にも、感情を重み付けして判断するといった手法も採用可能であり、特に限定するものではない。
　続いて、情報提供装置１００は、上述のｓ５での判定結果に基づいて、当該受領者における集中度を推定する（ｓ６）。上述の重複が確認された時間帯については集中度低、それ以外の時間帯については集中度高、と推定することになる。
　続いて、情報提供装置１００は、提供者の説明位置及び受領者の視線位置の各情報に基づき、その提供者と受領者との間における情報授受のギャップを特定する（ｓ７）。このギャップは、既に述べたように、「Ｆｏｒｍｅｒ」、「Ｌａｔｅｒ」、「Ｎｅｕｔｒａｌ」の何れかとなる。但し、こうしたギャップの区分は一例であって、上述の実施形態よりもさらに細分化した区分、或いは単純化した区分で運用する形態も適宜採用可能である。
　また、情報提供装置１００は、ｓ７で特定したギャップにおける、説明位置と視線位置の間の先後関係またはその有無、受領者の感情、集中度の高低、の組合せを判定テーブル１２７（図７）に照合してアドバイスを生成する（ｓ８）。アドバイスの対象は、提供者と受領者のいずれもなりうる。
　例えば、提供者による説明が受領者にとって難解であったり、徒に高速である場合、受領者はコンテンツの理解が遅れ気味となるギャップが発生する。その場合、丁寧でゆったりとした説明を行うよう求めるアドバイスが判定テーブル１２７で特定できる。
　また、提供者による説明が受領者にとって簡単すぎるものであったり、徒に遅い場合、受領者は提供者の説明箇所を超えてコンテンツの先読みを行うギャップが発生する。その場合、受領者に対して、不明点などがあれば後に提供者に通知できるよう設定するよう求めるアドバイスが判定テーブル１２７で特定できる。
　情報提供装置１００は、ｓ８で生成したアドバイス（図１１参照）を、その対象者となる提供者または受領者の端末に配信し（ｓ９）、処理を終了する。なお、ここでの情報提供として、受領者全体の感情や集中度の時間変化や統計情報を表示してもよい。例えば、上述の受領者に対するアドバイスが配信され、当該受領者が対応した場合（図１２参照。該当コンテンツ中の所定箇所についてのフラグ設定を情報提供装置１００が受け、この情報を当該コンテンツおよび提供者と紐付けて別途管理するものとする）、提供者の説明位置が、該当コンテンツ中の指定箇所（受領者により設定された箇所）に接近した場合、情報提供装置１００は、当該箇所について受領者による説明ニーズが存在する旨を通知するものとする。
　以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
　こうした本実施形態によれば、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消を支援可能となる。
　本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態の情報提供装置において、前記演算装置は、前記受領者における感情変化の情報を所定の感情分析ユニットから取得し、当該感情変化の状況、前記視線方向の情報が示す視線の時間変化の状況、及び前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する処理と、前記ギャップ及び前記集中度に基づいて、前記提供者又は前記受領者の少なくともいずれかに向けたアドバイスを生成し、当該アドバイスを前記提供者又は前記受領者の少なくともいずれかの端末に通知する処理をさらに実行するものである、としてもよい。
　これによれば、ギャップ解消に向けて、特に情報の提供者側として動く具体的な契機が提示されることになり、ひいては、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消をさらに精度良く支援可能となる。
　また、本実施形態の情報提供装置において、前記演算装置は、前記受領者の姿勢変化の情報を所定の姿勢分析ユニットから取得し、当該姿勢変化の状況、前記感情変化の状況、前記視線の時間変化の状況、及び前記姿勢変化と前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定するものである、としてもよい。
　これによれば、受領者に集中度をより高精度に推定可能となる。ひいては、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消をより効率良く支援可能となる。
　また、本実施形態の情報提供装置において、前記演算装置は、前記ギャップにおける、前記説明位置と前記視線位置の間の先後関係またはその有無と、前記受領者の感情と、前記集中度の高低との組合せに応じて、前記アドバイスを生成するものである、としてもよい。
　これによれば、前向きな感情をもって情報提供を受けているが、集中度が低下している者、或いは逆に、ネガティブな感情をもって情報提供を受けているが、集中度は維持されている者といった様々な状況に的確に対応して、ギャップ解消に向けたアドバイスを生成・提示可能となる。ひいては、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消をより精度良く支援可能となる。
　また、本実施形態の情報提供装置において、前記演算装置は、前記提供者に向けた前記アドバイスとして、前記ギャップの解消依頼を生成し前記提供者の端末に通知するものである、としてもよい。
　これによれば、ギャップ解消に向けた明示的な情報提供が提供者に行われることとなり、ひいては、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消をより的確に支援可能となる。
　また、本実施形態の情報提供装置において、前記演算装置は、前記ギャップが、前記情報における前記受領者の視線位置が前記提供者による説明位置よりも先行している状況を示している場合、前記情報のうち前記提供者による説明開始前かつ前記受領者にとって理解不十分な箇所について所定の指定操作を行うよう、前記受領者に向けたアドバイスを生成し、前記提供者の説明位置が、前記情報のうち前記指定操作を受けた箇所に接近した場合、当該箇所について前記受領者による説明ニーズが存在する旨を通知するものである、としてもよい。
　これによれば、情報の受領者の置かれた状況を尊重しつつ、ギャップの解消を効率的かつ的確に図ることが可能となる。ひいては、リアルタイムでの情報提供が行われる状況下において、当該情報に接する関与者間での意識や認識のギャップ解消をより的確に支援可能となる。
　また、本実施形態の情報提供方法において、前記情報処理装置が、前記受領者における感情変化の情報を所定の感情分析ユニットから取得し、当該感情変化の状況、前記視線方向の情報が示す視線の時間変化の状況、及び前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する処理と、前記ギャップ及び前記集中度に基づいて、前記提供者又は前記受領者の少なくともいずれかに向けたアドバイスを生成し、当該アドバイスを前記提供者又は前記受領者の少なくともいずれかの端末に通知する処理をさらに実行する、としてもよい。
　また、本実施形態の情報提供方法において、前記情報処理装置が、前記受領者の姿勢変化の情報を所定の姿勢分析ユニットから取得し、当該姿勢変化の状況、前記感情変化の状況、前記視線の時間変化の状況、及び前記姿勢変化と前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する、としてもよい。
　また、本実施形態の情報提供方法において、前記情報処理装置が、前記ギャップにおける、前記説明位置と前記視線位置の間の先後関係またはその有無と、前記受領者の感情と、前記集中度の高低との組合せに応じて、前記アドバイスを生成する、としてもよい。
　また、本実施形態の情報提供方法において、前記情報処理装置が、前記提供者に向けた前記アドバイスとして、前記ギャップの解消依頼を生成し前記提供者の端末に通知する、としてもよい。
　また、本実施形態の情報提供方法において、前記情報処理装置が、前記ギャップが、前記情報における前記受領者の視線位置が前記提供者による説明位置よりも先行している状況を示している場合、前記情報のうち前記提供者による説明開始前かつ前記受領者にとって理解不十分な箇所について所定の指定操作を行うよう、前記受領者に向けたアドバイスを生成し、前記提供者の説明位置が、前記情報のうち前記指定操作を受けた箇所に接近した場合、当該箇所について前記受領者による説明ニーズが存在する旨を通知する、としてもよい。
１　　　ネットワーク
１０　　情報提供システム
１００　情報提供装置
１０１　記憶装置
１０２　プログラム
１０２１　機械学習エンジン
１０３　メモリ
１０４　演算装置
１０５　通信装置
１２５　コンテンツＤＢ
１２６　管理ＤＢ
１２７　判定テーブル
１２８　ユーザ管理ＤＢ
２００　提供者端末
２０１　記憶装置
２０２　プログラム
２０３　メモリ
２０４　演算装置
２０５　入力装置
２０６　出力装置
２０７　通信装置
２０８　観測ユニット
２２５　コンテンツＤＢ
３００　受領者端末
３０１　記憶装置
３０２　プログラム
３０３　メモリ
３０４　演算装置
３０５　入力装置
３０６　出力装置
３０７　通信装置
３０８　視線分析ユニット
３０９　感情分析ユニット
３１０　姿勢分析ユニット

Claims (12)

  1. 　他装置とのデータ通信を行う通信装置と、
    　情報の提供者による当該情報の説明状況を観測する観測ユニットから、前記提供者による前記情報における説明位置の情報を取得する処理と、前記情報の説明を受ける受領者における視線方向を推定する視線分析ユニットから、当該受領者における視線位置の情報を取得する処理と、前記説明位置及び前記視線位置の各情報に基づき、前記提供者と前記受領者の間における情報授受のギャップを特定し出力する処理を実行する演算装置と、
    　を備える情報提供装置。
  2. 　前記演算装置は、
    　前記受領者における感情変化の情報を所定の感情分析ユニットから取得し、当該感情変化の状況、前記視線方向の情報が示す視線の時間変化の状況、及び前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する処理と、
    　前記ギャップ及び前記集中度に基づいて、前記提供者又は前記受領者の少なくともいずれかに向けたアドバイスを生成し、当該アドバイスを前記提供者又は前記受領者の少なくともいずれかの端末に通知する処理をさらに実行するものである、
    　ことを特徴とする請求項１に記載の情報提供装置。
  3. 　前記演算装置は、
    　前記受領者の姿勢変化の情報を所定の姿勢分析ユニットから取得し、当該姿勢変化の状況、前記感情変化の状況、前記視線の時間変化の状況、及び前記姿勢変化と前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定するものである、
    　ことを特徴とする請求項２に記載の情報提供装置。
  4. 　前記演算装置は、
    　前記ギャップにおける、前記説明位置と前記視線位置の間の先後関係またはその有無と、前記受領者の感情と、前記集中度の高低との組合せに応じて、前記アドバイスを生成するものである、
    　ことを特徴とする請求項３に記載の情報提供装置。
  5. 　前記演算装置は、
    　前記提供者に向けた前記アドバイスとして、前記ギャップの解消依頼を生成し前記提供者の端末に通知するものである、
    　ことを特徴とする請求項２に記載の情報提供装置。
  6. 　前記演算装置は、
    　前記ギャップが、前記情報における前記受領者の視線位置が前記提供者による説明位置よりも先行している状況を示している場合、前記情報のうち前記提供者による説明開始前かつ前記受領者にとって理解不十分な箇所について所定の指定操作を行うよう、前記受領者に向けたアドバイスを生成し、
    　前記提供者の説明位置が、前記情報のうち前記指定操作を受けた箇所に接近した場合、当該箇所について前記受領者による説明ニーズが存在する旨を通知するものである、
    　ことを特徴とする請求項２に記載の情報提供装置。
  7. 　情報処理装置が、
    　他装置とのデータ通信を行う通信装置を備えて、
    　情報の提供者による当該情報の説明状況を観測する観測ユニットから、前記提供者による前記情報における説明位置の情報を取得する処理と、前記情報の説明を受ける受領者における視線方向を推定する視線分析ユニットから、当該受領者における視線位置の情報を取得する処理と、前記説明位置及び前記視線位置の各情報に基づき、前記提供者と前記受領者の間における情報授受のギャップを特定し出力する処理と、
    　を実行することを特徴とする情報提供方法。
  8. 　前記情報処理装置が、
    　前記受領者における感情変化の情報を所定の感情分析ユニットから取得し、当該感情変化の状況、前記視線方向の情報が示す視線の時間変化の状況、及び前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する処理と、
    　前記ギャップ及び前記集中度に基づいて、前記提供者又は前記受領者の少なくともいずれかに向けたアドバイスを生成し、当該アドバイスを前記提供者又は前記受領者の少なくともいずれかの端末に通知する処理をさらに実行する、
    　ことを特徴とする請求項７に記載の情報提供方法。
  9. 　前記情報処理装置が、
    　前記受領者の姿勢変化の情報を所定の姿勢分析ユニットから取得し、当該姿勢変化の状況、前記感情変化の状況、前記視線の時間変化の状況、及び前記姿勢変化と前記感情変化と前記視線の時間変化の複合的な状況、に基づいて、前記受領者における集中度を推定する、
    　ことを特徴とする請求項８に記載の情報提供方法。
  10. 　前記情報処理装置が、
    　前記ギャップにおける、前記説明位置と前記視線位置の間の先後関係またはその有無と、前記受領者の感情と、前記集中度の高低との組合せに応じて、前記アドバイスを生成する、
    　ことを特徴とする請求項９に記載の情報提供方法。
  11. 　前記情報処理装置が、
    　前記提供者に向けた前記アドバイスとして、前記ギャップの解消依頼を生成し前記提供者の端末に通知する、
    　ことを特徴とする請求項８に記載の情報提供方法。
  12. 　前記情報処理装置が、
    　前記ギャップが、前記情報における前記受領者の視線位置が前記提供者による説明位置よりも先行している状況を示している場合、前記情報のうち前記提供者による説明開始前かつ前記受領者にとって理解不十分な箇所について所定の指定操作を行うよう、前記受領者に向けたアドバイスを生成し、
    　前記提供者の説明位置が、前記情報のうち前記指定操作を受けた箇所に接近した場合、当該箇所について前記受領者による説明ニーズが存在する旨を通知する、
    　ことを特徴とする請求項８に記載の情報提供方法。
PCT/JP2023/021345 2022-08-22 2023-06-08 情報提供装置及び情報提供方法 WO2024042817A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-131903 2022-08-22
JP2022131903A JP2024029571A (ja) 2022-08-22 2022-08-22 情報提供装置及び情報提供方法

Publications (1)

Publication Number Publication Date
WO2024042817A1 true WO2024042817A1 (ja) 2024-02-29

Family

ID=90012981

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021345 WO2024042817A1 (ja) 2022-08-22 2023-06-08 情報提供装置及び情報提供方法

Country Status (2)

Country Link
JP (1) JP2024029571A (ja)
WO (1) WO2024042817A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054855A1 (ja) * 2018-09-14 2020-03-19 日本電気株式会社 授業支援システム、判定装置、授業支援方法及びプログラム
JP2022053433A (ja) * 2020-09-24 2022-04-05 ワールド ヴァーテックス カンパニー リミテッド 人工知能技術を活用した画像教育システムおよび学習支援方法
WO2022168180A1 (ja) * 2021-02-02 2022-08-11 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
JP2022135476A (ja) * 2021-03-05 2022-09-15 学校法人玉川学園 情報処理装置、及びプログラム
JP2022142913A (ja) * 2021-03-17 2022-10-03 株式会社Ｊｖｃケンウッド 会議支援制御装置および会議支援方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054855A1 (ja) * 2018-09-14 2020-03-19 日本電気株式会社 授業支援システム、判定装置、授業支援方法及びプログラム
JP2022053433A (ja) * 2020-09-24 2022-04-05 ワールド ヴァーテックス カンパニー リミテッド 人工知能技術を活用した画像教育システムおよび学習支援方法
WO2022168180A1 (ja) * 2021-02-02 2022-08-11 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
JP2022135476A (ja) * 2021-03-05 2022-09-15 学校法人玉川学園 情報処理装置、及びプログラム
JP2022142913A (ja) * 2021-03-17 2022-10-03 株式会社Ｊｖｃケンウッド 会議支援制御装置および会議支援方法

Also Published As

Publication number Publication date
JP2024029571A (ja) 2024-03-06

Similar Documents

Publication Publication Date Title
US10938832B2 (en) Systems and methods for providing an interactive media presentation
Duff et al. Practice effects in the prediction of long-term cognitive outcome in three patient samples: A novel prognostic index
US11366812B2 (en) Using live data streams and/or search queries to determine information about developing events
US8698872B2 (en) System and method for notification of events of interest during a video conference
KR20190084278A (ko) 이미지들을 공유하기 위한 자동 제안들
CN112997206A (zh) 用于对会议内容进行共享的主动建议
CN116018789A (zh) 在线学习中用于对学生注意力进行基于上下文的评估的方法、系统和介质
CN112204594A (zh) 减轻通信系统中偏见的影响
Shin et al. Too close and crowded: understanding stress on mobile instant messengers based on proxemics
CN116210217A (zh) 用于视频会议的方法和装置
Zhang et al. Accommodation, social attraction, and intergroup attitudes on social media: the effects of outgroup self-presentation and ingroup accommodation
WO2024042817A1 (ja) 情報提供装置及び情報提供方法
Gergle Discourse processing in technology-mediated environments
US11411902B2 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program
Trieu et al. Channel navigation in interpersonal communication: Contemporary practices and proposed future research directions
JP7019984B2 (ja) 情報提示システム、情報提示方法及びプログラム
CN116401467A (zh) 交友匹配模型构建、好友推荐、用户匹配方法、电子设备
JP6913995B1 (ja) 情報処理システム、情報処理方法及びプログラム
Suwinyattichaiporn et al. “Who’s Doing the Phubbing?”: Exploring Individual Factors that Predict Phubbing Behaviors During Interpersonal Interactions
JP2020201770A (ja) コミュニケーションシステム、コミュニケーション方法及びプログラム
US11949727B2 (en) Organic conversations in a virtual group setting
WO2022113248A1 (ja) ビデオミーティング評価端末及びビデオミーティング評価方法
JP7471683B2 (ja) 反応通知システム
JP7465013B2 (ja) ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
JP7465012B2 (ja) ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23856934

Country of ref document: EP

Kind code of ref document: A1