WO2023105887A1 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
WO2023105887A1
WO2023105887A1 PCT/JP2022/035322 JP2022035322W WO2023105887A1 WO 2023105887 A1 WO2023105887 A1 WO 2023105887A1 JP 2022035322 W JP2022035322 W JP 2022035322W WO 2023105887 A1 WO2023105887 A1 WO 2023105887A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
unit
vital
image
Prior art date
Application number
PCT/JP2022/035322
Other languages
English (en)
French (fr)
Inventor
征範 慎
Original Assignee
株式会社Abelon
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021198502A external-priority patent/JP7179384B1/ja
Priority claimed from JP2022129221A external-priority patent/JP2024025880A/ja
Application filed by 株式会社Abelon filed Critical 株式会社Abelon
Publication of WO2023105887A1 publication Critical patent/WO2023105887A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/043—Real-time or near real-time messaging, e.g. instant messaging [IM] using or handling presence information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • the present invention relates to information processing devices and the like used for web conferences.
  • Patent Document 1 Conventionally, there has been known a web conferencing system that uses a plurality of terminals connected via a network to hold a virtual conference (see Patent Document 1, for example).
  • An information processing apparatus comprises an information receiving unit for receiving user information including an image transmitted from each user terminal of each of two or more users during a web conference; a vitals acquisition unit that acquires vital information of each of one or more users; and an accumulated image acquisition unit that acquires an accumulated image that is an image received from each of two or more user terminals or an image based on the two or more images. and an accumulation unit for accumulating additional information including vital information of one or more users acquired by the information acquisition unit in association with the accumulated image acquired by the accumulated image acquisition unit.
  • the user information includes speech information based on the user's utterance during the web conference or conversation text acquired from the speech information
  • the speech information includes speech information based on the user's utterance during the web conference or conversation text acquired from the speech information
  • the speech information includes speech information based on the user's utterance during the web conference or conversation text acquired from the speech information
  • the storage unit is an information processing apparatus that stores additional information including the conversation text in association with the stored image.
  • the information receiving unit receives user information in association with the user identifier, and the storage unit associates conversation text with the user identifier. It is an information processing device that accumulates
  • conversation texts and user identifiers can be associated and stored.
  • the information processing apparatus of the fourth invention is, in contrast to the first invention, an interpreter that receives interpretation voice information for the user's utterance during a web conference or interpretation text that is an interpretation text obtained from the interpretation voice information.
  • the storage unit is an information processing device that stores additional information including interpretation information, which is interpretation voice information or interpretation text, in association with the stored image.
  • an utterance in a web conference is interpreted, and the vital information of one or more users listening to the interpretation is used.
  • an information processing apparatus further comprising an interpreter evaluation unit that acquires evaluation information indicating the evaluation of the interpreter, and an evaluation output unit that outputs the evaluation information.
  • the interpretation evaluation unit includes one or more user's vital information corresponding to the source language, which is the language of the utterance to be interpreted, and one or more user's vital information corresponding to a target language to acquire evaluation information.
  • the vital information at the timing when the user is not speaking matches the condition of interest;
  • a relationship detection unit that acquires relationship information that associates the first user identifier for the vital information determined to match the condition of interest with the second user identifier of the speaker at the timing, and a relationship output unit that outputs the relationship information. and an information processing device.
  • the relationship between the listener and the speaker can be specified using the vital information of the listener user.
  • the information processing apparatus of the eighth invention is an information processing apparatus in which the relationship output unit outputs the relationship information in association with the image or vital information at the timing, in contrast to the seventh invention.
  • the information processing apparatus of the ninth invention in contrast to the first invention, has a statistical processing unit that statistically processes vital information of one or more users and acquires the processing results, and a result output unit that outputs the processing results.
  • the information processing apparatus further includes a unit.
  • the user's vital information during the web conference can be statistically processed.
  • the vital information is associated with the user identifier
  • the statistical processing unit is configured for each user identifier or the user who is paired with the user identifier. It is an information processing device that statistically processes vital information for each attribute value and acquires the processing result.
  • the vital information of users during a web conference can be statistically processed for each user or for each user attribute value.
  • the information processing apparatus of the eleventh invention in relation to any one of the first to tenth inventions, is a screen output unit that outputs a screen image including user areas of two or more users during a web conference. and a determination unit that determines whether the vital information acquired by the information acquisition unit matches the condition of interest, and the screen output unit corresponds to the vital information determined by the determination unit to match the condition of interest.
  • the information processing apparatus of the twelfth invention in addition to any one of the first to eleventh inventions, is a search that receives search conditions related to additional information that is vital information, the result of processing the vital information, or conversation text. further comprising: a receiving unit; and a searching unit that detects stored images associated with additional information that matches a search condition among the stored images stored by the storage unit, and outputs the stored images or images obtained from the stored images. It is an information processing device that
  • the vital information is respiration, body temperature, blood pressure, level of consciousness, heart rate variability, sympathetic nerves, parasympathetic nerves , or LF (low frequency)/HF (high frequency) information processing apparatus.
  • a server of the present invention is a server that conducts a web conference between two or more user terminals, and includes an information receiving unit that receives images transmitted from each of the two or more user terminals during the web conference. an information acquisition unit that acquires vital information of one or more users in association with the images from the person regions of the users included in the one or more images among the two or more images received by the information reception unit; and a web conference. and an information transmitting unit configured to transmit information corresponding to the vital information acquired by the information acquiring unit to one or more user terminals among the two or more user terminals while the information acquiring unit is performing.
  • the information acquisition unit is an image among two or more images received by the information reception unit, and the user information included only in the image transmitted from the predetermined user terminal is selected. Vital information of one or more users may be acquired from the person area.
  • the information transmission unit transmits the vital information only to one or more other user terminals excluding the user terminal that transmitted the image from which the vital information was acquired.
  • the server of the present invention further comprises a determination unit for determining whether or not the vital information acquired by the information acquisition unit matches the output condition in the server, and the information transmission unit determines whether the determination unit meets the output condition Only the information corresponding to the vital information determined to match the above may be transmitted.
  • the information acquisition unit obtains vital information of one or more users from a person region of the user included in one or more images among the two or more images received by the information reception unit. and a screen image including two or more user areas including the image received by the information receiving unit, wherein the user area including the image in which the vital information satisfying the condition of interest is obtained by the information obtaining unit is another user
  • a configuration unit that configures a screen image that is visually distinguishable from the area may be further provided, and the information transmission unit may transmit the screen image configured by the configuration unit.
  • the server of the present invention refers to the proposal storage unit in which one or more pieces of proposal information having insurance conditions using vital information and insurance information related to proposed insurance are stored in the server, and the information acquisition unit acquires An insurance information acquiring unit that determines the insurance conditions that the vital information obtained from the acquired vital information satisfies and acquires insurance information paired with the insurance conditions from the proposal storage unit; and an insurance information transmission unit that transmits the image to the user terminal that transmitted the image.
  • the information acquisition unit acquires vital information from each time-series image received from one or more specific user terminals, and the time-series information acquired by the information acquisition unit
  • An accumulation unit for accumulating vital information may be further provided.
  • the information acquisition unit acquires vital information from each time-series image received from each of two or more user terminals, and associates it with each of two or more user terminals.
  • an accumulation unit for accumulating the time-series vital information acquired by the information acquisition unit.
  • the storage unit may store time-series vital information in association with each time-series image received by the information reception unit.
  • the information processing apparatus of the present invention it is possible to associate and accumulate images during the web conference with the user's vital information.
  • Block diagram of a web conference system Flowchart explaining the operation of the server of the web conferencing system Flowchart explaining the operation of the server of the web conferencing system
  • Schematic diagram showing the configuration of a specific example of the web conferencing system Diagram showing the specific information management table of the server of the same web conference system
  • a diagram showing a proposal information management table of the same server Fig. 7(a)
  • a diagram showing insurance transmission management information Fig. 7(b)
  • FIG. 1 is a block diagram of a web conference system 1000 according to this embodiment.
  • the web conference system 1000 includes a server 1 and one or more user terminals 2.
  • the server 1 and one or more user terminals 2 are connected via a network such as the Internet so that information can be transmitted and received.
  • FIG. 1 shows, as an example, a case where the web conference system 1000 includes three or more user terminals 2 .
  • the server 1 includes an information receiving unit 100, a specific information storage unit 101, an information acquisition unit 102, an output condition storage unit 103, a target condition storage unit 104, a determination unit 105, a configuration unit 106, an information transmission unit 107, an accumulation unit 108, a vital An information storage unit 109 , a proposal storage unit 110 , an insurance information acquisition unit 111 and an insurance information transmission unit 112 are provided.
  • the server 1 is a cloud server or an application server.
  • the server 1 is, for example, a server that provides web conferences.
  • a web conference here is a concept that includes seminars, classes, and the like that are held using a plurality of terminals connected via a network.
  • the server 1 is implemented by, for example, a computer or the like.
  • the information receiving unit 100 receives images transmitted from each of two or more user terminals 2 during the web conference.
  • the image received by the information receiving unit 100 from the user terminal 2 is, for example, an image of a user participating in the conference (for example, an area including the user's face).
  • the image received by the information receiving section 100 may be a moving image or a still image.
  • the images received by the information receiving unit 100 are, for example, time-series images.
  • the time-series images may be, for example, moving images or a plurality of still images transmitted in time series.
  • the image received by the information receiving unit 100 is preferably an image from which vital information can be obtained.
  • the information receiving unit 100 normally receives images associated with the user terminal 2 .
  • the information receiving section 100 receives an image associated with the terminal identifier of the user terminal 2 .
  • the terminal identifier may be, for example, the name of the user terminal 2 , a code assigned to the user terminal 2 , or address information such as the IP address of the user terminal 2 .
  • a session identifier or the like may be used as a terminal identifier.
  • the user identifier of the user who uses the user terminal 2 may be used as the terminal identifier.
  • the information receiving unit 100 normally receives audio as well as images.
  • the information receiving unit 100 is usually realized by wireless or wired communication means.
  • the information receiving section 100 may or may not include a communication device.
  • the specific information storage unit 101 stores specific information specifying a specific user terminal 2 .
  • the specific information is, for example, the terminal identifier of the user terminal 2 .
  • the specific information is, for example, information specifying the user terminal 2 from which vital information is to be obtained. Further, the specific information is information that designates the user terminal 2 to which the information corresponding to the vital information is to be sent.
  • the identification information may further include information that designates what kind of target the user terminal 2 is identified as.
  • a non-volatile recording medium is preferable for the specific information storage unit 101, but a volatile recording medium can also be used. The same applies to other storage units.
  • the information acquisition unit 102 acquires one or more user's vital information from the user's human area included in one or more images out of the two or more images received by the information reception unit 100, in association with the image.
  • the two or more images received by the information receiving unit 100 are images transmitted from each of the two or more user terminals 2 .
  • the person area of the user included in the image is, for example, an area in which the user appears in the image.
  • the user's person region is preferably a region containing the user's face.
  • Vitals include pulse, respiration, body temperature, blood pressure, level of consciousness, and the like. Vitals are also called vital signs.
  • the vital information is, for example, information representing vitals such as respiration rate and pulse rate.
  • the vital information here may be information obtained by processing one or more vital information such as heart rate variability, sympathetic nerves, parasympathetic nerves, LF (low frequency)/HF (high frequency), and the like.
  • LF/HF is information used as an index of stress, for example.
  • the information acquisition unit 102 may acquire different types of vital information for each user. Acquiring vital information in association with an image may be considered to acquire vital information in association with the user terminal 2 that transmitted the image. For example, the information acquisition unit 102 acquires vital information from images received within a predetermined period (for example, time-series images). Since the technique of acquiring the user's vital information from the user's person area included in the image is a known technique, detailed description thereof will be omitted here.
  • the technique described in the following URL can be used (URL: https://sensing-art.com/#tech-feature).
  • the technique of acquiring vital information from the person area of the image used here is not limited to the above technique.
  • the information acquisition unit 102 extracts one image from the user's person region, which is an image among the two or more images received by the information reception unit 100, and is included only in the image transmitted from one or more predetermined user terminals 2.
  • the vital information of the above users is acquired.
  • a user included in the image transmitted from the user terminal 2 is, for example, a user participating in the web conference using the user terminal 2 .
  • the information acquisition unit 102 may acquire vital information from each time-series image received from one or more specific user terminals 2, for example.
  • a specific user terminal 2 is, for example, a user terminal 2 used by a specific user. Specific users are, for example, patients, students, and employees.
  • the information acquisition unit 102 may acquire vital information from each time-series image received from each of two or more user terminals.
  • a specific user terminal 2 from which vital information is to be acquired is specified by specific information stored in the specific information storage unit 101, for example.
  • the information acquisition unit 102 acquires vital information from each time-series image received by the information reception unit 101 from one or more user terminals 2 .
  • the information acquisition unit 102 acquires vital information from each image at regular or arbitrary time intervals.
  • the information acquiring unit 102 obtains vital information from images received from one or more specific user terminals 2. may be obtained. This instruction may further include information designating the user terminal 2 that transmits the image for acquiring vital information.
  • the output condition storage unit 103 stores one or more output conditions.
  • the output condition is a condition for determining whether the vital information acquired by the information acquisition unit 102 may be transmitted.
  • the output condition is, for example, a condition regarding one or more pieces of vital information of the user acquired by the information acquisition unit 102 .
  • the user's vital information is, for example, the vital information of the user using the user terminal 2 obtained from the image received from the user terminal 2 .
  • An output condition is, for example, a threshold for vital information represented by a numerical value or index.
  • the output condition is a condition that the heart rate is equal to or greater than a threshold, a condition that the respiration rate is equal to or greater than the threshold, or a condition that the stress index value indicated by LF/HF is equal to or greater than the threshold.
  • the output condition storage unit 103 may store different output conditions for each type of vital information.
  • output conditions for one or more different vital information may be stored in the output condition storage unit 103 in association with vital identifiers that identify types of vital information.
  • the vital identifier may be, for example, a vital name, a code assigned to the vital, or the like.
  • the output condition may be a combination of conditions for multiple types of vital information (for example, AND conditions, OR conditions, etc.).
  • the condition-of-interest storage unit 104 stores one or more conditions of interest.
  • the condition of interest is a condition relating to one or more pieces of vital information of the user, and it is determined whether the configuration unit 106 configures a screen image in which the user area corresponding to the user is visually distinguishable from other user areas. It is a condition for
  • a condition of interest is, for example, a threshold for vital information represented by a numerical value or index.
  • the condition of interest is, for example, the condition that the heart rate is equal to or greater than the threshold, the condition that the respiratory rate is equal to or greater than the threshold, or the condition that the stress indicator value indicated by LF/HF is equal to or greater than the threshold.
  • the condition-of-interest storage unit 104 may store different conditions of interest for each type of vital information.
  • the condition-of-interest storage unit 104 may store, for example, conditions of interest for one or more different vital information in association with vital identifiers.
  • the condition of interest may be a combination of conditions for multiple types of vital information (for example, AND conditions, OR conditions, etc.).
  • the server 1 has the output condition storage unit 103 and the target condition storage unit 104 will be described. It may be held by another accessible device or the like.
  • condition of interest may be used as the condition of interest.
  • condition of interest and the condition of interest storage unit 104 may be omitted, and the output condition may be used in the process using the condition of interest.
  • the determination unit 105 determines whether the vital information acquired by the information acquisition unit 102 matches the output conditions stored in the output condition storage unit 103 .
  • the determination unit 105 determines that the plurality of vital information acquired by the information acquisition unit 102 are output conditions corresponding to the respective types. You can decide whether you are satisfied.
  • the output condition is a combination of a plurality of conditions
  • the determination unit 105 determines whether the vital information corresponding to each of the plurality of conditions satisfies each condition, and the combination of the determination results satisfies the output condition. You can judge whether
  • the configuration unit 106 configures a screen image including one or more, preferably two or more user areas including the image received by the information receiving unit 100 .
  • One user area is, for example, an area that includes an image received by the information receiving unit 100 from one user terminal 2 (for example, an area in which an image is arranged).
  • the configuration unit 106 configures a screen image including one or more user areas (including the image received by the information receiving unit 100).
  • the screen image configured by the configuration unit 106 may be, for example, a screen image in which all of the images received by the information receiving unit 100 from two or more user terminals are arranged in tiles. good.
  • the configuration unit 106 may configure a different screen image for each user terminal 2 to which the screen image is to be sent, or may configure the same screen image. For example, the configuration unit 106 may configure a screen image in which the user area of the user corresponding to the user terminal 2 that is the transmission destination of the screen image is made smaller than the other user areas. Further, for example, the configuration unit 106 selects the user area of the user corresponding to the user terminal from which the information receiving unit 100 received the voice, other than the user corresponding to the user terminal 2 to which the screen image is transmitted, from other user areas. A screen image that is also enlarged may be constructed.
  • the configuration unit 106 configures a screen image corresponding to the vital information acquired by the information acquisition unit 102 .
  • the screen image corresponding to vital information may be, for example, a screen image in which vital information is arranged.
  • the configuration unit 106 configures a screen image in which one or more pieces of vital information acquired by the information acquisition unit 102 are arranged in a user area including the image from which each vital information is acquired.
  • the configuration unit 106 configures a screen image in which graphs, marks, and symbols corresponding to one or more pieces of vital information acquired by the information acquisition unit 102 are arranged in the user area including the image in which each vital information is acquired. You may
  • the configuration unit 106 configures a screen image in which the vital information acquired by the information acquisition unit 102 is in a mode corresponding to the image from which the vital information is acquired.
  • This screen image may also be considered as a screen image corresponding to vital information.
  • the screen image in which the vital information is in a form corresponding to the image from which the vital information is acquired may be, for example, a screen image in which the vital information acquired by the information acquiring unit 102 is embedded.
  • the screen image may be a screen image in which the vital information acquired by 102 is arranged at a predetermined position (for example, the lower part or the upper part of the user area) in the user area including the image from which the vital information is acquired.
  • a screen image in which the vital information is in a mode corresponding to the image from which the vital information is acquired is, for example, the vital information acquired by the information acquisition unit 102 and the user area including the image from which the vital information is acquired. Even if it is a screen image placed in a position overlapping the user's person area (preferably a person's face or forehead area) or a position adjacent to the person area (for example, next to the face, above the head, etc.) good.
  • the user's person area, face, head, etc. can be realized by image recognition processing.
  • the configuration unit 106 is, for example, a screen image including two or more user areas including the image received by the information receiving unit 100, and the user area including an image obtained by the information obtaining unit 102 with vital information satisfying the condition of interest. constitutes a screen image that is visually distinguishable from other user areas.
  • the visually distinguishable screen information may be, for example, a screen image in which the frame of the user area including the image from which the vital information satisfying the attention condition is acquired is highlighted.
  • a screen image in which a user area including an image from which information is acquired is displayed larger than other user areas may be used. Note that the embodiment is not limited to the above, as long as the user area including the image from which the vital information that satisfies the condition of interest is acquired can be visually distinguished.
  • the condition of interest here is, for example, the condition of interest stored in the condition-of-interest storage unit 104 .
  • a screen image is, for example, an image displayed on the screen of the user terminal 2.
  • the screen images are, for example, time-series images such as moving images.
  • the screen image may be one or more still images.
  • the screen image may be, for example, information that enables the above-described image to be displayed on the screen of the user terminal 2 as a result.
  • the screen image includes images arranged in one or more user areas of the screen (for example, moving images received by the information receiving unit 100 from each user terminal 2) and data described in HTML or the like indicating the structure of the screen. , or information obtained by adding data indicating a layout or style such as a CSS file to these.
  • each user terminal 2 may have at least part of the data indicating the structure of the screen and the data indicating the layout and style.
  • the screen image may be, for example, information having vital information displayed on the screen as described above, and may further have information designating the position where this vital information is arranged.
  • the screen image may have information that designates the display mode of the user area in which the vital information that satisfies the condition of interest is arranged to be different from the other display modes, and the information that designates the display mode may be included in the screen image. may have.
  • the information transmission unit 107 transmits the screen image configured by the configuration unit 106 to two or more user terminals 2 . Further, the information transmitting section 107 may transmit the audio received by the information receiving section 100 to two or more user terminals 2 in association with the screen image.
  • the information transmission unit 107 transmits information corresponding to the vital information acquired by the information acquisition unit 102 to one or more of the two or more user terminals 2 during the web conference.
  • the information transmitting unit 107 may transmit the vital information acquired by the information acquiring unit 102 as the information corresponding to the vital information, and the information corresponding to the vital information in the screen image configured by the configuration unit 106 is arranged. You may send the screen image that has been displayed.
  • the information transmission unit 107 may transmit the vital information acquired by the information acquisition unit 102 in a manner corresponding to the image from which the vital information is acquired.
  • the vital information may be embedded in an image from which the vital information is acquired and transmitted.
  • a screen image arranged at a predetermined position within the user area including the original image to be acquired may be transmitted.
  • the information transmission unit 107 transmits information corresponding to the vital information acquired by the information acquisition unit 102 to, for example, one or more predetermined user terminals 2 .
  • the information transmitting unit 107 transmits information corresponding to vital information only to one or more user terminals 2 other than the user terminal 2 that transmitted the image from which the vital information was acquired.
  • the other user terminal 2 in this case may be a predetermined user terminal 2 .
  • the predetermined user terminals are, for example, user terminals used by medical personnel such as doctors and nurses, and user terminals used by administrators who manage the health of employees and the like in companies.
  • the information transmission unit 107 may transmit only information corresponding to vital information determined by the determination unit 105 to match the output conditions. For example, the information transmitting unit 107 may determine whether the vital information received by the information receiving unit 100 from a plurality of user terminals 2 meets the output condition, and may transmit only information corresponding to the vital information satisfying the output condition. good. Further, for example, the information transmitting unit 107 determines whether the different types of vital information acquired by the information acquiring unit 102 for one user terminal meet the vital conditions corresponding to the respective types, and the type of vital signs satisfying the vital conditions. Only information corresponding to information may be transmitted.
  • the accumulation unit 108 accumulates the time-series vital information acquired by the information acquisition unit 102 in the vital information storage unit 109 .
  • the accumulation unit 108 accumulates time-series vital information acquired from each time-series image received from each of the two or more user terminals 2 by the information acquisition unit 102 in association with each of the two or more user terminals 2.
  • the storage unit 108 may store time-series vital information acquired from each time-series image in association with each time-series image received by the information reception unit 100 .
  • the storage unit 108 may store the time-series vital information acquired by the information acquisition unit 102 in association with the time-series images from which the vital information is acquired.
  • the vital information storage unit 109 stores chronological vital information. For example, time-series vital information obtained from each time-series image received from one or more user terminals 2 is stored in association with the corresponding one or more user terminals 2 . Further, for example, time-series vital information acquired from each time-series image may be stored in association with each time-series image received by the information receiving unit 100 from one or more user terminals 2. .
  • the proposal storage unit 110 stores one or more pieces of proposal information.
  • Proposal information is information having insurance conditions and insurance information.
  • “Insurance information” is information related to insurance.
  • the insurance here is, for example, insurance related to one or more types of vital information acquired by the information acquisition unit 102 .
  • the information related to the vital information includes, for example, hospitalization insurance, outpatient insurance, life insurance, etc., which are proposed in relation to the health condition of the user indicated by the vital information.
  • information related to vital information may be, for example, insurance against a specific disease that can be detected by one or more types of abnormality in vital information (for example, cancer insurance, etc.).
  • the insurance information is, for example, information indicating the insurance proposed to the user (for example, insurance name, insurance identifier, etc.) and information indicating the compensation content of the insurance.
  • the insurance information may be information such as an application form for taking out insurance, or information indicating a website for making an application.
  • the information indicating the website is, for example, the name of the website, the URL of the website, etc.)
  • the insurance information indicates the information indicating the company that provides insurance, and the website for introducing the company and insurance. It may be information.
  • the insurance conditions are conditions related to the user's vital information used to determine whether to send the corresponding insurance to the user terminal 2.
  • the insurance condition is, for example, a threshold for vital information represented by a numerical value.
  • the insurance conditions are, for example, a condition that the heart rate is equal to or higher than a threshold, a condition that the respiration rate is equal to or higher than the threshold, or a condition that a stress index value indicated by LF/HF is equal to or higher than the threshold.
  • the vital information storage unit 109 may store different insurance conditions for each type of vital information.
  • the vital information storage unit 109 may store, for example, insurance conditions for one or more different vital information in association with vital identifiers.
  • the insurance conditions may be a combination of conditions (for example, AND conditions, OR conditions, etc.) for multiple types of vital information.
  • the same condition as the output condition or the target condition may be used as the insurance condition. Insurance terms may be used.
  • the insurance information acquisition unit 111 refers to the proposal storage unit 110, determines the insurance conditions that the vital information acquired by the information acquisition unit 102 satisfies, and acquires the insurance information paired with the insurance conditions from the proposal storage unit 110.
  • the insurance information transmission unit 112 transmits the insurance information acquired by the insurance information acquisition unit 111 to the user terminal 2 that transmitted the image from which the vital information was acquired.
  • the insurance information transmission unit 112 is usually realized by wireless or wired communication means. Insurance information transmission unit 112 may or may not include a communication device.
  • the user terminal 2 is a device used by the user.
  • the user terminal 2 can be realized by a computer, a multifunctional mobile phone such as a so-called smart phone, a tablet terminal, or the like.
  • the user terminal 2 may be a terminal device or the like dedicated to a web conference.
  • the user terminal 2 includes, for example, a camera (not shown) capable of photographing the user, a terminal transmission unit (not shown) for transmitting an image photographed by the camera to the server 1, and a screen image transmitted from the server 1.
  • the terminal display unit may have a display device (not shown) such as a monitor.
  • the user terminal 2 may further include a microphone (not shown) capable of acquiring the user's voice, and the terminal transmission section may transmit the voice acquired by the microphone to the server 1 .
  • the terminal reception unit further receives the audio transmitted from the server 1, and the user terminal 2 has an audio output unit (not shown) for outputting the audio received by the terminal reception unit. good too.
  • the audio output section may have an audio output device (not shown) such as a speaker.
  • Step S101 The server 1 determines whether to start the web conference. For example, when the scheduled time comes, the processing unit (not shown) of the server 1 or the like may decide to start. Also, when the information receiving unit 100 or the like receives an instruction to start a web conference from one or more user terminals 2, the web conference may be started. If it is determined to start the web conference, start the web conference and proceed to step S102; otherwise, return to step S101.
  • Step S102 The information receiving unit 100 starts receiving images from each user terminal 2 participating in the web conference. Then, the information receiving unit 100 receives images transmitted from each user terminal 2, for example.
  • the images to be received are, for example, time-series images such as moving images. Receipt of images from a plurality of user terminals 2 may be performed, for example, by parallel processing or by time division, and how the images are received is not limited to these.
  • the information receiving section 100 may also receive voice.
  • the information receiving unit 100 receives, for example, an image associated with the terminal identifier.
  • Step S103 The information acquisition unit 102 determines whether it is time to acquire vital information from each image received in step S102. For example, it may be determined that it is time to acquire vital information every time a certain period of time has elapsed after the start of image reception. Also, a predetermined time or a randomly determined time may be determined as the time to acquire vital information. It doesn't matter how you decide when to get it. In addition, the length of the acquisition period is not a concern. If it is the acquisition time, the process proceeds to step S104, and if it is not the acquisition time, the process proceeds to step S115.
  • Step S104 The information acquisition unit 102 substitutes 1 for the value of the counter n.
  • Step S105 The information acquisition unit 102 determines whether there is a user terminal 2 from which the n-th vital information is to be acquired among the user terminals 2 participating in the web conference.
  • the user terminal 2 from which vital information is to be obtained is a user terminal that transmits an image from which vital information is to be obtained.
  • the user terminal 2 to be acquired is detected using specific information stored in the specific information storage unit 101, for example. If there is, the process proceeds to step S106; otherwise, the process proceeds to step S115.
  • Step S106 The information acquisition unit 102 acquires one or more types of predetermined vital information from the user's person area included in the image received from the n-th user terminal 2 in step S102.
  • the information acquisition unit 102 acquires vital information from time-series images, for example.
  • the accumulation unit 108 accumulates the vital information acquired in step S ⁇ b>106 in the vital information storage unit 109 .
  • the information may be stored in chronological order of acquisition, or may be stored in association with the time of acquisition.
  • the storage unit 108 may store the acquired vital information by associating the image received in step S102 with the transmitted user terminal 2 . Further, the storage unit 108 may store, for example, the different types of acquired vital information in association with a type identifier or the like indicating the type of vital information. Further, the storage unit 108 may store the time-series vital information acquired in step S106 in association with each time-series image received by the information reception unit 100 .
  • the images within the period used to acquire the vital information may be stored in association with the acquired vital information.
  • the information specifying the part of the image used to acquire the vital information in step S106 (for example, the start time and end time of the time code) is used as the vital information. They may be associated and stored.
  • Step S108 The determination unit 105 determines whether the vital information acquired in step S106 meets the output conditions. For example, when the acquired vital information is a plurality of different types of vital information, the determination unit 105 may determine whether the corresponding output condition is satisfied for each type. If they match, the process proceeds to step S109, and if they do not match, the process proceeds to step S110.
  • the case of matching may be considered to be, for example, the case in which there is one or more matching vital information, and the case of non-matching may be considered to be the case in which there is no matching vital information.
  • Step S109 The determination unit 105 determines to transmit information corresponding to vital information that matches the output condition.
  • the vital information that matches the output conditions acquired in step S106 and the terminal identifier of the n-th user terminal 2 are associated and stored in a storage unit (not shown) or the like. It should be noted that information indicating the type of matching vital information may be further associated and accumulated.
  • Step S110 The configuration unit 106 determines whether the vital information acquired in step S106 matches the condition of interest. If they match, the process proceeds to step S111, and if they do not match, the process proceeds to step S112.
  • the configuration unit 106 determines to configure a screen image in which the user area including the image from which the vital information is acquired can be visually distinguished from other user areas.
  • the configuration unit 106 stores, for example, terminal identifiers of user terminals 2 corresponding to visually distinguishable user areas in a storage unit (not shown) or the like.
  • Step S112 The insurance information acquisition unit 111 determines whether the vital information acquired in step S106 matches the insurance conditions stored in the proposal storage unit 110. For example, it is determined whether the plurality of types of vital information acquired in step S104 meet the insurance conditions corresponding to each type. If the insurance conditions are met, the process proceeds to step S113; otherwise, the process proceeds to step S114.
  • the case where the insurance conditions are met may be considered, for example, when there is one or more types of vital information that match the insurance information. You can think of it.
  • the insurance information acquisition unit 111 determines to transmit the insurance information corresponding to the insurance conditions that match the vital information. For example, a set of insurance information corresponding to insurance conditions that match the vital information and the terminal identifier of the n-th user terminal 2 is associated and stored in a storage unit (not shown) or the like. For example, the insurance information acquisition unit 111 acquires insurance information corresponding to insurance conditions that match the vital information from the proposal storage unit 110, associates the acquired insurance information with the terminal identifier of the n-th user terminal 2, and stores the information in the storage unit. (not shown) or the like.
  • the insurance information corresponding to the insurance conditions matching the vital information is, for example, insurance information included in the same proposal information as the insurance information matching the vital information.
  • information that associates the same insurance information with the user terminal 2 is already stored in a storage unit (not shown), it is not necessary to newly store information that associates the insurance information with the user terminal 2. Also, it is not necessary to acquire new insurance information.
  • Step S114 The information acquisition unit 102 increments the value of the counter n by one. Then, the process returns to step S105.
  • Step S115 The server 1 constructs a screen image using the image received in step S102. Then, the configured screen image is transmitted to two or more user terminals 2 . In addition, for example, the voice received when receiving the image is also transmitted. Details of the processing in step S115 will be described later. Then, the process proceeds to step S116.
  • Step S116 The server 1 determines whether to end the web conference. For example, when the information receiving unit 100 receives an instruction to end the web conference from one or more user terminals 2, the server 1 determines to end the web conference. Alternatively, it may be determined to end the web conference at a predetermined time or the like. When it ends, it progresses to step S117, and when it does not end, it returns to step S103.
  • Step S117 The server 1 ends the web conference. Also, image reception and the like are terminated.
  • Step S118 The insurance information acquisition unit 111 determines whether there is a user terminal 2 to which the insurance information is sent. For example, the insurance information acquisition unit 111 determines whether one or more pairs of the insurance information and the user terminal associated and accumulated in step S113 are stored in a storage unit (not shown), and if so, , it is determined that there is a user terminal 2 to which the insurance information is to be sent, and the process proceeds to step S119. If not stored, it is determined that there is no user terminal 2 to which the insurance information is to be sent, and the process returns to step S101. .
  • Step S119 The insurance information acquisition unit 111 acquires the insurance information stored in association with the user terminal 2 in step S113.
  • the acquisition here may be performed by reading from a storage unit (not shown) such as a memory in which the insurance information is stored in association with the terminal identifier.
  • Step S120 The insurance information transmission unit 112 transmits each insurance information acquired in step S119 to the user terminal 2 associated with each insurance information in step S113. Then, the process returns to step S101.
  • the insurance information is transmitted immediately after the end of the web conference has been described. It may be transmitted, or may be transmitted at any time after the end of the web conference.
  • the process ends when the power is turned off or when the process ends.
  • the configuration unit 106 configures a screen image by arranging a plurality of user areas including the images received from the plurality of user terminals 2 in step S102.
  • the configuration unit 106 configures a screen image by arranging a plurality of user areas each including a moving image received from a plurality of user terminals 2 and synchronized by a time code or the like included in the moving image. do.
  • a screen image is configured by arranging a plurality of user areas in tiles.
  • Step S202 The information transmission unit 107 transmits the screen image configured in step S201 to user terminals 2 other than the user terminals 2 predetermined as transmission destinations of information corresponding to vital information.
  • the information transmission unit 107 uses the specific information stored in the specific information storage unit 101 to determine a user terminal 2 other than the predetermined user terminal 2 as a transmission destination of the information corresponding to the vital information.
  • Step S203 The configuration unit 106 determines whether there is vital information determined to transmit information corresponding to the vital information in step S109. If so, go to step S204; if not, go to step S205.
  • Step S204 The configuration unit 106 associates the screen image configured in step S201 with each terminal identifier in the user area corresponding to the terminal identifier that the configuration unit 106 accumulated in step S109 in association with the output condition.
  • One or more pieces of vital information that match the output conditions stored with attachments are respectively arranged.
  • the vital information is arranged in a manner corresponding to the images included in each user area.
  • Step S205 The configuration unit 106 determines whether there is a user area determined to be visually distinguishable in step S111. If there is, proceed to step S206; otherwise, proceed to step S207.
  • Step S206 The configuration unit 106 uses the terminal identifier of the user terminal 2 corresponding to the user area acquired in step S111 and determined to be output in a visually distinguishable manner, using the screen image configured in step S201, or In step S204, the screen image on which the vital information is arranged is changed so that the user area corresponding to this terminal identifier can be visually distinguished.
  • Step S207 The information transmission unit 107 uses the specific information stored in the specific information storage unit 101 to display the screen image configured in step S201, which has undergone processing according to the determinations in steps S204 and S206.
  • a screen image (for example, a screen image in which vital information is arranged, a user area is changed according to the judgment result, a screen image in which a change is desired, etc.) is sent to the destination of the information corresponding to the vital information. is transmitted to a predetermined user terminal 2. Then, it returns to the upper processing.
  • the terminal transmission unit transmits to the server 1 the image captured by the camera of the user terminal 2 and the sound acquired by the microphone.
  • the terminal reception unit of the user terminal 2 receives the screen image and sound transmitted from the server 1, the terminal display unit displays the received screen image on a monitor or the like, and the received sound is output to the speaker or the sound output unit. Output from an audio output device such as headphones.
  • FIG. 4 is a schematic diagram showing a specific example of the web conference system 1000.
  • FIG. Here, an example in which all of the user terminals 2 are computers will be described. Also, here, the four user terminals 2 are represented as user terminals 2a to 2d. However, the user terminals 2a to 2d may be referred to as user terminals 2 without distinguishing between them.
  • the server 1 has started a web conference, and four users are participating in the web conference using user terminals 2, respectively.
  • One of the four users is an industrial physician who manages the health of employees in a company, and the other three are employees working in the company.
  • terminal identifiers corresponding to the participating user terminals 2a to 2d are associated with each other and stored in a storage unit such as a memory (not shown).
  • FIG. 5 is a specific information management table for managing specific information stored in the specific information storage unit 101.
  • the specific information management table has attributes of "terminal ID” and "specified".
  • “Terminal ID” is a terminal identifier of the user terminal 2.
  • “Specification” is information specifying whether or not the user using the user terminal 2 is a user for whom vital information is to be obtained, and whether or not the user is a transmission destination of information corresponding to the vital information.
  • the value “1” indicates that the user is the target of acquiring vital information
  • the value "2" indicates that the user is the destination of information corresponding to the vital information.
  • the value "0" indicates that the user is neither of these. Assume that the terminal identifier of the user terminal 2a is "U001", the terminal identifier of the user terminal 2b is “U002”, the terminal identifier of the user terminal 2c is “U003”, and the terminal identifier of the user terminal 2d is "U004".
  • FIG. 6A is an output condition management table for managing the output conditions stored in the output condition storage unit 103.
  • the output condition management table has attributes of “output vital ID” and “output condition”.
  • the “output vital ID” is an identifier indicating the type of vital information to be output when the corresponding output condition is satisfied, and is assumed here to be the type name.
  • “Output condition” is an output condition for outputting the corresponding vital information. It is assumed that the output conditions such as X 1 -X 3 are predetermined values. This is the same for X4 of the condition of interest, X5 of the insurance condition, and the like.
  • FIG. 6B is a condition-of-interest management table for managing the conditions of interest stored in the condition-of-interest storage unit 104 .
  • the attribute “viewing condition” indicates the viewing condition.
  • FIG. 7(a) is a proposal information management table for managing proposal information stored in the proposal storage unit 110.
  • the attribute "insurance information” is insurance information, and here indicates the file name of the insurance information.
  • the attribute “insurance conditions” indicates insurance conditions.
  • the output condition, the condition of interest, and the insurance condition are expressed in natural language. It may be composed of one or more functions corresponding to the language, method names, control syntax indicated by "if", "then”, and the like. Further, these conditions may be algorithms for performing judgment processing and the like corresponding to these natural languages.
  • the four user terminals 2a to 2d provide the server 1 with moving images, which are time-series images taken by each user, and voices acquired by each user terminal, in association with the terminal identifiers of the own terminals. Send sequentially.
  • the information acquisition unit 102 determines that it is time to acquire vital information. For example, the information acquisition unit 102 performs a process of acquiring vital information every time a certain period of time has elapsed since the start of image reception, and a predetermined amount of time has elapsed since the previous acquisition of vital information.
  • the information acquisition unit 102 performs a process of acquiring vital information every time a certain period of time has elapsed since the start of image reception, and a predetermined amount of time has elapsed since the previous acquisition of vital information.
  • the information acquisition unit 102 uses the specific information management table shown in FIG. To detect. For example, the information acquisition unit 102 determines that the value of "terminal ID" in the specific information management table shown in FIG. In the record (row) that is either, detect the record whose "specified” value is "1", which indicates that the vital information is to be acquired, and the "terminal ID" value of the detected record A certain terminal identifier is acquired as the terminal identifier of the user terminal 2 from which vital information is to be acquired. Here, it is assumed that terminal identifiers "U003" and "U004" are acquired.
  • the information acquisition unit 102 extracts the first terminal identifier "U003" from among the acquired terminal identifiers, and acquires vital information from the image transmitted in association with the terminal identifier "U003".
  • the vital information is acquired from the images that have been transmitted until a certain period of time elapses from the time when the vital information is acquired.
  • the order of extracting terminal identifiers from the obtained terminal identifiers may be assigned in any order.
  • the information acquisition unit 102 acquires the pulse rate, the heart rate, and the LF/HF value as predetermined vital information. For example, in a moving image of a predetermined length received by the information receiving unit 100, a person area in which the user is photographed is detected, and the above three types of vital information are obtained from this person area. For example, assume that the acquired pulse rate is x 110 , the heart rate is x 210 , and the LF/HF value is x 310 . It is also assumed that the time at which these values are obtained is t6 . It is assumed that x 110 , x 210 , x 310 , t 6 and the like are each specific values.
  • the storage unit 108 associates each vital information acquired by the information acquisition unit 102 with the type name of each vital information, the terminal identifier "U003", and the acquisition time, and stores them in the vital information storage unit 109. Further, here, a file "0035.mp4" obtained by clipping an image (here, a part of a moving image) used when obtaining vital information is associated with the vital information, and stored in the vital information storage unit 109. accumulate in
  • FIG. 8 is a vital information management table for managing vital information accumulated in the vital information storage unit 109.
  • the vital information storage unit 109 has attributes of "time”, “terminal ID”, “pulse rate”, “heart rate”, “LF/HF”, and “image”.
  • “Time” is the time when vital information is acquired, and t 1 , t 2 , etc. are different specific times.
  • “Terminal ID” is a terminal identifier.
  • the “pulse rate” is the pulse rate
  • the “heart rate” is the heart rate
  • the “LF/HF” is the LF/HF value.
  • “Image” is the file name of the image file from which vital information is acquired. This image is, for example, a moving image file of a predetermined length used to acquire vital information.
  • the determination unit 105 determines whether the vital information obtained by the information acquisition unit 102 for the first terminal identifier "U003" meets the output conditions. Specifically, the determination unit 105 determines the output indicated by the “output condition” of each record (row) of the output condition management table that manages the output conditions stored in the output condition storage unit 103 shown in FIG. Determine whether the vital information obtained above matches the conditions. If they match, it decides to transmit the information corresponding to the type of vital information indicated by the "output vital ID" of the same record.
  • the determination unit 105 determines that the value of the “ output condition” in the first record (row) from the top of the output condition management table shown in FIG. ”, and determines whether the vital information obtained above matches this output condition, specifically, whether the pulse rate x 110 , which is one of the vital information obtained above, is X 1 or more times. .
  • the determining unit 105 determines that this output condition is met, and sends information corresponding to the pulse rate x 110 , which is the acquired vital information. decide.
  • the pulse rate x 101 and the LF/HF value x 301 which are vital information determined to transmit the corresponding information, are associated with the terminal identifier "U003", and stored in a storage unit such as a memory (not shown). etc.).
  • the configuration unit 106 determines whether or not the vital information acquired by the information acquisition unit 102 matches the condition of interest stored in the condition of interest storage unit 104 . Specifically, the configuration unit 106 sets the condition of interest managed by the condition of interest management table shown in FIG . "Yes" is read out, and it is determined whether or not the vital information obtained above matches the condition of interest. For example, the configuration unit 106 first determines whether the respiratory rate x 210 in the vital information acquired above is 24 times or more, and if it is 24 times or more, it determines that the conditions are met. Here, it is assumed that this condition is not met because it is not 24 times or more.
  • the configuration unit 106 determines that the acquired vital information meets the condition of interest. Therefore, the configuration unit 106 determines to configure a screen image that allows the user area including the image received from the user terminal 2 identified by the terminal identifier “U003” to be visually distinguishable from other user areas. do. Then, the terminal identifier "U003" is temporarily stored in a storage unit (not shown) such as a memory as a terminal identifier that makes the corresponding user area a visually distinguishable user area.
  • the insurance information acquisition unit 111 determines whether the vital information acquired by the information acquisition unit 102 matches the insurance conditions of each piece of proposal information stored in the proposal storage unit 110 . Then, the insurance information of the proposal information having matching insurance conditions is determined as the insurance information to be transmitted to the user terminal 2 corresponding to the acquired vital information.
  • the insurance information acquisition unit 111 first obtains the "value of LF/HF" which is the "insurance conditions” of the proposal information in the first record (row) from the top of the proposal information management table shown in FIG. is X 5 or more”, and determine whether the vital information obtained above matches the insurance conditions obtained.
  • the insurance information acquisition unit 111 proposes the record in the first row from the top.
  • the insurance information whose file name is "F001.htm” indicated by the "insurance information" value of the information is determined as the insurance information to be transmitted to the user terminal 2 identified by the terminal identifier "U003".
  • the insurance information file name "F001.htm” is associated with the terminal identifier "U003" as insurance transmission management information for managing the transmission of the insurance information. ). If insurance transmission management information having the same set of insurance information file name and terminal identifier is already stored, there is no need to store new insurance transmission management information. The transmission management information may be overwritten with new insurance transmission management information.
  • FIG. 7(b) is a diagram showing insurance transmission management information stored in a storage unit (not shown).
  • the insurance transmission management information has attributes of "insurance information”, which is the file name of the insurance information, and "terminal ID", which is the terminal identifier.
  • insurance information which is the file name of the insurance information
  • terminal ID which is the terminal identifier.
  • information having the insurance information "F002.htm” and the terminal ID "U004" is already accumulated, and the above insurance information and the like are newly accumulated.
  • the information acquisition unit 102 sequentially acquires vital information for images transmitted from the second and subsequent user terminals 2 among the user terminals 2 for which vital information is to be acquired, and
  • the determination unit 105, the configuration unit 106, the insurance information acquisition unit 111, and the like determine whether the sequentially acquired vital information matches the output conditions, the conditions of interest, and the insurance information. etc. are processed.
  • the vital information obtained from the image with the terminal identifier "U004" is processed in the same manner as described above, and as a result, none of the output condition, the attention condition, and the insurance condition is satisfied. do.
  • the configuration unit 106 determines the output conditions determined by the determination unit 105, the configuration unit 106 A screen image having a user area including the image received by the information receiving unit 100 is constructed according to the determination result of the condition of interest.
  • FIGS. 9(a) to 9(d) and 10(a) to 10(c) are diagrams showing examples of screen images for explaining screen images configured by the configuration unit 106.
  • FIG. 9(a) to 9(d) and 10(a) to 10(c) are diagrams showing examples of screen images for explaining screen images configured by the configuration unit 106.
  • the information receiving unit 100 at the same timing, from the user terminals 2 whose terminal identifiers are "U001" to "U004" participating in the same web conference, When such images 71 to 74 are received, the configuration unit 106 generates a screen image 1005 as shown in FIG. Configure. Note that the sizes and resolutions of the images 71 to 74 and the screen image 1005 do not matter. For example, all of them may be the same, or at least some of them may be different.
  • the information transmitting unit 107 selects the terminal identifiers associated with each of the four user terminals 2 that have transmitted the images having the terminal identifiers "U001" to "U004" according to the specific information management table shown in FIG.
  • the screen image configured above is transmitted to the user terminal 2 other than the user terminal 2 whose value of "specified” is the value "2" indicating the transmission destination of the vital information.
  • the information transmitting unit 107 detects the terminal identifiers other than the user terminal 2a whose terminal identifier is "U001".
  • the screen image 1005 acquired above is transmitted to the user terminals 2b to 2d of "U002" to "U004".
  • the voice received as described above is also transmitted in association with the image 1005 .
  • the terminal display unit displays this screen image 1005 to the user terminal. 2 is displayed on the monitor. Also, an audio output unit (not shown) outputs the received audio.
  • FIG. 11(a) is a diagram showing a display example of a screen image 1005 by the user terminal 2b.
  • the user terminals 2c and 2d also display a similar screen image 1005.
  • FIG. 11(a) is a diagram showing a display example of a screen image 1005 by the user terminal 2b.
  • the user terminals 2c and 2d also display a similar screen image 1005.
  • FIG. 11(a) is a diagram showing a display example of a screen image 1005 by the user terminal 2b.
  • the user terminals 2c and 2d also display a similar screen image 1005.
  • FIG. 11(a) is a diagram showing a display example of a screen image 1005 by the user terminal 2b.
  • the user terminals 2c and 2d also display a similar screen image 1005.
  • FIG. 11(a) is a diagram showing a display example of a screen image 1005 by the user terminal 2b.
  • the user terminals 2c and 2d also display a similar screen image 1005.
  • the read vital information is arranged next to the person area in the image in the user area. If vital information that meets the output conditions cannot be acquired from the image transmitted by the user terminal 2c whose terminal identifier is "U003", the above vital information is not arranged in the user area 1003.
  • the vital information acquired from the image received by the user terminal 2 with the terminal identifier "U003" matches the condition of interest as described above, and the terminal identifier "U003" is set to the corresponding user area. is temporarily stored in a storage unit (not shown) such as a memory as a terminal identifier that is a visually distinguishable user area, so the configuration unit 106 reads this terminal identifier and configures it as described above.
  • the user area 1003 corresponding to the terminal identifier "U003" in the screen image 1005 as shown in FIG. 10B is changed so as to be visually distinguishable from other user areas. As shown in FIG.
  • the screen image 1005 is changed to a screen image 1005 in which the user area 1003 is highlighted (for example, a frame line of a highlight color is arranged) and a frame 50 is arranged. Note that if vital information that matches the condition of interest cannot be acquired from the image transmitted by the user terminal 2c whose terminal identifier is "U003", the user area 1003 is visually distinguishable as described above. Not changed.
  • the screen image 1005a configured as described above and the voice as shown in FIG. 10C are associated with the terminal identifier according to the specific information management table shown in FIG. is transmitted to the user terminal 2a whose terminal identifier is "U001".
  • the terminal display unit monitors the received screen image 1005a. to display. Also, an audio output unit (not shown) outputs the received audio.
  • FIG. 11(b) is a diagram showing a display example of a screen image 1005a by the user terminal 2a whose terminal identifier is "U001".
  • the user area of the user of the other user terminal 2 is visually identifiably shown according to the vital information. Therefore, for example, the user of the user terminal 2a can take appropriate action according to the status of other users in the web conference. For example, it becomes possible to pay attention to a user who is in poor physical condition.
  • a lecturer using a predetermined user terminal 2a refers to the visually identifiable displayed user area and, for example, states It is possible to avoid appointing unfavorable users as much as possible.
  • the configuration unit 106 arranges the images transmitted by each user terminal 2 in a tiled manner in the same manner as described above. A screen image is constructed, and the information transmission unit 107 transmits this screen image to the user terminals 2b to 2d whose terminal identifiers are "U002" to "U004".
  • the configuration unit 106 transmits, to the user terminal 2a, a screen image in which the images transmitted by the user terminals 2 configured in the same manner as described above are arranged in tiles, and in which the vital information is arranged in the user area including this image. If the vital information most recently acquired from the image transmitted by one user terminal 2 matches the condition of interest, the configuration unit 106 generates an image transmitted by each user terminal 2 configured in the same manner as described above. are arranged in tiles, and the screen image in which the user area including this image is visually identifiable is transmitted to the user terminal 2a. In addition, when the vital information most recently acquired from the image transmitted by one user terminal 2 does not match the output condition and the target condition, the same screen image as the screen image transmitted to the user terminals 2b-2d is displayed. to the user terminal 2a.
  • the insurance information acquisition unit 111 determines that the transmission destination of the insurance information acquired according to the vital information is determine if there is Specifically, it is determined whether the insurance transmission management information having the terminal identifier of the user terminal 2 to which the insurance information acquired according to the vital information is transmitted is stored in a storage unit (not shown). Here, as shown in FIG. 7(b), two pieces of insurance transmission management information are stored in the storage unit, so it is determined that there is a transmission destination of insurance information. For this reason, the insurance information acquisition unit 111 reads, from the two pieces of insurance information management information shown in FIG. For each group, the insurance information indicated by the file name is acquired from the proposal storage unit 110 and transmitted to the corresponding terminal identifier.
  • the insurance information acquisition unit 111 acquires the file name "F002.htm” which is the value of "insurance information” and the value "U003" of "terminal ID" from the first record from the top shown in FIG. is read from the proposal storage unit 110 and transmitted to the user terminal 2c whose terminal identifier is "U003".
  • FIG. 12(a) is a diagram showing a display example of insurance information displayed by the user terminal 2b.
  • information about cancer insurance shall be displayed on the monitor of the user terminal 2c.
  • the insurance information acquisition unit 111 obtains the file name "F001.htm”, which is the value of "insurance information”, and the value " U004", reads the insurance information file with the file name "F001.htm” from the proposal storage unit 110, and transmits it to the user terminal 2d with the terminal identifier "U004".
  • the terminal receiving unit (not shown) of the user terminal 2c whose terminal identifier is "U004" receives the insurance information file whose file name is "F001.htm"
  • the terminal display unit (not shown) This insurance information is displayed on the monitor.
  • FIG. 12(b) is a diagram showing a display example of insurance information displayed by the user terminal 2d.
  • information about medical insurance shall be displayed on the monitor of the user terminal 2d.
  • Embodiment 2 an information processing apparatus that acquires vital information of one or more users during a web conference, associates the vital information with images in the web conference, and stores them will be described.
  • an information processing apparatus that recognizes the speech of a user during a web conference and accumulates conversation text, which is the acquired text, in association with vital information will be described.
  • the conversation text is usually stored in association with the user identifier of the user who made the utterance.
  • an information processing apparatus that stores voice information of interpretation of user's utterance or interpretation text obtained by voice recognition of the voice information in association with vital information will be described.
  • an information processing device that evaluates an interpreter using the vital information of the user listening to the interpreter's interpretation will be described. This evaluation is based on, for example, a comparison between the vital information of the user listening to the utterance in the source language of the interpretation and the vital information of the user listening to the result of the interpretation in the target language.
  • an information processing apparatus that associates the user identifier of the speaker with the user identifier of the user who heard the speech when the vital information of the user who heard the speech of the speaker satisfies the condition of interest will be described. do.
  • the statistical processing includes, for example, statistical processing of vital information for each user, statistical processing of vital information for each user attribute value, and statistical processing of vital information of the entire web conference.
  • an information processing apparatus that outputs a screen image in which a user area including an image in which vital information that satisfies the condition of interest is acquired is visually different from other user areas will be described.
  • an information processing apparatus capable of searching for images in a web conference using vital information, text, and statistical processing results will be described.
  • the fact that the information X is associated with the information Y means that the information Y can be obtained from the information X or the information X can be obtained from the information Y, and the method of the association does not matter.
  • Information X and information Y may be linked, may exist in the same buffer, information X may be included in information Y, and information Y may be included in information X. etc. is fine.
  • FIG. 13 is a conceptual diagram of the information system 2000 according to this embodiment.
  • the information system 2000 includes an information processing device 3 , two or more user terminals 4 , and one or two or more interpreter terminals 5 .
  • the information processing device 3 is a device for supporting web conferences by two or more users.
  • the information processing device 3 associates and accumulates the images transmitted from one or more user terminals 4 in the web conference and the user's vital information.
  • the information processing device 3 preferably has a web conference function, but does not have to have a web conference function.
  • the web conference function is, for example, a function of Zoom and Teams (registered trademark).
  • a web conference here is a concept that includes seminars, classes, and examinations of one or more patients by a doctor using multiple terminals connected via a network.
  • the content of the web conference does not matter. It is preferable that the information processing device 3 can implement all or part of the functions of the server 1 .
  • the server 1 performs the process of acquiring vital information from images. You can In such a case, the server 1 and the information processing device 3 receive vital information from the user terminal 2 or the user terminal 4 in association with the image.
  • the user terminal 2 and the user terminal 4 may transmit one or more types of vital information acquired by sensors (for example, heartbeat sensor, blood pressure sensor, etc.) to the server 1 or the information processing device 3 .
  • the information processing device 3 is a so-called server.
  • the information processing device 3 is, for example, a cloud server or an ASP server, but the type is not limited.
  • the user terminal 4 is a terminal used by users participating in the web conference.
  • the interpreter terminal 5 is a terminal used by an interpreter who translates the user's utterance.
  • the interpreter is usually a person, but may be a device that performs speech translation. It should be noted that such translation is preferably simultaneous interpretation.
  • the user terminal 4 and the interpreter terminal 5 are, for example, so-called personal computers and tablet terminals. Although it is a smartphone, the type does not matter.
  • the information processing device 3 and two or more user terminals 4, and the information processing device 3 and one or two or more interpreter terminals 5 can communicate via a network such as the Internet or LAN.
  • FIG. 14 is a block diagram of the information system 2000 according to this embodiment.
  • FIG. 15 is a block diagram of the information processing device 3. As shown in FIG.
  • the information processing device 3 includes a storage unit 31, a reception unit 32, a processing unit 33, and an output unit .
  • the storage unit 31 has an information storage unit 311 .
  • the receiver 32 includes an information receiver 321 , an interpretation information receiver 322 , and a search receiver 323 .
  • the processing unit 33 includes a vital acquisition unit 330, a text acquisition unit 331, an interpretation information acquisition unit 332, a determination unit 333, a relationship detection unit 334, an accumulated image acquisition unit 335, an accumulation unit 336, an interpretation evaluation unit 338, a statistical processing unit 337, and a search unit 339 .
  • the output unit 34 includes a screen output unit 341 , a relationship output unit 342 , an evaluation output unit 343 and a result output unit 344 .
  • the user terminal 4 includes a user storage unit 41, a user reception unit 42, a user processing unit 43, a user transmission unit 44, a user reception unit 45, and a user output unit 46.
  • the interpreter terminal 5 includes an interpreter storage unit 51, an interpreter reception unit 52, an interpreter processing unit 53, an interpreter output unit 54, an interpreter reception unit 55, and an interpreter transmission unit 56.
  • Various types of information are stored in the storage unit 31 that constitutes the information processing device 3 .
  • Various types of information are, for example, specific information, various conditions, and information stored in the information storage unit 311 .
  • Various conditions are, for example, one or two or more target conditions, one or two or more output conditions, and one or two or more demerit conditions.
  • Deduction conditions are conditions for reducing the evaluation of the interpreter.
  • the demerit condition is based on the vital information of the user listening to the interpreter's interpretation voice.
  • the demerit conditions are, for example, conditions related to the vital information of the users listening to the interpreter's interpretation voice and the number or ratio of the users.
  • Demerit conditions include, for example, "there are users whose heart rate is greater than or equal to a threshold value (e.g., having an unpleasant feeling)" and "the number of users whose heart rate is greater than or equal to the first threshold is greater than or equal to the second threshold.” "there are users whose heart rates are less than the first threshold (sleeping)” and "the proportion of users whose heart rates are less than the first threshold is greater than or equal to the second threshold".
  • Various types of information are stored in the information storage unit 311 .
  • Various types of information are accumulated images, vital information, voice information, conversation texts, interpretation voice information, and interpretation texts.
  • the accumulated images include one or more of the images received from each of the two or more user terminals 4 or images based on the two or more images received from each of the two or more user terminals 4 .
  • An image based on two or more images is, for example, an image obtained by synthesizing two or more images.
  • the stored image may be one or more of the images received from each of the two or more user terminals 4 and an image based on the two or more images received from each of the two or more user terminals 4. .
  • the image may be a moving image or a still image.
  • the accumulated images in the information storage unit 311 are usually time series images.
  • the time-series images may be, for example, moving images or a plurality of still images transmitted in time series.
  • additional information is associated with the accumulated image.
  • the accumulated image and the additional information associated with the accumulated image are information obtained at approximately the same time.
  • the additional information is additional information in the web conference.
  • the additional information is one or more of the vital information, the result of processing the vital information, the conversation text, the interpretation voice information, and the interpretation text.
  • the processing result of vital information is information indicating the result of analyzing the vital information and the result of statistical processing of the vital information.
  • the processing result of vital information is, for example, "tensed", "negative", and "positive".
  • the receiving unit 32 receives various types of information.
  • Various types of information are, for example, user information, images, additional information, vital information, voice information, interpretation voice information, conversation texts, and interpretation texts.
  • the information receiving unit 321 receives user information including images transmitted by each user terminal 4 of each of two or more users during the web conference.
  • the information receiving unit 321 may receive user information from a server (not shown) that has received images from the user terminals 4 of two or more users during the web conference.
  • the information receiving unit 321 normally receives user information in association with a user identifier. This user identifier is the identifier of the user of the user terminal 4 that has transmitted the user information.
  • User information usually also includes voice information.
  • the voice information is information on the voice uttered by the user during the web conference.
  • User information includes, for example, vital information acquired by the user terminal 4 .
  • the user information includes, for example, conversation text obtained by performing voice recognition processing on voice information based on user's utterance.
  • Vital information is as described above, but one or more of respiration, body temperature, blood pressure, level of consciousness, heart rate variability, sympathetic nerves, parasympathetic nerves, or LF (low frequency) / HF (high frequency). is preferred.
  • the interpretation information receiving unit 322 receives the interpretation information, which is the interpretation voice information for the user's utterance during the web conference or the interpretation text obtained from the interpretation voice information.
  • the interpretation information receiving unit 322 may receive interpretation information including interpretation voice information and interpretation text.
  • the interpretation information receiving section 322 normally receives interpretation information from one or more interpreter terminals 5 .
  • the search reception unit 323 receives search conditions.
  • the search reception unit 323 normally receives search conditions from the user terminal 4 .
  • the search condition is, for example, a condition for searching for images.
  • the search conditions may be, for example, conditions for searching vital information, voice information, conversational texts, and interpretation texts.
  • the search condition is usually information related to additional information.
  • reception usually means reception of information transmitted via a wired or wireless communication line.
  • the concept may include acceptance of information read from a recording medium such as a semiconductor memory.
  • the processing unit 33 performs various types of processing. Various processes include, for example, a vital acquisition unit 330, a text acquisition unit 331, an interpretation information acquisition unit 332, an accumulation unit 336, a determination unit 333, a relationship detection unit 334, an accumulated image acquisition unit 335, an interpretation evaluation unit 338, and a statistical processing unit. 337 is processing performed by the search unit 339 .
  • the vitals acquisition unit 330 acquires the vitals information of each of the two or more users participating in the web conference.
  • the vitals acquisition unit 330 usually acquires one or more pieces of vitals information of the user identified by the user identifier in association with the user identifier.
  • the vitals acquisition unit 330 usually acquires one or more pieces of vitals information in association with an image.
  • Such one or more pieces of vital information are, for example, vital information acquired from associated images or vital information acquired when the associated images were captured. It is preferable that the time when the image is taken matches the time when the vital information is generated, but there may be some deviation. It should be noted that the interval of some deviation is not critical.
  • the vitals acquisition unit 330 acquires vitals information included in the user information received from the user terminal 4, for example. Such vital information is vital information acquired by the user terminal 4 .
  • the user terminal 4 may transmit one or more vital information acquired from the user's person region included in the image, or transmit one or more vital information acquired by the sensor. You can send it.
  • the vitals acquisition unit 330 may acquire one or more pieces of vital information of the user, for example, from the user's person area included in the image included in the user information received from each of the one or more user terminals 4 . Such processing is the same as that of the information acquisition unit 102 .
  • the text acquisition unit 331 acquires the conversation text acquired from the voice information.
  • the text acquisition unit 331 usually acquires the conversation text in association with the user identifier.
  • This user identifier is the identifier of the user who made the utterance on which the voice information is based.
  • the text acquisition unit 331 usually acquires conversation text in association with image and audio information.
  • the text acquisition unit 33 for example, performs voice recognition processing on the received voice information and acquires conversation text.
  • the text acquisition unit 331 acquires conversation text included in the user information received from the user terminal 4, for example.
  • the user terminal 4 normally acquires voice information corresponding to the user's utterance, performs voice recognition processing on the voice information, acquires the conversation text, and transmits the conversation text to the information processing device 3. do.
  • the interpretation information acquisition unit 332 acquires interpretation information.
  • the interpretation information is one or two types of information of interpretation voice information and interpretation text.
  • Interpretation voice information is voice information resulting from interpretation of the user's utterance.
  • the interpreter voice information is information normally transmitted from the interpreter terminal 5 .
  • the interpretation information acquisition unit 332 acquires the interpretation voice information received by the interpretation information reception unit 322. For example, the interpretation information acquisition unit 332 performs speech recognition processing on the acquired interpretation voice information to acquire an interpretation text, but the interpretation text received by the interpretation information reception unit 322 may be acquired. In other words, the speech recognition processing for the interpretation speech information may be performed by the interpretation information acquisition unit 332 or may be performed by the interpreter terminal 5 .
  • the interpretation information acquired by the interpretation information acquisition unit 332 is usually associated with image and audio information.
  • Such an image is an image acquired at the same timing as the voice information on which the interpretation information is based. It should be noted that the same timing is preferably a timing that completely matches, but it does not have to be a timing that completely matches.
  • the determination unit 333 determines whether the vital information acquired by the vital acquisition unit 330 matches the condition of interest.
  • the determination unit 333 determines, for example, whether the user's vital information at the timing when the user is not speaking matches the condition of interest.
  • a condition of interest is a condition related to one or more pieces of vital information of the user.
  • the condition of interest is, for example, a condition for acquiring related information.
  • the condition of interest is, for example, a condition for determining whether or not to form a screen image in which the user area corresponding to the user is visually distinguishable from other user areas.
  • the screen image is an image output on the screen of the user terminal 4.
  • the screen image may be information for forming an image to be output on the screen of the user terminal 4 .
  • the screen image is preferably the same as the stored image, but may be a different image.
  • the screen image is, for example, an image in which two or more user areas are arranged in tiles.
  • the screen image may be, for example, an image in which all images received by the information receiving unit 321 from two or more user terminals 4 are arranged in tiles, or may be an image in which all images received by the information receiving unit 321 from two or more user terminals 4 are arranged in tiles. It may be an image or the like in which one or more images excluding the image received from the user terminal 4 are arranged.
  • the relationship detection unit 334 acquires relationship information that associates the first user identifier for the vital information determined by the determination unit 333 to match the condition of interest and the second user identifier of the speaker at the timing.
  • the timing is the timing at which the vital information is acquired.
  • condition of attention is, for example, a condition for determining that one or more types of vital information are vital information that is presumed to represent negative emotions.
  • conditions of interest are, for example, "pulse rate is greater than or equal to threshold", "blood pressure is greater than or equal to threshold”, and "LF/HF is greater than or equal to threshold”.
  • the relationship detection unit 334 acquires one or more first user identifiers that are paired with the vital information determined by the determination unit 333 to match the condition of interest. Also, the relationship detection unit 334 acquires, for example, the user identifier corresponding to the voice information paired with the vital information as the second user identifier. Then, the relationship detection unit 334 configures, for example, relationship information that associates the first user identifier and the second user identifier. Note that the relationship information has, for example, one or more first user identifiers and second user identifiers.
  • the relationship information is information that specifies two users who are in a bad relationship. It is possible to confirm such a situation and, for example, prevent the two users from being assigned to the same project. If the condition of interest is a condition that specifies vital information presumed to represent positive emotions, the relationship information is information that specifies two users who are in a good relationship. It is possible to confirm such a situation and, for example, make the two users work in the same team.
  • the accumulated image acquisition unit 335 acquires accumulated images.
  • a stored image is an image stored in association with vital information.
  • a stored image is a screen image that is normally output by the user terminal 4 during a Web conference.
  • the stored images may be images received from two or more user terminals 4 .
  • the stored images may be both screen images and images received from each of two or more user terminals 4 .
  • the accumulated image acquisition unit 335 acquires a screen image, which is an image based on images received from two or more user terminals 4, for example.
  • the accumulated image acquisition unit 335 acquires images received from two or more user terminals 4, for example.
  • the accumulation unit 336 associates and accumulates the vital information of one or more users acquired by the vital acquisition unit 330 and the accumulated image acquired by the accumulated image acquisition unit 335 .
  • the correspondence between the vital information and the accumulated image is usually the correspondence between the vital information and the accumulated image at the same timing. It is preferable that the similar timing is coincident timing, but a slight deviation is allowed.
  • the storage unit 336 normally associates the vital information acquired by the vital acquisition unit 330 with the time-series images received by the information reception unit 321 and within the period used to acquire the vital information. Attach and accumulate.
  • the storage unit 336 stores, for example, the conversation text acquired by the text acquisition unit 331 in association with the stored image. Note that the corresponding conversation text and stored image are based on voices uttered at the same timing and captured images, respectively.
  • the storage unit 336 stores, for example, one or more conversation texts in association with a user identifier.
  • the user identifier here is the identifier of the user who uttered the voice on which the conversation text is based.
  • the accumulation unit 336 accumulates, for example, the interpretation information acquired by the interpretation information acquisition unit 332 in association with the accumulated image.
  • the interpretation information is one or more types of information of interpretation voice information or interpretation text.
  • the associated interpretation information and stored image are based on the interpretation and captured image of the conversation uttered at the same timing, respectively.
  • the statistical processing unit 337 statistically processes the vital information of one or more users and acquires the processing results.
  • the statistical processing unit 337 statistically processes the vital information for each user identifier or for each user attribute value paired with the user identifier, and acquires the processing result. It should be noted that each user attribute value may be said to correspond to each user attribute value condition. The statistical processing unit 337 may statistically process the vital information of the entire web conference and acquire the processing result.
  • the statistical processing unit 337 acquires a set of vital information (eg, blood pressure, pulse rate) paired with one or more user identifiers. Next, the statistical processing unit 337 acquires a representative value of a set of vital information, for example, for each of one or more user identifiers. Note that the representative values are, for example, an average value, a median value, a minimum value, and a maximum value.
  • a set of vital information eg, blood pressure, pulse rate
  • the statistical processing unit 337 For example, for each user attribute value paired with the user identifier (eg, “male” and “female”), the statistical processing unit 337 generates a set of vital information (eg, blood pressure, pulse rate) paired with the user attribute value. get. Next, the statistical processing unit 337 acquires, for example, a representative value of a set of vital information for each user attribute value of 1 or more. Note that the representative values are, for example, an average value, a median value, a minimum value, and a maximum value. Also, the user attribute values are, for example, gender, whether the target language is the source language, age, age group, and department.
  • a set of vital information eg, blood pressure, pulse rate
  • the interpretation evaluation unit 338 acquires evaluation information indicating the evaluation of the interpreter using the vital information of one or more users listening to the interpreter's voice.
  • the interpreter is usually a simultaneous interpreter. However, the interpreter may be a device (not shown) that performs voice translation.
  • the interpretation evaluation unit 338 acquires time-series vital information of one or more users corresponding to the source language, which is the language of the utterance to be interpreted. Next, the interpretation evaluation unit 338 determines, for example, for each unit period (eg, 5 seconds, 1 minute) whether or not a set of one or more pieces of vital information of each user meets the deduction condition. Next, the interpretation evaluation unit 338 acquires, for example, the number of unit periods that meet the deduction conditions. Next, the interpretation evaluation unit 338 acquires evaluation information indicating a lower evaluation, for example, as the number of unit periods that match the deduction condition is larger. The interpretation evaluation unit 338 calculates evaluation information using a decreasing function whose parameter is, for example, the number of unit periods that match the deduction condition.
  • the deduction condition may be, for example, "the ratio of users whose average difference between the blood pressure in one unit period and the normal blood pressure (for example, at the start of a web conference) is greater than or equal to the first threshold is the second threshold. "The ratio of users whose average value of the difference between the pulse rate in one unit period and the pulse rate during normal times (for example, at the start of a web conference) is greater than or equal to the first threshold is greater than or equal to the second threshold and "the number of users whose pulse rate is equal to or less than the first threshold is greater than or equal to the second threshold".
  • the interpretation evaluation unit 338 evaluates evaluation information using one or more user vital information corresponding to the source language, which is the language of the utterance to be interpreted, and one or more user vital information corresponding to the target language of interpretation. to get
  • the interpretation evaluation unit 338 for example, provides information about the difference between the vital information of one or more users corresponding to the source language in one period and the vital information of one or more users corresponding to the target language in the one period meets the deduction conditions, it is judged that the translation for that period was not good. Then, the interpretation evaluation unit 338 acquires, for example, the number of periods that match the deduction condition. Next, the interpretation evaluation unit 338 acquires evaluation information indicating a lower evaluation, for example, as the number of unit periods that match the deduction condition is larger.
  • the deduction conditions are, for example, the average value of one or more user's vital information (for example, blood pressure, pulse rate, respiration rate) corresponding to the source language in one period, and the target language in the one period.
  • the difference from the average value of one or more corresponding user's vital information is greater than or equal to a threshold.
  • a user corresponding to the original language is a user who listens to the speaker's utterance as it is.
  • a user corresponding to the target language is a user who listens to the translated voice.
  • the interpretation evaluation unit 338 uses, for example, the processing result obtained by the statistical processing unit 337 to obtain evaluation information indicating the evaluation of the interpreter.
  • the interpretation evaluation unit 338 may acquire evaluation information indicating the evaluation of the interpreter based on the vital information of one or more users who listen to the interpreter's voice, and any algorithm may be used.
  • the search unit 339 detects an accumulated image associated with additional information that matches the search condition among the accumulated images accumulated by the accumulation unit 336, and outputs the accumulated image or an image acquired from the accumulated image.
  • the search condition is, for example, a condition related to additional information, a condition related to vital information, a condition related to conversation text, a condition related to interpretation text, or a combination of these conditions.
  • the search unit 339 refers to the information storage unit 311 and acquires accumulated images associated with additional information that matches the search conditions.
  • the search unit 339 refers to the information storage unit 311 and acquires information indicating a location in the stored image associated with additional information that matches the search condition.
  • the information indicating the location in the accumulated image is, for example, the offset in the accumulated image, which is the image of the entire web conference.
  • the offset is information indicating a location in the moving image, such as time and frame number.
  • the search unit 339 searches the information storage unit 311 for additional information that matches the search condition, acquires an accumulated image paired with the additional information, and outputs the accumulated image.
  • the search unit 339 searches the information storage unit 311 for additional information that matches the search condition, acquires an accumulated image paired with the additional information, and outputs the additional information and the accumulated image.
  • output here is usually transmission to the user terminal 4.
  • output may be a concept that includes display on a display, projection using a projector, printing on a printer, storage on a recording medium, delivery of processing results to other processing devices or other programs, etc. good.
  • the output unit 34 outputs various information.
  • Various types of information are, for example, screen images, relationship information, evaluation information, and processing results.
  • the output here is usually transmission to the user terminal 4.
  • the output is display on a display, projection using a projector, printing on a printer, storage in a recording medium, delivery of processing results to other processing devices (e.g., interpreter terminal 5) or other programs. and so on.
  • the screen output unit 341 outputs a screen image including user areas of two or more users during the web conference.
  • the screen output unit 341 outputs the screen image acquired by the accumulated image acquisition unit 335 .
  • the screen output unit 341 outputs a screen in a form in which the user area of the user corresponding to the vital information determined by the determination unit 333 to match the condition of interest can be visually distinguished from the user areas of other users. be.
  • the screen output unit 341 normally transmits the screen image to the user terminal 4.
  • the screen output section 341 may transmit the screen image to the interpreter terminal 5 .
  • the relationship output unit 342 outputs the relationship information acquired by the relationship detection unit 334.
  • the relationship output unit 342 outputs the relationship information in association with the image or vital information at the timing corresponding to the relationship information.
  • the relationship output unit 342 stores the relationship information in association with the image or vital information at the timing corresponding to the relationship information.
  • the evaluation output unit 343 outputs the evaluation information acquired by the interpretation evaluation unit 338.
  • the evaluation output unit 343 transmits evaluation information to the interpreter terminal 5, for example.
  • the evaluation output unit 343 accumulates evaluation information, for example.
  • the evaluation output unit 343 stores, for example, the evaluation information paired with the interpreter identifier.
  • the storage destination of the evaluation information is, for example, the storage unit 31, but may be another device.
  • the result output unit 344 outputs the processing results obtained by the statistical processing unit 337.
  • the storage destination of the processing result is, for example, the storage unit 31, but may be another device.
  • the result output unit 344 stores, for example, the processing result acquired by the statistical processing unit 337 as a pair with the conference identifier of the web conference.
  • the user terminal 4 is equipped with a camera (not shown) capable of photographing the user.
  • User terminal 4 is typically equipped with a microphone (not shown) for picking up voice.
  • Various types of information are stored in the user storage unit 41 that constitutes the user terminal 4 .
  • Various types of information are, for example, user identifiers, images, vital information, voice information, and output conditions.
  • the output condition here is a condition for determining whether or not the vital information acquired by the user processing unit 43 may be transmitted to the information processing device 3 .
  • the output condition is, for example, a condition regarding one or more pieces of vital information of the user acquired by the user processing unit 43 .
  • the user's vital information is, for example, the vital information of the user who uses the user terminal 4 and which is acquired from the image captured by the camera of the user reception unit 42 .
  • An output condition is, for example, a threshold for vital information represented by a numerical value or index.
  • the output condition is a condition that the heart rate is equal to or greater than a threshold, a condition that the respiration rate is equal to or greater than the threshold, or a condition that the stress index value indicated by LF/HF is equal to or greater than the threshold.
  • the user storage unit 41 may store different output conditions for each type of vital information.
  • the user storage unit 41 may store, for example, output conditions for one or more different vital information in association with vital identifiers that identify types of vital information.
  • the vital identifier may be, for example, a vital name, a code assigned to the vital, or the like.
  • the output condition may be a combination of conditions for multiple types of vital information (for example, AND conditions, OR conditions, etc.).
  • the user reception unit 42 receives various information and instructions.
  • Various information and instructions are, for example, search conditions.
  • Input means for various information and instructions can be anything, such as a touch panel, keyboard, mouse, or menu screen.
  • the user processing unit 43 performs various types of processing.
  • the various types of processing are, for example, processing for converting received information, instructions, etc. into information, instructions, etc. of a structure to be transmitted.
  • the various types of processing are, for example, processing of converting received information into information having a structure to be output.
  • the user processing unit 43 acquires the user's vital information from the user's person area included in the image captured by a camera (not shown) in association with the image.
  • the user processing section 43 has the function of the information acquisition section 102 .
  • the corresponding image and vital information are information acquired at the same timing.
  • the user processing unit 43 acquires, for example, the user's vital information acquired by a sensor (not shown) in association with the image.
  • the sensors are, for example, a sphygmomanometer, a pulse meter, and a thermometer.
  • the corresponding image and vital information are information acquired at the same timing.
  • the user processing unit 43 forms voice information from the user's voice collected by the microphone.
  • the user processing unit 43 for example, associates the image captured by the camera, the acquired voice information, and one or more acquired vital information.
  • the user processing unit 43 determines whether the acquired vital information satisfies the output conditions.
  • the user processing unit 43 determines whether or not the acquired vital information satisfies all two or more output conditions.
  • the user processing unit 43 determines whether or not the acquired vital information satisfies any one of two or more output conditions.
  • the user transmission unit 44 transmits the image captured by the camera to the information processing device 3 .
  • the user transmission unit 44 transmits the voice information acquired by the user processing unit 43 to the information processing device 3 .
  • the user transmission unit 44 transmits the vital information acquired by the user processing unit 43 to the information processing device 3, for example.
  • the user transmission unit 44 transmits, for example, the associated image, audio information, and vital information to the information processing device 3 .
  • the user transmission unit 44 transmits, for example, one or more types of vital information determined by the user processing unit 43 to satisfy the output conditions to the information processing device 3 .
  • the user transmission unit 44 transmits, for example, one or more types of vital information determined by the user processing unit 43 to satisfy all the output conditions to the information processing device 3 .
  • the user transmission unit 44 transmits, for example, one or more types of vital information determined by the user processing unit 43 to satisfy any of the output conditions to the information processing device 3 .
  • the user transmission unit 44 may transmit all acquired vital information to the information processing device 3 .
  • the user reception unit 45 receives various information.
  • Various types of information are, for example, screen images, audio information, retrieved accumulated images, or images obtained from the accumulated images.
  • the user output unit 46 outputs various information.
  • Various types of information are, for example, screen images in web conferences, audio information in web conferences, searched accumulated images, or images obtained from the accumulated images.
  • interpreter storage unit 51 that constitutes the interpreter terminal 5.
  • Various types of information are stored in the interpreter storage unit 51 that constitutes the interpreter terminal 5.
  • Various information is, for example, an interpreter identifier.
  • An interpreter identifier is information that identifies an interpreter.
  • Interpreter identifiers are, for example, ID, name, email address, and telephone number.
  • the interpreter receiving unit 52 receives various types of information.
  • Various types of information are, for example, voice information of an object to be interpreted (original language) and screen images.
  • the interpreter processing unit 53 performs various types of processing.
  • the various types of processing are, for example, processing for converting received information, instructions, etc. into information, instructions, etc. of a structure to be transmitted.
  • the various types of processing are, for example, processing of converting received information into information having a structure to be output.
  • the interpreter processing unit 53 constructs interpretation speech information from the received interpretation speech.
  • the interpreter processing unit 53 for example, performs speech recognition processing on the configured interpretation voice information and acquires the interpretation text.
  • the interpreter output unit 54 outputs various information.
  • Various types of information are, for example, audio based on audio information and screens based on screen images.
  • the speech is typically the speech to be interpreted.
  • the interpreter reception section 55 receives various information and instructions. Various information and instructions are, for example, an interpreting voice.
  • the interpreter reception unit 55 is realized by, for example, a microphone.
  • the interpreter transmission unit 56 transmits various information and instructions to the information processing device 3.
  • Various information and instructions are, for example, interpretation voice information and interpretation text.
  • the storage unit 31, the information storage unit 311, the user storage unit 41, and the interpreter storage unit 51 are preferably non-volatile recording media, but can also be realized with volatile recording media.
  • information may be stored in the storage unit 31 or the like via a recording medium, or information transmitted via a communication line or the like may be stored in the storage unit 31 or the like.
  • information input via an input device may be stored in the storage unit 31 or the like.
  • the receiving unit 32, the information receiving unit 321, the interpretation information receiving unit 322, the search receiving unit 323, the user receiving unit 45, and the interpreter receiving unit 52 are usually realized by wireless or wired communication means. It may be realized by means of
  • Processing unit 33 vital acquisition unit 330, text acquisition unit 331, interpretation information acquisition unit 332, storage unit 336, determination unit 333, relationship detection unit 334, accumulated image acquisition unit 335, interpretation evaluation unit 338, statistical processing unit 337, search
  • the unit 339, the user processing unit 43, and the interpreter processing unit 53 can usually be implemented by a processor, memory, or the like.
  • the processing procedure of the processing unit 33 and the like is normally realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the processor may be a CPU, MPU, GPU, or the like, and may be of any type.
  • the output unit 34, the screen output unit 341, the relationship output unit 342, the evaluation output unit 343, the result output unit 344, the user transmission unit 44, and the interpreter transmission unit 56 are usually realized by wireless or wired communication means.
  • the screen output unit 341, the relationship output unit 342, the evaluation output unit 343, and the result output unit 344 may be implemented by a processor, memory, or the like.
  • the processor may be a CPU, MPU, GPU, or the like, and may be of any type.
  • the user reception unit 42 and the interpreter reception unit 55 can be realized by device drivers for input means such as microphones, cameras, touch panels and keyboards, and control software for menu screens.
  • the user output unit 46 and the interpreter output unit 54 may or may not include output devices such as displays and speakers.
  • the user output unit 46 can be realized by output device driver software, or by output device driver software and an output device.
  • FIG. 16 An operation example of the information system 2000 will be described.
  • an operation example of the information processing device 3 will be described with reference to the flow charts of FIGS. 16 and 17.
  • FIG. 16 An operation example of the information processing device 3 will be described with reference to the flow charts of FIGS. 16 and 17.
  • Step S1601 The information processing device 3 determines whether or not to start the web conference. If the web conference is to be started, go to step S1602; otherwise, go to step S1619. It should be noted that, for example, when the reception unit 32 receives an instruction to start a web conference, it is determined to start the web conference.
  • Step S1602 The information receiving unit 321 determines whether user information or the like has been received from one or more of the user terminals 4 or the interpreter terminals 5. If user information or the like has been received, the process goes to step S1603, and if user information or the like has not been received, the process goes to step S1617. Note that the information receiving unit 321 usually receives user information and the like in association with the user identifier. Also, the user information and the like may be interpretation information.
  • Step S1603 The processing unit 33 temporarily stores the user information and the like received in step S1602 in pairs with the identifier for identifying the transmitting terminal.
  • the identifiers are, for example, user identifiers and interpreter identifiers.
  • Step S1604 The processing unit 33 acquires vital information associated with one or more user identifiers from the user information and the like received in step S1602. It should be noted that there may be a case where vital information cannot be acquired here. Also, the acquired vital information may be two or more time-series vital information. Time-series vital information is vital information acquired at different times. The time-series vital information is usually two or more pieces of vital information obtained continuously. The two or more pieces of vital information acquired in succession may be vital information acquired at intervals of time.
  • Step S1605 The determination unit 333 determines whether the vital information associated with one or more user identifiers acquired in step S1604 matches one or more conditions of interest. If there is vital information that matches the condition of interest, go to step S1606; if not, go to step S1607.
  • the determination unit 333 accumulates in a buffer (not shown) one or more user identifiers paired with vital information that matches the condition of interest. Note that when there are two or more conditions of interest, the determination unit 333 preferably stores one or more user identifiers in a buffer (not shown) in association with condition identifiers that identify the conditions of interest.
  • Step S1607 The text acquisition unit 331 acquires a conversation text paired with a user identifier from the one or more pieces of user information received in step S1602. For example, the text acquisition unit 331 performs voice recognition processing on voice information included in the received one or more user information, etc., and pairs the one or more users' conversation texts with the user identifiers. get. The text acquisition unit 331 acquires, for example, the conversation text included in the received one or more pieces of user information or the like in pair with the user identifier.
  • the accumulated image acquisition unit 335 constructs a screen image using the images transmitted from two or more user terminals 4. In addition, it is preferable that the accumulated image acquisition unit 335 compares the area on the screen identified by the user identifier accumulated in the buffer (not shown) with other areas and constructs a distinguishable screen image. It is preferable that the accumulated image acquisition unit 335 constructs a screen image in which a region on the screen identified by a user identifier accumulated in a buffer (not shown) can be identified by a condition identifier that identifies the condition of interest.
  • the processing unit 33 composes conference information including the screen image and the received audio information. Note that the processing with such a configuration is processing performed in a known web conference system. It is preferable that the processing unit 33 compose the conference information including the interpretation voice information. The processing unit 33 may compose conference information including conversation text or interpretation text. Note that the accumulated image acquiring unit 335 may perform the process of configuring the meeting information here. Also, the conference information is information output by the user terminal 4 .
  • Step S1610 The output unit 34 transmits the conference information configured in step S1609 to two or more user terminals 4. Also, it is preferable that the output unit 34 transmits the conference information configured in step S1609 to one or more interpreter terminals 5. FIG.
  • Step S1611 The interpretation information acquisition unit 332 determines whether or not the user information received in step S1602 includes interpretation information. If the interpretation information is included, go to step S1612; if not, go to step S1614.
  • Step S1612 The interpretation information acquisition unit 332 acquires the interpretation voice information in the user information received in step S1602.
  • the interpretation information acquisition unit 332 acquires an interpretation text based on the interpretation voice information.
  • Step S1614 The accumulation unit 336 acquires accumulated images including the screen image acquired in step S1608.
  • the storage unit 336 acquires additional information.
  • the storage unit 336 acquires additional information included in the user information or the like received in step S1602.
  • additional information is, for example, one or more types of vital information associated with one or more user identifiers, speech information associated with one or more user identifiers, and interpretation speech information.
  • the storage unit 336 converts the conversation text, which is the result of speech recognition of the speech information included in the user information received in step S1602, and the interpretation speech information included in the user information received in step S1602 into speech. It is preferable to obtain additional information including the interpreted text that is the result of recognition. Note that the conversation text in the additional information is associated with the user identifier.
  • Step S1616 The accumulation unit 336 associates and accumulates the accumulated image acquired in step S1614, the audio information, and the additional information acquired in step S1615. Return to step S1602. Note that the accumulation destination of accumulated images and the like is, for example, the information storage unit 311, but may be another device.
  • Step S1617 The processing unit 33 determines whether or not to end the web conference. If the web conference is to end, the process goes to step S1618; otherwise, the process returns to step S1602. Note that the web conference is ended when, for example, an end instruction is received from the user terminal 4, but the trigger does not matter.
  • Step S1618 The processing unit 33 performs web conference end processing. Return to step S1601. It should be noted that the end processing of the web conference is a known technology.
  • Step S1619 The processing unit 33 determines whether it is time for statistical processing. If it is the timing for statistical processing, the process goes to step S1620, and if it is not the timing for statistical processing, the process goes to step S1621.
  • the timing of the statistical processing is, for example, the timing at which the web conference ends, the timing at which an instruction from the user is received, and the like.
  • Step S1620 The statistical processing unit 337 performs statistical processing on the vital information associated with the accumulated image of one web conference. An example of statistical processing will be described with reference to the flowchart of FIG.
  • Step S1621 The processing unit 33 determines whether or not to evaluate the interpreter. If interpreter evaluation is to be performed, go to step S1622; if interpreter evaluation is not to be performed, go to step S1623. In the case of interpreter evaluation, for example, when a predetermined period of time has elapsed after the start of the web conference, at predetermined intervals during the web conference, after the end of the web conference, instructions from the user have been received, etc. is.
  • Step S1622 The interpretation evaluation unit 338 performs evaluation processing of the interpreter in one web conference. An example of evaluation processing will be described using the flowchart of FIG. 22 .
  • Step S1623 The processing unit 33 determines whether or not to perform relationship detection. If the relationship detection is to be performed, the process goes to step S1624, and if the relationship detection is not to be performed, the process goes to step S1625. Note that when the relationship is detected, for example, after the end of the web conference, the timing and trigger do not matter, such as when an instruction from the user is received.
  • the relationship detection unit 334 performs relationship detection processing. An example of relationship detection processing will be described with reference to the flowchart of FIG. 23 .
  • Step S1625 The search reception unit 323 determines whether or not the search conditions have been received. If the search condition has been received, the process proceeds to step S1626; otherwise, the process returns to step S1601.
  • Step S1626 The search unit 339 performs search processing. An example of search processing will be described with reference to the flowchart of FIG.
  • Step S1627 The search unit 339 transmits to the user terminal 4 the images and the like that are the search results in step S1626.
  • step S1620 Next, an example of statistical processing in step S1620 will be described using the flowchart of FIG.
  • Step S1801 The statistical processing unit 337 substitutes 1 for the counter i.
  • Step S1802 The statistical processing unit 337 determines whether or not the i-th user identifier targeted for statistical processing exists. If the i-th user identifier exists, go to step S1803, otherwise go to step S1805.
  • Step S1803 The statistical processing unit 337 performs statistical processing for each user.
  • An example of statistical processing for each user will be described with reference to the flowchart of FIG. Note that the per-user statistical processing is statistical processing of vital information of one user.
  • Step S1804 The statistical processing unit 337 increments the counter i by 1. Return to step S1802.
  • Step S1805) The statistical processing unit 337 substitutes 1 for the counter j.
  • Step S1806 The statistical processing unit 337 determines whether or not there is a condition for the j-th user attribute value to be statistically processed. If the condition for the j-th user attribute value exists, go to step S1807; if not, go to step S1809.
  • Step S1807 The statistical processing unit 337 performs statistical processing on the vital information of one or more users who match the j-th user attribute value condition. Such statistical processing is statistical processing for each attribute value. An example of statistical processing for each attribute value will be described using the flowchart of FIG. 20 .
  • Step S1808 The statistical processing unit 337 increments the counter j by 1. Return to step S1806.
  • Step S1809 The statistical processing unit 337 performs web conference statistical processing. Return to upper process. An example of web conference statistical processing will be described with reference to the flowchart of FIG.
  • the web conference statistical processing is statistical processing using all the vital information of the target user in the web conference.
  • the statistical processing unit 337 normally stores the obtained statistical processing result in a pair with the accumulated image of the web conference subject to statistical processing.
  • Step S1901 The statistical processing unit 337 substitutes 1 for the counter i.
  • Step S1902 The statistical processing unit 337 determines whether there is i-th vital information to be statistically processed. If the i-th vital information to be statistically processed exists, go to step S1903, otherwise go to step S1905. Vital information to be statistically processed is usually determined in advance.
  • Step S1903 The statistical processing unit 337 acquires all i-th vital information paired with the user identifier of interest (i-th user identifier in S1802) from the vital information of the web conference subject to statistical processing. Next, the statistical processing unit 337 acquires representative values of all acquired vital information. Next, the statistical processing unit 337 stores the representative value of the vital information in the storage unit 31 in pairs with the user identifier of interest. The representative value of such vital information is associated with the accumulated image of the web conference subject to statistical processing. Also, the representative values of vital information are, for example, an average value, a median value, a maximum value, and a minimum value.
  • Step S1904 The statistical processing unit 337 increments the counter i by 1. Return to step S1902.
  • Step S1905 The statistical processing unit 337 substitutes 1 for the counter j.
  • Step S1906 The statistical processing unit 337 determines whether or not the j-th condition of interest exists. If the j-th condition of interest exists, go to step S1907; otherwise, return to the higher-level processing.
  • the condition of interest here is a condition of interest for which the number of occurrences during the web conference is to be measured.
  • the condition of interest is, for example, "the percentage of users whose heart rate is equal to or greater than the first threshold is equal to or greater than the second threshold (for example, the percentage of excited users is equal to or greater than the second threshold)", "the heart rate is equal to or greater than the second threshold".
  • the percentage of users who are less than one threshold is greater than or equal to the second threshold (for example, the percentage of sleeping users is greater than or equal to the second threshold).
  • Step S1907 The statistical processing unit 337 initializes the variable j. That is, 0 is substituted for the variable j.
  • Step S1908 The statistical processing unit 337 substitutes 1 for the counter k.
  • Step S1909 The statistical processing unit 337 determines whether or not the k-th inspection unit of the web conference exists. If the k-th inspection unit exists, go to step S1910, otherwise go to step S1914. Note that the k-th inspection unit of the web conference is a set of target vital information for determining whether or not the condition of interest is satisfied. is a set of vital information in
  • the statistical processing unit 337 selects vital information paired with the user identifier of interest from among the vital information of the web conference subject to statistical processing, is vital information corresponding to the k-th examination unit, and is vital information corresponding to the j-th examination unit. acquires all the vital information used for determining the condition of attention.
  • Step S1911 The statistical processing unit 337 determines whether the vital information acquired in step S1910 matches the j-th condition of interest. If the j-th condition of interest is met, the process goes to step S1912; otherwise, the process goes to step S1913. Such determination processing may be performed by the determination unit 333 .
  • Step S1912 The statistical processing unit 337 adds 1 to the variable j.
  • Step S1913 The statistical processing unit 337 increments the counter k by 1. Return to step S1909.
  • the statistical processing unit 337 stores the value of the variable j in pairs with the j-th condition of interest and the user identifier of interest.
  • the statistical processing unit 337 normally pairs the value of the variable j with the accumulated image of the web conference subject to statistical processing and accumulates them in the storage unit 31 .
  • Step S1915 The statistical processing unit 337 increments the counter j by 1. Return to step S1906.
  • step S1807 An example of statistical processing for each attribute value in step S1807 will be described using the flowchart of FIG. In the flowchart of FIG. 20, description of the same steps as in the flowchart of FIG. 19 will be omitted.
  • Step S2001 The statistical processing unit 337 acquires all the i-th vital information to be statistically processed, which is the vital information corresponding to the condition of the j-th user attribute value to be statistically processed.
  • the statistical processing unit 337 acquires a representative value (for example, an average value, a maximum value, etc.) of all the acquired vital information, pairs it with the condition of the j-th user attribute value, and stores it. Go to step S1904.
  • Step S2002 The statistical processing unit 337 acquires all the values of the variable j corresponding to the condition of the j-th user attribute value to be statistically processed.
  • the statistical processing unit 337 obtains a representative value of all obtained values of the variable j.
  • Step S2003 The statistical processing unit 337 stores the representative value acquired in step S2002 in the storage unit 31 as a pair with the j-th condition of interest and the condition of the user attribute value.
  • step S1809 an example of web conference statistical processing in step S1809 will be described using the flowchart in FIG. In the flowchart of FIG. 21, the description of the same steps as in the flowchart of FIG. 19 will be omitted.
  • Step S2101 The statistical processing unit 337 acquires all the i-th vital information to be statistically processed from the vital information of the entire web conference.
  • the statistical processing unit 337 acquires a representative value (for example, average value, maximum value, etc.) of all acquired vital information. Go to step S1904.
  • Step S2102 The statistical processing unit 337 acquires all values of variable j for the entire web conference.
  • the statistical processing unit 337 obtains a representative value of the obtained values of the variable j.
  • Step S2103 The statistical processing unit 337 stores the representative value of the variable j acquired in step S2102 in the storage unit 31 as a pair with the j-th condition of interest and the stored image of the web conference. Go to step S1915.
  • Step S2201 The interpretation evaluation unit 338 substitutes 1 for the counter i.
  • Step S2202 The interpretation evaluation unit 338 determines whether or not the i-th deduction condition exists.
  • Step S2203 The interpretation evaluation unit 338 acquires the i-th deduction condition from the storage unit 31.
  • Step S2204 The interpretation evaluation unit 338 substitutes 1 for the counter j.
  • Step S2205 The interpretation evaluation unit 338 determines whether or not the j-th inspection unit exists. If the j-th inspection unit exists, go to step S2206; if not, go to step S2210.
  • a unit of inspection is, for example, a section in which interpretation voice information exists.
  • the interpretation evaluation unit 338 provides the vital information corresponding to the j-th examination unit, the vital information of one or more users (target users) listening to the interpretation voice, and the i-th deduction condition. Vital information used for determination is acquired from the information storage unit 311 .
  • Step S2207 The interpretation evaluation unit 338 determines whether the vital information acquired in step S2206 meets the i-th deduction condition. If the i-th deduction condition is met, the process goes to step S2208, and if not, the process goes to step S2209.
  • Step S2208 The interpretation evaluation unit 338 acquires the degree of deduction (for example, the number of points to be deducted) corresponding to the i-th deduction condition, and stores it in a buffer (not shown).
  • the degree of deduction corresponding to the i-th deduction condition is stored in the storage unit 31 in association with the i-th deduction condition, for example, but may be common to all deduction conditions.
  • Step S2209 The interpretation evaluation unit 338 increments the counter j by 1. Return to step S2204.
  • Step S2210 The interpretation evaluation unit 338 increments the counter i by 1. Return to step S2202.
  • Step S2211 The interpretation evaluation unit 338 acquires the accumulated demerit points accumulated in the buffer (not shown) in step S2208.
  • the interpreter evaluation unit 338 acquires evaluation information indicating a lower evaluation as the number of accumulated demerit points increases.
  • Step S2212 The evaluation output unit 343 outputs the evaluation information acquired in step S2211. Return to upper process. Here, for example, the evaluation output unit 343 pairs the evaluation information with the translator identifier and accumulates them in the storage unit 31 . The evaluation output unit 343, for example, transmits the evaluation information to the interpreter terminal 5 corresponding to the translator identifier.
  • step S1624 an example of the relationship detection process in step S1624 will be described using the flowchart of FIG.
  • Step S2301 The relationship detection unit 334 substitutes 1 for the counter i.
  • Step S2302 The relationship detection unit 334 checks the user identifier paired with the speech information paired with the accumulated image of the web conference to be checked or the conversation text paired in chronological order of the web conference. Determine whether there is a user identifier paired with the voice information or conversational text. If the user identifier exists, go to step S2303; otherwise, return to the upper process.
  • Step S2303 The relationship detection unit 334 substitutes 1 for the counter j.
  • Step S2304 The relationship detection unit 334 detects the voice information corresponding to the i-th speaker's user identifier or the vital information corresponding to the conversation text, and the j-th user identifier listening to the i-th speaker's utterance. It is determined whether or not vital information corresponding to exists. If vital information corresponding to the j-th user identifier exists, go to step S2305; otherwise go to step S2313. When there is vital information corresponding to the j-th user identifier listening to the i-th speaker, the j-th user identifier listening to the i-th speaker usually exists. is the case.
  • the relationship detection unit 334 stores the vital information corresponding to the j-th user identifier who is listening to the i-th speaker's utterance and the vital information at the timing of the i-th speaker's utterance. Acquired from the unit 311 .
  • the vital information at the timing of the i-th speaker's utterance is the vital information paired (similar in timing) with the i-th speaker's voice information or conversation text.
  • the acquired vital information is vital information used for determination of the condition of interest, and is one or more types of vital information.
  • Step S2306 The relationship detection unit 334 substitutes 1 for the counter k.
  • Step S2307) The relationship detection unit 334 determines whether or not the k-th condition of interest exists. If the k-th condition of interest exists, go to step S2308; if not, go to step S2312.
  • Step S2308 The relationship detection unit 334 determines whether the one or more types of vital information acquired in step S2305 match the k-th condition of interest. If the k-th condition of interest is met, the process goes to step S2309; otherwise, the process goes to step S2311.
  • the relationship detection unit 334 acquires the second user identifier, which is the user identifier of the i-th speaker, and the first user identifier, which is the j-th user identifier.
  • the relationship detection unit 334 configures relationship information that associates the first user identifier and the second user identifier.
  • the relationship detection unit 334 stores the relationship information in the storage unit 31 in association with the stored image. It is preferable that the relationship detection unit 334 stores the relationship information in the storage unit 31 in association with the above-described voice information or conversation text.
  • Step S2311 The relationship detection unit 334 increments the counter k by 1. Return to step S2307.
  • Step S2312 The relationship detection unit 334 increments the counter j by 1. Return to step S2304.
  • Step S2313 The relationship detection unit 334 increments the counter i by 1. Return to step S2302.
  • Step S2401 The search unit 339 substitutes 1 for the counter i.
  • Step S2402 The search unit 339 determines whether or not there is additional information at the i-th timing in the set of additional information associated with the accumulated image. If there is additional information at the i-th timing, go to step S2403; otherwise, return to the higher-level processing.
  • Step S2403 The search unit 339 determines whether the additional information at the i-th timing in the set of additional information associated with the accumulated image matches the received search condition. If the search condition is met, the process goes to step S2404; if not, the process goes to step S2405.
  • Step S2404 The search unit 339 associates a flag with the i-th timing in the accumulated image. Note that this flag is a flag for jumping to the stored image of the flagged location on the user terminal 4 .
  • Step S2405 The search unit 339 increments the counter i by 1. Return to step S2402.
  • Step S2501 The user reception unit 42 determines whether or not an instruction to start a web conference has been received. If the start instruction has been accepted, the process goes to step S2502, and if not, the process goes to step S2513.
  • Step S2502 The user processing unit 43 acquires the user identifier of the user storage unit 41 and configures a start instruction having the user identifier.
  • the user transmission unit 44 transmits the start instruction to the information processing device 3 .
  • Step S2503 The user reception unit 42 uses the camera to acquire an image captured by the camera.
  • Step S2504 The user reception unit 42 uses a microphone to acquire audio information from the audio collected by the microphone.
  • the user processing unit 43 configures user information having image and audio information.
  • the user processing unit 43 acquires one or more types of vital information of the user from the person area of the user included in the image, and configures user information including the one or more types of vital information. is preferred.
  • Step S2506 The user transmission unit 44 transmits the user information configured in step S2505 to the information processing device 3.
  • Step S2507 The user reception unit 45 determines whether or not the conference information has been received from the information processing device 3. If the conference information has been received, the process goes to step S2508; otherwise, the process returns to step S2507.
  • Step S2508 The user processing unit 43 composes a screen image to be output using the conference information received in step S2507.
  • the user output unit 46 outputs the screen image.
  • the user output unit 46 may output one or two types of information among one or more user's vital information and conversation text.
  • Step S2509 The user processing unit 43 determines whether or not to output an interpretation voice. If the interpretation voice is to be output, go to step S2510; if not, go to step S2511.
  • Step S2510 The user output unit 46 outputs the interpreted voice of the user's utterance. Go to step S2512.
  • Step S2511 The user output unit 46 outputs voice information, which is the user's utterance.
  • Step S2512 The user processing unit 43 determines whether or not to end the web conference. If the web conference is to end, the process returns to step S2501. If the web conference is not to end, the process returns to step S2503. Note that the web conference is ended when, for example, the user reception unit 42 receives an instruction to end the web conference.
  • Step S2513 The user reception unit 42 determines whether or not the search conditions have been received. If the search conditions have been accepted, the process proceeds to step S2514, and if the search conditions have not been accepted, the process returns to step S2501.
  • Step S2514 The user processing unit 43 acquires the user identifier from the user storage unit 41 and configures search conditions associated with the user identifier.
  • the user transmission unit 44 transmits search conditions associated with the user identifier to the information processing device 3 .
  • Step S2515 The user reception unit 45 determines whether or not an image or the like that matches the search conditions has been received. If an image or the like has been received, the process proceeds to step S2516; otherwise, the process returns to step S2515.
  • the image or the like has, for example, additional information and a flag in addition to the accumulated image. It should be noted that the flag is information for specifying a portion that matches the search condition.
  • Step S2516 The user processing unit 43 configures an image or the like to be output.
  • the user output unit 46 outputs the image or the like.
  • the images to be output are, for example, the accumulated image at the location marked with the flag corresponding to the first additional information that matches the search condition, and the additional information.
  • Step S2517 The user reception unit 42 determines whether or not an instruction has been received from the user. If the instruction is accepted, the process goes to step S2518, and if the instruction is not accepted, the process goes to step S2519. Note that the instruction is an instruction to jump to a location in the accumulated image specified by one or more flags.
  • Step S2518 The user processing unit 43 constructs a screen image including the portion of the accumulated image which is the location of the flag corresponding to the instruction.
  • the user output unit 46 outputs the screen image. It is preferable that the user output unit 46 also output additional information corresponding to the flag in addition to the screen image.
  • Step S2519 The user processing unit 43 determines whether or not to finish outputting the search results. If the output is to end, the process returns to step S2501; if the output is not to end, the process returns to step S2517.
  • Step S2601 The interpreter receiving unit 52 determines whether or not information including speech information to be interpreted has been received. If the information has been received, the process goes to step S2602, and if the information has not been received, the process goes to step S2603.
  • the information to be received is, for example, voice information to be interpreted and a screen image during the web conference.
  • Step S2602 The interpreter processing unit 53 composes the speech to be output using the received speech information.
  • the interpreter output unit 54 outputs the speech of the subject to be interpreted. It is preferable that the interpreter output unit 54 also output a screen image during the web conference. Return to step S2601.
  • Step S2603 The interpreter reception unit 55 determines whether or not the interpretation voice from the interpreter has been received. If the interpretation voice has been accepted, go to step S2604; if not, go to step S2605. Note that the interpreter is usually a person, but may be a device that performs speech translation.
  • Step S2604 The interpreter processing unit 53 composes interpretation speech information to be transmitted from the received interpretation speech.
  • the interpreter transmission unit 56 transmits the interpretation voice information to the information processing device 3 . Return to step S2601.
  • Step S2605 The interpreter reception unit 52 determines whether evaluation information has been received. If the evaluation information has been received, the process goes to step S2606; otherwise, the process returns to step S2601.
  • Step S2606 The interpreter processing unit 53 uses the evaluation information received in step S2605 to construct evaluation information to be output.
  • the interpreter output unit 54 outputs the evaluation information. Return to step S2601.
  • FIG. 2000 A conceptual diagram of the information system 2000 is shown in FIG. In this specific example, it is assumed that the user terminal 4 acquires one or more vital signs of the user and transmits them to the information processing device 3 . As described above, one or more pieces of vital information of the user may be acquired from the image received by the information processing device 3 .
  • the storage unit 31 of the information processing device 3 stores the conditions of interest shown in FIG. 6(b).
  • the storage unit 31 stores a deduction condition "there are users whose LF/HF is equal to or less than the first threshold at a rate equal to or greater than the second threshold".
  • the information storage unit 311 also stores a user management table shown in FIG.
  • a user management table is a table for managing user information.
  • the user management table manages one or more records having "ID”, “user ID” and “user attribute value”.
  • "User attribute value” has “age”, “sex”, “affiliation”, “title”, and “language” here.
  • “ID” is information for identifying a record.
  • “User ID” is a user identifier.
  • “Affiliation” is the name of the company to which the user belongs.
  • “Language” is the language used by the user in the web conference.
  • a vitals management table is a table for managing vitals information of users during a web conference.
  • the vitals management table manages one or more records having "meeting ID”, “accumulated image”, “user ID”, “offset”, “vital information", and “flag”.
  • the "vital information” includes "pulse wave rate”, “heart rate”, and "LF/HF”.
  • Meeting ID is information for identifying a web meeting.
  • Accumulated image is identification information of an accumulated image in the web conference.
  • “Accumulated image” is the file name of the accumulated image in the web conference.
  • Offset is information specifying a location or range in an accumulated image, and is information specifying a location or range corresponding to "vital information".
  • the “offset” is the elapsed time from the start of the accumulated image, but may be a frame ID or the like in the accumulated image, and may be any information specifying a location or range in the accumulated image.
  • “Offset” is information specifying the timing at which vital information is generated.
  • a “flag” is information that specifies vital information that matches the condition of interest.
  • a flag “1” indicates vital information that meets the condition of interest, and a flag "0" indicates vital information that does not meet the condition of interest.
  • the information storage unit 311 stores a text management table having the structure shown in FIG.
  • the text etc. management table is a table for managing the conversation text of the user's utterances during the web conference, interpretation information, and the like.
  • the text management table manages one or more records having "meeting ID”, “accumulated image”, “offset”, “user ID”, “conversation text”, "interpretation text”, “interpretation voice information”, and “interpreter ID”.
  • the "interpretation voice information” is, for example, the file name of the interpreted voice information, but may be information indicating the file name of the voice information and the location in the file (for example, offset).
  • the user storage unit 41 of the user terminal 4 stores the output conditions shown in FIG. 6(a).
  • Specific example 1 is a case where an accumulated image and additional information are accumulated.
  • Specific example 2 is a case of retrieving stored images.
  • the user terminals 4 of each of the four users acquire image and audio information and transmit them to the information processing device 3 .
  • the user processing unit 43 of the user terminal 4 of each of the four users for example, periodically acquires "pulse rate”, “heart rate”, and "LF/HF” from the acquired images. Then, the user processing unit 43 determines whether or not the acquired one or more types of vital information match any of the output conditions in FIG. If any of the output conditions is met, the user processing unit 43 outputs user information including vital information (here, “pulse rate”, “heart rate”, “LF/HF”) in addition to the image and audio information. configure. Note that the user processing unit 43 may configure user information that always includes the acquired vital information.
  • the user transmission unit 44 transmits the configured user information to the information processing device 3 in association with the user identifier.
  • the images included in the user information for each of the four users are, for example, FIGS.
  • the information receiving unit 321 of the information processing device 3 receives user information from the user terminals 4 of the four users.
  • the processing unit 33 pairs the received user information and the like with the user identifier and temporarily stores them.
  • the processing unit 33 acquires vital information associated with one or more user identifiers from the received user information.
  • the determination unit 333 determines whether or not the acquired vital information associated with each of the one or more user identifiers matches the condition of interest (FIG. 6(b)). Note that when only vital information that matches the same condition of interest is transmitted from the user terminal 4, such determination by the determination unit 333 is unnecessary.
  • the determination unit 333 determines that none of the vital information matches the condition of interest.
  • the text acquisition unit 331 performs voice recognition processing on the voice information included in the received user information of each user, and acquires each user's conversation text paired with each user identifier and offset.
  • the accumulated image acquiring unit 335 forms a screen image 1005 as shown in FIG. 10A, in which user areas 1001 to 1005 each including an image transmitted from each of the four user terminals 4 are arranged in tiles, for example. do.
  • the processing unit 33 configures conference information including the screen image configured by the accumulated image acquisition unit 335 and the received audio information.
  • the output unit 34 transmits the configured conference information to each of the four user terminals 4 and the four interpreter terminals 5. For each of the four interpreter terminals 5, it is assumed that the user in charge of the object to be interpreted is determined.
  • the interpreter for the user with the user identifier "U001” performs "Japanese ⁇ English” interpretation, and the interpreter ID is "TR11".
  • the interpreter for the user with the user identifier "U002” performs "English ⁇ Japanese” interpretation, and the interpreter ID is "TR21”.
  • the interpreter for the user with the user identifier "U003” interprets "Japanese ⁇ English", and the interpreter ID is "TR12”.
  • the interpreter for the user with the user identifier "U004" performs "Japanese ⁇ English” interpretation, and the interpreter ID is "TR13".
  • each of the four user terminals 4 receives the conference information, displays the screen image included in the conference information, and outputs voice information corresponding to its own language.
  • the interpreter terminal 5 receives the conference information, displays the screen image included in the conference information, and outputs voice information corresponding to the user's utterance for which the interpreter is in charge.
  • the translator listens to the voice information of the user's utterances and utters the voice of simultaneous interpretation.
  • the interpreter terminal 5 receives the voice, composes interpretation voice information, and transmits the interpretation voice information and the interpreter ID in a pair to the information processing device 3 .
  • the information processing device 3 receives the interpretation voice information and transmits the interpretation voice information to each of the four user terminals 4 or to one or more target user terminals 4 .
  • the interpretation information acquisition unit 332 of the information processing device 3 performs speech recognition processing on the received interpretation speech information, acquires the interpretation text, and pairs the user identifier of the user who issued the original speech information with the offset. to The interpretation information acquisition unit 332 also pairs the interpretation text and the interpreter ID with the interpretation voice information.
  • the storage unit 336 stores the acquired stored image in the file "M01.mp4". Accumulator 336 also acquires an offset (eg, time from start of web). In addition, the storage unit 336 associates the acquired additional information (vital information (pulse rate, heart rate, LF/HF) associated with each user identifier) with the file identifier "M01.mp4" and the offset, It is stored in the vital information management table shown in FIG.
  • the storage unit 336 associates the file identifier "M01.mp4" with the offset, and stores the conversation text, the interpretation text, the interpretation voice information, and the interpreter ID associated with the user identifier of the uttering user as shown in FIG. Displayed texts, etc. are stored in a management table.
  • the determination unit 333 determines that the vital information paired with the user identifier "U003", among the vital information received during the web conference, matches the condition of interest.
  • the determination unit 333 stores in a buffer (not shown) one or more user identifiers "U003" paired with vital information that matches the condition of interest.
  • the accumulation unit 336 writes a flag “1” to the vital information management table of FIG. 28 for the vital information that matches the condition of interest.
  • the accumulated image acquiring unit 335 makes the area of the user identified by the user identifier "U003" visually distinguishable from the areas of other users. Configure the screen image.
  • the processing unit 33 composes conference information having the configured screen image and the received audio information.
  • the output unit 34 then transmits the configured conference information to each of the four user terminals 4 and each of the four interpreter terminals 5 .
  • each of the four user terminals 4 receives the conference information and outputs a screen image as shown in FIG. 11(b). Also, each of the four user terminals 4 outputs voice information corresponding to its own language and interpretation voice information.
  • each of the four interpreter terminals 5 receives the conference information, outputs the screen image as shown in FIG. 11(b), and outputs the voice information of the user in charge.
  • the accumulated images acquired in the web conference and the additional information including the vital information of each user are associated and accumulated.
  • the additional information includes conversation text associated with the user identifier and offset, interpretation text associated with the user identifier and offset, and interpretation voice information associated with the user identifier and offset.
  • the user can input various search conditions to the user terminal 4, such as search conditions for vital information, search conditions for vital information that match the conditions of interest, search conditions for conversation texts, search conditions for interpretation texts, and the like. .
  • the user terminal 4 has accepted the search conditions and transmitted them to the information processing device 3 .
  • the information processing device 3 receives the search conditions, and the search unit 339 searches the table of FIG. 28 or 29 for a set of accumulated images and offsets that match the search conditions.
  • the result output unit 344 transmits to the user terminal 4 information on the stored images and offsets that match the search conditions.
  • the result output unit 344 also acquires the vital information corresponding to the offset that hits the search condition and the user identifier paired with the vital information from the table in FIG. It is preferable to send to
  • the user terminal 4 receives the accumulated image and the offset information, and outputs the image of the offset portion of the accumulated image. It is preferable that the user terminal 4 also output the received vital information and user identifier.
  • the statistical processing unit 337 uses the vital information of the web conference by the processing of FIGS.
  • the results of statistical processing of vital information of each of the four users may be acquired. 18 and 20, the statistical processing unit 337 may acquire statistical processing results of vital information for each user attribute value condition (for example, job titles "manager” and "non-manager”). . Also, the statistical processing unit 337 may acquire the result of statistical processing of the vital information of the entire web conference through the processing of FIGS. 18 and 21 . Then, the result output unit 344 may store the acquired result of the statistical processing by pairing the meeting ID “M01” or the meeting ID “M01” and the user identifier.
  • the relationship detection unit 334 acquires one or more pieces of relationship information, and holds a meeting with the director of the user identifier “U001”.
  • the user identifier "U003" of the stressed subordinate may be detected, and the related information "U001, U003" may be acquired and accumulated.
  • images, conversation texts, and user's vital information in a web conference can be stored in association with each other.
  • conversation texts and user identifiers in web conferences can be stored in association with each other.
  • the relationship between the listener and the speaker can be specified using the vital information of the user who is the listener of the speech.
  • the user's vital information in the web conference can be statistically processed.
  • images of web conferences can be searched using vital information and the like.
  • the information processing device 3 can cooperate with two or more web conference servers (not shown) to provide the above functions using vital information.
  • the information processing apparatus 3 in such a case includes an information receiving unit that receives user information including an image transmitted from each user terminal of each of two or more users conducting a web conference, and a vitals acquisition unit for acquiring vital information of each of the one or more users; and an accumulated image acquisition unit for acquiring an accumulated image that is an image transmitted from each of the two or more user terminals or an image based on the two or more images and an accumulation unit for accumulating additional information including the vital information of each of the one or more users acquired by the information acquisition unit in association with the accumulated image acquired by the accumulated image acquisition unit.
  • the storage unit of the information processing device 3 may store the additional information in the web conference server or the information storage unit 311, for example.
  • the processing in this embodiment may be realized by software. Then, this software may be distributed by software download or the like. Also, this software may be recorded on a recording medium such as a CD-ROM and distributed. Note that this also applies to other embodiments in this specification.
  • the software that implements the information processing apparatus according to the present embodiment is the following program.
  • this program comprises a computer, an information receiving unit for receiving user information including an image transmitted from each user terminal of each of two or more users conducting a web conference; a vitals acquisition unit for acquiring vital information of each of the one or more users; and an accumulated image acquisition unit for acquiring an accumulated image that is an image transmitted from each of the two or more user terminals or an image based on the two or more images and a program for functioning as an accumulation unit for accumulating additional information including the vital information of each of the one or more users acquired by the information acquisition unit in association with the accumulated image acquired by the accumulated image acquisition unit.
  • FIG. 30 shows the appearance of a computer that executes the programs described in this specification and realizes the server 1, the information processing device 3, etc. of the various embodiments described above.
  • the embodiments described above may be implemented in computer hardware and computer programs running thereon.
  • FIG. 30 is an overview diagram of this computer system 300
  • FIG. 31 is a block diagram of the system 300. As shown in FIG.
  • a computer system 300 includes a computer 301 including a CD-ROM drive, a keyboard 302, a mouse 303 and a monitor 304.
  • a computer 301 includes a CD-ROM drive 3012, an MPU 3013, a bus 3014 connected to the CD-ROM drive 3012, a ROM 3015 for storing programs such as a boot-up program, It includes a RAM 3016 connected and for temporarily storing application program instructions and providing temporary storage space, and a hard disk 3017 for storing application programs, system programs and data.
  • computer 301 may also include a network card that provides connection to a LAN.
  • a program that causes the computer system 300 to execute the functions of the information processing apparatus 3 of the embodiment described above may be stored in the CD-ROM 3101, inserted into the CD-ROM drive 3012, and transferred to the hard disk 3017. .
  • the program may be transmitted to computer 301 via a network (not shown) and stored in hard disk 3017 .
  • Programs are loaded into RAM 3016 during execution.
  • the program may be loaded directly from CD-ROM 3101 or network.
  • the program does not necessarily include an operating system (OS) that causes the computer 301 to execute the functions of the information processing apparatus 3 of the embodiment described above, or a third-party program.
  • OS operating system
  • a program need only contain those parts of instructions that call the appropriate functions (modules) in a controlled manner to produce the desired result. How the computer system 300 operates is well known and will not be described in detail.
  • the step of transmitting information, the step of receiving information, etc. are performed by hardware. processing) are not included.
  • the computer that executes the above program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
  • two or more communication means existing in one device may be physically realized in one medium.
  • each process may be implemented by centralized processing by a single device, or may be implemented by distributed processing by a plurality of devices.
  • the information processing apparatus 3 has the effect of being able to associate and accumulate images during a web conference with the user's vital information, and is useful as a server or the like that supports web conferences.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Educational Administration (AREA)
  • Biomedical Technology (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】従来、ウェブ会議中における画像とユーザのバイタル情報とを対応付けて蓄積することができなかった。 【解決手段】ウェブ会議中の２以上の各ユーザの各ユーザ端末から送信された画像を含むユーザ情報を受信する情報受信部３２１と、情報受信部３２１が受信した２以上のユーザ中の１以上の各ユーザのバイタル情報を取得するバイタル取得部３３０と、２以上の各ユーザ端末から受信された画像または２以上の画像に基づく画像である蓄積画像を取得する蓄積画像取得部３３５と、情報取得部が取得した１以上の各ユーザのバイタル情報を含む付加情報を、蓄積画像取得部３３５が取得した蓄積画像に対応付けて蓄積する蓄積部３３６とを具備する情報処理装置３により、ウェブ会議中における画像とユーザのバイタル情報とを対応付けて蓄積できる。

Description

情報処理装置、情報処理方法、および記録媒体
　本発明は、ウェブ会議に利用される情報処理装置等に関するものである。
　従来、ネットワークを介して接続された複数の端末を利用して、仮想的な会議を行うウェブ会議システムが知られている（例えば、特許文献１参照）。
特開２０１９－１１７９９８号公報
　このようなウェブ会議システムにおいては、ユーザ同士が直接会う場合とは異なり、ユーザの状態を詳細に見たり、話したりすること等が難しく、ウェブ会議に参加しているユーザの状態（例えば、健康状態等）を容易に把握することが困難である、という課題があった。
　また、従来技術においては、ウェブ会議中における画像とユーザのバイタル情報とを対応付けて蓄積することができなかった。
　また、従来技術においては、例えば、ウェブ会議中における画像とユーザのバイタル情報とを利用することができなかった。
　本第一の発明の情報処理装置は、ウェブ会議中の２以上の各ユーザの各ユーザ端末から送信された画像を含むユーザ情報を受信する情報受信部と、情報受信部が受信した２以上のユーザ中の１以上の各ユーザのバイタル情報を取得するバイタル取得部と、２以上の各ユーザ端末から受信された画像または２以上の画像に基づく画像である蓄積画像を取得する蓄積画像取得部と、情報取得部が取得した１以上の各ユーザのバイタル情報を含む付加情報を、蓄積画像取得部が取得した蓄積画像に対応付けて蓄積する蓄積部とを具備する情報処理装置である。
　かかる構成により、ウェブ会議中における画像とユーザのバイタル情報とを対応付けて蓄積できる。
　また、本第二の発明の情報処理装置は、第一の発明に対して、ユーザ情報は、ウェブ会議中のユーザの発話に基づく音声情報または音声情報から取得された会話テキストも含み、音声情報から取得される会話テキストを取得するテキスト取得部をさらに具備し、蓄積部は、会話テキストを含む付加情報を、蓄積画像に対応付けて蓄積する情報処理装置である。
　かかる構成により、ウェブ会議中における画像と会話テキストとユーザのバイタル情報とを対応付けて蓄積できる。
　また、本第三の発明の情報処理装置は、第二の発明に対して、情報受信部は、ユーザ識別子に対応付けてユーザ情報を受信し、蓄積部は、会話テキストをユーザ識別子に対応付けて蓄積する情報処理装置である。
　かかる構成により、会話テキストとユーザ識別子とを対応付けて蓄積できる。
　また、本第四の発明の情報処理装置は、第一の発明に対して、ウェブ会議中のユーザの発話に対する通訳音声情報または通訳音声情報から取得された通訳テキストである通訳情報を受信する通訳情報受信部をさらに具備し、蓄積部は、通訳音声情報または通訳テキストである通訳情報を含む付加情報を、蓄積画像に対応付けて蓄積する情報処理装置である。
　かかる構成により、発話の通訳情報と画像とを対応付けて蓄積できる。
　また、本第五の発明の情報処理装置は、第一の発明に対して、ウェブ会議における発話に対して、通訳が行われ、通訳の音声を聞く１以上の各ユーザのバイタル情報を用いて、通訳者の評価を示す評価情報を取得する通訳評価部と、評価情報を出力する評価出力部とをさらに具備する情報処理装置である。
　かかる構成により、バイタル情報を用いて通訳者の評価ができる。
　また、本第六の発明の情報処理装置は、第五の発明に対して、通訳評価部は、通訳の対象の発話の言語である原言語に対応する１以上のユーザのバイタル情報と、通訳の目的言語に対応する１以上のユーザのバイタル情報とを用いて、評価情報を取得する情報処理装置である。
　かかる構成により、バイタル情報を用いて通訳者の精度の高い評価ができる。
　また、本第七の発明の情報処理装置は、第一の発明に対して、ユーザが発話していないタイミングにおけるバイタル情報が、着目条件に合致するか否かを判断する判断部と、判断部が着目条件に合致すると判断したバイタル情報に対する第一ユーザ識別子と、タイミングにおける発話者の第二ユーザ識別子とを対応付ける関係情報を取得する関係検出部と、関係情報を出力する関係出力部とをさらに具備する情報処理装置である。
　かかる構成により、聞き手のユーザのバイタル情報を用いて、聞き手と発話者の関係を特定できる。
　また、本第八の発明の情報処理装置は、第七の発明に対して、関係出力部は、関係情報をタイミングにおける画像またはバイタル情報に対応付けて出力する情報処理装置である。
　かかる構成により、聞き手と発話者の関係を特定する関係情報を出力できる。
　また、本第九の発明の情報処理装置は、第一の発明に対して、１以上のユーザのバイタル情報を統計処理し、処理結果を取得する統計処理部と、処理結果を出力する結果出力部とをさらに具備する情報処理装置である。
　かかる構成により、ウェブ会議中のユーザのバイタル情報を統計処理できる。
　また、本第十の発明の情報処理装置は、第九の発明に対して、バイタル情報は、ユーザ識別子に対応付いており、統計処理部は、ユーザ識別子ごと、またはユーザ識別子と対になるユーザ属性値ごとに、バイタル情報を統計処理し、処理結果を取得する情報処理装置である。
　かかる構成により、ウェブ会議中のユーザのバイタル情報を、ユーザごとまたはユーザ属性値ごとに統計処理できる。
　また、本第十一の発明の情報処理装置は、第一から第十いずれか１つの発明に対して、ウェブ会議中の２以上の各ユーザのユーザ領域を含む画面画像を出力する画面出力部と、情報取得部が取得したバイタル情報が、着目条件に合致するか否かを判断する判断部をさらに具備し、画面出力部は、判断部が着目条件に合致すると判断したバイタル情報に対応するユーザのユーザ領域を他のユーザのユーザ領域と視覚的に区別可能な態様の画面を出力する情報処理装置である。
　かかる構成により、着目条件を満たすバイタル情報に対応するユーザを明示できる。
　また、本第十二の発明の情報処理装置は、第一から第十一いずれか１つの発明に対して、バイタル情報またはバイタル情報の処理結果または会話テキストである付加情報に関する検索条件を受け付ける検索受付部と、蓄積部が蓄積した蓄積画像の中で、検索条件に合致する付加情報に対応付く蓄積画像を検知し、蓄積画像または蓄積画像から取得される画像を出力する検索部とをさらに具備する情報処理装置である。
　かかる構成により、バイタル情報等を用いて、ウェブ会議の画像を検索できる。
　また、本第十三の発明の情報処理装置は、第一から第十二いずれか１つの発明に対して、バイタル情報は、呼吸、体温、血圧、意識レベル、心拍変動、交感神経、副交感神経、またはＬＦ（低周波）／ＨＦ（高周波）である情報処理装置である。
　かかる構成により、ウェブ会議中における画像とユーザの特定のバイタル情報とを対応付けて蓄積できる。
　本発明のサーバは、２以上のユーザ端末の間におけるウェブ会議を行うサーバであって、ウェブ会議を行っている間に、２以上の各ユーザ端末から送信される画像を受信する情報受信部と、情報受信部が受信した２以上の画像の中の１以上の画像に含まれるユーザの人物領域から、１以上のユーザのバイタル情報を、画像に対応付けて取得する情報取得部と、ウェブ会議を行っている間に、情報取得部が取得したバイタル情報に対応する情報を、２以上のユーザ端末のうちの１以上のユーザ端末に送信する情報送信部と、を具備するサーバである。
　かかる構成により、ウェブ会議に参加しているユーザの状態を容易に把握することができる。
　また、本発明のサーバは、前記サーバにおいて、情報取得部は、情報受信部が受信した２以上の画像の中の画像であり、予め決められたユーザ端末から送信された画像のみに含まれるユーザの人物領域から、１以上のユーザのバイタル情報を取得するようにしてもよい。
　かかる構成により、ウェブ会議に参加しているユーザのうちの予め決められたユーザの状態を選択的に、容易に把握することができる。
　また、本発明のサーバは、前記サーバにおいて、情報送信部は、バイタル情報を取得する元になった画像を送信したユーザ端末を除く１以上の他のユーザ端末のみにバイタル情報を送信するようにしてもよい。
　かかる構成により、バイタル情報を提供するユーザにバイタル情報を提供しないようにできる。これにより、例えば、バイタル情報を利用して、ユーザの状態等を把握することが好ましいユーザにのみ、バイタル情報に対応する情報を提供できる。
　また、本発明のサーバは、前記サーバにおいて、情報取得部が取得したバイタル情報が、出力条件に合致するか否かを判断する判断部をさらに具備し、情報送信部は、判断部が出力条件に合致すると判断したバイタル情報に対応する情報のみを送信するようにしてもよい。
　かかる構成により、出力条件に合致しないバイタル情報に対応する情報を送信しないようにでき、例えば、観察や確認等が不要なバイタル情報を送信しないようにできる。例えば、かかる構成により、正常なバイタル情報に関する情報を送信しないようにできる。
　また、本発明のサーバは、前記サーバにおいて、情報取得部は、情報受信部が受信した２以上の画像の中の１以上の画像に含まれるユーザの人物領域から、１以上のユーザのバイタル情報を取得し、情報受信部が受信した画像を含む２以上のユーザ領域を含む画面画像であって、着目条件を満たすバイタル情報が情報取得部により取得された画像を含むユーザ領域が、他のユーザ領域と視覚的に区別可能な画面画像を構成する構成部をさらに備え、情報送信部は、構成部が構成した画面画像を送信するようにしてもよい。
　かかる構成により、バイタル情報を利用して着目することが好ましいユーザを視覚的に示すことができる。例えば、バイタル情報が正常値でないユーザを視覚的に示すことが可能となる。
　また、本発明のサーバは、前記サーバにおいて、バイタル情報を用いた保険条件と提案する保険に関する保険情報とを有する１以上の提案情報が格納される提案格納部を参照し、情報取得部が取得したバイタル情報が満たす保険条件を決定し、保険条件と対になる保険情報を提案格納部から取得する保険情報取得部と、保険情報取得部が取得した保険情報をバイタル情報を取得する元になった画像を送信したユーザ端末に送信する保険情報送信部と、をさらに具備するようにしてもよい。
　かかる構成により、バイタル情報に応じた適切な保険情報をユーザに提示することができる。
　また、本発明のサーバは、前記サーバにおいて、情報取得部は、１以上の特定のユーザ端末から受信された時系列の各画像から、バイタル情報を取得し、情報取得部が取得した時系列のバイタル情報を、蓄積する蓄積部をさらに具備するようにしてもよい。
　かかる構成により、ウェブ会議に利用される画像から、時系列のバイタル情報を取得することができる。
　また、本発明のサーバは、前記サーバにおいて、情報取得部は、２以上の各ユーザ端末から受信された時系列の各画像から、バイタル情報を取得し、２以上の各ユーザ端末に対応付けて、情報取得部が取得した時系列のバイタル情報を蓄積する蓄積部をさらに具備してもよい。
　かかる構成により、ウェブ会議に利用される画像から、２以上のユーザについての時系列のバイタル情報を取得することができる。
　また、本発明のサーバは、前記サーバにおいて、蓄積部は、情報受信部が受信した時系列の各画像に対応付けて、時系列のバイタル情報を蓄積するようにしてもよい。
　かかる構成により、時系列のバイタル情報と、その取得元の画像とを対応付けて蓄積することにより、時系列のバイタル情報と画像を参照して、ユーザの状況等を確認することができる。
　本発明による情報処理装置によれば、ウェブ会議中における画像とユーザのバイタル情報とを対応付けて蓄積できる。
本発明の実施の形態におけるウェブ会議システムのブロック図 同ウェブ会議システムのサーバの動作について説明するフローチャート 同ウェブ会議システムのサーバの動作について説明するフローチャート 同ウェブ会議システムの具体例の構成を示す模式図 同ウェブ会議システムのサーバの特定情報管理表を示す図 同サーバの出力条件管理表を示す図（図６（ａ））、および着目条件管理表を示す図（図６（ｂ）） 同サーバの提案情報管理表を示す図（図７（ａ））、および保険送信管理情報を示す図（図７（ｂ）） 同ウェブ会議システムのサーバのバイタル情報管理表を示す図 同サーバが構成する画面画像を説明するための図（図９（ａ）－図９（ｄ）） 同サーバが構成する画面画像を説明するための図（図１０（ａ）－図１０（ｃ）） 同ウェブ会議システムのユーザ端末による表示例を示す図（図１１（ａ）および図１１（ｂ）） 同ウェブ会議システムのユーザ端末による表示例を示す図（図１２（ａ）および図１２（ｂ）） 実施の形態２における情報システム２０００の概念図 同情報システム２０００のブロック図 同情報処理装置３のブロック図 同情報処理装置３の動作例について説明するフローチャート 同情報処理装置３の動作例について説明するフローチャート 同統計処理の例について説明するフローチャート 同ユーザ毎統計処理の例について説明するフローチャート 同属性値毎統計処理の例について説明するフローチャート 同ウェブ会議統計処理の例について説明するフローチャート 同評価処理の例について説明するフローチャート 同関係検出処理の例について説明するフローチャート 同検索処理の例について説明するフローチャート 同ユーザ端末４の動作例について説明するフローチャート 同通訳者端末５の動作例について説明するフローチャート 同ユーザ管理表を示す図 同バイタル情報管理表を示す図 同テキスト等管理表を示す図 上記実施の形態におけるコンピュータシステムの概観図 同コンピュータシステムのブロック図
　以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
　（実施の形態１）
　図１は、本実施の形態におけるウェブ会議システム１０００のブロック図である。
　ウェブ会議システム１０００は、サーバ１と、１または２以上のユーザ端末２を備える。サーバ１と、１または２以上のユーザ端末２とは、インターネット等のネットワークを介して、情報の送受信が可能となるよう接続される。なお、図１においては、一例として、ウェブ会議システム１０００が、３以上のユーザ端末２を備えている場合を示している。
　サーバ１は、情報受信部１００、特定情報格納部１０１、情報取得部１０２、出力条件格納部１０３、着目条件格納部１０４、判断部１０５、構成部１０６、情報送信部１０７、蓄積部１０８、バイタル情報格納部１０９、提案格納部１１０、保険情報取得部１１１、および保険情報送信部１１２を備える。
　サーバ１は、クラウドサーバや、アプリケーションサーバである。サーバ１は、例えば、ウェブ会議を提供するサーバである。ここでのウェブ会議は、ネットワークを介して接続された複数の端末を利用して行われるセミナーや、授業等も含む概念である。サーバ１は、例えば、コンピュータ等により実現される。
　情報受信部１００は、ウェブ会議を行っている間に、２以上の各ユーザ端末２から送信される画像を受信する。情報受信部１００がユーザ端末２から受信する画像は、例えば、会議に参加するユーザ（例えば、ユーザの顔を含む領域）を撮影した画像である。情報受信部１００が受信する画像は、動画像であっても静止画像であってもよい。情報受信部１００が受信する画像は、例えば、時系列の画像である。時系列の画像は、例えば、動画像であってもよく、時系列に沿って送信される複数の静止画像であってもよい。ただし、情報受信部１００が受信する画像は、画像からバイタル情報が取得可能な画像であることが好ましい。情報受信部１００は、通常、ユーザ端末２と対応付けられた画像を受信する。例えば、情報受信部１００は、ユーザ端末２の端末識別子と対応付けられた画像を受信する。端末識別子は、例えば、ユーザ端末２の名前であってもよく、ユーザ端末２に割り当てられたコードや、ユーザ端末２のＩＰアドレス等のアドレス情報であってもよい。また、セッション識別子等を端末識別子として用いてもよい。また、端末識別子として、ユーザ端末２を利用するユーザのユーザ識別子を用いてもよい。情報受信部１００は、通常、画像に加えて、音声も受信する。
　情報受信部１００は、通常、無線または有線の通信手段で実現される。情報受信部１００は、通信デバイスを含むと考えても、含まないと考えてもよい。
　特定情報格納部１０１は、特定のユーザ端末２を指定する特定情報が格納される。特定情報は、例えば、ユーザ端末２の端末識別子である。特定情報は、例えば、バイタル情報の取得対象となるユーザ端末２を指定する情報である。また、特定情報は、バイタル情報に対応する情報の送信先となるユーザ端末２を指定する情報である。特定情報は、どのような対象として特定されるユーザ端末２であるかを指定する情報をさらに有していてもよい。
　特定情報格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。かかることは、他の格納部についても同様である。
　情報取得部１０２は、情報受信部１００が受信した２以上の画像の中の１以上の画像に含まれるユーザの人物領域から、１以上のユーザのバイタル情報を、画像に対応付けて取得する。情報受信部１００が受信した２以上の画像は、２以上の各ユーザ端末２から送信される画像である。画像に含まれるユーザの人物領域は、例えば、画像内のユーザが写っている領域である。ユーザの人物領域は、ユーザの顔を含む領域であることが好ましい。バイタルとは、脈拍、呼吸、体温、血圧、意識レベル等である。バイタルは、バイタルサインとも呼ばれる。バイタル情報は、例えば、呼吸数や、脈拍数等のバイタルを表す情報である。ここでのバイタル情報は、心拍変動、交感神経、副交感神経、ＬＦ（低周波）／ＨＦ（高周波）、等の、１または２以上のバイタル情報を加工して得られる情報であってもよい。ＬＦ／ＨＦは、例えば、ストレスの指標として用いられる情報である。情報取得部１０２は、各ユーザについて異なる複数の種類のバイタル情報を取得してもよい。画像に対応付けてバイタル情報を取得する、ということは、画像を送信したユーザ端末２に対応付けてバイタル情報を取得することと考えてもよい。情報取得部１０２は、例えば、予め決められた期間内に受信した画像（例えば時系列の画像）からバイタル情報を取得する。画像に含まれるユーザの人物領域から、ユーザのバイタル情報を取得する技術は公知技術であるため、ここでは詳細な説明を省略する。このようなバイタル情報を取得する技術としては、例えば、以下のＵＲＬに記載されたような技術が利用可能である（ＵＲＬ：https://sensing-art.com/#tech-feature）。ただし、ここで利用する画像の人物領域からバイタル情報を取得する技術は、上記の技術に限定されない。
　情報取得部１０２は、情報受信部１００が受信した２以上の画像の中の画像であり、予め決められた１以上のユーザ端末２から送信された画像のみに含まれるユーザの人物領域から、１以上のユーザのバイタル情報を取得する。ユーザ端末２から送信された画像に含まれるユーザは、例えば、ユーザ端末２を利用してウェブ会議に参加しているユーザである。
　情報取得部１０２は、例えば、１以上の特定のユーザ端末２から受信された時系列の各画像から、バイタル情報を取得してもよい。特定のユーザ端末２とは、例えば、特定のユーザが利用するユーザ端末２である。特定のユーザは、例えば、患者や生徒、社員等である。また、情報取得部１０２は、２以上の各ユーザ端末から受信された時系列の各画像から、バイタル情報を取得してもよい。バイタル情報の取得対象となる特定のユーザ端末２は、例えば、特定情報格納部１０１に格納される特定情報により特定される。
　情報取得部１０２が、１以上のユーザ端末２から情報受信部１０１が受信する時系列の各画像からバイタル情報を取得する時期等は問わない。例えば、情報取得部１０２は、一定または任意の時間間隔ごとに、各画像からバイタル情報を取得する。また、情報受信部１００が、バイタル情報に対応する情報の送信先となるユーザ端末２から受信する指示に応じて、情報取得部１０２が１以上の特定のユーザ端末２から受信した画像からバイタル情報を取得してもよい。この指示は、バイタル情報を取得する画像を送信するユーザ端末２を指定する情報をさらに有していてもよい。
　出力条件格納部１０３には、１または２以上の出力条件が格納される。出力条件は、情報取得部１０２が取得したバイタル情報を送信してよいか判断するための条件である。出力条件は、例えば、情報取得部１０２が取得するユーザの１以上のバイタル情報に関する条件である。ユーザのバイタル情報は、例えば、ユーザ端末２から受信した画像から取得されるこのユーザ端末２を利用するユーザのバイタル情報である。
　出力条件は、例えば、数値や指標で表されるバイタル情報についての閾値である。例えば、出力条件は、心拍数が閾値以上であるという条件や、呼吸数が閾値以上であるという条件や、ＬＦ／ＨＦが示すストレスの指標となる値が、閾値以上であるという条件である。出力条件格納部１０３には、バイタル情報の種類ごとに異なる出力条件が格納されていてもよい。出力条件格納部１０３には、例えば、１または２以上の異なるバイタル情報についての出力条件が、バイタル情報の種類を識別するバイタル識別子と対応付けて格納されていてもよい。バイタル識別子は、例えば、バイタル名や、バイタルに割り当てられたコード等であってもよい。出力条件は、複数の種類のバイタル情報についての条件の組み合わせ（例えば、ＡＮＤ条件やＯＲ条件等）であってもよい。
　着目条件格納部１０４は、１または２以上の着目条件が格納される。着目条件は、ユーザの１以上のバイタル情報に関する条件であって、ユーザに対応するユーザ領域を、他のユーザ領域に対して視覚的に区別可能とした画面画像を構成部１０６が構成するか判断するための条件である。
　着目条件は、例えば、数値や指標で表されるバイタル情報についての閾値である。例えば、着目条件は、例えば、心拍数が閾値以上であるという条件や、呼吸数が閾値以上であるという条件や、ＬＦ／ＨＦが示すストレスの指標となる値が、閾値以上であるという条件である。着目条件格納部１０４には、バイタル情報の種類ごとに異なる着目条件が格納されていてもよい。着目条件格納部１０４には、例えば、１または２以上の異なるバイタル情報についての着目条件が、バイタル識別子と対応付けて格納されていてもよい。着目条件は、複数の種類のバイタル情報についての条件の組み合わせ（例えば、ＡＮＤ条件やＯＲ条件等）であってもよい。
　なお、本実施の形態においては、サーバ１が出力条件格納部１０３および着目条件格納部１０４を有している場合について説明するが、これらの少なくとも一方は、サーバ１が有する代わりに、サーバ１がアクセス可能な他の装置等が有していてもよい。
　また、着目条件として、出力条件と同じ条件を用いてもよく、この場合、着目条件や、着目条件格納部１０４を省略し、着目条件を用いる処理において、出力条件を用いるようにしてもよい。
　判断部１０５は、情報取得部１０２が取得したバイタル情報が、出力条件格納部１０３に格納されている出力条件に合致するか判断する。出力条件格納部１０３に複数の種類のバイタル情報についての出力条件が格納されている場合、判断部１０５は、情報取得部１０２が取得した複数のバイタル情報が、それぞれの種類に対応する出力条件を満たすか判断してもよい。出力条件が複数の条件の組み合わせである場合、判断部１０５は、複数の条件にそれぞれ対応するバイタル情報が、各条件を満たすか否かを判断し、その判断結果の組み合わせにより、出力条件を満たすか判断してもよい。
　構成部１０６は、情報受信部１００が受信した画像を含む１以上、好ましくは２以上のユーザ領域を含む画面画像を構成する。一のユーザ領域は、例えば、情報受信部１００が一のユーザ端末２から受信した画像を含む（例えば、画像が配置される）領域である。構成部１０６は、情報受信部１００が受信した画像（を含む１または２以上のユーザ領域を含む画面画像を構成する。構成部１０６が構成する画面画像は、例えば、２以上のユーザ領域をタイル状に配列した画面画像である。構成部１０６が構成する画面画像は、例えば、情報受信部１００が２以上のユーザ端末からそれぞれ受信する画像のすべてをタイル状に配列した画面画像であってもよい。
　構成部１０６は、画面画像の送信先となるユーザ端末２ごとに異なる画面画像を構成してもよく、同じ画面画像を構成してもよい。例えば、構成部１０６は、画面画像の送信先となるユーザ端末２に対応するユーザのユーザ領域を他のユーザ領域よりも小さくした画面画像を構成してもよい。また、例えば、構成部１０６は、画面画像の送信先となるユーザ端末２に対応するユーザ以外の、情報受信部１００が音声を受信したユーザ端末に対応するユーザのユーザ領域を他のユーザ領域よりも大きくした画面画像を構成してもよい。
　構成部１０６は、情報取得部１０２が取得したバイタル情報に対応する画面画像を構成する。バイタル情報に対応する画面画像は、例えば、バイタル情報を配置した画面画像であってもよい。例えば、構成部１０６は、情報取得部１０２が取得した１または２以上のバイタル情報を、各バイタル情報が取得された画像を含むユーザ領域に配置した画面画像を構成する。また、構成部１０６は、情報取得部１０２が取得した１または２以上のバイタル情報に対応するグラフやマークや記号を、各バイタル情報が取得された画像を含むユーザ領域に配置した画面画像を構成してもよい。
　構成部１０６は、例えば、情報取得部１０２が取得したバイタル情報を、このバイタル情報を取得する元になった画像に対応する態様とした画面画像を構成する。この画面画像も、バイタル情報に対応する画面画像と考えてよい。バイタル情報を、バイタル情報を取得する元になった画像に対応する態様とした画面画像とは、例えば、情報取得部１０２が取得したバイタル情報を埋め込んだ画面画像であってもよく、情報取得部１０２が取得したバイタル情報を、このバイタル情報を取得した画像を含むユーザ領域内の所定の位置（例えば、ユーザ領域の下部や上部等）に配置した画面画像であってもよい。また、バイタル情報を、バイタル情報を取得する元になった画像に対応する態様とした画面画像は、例えば、情報取得部１０２が取得したバイタル情報を、このバイタル情報を取得した画像を含むユーザ領域内の、ユーザの人物領域（好ましくは人物の顔や額等の領域）と重なる位置や、人物領域に隣接する位置（例えば、顔の横や、頭上等）に配置した画面画像であってもよい。例えば、ユーザの人物領域や、顔や、頭等は、画像認識処理により実現可能である。
　構成部１０６は、例えば、情報受信部１００が受信した画像を含む２以上のユーザ領域を含む画面画像であって、着目条件を満たすバイタル情報が情報取得部１０２により取得された画像を含むユーザ領域が、他のユーザ領域と視覚的に区別可能な画面画像を構成する。視覚的に区別可能な画面情報とは、例えば、着目条件を満たすバイタル情報が取得された画像を含むユーザ領域の枠が、ハイライト表示された画面画像であってもよく、着目条件を満たすバイタル情報が取得された画像を含むユーザ領域が他のユーザ領域よりも大きく表示された画面画像であってもよい。なお、着目条件を満たすバイタル情報が取得された画像を含むユーザ領域が視覚的に区別可能であれば、上記のような態様に限定されない。ここでの着目条件は、例えば、着目条件格納部１０４に格納された着目条件である。
　画面画像とは、例えば、ユーザ端末２の画面に表示される画像である。画面画像は、例えば、動画像等の時系列の画像である。ただし、画面画像は、１または２以上の静止画像であってもよい。なお、画面画像は、例えば、結果的にユーザ端末２の画面に上述したような画像を表示することが可能な情報であってもよい。例えば、画面画像は、画面の1以上のユーザ領域に配置される画像（例えば、情報受信部１００が各ユーザ端末２から受信する動画像）と、画面の構造を示すＨＴＭＬ等で記述されたデータとの組み合わせや、これらに対し、さらにＣＳＳファイル等のレイアウトやスタイルを示すデータを加えた情報であってもよい。また、画面の構造を示すデータやレイアウトやスタイルを示すデータの少なくとも一部を、各ユーザ端末２が有していてもよい。画面画像は、例えば、画面に表示される上述したようなバイタル情報を有する情報であってもよく、このバイタル情報の配置される位置を指定する情報をさらに有していてもよい。また、画面画像は、着目条件を満たすバイタル情報が配置されたユーザ領域の表示態様を、他と異なる表示態様となるよう指定する情報を有していてもよく、その表示態様を指定する情報を有していてもよい。
　情報送信部１０７は、構成部１０６が構成した画面画像を、２以上のユーザ端末２に送信する。また、情報送信部１０７は、情報受信部１００が受信した音声を、画面画像と対応付けて、２以上のユーザ端末２に送信してもよい。
　情報送信部１０７は、ウェブ会議を行っている間に、情報取得部１０２が取得したバイタル情報に対応する情報を、２以上のユーザ端末２のうちの１以上のユーザ端末２に送信する。情報送信部１０７は、バイタル情報に対応する情報として、情報取得部１０２が取得したバイタル情報を送信してもよく、構成部１０６が構成した画面画像であって、バイタル情報に対応する情報が配置された画面画像を送信してもよい。
　情報送信部１０７は、情報取得部１０２が取得したバイタル情報を、このバイタル情報を取得する元になった画像に対応する態様で送信してもよい。例えば、バイタル情報を、このバイタル情報を取得する元になった画像に埋め込んで送信してもよく、構成部１０６が構成した画面画像であって、上記のように、バイタル情報を、バイタル情報を取得する元になった画像を含むユーザ領域内の予め決められた位置に配置した画面画像を送信してもよい。
　情報送信部１０７は、例えば、予め決められた１以上のユーザ端末２に、情報取得部１０２が取得したバイタル情報に対応する情報を送信する。情報送信部１０７は、例えば、バイタル情報を取得する元になった画像を送信したユーザ端末２を除く１以上の他のユーザ端末２のみにバイタル情報に対応する情報を送信する。この場合の他のユーザ端末２が、予め決められたユーザ端末２でもよい。予め決められたユーザ端末は、例えば、医師や看護士等の医療関係者が利用するユーザ端末や、企業等において社員等の健康管理等を行う管理者等が利用するユーザ端末である。
　情報送信部１０７は、判断部１０５が出力条件に合致すると判断したバイタル情報に対応する情報のみを送信するようにしてもよい。例えば、情報送信部１０７は、複数のユーザ端末２から情報受信部１００がそれぞれ受信したバイタル情報が、出力条件を満たすか判断し、出力条件を満たすバイタル情報に対応する情報のみを送信してもよい。また、例えば、情報送信部１０７は、一のユーザ端末について情報取得部１０２が取得した異なる種類のバイタル情報が、それぞれの種類に対応するバイタル条件を満たすか判断し、バイタル条件を満たす種類のバイタル情報に対応する情報のみを送信してもよい。
　蓄積部１０８は、情報取得部１０２が取得した時系列のバイタル情報をバイタル情報格納部１０９に蓄積する。蓄積部１０８は、例えば、２以上の各ユーザ端末２に対応付けて、情報取得部１０２が２以上の各ユーザ端末２から受信した時系列の各画像から取得した時系列のバイタル情報を蓄積する。蓄積部１０８は、例えば、情報受信部１００が受信した時系列の各画像に対応付けて、この時系列の各画像から取得した時系列のバイタル情報を蓄積してもよい。
　また、蓄積部１０８は、情報取得部１０２が取得した時系列のバイタル情報を、このバイタル情報を取得した時系列の画像と対応付けて蓄積してもよい。
　バイタル情報格納部１０９には、時系列のバイタル情報が格納される。例えば、１または２以上のユーザ端末２から受信した時系列の各画像から取得された時系列のバイタル情報が、対応する１または２以上のユーザ端末２に対応付けて格納される。また、例えば、情報受信部１００が１または２以上のユーザ端末２から受信した時系列の各画像に対応付けて、この時系列の各画像から取得した時系列のバイタル情報が格納されてもよい。
　提案格納部１１０には、１以上の提案情報が格納される。提案情報は、保険条件と保険情報とを有する情報である。
　保険情報は、保険に関する情報である。ここでの保険は、例えば、情報取得部１０２が取得する１以上の種類のバイタル情報に関連した保険である。バイタル情報に関連した情報は、例えば、バイタル情報が示すユーザの健康状態に関連して提案される入院保険や、通院保険、生命保険等である。また、バイタル情報に関連した情報は、例えば、１以上の種類のバイタル情報の異常により検出されうる特定の疾病に対する保険（例えば、がん保険等）であってもよい。保険情報は、例えば、ユーザに提案する保険を示す情報（例えば、保険名や保険の識別子等）や、その保険の補償内容等を示す情報である。また、保険情報は、保険に加入するための申込書等の情報や、申し込みを行うためのウェブサイト等を示す情報であってもよい。ウェブサイトを示す情報は、例えば、ウェブサイト名や、ウェブサイトのＵＲＬ等）また、保険情報は、保険を提供する企業等を示す情報や、その企業や保険を紹介するためのウェブサイトを示す情報であってもよい。
　保険条件は、対応する保険をユーザ端末２に送信するか判断するために用いられる、ユーザのバイタル情報に関する条件である。保険条件は、例えば、数値で表されるバイタル情報についての閾値である。保険条件は、例えば、心拍数が閾値以上であるという条件や、呼吸数が閾値以上であるという条件や、ＬＦ／ＨＦが示すストレスの指標となる値が、閾値以上であるという条件である。バイタル情報格納部１０９には、バイタル情報の種類ごとに異なる保険条件が格納されていてもよい。バイタル情報格納部１０９には、例えば、１または２以上の異なるバイタル情報についての保険条件が、バイタル識別子と対応付けて格納されていてもよい。保険条件は、複数の種類のバイタル情報についての条件の組み合わせ（例えば、ＡＮＤ条件やＯＲ条件等）であってもよい。
　なお、本実施の形態においては、サーバ１が提案格納部１１０を有している場合について説明するが、これらの少なくとも一方は、サーバ１が有する代わりに、サーバ１がアクセス可能な他の装置等が有していてもよい。
　また、保険条件として、出力条件または着目条件と同じ条件を用いてもよく、この場合、出力条件または着目条件を省略し、出力条件または着目条件を用いる処理において、提案格納部１１０に格納された保険条件を用いてもよい。
　保険情報取得部１１１は、提案格納部１１０を参照し、情報取得部１０２が取得したバイタル情報が満たす保険条件を決定し、保険条件と対になる保険情報を提案格納部１１０から取得する。
　保険情報送信部１１２は、保険情報取得部１１１が取得した保険情報を、バイタル情報を取得する元になった画像を送信したユーザ端末２に送信する。
　保険情報送信部１１２は、通常、無線または有線の通信手段で実現される。保険情報送信部１１２は、通信デバイスを含むと考えても、含まないと考えても良い。
　ユーザ端末２は、ユーザが利用する装置である。ユーザ端末２は、コンピュータや、いわゆるスマートフォン等の多機能携帯電話、タブレット型端末等により実現可能である。また、ユーザ端末２は、ウェブ会議専用の端末装置等であってもよい。
　ユーザ端末２は、例えば、ユーザを撮影可能なカメラ（図示せず）と、カメラが撮影した画像をサーバ１に送信する端末送信部（図示せず）と、サーバ１から送信される画面画像を受信する端末受信部（図示せず）と、端末受信部が受信した画面画像等の画像を表示する端末表示部（図示せず）と、ユーザからの操作を受け付ける端末受付部（図示せず）と、受け付けた操作に応じた処理（例えば、ウェブ会議を開始させる処理や、終了させる処理、ウェブ会議の設定等を行う処理等）を実行する処理部（図示せず）等を備えている。端末表示部は、モニタ等の表示デバイス（図示せず）を有していてもよい。ユーザ端末２は、さらに、ユーザの音声を取得可能なマイクロフォン（図示せず）を備えており、端末送信部が、マイクロフォンが取得した音声をサーバ１に送信してもよい。また、端末受信部が、さらに、サーバ１から送信される音声を受信し、ユーザ端末２が、端末受信部が受信した音声等を出力する音声出力部（図示せず）等を有していてもよい。音声出力部は、スピーカー等の音声出力デバイス（図示せず）を有していてもよい。
　次に、ウェブ会議システム１０００のサーバ１の動作の一例について図２のフローチャートを用いて説明する。
　（ステップＳ１０１）サーバ１は、ウェブ会議を開始するか判断する。例えば、予定された時刻になった場合に、サーバ１の処理部（図示せず）等が、開始することを決定してもよい。また、情報受信部１００等が、１以上のユーザ端末２からウェブ会議を開始する指示を受信した場合に、ウェブ会議を開始してもよい。ウェブ会議を開始することを決定した場合、ウェブ会議を開始して、ステップＳ１０２に進み、開始しない場合、ステップＳ１０１に戻る。
　（ステップＳ１０２）情報受信部１００は、ウェブ会議に参加している各ユーザ端末２からの画像の受信を開始する。そして、情報受信部１００は、例えば、各ユーザ端末２から送信される画像を受信する。受信する画像は、例えば、動画像等の時系列の画像である。複数のユーザ端末２からの画像の受信は、例えば並列処理で行ってもよく、時分割で行ってもよく、どのように受信するかは、これらに限定されない。また、情報受信部１００は、さらに、音声を受信してもよい。情報受信部１００は、例えば、端末識別子と対応付けられた画像を受信する。
　（ステップＳ１０３）情報取得部１０２は、ステップＳ１０２で受信した各画像から、バイタル情報を取得する時期であるか判断する。例えば、画像の受信を開始してから一定の時間が経過するごとに、バイタル情報を取得する時期であると判断してもよい。また、予め決められた時刻や、ランダムに決定した時期を、バイタル情報を取得する時期であると判断してもよい。取得する時期をどのように決定するかは問わない。また、取得する時期間の長さ等は問わない。取得する時期である場合、ステップＳ１０４に進み、取得時期でない場合、ステップＳ１１５に進む。
　（ステップＳ１０４）情報取得部１０２は、カウンターｎの値に１を代入する。
　（ステップＳ１０５）情報取得部１０２は、ウェブ会議に参加しているユーザ端末２において、ｎ番目のバイタル情報の取得対象となるユーザ端末２があるか判断する。バイタル情報の取得対象となるユーザ端末２とは、バイタル情報の取得対象となる画像を送信するユーザ端末である。取得対象となるユーザ端末２は、例えば、特定情報格納部１０１に格納される特定情報を用いて検出する。ある場合、ステップＳ１０６に進み、ない場合、ステップＳ１１５に進む。
　（ステップＳ１０６）情報取得部１０２は、ステップＳ１０２でｎ番目のユーザ端末２から受信した画像に含まれるユーザの人物領域から、予め決められた１以上の種類のバイタル情報を取得する。情報取得部１０２は、例えば、時系列の画像からバイタル情報を取得する。
　（ステップＳ１０７）蓄積部１０８は、ステップＳ１０６で取得したバイタル情報を、バイタル情報格納部１０９に蓄積する。例えば、取得した時系列の順番で蓄積してもよく、取得した時刻と対応付けて蓄積してもよい。蓄積部１０８は、例えば、ステップＳ１０２で受信した画像を、送信したユーザ端末２と対応付けて、取得したバイタル情報を蓄積してもよい。また、蓄積部１０８は、例えば、取得した異なる種類のバイタル情報に、バイタル情報の種類を示す種類識別子等を対応付けて蓄積してもよい。また、蓄積部１０８は、情報受信部１００が受信した時系列の各画像に対応付けて、ステップＳ１０６で取得した時系列のバイタル情報を蓄積してもよい。例えば、受信した時系列の画像のうちの、バイタル情報を取得する際に利用した期間内の画像を、取得したバイタル情報と対応付けて蓄積してもよい。また、受信した時系列の画像を蓄積するとともに、その画像内のステップＳ１０６においてバイタル情報の取得に利用した部分を特定する情報（例えば、タイムコードの開始時刻や、終了時刻等）をバイタル情報と対応付けて蓄積してもよい。
　（ステップＳ１０８）判断部１０５は、ステップＳ１０６で取得したバイタル情報が、出力条件に合致するか判断する。例えば、取得したバイタル情報が、異なる複数の種類のバイタル情報である場合、判断部１０５は、それぞれの種類ごとに、対応する出力条件を満たすか判断してもよい。合致する場合、ステップＳ１０９に進み、合致しない場合、ステップＳ１１０に進む。なお、合致する場合とは、例えば、合致するバイタル情報が１以上ある場合と考えてもよく、合致しない場合とは、合致するバイタル情報が一つもない場合と考えてもよい。
　（ステップＳ１０９）判断部１０５は、出力条件に合致するバイタル情報に対応する情報の送信を行うことを決定する。例えば、ステップＳ１０６で取得した出力条件に合致するバイタル情報と、ｎ番目のユーザ端末２の端末識別子とを、対応付けて、格納部（図示せず）等に蓄積する。なお、合致するバイタル情報の種類を示す情報等をさらに対応付けて蓄積してもよい。
　（ステップＳ１１０）構成部１０６は、ステップＳ１０６で取得したバイタル情報が、着目条件に合致するか判断する。合致する場合、ステップＳ１１１に進み、合致しない場合、ステップＳ１１２に進む。
　（ステップＳ１１１）構成部１０６は、バイタル情報を取得した画像を含むユーザ領域を他のユーザ領域に対して視覚的に区別可能な画面画像を構成することを決定する。構成部１０６は、例えば、視覚的に区別可能とするユーザ領域に対応するユーザ端末２の端末識別子を、格納部（図示せず）等に蓄積する。
　（ステップＳ１１２）保険情報取得部１１１は、ステップＳ１０６で取得したバイタル情報が、提案格納部１１０に格納されている保険条件に合致するか判断する。例えば、ステップＳ１０４で取得した複数種類のバイタル情報について、それぞれの種類に対応する保険条件を満たすか判断する。保険条件に合致する場合、ステップＳ１１３に進み、合致しない場合、ステップＳ１１４に進む。なお、保険条件に合致する場合とは、例えば、保険情報に合致する種類のバイタル情報が１以上ある場合と考えてもよく、合致しない場合は、合致する種類のバイタル情報が一つもない場合と考えてもよい。
　（ステップＳ１１３）保険情報取得部１１１は、バイタル情報と合致する保険条件に対応する保険情報の送信を行うことを決定する。例えば、バイタル情報と合致する保険条件に対応する保険情報と、ｎ番目のユーザ端末２の端末識別子との組を対応付けて格納部（図示せず）等に蓄積する。例えば、保険情報取得部１１１は、バイタル情報と合致する保険条件に対応する保険情報を提案格納部１１０から取得し、取得した保険情報をｎ番目のユーザ端末２の端末識別子と対応付けて格納部（図示せず）等に蓄積してもよい。バイタル情報と合致する保険条件に対応する保険情報は、例えば、バイタル情報と合致する保険情報と同じ提案情報に含まれる保険情報である。なお、既に同じ保険情報とユーザ端末２との組を対応付けた情報が格納部（図示せず）に格納されている場合、新たに保険情報とユーザ端末２とを対応付ける情報を蓄積しなくてもよく、新たに保険情報を取得しなくてもよい。
　（ステップＳ１１４）情報取得部１０２は、カウンターｎの値を１インクリメントする。そして、ステップＳ１０５に戻る。
　（ステップＳ１１５）サーバ１は、ステップＳ１０２で受信した画像を用いて画面画像を構成する。そして、構成された画面画像を２以上のユーザ端末２に送信する。また、例えば、画像を受信する際に受信した音声も送信する。なお、ステップＳ１１５の処理の詳細については後述する。そして、ステップＳ１１６に進む。
　（ステップＳ１１６）サーバ１は、ウェブ会議を終了するか判断する。例えば、情報受信部１００が１以上のユーザ端末２からウェブ会議を終了する指示を受信した場合に、サーバ１は、ウェブ会議を終了することを決定する。また、予め決められた時刻等に、ウェブ会議を終了することを決定してもよい。終了する場合、ステップＳ１１７に進み、終了しない場合、ステップＳ１０３に戻る。
　（ステップＳ１１７）サーバ１は、ウェブ会議を終了する。また、画像の受信等も終了する。
　（ステップＳ１１８）保険情報取得部１１１は、保険情報の送信先となるユーザ端末２があるか判断する。例えば、保険情報取得部１１１は、ステップＳ１１３で対応付けて蓄積した保険情報とユーザ端末との１以上の組が、格納部（図示せず）に格納されているか判断し、格納されている場合、保険情報の送信先となるユーザ端末２があると判断して、ステップＳ１１９に進み、格納されていない場合、保険情報の送信先となるユーザ端末２がないと判断して、ステップＳ１０１に戻る。
　（ステップＳ１１９）保険情報取得部１１１は、ステップＳ１１３でユーザ端末２に対応付けて蓄積した保険情報を取得する。ここでの取得は、上記で保険情報を端末識別子と対応付けて蓄積したメモリ等の格納部（図示せず）からの読み出し等であってもよい。
　（ステップＳ１２０）保険情報送信部１１２は、ステップＳ１１９で取得した各保険情報を、ステップＳ１１３で各保険情報に対応づけられたユーザ端末２に送信する。そして、ステップＳ１０１に戻る。
　なお、図２のフローチャートにおいて、ウェブ会議の終了直後に、保険情報を送信する場合について説明したが、保険情報を送信する時期は、ウェブ会議終了直後でなくてもよく、例えば、ウェブ会議中に送信してもよく、ウェブ会議終了後の任意の時機等に送信してもよい。
　なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
　次に、サーバ１が、画面画像を構成して、２以上のユーザ端末２に送信する処理の一例について、図３のフローチャートを用いて説明する。なお、この処理は、図２のステップＳ１１５の処理の一例に相当する。
　（ステップＳ２０１）構成部１０６は、ステップＳ１０２で複数のユーザ端末２からそれぞれ受信した画像を含む複数のユーザ領域を配置して画面画像を構成する。例えば、構成部１０６は、複数のユーザ端末２からそれぞれ受信した動画像であって、動画像が有するタイムコード等により同期させた動画像をそれぞれ含む複数のユーザ領域を配置して画面画像を構成する。例えば、複数のユーザ領域をタイル状に配置して画面画像を構成する。
　（ステップＳ２０２）情報送信部１０７はステップＳ２０１で構成した画面画像を、バイタル情報に対応する情報の送信先として予め決められたユーザ端末２以外のユーザ端末２に送信する。例えば、情報送信部１０７は、特定情報格納部１０１に格納された特定情報を用いて、バイタル情報に対応する情報の送信先として予め決められたユーザ端末２以外のユーザ端末２を決定する。
　（ステップＳ２０３）構成部１０６は、ステップＳ１０９でバイタル情報に対応する情報の送信を行うことを決定したバイタル情報があるか判断する。ある場合、ステップ２０４に進み、ない場合、ステップＳ２０５に進む。
　（ステップＳ２０４）構成部１０６は、ステップＳ２０１で構成した画面画像の、構成部１０６がステップＳ１０９で出力条件と対応付けて蓄積した端末識別子に対応するユーザ領域に、ステップＳ１０９で各端末識別子と対応付けて蓄積した出力条件に合致する１以上のバイタル情報を、それぞれ配置する。例えば、各ユーザ領域に含まれる画像に対応する態様でバイタル情報を配置する。
　（ステップＳ２０５）構成部１０６は、ステップＳ１１１で視覚的に区別可能に出力することを決定したユーザ領域があるか判断する。ある場合、ステップＳ２０６に進み、ない場合、ステップＳ２０７に進む。
　（ステップＳ２０６）構成部１０６は、ステップＳ１１１で取得した視覚的に区別可能に出力することを決定したユーザ領域に対応するユーザ端末２の端末識別子を用いて、ステップＳ２０１で構成した画面画像、またはステップＳ２０４でバイタル情報を配置した画面画像を、この端末識別子に対応するユーザ領域を視覚的に区別可能とした画面画像となるよう変更する。
　（ステップＳ２０７）情報送信部１０７は、特定情報格納部１０１に格納された特定情報を用いて、ステップＳ２０１で構成された画面画像であって、ステップＳ２０４およびステップＳ２０６の判断に応じた処理を経た画面画像（例えば、判断結果に応じて、バイタル情報が配置されたり、ユーザ領域が変更されたりした画面画像や、変更が加えられたかった画面画像等）を、バイタル情報に対応する情報の送信先として予め決められたユーザ端末２に送信する。そして、上位の処理にリターンする。
　次に、ユーザ端末２の動作について簡単に説明する。ユーザ端末２のカメラが撮影した画像と、マイクロフォンが取得した音声を、端末送信部がサーバ１に送信する。また、ユーザ端末２の端末受信部が、サーバ１から送信される画面画像および音声を受信し、受信した画面画像を端末表示部がモニタ等に表示し、受信した音声を音声出力部がスピーカーやヘッドホン等の音声出力デバイスから出力する。
　以下、本実施の形態におけるウェブ会議システム１０００の具体的な動作について一例を挙げて説明する。
　図４は、ウェブ会議システム１０００の具体例を示す模式図である。ここでは、ユーザ端末２が、いずれもコンピュータである場合を例に挙げて説明する。また、ここでは、４つのユーザ端末２を、ユーザ端末２ａ－２ｄとして表している。ただし、ユーザ端末２ａ－２ｄのそれぞれを区別せずにユーザ端末２と呼ぶ場合もある。
　ここでは、サーバ１がウェブ会議を開始しており、４人のユーザがそれぞれユーザ端末２を利用してウェブ会議に参加しているものとする。４人のユーザの１人は企業において、社員の健康管理を行う産業医であり、他の３人は、企業に勤務する社員であるとする。ウェブ会議に参加しているユーザ端末２を管理するために、例えば、参加しているユーザ端末２ａ－２ｄに対応する端末識別子と、ウェブ会議の会議名やウェブ会議に割り当てられたコード等の会議識別子とが対応付けられて、メモリ等格納部（図示せず）に格納されているものとする。
　図５は、特定情報格納部１０１に格納されている特定情報を管理する特定情報管理表である。特定情報管理表は、「端末ＩＤ」と、「指定」という属性を有している。「端末ＩＤ」は、ユーザ端末２の端末識別子であり、ここでは、値「Ｕ００１」から「Ｕ００４」までの４つの端末識別子にそれぞれ対応するユーザ端末２が、ウェブ会議に参加しているものとする。「指定」は、ユーザ端末２を利用するユーザが、バイタル情報の取得対象となるユーザであるか否かを指定する情報、およびバイタル情報に対応する情報の送信先となるユーザであるか否かを指定する情報であり、値「１」は、バイタル情報の取得対象となるユーザであることを示し、値「２」は、バイタル情報に対応する情報の送信先となるユーザであることを示し、値「０」は、そのいずれでもないユーザであることを示す。なお、ユーザ端末２ａの端末識別子が「Ｕ００１」、ユーザ端末２ｂの端末識別子が「Ｕ００２」、ユーザ端末２ｃの端末識別子が「Ｕ００３」、ユーザ端末２ｄの端末識別子が「Ｕ００４」であるとする。
　図６（ａ）は、出力条件格納部１０３に格納されている出力条件を管理する出力条件管理表である。出力条件管理表は、「出力バイタルＩＤ」と「出力条件」という属性を有している。「出力バイタルＩＤ」は、対応する出力条件を満たす場合に出力されるバイタル情報の種類を示す識別子であり、ここでは種類名であるとする。「出力条件」は、対応するバイタル情報を出力するための出力条件である。なお、出力条件のＸ１－Ｘ３等は、予め決められた値であるとする。かかることは、着目条件のＸ４や保険条件のＸ５等についても同様である。
　図６（ｂ）は、着目条件格納部１０４に格納されている着目条件を管理する着目条件管理表である。着目条件管理表において、属性「着目条件」は、着目条件を示している。
　図７（ａ）は、提案格納部１１０に格納されている提案情報を管理する提案情報管理表である。提案管理表において、属性「保険情報」は保険情報であり、ここでは、保険情報のファイル名を示している。属性「保険条件」は、保険条件を示している。
　なお、図６（ａ）、図６（ｂ）、および図７においては、出力条件、着目条件、および保険条件を、それぞれ自然言語で表しているが、これらの条件は、例えば、これらの自然言語に相当する一以上の関数や、メソッド名や、「ｉｆ」、「ｔｈｅｎ」等で示される制御構文等で構成されていてもよい。また、これらの条件は、これらの自然言語に対応する判断処理等を行うためのアルゴリズムであってもよい。
　ウェブ会議が開始されると、４つのユーザ端末２ａ－２ｄが、サーバ１に、それぞれが撮影した時系列の画像である動画像およびそれぞれが取得した音声を、自端末の端末識別子と対応付けて順次送信する。
　ここで、例えば、情報取得部１０２が、バイタル情報を取得する時期になった、と判断したとする。例えば、情報取得部１０２は、画像の受信開始から一定の時間が経過するごとに、バイタル情報を取得する処理を行っており、前回のバイタル情報を取得する時期から、予め決められた時間が経過したとする。
　情報取得部１０２は、まず、図５に示した特定情報管理表を用いて、現在ウェブ会議に参加している４台のユーザ端末２のうち、バイタル情報の取得の対象となるユーザ端末２を検出する。例えば、情報取得部１０２は、図５に示した特定情報管理表の、「端末ＩＤ」の値が、ウェブ会議に参加しているユーザ端末２に対応する端末識別子が「Ｕ００１」から「Ｕ００４」のいずれかであるレコード（行）において、「指定」の値が、バイタル情報の取得対象であることを示す値「１」であるレコードを検出し、検出したレコードの「端末ＩＤ」の値である端末識別子を、バイタル情報の取得対象となるユーザ端末２の端末識別子として取得する。ここでは、端末識別子「Ｕ００３」および「Ｕ００４」が取得されたとする。
　なお、対応する「指定」の値が「０」としたユーザ端末２が送信する画像からバイタル情報を取得しないようにすることで、例えば、バイタル情報に対応した情報の送信先以外のユーザのうちの、予め決められたユーザを、バイタル情報の取得対象から除外することができる。これにより、例えば、ユーザの意思を尊重して、バイタル情報を取得するか否かを設定したり、ユーザの状態を観察する必要があるユーザから選択的にバイタル情報を取得したりすることができる。
　次に、情報取得部１０２は、取得した端末識別子のうちの１番目の端末識別子「Ｕ００３」を取り出し、端末識別子「Ｕ００３」と対応付けられて送信される画像から、バイタル情報を取得する。例えば、バイタル情報を取得する時期から、一定時間経過するまでに送信された画像からバイタル情報を取得する。なお、取得した端末識別子から、端末識別子を取り出す順番は、どのように割り当ててもよい。
　例えば、情報取得部１０２は、予め決められたバイタル情報として、ここでは、脈拍数と、心拍数と、ＬＦ／ＨＦの値とを取得する。例えば、情報受信部１００が受信した予め決められた長さの動画像において、ユーザが撮影されている領域である人物領域を検出し、この人物領域から上記の３種類のバイタル情報を取得する。例えば、取得した脈拍数がｘ１１０、心拍数がｘ２１０、ＬＦ／ＨＦの値がｘ３１０であったとする。また、これらの値を取得した時刻はｔ６であったとする。なお、ｘ１１０、ｘ２１０、ｘ３１０、ｔ６等はそれぞれ特定の値であるとする。
　蓄積部１０８は、上記で情報取得部１０２が取得した各バイタル情報を、各バイタル情報の種類名と、端末識別子「Ｕ００３」と、取得時刻と対応付けて、バイタル情報格納部１０９に蓄積する。また、ここでは、さらに、バイタル情報を取得する際に利用した画像（ここでは、動画像の一部）を切り出したファイル「００３５．ｍｐ４」を、バイタル情報と対応付けて、バイタル情報格納部１０９に蓄積する。
　図８は、バイタル情報格納部１０９に蓄積されたバイタル情報を管理するバイタル情報管理表である。バイタル情報格納部１０９は、「時刻」、「端末ＩＤ」、「脈拍数」、「心拍数」、「ＬＦ／ＨＦ」、および「画像」という属性を有している。「時刻」はバイタル情報を取得した時刻であり、ｔ１、ｔ２等は異なる特定の時刻であるとする。「端末ＩＤ」は端末識別子である。「脈拍数」は脈拍数、「心拍数」は心拍数、「ＬＦ／ＨＦ」はＬＦ／ＨＦの値であり、これらの３つが、情報取得部１０２が取得したバイタル情報である。「画像」は、バイタル情報を取得した画像のファイルのファイル名である。この画像は、例えば、バイタル情報を取得するために利用した予め決められた長さの動画像のファイルである。
　次に、判断部１０５は、上記で情報取得部１０２が１番目の端末識別子「Ｕ００３」について取得したバイタル情報が、出力条件に合致するか判断する。具体的には、判断部１０５は、図６（ａ）に示した出力条件格納部１０３に格納された出力条件を管理する出力条件管理表の各レコード（行）の「出力条件」が示す出力条件に、上記で取得したバイタル情報が合致するか判断する。そして、合致する場合、同じレコードの「出力バイタルＩＤ」が示す種類のバイタル情報に対応する情報を送信することを決定する。
　まず、判断部１０５は、図６（ａ）に示した出力条件管理表の上から１番目のレコード（行）の「出力条件」の値「１分当たりの脈拍数がＸ１回以上である」を読み出し、上記で取得したバイタル情報がこの出力条件に合致するか、具体的には、上記で取得したバイタル情報の一つである脈拍数ｘ１１０が、Ｘ１回以上であるか判断する。ここでは、ｘ１１０が、Ｘ１以上の値であったとすると、判断部１０５は、この出力条件に合致すると判断し、取得したバイタル情報である脈拍数ｘ１１０に対応する情報を送信することを決定する。
　また、図６（ａ）に示した出力条件管理表の上から２番目のレコード（行）の「出力条件」の値「１分当たりの呼吸数がＸ２回以上である」を読み出し、上記で取得したバイタル情報の一つである呼吸数ｘ２１０が、Ｘ２回以上であるか判断する。ここでは、ｘ２回以上でないため、この呼吸数ｘ２１０に対応する情報を送信しないことを決定する。
　また、図６（ａ）に示した出力条件管理表の上から３番目のレコード（行）の「出力条件」の値「ＬＦ／ＨＦの値がＸ３以上である」を読み出し、上記で取得したバイタル情報の一つであるＬＦ／ＨＦの値ｘ３１０が、Ｘ３回以上であるか判断する。ここでは、ｘ３回以上であるため、この呼吸数ｘ３１０に対応する情報を送信することを決定する。
　そして、対応する情報を送信することを決定したバイタル情報である脈拍数ｘ１０１と、ＬＦ／ＨＦの値ｘ３０１とを、端末識別子「Ｕ００３」と対応付けて、メモリ等の格納部（図示せず）等に一時記憶する。
　次に、構成部１０６は、上記で情報取得部１０２が取得したバイタル情報が、着目条件格納部１０４に格納された着目条件に合致するか判断する。具体的には、構成部１０６は、図６（ｂ）に示した着目条件管理表で管理される着目条件「呼吸数が２４回／分以上、または、ＬＦ／ＨＦの値がＸ４以上である」を読み出し、この着目条件に上記で取得したバイタル情報が合致するか判断する。例えば、構成部１０６は、まず、上記で取得したバイタル情報のうちの呼吸数ｘ２１０が、２４回以上であるか判断し、２４回以上であれば、条件に合致すると判断する。ここでは、２４回以上でなく、この条件に合致しないとする。この場合、さらに、上記で取得したバイタル情報のうちのＬＦ／ＨＦの値ｘ３１０が、Ｘ４以上であるか判断し、Ｘ４以上であればこの条件に合致すると判断する。ここでは、Ｘ４以上であったとすると、ＬＦ／ＨＦの値がＸ４以上であるという条件に合致するため、構成部１０６は、取得したバイタル情報が着目条件に合致すると判断する。このため、構成部１０６は、端末識別子「Ｕ００３」が識別するユーザ端末２から受信した画像を含むユーザ領域を、他のユーザ領域に対して視覚的に区別可能な画面画像を構成することを決定する。そして、端末識別子「Ｕ００３」を、対応するユーザ領域を視覚的に区別可能なユーザ領域とする端末識別子として、メモリ等の格納部（図示せず）等に一時記憶する。
　次に、保険情報取得部１１１は、提案格納部１１０に格納されている各提案情報が有する保険条件に、上記で情報取得部１０２が取得したバイタル情報が合致するか判断する。そして、合致する保険条件を有する提案情報の保険情報を、取得したバイタル情報に対応するユーザ端末２に送信する保険情報に決定する。
　例えば、保険情報取得部１１１は、まず、図７（ａ）に示した提案情報管理表の上から１行目のレコード（行）の提案情報の「保険条件」である「ＬＦ／ＨＦの値がＸ５以上」を取得し、取得した保険条件に、上記で取得したバイタル情報が合致するか判断する。ここでは、上記で取得したバイタル情報のＬＦ／ＨＦの値ｘ３１０が、Ｘ５以上であったとすると、この保険条件を満たすため、保険情報取得部１１１は、上から１行目のレコードの提案情報の「保険情報」の値が示すファイル名が「Ｆ００１．ｈｔｍ」である保険情報を、端末識別子「Ｕ００３」が識別するユーザ端末２に送信する保険情報に決定する。そして、この保険情報のファイル名「Ｆ００１．ｈｔｍ」を、端末識別子「Ｕ００３」と対応付けた情報を、保険情報の送信を管理するための保険送信管理情報として、メモリ等の格納部（図示せず）に蓄積する。なお、既に同じ保険情報のファイル名と、端末識別子との組を有する保険送信管理情報が格納されている場合、新たな保険送信管理情報を蓄積しなくてもよく、既に蓄積されている同じ保険送信管理情報を、新たな保険送信管理情報で上書きしてもよい。
　図７（ｂ）は、格納部（図示せず）に格納されている保険送信管理情報を示す図である。保険送信管理情報は、保険情報のファイル名である「保険情報」と、端末識別子である「端末ＩＤ」という属性を有している。ここでは、既に、保険情報「Ｆ００２．ｈｔｍ」と、端末ＩＤ「Ｕ００４」とを有する情報が蓄積されており、上記の保険情報等が新たに蓄積されたものする。
　情報取得部１０２は、同様にして、バイタル情報の取得対象であるユーザ端末２のうちの、２番目以降のユーザ端末２から送信される画像についても、上記と同様にバイタル情報を順次取得し、順次取得されるバイタル情報について、判断部１０５、構成部１０６、および保険情報取得部１１１等が、上記と同様の、出力条件に合致するか、着目条件に合致するか、保険情報に合致するか等の処理を行う。ここでは、端末識別子が「Ｕ００４」から受信した画像から取得されたバイタル情報について上記と同様の処理を行い、その結果、出力条件と、着目条件と、保険条件とのいずれも満たさなかったものとする。
　そして、バイタル情報の取得対象であるユーザ端末２から送信される画像についてバイタル情報等を取得する処理を行った後、構成部１０６は、判断部１０５による出力条件についての判断結果や、構成部１０６による着目条件についての判断結果に応じて、情報受信部１００が受信した画像を含むユーザ領域を有する画面画像を構成する。
　図９（ａ）－図９（ｄ）、および図１０（ａ）－図１０（ｃ）は、構成部１０６が構成する画面画像を説明するための画面画像の例を示す図である。
　例えば、情報受信部１００が、同じウェブ会議に参加している端末識別子が「Ｕ００１」－「Ｕ００４」であるユーザ端末２から、同じタイミングで、それぞれ図９（ａ）－図９（ｄ）のような画像７１－７４を受信したとすると、構成部１０６は、これらの画像７１－７４をそれぞれ含むユーザ領域１００１－１００５をタイル状に配列した図１０（ａ）に示すような画面画像１００５を構成する。なお、画像７１－７４および画面画像１００５の画像の大きさや解像度等は問わない。例えば、これらの全てが同じであってもよく、少なくとも一部が異なっていてもよい。
　そして、情報送信部１０７は、端末識別子が「Ｕ００１」－「Ｕ００４」である画像を送信した４つのユーザ端末２のうちの、図５に示した特定情報管理表により各端末識別子と対応付けられた「指定」の値が、バイタル情報の送信先であることを示す値「２」であるユーザ端末２以外のユーザ端末２に、上記で構成した画面画像を送信する。ここでは、端末識別子「Ｕ００１」に対応する「指定」の値だけが「２」であるため、情報送信部１０７は、端末識別子が「Ｕ００１」であるユーザ端末２ａを除いた、端末識別子が「Ｕ００２」－「Ｕ００４」であるユーザ端末２ｂ－２ｄに、上記で取得した画面画像１００５を送信する。また、上記で受信した音声も、画像１００５に対応付けて送信する。
　例えば、端末識別子が「Ｕ００２」であるユーザ端末２ｂが、端末受信部（図示せず）によりこの画面画像１００５および音声を受信すると、端末表示部（図示せず）がこの画面画像１００５をユーザ端末２が有するモニタに表示する。また、音声出力部（図示せず）が受信した音声を出力する。
　図１１（ａ）は、ユーザ端末２ｂによる画面画像１００５の表示例を示す図である。なお、ユーザ端末２ｃおよび２ｄも同様の画面画像１００５を表示する。
　また、ここでは、端末識別子が「Ｕ００３」であるユーザ端末２ｃが受信した画像から取得したバイタル情報が、上記のように１以上の出力条件に合致しており、バイタル情報である脈拍数ｘ１１０と、ＬＦ／ＨＦの値ｘ３１０とが、端末識別子「Ｕ００３」と対応付けられて、メモリ等の格納部（図示せず）等に一時記憶されているため、構成部１０６は、これらの情報を読み出して、上記で構成した図１０（ａ）に示すような画面画像１００５の、端末識別子「Ｕ００３」に対応するユーザ領域１００３に、バイタル情報である脈拍数ｘ１１０と、ＬＦ／ＨＦの値ｘ３１０と、を配置する。ここでは、バイタル情報を取得する元となった画像に対応する態様として、ユーザ領域内の画像の、人物領域の横に読み出したバイタル情報を配置する。なお、出力条件に合致するバイタル情報が、端末識別子が「Ｕ００３」であるユーザ端末２ｃが送信した画像から取得できなかった場合、ユーザ領域１００３に上記のようなバイタル情報は配置されない。
　また、ここでは、端末識別子が「Ｕ００３」であるユーザ端末２が受信した画像から取得したバイタル情報が、上記のように着目条件に合致しており、端末識別子「Ｕ００３」を、対応するユーザ領域を視覚的に区別可能なユーザ領域とする端末識別子として、メモリ等の格納部（図示せず）等に一時記憶しているため、構成部１０６は、この端末識別子を読み出して、上記で構成した図１０（ｂ）に示すような画面画像１００５の、端末識別子「Ｕ００３」に対応するユーザ領域１００３を、視覚的に他のユーザ領域と区別可能なユーザ領域となるよう画面画像を変更する。図１０（ｃ）に示すように、ここでは、ユーザ領域１００３に強調表示（例えば、ハイライトカラーの枠線を配置）した枠５０を配置した画面画像１００５に変更する。なお、着目条件に合致するバイタル情報が、端末識別子が「Ｕ００３」であるユーザ端末２ｃが送信した画像から取得できなかった場合、ユーザ領域１００３は、上記のように視覚的に区別可能となるよう変更されない。
　そして、上記で構成した図１０（ｃ）に示したような画面画像１００５ａと音声とを、図５に示した特定情報管理表により端末識別子と対応付けられた「指定」の値が「２」である端末識別子が「Ｕ００１」であるユーザ端末２ａに送信する。
　このユーザ端末２ａの端末受信部（図示せず）が、図１０（ｃ）に示したような画面画像１００５ａと音声を受信すると、端末表示部（図示せず）が受信した画面画像１００５ａをモニタに表示する。また、音声出力部（図示せず）が、受信した音声を出力する。
　図１１（ｂ）は、端末識別子が「Ｕ００１」であるユーザ端末２ａによる画面画像１００５ａの表示例を示す図である。
　図１１（ｂ）に示すように、予め決められたユーザ端末２ａに表示される画面画像において、バイタル情報に応じて、他のユーザ端末２のユーザのユーザ領域が視覚的に識別可能に示されるため、例えば、ユーザ端末２ａのユーザは、ウェブ会議の他のユーザの状態に応じて適切な対応を行うことが可能である。例えば、体調の悪いユーザに注意を払うことが可能となる。
　また、ウェブ会議システム１０００を利用して講義等を行っている場合、予め決められたユーザ端末２ａを利用する講師が、視覚的に識別可能に表示されるユーザ領域を参照して、例えば、状態が好ましくないユーザを、できるだけ指名したりしないようにすることができる。
　なお、バイタル情報を取得する時期以外やバイタル情報の取得中等において情報受信部１００が受信した画像についても、構成部１０６が上記と同様に、各ユーザ端末２が送信する画像をタイル状に配列した画面画像を構成して、情報送信部１０７が、端末識別子が「Ｕ００２」－「Ｕ００４」であるユーザ端末２ｂ－２ｄにこの画面画像を送信する。また、端末識別子が「Ｕ００１」であるユーザ端末２ａに送信する画面画像としては、一のユーザ端末２が送信した画像から直近に取得したバイタル情報が、出力条件に合致していた場合には、構成部１０６は、上記と同様に構成した各ユーザ端末２が送信する画像をタイル状に配列した画面画像の、この画像を含むユーザ領域にバイタル情報を配置した画面画像を、ユーザ端末２ａに送信し、一のユーザ端末２が送信した画像から直近に取得したバイタル情報が、着目条件に合致していた場合には、構成部１０６は、上記と同様に構成した各ユーザ端末２が送信する画像をタイル状に配列した画面画像の、この画像を含むユーザ領域を視覚的に識別可能とした画面画像を、ユーザ端末２ａに送信する。また、一のユーザ端末２が送信した画像から直近に取得したバイタル情報が、出力条件および着目条件のいずれとも合致していない場合には、ユーザ端末２ｂ－２ｄに送信した画面画像と同じ画面画像をユーザ端末２ａに送信する。
　ここで、ユーザ端末２ａ等から送信される指示等に応じて、サーバ１が上記のウェブ会議を終了したとすると、保険情報取得部１１１は、バイタル情報に応じて取得した保険情報の送信先があるか判断する。具体的には、バイタル情報に応じて取得した保険情報の送信先となるユーザ端末２の端末識別子を有する保険送信管理情報が、格納部（図示せず）に格納されているか判断する。ここでは、図７（ｂ）に示すように、２つの保険送信管理情報が格納部に格納されているため、保険情報の送信先があると判断する。このため、保険情報取得部１１１は、図７（ｂ）に示す２つの保険情報管理情報から、それぞれ、保険情報のファイル名と、保険情報の送信先となる端末識別子との組を読み出し、読み出した組ごとに、ファイル名が示す保険情報を提案格納部１１０から取得して、対応する端末識別子に送信する。
　例えば、保険情報取得部１１１は、図７（ｂ）に示す上から１番目のレコードから、「保険情報」の値であるファイル名「Ｆ００２．ｈｔｍ」と、「端末ＩＤ」の値「Ｕ００３」とを取得し、ファイル名が「Ｆ００２．ｈｔｍ」である保険情報のファイルを、提案格納部１１０から読み出して、端末識別子が「Ｕ００３」であるユーザ端末２ｃに送信する。
　端末識別子が「Ｕ００３」であるユーザ端末２ｃの端末受信部（図示せず）が、ファイル名が「Ｆ００２．ｈｔｍ」である保険情報のファイルを受信すると、端末表示部（図示せず）が、この保険情報を、モニタに表示する。
　図１２（ａ）は、ユーザ端末２ｂが表示する保険情報の表示例を示す図である。ここでは、例えば、がん保険についての情報がユーザ端末２ｃのモニタに表示されるものとする。
　また、例えば、保険情報取得部１１１は、図７（ｂ）に示す上から２番目のレコードから、「保険情報」の値であるファイル名「Ｆ００１．ｈｔｍ」と、「端末ＩＤ」の値「Ｕ００４」とを取得し、ファイル名が「Ｆ００１．ｈｔｍ」である保険情報のファイルを、提案格納部１１０から読み出して、端末識別子が「Ｕ００４」であるユーザ端末２ｄに送信する。
　端末識別子が「Ｕ００４」であるユーザ端末２ｃの端末受信部（図示せず）が、ファイル名が「Ｆ００１．ｈｔｍ」である保険情報のファイルを受信すると、端末表示部（図示せず）が、この保険情報を、モニタに表示する。
　図１２（ｂ）は、ユーザ端末２ｄが表示する保険情報の表示例を示す図である。ここでは、例えば、医療保険についての情報がユーザ端末２ｄのモニタに表示されるものとする。
　以上、本実施の形態によれば、ユーザ端末から送信された画像から取得したバイタル情報に対応する情報を送信することにより、ウェブ会議に参加しているユーザの状態を容易に把握できる。
　（実施の形態２）
　本実施の形態において、ウェブ会議中の１以上の各ユーザのバイタル情報を取得し、当該バイタル情報とウェブ会議における画像とを対応付けて蓄積する情報処理装置について説明する。
　また、本実施の形態において、ウェブ会議中のユーザの発話を音声認識し、取得されたテキストである会話テキストもバイタル情報に対応付けて蓄積する情報処理装置について説明する。なお、会話テキストは、通常、発話したユーザのユーザ識別子に対応付けられて蓄積される。
　また、本実施の形態において、ユーザの発話の通訳の音声情報、または当該音声情報を音声認識した通訳テキストもバイタル情報に対応付けて蓄積する情報処理装置について説明する。
　また、本実施の形態において、通訳者の通訳を聞くユーザのバイタル情報を用いて、通訳者の評価を行う情報処理装置について説明する。なお、かかる評価は、例えば、通訳の原言語の発話を聞くユーザのバイタル情報と、目的言語の通訳の結果を聞くユーザのバイタル情報との比較に基づく。
　また、本実施の形態において、発話者の発話を聞いたユーザのバイタル情報が着目条件を満たす場合に、発話者のユーザ識別子と、発話の聞き手のユーザのユーザ識別子とを対応付ける情報処理装置について説明する。
　また、本実施の形態において、１または２以上のユーザのバイタル情報を統計処理し、処理結果を出力する情報処理装置について説明する。なお、統計処理は、例えば、ユーザごとのバイタル情報の統計処理、ユーザ属性値ごとのバイタル情報の統計処理、ウェブ会議全体のバイタル情報の統計処理である。
　また、本実施の形態において、着目条件を満たすバイタル情報が取得された画像を含むユーザ領域が他のユーザ領域と視覚的に異なるような画面画像を出力する情報処理装置について説明する。
　さらに、本実施の形態において、バイタル情報やテキストや統計処理の結果を用いて、ウェブ会議における画像の検索が可能な情報処理装置について説明する。
　なお、本実施の形態において、情報Ｘが情報Ｙに対応付いていることは、情報Ｘから情報Ｙを取得できること、または情報Ｙから情報Ｘを取得できることであり、その対応付けの方法は問わない。情報Ｘと情報Ｙとがリンク付いていても良いし、同じバッファに存在していても良いし、情報Ｘが情報Ｙに含まれていても良いし、情報Ｙが情報Ｘに含まれている等でも良い。
　図１３は、本実施の形態における情報システム２０００の概念図である。情報システム２０００は、情報処理装置３、２以上のユーザ端末４、および１または２以上の通訳者端末５を備える。
　情報処理装置３は、２以上のユーザによるウェブ会議を支援するための装置である。情報処理装置３は、ウェブ会議における１または２以上のユーザ端末４から送信された画像、とユーザのバイタル情報とを対応付けて蓄積する。情報処理装置３は、ウェブ会議の機能を有することは好適であるが、ウェブ会議の機能を有さなくても良い。ウェブ会議の機能とは、例えば、Zoom、Teams（登録商標）が有する機能である。
　ここでのウェブ会議は、ネットワークを介して接続された複数の端末を利用して行われるセミナー、授業、医者による１または２以上の患者の診察等も含む概念である。なお、ウェブ会議の内容は問わない。情報処理装置３は、サーバ１の機能の全部または一部を実現できることは好適である。
　実施の形態１において、サーバ１は、画像からバイタル情報を取得する処理を行ったが、ウェブ会議システム１０００や情報システム２０００において、ユーザ端末２やユーザ端末４がウェブ会議における画像からバイタル情報を取得しても良い。かかる場合、サーバ１、情報処理装置３は、ユーザ端末２またはユーザ端末４から、画像に対応付けて、バイタル情報を受信する。ユーザ端末２やユーザ端末４は、センサ（例えば、心拍センサ、血圧センサ等）が取得した１または２種類以上のバイタル情報をサーバ１または情報処理装置３に送信しても良い。
　情報処理装置３は、いわゆるサーバである。情報処理装置３は、例えば、クラウドサーバやＡＳＰサーバであるが、その種類は問わない。
　ユーザ端末４は、ウェブ会議に参加するユーザが使用する端末である。通訳者端末５は、ユーザの発話を翻訳する通訳者が使用する端末である。通訳者は、通常、人であるが、音声翻訳を行う装置でも良い。なお、かかる翻訳は、同時通訳であることは好適である。ユーザ端末４、および通訳者端末５は、例えば、いわゆるパソコン、タブレット端末。スマートフォンであるが、その種類は問わない。
　情報処理装置３と２以上の各ユーザ端末４、および情報処理装置３と１または２以上の各通訳者端末５とは、インターネットやＬＡＮ等のネットワークにより、通信可能である。
　図１４は、本実施の形態における情報システム２０００のブロック図である。図１５は、情報処理装置３のブロック図である。
　情報処理装置３は、格納部３１、受信部３２、処理部３３、および出力部３４を備える。
　格納部３１は、情報格納部３１１を備える。受信部３２は、情報受信部３２１、通訳情報受信部３２２、および検索受付部３２３を備える。処理部３３は、バイタル取得部３３０、テキスト取得部３３１、通訳情報取得部３３２、判断部３３３、関係検出部３３４、蓄積画像取得部３３５、蓄積部３３６、通訳評価部３３８、統計処理部３３７、および検索部３３９を備える。出力部３４は、画面出力部３４１、関係出力部３４２、評価出力部３４３、および結果出力部３４４を備える。
　ユーザ端末４は、ユーザ格納部４１、ユーザ受付部４２、ユーザ処理部４３、ユーザ送信部４４、ユーザ受信部４５、およびユーザ出力部４６を備える。
　通訳者端末５は、通訳者格納部５１、通訳者受信部５２、通訳者処理部５３、通訳者出力部５４、通訳者受付部５５、および通訳者送信部５６を備える。
　情報処理装置３を構成する格納部３１には、各種の情報が格納される。各種の情報は、例えば、特定情報、各種の条件、情報格納部３１１に格納される情報である。各種の条件は、例えば、１または２以上の着目条件、１または２以上の出力条件、１または２以上の減点条件である。
　減点条件とは、通訳者の評価を減じるための条件である。減点条件は、通訳者の通訳音声を聞くユーザのバイタル情報に基づく条件である。減点条件は、例えば、通訳者の通訳音声を聞くユーザのバイタル情報と、ユーザの人数または割合いとに関する条件である。減点条件は、例えば、「心拍数が閾値以上（例えば、不快な感情を抱いている）であるユーザが存在すること」「心拍数が第一閾値以上であるユーザ数が第二閾値以上であること」「心拍数が第一閾値未満（寝ている）であるユーザが存在すること」「心拍数が第一閾値未満であるユーザの割合いが第二閾値以上であること」である。
　情報格納部３１１には、各種の情報が格納される。各種の情報は、蓄積画像、バイタル情報、音声情報、会話テキスト、通訳音声情報、通訳テキストである。蓄積画像は、２以上の各ユーザ端末４から受信された画像のうちの１または２以上の画像、または２以上の各ユーザ端末４から受信された２以上の画像に基づく画像を含む。２以上の画像に基づく画像は、例えば、２以上の画像を合成した画像である。蓄積画像は、２以上の各ユーザ端末４から受信された画像のうちの１または２以上の画像、および２以上の各ユーザ端末４から受信された２以上の画像に基づく画像であっても良い。なお、画像は、動画像であっても静止画像であってもよい。情報格納部３１１の蓄積画像は、通常、時系列の画像である。時系列の画像は、例えば、動画像であってもよく、時系列に沿って送信される複数の静止画像であってもよい。
　蓄積画像には、付加情報が対応付いていることは好適である。蓄積画像と、当該蓄積画像に対応付く付加情報は、各々、概ね同じ時に取得された情報である。なお、付加情報とは、ウェブ会議における付加的な情報である。付加情報は、バイタル情報、バイタル情報の処理結果、会話テキスト、通訳音声情報、通訳テキストのうちの１または２以上の情報である。バイタル情報の処理結果は、バイタル情報を解析した結果を示す情報、バイタル情報の統計処理結果である。バイタル情報の処理結果は、例えば、「緊張」「ネガティブ」「ポジティブ」である。
　受信部３２は、各種の情報を受信する。各種の情報は、例えば、ユーザ情報、画像、付加情報、バイタル情報、音声情報、通訳音声情報、会話テキスト、通訳テキストである。
　情報受信部３２１は、ウェブ会議中の２以上の各ユーザの各ユーザ端末４が送信した画像を含むユーザ情報を受信する。情報受信部３２１は、例えば、ウェブ会議中の２以上の各ユーザの各ユーザ端末４から、画像を含むユーザ情報を、順次、受信する。情報受信部３２１は、例えば、ウェブ会議中の２以上の各ユーザの各ユーザ端末４から画像を受信した図示しないサーバから、ユーザ情報を受信しても良い。情報受信部３２１は、通常、ユーザ識別子に対応付けてユーザ情報を受信する。かかるユーザ識別子は、ユーザ情報を送信したユーザ端末４のユーザの識別子である。
　ユーザ情報は、通常、音声情報も含む。音声情報は、ユーザがウェブ会議中に発話した音声の情報である。ユーザ情報は、例えば、ユーザ端末４で取得されたバイタル情報を含む。ユーザ情報は、例えば、ユーザの発話に基づく音声情報に対して音声認識処理が行われて取得された会話テキストを含む。
　バイタル情報は、上述した通りであるが、呼吸、体温、血圧、意識レベル、心拍変動、交感神経、副交感神経、またはＬＦ（低周波）／ＨＦ（高周波）のうちの１以上の情報であることは好適である。
　通訳情報受信部３２２は、ウェブ会議中のユーザの発話に対する通訳音声情報または通訳音声情報から取得された通訳テキストである通訳情報を受信する。通訳情報受信部３２２は、通訳音声情報と通訳テキストとを含む通訳情報を受信しても良い。通訳情報受信部３２２は、通常、１または２以上の各通訳者端末５から通訳情報を受信する。
　検索受付部３２３は、検索条件を受け付ける。検索受付部３２３は、通常、ユーザ端末４から検索条件を受け付ける。検索条件は、例えば、画像を検索するための条件である。検索条件は、例えば、バイタル情報、音声情報、会話テキスト、通訳テキストを検索するための条件でも良い。検索条件は、通常、付加情報に関する情報である。
　ここでは、受け付けとは、通常、有線もしくは無線の通信回線を介して送信された情報の受信であるが、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念であっても良い。
　処理部３３は、各種の処理を行う。各種の処理は、例えば、バイタル取得部３３０、テキスト取得部３３１、通訳情報取得部３３２、蓄積部３３６、判断部３３３、関係検出部３３４、蓄積画像取得部３３５、通訳評価部３３８、統計処理部３３７、検索部３３９が行う処理である。
　バイタル取得部３３０は、ウェブ会議を行う２以上のユーザ中の１以上の各ユーザのバイタル情報を取得する。バイタル取得部３３０は、通常、ユーザ識別子に対応付けて、当該ユーザ識別子で識別されるユーザの１以上のバイタル情報を取得する。
　バイタル取得部３３０は、通常、画像に対応付けて、１以上のバイタル情報を取得する。かかる１以上のバイタル情報は、例えば、対応付く画像から取得されたバイタル情報、または対応付く画像が撮影された時に取得されたバイタル情報である。画像が撮影された時とバイタル情報が発生した時は一致することが好適であるが、多少のずれがあっても良い。なお、多少のずれの間隔は問わない。
　バイタル取得部３３０は、例えば、ユーザ端末４から受信されたユーザ情報に含まれるバイタル情報を取得する。かかるバイタル情報は、ユーザ端末４が取得したバイタル情報である。ユーザ端末４からバイタル情報が受信される場合、ユーザ端末４は画像に含まれるユーザの人物領域から取得した１以上のバイタル情報を送信しても良いし、センサが取得した１以上のバイタル情報を送信しても良い。
　バイタル取得部３３０は、例えば、１以上の各ユーザ端末４から受信されたユーザ情報に含まれる画像に含まれるユーザの人物領域から、ユーザの１以上のバイタル情報を取得しても良い。かかる処理は、情報取得部１０２の処理と同様である。
　テキスト取得部３３１は、音声情報から取得される会話テキストを取得する。テキスト取得部３３１は、通常、ユーザ識別子に対応付けて、会話テキストを取得する。かかるユーザ識別子は、音声情報の元になった発話を行ったユーザの識別子である。テキスト取得部３３１は、通常、画像や音声情報に対応付けて、会話テキストを取得する。
　テキスト取得部３３１は、例えば、受信された音声情報に対して音声認識処理を行い、会話テキストを取得する。
　テキスト取得部３３１は、例えば、ユーザ端末４から受信されたユーザ情報に含まれる会話テキストを取得する。かかる場合、ユーザ端末４が、通常、ユーザの発話に対応する音声情報を取得し、当該音声情報に対して音声認識処理を行い、会話テキストを取得し、当該会話テキストを情報処理装置３に送信する。
　通訳情報取得部３３２は、通訳情報を取得する。通訳情報とは、通訳音声情報、通訳テキストのうちの１または２種類の情報である。通訳音声情報とは、ユーザの発話に対する通訳の結果の音声情報である。通訳音声情報は、通常、通訳者端末５から送信される情報である。
　通訳情報取得部３３２は、通訳情報受信部３２２が受信した通訳音声情報を取得する。通訳情報取得部３３２は、例えば、取得した通訳音声情報に対して音声認識処理を行って、通訳テキストを取得するが、通訳情報受信部３２２が受信した通訳テキストを取得しても良い。つまり、通訳音声情報に対する音声認識処理は、通訳情報取得部３３２が行っても良いし、通訳者端末５が行っても良い。
　通訳情報取得部３３２が取得する通訳情報は、通常、画像や音声情報に対応付いている。かかる画像は、通訳情報の元になった音声情報と同じタイミングで取得された画像である。なお、同じタイミングとは、完全に一致するタイミングであることは好適であるが、完全に一致するタイミングでなくても良い。
　判断部３３３は、バイタル取得部３３０が取得したバイタル情報が、着目条件に合致するか否かを判断する。
　判断部３３３は、例えば、ユーザが発話していないタイミングにおける当該ユーザのバイタル情報が、着目条件に合致するか否かを判断する。
　着目条件とは、ユーザの１以上のバイタル情報に関する条件である。着目条件は、例えば、関係情報を取得するための条件である。着目条件は、例えば、ユーザに対応するユーザ領域を、他のユーザ領域に対して視覚的に区別可能とした画面画像を構成するか判断するための条件である。
　なお、画面画像とは、ユーザ端末４の画面に出力される画像である。画面画像は、ユーザ端末４の画面に出力される画像を構成するための情報でも良い。画面画像は、蓄積画像と同じであることは好適であるが、異なる画像であっても良い。画面画像は、例えば、２以上のユーザ領域をタイル状に配列した画像である。画面画像は、例えば、情報受信部３２１が２以上のユーザ端末４からそれぞれ受信されるすべての画像をタイル状に配列した画像であっても良いし、特定のユーザ（例えば、診察を行う医師）のユーザ端末４から受信される画像を除いた１以上の画像を配列した画像等であっても良い。
　関係検出部３３４は、判断部３３３が着目条件に合致すると判断したバイタル情報に対する第一ユーザ識別子と、当該タイミングにおける発話者の第二ユーザ識別子とを対応付ける関係情報を取得する。当該タイミングとは、バイタル情報が取得されたタイミングである。
　なお、かかる着目条件は、例えば、１または２種類以上のバイタル情報がネガティブな感情であると推定されるバイタル情報であることを判断するための条件である。かかる着目条件は、例えば、「脈拍数が閾値以上または閾値より多い」「血圧が閾値以上または閾値より高い」「ＬＦ／ＨＦが閾値以上または閾値よりおお大きい」である。
　関係検出部３３４は、例えば、判断部３３３が着目条件に合致すると判断したバイタル情報と対になるユーザ識別子である１または２以上の第一ユーザ識別子を取得する。また、関係検出部３３４は、例えば、当該バイタル情報と対になる音声情報に対応するユーザ識別子を第二ユーザ識別子として取得する。そして、関係検出部３３４は、例えば、第一ユーザ識別子と第二ユーザ識別子とを対応付ける関係情報を構成する。なお、関係情報は、例えば、1以上の第一ユーザ識別子と第二ユーザ識別子とを有する。
　着目条件がネガティブな感情であると推定されるバイタル情報を特定する条件である場合、当該関係情報は不良な関係である二人のユーザを特定する情報である。かかる状況を確認し、例えば、当該二人のユーザを同じプロジェクトに配属しないようにする、といったことが可能になる。着目条件がポジティブな感情であると推定されるバイタル情報を特定する条件である場合、当該関係情報は良好な関係である二人のユーザを特定する情報である。かかる状況を確認し、例えば、当該二人のユーザを同じチームで仕事をさせるようにする、といったことが可能になる。
　蓄積画像取得部３３５は、蓄積画像を取得する。蓄積画像とは、バイタル情報に対応付けて蓄積される画像である。蓄積画像は、通常、Ｗｅｂ会議中にユーザ端末４で出力される画面画像である。ただし、蓄積画像は、２以上の各ユーザ端末４から受信された画像でも良い。蓄積画像は、画面画像と２以上の各ユーザ端末４から受信された画像の両方でも良い。
　蓄積画像取得部３３５は、例えば、２以上の各ユーザ端末４から受信された画像に基づく画像である画面画像を取得する。蓄積画像取得部３３５は、例えば、２以上の各ユーザ端末４から受信された画像を取得する。
　蓄積部３３６は、バイタル取得部３３０が取得した１以上の各ユーザのバイタル情報と、蓄積画像取得部３３５が取得した蓄積画像とを、対応付けて蓄積する。バイタル情報と蓄積画像との対応付けは、通常、各々、同様のタイミングにおけるバイタル情報と蓄積画像との対応付けである。同様のタイミングとは、一致するタイミングであることは好適であるが、少しのずれは許容するものとする。
　蓄積部３３６は、通常、バイタル取得部３３０が取得したバイタル情報を、情報受信部３２１が受信した時系列の画像であって、当該バイタル情報の取得に利用した期間内の時系列の画像と対応付けて蓄積する。
　蓄積部３３６は、例えば、テキスト取得部３３１が取得した会話テキストを蓄積画像に対応付けて蓄積する。なお、対応付く会話テキストと蓄積画像とは、各々、同様のタイミングで発話された音声と撮影された画像に基づく。
　蓄積部３３６は、例えば、１または２以上の各会話テキストをユーザ識別子に対応付けて蓄積する。ここでのユーザ識別子は、当該会話テキストの元になる音声を発話をしたユーザの識別子である。
　蓄積部３３６は、例えば、通訳情報取得部３３２が取得した通訳情報を蓄積画像に対応付けて蓄積する。通訳情報は、通訳音声情報または通訳テキストのうちの１種類以上の情報である。対応付く通訳情報と蓄積画像とは、各々、同様のタイミングで発話された会話に対する通訳と撮影された画像に基づく。
　統計処理部３３７は、１以上のユーザのバイタル情報を統計処理し、処理結果を取得する。
　統計処理部３３７は、ユーザ識別子ごと、またはユーザ識別子と対になるユーザ属性値ごとに、バイタル情報を統計処理し、処理結果を取得する。なお、ユーザ属性値ごととは、ユーザ属性値の条件ごと、と言っても良い。統計処理部３３７は、ウェブ会議全体のバイタル情報を統計処理し、処理結果を取得しても良い。
　統計処理部３３７は、例えば、１以上の各ユーザ識別子と対になるバイタル情報（例えば、血圧、脈拍数）の集合を取得する。次に、統計処理部３３７は、例えば、１以上の各ユーザ識別子ごとに、バイタル情報の集合の代表値を取得する。なお、代表値は、例えば、平均値、中央値、最低値、最高値である。
　統計処理部３３７は、例えば、ユーザ識別子と対になるユーザ属性値ごと（例えば、「男性」「女性」）に、当該ユーザ属性値対になるバイタル情報（例えば、血圧、脈拍数）の集合を取得する。次に、統計処理部３３７は、例えば、１以上の各ユーザ属性値ごとに、バイタル情報の集合の代表値を取得する。なお、代表値は、例えば、平均値、中央値、最低値、最高値である。また、ユーザ属性値は、例えば、性別、目的言語が原言語か、年齢、年齢層、部署である。
　通訳評価部３３８は、通訳の音声を聞く１以上の各ユーザのバイタル情報を用いて、通訳者の評価を示す評価情報を取得する。なお、通訳者は、通常、同時通訳者である。ただし、通訳者は、音声翻訳を行う図示しない装置でも良い。
　通訳評価部３３８は、例えば、通訳の対象の発話の言語である原言語に対応する１以上の各ユーザの時系列のバイタル情報を取得する。次に、通訳評価部３３８は、例えば、単位期間（例えば、５秒、１分）ごとに、１以上の各ユーザのバイタル情報の集合が減点条件に合致するか否かを判断する。次に、通訳評価部３３８は、例えば、減点条件に合致する単位期間の数を取得する。次に、通訳評価部３３８は、例えば、減点条件に合致する単位期間の数が多いほど、低い評価を示す評価情報を取得する。通訳評価部３３８は、例えば、減点条件に合致する単位期間の数をパラメータとする減少関数により、評価情報を算出する。
　なお、減点条件は、例えば、「一の単位期間における血圧と平常時（例えば、ウェブ会議の開始時）の血圧との差異の平均値が第一閾値以上であるユーザの割合いが第二閾値以上であること」「一の単位期間における脈拍数と平常時（例えば、ウェブ会議の開始時）の脈拍数との差異の平均値が第一閾値以上であるユーザの割合いが第二閾値以上であること」「脈拍数が第一閾値以下のユーザが第二閾値の割合い以上、存在すること」である。
　通訳評価部３３８は、通訳の対象の発話の言語である原言語に対応する１以上のユーザのバイタル情報と、通訳の目的言語に対応する１以上のユーザのバイタル情報とを用いて、評価情報を取得する。
　通訳評価部３３８は、例えば、一の期間での原言語に対応する１以上のユーザのバイタル情報と、当該一の期間での目的言語に対応する１以上のユーザのバイタル情報との差異に関する情報が減点条件に合致する場合に、当該一の期間の翻訳は上手くなかった、と判断する。そして、通訳評価部３３８は、例えば、減点条件に合致する期間の数を取得する。次に、通訳評価部３３８は、例えば、減点条件に合致する単位期間の数が多いほど、低い評価を示す評価情報を取得する。
　なお、減点条件は、例えば、一の期間での原言語に対応する１以上のユーザのバイタル情報（例えば、血圧、脈拍数、呼吸数）の平均値と、当該一の期間での目的言語に対応する１以上のユーザのバイタル情報（例えば、血圧、脈拍数、呼吸数）の平均値との差異が閾値以上または閾値より大きいことである。
　原言語に対応するユーザとは、発話者の発話をそのまま聞くユーザである。目的言語に対応するユーザとは、通訳された音声を聞くユーザである。
　通訳評価部３３８は、例えば、統計処理部３３７が取得した処理結果を用いて、通訳者の評価を示す評価情報を取得する。
　通訳評価部３３８は、通訳の音声を聞く１以上の各ユーザのバイタル情報に基づいて、通訳者の評価を示す評価情報を取得すれば良く、そのアルゴリズムは問わない。
　検索部３３９は、蓄積部３３６が蓄積した蓄積画像の中で、検索条件に合致する付加情報に対応付く蓄積画像を検知し、蓄積画像または蓄積画像から取得される画像を出力する。検索条件は、例えば、付加情報に関する条件、バイタル情報に関する条件、会話テキストに関する条件、通訳テキストに関する条件、またはこれらの組み合わせの条件である。
　検索部３３９は、例えば、情報格納部３１１を参照し、検索条件に合致する付加情報に対応付く蓄積画像を取得する。検索部３３９は、例えば、情報格納部３１１を参照し、検索条件に合致する付加情報に対応付く蓄積画像の中の箇所を示す情報を取得する。蓄積画像の中の箇所を示す情報は、例えば、ウェブ会議全体の画像である蓄積画像の中のオフセットである。オフセットは、動画の中の箇所を示す情報であり、例えば、時刻、フレーム数である。
　検索部３３９は、例えば、検索条件に合致する付加情報を情報格納部３１１から検索し、当該付加情報と対になる蓄積画像を取得し、当該蓄積画像を出力する。検索部３３９は、例えば、検索条件に合致する付加情報を情報格納部３１１から検索し、当該付加情報と対になる蓄積画像を取得し、当該付加情報と当該蓄積画像とを出力する。
　なお、ここでの出力とは、通常、ユーザ端末４への送信である。ただし、出力は、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念であっても良い。
　出力部３４は、各種の情報を出力する。各種の情報は、例えば、画面画像、関係情報、評価情報、処理結果である。
　なお、ここでの出力とは、通常、ユーザ端末４への送信である。ただし、出力は、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、記録媒体への蓄積、他の処理装置（例えば、通訳者端末５）や他のプログラムなどへの処理結果の引渡しなどを含む概念であっても良い。
　画面出力部３４１は、ウェブ会議中の２以上の各ユーザのユーザ領域を含む画面画像を出力する。画面出力部３４１は、蓄積画像取得部３３５が取得した画面画像を出力する。
　画面出力部３４１は、判断部３３３が着目条件に合致すると判断したバイタル情報に対応するユーザのユーザ領域を他のユーザのユーザ領域と視覚的に区別可能な態様の画面を出力することは好適である。
　画面出力部３４１は、通常、画面画像をユーザ端末４に送信する。画面出力部３４１は、画面画像を通訳者端末５に送信しても良い。
　関係出力部３４２は、関係検出部３３４が取得した関係情報を出力する。関係出力部３４２は、関係情報を、当該関係情報に対応するタイミングにおける画像またはバイタル情報に対応付けて出力する。
　ここで、関係出力部３４２は、関係情報に対応するタイミングにおける画像またはバイタル情報に対応付けて、当該関係情報を蓄積することは好適である。
　評価出力部３４３は、通訳評価部３３８が取得した評価情報を出力する。評価出力部３４３は、例えば、評価情報を通訳者端末５に送信する。評価出力部３４３は、例えば、評価情報を蓄積する。評価出力部３４３は、例えば、評価情報を通訳者識別子と対にして蓄積する。評価情報の蓄積先は、例えば、格納部３１であるが、他の装置でも良く、問わない。
　結果出力部３４４は、統計処理部３３７が取得した処理結果を出力する。処理結果の蓄積先は、例えば、格納部３１であるが、他の装置でも良く、問わない。結果出力部３４４は、例えば、統計処理部３３７が取得した処理結果を、ウェブ会議の会議識別子と対にして蓄積する。
　ユーザ端末４は、ユーザを撮影可能なカメラ（図示せず）を具備する。ユーザ端末４は、通常、音声を取得するマイク（図示せず）を具備する。
　ユーザ端末４を構成するユーザ格納部４１には、各種の情報が格納される。各種の情報は、例えば、ユーザ識別子、画像、バイタル情報、音声情報、出力条件である。
　ここでの出力条件は、ユーザ処理部４３が取得したバイタル情報を情報処理装置３に送信して良いか否かを判断するための条件である。出力条件は、例えば、ユーザ処理部４３が取得するユーザの１以上のバイタル情報に関する条件である。ユーザのバイタル情報は、例えば、ユーザ受付部４２に有するカメラが撮影した画像から取得されるこのユーザ端末４を利用するユーザのバイタル情報である。
　出力条件は、例えば、数値や指標で表されるバイタル情報についての閾値である。例えば、出力条件は、心拍数が閾値以上であるという条件や、呼吸数が閾値以上であるという条件や、ＬＦ／ＨＦが示すストレスの指標となる値が、閾値以上であるという条件である。ユーザ格納部４１には、バイタル情報の種類ごとに異なる出力条件が格納されていてもよい。ユーザ格納部４１には、例えば、１または２以上の異なるバイタル情報についての出力条件が、バイタル情報の種類を識別するバイタル識別子と対応付けて格納されていてもよい。バイタル識別子は、例えば、バイタル名や、バイタルに割り当てられたコード等であってもよい。出力条件は、複数の種類のバイタル情報についての条件の組み合わせ（例えば、ＡＮＤ条件やＯＲ条件等）であってもよい。
　ユーザ受付部４２は、各種の情報や指示等を受け付ける。各種の情報や指示等とは、例えば、検索条件である。
　各種の情報や指示等の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
　ユーザ処理部４３は、各種の処理を行う。各種の処理は、例えば、受け付けられた情報や指示等を、送信する構造の情報や指示等にする処理である。各種の処理は、例えば、受信された情報を出力する構造の情報にする処理である。
　ユーザ処理部４３は、例えば、図示しないカメラが撮影した画像に含まれるユーザの人物領域からユーザのバイタル情報を、当該画像に対応付けて取得する。かかる場合、ユーザ処理部４３は、情報取得部１０２の機能を有する。対応付く画像とバイタル情報とは、各々、同様のタイミングで取得された情報である。
　ユーザ処理部４３は、例えば、図示しないセンサが取得したユーザのバイタル情報を、当該画像に対応付けて取得する。なお、図示しないセンサは、例えば、血圧計、脈拍計、体温計である。対応付く画像とバイタル情報とは、各々、同様のタイミングで取得された情報である。
　ユーザ処理部４３は、例えば、マイクが集音したユーザの音声から音声情報を構成する。
　ユーザ処理部４３は、例えば、カメラが撮影した画像と、取得した音声情報と、取得した１または２以上のバイタル情報とを対応付ける。
　ユーザ処理部４３は、例えば、取得したバイタル情報が出力条件を満たすか否かを判断する。ユーザ処理部４３は、例えば、取得したバイタル情報が２以上のすべての出力条件を満たすか否かを判断する。ユーザ処理部４３は、例えば、取得したバイタル情報が２以上のいずれかの出力条件を満たすか否かを判断する。
　ユーザ送信部４４は、カメラが撮影した画像を情報処理装置３に送信する。ユーザ送信部４４は、ユーザ処理部４３が取得した音声情報を情報処理装置３に送信する。ユーザ送信部４４は、例えば、ユーザ処理部４３が取得したバイタル情報を情報処理装置３に送信する。ユーザ送信部４４は、例えば、対応付いた画像と音声情報とバイタル情報とを情報処理装置３に送信する。
　ユーザ送信部４４は、例えば、ユーザ処理部４３が出力条件を満たすと判断した１または２種類以上のバイタル情報を情報処理装置３に送信する。ユーザ送信部４４は、例えば、ユーザ処理部４３がすべての出力条件を満たすと判断した１または２種類以上のバイタル情報を情報処理装置３に送信する。ユーザ送信部４４は、例えば、ユーザ処理部４３がいずれかの出力条件を満たすと判断した１または２種類以上のバイタル情報を情報処理装置３に送信する。なお、ユーザ送信部４４は、取得されたすべてのバイタル情報を情報処理装置３に送信しても良い。
　ユーザ受信部４５は、各種の情報を受信する。各種の情報は、例えば、画面画像、音声情報、検索された蓄積画像または当該蓄積画像から取得される画像である。
　ユーザ出力部４６は、各種の情報を出力する。各種の情報は、例えば、ウェブ会議における画面画像、ウェブ会議における音声情報、検索された蓄積画像または当該蓄積画像から取得される画像である。
　通訳者端末５を構成する通訳者格納部５１には、各種の情報が格納される。各種の情報は、例えば、通訳者識別子である。通訳者識別子とは、通訳者を識別する情報である。通訳者識別子は、例えば、ＩＤ、氏名、メールアドレス、電話番号である。
　通訳者受信部５２は、各種の情報を受信する。各種の情報は、例えば、通訳対象（原言語）の音声情報、画面画像である。
　通訳者処理部５３は、各種の処理を行う。各種の処理は、例えば、受け付けられた情報や指示等を、送信する構造の情報や指示等にする処理である。各種の処理は、例えば、受信された情報を出力する構造の情報にする処理である。
　通訳者処理部５３は、例えば、受け付けられた通訳音声から通訳音声情報を構成する。
　通訳者処理部５３は、例えば、構成した通訳音声情報に対して音声認識処理を行い、通訳テキストを取得する。
　通訳者出力部５４は、各種の情報を出力する。各種の情報は、例えば、音声情報に基づく音声、画面画像に基づく画面である。音声は、通常、通訳対象の音声である。
　通訳者受付部５５は、各種の情報や指示を受け付ける。各種の情報や指示は、例えば、通訳音声である。通訳者受付部５５は、例えば、マイクにより実現される。
　通訳者送信部５６は、各種の情報や指示等を情報処理装置３に送信する。各種の情報や指示等は、例えば、通訳音声情報、通訳テキストである。
　格納部３１、情報格納部３１１、ユーザ格納部４１、および通訳者格納部５１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
　格納部３１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部３１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部３１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部３１等で記憶されるようになってもよい。
　受信部３２、情報受信部３２１、通訳情報受信部３２２、検索受付部３２３、ユーザ受信部４５、および通訳者受信部５２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
　処理部３３、バイタル取得部３３０、テキスト取得部３３１、通訳情報取得部３３２、蓄積部３３６、判断部３３３、関係検出部３３４、蓄積画像取得部３３５、通訳評価部３３８、統計処理部３３７、検索部３３９、ユーザ処理部４３、および通訳者処理部５３は、通常、プロセッサやメモリ等から実現され得る。処理部３３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ等であり、その種類は問わない。
　出力部３４、画面出力部３４１、関係出力部３４２、評価出力部３４３、結果出力部３４４、ユーザ送信部４４、および通訳者送信部５６は、通常、無線または有線の通信手段で実現される。
　画面出力部３４１、関係出力部３４２、評価出力部３４３、および結果出力部３４４は、プロセッサやメモリ等から実現されても良い。なお、プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ等であり、その種類は問わない。
　ユーザ受付部４２、および通訳者受付部５５は、マイク、カメラ、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
　ユーザ出力部４６、および通訳者出力部５４は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。ユーザ出力部４６は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
　次に、情報システム２０００の動作例について説明する。まず、情報処理装置３の動作例について、図１６、図１７のフローチャートを用いて説明する。
　（ステップＳ１６０１）情報処理装置３は、ウェブ会議を開始するか否かを判断する。ウェブ会議を開始する場合はステップＳ１６０２に行き、開始しない場合はステップＳ１６１９に行く。なお、例えば、受信部３２がウェブ会議の開始指示を受信した場合に、ウェブ会議を開始すると判断される。
　（ステップＳ１６０２）情報受信部３２１は、１または２以上の各ユーザ端末４または通訳者端末５から、ユーザ情報等を受信したか否かを判断する。ユーザ情報等を受信した場合はステップＳ１６０３に行き、ユーザ情報等を受信しなかった場合はステップＳ１６１７に行く。なお、情報受信部３２１は、通常、ユーザ識別子に対応付けて、ユーザ情報等を受信する。また、ユーザ情報等は、通訳情報でも良い。
　（ステップＳ１６０３）処理部３３は、ステップＳ１６０２で受信されたユーザ情報等を、送信した端末を識別する識別子と対にして、一時蓄積する。なお、識別子は、例えば、ユーザ識別子、通訳者識別子である。
　（ステップＳ１６０４）処理部３３は、ステップＳ１６０２で受信されたユーザ情報等から、１または２以上の各ユーザ識別子に対応付くバイタル情報を取得する。なお、ここでバイタル情報を取得できない場合があっても良い。また、取得したバイタル情報は、２以上の時系列のバイタル情報でも良い。時系列のバイタル情報とは、取得された時刻が異なるバイタル情報である。時系列のバイタル情報は、通常、連続して取得された２以上のバイタル情報である。連続して取得された２以上のバイタル情報は、時間的な間隔が空いて取得されたバイタル情報でも良い。
　（ステップＳ１６０５）判断部３３３は、ステップＳ１６０４で取得された１または２以上の各ユーザ識別子に対応付くバイタル情報が、１または２以上の各着目条件に合致するか否かを判断する。着目条件に合致するバイタル情報が存在する場合はステップＳ１６０６に行き、存在しない場合はステップＳ１６０７に行く。
　（ステップＳ１６０６）判断部３３３は、着目条件に合致するバイタル情報と対になる１以上のユーザ識別子を図示しないバッファに蓄積する。なお、２以上の着目条件が存在する場合、判断部３３３は、着目条件を識別する条件識別子に対応付けて、１以上のユーザ識別子を図示しないバッファに蓄積することは好適である。
　（ステップＳ１６０７）テキスト取得部３３１は、ステップＳ１６０２で受信された１または２以上の各ユーザ情報等から会話テキストを、ユーザ識別子と対にして取得する。テキスト取得部３３１は、例えば、受信された１または２以上の各ユーザ情報等に含まれる音声情報に対して音声認識処理を行い、１以上の各ユーザの会話テキストを、ユーザ識別子と対にして取得する。テキスト取得部３３１は、例えば、受信された１または２以上の各ユーザ情報等に含まれる会話テキストを、ユーザ識別子と対にして取得する。
　（ステップＳ１６０８）蓄積画像取得部３３５は、２以上のユーザ端末４から送信された画像を用いて、画面画像を構成する。また、蓄積画像取得部３３５は、図示しないバッファに蓄積されたユーザ識別子で識別される画面上の領域を、他の領域と比較して、区別可能な画面画像を構成することは好適である。蓄積画像取得部３３５は、図示しないバッファに蓄積されたユーザ識別子で識別される画面上の領域を、着目条件を識別する条件識別子を特定できる態様にした画面画像を構成することは好適である。
　（ステップＳ１６０９）処理部３３は、画面画像と受信された音声情報とを有する会議情報を構成する。なお、かかる構成の処理は、公知のウェブ会議システムで行われている処理である。処理部３３は、通訳音声情報をも含む会議情報を構成することは好適である。処理部３３は、会話テキスト、または通訳テキストを含む会議情報を構成しても良い。なお、ここでの会議情報を構成する処理は、蓄積画像取得部３３５が行っても良い。また、会議情報は、ユーザ端末４で出力される情報である。
　（ステップＳ１６１０）出力部３４は、ステップＳ１６０９で構成された会議情報を２以上のユーザ端末４に送信する。また、出力部３４は、ステップＳ１６０９で構成された会議情報を１以上の通訳者端末５に送信することは好適である。
　（ステップＳ１６１１）通訳情報取得部３３２は、ステップＳ１６０２で受信されたユーザ情報等の中に、通訳情報が含まれるか否かを判断する。通訳情報が含まれる場合はステップＳ１６１２に行き、含まれない場合はステップＳ１６１４に行く。
　（ステップＳ１６１２）通訳情報取得部３３２は、ステップＳ１６０２で受信されたユーザ情報等の中の通訳音声情報を取得する。
　（ステップＳ１６１３）通訳情報取得部３３２は、通訳音声情報に基づく、通訳テキストを取得する。
　（ステップＳ１６１４）蓄積部３３６は、ステップＳ１６０８で取得された画面画像を含む蓄積画像を取得する。
　（ステップＳ１６１５）蓄積部３３６は、付加情報を取得する。蓄積部３３６は、例えば、ステップＳ１６０２で受信されたユーザ情報等の中に含まれる付加情報を取得する。なお、かかる付加情報は、例えば、１以上の各ユーザ識別子に対応付く１または２種類以上のバイタル情報、１以上の各ユーザ識別子に対応付く音声情報、通訳音声情報である。蓄積部３３６は、ステップＳ１６０２で受信されたユーザ情報等の中に含まれる音声情報を音声認識した結果である会話テキスト、ステップＳ１６０２で受信されたユーザ情報等の中に含まれる通訳音声情報を音声認識した結果である通訳テキストを含む付加情報を取得することは好適である。なお、付加情報の中の会話テキストはユーザ識別子に対応付いている。
　（ステップＳ１６１６）蓄積部３３６は、ステップＳ１６１４で取得した蓄積画像と、音声情報と、ステップＳ１６１５で取得した付加情報とを、対応付けて蓄積する。ステップＳ１６０２に戻る。なお、蓄積画像等の蓄積先は、例えば、情報格納部３１１であるが、他の装置でも良い。
　（ステップＳ１６１７）処理部３３は、ウェブ会議を終了するか否かを判断する。ウェブ会議を終了する場合はステップＳ１６１８に行き、終了しない場合はステップＳ１６０２に戻る。なお、ウェブ会議を終了する場合は，例えば、終了指示をユーザ端末４から受信した場合であるが、そのトリガーは問わない。
　（ステップＳ１６１８）処理部３３は、ウェブ会議の終了処理を行う。ステップＳ１６０１に戻る。なお、ウェブ会議の終了処理は、公知技術である。
　（ステップＳ１６１９）処理部３３は、統計処理のタイミングであるか否かを判断する。統計処理のタイミングであればステップＳ１６２０に行き、統計処理のタイミングでなければステップＳ１６２１に行く。なお、統計処理のタイミングは、例えば、ウェブ会議が終了したタイミング、ユーザからの指示を受信したこと等である。
　（ステップＳ１６２０）統計処理部３３７は、一のウェブ会議の蓄積画像に対応付いているバイタル情報に対して、統計処理を行う。統計処理の例について、図１８のフローチャートを用いて説明する。
　（ステップＳ１６２１）処理部３３は、通訳者評価を行うか否かを判断する。通訳者評価を行う場合はステップＳ１６２２に行き、通訳者評価を行わない場合はステップＳ１６２３に行く。なお、通訳者評価を行う場合は、例えば、ウェブ会議の開始後、所定時間が経過した時、ウェブ会議の開催中の所定時間ごと、ウェブ会議の終了後、ユーザからの指示を受信したこと等である。
　（ステップＳ１６２２）通訳評価部３３８は、一のウェブ会議における通訳者の評価処理を行う。評価処理の例について、図２２のフローチャートを用いて説明する。
　（ステップＳ１６２３）処理部３３は、関係検出を行うか否かを判断する。関係検出を行う場合はステップＳ１６２４に行き、関係検出を行わない場合はステップＳ１６２５に行く。なお、関係検出を行う場合は、例えば、ウェブ会議の終了後であるが、ユーザからの指示を受信した時等、そのタイミングやトリガーは問わない。
　（ステップＳ１６２４）関係検出部３３４は、関係検出処理を行う。関係検出処理の例について、図２３のフローチャートを用いて説明する。
　（ステップＳ１６２５）検索受付部３２３は、検索条件を受信したか否かを判断する。検索条件を受信した場合はステップＳ１６２６に行き、受信しなかった場合はステップＳ１６０１に戻る。
　（ステップＳ１６２６）検索部３３９は、検索処理を行う。検索処理の例について、図２４のフローチャートを用いて説明する。
　（ステップＳ１６２７）検索部３３９は、ステップＳ１６２６における検索結果である画像等をユーザ端末４に送信する。
　なお、図１６、図１７のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
　次に、ステップＳ１６２０の統計処理の例について、図１８のフローチャートを用いて説明する。
　（ステップＳ１８０１）統計処理部３３７は、カウンタｉに１を代入する。
　（ステップＳ１８０２）統計処理部３３７は、統計処理の対象のｉ番目のユーザ識別子が存在するか否かを判断する。ｉ番目のユーザ識別子が存在する場合はステップＳ１８０３に行き、存在しない場合はステップＳ１８０５に行く。
　（ステップＳ１８０３）統計処理部３３７は、ユーザ毎統計処理を行う。ユーザ毎統計処理の例について、図１９のフローチャートを用いて説明する。なお、ユーザ毎統計処理とは、一のユーザのバイタル情報の統計処理である。
　（ステップＳ１８０４）統計処理部３３７は、カウンタｉを１、インクリメントする。ステップＳ１８０２に戻る。
　（ステップＳ１８０５）統計処理部３３７は、カウンタｊに１を代入する。
　（ステップＳ１８０６）統計処理部３３７は、統計処理の対象のｊ番目のユーザ属性値の条件が存在するか否かを判断する。ｊ番目のユーザ属性値の条件が存在する場合はステップＳ１８０７に行き、存在しない場合はステップＳ１８０９に行く。
　（ステップＳ１８０７）統計処理部３３７は、ｊ番目のユーザ属性値の条件に合致する１または２以上のユーザのバイタル情報に対する統計処理を行う。かかる統計処理は、属性値毎統計処理である。属性値毎統計処理の例について、図２０のフローチャートを用いて説明する。
　（ステップＳ１８０８）統計処理部３３７は、カウンタｊを１、インクリメントする。ステップＳ１８０６に戻る。
　（ステップＳ１８０９）統計処理部３３７は、ウェブ会議統計処理を行う。上位処理にリターンする。ウェブ会議統計処理の例について、図２１のフローチャートを用いて説明する。なお、ウェブ会議統計処理とは、ウェブ会議における対象ユーザの全部のバイタル情報を用いた統計処理である。
　なお、統計処理部３３７は、取得した統計処理の結果は、通常、統計処理対象のウェブ会議の蓄積画像と対にして蓄積する。
　次に、ステップＳ１８０３のユーザ毎統計処理の例について、図１９のフローチャートを用いて説明する。
　（ステップＳ１９０１）統計処理部３３７は、カウンタｉに１を代入する。
　（ステップＳ１９０２）統計処理部３３７は、統計処理するｉ番目のバイタル情報が存在するか否かを判断する。統計処理するｉ番目のバイタル情報が存在する場合はステップＳ１９０３に行き、存在しない場合はステップＳ１９０５に行く。なお、統計処理するバイタル情報は、通常、予め決まっている。
　（ステップＳ１９０３）統計処理部３３７は、統計処理対象のウェブ会議のバイタル情報の中から、着目ユーザ識別子（Ｓ１８０２のｉ番目のユーザ識別子）と対になるｉ番目のバイタル情報をすべて取得する。次に、統計処理部３３７は、取得したすべてのバイタル情報の代表値を取得する。次に、統計処理部３３７は、着目ユーザ識別子と対にして、バイタル情報の代表値を格納部３１に蓄積する。かかるバイタル情報の代表値は、統計処理対象のウェブ会議の蓄積画像に対応付いている。また、バイタル情報の代表値は、例えば、平均値、中央値、最高値、最低値である。
　（ステップＳ１９０４）統計処理部３３７は、カウンタｉを１、インクリメントする。ステップＳ１９０２に戻る。
　（ステップＳ１９０５）統計処理部３３７は、カウンタｊに１を代入する。
　（ステップＳ１９０６）統計処理部３３７は、ｊ番目の着目条件が存在するか否かを判断する。ｊ番目の着目条件が存在する場合はステップＳ１９０７に行き、存在しない場合は上位処理にリターンする。なお、ここでの着目条件は、ウェブ会議中に発生した回数を測定したい着目条件である。着目条件は、例えば、「心拍数が第一閾値以上のユーザの割合いが第二閾値以上であったこと（例えば、興奮状態のユーザの割合いが第二閾値以上）」「心拍数が第一閾値未満のユーザの割合いが第二閾値以上であったこと（例えば、寝ているユーザの割合いが第二閾値以上」である。
　（ステップＳ１９０７）統計処理部３３７は、変数ｊを初期化する。つまり、変数ｊに０を代入する。
　（ステップＳ１９０８）統計処理部３３７は、カウンタｋに１を代入する。
　（ステップＳ１９０９）統計処理部３３７は、ウェブ会議のｋ番目の検査単位が存在するか否かを判断する。ｋ番目の検査単位が存在する場合はステップＳ１９１０に行き、存在しない場合はステップＳ１９１４に行く。なお、ウェブ会議のｋ番目の検査単位とは、着目条件を満たすか否かを判断するための対象のバイタル情報の集合であり、例えば、ウェブ会議中の所定時間（例えば、１分）の中でのバイタル情報の集合である。
　（ステップＳ１９１０）統計処理部３３７は、統計処理対象のウェブ会議のバイタル情報の中から、着目ユーザ識別子と対になるバイタル情報であり、ｋ番目の検査単位に対応するバイタル情報であり、ｊ番目の着目条件の判断に使用するバイタル情報を、すべて取得する。
　（ステップＳ１９１１）統計処理部３３７は、ステップＳ１９１０で取得したバイタル情報が、ｊ番目の着目条件に合致するか否かを判断する。ｊ番目の着目条件に合致する場合はステップＳ１９１２に行き、合致しない場合はステップＳ１９１３に行く。なお、かかる判断処理は、判断部３３３が行っても良い。
　（ステップＳ１９１２）統計処理部３３７は、変数ｊに１を加える。
　（ステップＳ１９１３）統計処理部３３７は、カウンタｋを１、インクリメントする。ステップＳ１９０９に戻る。
　（ステップＳ１９１４）統計処理部３３７は、変数ｊの値を、ｊ番目の着目条件と着目ユーザ識別子と対にして蓄積する。統計処理部３３７は、変数ｊの値を、通常、統計処理対象のウェブ会議の蓄積画像と対にして、格納部３１に蓄積する。
　（ステップＳ１９１５）統計処理部３３７は、カウンタｊを１、インクリメントする。ステップＳ１９０６に戻る。
　次に、ステップＳ１８０７の属性値毎統計処理の例について、図２０のフローチャートを用いて説明する。図２０のフローチャートにおいて、図１９のフローチャートと同一のステップについて、説明を省略する。
　（ステップＳ２００１）統計処理部３３７は、統計処理の対象のｊ番目のユーザ属性値の条件に対応するバイタル情報であり、統計処理の対象のｉ番目のバイタル情報をすべて取得する。統計処理部３３７は、取得したすべてのバイタル情報の代表値（例えば、平均値、最大値等）を取得し、ｊ番目のユーザ属性値の条件と対にして蓄積する。ステップＳ１９０４に行く。
　（ステップＳ２００２）統計処理部３３７は、統計処理の対象のｊ番目のユーザ属性値の条件に対応する変数ｊの値を、すべて取得する。統計処理部３３７は、取得したすべての変数ｊの値の代表値を取得する。
　（ステップＳ２００３）統計処理部３３７は、ステップＳ２００２で取得した代表値を、ｊ番目の着目条件と当該ユーザ属性値の条件と対にして、格納部３１に蓄積する。
　次に、ステップＳ１８０９のウェブ会議統計処理の例について、図２１のフローチャートを用いて説明する。図２１のフローチャートにおいて、図１９のフローチャートと同一のステップについて、説明を省略する。
　（ステップＳ２１０１）統計処理部３３７は、ウェブ会議全体のバイタル情報の中から、統計処理の対象のｉ番目のバイタル情報をすべて取得する。統計処理部３３７は、取得したすべてのバイタル情報の代表値（例えば、平均値、最大値等）を取得する。ステップＳ１９０４に行く。
　（ステップＳ２１０２）統計処理部３３７は、ウェブ会議全体の変数ｊの値のすべてを取得する。統計処理部３３７は、取得した変数ｊの値の代表値を取得する。
　（ステップＳ２１０３）統計処理部３３７は、ステップＳ２１０２で取得した変数ｊの値の代表値を、ｊ番目の着目条件と当該ウェブ会議の蓄積画像と対にして、格納部３１に蓄積する。ステップＳ１９１５に行く。
　次に、ステップＳ１６２２の評価処理の例について、図２２のフローチャートを用いて説明する。
　（ステップＳ２２０１）通訳評価部３３８は、カウンタｉに１を代入する。
　（ステップＳ２２０２）通訳評価部３３８は、ｉ番目の減点条件が存在するか否かを判断する。
　（ステップＳ２２０３）通訳評価部３３８は、ｉ番目の減点条件を格納部３１から取得する。
　（ステップＳ２２０４）通訳評価部３３８は、カウンタｊに１を代入する。
　（ステップＳ２２０５）通訳評価部３３８は、ｊ番目の検査単位が存在するか否かを判断する。ｊ番目の検査単位が存在する場合はステップＳ２２０６に行き、存在しない場合はステップＳ２２１０に行く。検査単位は、例えば、通訳音声情報が存在する区間である。
　（ステップＳ２２０６）通訳評価部３３８は、ｊ番目の検査単位に対応するバイタル情報であり、通訳音声を聞く１または２以上の各ユーザ（対象ユーザ）のバイタル情報であり、ｉ番目の減点条件の判断に使用されるバイタル情報を情報格納部３１１から取得する。
　（ステップＳ２２０７）通訳評価部３３８は、ステップＳ２２０６で取得したバイタル情報が、ｉ番目の減点条件に合致するか否かを判断する。ｉ番目の減点条件に合致する場合はステップＳ２２０８に行き、合致しない場合はステップＳ２２０９に行く。
　（ステップＳ２２０８）通訳評価部３３８は、ｉ番目の減点条件に対応する減点度（例えば、減点する点数）を取得し、図示しないバッファに蓄積する。なお、ｉ番目の減点条件に対応する減点度は、例えば、ｉ番目の減点条件に対応付けて、格納部３１で格納されているが、すべての減点条件に共通でも良い。
　（ステップＳ２２０９）通訳評価部３３８は、カウンタｊを１、インクリメントする。ステップＳ２２０４に戻る。
　（ステップＳ２２１０）通訳評価部３３８は、カウンタｉを１、インクリメントする。ステップＳ２２０２に戻る。
　（ステップＳ２２１１）通訳評価部３３８は、ステップＳ２２０８で図示しないバッファに蓄積された減点度の累積を取得する。通訳評価部３３８は、当該減点度の累積が多いほど、低い評価を示す評価情報を取得する。
　（ステップＳ２２１２）評価出力部３４３は、ステップＳ２２１１で取得された評価情報を出力する。上位処理にリターンする。ここで、評価出力部３４３は、例えば、評価情報を、翻訳者識別子と対にして、格納部３１に蓄積する。評価出力部３４３は、例えば、評価情報を、翻訳者識別子に対応する通訳者端末５に送信する。
　なお、図２２のフローチャートにおいて、通訳者は一人であることが前提であったが、２以上の通訳者の評価を行っても良い。かかる場合、通訳者ごとに、Ｓ２２０１からＳ２２１２の処理が繰り返し実行される。
　次に、ステップＳ１６２４の関係検出処理の例について、図２３のフローチャートを用いて説明する。
　（ステップＳ２３０１）関係検出部３３４は、カウンタｉに１を代入する。
　（ステップＳ２３０２）関係検出部３３４は、検査対象のウェブ会議の蓄積画像と対になる音声情報または会話テキストと対になるユーザ識別子を、ウェブ会議の時系列に検査し、ｉ番目の発話者の音声情報または会話テキストと対になるユーザ識別子が存在するか否かを判断する。ユーザ識別子が存在する場合はステップＳ２３０３に行き、存在しない場合は上位処理にリターンする。
　（ステップＳ２３０３）関係検出部３３４は、カウンタｊに１を代入する。
　（ステップＳ２３０４）関係検出部３３４は、ｉ番目の発話者のユーザ識別子に対応する音声情報または会話テキストに対応するバイタル情報であり、ｉ番目の発話者の発話を聞いているｊ番目のユーザ識別子に対応するバイタル情報が存在するか否かを判断する。ｊ番目のユーザ識別子に対応するバイタル情報が存在する場合はステップＳ２３０５に行き、存在しない場合はステップＳ２３１３に行く。なお、ｉ番目の発話者の発話を聞いているｊ番目のユーザ識別子に対応するバイタル情報が存在する場合は、通常、ｉ番目の発話者の発話を聞いているｊ番目のユーザ識別子が存在する場合である。
　（ステップＳ２３０５）関係検出部３３４は、ｉ番目の発話者の発話を聞いているｊ番目のユーザ識別子に対応するバイタル情報であり、ｉ番目の発話者の発話のタイミングにおけるバイタル情報を、情報格納部３１１から取得する。ｉ番目の発話者の発話のタイミングにおけるバイタル情報とは、ｉ番目の発話者の音声情報または会話テキストと対になる（タイミング的に同様である）バイタル情報である。なお、取得されるバイタル情報は、着目条件の判断に使用されるバイタル情報であり、１または２種類以上のバイタル情報である。
　（ステップＳ２３０６）関係検出部３３４は、カウンタｋに１を代入する。
　（ステップＳ２３０７）関係検出部３３４は、ｋ番目の着目条件が存在するか否かを判断する。ｋ番目の着目条件が存在する場合はステップＳ２３０８に行き、存在しない場合はステップＳ２３１２に行く。
　（ステップＳ２３０８）関係検出部３３４は、ステップＳ２３０５で取得した１または２種類以上のバイタル情報が、ｋ番目の着目条件に合致するか否かを判断する。ｋ番目の着目条件に合致する場合はステップＳ２３０９に行き、合致しない場合はステップＳ２３１１に行く。
　（ステップＳ２３０９）関係検出部３３４は、ｉ番目の発話者のユーザ識別子である第二ユーザ識別子と、ｊ番目のユーザ識別子である第一ユーザ識別子とを取得する。
　（ステップＳ２３１０）関係検出部３３４は、第一ユーザ識別子と第二ユーザ識別子とを対応付ける関係情報を構成する。関係検出部３３４は、当該関係情報を、蓄積画像に対応付けて、格納部３１に蓄積する。関係検出部３３４は、当該関係情報を、上記の音声情報または会話テキストに対応付けて、格納部３１に蓄積することは好適である。
　（ステップＳ２３１１）関係検出部３３４は、カウンタｋを１、インクリメントする。ステップＳ２３０７に戻る。
　（ステップＳ２３１２）関係検出部３３４は、カウンタｊを１、インクリメントする。ステップＳ２３０４に戻る。
　（ステップＳ２３１３）関係検出部３３４は、カウンタｉを１、インクリメントする。ステップＳ２３０２に戻る。
　次に、ステップＳ１６２６の検索処理の例について、図２４のフローチャートを用いて説明する。
　（ステップＳ２４０１）検索部３３９は、カウンタｉに１を代入する。
　（ステップＳ２４０２）検索部３３９は、蓄積画像に対応付く付加情報の集合の中で、ｉ番目のタイミングにおける付加情報が存在するか否かを判断する。ｉ番目のタイミングにおける付加情報が存在する場合はステップＳ２４０３に行き、存在しない場合は上位処理にリターンする。
　（ステップＳ２４０３）検索部３３９は、蓄積画像に対応付く付加情報の集合の中で、ｉ番目のタイミングにおける付加情報が、受信された検索条件に合致するか否かを判断する。検索条件に合致する場合はステップＳ２４０４に行き、合致しない場合はステップＳ２４０５に行く。
　（ステップＳ２４０４）検索部３３９は、蓄積画像におけるｉ番目のタイミングに、フラグを対応付ける。なお、かかるフラグは、ユーザ端末４で、フラグが付された箇所の蓄積画像にジャンプするためのフラグである。
　（ステップＳ２４０５）検索部３３９は、カウンタｉを１、インクリメントする。ステップＳ２４０２に戻る。
　次に、ユーザ端末４の動作例について、図２５のフローチャートを用いて説明する。
　（ステップＳ２５０１）ユーザ受付部４２は、ウェブ会議の開始指示を受け付けたか否かを判断する。開始指示を受け付けた場合はステップＳ２５０２に行き、受け付けなかった場合はステップＳ２５１３に行く。
　（ステップＳ２５０２）ユーザ処理部４３は、ユーザ格納部４１のユーザ識別子を取得し、当該ユーザ識別子を有する開始指示を構成する。ユーザ送信部４４は、当該開始指示を情報処理装置３に送信する。
　（ステップＳ２５０３）ユーザ受付部４２は、カメラを用いて、当該カメラで撮影した画像を取得する。
　（ステップＳ２５０４）ユーザ受付部４２は、マイクを用いて、当該マイクで集音した音声から音声情報を取得する。
　（ステップＳ２５０５）ユーザ処理部４３は、画像と音声情報とを有するユーザ情報を構成する。ここで、ユーザ処理部４３は、当該画像に含まれるユーザの人物領域からユーザの１または２種類以上のバイタル情報を取得し、当該１または２種類以上のバイタル情報を含むユーザ情報を構成することは好適である。
　（ステップＳ２５０６）ユーザ送信部４４は、ステップＳ２５０５で構成されたユーザ情報を情報処理装置３に送信する。
　（ステップＳ２５０７）ユーザ受信部４５は、情報処理装置３から会議情報を受信したか否かを判断する。会議情報を受信した場合はステップＳ２５０８に行き、受信しなかった場合はステップＳ２５０７に戻る。
　（ステップＳ２５０８）ユーザ処理部４３は、ステップＳ２５０７で受信された会議情報を用いて、出力する画面画像を構成する。ユーザ出力部４６は、当該画面画像を出力する。なお、ユーザ出力部４６は、画面画像に加えて、１以上のユーザのバイタル情報、会話テキストのうちの１または２種類の情報を出力しても良い。
　（ステップＳ２５０９）ユーザ処理部４３は、通訳音声を出力するか否かを判断する。通訳音声を出力する場合はステップＳ２５１０に行き、出力しない場合はステップＳ２５１１に行く。
　（ステップＳ２５１０）ユーザ出力部４６は、ユーザの発話の通訳音声を出力する。ステップＳ２５１２に行く。
　（ステップＳ２５１１）ユーザ出力部４６は、ユーザの発話である音声情報を出力する。
　（ステップＳ２５１２）ユーザ処理部４３は、ウェブ会議を終了するか否かを判断する。ウェブ会議を終了する場合はステップＳ２５０１に戻り、ウェブ会議を終了しない場合はステップＳ２５０３に戻る。なお、ウェブ会議を終了する場合は、例えば、ユーザ受付部４２がウェブ会議の終了指示を受け付けた場合である。
　（ステップＳ２５１３）ユーザ受付部４２は、検索条件を受け付けたか否かを判断する。検索条件を受け付けた場合はステップＳ２５１４に行き、検索条件を受け付けなかった場合はステップＳ２５０１に戻る。
　（ステップＳ２５１４）ユーザ処理部４３は、ユーザ格納部４１からユーザ識別子を取得し、当該ユーザ識別子に対応付く検索条件を構成する。ユーザ送信部４４は、ユーザ識別子に対応付く検索条件を情報処理装置３に送信する。
　（ステップＳ２５１５）ユーザ受信部４５は、検索条件に合致する画像等を受信したか否かを判断する。画像等を受信した場合はステップＳ２５１６に行き、受信しなかった場合はステップＳ２５１５に戻る。なお、画像等は、例えば、蓄積画像に加えて、付加情報、フラグを有する。なお、フラグは、検索条件に合致する箇所を特定する情報である。
　（ステップＳ２５１６）ユーザ処理部４３は、出力する画像等を構成する。ユーザ出力部４６は、当該画像等を出力する。なお、出力する画像等は、例えば、検索条件に合致した最初の付加情報に対応するフラグが付された箇所の蓄積画像と、当該付加情報である。
　（ステップＳ２５１７）ユーザ受付部４２は、ユーザから指示を受け付けたか否かを判断する。指示を受け付けた場合はステップＳ２５１８に行き、指示を受け付けなかった場合はステップＳ２５１９に行く。なお、指示は、１または２以上のフラグが特定する蓄積画像の箇所にジャンプする指示である。
　（ステップＳ２５１８）ユーザ処理部４３は、指示に対応するフラグの箇所であり、蓄積画像の箇所を含む画面画像を構成する。ユーザ出力部４６は、当該画面画像を出力する。なお、ユーザ出力部４６は、当該画面画像に加えて、フラグに対応する付加情報も出力することは好適である。
　（ステップＳ２５１９）ユーザ処理部４３は、検索結果の出力を終了するか否かを判断する。出力を終了する場合はステップＳ２５０１に戻り、出力を終了しない場合はステップＳ２５１７に戻る。
　なお、図２５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
　次に、通訳者端末５の動作例について、図２６のフローチャートを用いて説明する。
　（ステップＳ２６０１）通訳者受信部５２は、通訳対象の音声情報を含む情報を受信したか否かを判断する。情報を受信した場合はステップＳ２６０２に行き、情報を受信しなかった場合はステップＳ２６０３に行く。なお、受信する情報は、例えば、通訳対象の音声情報と、ウェブ会議中の画面画像である。
　（ステップＳ２６０２）通訳者処理部５３は、受信された音声情報を用いて、出力する音声を構成する。通訳者出力部５４は、当該通訳対象の音声を出力する。なお、通訳者出力部５４は、ウェブ会議中の画面画像も出力することは好適である。ステップＳ２６０１に戻る。
　（ステップＳ２６０３）通訳者受付部５５は、通訳者からの通訳音声を受け付けたか否かを判断する。通訳音声を受け付けた場合はステップＳ２６０４に行き、受け付けなかった場合はステップＳ２６０５に行く。なお、通訳者は、通常、人であるが、音声翻訳を行う装置でも良い。
　（ステップＳ２６０４）通訳者処理部５３は、受け付けられた通訳音声から送信する通訳音声情報を構成する。通訳者送信部５６は、当該通訳音声情報を情報処理装置３に送信する。ステップＳ２６０１に戻る。
　（ステップＳ２６０５）通訳者受信部５２は、評価情報を受信したか否かを判断する。評価情報を受信した場合はステップＳ２６０６に行き、受信しなかった場合はステップＳ２６０１に戻る。
　（ステップＳ２６０６）通訳者処理部５３は、ステップＳ２６０５で受信された評価情報を用いて、出力する評価情報を構成する。通訳者出力部５４は、当該評価情報を出力する。ステップＳ２６０１に戻る。
　なお、図２６のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
　以下、本実施の形態における情報システム２０００の具体的な動作例について説明する。情報システム２０００の概念図は、図１３である。本具体例において、ユーザ端末４がユーザの１以上のバイタル情報を取得し、情報処理装置３に送信するものとする。なお、上述した通り、情報処理装置３が受信した画像からユーザの１以上のバイタル情報を取得しても良い。
　今、情報処理装置３の格納部３１には、図６（ｂ）に示す着目条件が格納されている、とする。
　また、格納部３１には、減点条件「ＬＦ／ＨＦが第一閾値以下のユーザが第二閾値以上の割合い、存在すること」が格納されている、とする。
　また、情報格納部３１１には、図２７に示すユーザ管理表が格納されている。ユーザ管理表とは、ユーザ情報を管理する表である。ユーザ管理表は、「ＩＤ」「ユーザＩＤ」「ユーザ属性値」を有する１以上のレコードを管理する。「ユーザ属性値」は、ここでは、「年齢」「性別」「所属」「役職」「言語」を有する。「ＩＤ」は、レコードを識別する情報である。「ユーザＩＤ」は、ユーザ識別子である。「所属」は、ユーザが所属する会社名である。「言語」は、ウェブ会議でユーザが使用する言語である。
　また、情報格納部３１１には、図２８に示すに示す構造を有するバイタル情報管理表が格納されている。バイタル管理表とは、ウェブ会議中のユーザのバイタル情報を管理する表である。バイタル管理表は、「会議ＩＤ」「蓄積画像」「ユーザＩＤ」「オフセット」「バイタル情報」「フラグ」を有する１以上のレコードを管理する。「バイタル情報」は、ここでは「脈波数」「心拍数」「ＬＦ／ＨＦ」を有する。「会議ＩＤ」は、ウェブ会議を識別する情報である。「蓄積画像」は、ウェブ会議における蓄積画像の識別情報である。「蓄積画像」は、ここでは、ウェブ会議における蓄積画像のファイル名である。「オフセット」は、蓄積画像における箇所や範囲を特定する情報であり、「バイタル情報」に対応する箇所や範囲を特定する情報である。ここでは、「オフセット」は、蓄積画像の開始時からの経過時間であるが、蓄積画像におけるフレームのＩＤ等でも良く、蓄積画像における箇所や範囲を特定する情報であれば良い。「オフセット」は、バイタル情報が発生したタイミングを特定する情報である。「フラグ」とは、着目条件に合致したバイタル情報を特定する情報である。フラグ「１」は着目条件に合致したバイタル情報を示し、フラグ「０は着目条件に合致しなかったバイタル情報を示す。
　また、情報格納部３１１には、図２９に示す構造を有するテキスト等管理表が格納されている。テキスト等管理表とは、ウェブ会議中のユーザの発話の会話テキスト、通訳情報等を管理する表である。テキスト等管理表は、「会議ＩＤ」「蓄積画像」「オフセット」「ユーザＩＤ」「会話テキスト」「通訳テキスト」「通訳音声情報」「通訳者ＩＤ」を有する１以上のレコードを管理する。「通訳音声情報」は、例えば、通訳した音声情報のファイル名であるが、音声情報のファイル名とファイルの中の箇所（例えば、オフセット）を示す情報でも良い。
　さらに、ユーザ端末４のユーザ格納部４１には、図６（ａ）に示す出力条件が格納されている、とする。
　かかる状況において、以下の２つの具体例について説明する。具体例１は、蓄積画像と付加情報とが蓄積される場合である。具体例２は、蓄積画像を検索する場合である。
（具体例１）
　今、ユーザＩＤ「Ｕ００１」「Ｕ００２」「Ｕ００３」「Ｕ００４」の４名が、ウェブ会議を開始した、とする。
　そして、ウェブ会議中において、４名の各ユーザのユーザ端末４は、画像と音声情報とを取得し、情報処理装置３に送信する。
　また、４名の各ユーザのユーザ端末４のユーザ処理部４３は、例えば、定期的に、取得された画像から「脈拍数」「心拍数」「ＬＦ／ＨＦ」を取得する。そして、ユーザ処理部４３は、取得した１種類以上のバイタル情報が、図６のいずれかの出力条件に合致するか否かを判断する。そして、いずれかの出力条件に合致した場合、ユーザ処理部４３は、画像と音声情報に加えて、バイタル情報（ここでは、「脈拍数」「心拍数」「ＬＦ／ＨＦ」）を含むユーザ情報を構成する。なお、ユーザ処理部４３は、取得されたバイタル情報を、常に含むユーザ情報を構成しても良い。
　次に、ユーザ送信部４４は、構成されたユーザ情報を、ユーザ識別子に対応付けて、情報処理装置３に送信する。４名の各ユーザに対するユーザ情報に含まれる画像は、例えば、図９（ａ）（ｂ）（ｃ）（ｄ）である。
　次に、情報処理装置３の情報受信部３２１は、４名の各ユーザのユーザ端末４からユーザ情報を受信する。
　次に、処理部３３は、受信されたユーザ情報等を、ユーザ識別子と対にして、一時蓄積する。
　次に、処理部３３は、受信されたユーザ情報等から、１または２以上の各ユーザ識別子に対応付くバイタル情報を取得する。
　次に、判断部３３３は、取得された１または２以上の各ユーザ識別子に対応付くバイタル情報が、着目条件（図６（ｂ））に合致するか否かを判断する。なお、ユーザ端末４で、同じ着目条件に合致するバイタル情報のみが送信される場合には、判断部３３３によるかかる判断は不要である。
　ここで、例えば、判断部３３３は、いずれのバイタル情報も着目条件に合致しない、と判断したとする。
　また、テキスト取得部３３１は、受信された各ユーザのユーザ情報に含まれる音声情報に対して、音声認識処理を行い、各ユーザの会話テキストを、各ユーザ識別子およびオフセットと対にして取得する。
　また、蓄積画像取得部３３５は、例えば、４つの各ユーザ端末４から送信された画像をそれぞれ含むユーザ領域１００１－１００５をタイル状に配列した図１０（ａ）に示すような画面画像１００５を構成する。
　次に、処理部３３は、蓄積画像取得部３３５が構成した画面画像と受信された音声情報とを有する会議情報を構成する。
　次に、出力部３４は、構成された会議情報を４つの各ユーザ端末４と４つの通訳者端末５に送信する。４つの通訳者端末５の各々は、通訳対象の担当のユーザが決まっている、とする。
　なお、ユーザ識別子「Ｕ００１」のユーザに対する通訳者は、「日本語→英語」の通訳を行い、その通訳者ＩＤは「ＴＲ１１」である。ユーザ識別子「Ｕ００２」のユーザに対する通訳者は、「英語→日本語」の通訳を行い、その通訳者ＩＤは「ＴＲ２１」である。ユーザ識別子「Ｕ００３」のユーザに対する通訳者は、「日本語→英語」の通訳を行い、その通訳者ＩＤは「ＴＲ１２」である。ユーザ識別子「Ｕ００４」のユーザに対する通訳者は、「日本語→英語」の通訳を行い、その通訳者ＩＤは「ＴＲ１３」である。
　次に、４つの各ユーザ端末４は、会議情報を受信し、当該会議情報に含まれる画面画像を表示し、自分の言語に対応する音声情報を出力する。
　また、通訳者端末５は、会議情報を受信し、当該会議情報に含まれる画面画像を表示し、通訳者が担当するユーザの発話に対する音声情報を出力する。
　次に、翻訳者は、担当するユーザの発話に対する音声情報を聞き、同時通訳の音声を発する。次に、通訳者端末５は、当該音声を受け付け、通訳音声情報を構成し、当該通訳音声情報を、通訳者ＩＤと対にして情報処理装置３に送信する。
　情報処理装置３は、通訳音声情報を受信し、４つの各ユーザ端末４または、対象となる１以上のユーザ端末４に、当該通訳音声情報を送信する。
　また、情報処理装置３の通訳情報取得部３３２は、受信された通訳音声情報に対して音声認識処理を行い、通訳テキストを取得し、元の音声情報を発したユーザのユーザ識別子とオフセットと対にする。また、通訳情報取得部３３２は、通訳音声情報も当該通訳テキストと通訳者ＩＤと対にする。
　蓄積部３３６は、取得された蓄積画像をファイル「Ｍ０１．ｍｐ４」に蓄積する。また、蓄積部３３６は、オフセット（例えば、ウェブ開始からの時間）を取得する。また、蓄積部３３６は、ファイル識別子「Ｍ０１．ｍｐ４」とオフセットとに対応付けて、取得された付加情報（各ユーザ識別子に対応付くバイタル情報（脈拍数、心拍数、ＬＦ／ＨＦ））を、図２８に示すバイタル情報管理表に蓄積する。
　また、蓄積部３３６は、ファイル識別子「Ｍ０１．ｍｐ４」とオフセットとに対応付けて、発話したユーザのユーザ識別子に対応付く、会話テキスト、通訳テキスト、通訳音声情報と通訳者ＩＤとを図２９に示すテキスト等管理表に蓄積する。
　そして、ウェブ会議の進行中、上述の処理が繰り返される。そして、例えば、図２８に示すバイタル情報管理表のレコード、図２９に示すテキスト等管理表のレコードが蓄積されていく、とする。
　また、例えば、判断部３３３は、ウェブ会議の進行中、受信されたバイタル情報の中で、ユーザ識別子「Ｕ００３」と対になるバイタル情報が着目条件に合致する、と判断したとする。
　かかる場合、判断部３３３は、着目条件に合致するバイタル情報と対になる１以上のユーザ識別子「Ｕ００３」を図示しないバッファに蓄積する。また、蓄積部３３６は、着目条件に合致するバイタル情報と対に、フラグ「１」を、図２８のバイタル情報管理表に書き込む。
　そして、蓄積画像取得部３３５は、図１０（ｃ）に示すように、ユーザ識別子「Ｕ００３」で識別されるユーザの領域が、他のユーザの領域と比較して、視覚的に区別可能となる画面画像を構成する。
　次に、処理部３３は、構成された画面画像と受信された音声情報とを有する会議情報を構成する。
　次に、出力部３４は、構成された会議情報を４つの各ユーザ端末４、および４つの各通訳者端末５に送信する。
　次に、４つの各ユーザ端末４は、会議情報を受信し、図１１（ｂ）に示すような画面画像を出力する。また、４つの各ユーザ端末４は、自分の言語に対応する音声情報、通訳音声情報を出力する。
　また、４つの各通訳者端末５は、会議情報を受信し、図１１（ｂ）に示すような画面画像を出力し、かつ自分の担当するユーザの音声情報を出力する。
　以上、本具体例において、ウェブ会議において取得された蓄積画像と、各ユーザのバイタル情報を含む付加情報とが、対応付けられて、蓄積された。なお、付加情報は、ここでは、ユーザ識別子とオフセットとに対応付く会話テキスト、ユーザ識別子とオフセットとに対応付く通訳テキスト、ユーザ識別子とオフセットとに対応付く通訳音声情報を含む。
（具体例２）
　ユーザは、ここで、バイタル情報に関する検索条件、着目条件に合致したバイタル情報に関する検索条件、会話テキストに関する検索条件、通訳テキストに関する検索条件等の多様な検索条件をユーザ端末４に入力できる、とする。
　そして、ユーザ端末４は、検索条件を受け付け、情報処理装置３に送信した、とする。情報処理装置３は、検索条件を受信し、検索部３３９は、当該検索条件に合致する蓄積画像とオフセットとの組を、図２８または図２９の表から検索する。そして、結果出力部３４４は、検索条件にヒットした蓄積画像とオフセットの情報をユーザ端末４に送信する。なお、ここで、結果出力部３４４は、検索条件にヒットしたオフセットに対応するバイタル情報と、当該バイタル情報と対になるユーザ識別子をも、図２８または図２９の表から取得し、ユーザ端末４に送信することは好適である。
　次に、ユーザ端末４は、蓄積画像とオフセットの情報とを受信し、当該蓄積画像の当該オフセットの箇所の画像を出力する。なお、ユーザ端末４は、受信されたバイタル情報とユーザ識別子をも出力することは好適である。
　なお、上記の具体例において、例えば、会議ＩＤ「Ｍ０１」で識別されるウェブ会議の終了後に、図１８、図１９の処理により、統計処理部３３７は、当該ウェブ会議のバイタル情報を用いて、４人の各ユーザのバイタル情報の統計処理の結果を取得しても良い。また、統計処理部３３７は、図１８、図２０の処理により、ユーザ属性値の条件ごと（例えば、役職「部長」と「部長以外」）のバイタル情報の統計処理の結果を取得しても良い。また、統計処理部３３７は、図１８、図２１の処理により、ウェブ会議全体のバイタル情報の統計処理の結果を取得しても良い。そして、結果出力部３４４は、取得した統計処理の結果を、会議ＩＤ「Ｍ０１」、または会議ＩＤ「Ｍ０１」とユーザ識別子と対にして、蓄積しても良い。
　また、上記の具体例において、例えば、会議ＩＤ「Ｍ０１」で識別されるウェブ会議の終了後に、図２２に示す処理により、４名の各通訳者の評価情報を取得し、通訳者ＩＤと対にして、蓄積しても良い。
　さらに、上記の具体例において、例えば、会議ＩＤ「Ｍ０１」で識別されるウェブ会議の終了後に、関係検出部３３４は、１以上の関係情報を取得し、ユーザ識別子「Ｕ００１」の部長と会議することに対して、ストレスがある部下のユーザ識別子「Ｕ００３」を検出し、関係情報「Ｕ００１，Ｕ００３」を取得し、蓄積しても良い。かかることにより、部下のユーザ識別子「Ｕ００３」のユーザを、もっと能力が発揮されるであろう部署に異動させることを考慮できる。
　以上、本実施の形態によれば、ウェブ会議における画像とユーザのバイタル情報とを対応付けて蓄積できる。
　また、本実施の形態によれば、ウェブ会議における画像と会話テキストとユーザのバイタル情報とを対応付けて蓄積できる。
　また、本実施の形態によれば、ウェブ会議における会話テキストとユーザ識別子とを対応付けて蓄積できる。
　また、本実施の形態によれば、ウェブ会議における発話の通訳情報と画像とを対応付けて蓄積できる。
　また、本実施の形態によれば、バイタル情報を用いて通訳者の評価ができる。
　また、本実施の形態によれば、発話の聞き手のユーザのバイタル情報を用いて、聞き手と発話者の関係を特定できる。
　また、本実施の形態によれば、ウェブ会議におけるユーザのバイタル情報を統計処理できる。
　さらに、本実施の形態によれば、バイタル情報等を用いて、ウェブ会議の画像を検索できる。
　なお、本実施の形態において、情報処理装置３は、２以上の図示しないウェブ会議サーバと連携し、バイタル情報を用いた上述の機能を提供できる。かかる場合の情報処理装置３は、ウェブ会議を行う２以上の各ユーザの各ユーザ端末から送信された画像を含むユーザ情報を受信する情報受信部と、前記ウェブ会議を行う前記２以上のユーザ中の１以上の各ユーザのバイタル情報を取得するバイタル取得部と、前記２以上の各ユーザ端末から送信された画像または当該２以上の画像に基づく画像である蓄積画像を取得する蓄積画像取得部と、前記情報取得部が取得した前記１以上の各ユーザのバイタル情報を含む付加情報を、前記蓄積画像取得部が取得した前記蓄積画像に対応付けて蓄積する蓄積部である。そして、かかる場合の情報処理装置３の蓄積部は、例えば、付加情報をウェブ会議サーバに蓄積しても良いし、情報格納部３１１に蓄積しても良い。
　さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ウェブ会議を行う２以上の各ユーザの各ユーザ端末から送信された画像を含むユーザ情報を受信する情報受信部と、前記ウェブ会議を行う前記２以上のユーザ中の１以上の各ユーザのバイタル情報を取得するバイタル取得部と、前記２以上の各ユーザ端末から送信された画像または当該２以上の画像に基づく画像である蓄積画像を取得する蓄積画像取得部と、前記情報取得部が取得した前記１以上の各ユーザのバイタル情報を含む付加情報を、前記蓄積画像取得部が取得した前記蓄積画像に対応付けて蓄積する蓄積部として機能させるためのプログラムである。
　また、図３０は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態のサーバ１や情報処理装置３等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図３０は、このコンピュータシステム３００の概観図であり、図３１は、システム３００のブロック図である。
　図３０において、コンピュータシステム３００は、ＣＤ－ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。
　図３１において、コンピュータ３０１は、ＣＤ－ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ－ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
　コンピュータシステム３００に、上述した実施の形態の情報処理装置３等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ３１０１に記憶されて、ＣＤ－ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ－ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
　プログラムは、コンピュータ３０１に、上述した実施の形態の情報処理装置３等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
　なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
　また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
　また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
　また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
　本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
　以上のように、本発明にかかる情報処理装置３は、ウェブ会議中における画像とユーザのバイタル情報とを対応付けて蓄積できるという効果を有し、ウェブ会議を支援するサーバ等として有用である。

Claims (15)

  1. ウェブ会議を行う２以上の各ユーザの各ユーザ端末から送信された画像を含むユーザ情報を受信する情報受信部と、
    前記ウェブ会議を行う前記２以上のユーザ中の１以上の各ユーザのバイタル情報を取得するバイタル取得部と、
    前記２以上の各ユーザ端末から送信された画像または当該２以上の画像に基づく画像である蓄積画像を取得する蓄積画像取得部と、
    前記情報取得部が取得した前記１以上の各ユーザのバイタル情報を含む付加情報を、前記蓄積画像取得部が取得した前記蓄積画像に対応付けて蓄積する蓄積部とを具備する情報処理装置。
  2. 前記ユーザ情報は、前記ウェブ会議中のユーザの発話に基づく音声情報または当該音声情報から取得された会話テキストも含み、
    前記音声情報から取得される会話テキストを取得するテキスト取得部をさらに具備し、
    前記蓄積部は、
    前記会話テキストを含む前記付加情報を、前記蓄積画像に対応付けて蓄積する請求項１記載の情報処理装置。
  3. 前記情報受信部は、
    ユーザ識別子に対応付けて前記ユーザ情報を受信し、
    前記蓄積部は、
    前記会話テキストを前記ユーザ識別子に対応付けて蓄積する請求項２記載の情報処理装置。
  4. 前記ウェブ会議中のユーザの発話に対する通訳音声情報または当該通訳音声情報から取得された通訳テキストである通訳情報を受信する通訳情報受信部をさらに具備し、
    前記蓄積部は、
    前記通訳音声情報または前記通訳テキストである通訳情報を含む前記付加情報を、前記蓄積画像に対応付けて蓄積する請求項１記載の情報処理装置。
  5. 前記ウェブ会議における発話に対して、通訳が行われ、
    前記通訳の音声を聞く１以上の各ユーザのバイタル情報を用いて、前記通訳者の評価を示す評価情報を取得する通訳評価部と、
    前記評価情報を出力する評価出力部とをさらに具備する請求項１記載の情報処理装置。
  6. 前記通訳評価部は、
    通訳の対象の発話の言語である原言語に対応する１以上のユーザのバイタル情報と、前記通訳の目的言語に対応する１以上のユーザのバイタル情報とを用いて、前記評価情報を取得する請求項５記載の情報処理装置。
  7. ユーザが発話していないタイミングにおけるバイタル情報が、着目条件に合致するか否かを判断する判断部と、
    前記判断部が前記着目条件に合致すると判断した前記バイタル情報に対する第一ユーザ識別子と、当該タイミングにおける発話者の第二ユーザ識別子とを対応付ける関係情報を取得する関係検出部と、
    前記関係情報を出力する関係出力部とをさらに具備する請求項１記載の情報処理装置。
  8. 前記関係出力部は、
    前記関係情報を前記タイミングにおける画像または前記バイタル情報に対応付けて出力する請求項７記載の情報処理装置。
  9. 前記１以上のユーザの前記バイタル情報を統計処理し、処理結果を取得する統計処理部と、
    前記処理結果を出力する結果出力部とをさらに具備する請求項１記載の情報処理装置。
  10. 前記バイタル情報は、ユーザ識別子に対応付いており、
    前記統計処理部は、
    ユーザ識別子ごと、またはユーザ識別子と対になるユーザ属性値ごとに、前記バイタル情報を統計処理し、処理結果を取得する請求項９記載の情報処理装置。
  11. 前記ウェブ会議中の２以上の各ユーザのユーザ領域を含む画面画像を出力する画面出力部と、
    前記情報取得部が取得した前記バイタル情報が、着目条件に合致するか否かを判断する判断部をさらに具備し、
    前記画面出力部は、
    前記判断部が前記着目条件に合致すると判断した前記バイタル情報に対応するユーザのユーザ領域を他のユーザのユーザ領域と視覚的に区別可能な態様の画面を出力する請求項１から請求項１０いずれか一項に記載の情報処理装置。
  12. バイタル情報またはバイタル情報の処理結果または会話テキストである付加情報に関する検索条件を受け付ける検索受付部と、
    前記蓄積部が蓄積した蓄積画像の中で、前記検索条件に合致する付加情報に対応付く蓄積画像を検知し、当該蓄積画像または当該蓄積画像から取得される画像を出力する検索部とをさらに具備する請求項１から請求項１１いずれか一項に記載の情報処理装置。
  13. 前記バイタル情報は、呼吸、体温、血圧、意識レベル、心拍変動、交感神経、副交感神経、またはＬＦ（低周波）／ＨＦ（高周波）である請求項１から請求項１２いずれか一項に記載の情報処理装置。
  14. 情報受信部と、バイタル取得部と、蓄積画像取得部と、蓄積部とにより実現される情報処理方法であって、
    前記情報受信部が、ウェブ会議中の２以上の各ユーザの各ユーザ端末から送信された画像を含むユーザ情報を、順次、受信する情報受信ステップと、
    前記バイタル取得部が、前記情報受信ステップで受信された２以上のユーザ中の１以上の各ユーザのバイタル情報を取得するバイタル取得ステップと、
    前記蓄積画像取得部が、前記２以上の各ユーザ端末から受信された画像または当該２以上の画像に基づく画像である蓄積画像を取得する蓄積画像取得ステップと、
    前記蓄積部が、前記情報取得ステップで取得された前記１以上の各ユーザのバイタル情報を含む付加情報を、前記蓄積画像取得ステップで取得された前記蓄積画像に対応付けて蓄積する蓄積ステップとを具備する情報処理方法。
  15. コンピュータを、
    ウェブ会議を行う２以上の各ユーザの各ユーザ端末から送信された画像を含むユーザ情報を受信する情報受信部と、
    前記ウェブ会議を行う前記２以上のユーザ中の１以上の各ユーザのバイタル情報を取得するバイタル取得部と、
    前記２以上の各ユーザ端末から送信された画像または当該２以上の画像に基づく画像である蓄積画像を取得する蓄積画像取得部と、
    前記情報取得部が取得した前記１以上の各ユーザのバイタル情報を含む付加情報を、前記蓄積画像取得部が取得した前記蓄積画像に対応付けて蓄積する蓄積部として機能させるためのプログラムを記録した記録媒体。
PCT/JP2022/035322 2021-12-07 2022-09-22 情報処理装置、情報処理方法、および記録媒体 WO2023105887A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021198502A JP7179384B1 (ja) 2021-12-07 2021-12-07 サーバ、情報処理方法、およびプログラム
JP2021-198502 2021-12-07
JP2022-129221 2022-08-15
JP2022129221A JP2024025880A (ja) 2022-08-15 2022-08-15 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2023105887A1 true WO2023105887A1 (ja) 2023-06-15

Family

ID=86730110

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035322 WO2023105887A1 (ja) 2021-12-07 2022-09-22 情報処理装置、情報処理方法、および記録媒体

Country Status (1)

Country Link
WO (1) WO2023105887A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268395A (ja) * 2005-03-24 2006-10-05 Fuji Xerox Co Ltd 情報処理装置、情報処理方法及びプログラム
JP2006268561A (ja) * 2005-03-24 2006-10-05 Communication Bridge:Kk 通訳管理システム
JP2017120366A (ja) * 2015-12-28 2017-07-06 大和ハウス工業株式会社 映像表示装置及び映像表示方法
JP2018063352A (ja) * 2016-10-13 2018-04-19 キヤノン株式会社 フレーム選択装置、フレーム選択方法及びプログラム
JP2020121022A (ja) * 2019-01-31 2020-08-13 パナソニックＩｐマネジメント株式会社 生体情報モニタリング方法および生体情報モニタリングシステム
JP2022056108A (ja) * 2020-09-29 2022-04-08 ソフトバンク株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
JP2022059140A (ja) * 2020-10-01 2022-04-13 株式会社Agama-X 情報処理装置及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268395A (ja) * 2005-03-24 2006-10-05 Fuji Xerox Co Ltd 情報処理装置、情報処理方法及びプログラム
JP2006268561A (ja) * 2005-03-24 2006-10-05 Communication Bridge:Kk 通訳管理システム
JP2017120366A (ja) * 2015-12-28 2017-07-06 大和ハウス工業株式会社 映像表示装置及び映像表示方法
JP2018063352A (ja) * 2016-10-13 2018-04-19 キヤノン株式会社 フレーム選択装置、フレーム選択方法及びプログラム
JP2020121022A (ja) * 2019-01-31 2020-08-13 パナソニックＩｐマネジメント株式会社 生体情報モニタリング方法および生体情報モニタリングシステム
JP2022056108A (ja) * 2020-09-29 2022-04-08 ソフトバンク株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
JP2022059140A (ja) * 2020-10-01 2022-04-13 株式会社Agama-X 情報処理装置及びプログラム

Similar Documents

Publication Publication Date Title
US10448887B2 (en) Biometric customer service agent analysis systems and methods
JP7036046B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP7285589B2 (ja) 対話型健康状態評価方法およびそのシステム
CN105407794A (zh) 利用习惯的诊断装置和诊断管理装置及利用其的诊断方法
CN109460752A (zh) 一种情绪分析方法、装置、电子设备及存储介质
US20110201959A1 (en) Systems for inducing change in a human physiological characteristic
US9164995B2 (en) Establishing usage policies for recorded events in digital life recording
KR20180017821A (ko) 실시간 시청자 반응을 전달하는 방송 서비스 장치
JP6432177B2 (ja) 対話型通信システム、端末装置およびプログラム
US10978209B2 (en) Method of an interactive health status assessment and system thereof
CN109599127A (zh) 信息处理方法、信息处理装置以及信息处理程序
US20180240458A1 (en) Wearable apparatus and method for vocabulary measurement and enrichment
US20190008466A1 (en) Life log utilization system, life log utilization method, and recording medium
CN108334764A (zh) 一种对人员进行多重识别的机器人云操作系统
KR20140032651A (ko) 감성 피드백 서비스 방법 및 이를 적용한 스마트 디바이스
KR20170004479A (ko) 온라인 기반의 금연 클리닉 서비스 방법 및 그 시스템
WO2023105887A1 (ja) 情報処理装置、情報処理方法、および記録媒体
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
JP2024025880A (ja) 情報処理装置、情報処理方法、およびプログラム
Arnaert et al. Effectiveness of video-telephone nursing care for the homebound elderly
CN112750518A (zh) 一种基于心理行为特征识别的谈话（询问）方法
US20130030829A1 (en) Method and device for processing state data of a patient
WO2012090661A1 (ja) 情報提供装置、記憶媒体、および、情報提供方法
CN111839552A (zh) 一种基于5G+AIoT的智能身心精神状态识别器
JP5525635B1 (ja) 情報処理装置およびその方法、ならびにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22903821

Country of ref document: EP

Kind code of ref document: A1