WO2021171450A1 - サーバ装置、会議支援システム、会議支援方法及び記憶媒体 - Google Patents

サーバ装置、会議支援システム、会議支援方法及び記憶媒体 Download PDF

Info

Publication number
WO2021171450A1
WO2021171450A1 PCT/JP2020/007890 JP2020007890W WO2021171450A1 WO 2021171450 A1 WO2021171450 A1 WO 2021171450A1 JP 2020007890 W JP2020007890 W JP 2020007890W WO 2021171450 A1 WO2021171450 A1 WO 2021171450A1
Authority
WO
WIPO (PCT)
Prior art keywords
participant
conference
server device
information
profile
Prior art date
Application number
PCT/JP2020/007890
Other languages
English (en)
French (fr)
Inventor
真 則枝
健太 福岡
匡史 米田
翔悟 赤崎
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/007890 priority Critical patent/WO2021171450A1/ja
Priority to JP2021523325A priority patent/JP7218802B2/ja
Priority to US17/797,499 priority patent/US20230048703A1/en
Publication of WO2021171450A1 publication Critical patent/WO2021171450A1/ja
Priority to JP2023009261A priority patent/JP2023033634A/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Definitions

  • the present invention relates to a server device, a conference support system, a conference support method, and a program.
  • Patent Document 1 describes that the content of the meeting is capitalized and the operation of the meeting is streamlined.
  • the conference support system disclosed in Patent Document 1 includes an image recognition unit.
  • the image recognition unit recognizes the image of each attendee from the video data acquired by the video conferencing device by the image recognition technology.
  • the system includes a voice recognition unit.
  • the voice recognition unit acquires the voice data of each attendee acquired by the video conferencing device, and compares the voice data with the characteristic information of the voice of each attendee registered in advance. Further, the voice recognition unit identifies the speaker of each remark in the voice data based on the movement information of each attendee.
  • the conference support system includes a timeline management unit that outputs the voice data of each attendee acquired by the voice recognition unit as a timeline in chronological order of remarks.
  • video conferencing is actively held.
  • business cards are exchanged between the parties. Participants can obtain information about the person from the acquired business card.
  • a main object of the present invention is to provide a server device, a conference support system, a conference support method, and a program that contribute to the ability of conference participants to easily obtain information about other participants.
  • the acquisition unit that acquires the profile of each of the plurality of users who use the conference support system, and the first participant among the plurality of users who participates in the conference.
  • a server device is provided that comprises an information providing unit that provides a profile of a second participant participating in the same conference as the conference in which the first participant is attending.
  • the server device includes a second terminal used by the participants and a server device, and the server device acquires profiles of each of a plurality of users who use the system, with respect to an acquisition unit and the first terminal.
  • a conference support system comprising an information providing unit that provides a profile of the second participant is provided.
  • the profile of each of the plurality of users who use the conference support system is acquired, and the first participant among the plurality of users who participates in the conference.
  • a conference support method is provided that provides a profile of a second participant participating in the same conference as the conference in which the first participant is attending.
  • a computer-readable storage medium for storing the data is provided.
  • a server device a conference support system, a conference support method and a program are provided, which contribute to the ability of conference participants to easily obtain information about other participants.
  • the effect of the present invention is not limited to the above. According to the present invention, other effects may be produced in place of or in combination with the effect.
  • the server device 100 includes an acquisition unit 101 and an information providing unit 102 (see FIG. 1).
  • the acquisition unit 101 acquires the profiles of each of the plurality of users who use the conference support system.
  • the information providing unit 102 refers to the first participant who is participating in the conference among a plurality of users, and the second participant who is participating in the same conference as the conference in which the first participant is participating. Provide a profile about the person.
  • the server device 100 acquires a user profile in advance and registers it in a database, for example. For example, when a participant requests information about another participant, the server device 100 reads necessary information from the database and provides the information to the requester of the information provision. As a result, even if the participants meet each other for the first time, the participants can easily obtain information about other participants.
  • FIG. 2 is a diagram showing an example of a schematic configuration of the conference support system according to the first embodiment.
  • a video conference is held by connecting a plurality of bases.
  • Meeting room terminals are installed in the meeting rooms of each base.
  • the conference room terminals 10-1 to 10-4 are installed in the conference room of the base A.
  • the conference room terminals 10-5 to 10-8 are installed in the conference room of the base B.
  • conference room terminal 10 In the following description, unless there is a particular reason for distinguishing the conference room terminals 10-1 to 10-8, it is simply referred to as "conference room terminal 10".
  • the conference room at each base is equipped with a camera device that can acquire a bird's-eye view of the entire conference room and a speaker that outputs the sound of the other party.
  • Each of the plurality of conference room terminals 10 and the server device 20 are connected by a wired or wireless communication means, and are configured to be able to communicate with each other.
  • the server device 20 may be installed at either the base A or the base B, or may be installed on the network (on the cloud) as shown in FIG.
  • FIG. 2 is an example and does not mean to limit the number of bases participating in the video conference or the number of conference room terminals 10 and the like. Further, in the following embodiments, a conference support system that supports a video conference connecting a plurality of bases will be mainly described. However, the conference targeted by the conference support system disclosed in the present application is not limited to video conferencing, and conferences held in the same conference room may be targeted for support.
  • the conference room terminal 10 is a terminal installed in each seat of the conference room. Participants hold a meeting while operating the terminal and displaying necessary information and the like.
  • the conference room terminal 10 has a camera function and is configured to be able to take an image of a seated participant. Further, the conference room terminal 10 is configured to be connectable to a microphone (for example, a pin microphone or a wireless microphone).
  • the microphone collects the voices of the participants seated in front of each of the conference room terminals 10. It is desirable that the microphone connected to the conference room terminal 10 is a microphone having strong directivity. This is because it is sufficient that the voice of the user wearing the microphone is collected, and the voice of another person does not need to be collected.
  • the server device 20 is a device that supports the conference.
  • the server device 20 supports a meeting, which is a place for decision making and a place for idea generation.
  • the server device 20 realizes a video conference held at a plurality of bases.
  • the server device 20 transmits data (packets) related to audio and video acquired from one base to another base. For example, in the example of FIG. 2, the audio and video acquired from the base A are transmitted to the base B.
  • the server device 20 transmits video data overlooking one base to the other base.
  • the video data may be displayed on the conference room terminal 10 used by each participant, or may be projected by a projector or the like.
  • the server device 20 transmits the voice data (voice data acquired from the conference room terminal 10) acquired from one base to the other base.
  • the audio data may be output from a speaker installed in the conference room, or may be output from each conference room terminal 10.
  • the server device 20 realizes the existing video conferencing system. It should be noted that existing technology can be used to realize the video conferencing system by the server device 20. Therefore, in the following description, the description regarding the realization and implementation of the video conferencing system will be omitted.
  • the server device 20 has a function of providing detailed information of participants (attribute information of participants). For example, when there are four participants in the video conference as shown in FIG. 2, the server device 20 displays the information of the other three people on the conference room terminal 10 operated by each participant.
  • the server device 20 supports a conference (video conference) by providing information on other participants.
  • conference video conference
  • detailed information of the participants attribute information such as face image and name
  • profile information profile information
  • the screen as shown in FIG. 3 is displayed on the conference room terminal 10-1 used by the participant U1 shown in FIG.
  • a screen overlooking the base B is displayed at the upper part (main area) of the display area.
  • profile information of other participants is displayed at the bottom of the display area (sub area; area surrounded by a dotted line).
  • the profile information of the participants who participate in the video conference at the same base and the profile information of the participants who participate in the video conference at other bases are displayed.
  • Participants operate the conference room terminal 10 in front of them and input to the server device 20 that they want to view the participant profile information.
  • the conference room terminal 10 that has received the operation transmits a "profile provision request" to the server device 20.
  • the server device 20 transmits data (information) capable of displaying as shown in FIG. 3 to the conference room terminal 10.
  • the display screen shown in FIG. 3 is an example and does not mean to limit the contents to be displayed, the layout, or the like.
  • the profile information of a participant who participates in a video conference from the same base may not be displayed, and when displaying the profile information, the main area at the upper part of the display area may not be displayed.
  • the content to be displayed as the profile of the participant is not limited to FIG. 3, and other information (for example, work location, etc.) may be displayed.
  • the user registers the attribute values such as his / her own biometric information (face image) and profile in the system. Specifically, the user inputs the face image to the server device 20. In addition, the user inputs his / her profile (for example, information such as name, employee number, place of work, department, job title, contact information, etc.) into the server device 20.
  • face image a biometric information
  • profile for example, information such as name, employee number, place of work, department, job title, contact information, etc.
  • a user uses a terminal such as a smartphone to capture an image of his / her face. Further, the user uses the terminal to generate a text file or the like in which the profile is described. The user operates the terminal to transmit the above information (face image, profile) to the server device 20.
  • the user may input necessary information to the server device 20 by using an external storage device such as USB (Universal Serial Bus) in which the above information is stored.
  • USB Universal Serial Bus
  • the server device 20 has a function as a WEB (web) server, and the user may enter necessary information using the form provided by the server.
  • a terminal for inputting the above information may be installed in each conference room, and the user may input necessary information into the server device 20 from the terminal installed in the conference room.
  • the server device 20 updates the database that manages system users using the acquired user information (biological information, profile, etc.). The details of updating the database will be described later, but the server device 20 updates the database by the following operations.
  • the database for managing the users who use the system disclosed in the present application will be referred to as "user database”.
  • the server device 20 When the person corresponding to the acquired user information is a new user who is not registered in the user database, the server device 20 assigns an ID (Identifier) to the user. In addition, the server device 20 generates a feature amount that characterizes the acquired face image.
  • ID Identifier
  • the server device 20 adds an entry including an ID assigned to a new user, a feature amount generated from the face image, a user's face image, a profile, and the like to the user database.
  • the server device 20 registers the user information, the participants in the conference can use the conference support system shown in FIG.
  • FIG. 4 is a diagram showing an example of a processing configuration (processing module) of the server device 20 according to the first embodiment.
  • the server device 20 includes a communication control unit 201, a user registration unit 202, a participant identification unit 203, a profile information providing unit 204, and a storage unit 205.
  • the communication control unit 201 is a means for controlling communication with other devices. Specifically, the communication control unit 201 receives data (packets) from the conference room terminal 10. Further, the communication control unit 201 transmits data to the conference room terminal 10. The communication control unit 201 delivers the data received from the other device to the other processing module. The communication control unit 201 transmits the data acquired from the other processing module to the other device. In this way, the other processing module transmits / receives data to / from the other device via the communication control unit 201.
  • the user registration unit 202 is a means for realizing the above-mentioned system user registration.
  • the user registration unit 202 acquires at least the profiles of each of the plurality of users who use the conference support system.
  • the user registration unit 202 includes a plurality of submodules.
  • FIG. 5 is a diagram showing an example of the processing configuration of the user registration unit 202. Referring to FIG. 5, the user registration unit 202 includes a user information acquisition unit 211, an ID generation unit 212, a feature amount generation unit 213, and an entry management unit 214.
  • the user information acquisition unit 211 is a means for acquiring the user information described above.
  • the user information acquisition unit 211 acquires biometric information (face image) and profile (name, affiliation, etc.) of each system user.
  • the system user may input the above information into the server device 20 from a terminal such as a smartphone, or may directly operate the server device 20 to input the above information.
  • the user information acquisition unit 211 may provide a GUI (Graphical User Interface) or a form for inputting the above information. For example, the user information acquisition unit 211 displays an information input form as shown in FIG. 6 on a terminal operated by the user.
  • GUI Graphic User Interface
  • the system user inputs the information shown in FIG.
  • the system user selects whether to newly register the user in the system or update the already registered information. After inputting all the information, the system user presses the "send” button and inputs the biometric information, profile, etc. into the server device 20.
  • the user information acquisition unit 211 stores the acquired user information in the storage unit 205.
  • the ID generation unit 212 is a means for generating an ID to be assigned to the system user.
  • the ID generation unit 212 generates a user ID that identifies each of the plurality of system users. More specifically, when the user information input by the system user is information related to new registration, the ID generation unit 212 generates an ID for identifying the new user. For example, the ID generation unit 212 may calculate the hash value of the acquired user information (face image, profile) and use the hash value as an ID to be assigned to the user. Alternatively, the ID generation unit 212 may assign a unique value as an ID each time the user is registered. In the following description, the ID (ID for identifying the system user) generated by the ID generation unit 212 will be referred to as a “user ID”.
  • the feature amount generation unit 213 is a means for generating a feature amount (feature vector composed of a plurality of feature amounts) that characterizes the face image from the face image included in the user information. Specifically, the feature amount generation unit 213 extracts feature points from the acquired face image. Since an existing technique can be used for the feature point extraction process, a detailed description thereof will be omitted. For example, the feature amount generation unit 213 extracts eyes, nose, mouth, and the like as feature points from the face image. After that, the feature amount generation unit 213 calculates the position of each feature point and the distance between each feature point as a feature amount, and generates a feature vector composed of a plurality of feature amounts.
  • the entry management unit 214 is a means for managing entries in the user database. When registering a new user in the database, the entry management unit 214 puts an entry including the generated user ID, the generated feature amount, the face image acquired from the user's terminal, and the profile in the user database. to add.
  • the entry management unit 214 When updating the user information already registered in the user database, the entry management unit 214 identifies the entry for updating the information by the employee number or the like, and uses the acquired user information in the user database. To update. At that time, the entry management unit 214 may update the difference between the acquired user information and the information registered in the database, or may overwrite each item in the database with the acquired user information. Similarly, regarding the feature amount, the entry management unit 214 may update the database when there is a difference in the generated feature amount, or overwrite the existing feature amount with the newly generated feature amount. You may.
  • the user registration unit 202 builds a user database as shown in FIG. 7, for example.
  • the content registered in the user database shown in FIG. 7 is an example, and it is of course not intended to limit the information registered in the user database.
  • the "feature amount" does not have to be registered in the user database if necessary. That is, the feature amount can be calculated if the face image exists, and the feature amount may be calculated as needed.
  • the participant identification unit 203 is a means for identifying the participants (participants in the video conference among the users registered in the system) who are participating in the conference. Participant identification unit 203 acquires a face image from the conference room terminal 10 in which the participant is seated among the conference room terminals 10 installed in the conference room. Participant identification unit 203 calculates the feature amount from the acquired face image.
  • Participant identification unit 203 sets a feature amount calculated based on a face image acquired from the conference room terminal 10 as a collation target, and performs collation processing with the feature amount registered in the user database. More specifically, the participant identification unit 203 sets the above-calculated feature amount (feature vector) as a collation target, and sets one-to-N (N) with a plurality of feature vectors registered in the user database. Is a positive integer, the same applies below) Performs matching.
  • Participant identification unit 203 calculates the degree of similarity between the feature amount to be collated and each of the plurality of feature amounts on the registration side. For the similarity, a chi-square distance, an Euclidean distance, or the like can be used. The farther the distance is, the lower the similarity is, and the shorter the distance is, the higher the similarity is.
  • Participant identification unit 203 identifies a feature amount having a similarity with a predetermined value or more and having the highest degree of similarity among a plurality of feature amounts registered in the user database. ..
  • Participant identification unit 203 reads out the user ID corresponding to the feature amount obtained as a result of the one-to-N collation from the user database.
  • Participant identification unit 203 repeats the above processing for the face images acquired from each of the conference room terminals 10, and identifies the user ID corresponding to each face image. Participant identification unit 203 generates a participant list by associating the specified user ID, the ID of the conference room terminal 10 which is the source of the face image, and the base of the participant. As the ID of the conference room terminal 10, a MAC (Media Access Control) address or an IP (Internet Protocol) address of the conference room terminal 10 can be used.
  • MAC Media Access Control
  • IP Internet Protocol
  • a participant list as shown in FIG. 8 is generated.
  • the code assigned to the conference room terminal 10 is described as the conference room terminal ID.
  • the "participant ID" included in the participant list is a user ID registered in the user database.
  • the server device 20 uses the conference room terminal ID to perform each. It is possible to grasp from which base the participants are participating in the video conference.
  • the profile information providing unit 204 is a means for providing the participants of the video conference with profile information regarding other participants.
  • the profile information providing unit 204 tells one participant who is participating in the conference among a plurality of system users that the other participant who is participating in the same conference as the one participant is participating in. Provide a profile about the person.
  • the profile information providing unit 204 processes the "profile providing request" acquired from the conference room terminal 10. Specifically, the profile information providing unit 204 identifies the conference room terminal ID of the source of the request. The profile information providing unit 204 refers to the participant list and identifies the participant who made the request from the specified conference room terminal ID.
  • the profile information providing unit 204 identifies a participant ID included in the participant list and other than the participant who sent the profile providing request. For example, in the example of FIG. 8, when the profile provision request is transmitted from the conference room terminal 10-1, the participant IDs of ID02 to ID04 are specified.
  • the profile information providing unit 204 refers to the user database and extracts (collects) the information to be transmitted as the participant profile information from each field of the entry corresponding to the specified participant ID. For example, as shown in FIG. 3, when the participant's "face image”, “name”, “affiliation” and “post” are displayed as profile information, the profile information providing unit 204 uses such information. Read from the database.
  • the profile information providing unit 204 may read the registered values (attribute values such as name) of all the fields registered in the user database from the database so that the information can be selected by the conference room terminal 10. ..
  • the profile information providing unit 204 transmits a response including the read information (a response to the profile providing request) to the conference room terminal 10 which is the transmission source of the request.
  • the storage unit 205 is a means for storing information necessary for the operation of the server device 20.
  • FIG. 9 is a diagram showing an example of a processing configuration (processing module) of the conference room terminal 10.
  • the conference room terminal 10 includes a communication control unit 301, a face image acquisition unit 302, a voice transmission unit 303, a profile information request unit 304, a profile information output unit 305, and a storage unit 306. To be equipped.
  • the communication control unit 301 is a means for controlling communication with other devices. Specifically, the communication control unit 301 receives data (packets) from the server device 20. Further, the communication control unit 301 transmits data to the server device 20. The communication control unit 301 delivers the data received from the other device to the other processing module. The communication control unit 301 transmits the data acquired from the other processing module to the other device. In this way, the other processing module transmits / receives data to / from the other device via the communication control unit 301.
  • the face image acquisition unit 302 is a means for controlling the camera device and acquiring the face image (biological information) of the participant seated in front of the own device.
  • the face image acquisition unit 302 images the front of the own device at regular intervals or at a predetermined timing.
  • the face image acquisition unit 302 determines whether or not the acquired image includes a human face image, and if the acquired image includes a face image, extracts the face image from the acquired image data.
  • the face image acquisition unit 302 transmits the set of the extracted face image and the ID (conference room terminal ID; for example, IP address) of the own device to the server device 20.
  • the face image acquisition unit 302 may extract a face image (face region) from the image data by using a learning model learned by CNN (Convolutional Neural Network).
  • the face image acquisition unit 302 may extract the face image by using a technique such as template matching.
  • the voice transmission unit 303 is a means for acquiring the voice of the participant and transmitting the acquired voice to the server device 20.
  • the voice transmission unit 303 acquires a voice file related to the voice collected by the microphone (for example, a pin microphone).
  • the audio transmission unit 303 acquires an audio file encoded in a format such as a WAV file (WaveformAudioFile).
  • the voice transmission unit 303 analyzes the acquired voice file, and when the voice file includes a voice section (a section that is not silent; a participant's remark), the server device 20 uses the voice file including the voice section. Send to. At that time, the voice transmission unit 303 transmits the ID (meeting room terminal ID) of the own device together with the voice file to the server device 20.
  • a voice section a section that is not silent; a participant's remark
  • the voice transmission unit 303 may attach the conference room terminal ID to the voice file acquired from the microphone and transmit it to the server device 20 as it is.
  • the audio file acquired by the server device 20 may be analyzed and the audio file including the audio may be extracted.
  • the voice transmission unit 303 extracts a voice file (a voice file that is not silent) including the participant's remarks by using the existing "voice detection technology". For example, the voice transmission unit 303 detects voice using a voice parameter sequence or the like modeled by a hidden Markov model (HMM; Hidden Markov Model).
  • HMM hidden Markov model
  • the profile information request unit 304 is a means for generating the "profile provision request" described above in response to the operation of the participant and transmitting the request to the server device 20. For example, the profile information request unit 304 generates a GUI for participants to input information. For example, the profile information requesting unit 304 displays a screen as shown in FIG. 10 on the display.
  • the profile information requesting unit 304 transmits a profile providing request including the ID (meeting room terminal ID) of the own device to the server device 20.
  • the profile information request unit 304 acquires a response to the above request from the server device 20.
  • the profile information request unit 304 delivers the acquired response to the profile information output unit 305.
  • the profile information output unit 305 is a means for outputting participant profile information regarding other participants based on the response obtained from the server device 20. For example, the profile information output unit 305 uses the information acquired from the server device 20 to perform the display as shown in FIG.
  • the profile information output unit 305 may display as shown in FIG. With reference to FIG. 11, the profile information output unit 305 performs a simple display for each participant in the sub-area indicated by the dotted line.
  • the profile information output unit 305 may display more detailed information of the selected person in the main area for the person selected by the participant (the person surrounded by the alternate long and short dash line in FIG. 11).
  • the server device 20 transmits more detailed information about each participant to the conference room terminal 10.
  • the profile information output unit 305 may be provided with a button or the like for switching the items to be displayed, and the displayed contents may be changed according to the pressing of the button.
  • the profile information output unit 305 may display the profile on the photograph of the participant's face.
  • the profile information output unit 305 may display a profile such as Augmented Reality (AR) on the face photograph.
  • AR Augmented Reality
  • the profile information output unit 305 may emphasize the profile of the participant who is speaking (for example, enlarge the profile of the participant, enclose it with a dotted line, or the like).
  • the profile information output unit 305 may highlight the profile according to the attributes of other participants (for example, when the participant is a person outside the company, an executive, or the like).
  • the profile information output unit 305 may display a profile with a link regarding the contact information of other participants. Participants may use the link to contact the other person.
  • the profile information output unit 305 may select a profile and display a "register" button or the like for registering the selected profile in the contact book.
  • the storage unit 306 is a means for storing information necessary for the operation of the conference room terminal 10.
  • FIG. 12 is a sequence diagram showing an example of the operation of the conference support system according to the first embodiment. Note that FIG. 12 is a sequence diagram showing an example of system operation when a conference is actually being held. Prior to the operation shown in FIG. 12, it is assumed that the system user has been registered in advance.
  • the conference room terminal 10 acquires the face image of the seated person and transmits it to the server device 20 (step S01).
  • the server device 20 identifies the participants using the acquired face image (step S11).
  • the server device 20 identifies a participant of the conference among a plurality of system users registered in advance by a collation process using a face image acquired from the participant and a face image registered in the user database. More specifically, the server device 20 sets the feature amount calculated from the acquired face image as the feature amount on the collation side, and sets a plurality of feature amounts registered in the user database as the feature amount on the registration side, respectively. Performs N-to-N matching.
  • the server device 20 repeats the collation for each participant in the conference (meeting room terminal 10 used by the participant) to generate a participant list.
  • the conference room terminal 10 transmits a "profile provision request" to the server device 20 in response to the input (step S02).
  • the server device 20 refers to the user database and acquires the facial images, profiles, etc. of the participants participating in the conference. After that, the server device 20 transmits a response including the acquired face image, profile, and the like to the conference room terminal 10 (step S12).
  • the conference room terminal 10 outputs the participant profile information based on the acquired response (step S03).
  • the server device 20 includes a user database that stores the user ID, the user's face image, and the profile generated by the ID generation unit 212 in association with each other.
  • the profile information providing unit 204 of the server device 20 acquires the face image and profile of the participant from the user database by using the user ID of the participant participating in the conference.
  • the server device 20 transmits the acquired face image and profile to the conference room terminal 10 used by the participants. As a result, even if the participants meet each other for the first time, if the participants operate the conference room terminal 10 in front of them and send a profile provision request of the other participants to the server device 20, information about the other participants can be obtained. Can be easily obtained.
  • the second embodiment a case where a plurality of attribute values (setting values) are allowed for all or some of the items input by the user as a profile will be described. For example, assuming a case where the system user concurrently serves as a company employee and a university professor, the second embodiment will be described. In the second embodiment, a case where the optimum attribute value is automatically selected from the plurality of attribute values when the participant profile information is displayed on the conference room terminal 10 will be described.
  • the first participant uses the first terminal (for example, the conference room terminal 10-1), and the second participant uses the second terminal (for example, the conference room terminal 10-5).
  • the user registration unit 202 of the server device 20 can acquire a plurality of attribute values for the same item with respect to the profile of the system user.
  • the user information acquisition unit 211 of the user registration unit 202 displays an information input form as shown in FIG. 13 on a terminal operated by the user.
  • the system user for example, if he / she belongs to a different organization (company, university, etc.), inputs information about each organization. After inputting all the information, the system user presses the "send” button and inputs the biometric information, profile, etc. into the server device 20.
  • the user information acquisition unit 211 stores the acquired user information in the storage unit 205.
  • the entry management unit 214 of the user registration unit 202 adds an entry including a profile acquired from the user to the user database. As a result, a user database as shown in FIG. 14 is constructed.
  • the profile information providing unit 204 When the profile information providing unit 204 receives the profile providing request, it generates a response to the profile providing request. At that time, the profile information providing unit 204 starts from a plurality of attribute values when a plurality of attribute values are set for the same item (same type of item) among the items forming the profile registered in the user database. Select the optimal attribute value and include it in the response to the above request.
  • the profile information providing unit 204 selects either one of the affiliated organizations 1 and 2 and one of the affiliated departments 1 and 2 when generating profile information about the user of ID01.
  • the profile information providing unit 204 selects the optimum attribute value from a plurality of attribute values set for the same item based on various criteria and rules.
  • the profile information providing unit 204 may select the optimum attribute value based on the day of the week when the meeting is held.
  • the profile information providing unit 204 may select the optimum attribute value according to the purpose of the meeting. For example, when making a profile provision request, the participant inputs the purpose of the meeting into the server device 20. For example, the conference room terminal 10 may display an item for inputting "the purpose of the conference" in the GUI shown in FIG. The administrator or the like inputs (registers) the relationship between the purpose of the meeting and the attribute value to be selected in the server device 20 as table information in advance.
  • the profile information providing unit 204 may select the optimum attribute value from conversations between participants.
  • the profile information providing unit 204 analyzes the voice acquired from the conference room terminal 10 and determines the purpose of the conversation. Specifically, the profile information providing unit 204 extracts a keyword from the remarks of the participants and calculates the remark frequency of the extracted keyword. The profile information providing unit 204 determines that the keywords with high frequency of remarks clearly indicate the purpose of the conversation, and determines the purpose of the meeting.
  • the administrator or the like inputs the keyword extracted by the profile information providing unit 204 into the server device 20 in advance. Further, the administrator or the like inputs in advance the table information in which the keyword having a high frequency of speech is associated with the purpose of the meeting and the table information in which the purpose of the meeting is associated with the attribute value to be selected.
  • the remark speech
  • the explanation of the text conversion unit 222 described later can be referred to.
  • the profile information providing unit 204 may determine the attribute value to be selected from the profile of the participant. For example, the profile information providing unit 204 may select the same attribute value as the attribute value of the requester for providing information. For example, in the example of FIG. 14, the organizations to which the users ID01, ID03 and ID04 belong are the same. When these users participate in the same conference and obtain an information provision request from the ID03 participant, the profile information providing unit 204 and the ID03 participant when selecting the organization to which the ID01 participant belongs. Select the same organization.
  • the server device 20 selects the optimum attribute value from a plurality of attribute values related to the same item. Further, the server device 20 improves the convenience by presenting the selected attribute value to the participants in the conference room terminal 10.
  • the conference room terminal 10 may display a plurality of attribute values.
  • the profile information providing unit 204 may give priority to each of the plurality of attribute values and transmit the information to the conference room terminal 10.
  • the profile information providing unit 204 sets the priority of the attribute value selected by the method as described above to be high.
  • the server device 20 transmits a response including a profile including the attribute value to which the priority is given to the conference room terminal 10.
  • the conference room terminal 10 may display the acquired plurality of attribute values and display the attribute values having a high priority so as to emphasize them.
  • the server device 20 has described the case where at least one or more attribute values are automatically selected from the plurality of attribute values of the same item, but the automatic selection may be performed by the conference room terminal 10.
  • the server device 20 may transmit the attribute values of all the fields of the conference participants registered in the user database to the conference room terminal 10.
  • the server device 20 may link the selection of the attribute value. For example, when "university" is selected as the attribute value of the office, the e-mail address of "university" is selected as the attribute value of the contact.
  • the server device 20 when the server device 20 according to the second embodiment acquires the profile of the user, the server device 20 has a plurality of attribute values (for example, the company or university where the employee works) for the same item (for example, the organization to which the user belongs). Etc.) can be obtained.
  • the server device 20 selects at least one or more attribute values among the plurality of attribute values, and at least one of the selected attribute values is selected. Provide the attribute value of to the participants. That is, the server device 20 selects the optimum attribute value from the plurality of attribute values related to the same item and provides it to the participants. Therefore, the participants can accurately recognize the affiliations of other participants and can have more appropriate discussions.
  • the conference room terminal 10 displays the remarks together with the photograph of the participant's face as shown in FIG. At that time, the conference room terminal 10 provides an interface in which the participant inputs the statement to the conference room terminal 10 when he / she agrees with the remarks of the other participants. For example, the conference room terminal 10 displays an "agreement button" as shown in FIG. 15, and by pressing the button, the participants' opinions on the remarks of others are obtained.
  • the server device 20 generates statistical information of opinions regarding the remarks of others for each participant, includes the generated statistical information in the response to the "profile provision request", and transmits the generated statistical information to the conference room terminal 10.
  • statistical information regarding the opinions of participants regarding the remarks of others will be referred to as "participant opinion statistical information”.
  • the server device 20 generates the ratio (agreement rate) of the remarks agreed by each participant to the remarks of the participant U1 (the remarks throughout the conference) as the participant opinion statistical information.
  • the conference room terminal 10 uses the received response to display as shown in FIG. Participants who come into contact with the display as shown in FIG. 16 can know the opinions (opinions) of other participants regarding their own remarks.
  • Participants who come into contact with the display as shown in FIG. 16 can know the opinions (opinions) of other participants regarding their own remarks.
  • the conference support by the server device 30 according to the third embodiment allows the participants to know the opinions of other participants regarding their own remarks.
  • FIG. 17 is a diagram showing an example of a processing configuration (processing module) of the conference room terminal 10 according to the third embodiment.
  • the opinion acquisition unit 307 is added to the configuration of the conference room terminal 10 according to the first embodiment.
  • the opinion acquisition unit 307 is a means for acquiring the opinions of the participants (the opinions of the participants who operate their own devices) regarding the remarks of others.
  • the opinion acquisition unit 307 acquires "speaker information" from the server device 20.
  • the details of the speaker information will be described later, but the information includes an ID for specifying the statement (speech ID described later), a photograph of the current speaker's face, the content of the statement, the name of the speaker, and the like.
  • the opinion acquisition unit 307 displays the information included in the speaker information, and generates an interface for the participants to express their opinions on the displayed remarks. For example, the opinion acquisition unit 307 displays an "agreement button" as shown in FIG.
  • the display shown in FIG. 15 is an example, and various forms and formats can be considered for the display by the opinion acquisition unit 307.
  • the opinion acquisition unit 307 may display a button indicating "disagreement” with respect to the statement.
  • the opinion acquisition unit 307 may display a "neutral button” indicating that he / she does not agree or disagree with the statement.
  • the opinion acquisition unit 307 transmits the participant's thoughts (participant's views) to the statements of other participants to the server device 20. Specifically, the opinion acquisition unit 307 uses the statement ID of the statement expressed by the participant, the conference room terminal ID of the own device, and the participant's opinion (for example, agreeing, disagreeing, or neutralizing the statement) as a server device. Send to 20.
  • the information transmitted from the opinion acquisition unit 307 to the server device 20 will be referred to as “participant opinion information”. That is, the information for notifying the server device 20 of one's own thoughts and opinions regarding the remarks of other participants is "participant's opinion information”.
  • the profile information output unit 305 displays profile information based on the response received from the server device. At that time, the profile information output unit 305 displays statistical information (participant opinion statistical information; for example, consent rate for remarks) regarding the opinions of other participants with respect to the remarks of the participant sitting in front of the own device. For example, the profile information output unit 305 performs the display as shown in FIG.
  • FIG. 18 is a diagram showing an example of a processing configuration (processing module) of the server device 20 according to the third embodiment. Referring to FIG. 18, a speaker information transmission unit 206 and a participant opinion management unit 207 are added to the configuration of the server device 20 according to the first embodiment.
  • the speaker information transmitting unit 206 When the speaker information transmitting unit 206 detects a participant's remark, it is a means for generating information (speaker information) related to the remark and transmitting it to the conference room terminal 10. When the speaker information transmitting unit 206 detects a participant's remark, the speaker information transmitting unit 206 transmits the speaker information including at least the content of the remark by the participant to the conference room terminal 10 (terminal other than the conference room terminal 10 used by the speaker). ..
  • Speaker information transmission unit 206 includes a plurality of submodules.
  • FIG. 19 is a diagram showing an example of the processing configuration of the speaker information transmission unit 206.
  • the speaker information transmission unit 206 includes a voice acquisition unit 221, a text conversion unit 222, and an information transmission unit 223.
  • the voice acquisition unit 221 is a means for acquiring the voice of the participant from the conference room terminal 10.
  • the conference room terminal 10 generates an audio file each time a participant makes a statement, and transmits the audio file to the server device 20 together with the ID of its own device (conference room terminal ID).
  • the voice acquisition unit 221 refers to the participant list and identifies the participant ID corresponding to the acquired conference room terminal ID.
  • the voice acquisition unit 221 delivers the specified participant ID and the voice file acquired from the conference room terminal 10 to the text conversion unit 222.
  • the text conversion unit 222 is a means for converting the acquired audio file into text.
  • the text conversion unit 222 converts the content recorded in the voice file into text using the voice recognition technology. Since the text conversion unit 222 can use the existing voice recognition technology, detailed description thereof will be omitted, but the text conversion unit 222 operates as follows.
  • the text conversion unit 222 performs a filter process for removing noise and the like from the audio file. Next, the text conversion unit 222 identifies phonemes from the sound waves of the audio file. Phonemes are the smallest building blocks of a language. The text conversion unit 222 identifies the sequence of phonemes and converts them into words. The text conversion unit 222 creates a sentence from a sequence of words and outputs a text file. Note that during the above filtering process, voices smaller than a predetermined level are deleted, so even if the voice of the neighbor is included in the voice file, a text file is generated from the voice of the neighbor. There is no.
  • the text conversion unit 222 delivers the participant ID and the text file to the information transmission unit 223.
  • the information transmission unit 223 is a means for transmitting speaker information to the conference room terminal 10.
  • the information transmission unit 223 refers to the user database and acquires the name, face image, etc. corresponding to the participant ID acquired from the text conversion unit 222.
  • the information transmission unit 223 generates "speaker information" including the name of the speaker, the face image of the speaker, and the content of the statement (text file of the content of the statement), and transmits the generated speaker information to the conference room terminal 10. do.
  • the information transmission unit 223 includes an ID for identifying the speaker information (hereinafter referred to as a speaker ID) in the speaker information.
  • the information transmission unit 223 transmits speaker information as shown in FIG. 20 to each conference room terminal 10. Any value can be used for the speech ID as long as the information can uniquely identify the speech.
  • the information transmission unit 223 can generate a speech ID by incrementing the value of the speech ID each time the speaker information is generated.
  • the information transmission unit 223 hands over the participant ID, the remark ID, and the remark content (text file) of the speaker to the participant opinion management unit 207.
  • Participant opinion management unit 207 is a means for managing information (participant opinion information) indicating the participant's opinion on the remarks of others. More specifically, the participant opinion management unit 207 manages a database (hereinafter referred to as a participant opinion database) that stores each participant's opinion on the remarks of others.
  • a participant opinion database a database that stores each participant's opinion on the remarks of others.
  • Participant opinion management unit 207 generates the minutes of the meeting based on the participant ID, remark ID, and remark content acquired from the information transmission unit 223 in order to generate and manage the participant opinion database. Specifically, the participant opinion management unit 207 stores the remark time, the participant ID, the remark ID, and the remark content in association with each other. As a result, the minutes as shown in FIG. 21 are generated. In FIG. 21, the participant ID of the speaker is referred to as the “speaker ID”.
  • Participant opinion management unit 207 acquires "participant opinion information" from each conference room terminal 10.
  • the participant opinion management unit 207 reflects the acquired participant opinion information in the minutes. For example, the participant opinion management unit 207 adds to the minutes that the participant agrees with the remarks of others if the participant's opinion is "agree".
  • Participant opinion management unit 207 identifies the remarks that the participants expressed their opinions based on the remark ID (the remark ID included in the participant's opinion information from the remarks included in the minutes).
  • the participant opinion management unit 207 generates table information (participant opinion database) as shown in FIG. 22, for example, by reflecting the opinions of the participants in the specified remarks.
  • the participant opinion database is a database that manages the contents of statements made by participants in association with the opinions of other participants. In FIG. 22, when each participant gives an opinion of "agreement" to the statement, the flag is set ("1" is set).
  • the profile information providing unit 204 When responding to the profile provision request acquired from the conference room terminal 10, the profile information providing unit 204 includes statistical information regarding the opinions (opinions) of others regarding the remarks of the participant who sent the information request. Specifically, the profile information providing unit 204 refers to the participant opinion database and generates "participant opinion statistical information". Again, participant opinion statistics are statistical information about participants' opinions on what others have said.
  • the profile information providing unit 204 generates, for example, the ratio (agreement rate) of the remarks that each participant agrees with the remarks made by others throughout the meeting as the participant opinion statistical information. That is, the profile information providing unit 204 calculates the ratio of the remarks made by the other participants among the remarks made by the participants as the consent rate.
  • the profile information providing unit 204 calculates the total number of statements made by one participant (the participant who operates the conference room terminal 10 that is the source of the profile information providing request) with reference to the participant opinion database. Specifically, the profile information providing unit 204 calculates the total number of speaker IDs (participant IDs) corresponding to the above-mentioned one participant among the entries in the participant opinion database. Further, the profile information providing unit 204 counts the number of entries in which the flag is set among the entries of the speaker ID corresponding to the one participant for the participants other than the one participant. The profile information providing unit 204 calculates the consent rate of each participant by calculating the ratio of the flag-set entry to the calculated total number.
  • the result shows that the opinion of the participant ID 03 is in favor (positive) and the opinion of the participant ID 04 is against (negative) in response to the statement to the participant of the participant ID 01.
  • the profile information providing unit 204 includes the above-generated participant opinion statistical information in the response of the profile providing request and transmits it to the conference room terminal 10 which is the transmission source of the request.
  • the profile information providing unit 204 may generate other indicators as participant opinion statistical information instead of the consent rate. For example, a "disagreement rate" for the remarks of others may be generated as participant opinion statistical information.
  • the profile information providing unit 204 may generate the "agreement rate" and the "disagreement rate” for each time zone as participant opinion statistical information. For example, the profile information providing unit 204 may calculate the consent rate for each predetermined period (for example, every 10 minutes) and transmit it to the conference room terminal 10 as participant opinion statistical information. In this case, the conference room terminal 10 may display a time change such as a consent rate (see FIG. 23).
  • the profile information providing unit 204 may generate participant opinion statistical information on the base side different from the participant of the information providing request.
  • the profile information providing unit 204 identifies the source of the profile information providing from the conference room terminal ID.
  • the profile information providing unit 204 refers to the participant list and identifies a participant ID on the base side different from the specified conference room terminal ID.
  • the profile information providing unit 204 refers to the participant opinion database and calculates the consent rate regarding the participant ID of the other specified base side. For example, the profile information providing unit 204 calculates the consent rate for each of the participant IDs on the other base side, and calculates the consent rate on the other base side by calculating the average value of the calculated consent rates.
  • the profile information providing unit 204 causes the participant opinion statistical information of the entire base B.
  • the participant IDs (speaker IDs) of the participants U1 and U2 of the base A are ID01 and ID02, respectively.
  • the participant IDs (speaker IDs) of the participants U3 and U4 of the base B are ID03 and ID04, respectively.
  • the consent rate on the side of the base B for the remarks of the participant U1 of the base A is calculated to be 50% (2/4).
  • the conference room terminal 10 may display the consent rate (base consent rate) of the entire other party's base in the main area for displaying a bird's-eye view of the other party's base (see FIG. 24).
  • the consent rate for each time zone may be calculated.
  • FIG. 25 is a sequence diagram showing an example of the operation of the conference support system according to the third embodiment. Note that FIG. 25 is a sequence diagram showing an example of system operation when a conference is actually held, and is mainly described with differences from the first embodiment.
  • the conference room terminal 10 transmits the voice of the participant to the server device 20 (step S21).
  • the server device 20 acquires the voice and generates "speaker information" including the content of the speech.
  • the server device 20 transmits the generated speaker information to the conference room terminal 10 (step S31).
  • the conference room terminal 10 displays a screen for inputting a participant's opinion (participant's view on the statement) using the acquired speaker information. Specifically, the conference room terminal 10 provides participants with an interface as shown in FIG. The conference room terminal 10 acquires the opinions of the participants through the interface, and transmits "participant opinion information" including the contents (for example, consent, disagreement, neutrality, etc.) to the server device 20 (step S22).
  • the server device 20 updates the participant opinion database using the acquired participation opinion information (step S32).
  • steps S21 to S32 above are repeated, and the opinions of each participant are aggregated in the participant opinion database.
  • the meeting room terminal 10 transmits a profile provision request to the server device 20 (step S23).
  • the server device 20 generates participant opinion statistical information at the timing of receiving the profile provision request (step S33).
  • the server device 20 transmits a response (response to the profile providing information) including the generated participant opinion statistical information to the conference room terminal 10 (step S34).
  • the conference room terminal 10 outputs the participant profile information based on the acquired response (step S24).
  • the server device collects the opinions expressed by the participants of the conference in response to the remarks of the other participants, and if requested by the participants, the opinions of the other participants. Provide information to the participant.
  • the participant can check the "agreement rate" or the like displayed on the conference room terminal 10 to think of the other participants. Can be known.
  • FIG. 26 is a diagram showing an example of the hardware configuration of the server device 20.
  • the server device 20 can be configured by an information processing device (so-called computer), and includes the configuration illustrated in FIG. 26.
  • the server device 20 includes a processor 311, a memory 312, an input / output interface 313, a communication interface 314, and the like.
  • the components such as the processor 311 are connected by an internal bus or the like so that they can communicate with each other.
  • the configuration shown in FIG. 26 does not mean to limit the hardware configuration of the server device 20.
  • the server device 20 may include hardware (not shown) or may not include an input / output interface 313 if necessary.
  • the number of processors 311 and the like included in the server device 20 is not limited to the example shown in FIG. 26, and for example, a plurality of processors 311 may be included in the server device 20.
  • the processor 311 is a programmable device such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor). Alternatively, the processor 311 may be a device such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit). The processor 311 executes various programs including an operating system (OS).
  • OS operating system
  • the memory 312 is a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), an HDD (HardDiskDrive), an SSD (SolidStateDrive), or the like.
  • the memory 312 stores an OS program, an application program, and various data.
  • the input / output interface 313 is an interface of a display device or an input device (not shown).
  • the display device is, for example, a liquid crystal display or the like.
  • the input device is, for example, a device that accepts user operations such as a keyboard and a mouse.
  • the communication interface 314 is a circuit, module, or the like that communicates with another device.
  • the communication interface 314 includes a NIC (Network Interface Card) and the like.
  • the function of the server device 20 is realized by various processing modules.
  • the processing module is realized, for example, by the processor 311 executing a program stored in the memory 312.
  • the program can also be recorded on a computer-readable storage medium.
  • the storage medium may be a non-transient such as a semiconductor memory, a hard disk, a magnetic recording medium, or an optical recording medium. That is, the present invention can also be embodied as a computer program product.
  • the program can be downloaded via a network or updated using a storage medium in which the program is stored.
  • the processing module may be realized by a semiconductor chip.
  • the conference room terminal 10 can also be configured by an information processing device like the server device 20, and its basic hardware configuration is not different from that of the server device 20, so the description thereof will be omitted.
  • the conference room terminal 10 may be provided with a camera and a microphone, or may be configured so that the camera and the microphone can be connected.
  • the server device 20 is equipped with a computer, and the function of the server device 20 can be realized by causing the computer to execute a program. Further, the server device 20 executes the conference support method by the program.
  • the speaker is specified by the ID of the conference room terminal 10 that connects the microphone to the conference room terminal 10 and transmits the voice.
  • one microphone may be installed on the desk of each base, and the microphone may collect the remarks of each participant.
  • the server device 20 may execute "speaker identification" with respect to the voice collected from the microphone to identify the speaker.
  • the function of the conference room terminal 10 may be realized by the terminal possessed (owned) by the participant.
  • each participant may participate in the conference using his / her own terminal. Participants operate their own terminals and transmit their face images to the server device 20 at the start of the conference. In addition, the terminal transmits the voice of the participant to the server device 20.
  • the server device 20 may provide an image, a video, or the like to the participants by using a projector.
  • the system user profile (user attribute value) may be input using a scanner or the like.
  • the user inputs an image related to his / her business card into the server device 20 using a scanner.
  • the server device 20 executes optical character recognition (OCR) processing on the acquired image.
  • OCR optical character recognition
  • the server device 20 may determine the profile of the user based on the obtained information.
  • the biometric information related to the "face image” is transmitted from the conference room terminal 10 to the server device 20 has been described.
  • the biometric information related to the "feature amount generated from the face image” may be transmitted from the conference room terminal 10 to the server device 20.
  • the server device 20 may execute a collation process with the feature amount registered in the user database using the acquired feature amount (feature vector).
  • the server device 20 when the server device 20 receives the request (profile information provision request) from the conference room terminal 10, the server device 20 transmits the profile information of another participant to the conference room terminal 10.
  • the server device 20 may transmit profile information of other participants to each conference room terminal 10 at the beginning of the conference.
  • the server device 20 may transmit the profile information of each participant to the conference room terminal 10 at the timing when the identification of all the attendees of the conference is completed (the timing when the creation of the participant list is completed).
  • the position information of the seated person may be transmitted to the conference room terminal 10 using the layout information.
  • the layout information For example, if the server device 20 holds the layout information of the two bases shown in FIG. 2, the location information of the attendees is specified from the conference room terminal ID.
  • the server device 20 transmits the layout information including the two bases and the location information of the participants U1 to U4 to the conference room terminal 10.
  • the conference room terminal 10 that has acquired the location information generates an interface as shown in FIG. 27.
  • the conference room terminal 10 may display profile information of a person designated by the interface shown in FIG. 27.
  • the conference room terminal 10 acquires the profile information of another participant and displays the profile information or the like has been described.
  • the conference room terminal 10 may use the acquired profile information for other purposes.
  • the conference room terminal 10 may group other participants based on the consent rate obtained from the server device 20.
  • the conference room terminal 10 may display participants separately in a group having a high consent rate and a group having a low consent rate.
  • the conference room terminal 10 may create a relationship map between participants by using the above grouping.
  • the server device 20 may transmit the number of remarks made by each participant to the conference room terminal 10.
  • the conference room terminal 10 may visualize the amount of speech.
  • the conference room terminal 10 may display a display or the like that more positively urges participants to speak when the amount of speech is less than a predetermined threshold value.
  • the server device 20 may notify the conference room terminal 10 of the voice volume (loudness) of each participant.
  • the conference room terminal 10 executes various controls according to the notified voice volume. For example, the conference room terminal 10 displays a display prompting a participant who has a low voice to make a loud voice.
  • the conference room terminal 10 takes measures such as increasing the amplification factor (gain) of the microphone that collects the voice of a person with a low voice.
  • the server device 20 may analyze the remarks of each participant, automatically extract the issues of the conference, and transmit the extracted issues to the conference room terminal 10. For example, the server device 20 sets keywords (predetermined keywords) that frequently appear in the remarks of each participant as the points of discussion in the conference, and transmits them to the conference room terminal 10.
  • the conference room terminal 10 may provide an interface for displaying the issue and acquiring the intention of the participant (agreement or disagreement with the issue) to acquire the opinion of the participant.
  • the server device 20 may collect (aggregate) the opinions of each participant and provide the aggregated result to the conference room terminal 10. The aggregation result may be displayed on the conference room terminal 10.
  • each embodiment may be used alone or in combination. For example, it is possible to replace a part of the configuration of the embodiment with the configuration of another embodiment, or to add the configuration of another embodiment to the configuration of the embodiment. Further, it is possible to add, delete, or replace a part of the configuration of the embodiment with another configuration.
  • the present invention is suitably applicable to a system or the like that supports a conference or the like held at a company or the like.
  • [Appendix 1] The acquisition department, which acquires the profile of each of multiple users who use the conference support system, For the first participant who is participating in the conference among the plurality of users, a profile regarding the second participant who is participating in the same conference as the conference in which the first participant is participating is provided. Information provision department to provide, A server device.
  • the acquisition unit acquires the facial images and profiles of each of the plurality of users, and obtains them.
  • the server device according to Appendix 1, wherein the information providing unit provides the first participant with a face image and a profile of the second participant.
  • the acquisition unit generates a user ID that identifies each of the plurality of users, and generates a user ID.
  • a user database that stores the generated user ID, face image, and profile in association with each other is further provided.
  • the server device according to Appendix 2 wherein the information providing unit acquires a face image and a profile of the second participant from the user database using the user ID of the second participant.
  • the first and second participants among the plurality of users are subjected to collation processing using the face images acquired from the first and second participants and the face images registered in the user database.
  • the acquisition unit generates a user ID that identifies each of the plurality of users, and generates a user ID.
  • the server device further includes a user database that stores the generated user ID, face image, and profile in association with each other.
  • the conference support system according to Appendix 6, wherein the information providing unit acquires a face image and a profile of the second participant from the user database using the user ID of the second participant.
  • the server device The first and second participants among the plurality of users are subjected to collation processing using the face images acquired from the first and second participants and the face images registered in the user database.
  • the server device A participant opinion database that manages the contents of statements made by the first participant in association with the opinions of the second participant is further provided.
  • the information provision department The conference support system according to Appendix 10, wherein when a request for providing information on the profile is obtained from the first terminal, a response including statistical information regarding the views of the second participant is transmitted to the first terminal. [Appendix 12]
  • the information providing unit calculates the ratio of the remarks made by the second participant among the remarks made by the first participant as the consent rate, and sends a response including the calculated consent rate to the first terminal.
  • the conference support system according to Appendix 11 to be transmitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

会議の参加者が、他の参加者に関する情報を容易に取得できるようにするサーバ装置を提供する。サーバ装置は、取得部と情報提供部を備える。取得部は、会議支援システムを利用する複数の利用者それぞれのプロフィールを取得する。情報提供部は、複数の利用者のうち会議に参加している第1の参加者に対して、第1の参加者が参加している会議と同じ会議に参加している第2の参加者に関するプロフィールを提供する。

Description

[規則37.2に基づきISAが決定した発明の名称] サーバ装置、会議支援システム、会議支援方法及び記憶媒体
 本発明は、サーバ装置、会議支援システム、会議支援方法及びプログラムに関する。
 近年、ネットワーク技術、情報処理技術の進展に伴い、遠隔地の会議室をネットワークで接続するテレビ会議が盛んに行われている。
 例えば、特許文献1には、会議の内容を資産化し、会議の運営を効率化する、と記載されている。特許文献1に開示された会議支援システムは、画像認識部を備える。画像認識部は、ビデオ会議装置により取得された映像データから画像認識技術により各出席者に係る画像を認識する。さらに、当該システムは、音声認識部を備える。音声認識部は、ビデオ会議装置により取得された各出席者の音声データを取得し、音声データと予め登録された各出席者の音声の特徴情報との比較を行う。さらに、音声認識部は、各出席者の動きの情報に基づいて、音声データにおける各発言の発言者を特定する。さらに、会議支援システムは、音声認識部により取得された各出席者の音声データを発言の時系列でタイムラインとして出力するタイムライン管理部を備える。
特開2019-061594号公報
 上述のように、所謂、テレビ会議が盛んに行われている。通常の会議であれば、初対面の参加者が会議に出席していれば、当事者同士の名刺交換が行われる。参加者は、取得した名刺から当該人物に関する情報を得ることができる。
 しかし、遠隔地をネットワークで接続することで行われるテレビ会議では名刺交換を行うことはできず、参加者は、初対面の人物に関する情報を得ることはできない。会議の冒頭で、簡単な自己紹介等が行われることもあるが、参加者は、当該人物の氏名等を知るに留まる。しかし、会議では他の参加者の役職、とりわけ、商談相手の役職等は会議を進める上で重要な情報となる。また、テレビ会議に限らず、社内の会議では名刺交換を行わない企業等も多い。このような場合にも、会議に必要な情報を得ることが難しいという問題が生じうる。
 本発明は、会議の参加者が、他の参加者に関する情報を容易に取得できることに寄与する、サーバ装置、会議支援システム、会議支援方法及びプログラムを提供することを主たる目的とする。
 本発明の第1の視点によれば、会議支援システムを利用する複数の利用者それぞれのプロフィールを取得する、取得部と、前記複数の利用者のうち会議に参加している第1の参加者に対して、前記第1の参加者が参加している会議と同じ会議に参加している第2の参加者に関するプロフィールを提供する、情報提供部と、を備える、サーバ装置が提供される。
 本発明の第2の視点によれば、会議に参加している第1の参加者が使用する第1の端末と、前記第1の参加者が参加する会議と同じ会議に参加する第2の参加者が使用する第2の端末と、サーバ装置と、を含み、前記サーバ装置は、システムを利用する複数の利用者それぞれのプロフィールを取得する、取得部と、前記第1の端末に対して、前記第2の参加者に関するプロフィールを提供する、情報提供部と、を備える、会議支援システムが提供される。
 本発明の第3の視点によれば、サーバ装置において、会議支援システムを利用する複数の利用者それぞれのプロフィールを取得し、前記複数の利用者のうち会議に参加している第1の参加者に対して、前記第1の参加者が参加している会議と同じ会議に参加している第2の参加者に関するプロフィールを提供する、会議支援方法が提供される。
 本発明の第4の視点によれば、サーバ装置に搭載されたコンピュータに、会議支援システムを利用する複数の利用者それぞれのプロフィールを取得する処理と、前記複数の利用者のうち会議に参加している第1の参加者に対して、前記第1の参加者が参加している会議と同じ会議に参加している第2の参加者に関するプロフィールを提供する処理と、を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体が提供される。
 本発明の各視点によれば、会議の参加者が、他の参加者に関する情報を容易に取得できることに寄与する、サーバ装置、会議支援システム、会議支援方法及びプログラムが提供される。なお、本発明の効果は上記に限定されない。本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。
一実施形態の概要を説明するための図である。 第1の実施形態に係る会議支援システムの概略構成の一例を示す図である。 会議室端末に表示される画面の一例を示す図である。 第1の実施形態に係るサーバ装置の処理構成の一例を示す図である。 第1の実施形態に係る利用者登録部の処理構成の一例を示す図である。 第1の実施形態に係る利用者情報取得部の動作を説明するための図である。 第1の実施形態に係る利用者データベースの一例を示す図である。 第1の実施形態に係る参加者リストの一例を示す図である。 第1の実施形態に係る会議室端末の処理構成の一例を示す図である。 第1の実施形態に係るプロフィール情報要求部の動作を説明するための図である。 第1の実施形態に係るプロフィール情報出力部の動作を説明するための図である。 第1の実施形態に係る会議支援システムの動作の一例を示すシーケンス図である。 第2の実施形態に係る利用者情報取得部の動作を説明するための図である。 第2の実施形態に係る利用者データベースの一例を示す図である。 第3の実施形態に係る会議室端末の動作を説明するための図である。 第3の実施形態に係る会議室端末の動作を説明するための図である。 第3の実施形態に係る会議室端末の処理構成の一例を示す図である。 第3の実施形態に係るサーバ装置の処理構成の一例を示す図である。 第3の実施形態に係る発言者情報送信部の処理構成の一例を示す図である。 第3の実施形態に係る発言者情報の一例を示す図である。 第3の実施形態に係る参加者意見管理部の動作を説明するための図である。 第3の実施形態に係る参加者見解データベースの一例を示す図である。 第3の実施形態に係る会議室端末の動作を説明するための図である。 第3の実施形態に係る会議室端末の動作を説明するための図である。 第3の実施形態に係る会議支援システムの動作の一例を示すシーケンス図である。 サーバ装置のハードウェア構成の一例を示す図である。 本願開示の変形例に係る会議室端末の動作を説明するための図である。
 はじめに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、特段の釈明がない場合には、各図面に記載されたブロックはハードウェア単位の構成ではなく、機能単位の構成を表す。各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
 一実施形態に係るサーバ装置100は、取得部101と情報提供部102を備える(図1参照)。取得部101は、会議支援システムを利用する複数の利用者それぞれのプロフィールを取得する。情報提供部102は、複数の利用者のうち会議に参加している第1の参加者に対して、第1の参加者が参加している会議と同じ会議に参加している第2の参加者に関するプロフィールを提供する。
 サーバ装置100は、利用者のプロフィールを事前に取得し、例えば、データベースに登録しておく。サーバ装置100は、例えば、参加者から他の参加者に関する情報提供を要求されると、データベースから必要な情報を読み出し、情報提供の要求者に情報提供する。その結果、参加者同士が初対面であっても、参加者は、他の参加者に関する情報を容易に取得できる。
 以下に具体的な実施形態について、図面を参照してさらに詳しく説明する。
[第1の実施形態]
 第1の実施形態について、図面を用いてより詳細に説明する。
 図2は、第1の実施形態に係る会議支援システムの概略構成の一例を示す図である。図2に示すように、複数の拠点を接続してテレビ会議が実施される。各拠点の会議室には会議室端末が設置されている。図2の例では、拠点Aの会議室には、会議室端末10-1~10-4が設置されている。同様に、拠点Bの会議室には、会議室端末10-5~10-8が設置されている。以降の説明において、会議室端末10-1~10-8を区別する特段の理由がない場合には、単に「会議室端末10」と表記する。
 図2には図示していないが、各拠点の会議室には、会議室全体を俯瞰した映像が取得できるカメラ装置や相手側の音声を出力するスピーカが設置されている。
 複数の会議室端末10のそれぞれとサーバ装置20は、有線又は無線の通信手段により接続され、相互に通信が可能となるように構成されている。なお、サーバ装置20は、拠点Aや拠点Bのいずれかに設置されていてもよいし、図2に示すようにネットワーク上(クラウド上)に設置されていてもよい。
 図2に示す構成は例示であって、テレビ会議に参加する拠点の数や会議室端末10等の数を限定する趣旨ではないことは勿論である。また、以降の実施形態では複数の拠点を接続するテレビ会議を支援する会議支援システムを中心に説明する。しかし、本願開示の会議支援システムが対象とする会議はテレビ会議に限定されず、同じ会議室で行われる会議を支援対象としてもよい。
 会議室端末10は、会議室の各席に設置された端末である。参加者は、当該端末を操作し必要な情報等を表示させつつ、会議を行う。会議室端末10はカメラ機能を備え、着席した参加者を撮像可能に構成されている。また、会議室端末10はマイク(例えば、ピンマイクやワイヤレスマイク)と接続可能に構成されている。当該マイクにより会議室端末10のそれぞれの前に着席した参加者の音声が集音される。なお、会議室端末10に接続されるマイクは指向性の強いマイクであることが望ましい。マイクを装着した利用者の音声が集音されればよく、他人の音声は集音する必要がないためである。
 サーバ装置20は、会議の支援を行う装置である。サーバ装置20は、意思決定の場、アイディア発想の場である会議の支援を行う。サーバ装置20は、複数の拠点で行われるテレビ会議を実現する。サーバ装置20は、一方の拠点から取得した音声、映像に係るデータ(パケット)を他の拠点に送信する。例えば、図2の例では、拠点Aから取得された音声、映像は拠点Bに送信される。
 サーバ装置20は、一方の拠点を俯瞰する映像データを他の拠点に向けて送信する。当該映像データは、各参加者が使用する会議室端末10に表示されてもよいし、プロジェクタ等により投射されてもよい。また、サーバ装置20は、一方の拠点から取得した音声データ(会議室端末10から取得した音声データ)を他の拠点に向けて送信する。当該音声データは、会議室に設置されたスピーカから出力されてもよいし、各会議室端末10から出力されてもよい。
 このように、サーバ装置20は、既存のテレビ会議システムを実現する。なお、サーバ装置20によるテレビ会議システムの実現には既存の技術を用いることができる。そのため、以降の説明では、テレビ会議システムの実現、実装に関する説明を省略する。
 サーバ装置20は、上記テレビ会議システムの実現に加え、参加者の詳細な情報(参加者の属性情報)を提供する機能を備えている。例えば、図2に示すようにテレビ会議への参加者が4人である場合、サーバ装置20は、各参加者が操作する会議室端末10に他の3人の情報を表示する。サーバ装置20は、他の参加者の情報を提供することで会議(テレビ会議)を支援する。以降の説明において、参加者の詳細な情報(顔画像や氏名等の属性情報)を「参加者プロフィール情報」又は「プロフィール情報」と表記する。
 例えば、図2に示す参加者U1が使用する会議室端末10-1には図3に示すような画面が表示される。図3を参照すると、表示エリアの上部(メイン領域)には拠点B(拠点Bの会議室)を俯瞰する画面が表示される。また、表示エリアの下部(サブ領域;点線で囲まれた領域)には、他の参加者のプロフィール情報が表示される。図3の例では、同じ拠点でテレビ会議に参加する参加者のプロフィール情報、他の拠点でテレビ会議に参加する参加者のプロフィール情報が表示されている。
 参加者は、面前の会議室端末10を操作して、参加者プロフィール情報を閲覧したい旨をサーバ装置20に入力する。当該操作を受け付けた会議室端末10は、サーバ装置20に対して「プロフィール提供要求」を送信する。サーバ装置20は、当該要求に対する応答として、図3に示すような表示が可能となるようなデータ(情報)を会議室端末10に送信する。
 図3に示す表示画面は例示であって表示する内容やレイアウト等を限定する趣旨ではないことは勿論である。例えば、同じ拠点からテレビ会議に参加する参加者のプロフィール情報は表示しなくともよいし、プロフィール情報を表示する際には表示エリア上部のメイン領域は表示しなくともよい。また、参加者のプロフィールとして表示する内容も図3に限定されず、他の情報(例えば、勤務地等)が表示されてもよい。
<事前準備>
 ここで、サーバ装置20による会議支援を実現するためには、システム利用者(テレビ会議への参加を予定している利用者)は事前準備を行う必要がある。以下、事前準備について説明する。
 利用者は、自身の生体情報(顔画像)、プロフィール等の属性値をシステム登録する。具体的には、利用者は、顔画像をサーバ装置20に入力する。また、利用者は、自身のプロフィール(例えば、氏名、社員番号、勤務地、所属部署、役職、連絡先等の情報)をサーバ装置20に入力する。
 なお、上記生体情報、プロフィール等の情報入力には任意の方法を用いることができる。例えば、利用者は、スマートフォン等の端末を利用して、自分の顔画像を撮像する。さらに、利用者は、端末を利用してプロフィールが記載されたテキストファイル等を生成する。利用者は、端末を操作して、上記情報(顔画像、プロフィール)をサーバ装置20に送信する。あるいは、利用者は、上記情報が格納されたUSB(Universal Serial Bus)等の外部記憶装置を用いて、サーバ装置20に必要な情報を入力してもよい。
 あるいは、サーバ装置20がWEB(ウェブ)サーバとしての機能を備え、利用者は当該サーバが提供するフォームにより必要な情報を入力してもよい。あるいは、各会議室に上記情報入力を行うための端末が設置され、利用者は当該会議室に設置された端末から必要な情報をサーバ装置20に入力してもよい。
 サーバ装置20は、取得した利用者情報(生体情報、プロフィール等)を用いてシステム利用者を管理するデータベースを更新する。当該データベースの更新に関する詳細は後述するが、サーバ装置20は概略以下のような動作によりデータベースを更新する。なお、以降の説明において、本願開示のシステムを利用する利用者を管理するためのデータベースを「利用者データベース」と表記する。
 サーバ装置20は、取得した利用者情報に対応する人物が利用者データベースに登録されていない新規な利用者である場合には、当該利用者にID(Identifier)を割り当てる。また、サーバ装置20は、取得した顔画像を特徴付ける特徴量を生成する。
 サーバ装置20は、新規な利用者に割り当てたID、顔画像から生成した特徴量、利用者の顔画像、プロフィール等を含むエントリを利用者データベースに追加する。サーバ装置20が利用者情報を登録することで、会議への参加者は図2に示す会議支援システムの利用が可能となる。
 続いて、第1の実施形態に係る会議支援システムに含まれる各装置の詳細について説明する。
[サーバ装置]
 図4は、第1の実施形態に係るサーバ装置20の処理構成(処理モジュール)の一例を示す図である。図4を参照すると、サーバ装置20は、通信制御部201と、利用者登録部202と、参加者特定部203と、プロフィール情報提供部204と、記憶部205と、を備える。
 通信制御部201は、他の装置との間の通信を制御する手段である。具体的には、通信制御部201は、会議室端末10からデータ(パケット)を受信する。また、通信制御部201は、会議室端末10に向けてデータを送信する。通信制御部201は、他の装置から受信したデータを他の処理モジュールに引き渡す。通信制御部201は、他の処理モジュールから取得したデータを他の装置に向けて送信する。このように、他の処理モジュールは、通信制御部201を介して他の装置とデータの送受信を行う。
 利用者登録部202は、上述のシステム利用者登録を実現する手段である。利用者登録部202は、少なくとも会議支援システムを利用する複数の利用者それぞれのプロフィールを取得する。利用者登録部202は、複数のサブモジュールを含む。図5は、利用者登録部202の処理構成の一例を示す図である。図5を参照すると、利用者登録部202は、利用者情報取得部211と、ID生成部212と、特徴量生成部213と、エントリ管理部214と、を備える。
 利用者情報取得部211は、上記説明した利用者情報を取得する手段である。利用者情報取得部211は、システム利用者それぞれの生体情報(顔画像)とプロフィール(氏名、所属等)を取得する。システム利用者は、スマートフォン等の端末から上記情報をサーバ装置20に入力してもよいし、サーバ装置20を直接操作して上記情報を入力してもよい。
 利用者情報取得部211は、上記情報を入力するためのGUI(Graphical User Interface)やフォームを提供してもよい。例えば、利用者情報取得部211は、図6に示すような情報入力フォームを利用者が操作する端末に表示する。
 システム利用者は、図6に示す情報を入力する。また、システム利用者は、システムに新規にユーザ登録するのか、既に登録された情報を更新するのか選択する。システム利用者は、全ての情報を入力すると「送信」ボタンを押下し、生体情報、プロフィール等をサーバ装置20に入力する。
 利用者情報取得部211は、取得した利用者情報を記憶部205に格納する。
 ID生成部212は、システム利用者に割り当てるIDを生成する手段である。ID生成部212は、複数のシステム利用者それぞれを識別する利用者IDを生成する。より具体的には、ID生成部212は、システム利用者が入力した利用者情報が新規登録に関する情報である場合、当該新規な利用者を識別するためのIDを生成する。例えば、ID生成部212は、取得した利用者情報(顔画像、プロフィール)のハッシュ値を計算し、当該ハッシュ値を利用者に割り当てるIDとしてもよい。あるいは、ID生成部212は、利用者登録のたびに一意な値を採番しIDとしてもよい。以降の説明において、ID生成部212が生成するID(システム利用者を識別するためのID)を「利用者ID」と表記する。
 特徴量生成部213は、利用者情報に含まれる顔画像から当該顔画像を特徴付ける特徴量(複数の特徴量からなる特徴ベクトル)を生成する手段である。具体的には、特徴量生成部213は、取得した顔画像から特徴点を抽出する。なお、特徴点の抽出処理に関しては既存の技術を用いることができるのでその詳細な説明を省略する。例えば、特徴量生成部213は、顔画像から目、鼻、口等を特徴点として抽出する。その後、特徴量生成部213は、特徴点それぞれの位置や各特徴点間の距離を特徴量として計算し、複数の特徴量からなる特徴ベクトルを生成する。
 エントリ管理部214は、利用者データベースのエントリを管理する手段である。エントリ管理部214は、新規な利用者をデータベースに登録する際、生成された利用者ID、生成された特徴量、利用者の端末等から取得した顔画像、プロフィールを含むエントリを利用者データベースに追加する。
 エントリ管理部214は、利用者データベースに既に登録されている利用者の情報を更新する場合には、社員番号等により情報更新を行うエントリを特定し、取得した利用者情報を用いて利用者データベースを更新する。その際、エントリ管理部214は、取得した利用者情報とデータベースに登録された情報の差分を更新してもよいし、データベースの各項目を取得した利用者情報により上書きしてもよい。また、特徴量に関しても同様に、エントリ管理部214は、生成された特徴量に違いがある場合にデータベースを更新してもよいし、新たに生成された特徴量により既存の特徴量を上書きしてもよい。
 利用者登録部202は、例えば、図7に示すような利用者データベースを構築する。なお、図7に示す利用者データベースに登録された内容は例示であって、利用者データベースに登録する情報を限定する趣旨ではないことは勿論である。例えば、必要に応じて「特徴量」は利用者データベースに登録されていなくともよい。つまり、顔画像が存在すれば特徴量は計算可能であり、必要に応じて特徴量が計算されてもよい。
 図4に説明を戻す。参加者特定部203は、会議に参加している参加者(システム登録した利用者のうちテレビ会議への参加者)を特定する手段である。参加者特定部203は、会議室に設置された会議室端末10のうち参加者が着席した会議室端末10から顔画像を取得する。参加者特定部203は、取得した顔画像から特徴量を算出する。
 参加者特定部203は、会議室端末10から取得した顔画像に基づき算出された特徴量を照合対象に設定し、利用者データベースに登録された特徴量との間で照合処理を行う。より具体的には、参加者特定部203は、上記算出した特徴量(特徴ベクトル)を照合対象に設定し、利用者データベースに登録されている複数の特徴ベクトルとの間で1対N(Nは正の整数、以下同じ)照合を実行する。
 参加者特定部203は、照合対象の特徴量と登録側の複数の特徴量それぞれとの間の類似度を計算する。当該類似度には、カイ二乗距離やユークリッド距離等を用いることができる。なお、距離が離れているほど類似度は低く、距離が近いほど類似度が高い。
 参加者特定部203は、利用者データベースに登録された複数の特徴量のうち、照合対象の特徴量との間の類似度が所定の値以上、且つ、最も類似度が高い特徴量を特定する。
 参加者特定部203は、1対N照合の結果得られる特徴量に対応する利用者IDを利用者データベースから読み出す。
 参加者特定部203は、上記のような処理を会議室端末10のそれぞれから取得した顔画像について繰り返し、各顔画像に対応する利用者IDを特定する。参加者特定部203は、特定した利用者IDと、顔画像の送信元である会議室端末10のIDと、参加者の拠点と、を対応付けて参加者リストを生成する。会議室端末10のIDには、会議室端末10のMAC(Media Access Control)アドレスやIP(Internet Protocol)アドレスを用いることができる。
 例えば、図2の例では、図8に示すような参加者リストが生成される。なお、図8では、理解の容易のため、会議室端末10に付与した符号を会議室端末IDとして記載している。また、参加者リストに含まれる「参加者ID」は利用者データベースに登録された利用者IDである。
 なお、会議室端末IDと各会議室端末10が設置された拠点(会議室)との関係を予めサーバ装置20に入力しておくことで、サーバ装置20は、会議室端末IDを用いて各参加者がいずれの拠点からテレビ会議に参加しているか把握できる。
 プロフィール情報提供部204は、テレビ会議の参加者に他の参加者に関するプロフィール情報を提供する手段である。プロフィール情報提供部204は、複数のシステム利用者のうち会議に参加している一の参加者に対して、当該一の参加者が参加している会議と同じ会議に参加している他の参加者に関するプロフィールを提供する。
 プロフィール情報提供部204は、会議室端末10から取得した「プロフィール提供要求」を処理する。具体的には、プロフィール情報提供部204は、上記要求の送信元の会議室端末IDを特定する。プロフィール情報提供部204は、参加者リストを参照し、上記特定した会議室端末IDから上記要求を行った参加者を特定する。
 プロフィール情報提供部204は、参加者リストに含まれる参加者IDであってプロフィール提供要求を送信した参加者以外の参加者IDを特定する。例えば、図8の例では、会議室端末10-1からプロフィール提供要求が送信された場合には、ID02~ID04の参加者IDが特定される。
 プロフィール情報提供部204は、利用者データベースを参照し、特定した参加者IDに対応するエントリの各フィールドから参加者プロフィール情報として送信する情報を抽出(収集)する。例えば、図3に示すように、参加者の「顔画像」、「氏名」、「所属」及び「役職」がプロフィール情報として表示される場合には、プロフィール情報提供部204はこれらの情報を利用者データベースから読み出す。
 あるいは、会議室端末10にて情報の取捨選択ができるように、プロフィール情報提供部204は、利用者データベースに登録された全フィールドの登録値(氏名等の属性値)をデータベースから読み出してもよい。
 プロフィール情報提供部204は、当該読み出した情報を含む応答(プロフィール提供要求に対する応答)を当該要求の送信元である会議室端末10に送信する。
 記憶部205は、サーバ装置20の動作に必要な情報を記憶する手段である。
[会議室端末]
 図9は、会議室端末10の処理構成(処理モジュール)の一例を示す図である。図9を参照すると、会議室端末10は、通信制御部301と、顔画像取得部302と、音声送信部303と、プロフィール情報要求部304と、プロフィール情報出力部305と、記憶部306と、を備える。
 通信制御部301は、他の装置との間の通信を制御する手段である。具体的には、通信制御部301は、サーバ装置20からデータ(パケット)を受信する。また、通信制御部301は、サーバ装置20に向けてデータを送信する。通信制御部301は、他の装置から受信したデータを他の処理モジュールに引き渡す。通信制御部301は、他の処理モジュールから取得したデータを他の装置に向けて送信する。このように、他の処理モジュールは、通信制御部301を介して他の装置とデータの送受信を行う。
 顔画像取得部302は、カメラ装置を制御し、自装置の前に着席している参加者の顔画像(生体情報)を取得する手段である。顔画像取得部302は、定期的又は所定のタイミングにおいて自装置の前方を撮像する。顔画像取得部302は、取得した画像に人の顔画像が含まれるか否かを判定し、顔画像が含まれる場合には取得した画像データから顔画像を抽出する。顔画像取得部302は、当該抽出された顔画像と自装置のID(会議室端末ID;例えば、IPアドレス)の組をサーバ装置20に送信する。
 なお、顔画像取得部302による顔画像の検出処理や顔画像の抽出処理には既存の技術を用いることができるので詳細な説明を省略する。例えば、顔画像取得部302は、CNN(Convolutional Neural Network)により学習された学習モデルを用いて、画像データの中から顔画像(顔領域)を抽出してもよい。あるいは、顔画像取得部302は、テンプレートマッチング等の手法を用いて顔画像を抽出してもよい。
 音声送信部303は、参加者の音声を取得し、当該取得した音声をサーバ装置20に送信する手段である。音声送信部303は、マイク(例えば、ピンマイク)が集音した音声に関する音声ファイルを取得する。例えば、音声送信部303は、WAVファイル(Waveform Audio File)のような形式で符号化された音声ファイルを取得する。
 音声送信部303は、取得した音声ファイルを解析し、当該音声ファイルに音声区間(無音ではない区間;参加者の発言)が含まれている場合に、当該音声区間を含む音声ファイルをサーバ装置20に送信する。その際、音声送信部303は、音声ファイルと共に自装置のID(会議室端末ID)を併せてサーバ装置20に送信する。
 あるいは、音声送信部303は、マイクから取得した音声ファイルに会議室端末IDを付してそのままサーバ装置20に送信してもよい。この場合、サーバ装置20が取得した音声ファイルを解析し、音声を含む音声ファイルを抽出すればよい。
 なお、音声送信部303は既存の「音声検出技術」を用いて参加者の発言を含む音声ファイル(無音ではない音声ファイル)を抽出する。例えば、音声送信部303は、隠れマルコフモデル(HMM;Hidden Markov Model)によりモデル化された音声パラメータ系列等を利用して音声の検出を行う。
 プロフィール情報要求部304は、参加者の操作に応じて上記説明した「プロフィール提供要求」を生成し、当該要求をサーバ装置20に送信する手段である。例えば、プロフィール情報要求部304は、参加者が情報入力するためのGUIを生成する。例えば、プロフィール情報要求部304は、図10に示すような画面をディスプレイに表示する。
 参加者が他者のプロフィールに関する情報提供を希望する場合、プロフィール情報要求部304は自装置のID(会議室端末ID)を含むプロフィール提供要求をサーバ装置20に送信する。
 プロフィール情報要求部304は、サーバ装置20から上記要求に対する応答を取得する。プロフィール情報要求部304は、取得した応答をプロフィール情報出力部305に引き渡す。
 プロフィール情報出力部305は、サーバ装置20から取得した応答に基づき他の参加者に関する参加者プロフィール情報を出力する手段である。例えば、プロフィール情報出力部305は、サーバ装置20から取得した情報を用いて、図3に示すような表示を行う。
 あるいは、プロフィール情報出力部305は、図11に示すような表示をしてもよい。図11を参照すると、プロフィール情報出力部305は、点線で示されるサブ領域には各参加者に関する簡易的な表示を行う。プロフィール情報出力部305は、参加者が選択している人物(図11において一点鎖線で囲まれた人物)に関してはメイン領域に当該選択された人物のより詳細な情報を表示してもよい。なお、この場合、サーバ装置20は各参加者についてのより詳細な情報を会議室端末10に送信しておく。
 あるいは、プロフィール情報出力部305は、表示する項目を切り替えるためのボタン等を設け、当該ボタンの押下に応じて表示する内容を変更してもよい。
 あるいは、プロフィール情報出力部305は、参加者の顔写真の上にそのプロフィールを表示してもよい。例えば、プロフィール情報出力部305は、プロフィールに関し、顔写真の上に拡張現実(AR;Augmented Reality)のような表示を行ってもよい。
あるいは、プロフィール情報出力部305は、発言中の参加者のプロフィールを強調(例えば、当該参加者のプロフィールを拡大する、点線等で囲む)してもよい。あるいは、プロフィール情報出力部305は、他の参加者の属性(例えば、当該参加者が社外の人物や重役等の場合)に応じて、プロフィールを強調表示してもよい。あるいは、プロフィール情報出力部305は、他の参加者の連絡先に関するリンクの張られたプロフィールを表示してもよい。参加者は、当該リンクを用いて当該他の人物に連絡をしてもよい。あるいは、プロフィール情報出力部305は、プロフィールを選択し、当該選択されたプロフィールを連絡帳に登録するための「登録」ボタン等を表示してもよい。
 記憶部306は、会議室端末10の動作に必要な情報を記憶する手段である。
[会議支援システムの動作]
 次に、第1の実施形態に係る会議支援システムの動作について説明する。
 図12は、第1の実施形態に係る会議支援システムの動作の一例を示すシーケンス図である。なお、図12は、実際に会議が行われている際のシステム動作の一例を示すシーケンス図である。図12の動作に先立ち、システム利用者の登録は予め行われているものとする。
 会議が始まり、参加者が着席すると、会議室端末10は、着席者の顔画像を取得し、サーバ装置20に送信する(ステップS01)。
 サーバ装置20は、取得した顔画像を用いて参加者を特定する(ステップS11)。サーバ装置20は、事前に登録した複数のシステム利用者のうち会議の参加者を、当該参加者から取得された顔画像と利用者データベースに登録された顔画像を用いた照合処理により特定する。より具体的には、サーバ装置20は、取得した顔画像から計算した特徴量を照合側の特徴量、利用者データベースに登録された複数の特徴量を登録側の特徴量にそれぞれ設定し、1対N照合を実行する。サーバ装置20は、当該照合を会議への参加者(参加者が使用する会議室端末10)ごとに繰り返し、参加者リストを生成する。
 会議中に、他の参加者のプロフィール等を知りたいと考える参加者は、その旨を会議室端末10に入力する。会議室端末10は、当該入力に応じて「プロフィール提供要求」をサーバ装置20に送信する(ステップS02)。
 サーバ装置20は、利用者データベースを参照し、会議に参加している参加者の顔画像、プロフィール等を取得する。その後、サーバ装置20は、取得した顔画像、プロフィール等を含む応答を会議室端末10に送信する(ステップS12)。
 会議室端末10は、取得した応答に基づき参加者プロフィール情報を出力する(ステップS03)。
 以上のように、第1の実施形態に係るサーバ装置20は、ID生成部212により生成された利用者ID、利用者の顔画像及びプロフィールを対応付けて記憶する利用者データベースを備える。サーバ装置20のプロフィール情報提供部204は、会議に参加している参加者の利用者IDを用いて利用者データベースから当該参加者の顔画像とプロフィールを取得する。サーバ装置20は、取得した顔画像、プロフィールを参加者の使用する会議室端末10に送信する。その結果、参加者同士が初対面であっても、参加者は、面前の会議室端末10を操作し、他の参加者のプロフィール提供要求をサーバ装置20に送信すれば、他の参加者に関する情報を容易に取得できる。
[第2の実施形態]
 続いて、第2の実施形態について図面を参照して詳細に説明する。
 第2の実施形態では、利用者がプロフィールとして入力する項目のうち、全部又は一部の項目について複数の属性値(設定値)を許容する場合について説明する。例えば、システム利用者が企業の社員と大学の教授を兼務するような場合を想定し、第2の実施形態を説明する。第2の実施形態では、参加者プロフィール情報が会議室端末10に表示される際、上記複数の属性値のうち最適な属性値が自動選択される場合について説明する。
 なお、第2の実施形態に係る会議支援システムの構成は第1の実施形態と同一とすることができるので図2に相当する説明を省略する。また、第2の実施形態に係る会議室端末10やサーバ装置20の処理構成も第1の実施形態と同一とすることができるので、その説明を省略する。以下、第1及び第2の実施形態の相違点を中心に説明する。なお、第1の参加者は第1の端末(例えば、会議室端末10-1)を使用し、第2の参加者は第2の端末(例えば、会議室端末10-5)を使用する。
 サーバ装置20の利用者登録部202は、システム利用者のプロフィールに関し、同一の項目について複数の属性値の取得が可能である。例えば、利用者登録部202の利用者情報取得部211は、図13に示すような情報入力フォームを利用者が操作する端末に表示する。
 システム利用者は、例えば、異なる組織(企業、大学等)に所属していれば、各所属組織についての情報を入力する。システム利用者は、全ての情報を入力すると「送信」ボタンを押下し、生体情報、プロフィール等をサーバ装置20に入力する。
 利用者情報取得部211は、取得した利用者情報を記憶部205に格納する。
 利用者登録部202のエントリ管理部214は、利用者から取得したプロフィールを含むエントリを利用者データベースに追加する。その結果、図14に示すような利用者データベースが構築される。
 プロフィール情報提供部204は、プロフィール提供要求を受信すると当該プロフィール提供要求に対する応答を生成する。その際、プロフィール情報提供部204は、利用者データベースに登録されたプロフィールをなす項目のうち同一の項目(同種の項目)について複数の属性値が設定されている場合には、複数の属性値から最適な属性値を選択し、上記要求に対する応答に含める。
 例えば、図14の例では、ID01の利用者に関しては、所属組織と所属部署に関してそれぞれ2つの属性値が設定されている。この場合、プロフィール情報提供部204は、ID01の利用者についてのプロフィール情報を生成する際、所属組織1及び2のうちいずれか一方と所属部署1及び2のうちいずれか一方を選択する。
 プロフィール情報提供部204は、種々の基準やルールに基づいて同一項目に設定された複数の属性値から、最適な属性値を選択する。
 例えば、プロフィール情報提供部204は、会議が開催されている曜日に基づいて最適な属性値を選択してもよい。
 例えば、プロフィール情報提供部204は、会議の趣旨に応じて最適な属性値を選択してもよい。例えば、プロフィール提供要求を行う際に、参加者は、会議の趣旨をサーバ装置20に入力する。例えば、会議室端末10は、図10に示すGUIにおいて、「会議の趣旨」を入力する項目を表示すればよい。管理者等は、会議の趣旨と選択する属性値の関係を予めテーブル情報としてサーバ装置20に入力(登録)する。
 例えば、プロフィール情報提供部204は、参加者同士の会話から最適な属性値を選択してもよい。プロフィール情報提供部204は、会議室端末10から取得した音声を解析し、会話の趣旨を判定する。具体的には、プロフィール情報提供部204は、参加者の発言からキーワードを抽出し、当該抽出されたキーワードの発言頻度を計算する。プロフィール情報提供部204は、発言頻度の高いキーワードが会話の趣旨を端的に示していると判断し、会議の趣旨を定める。
 なお、管理者等は、プロフィール情報提供部204が抽出するキーワードを予めサーバ装置20に入力する。また、管理者等は、発言頻度の高いキーワードと会議の趣旨を対応付けたテーブル情報や、会議の趣旨と選択する属性値を対応付けたテーブル情報も予めサーバ装置20に入力する。なお、参加者の発言からキーワードを抽出する際、発言(音声)をテキスト化する必要があるが、当該テキスト化に関する説明は後述するテキスト化部222の説明を参照することができる。
 例えば、プロフィール情報提供部204は、参加者のプロフィールから選択する属性値を決定してもよい。例えば、プロフィール情報提供部204は、情報提供の要求者の属性値と同じ属性値を選択してもよい。例えば、図14の例では、利用者ID01、ID03及びID04の所属組織は同じである。これらの利用者が同じ会議に参加し、ID03の参加者から情報提供要求を取得した場合には、プロフィール情報提供部204は、ID01の参加者に関する所属組織を選択する際、ID03の参加者と同じ所属組織を選択する。
 第2の実施形態では、サーバ装置20が同一項目に関する複数の属性値のうち最適な属性値を選択する。さらに、サーバ装置20が、会議室端末10では当該選択された属性値を参加者に提示することで利便性を向上させている。しかし、会議室端末10は、複数の属性値を表示してもよい。例えば、プロフィール情報提供部204は、複数の属性値それぞれに優先度を付与して会議室端末10に送信してもよい。例えば、プロフィール情報提供部204は、上記説明したような方法により選択した属性値の優先度を高く設定する。サーバ装置20は、優先度が付与された属性値を含むプロフィールを含む応答を会議室端末10に送信する。会議室端末10は、取得した複数の属性値を表示すると共に、優先度の高い属性値を強調するような表示をしてもよい。
 上記説明では、サーバ装置20は、同一項目の複数属性値から少なくとも1以上の属性値を自動的に選択する場合について説明したが、当該自動選択は会議室端末10にて行われてもよい。この場合、サーバ装置20は、利用者データベースに登録された、会議参加者の全フィールドの属性値を会議室端末10に送信すればよい。
 複数の属性値から1つの属性値が選択され、且つ、他の項目の複数属性値から1つの属性値が選択される場合、サーバ装置20は属性値の選択を連動させてもよい。例えば、勤務先の属性値として「大学」が選択された場合には連絡先の属性値として「大学」のメールアドレスを連動して選択する。
 以上のように、第2の実施形態に係るサーバ装置20は、利用者のプロフィールを取得する際、同一の項目(例えば、所属組織等)について複数の属性値(例えば、勤務先の企業や大学等)の取得が可能である。サーバ装置20は、他の参加者に関するプロフィールに複数の属性値が設定されている項目が存在する場合、複数の属性値のうち少なくとも1以上の属性値を選択し、当該選択された少なくとも1以上の属性値を参加者に提供する。即ち、サーバ装置20は、同一項目に関する複数の属性値のうち最適な属性値を選択し、参加者に提供する。そのため、参加者は、他の参加者の所属等に関する正確な認識が可能となり、より適切な議論をすることができる。
[第3の実施形態]
 続いて、第3の実施形態について図面を参照して詳細に説明する。
 第3の実施形態では、参加者のプロフィール情報の表示に加え、他の参加者の発言に対する簡単な意見表明(意思表明)が行える場合について説明する。
 なお、第3の実施形態に係る会議支援システムの構成は第1、第2の実施形態と同一とすることができるので図2に相当する説明を省略する。以下、第1乃至第3の実施形態の相違点を中心に説明する。
 例えば、会議室端末10は、図15に示すように、参加者の顔写真と共にその発言を表示する。その際、会議室端末10は、他の参加者の発言に賛同する場合には参加者がその旨を会議室端末10に入力するようなインターフェイスを提供する。例えば、会議室端末10は、図15に示すように「同意ボタン」を表示し、当該ボタンの押下により他者の発言に対する参加者の意見を取得する。
 サーバ装置20は、参加者ごとに、他者の発言に対する意見の統計情報を生成し、当該生成した統計情報を「プロフィール提供要求」に対する応答に含め会議室端末10に送信する。以降の説明において、他者の発言に対する参加者の意見に関する統計情報を「参加者意見統計情報」と表記する。例えば、サーバ装置20は、参加者U1の発言(会議全体を通しての発言)に対して各参加者が同意した発言の割合(同意率)を上記参加者意見統計情報として生成する。
 会議室端末10は、受信した応答を用いて、図16に示すような表示を行う。図16のような表示に接した参加者は、自身の発言に対する他の参加者の意見(見解)を知ることができる。通常のテレビ会議では画面を通じて他の参加者の考えを知ることは難しい。参加者は、対面での会議のように相手の表情の微妙な変化を感じ取ることが難しいためである。しかし、第3の実施形態に係るサーバ装置30による会議支援により、参加者は自分の発言に対する他の参加者の意見を知ることができる。
[会議室端末]
 図17は、第3の実施形態に係る会議室端末10の処理構成(処理モジュール)の一例を示す図である。図17を参照すると、第1の実施形態に係る会議室端末10の構成に意見取得部307が追加されている。
 意見取得部307は、他者の発言に対する参加者の意見(自装置を操作する参加者の意見)を取得するための手段である。意見取得部307は、サーバ装置20から「発言者情報」を取得する。発言者情報の詳細は後述するが、当該情報には、発言を特定するID(後述する発言ID)、現在の発言者の顔写真、発言内容、発言者の氏名等が含まれる。
 意見取得部307は、当該発言者情報に含まれる情報を表示しつつ、表示された発言に対して参加者が意見を表明するためのインターフェイスを生成する。例えば、意見取得部307は、図15に示すような「同意ボタン」を表示する。
 なお、図15に示す表示は例示であって、意見取得部307による表示には種々の形態、形式が考えられる。例えば、意見取得部307は、発言に対する「不同意」を示すボタンを表示してもよい。あるいは、意見取得部307は、発言に対し同意でもなければ反対でもないことを示す「中立ボタン」を表示してもよい。
 意見取得部307は、他の参加者の発言に対する参加者の考え(参加者の見解)をサーバ装置20に送信する。具体的には、意見取得部307は、参加者が意見を表明した発言の発言ID、自装置の会議室端末ID、参加者の意見(例えば、発言に同意、不同意、中立)をサーバ装置20に送信する。以降の説明において、意見取得部307からサーバ装置20に送信される情報を「参加者見解情報」と表記する。即ち、他の参加者の発言に対する自身の考え、見解をサーバ装置20に通知する情報が「参加者見解情報」である。
 プロフィール情報出力部305は、サーバ装置から受信する応答に基づいてプロフィール情報を表示する。その際、プロフィール情報出力部305は、自装置の面前に座っている参加者の発言に対する他の参加者の意見に関する統計情報(参加者意見統計情報;例えば、発言に対する同意率)を表示する。例えば、プロフィール情報出力部305は、図16に示すような表示を行う。
[サーバ装置]
 図18は、第3の実施形態に係るサーバ装置20の処理構成(処理モジュール)の一例を示す図である。図18を参照すると、第1の実施形態に係るサーバ装置20の構成に発言者情報送信部206と参加者意見管理部207が追加されている。
 発言者情報送信部206は、参加者の発言を検出すると、当該発言に関する情報(発言者情報)を生成し、会議室端末10に送信する手段である。発言者情報送信部206は、参加者の発言を検出すると、少なくとも当該参加者による発言内容を含む発言者情報を会議室端末10(発言者が使用する会議室端末10以外の端末)に送信する。
 発言者情報送信部206は、複数のサブモジュールを含む。図19は、発言者情報送信部206の処理構成の一例を示す図である。図19を参照すると、発言者情報送信部206は、音声取得部221と、テキスト化部222と、情報送信部223と、を備える。
 音声取得部221は、会議室端末10から参加者の音声を取得する手段である。会議室端末10は、参加者の発言のたびに音声ファイルを生成し、自装置のID(会議室端末ID)と共に当該音声ファイルをサーバ装置20に送信する。音声取得部221は、参加者リストを参照し、取得した会議室端末IDに対応する参加者IDを特定する。音声取得部221は、特定した参加者IDと会議室端末10から取得した音声ファイルをテキスト化部222に引き渡す。
 テキスト化部222は、取得した音声ファイルをテキスト化する手段である。テキスト化部222は、音声認識技術を用いて音声ファイルに記録された内容をテキスト化する。テキスト化部222は、既存の音声認識技術を用いることができるのでその詳細な説明は省略するが、概略以下のように動作する。
 テキスト化部222は、音声ファイルからノイズ等を除去するためのフィルタ処理を行う。次に、テキスト化部222は、音声ファイルの音波から音素を特定する。音素は、言語の最小構成単位である。テキスト化部222は、音素の並びを特定し、単語に変換する。テキスト化部222は、単語の並びから文章を作成し、テキストファイルを出力する。なお、上記フィルタ処理の際に、所定のレベルよりも小さい音声は削除されるので、隣人の声が音声ファイルに含まれていた場合であっても当該隣人の声からテキストファイルが生成されることはない。
 テキスト化部222は、参加者IDとテキストファイルを情報送信部223に引き渡す。
 情報送信部223は、発言者情報を会議室端末10に送信する手段である。情報送信部223は、利用者データベースを参照し、テキスト化部222から取得した参加者IDに対応する氏名、顔画像等を取得する。
 情報送信部223は、発言者の氏名、発言者の顔画像及び発言内容(発言内容のテキストファイル)を含む「発言者情報」を生成し、当該生成した発言者情報を会議室端末10に送信する。その際、情報送信部223は、発言者情報を識別するためのID(以下、発言ID)を発言者情報に含める。例えば、情報送信部223は、図20に示すような発言者情報を各会議室端末10に送信する。なお、発言IDは発言を一意に特定できる情報であれば任意の値を用いることができる。例えば、情報送信部223は、発言者情報を生成するたびに発言IDの値をインクリメントすることで発言IDを生成することができる。
 また、情報送信部223は、発言者の参加者ID、発言ID及び発言内容(テキストファイル)を参加者意見管理部207に引き渡す。
 参加者意見管理部207は、他者の発言に対する参加者の意見を示す情報(参加者見解情報)を管理する手段である。より具体的には、参加者意見管理部207は、他者の発言に対する各参加者の見解を記憶するデータベース(以下、参加者見解データベース)を管理する。
 参加者意見管理部207は、参加者見解データベースを生成、管理するため、情報送信部223から取得した参加者ID、発言ID、発言内容に基づいて会議の議事録を生成する。具体的には、参加者意見管理部207は、発言時刻、参加者ID、発言ID及び発言内容を対応付けて記憶する。その結果、図21に示すような議事録が生成される。なお、図21では発言者の参加者IDを「発言者ID」と表記している。
 参加者意見管理部207は、各会議室端末10から「参加者見解情報」を取得する。参加者意見管理部207は、当該取得した参加者見解情報を上記議事録に反映する。例えば、参加者意見管理部207は、参加者の意見が「同意」であれば当該参加者が他者の発言に対して同意した旨を議事録に追記する。
 参加者意見管理部207は、発言ID(議事録に含まれる発言のなかから参加者見解情報に含まれる発言ID)に基づいて参加者が意見を表明した発言を特定する。参加者意見管理部207は、当該特定した発言に参加者の意見を反映していくことで、例えば、図22に示すようなテーブル情報(参加者見解データベース)を生成する。参加者見解データベースは、参加者による発言内容と他の参加者の見解を対応付けて管理するデータベースである。なお、図22では、各参加者が発言に対して「同意」の意見を示した場合、フラグがセットされている(「1」がセットされる)。
 プロフィール情報提供部204は、会議室端末10から取得したプロフィール提供要求に応答する際、当該情報要求を送信した参加者の発言に対する他者の意見(見解)に関する統計情報を含める。具体的には、プロフィール情報提供部204は、参加者見解データベースを参照し、「参加者意見統計情報」を生成する。繰り返しとなるが、参加者意見統計情報は、他者の発言に対する参加者の意見に関する統計情報である。
 プロフィール情報提供部204は、例えば、参加者意見統計情報として、他者が会議全体を通した発言に対して各参加者が同意した発言の割合(同意率)を生成する。つまり、プロフィール情報提供部204は、参加者による発言のうち他の参加者が同意した発言の割合を同意率として計算する。
 プロフィール情報提供部204は、一の参加者(プロフィール情報提供要求の送信元である会議室端末10を操作する参加者)の発言総数を、参加者見解データベースを参照して計算する。具体的には、プロフィール情報提供部204は、参加者見解データベースのエントリのうち上記一の参加者に対応する発言者ID(参加者ID)の総数を計算する。さらに、プロフィール情報提供部204は、当該一の参加者以外の参加者について、上記一の参加者に対応する発言者IDのエントリのうちフラグがセットされているエントリの数を計数する。プロフィール情報提供部204は、上記計算した総数に対するフラグがセットされたエントリの割合を計算することで、各参加者の同意率を計算する。
 図22の例では、発言者ID01の参加者の発言に対する他の参加者の同意率は、参加者ID02=50%、参加者ID03=100%、参加者ID04=0%となる。当該結果は、参加者ID01の参加者に発言に対して、参加者ID03の意見は賛成(肯定的)であり参加者ID04の意見は反対(否定的)であることを示す。
 プロフィール情報提供部204は、上記生成した参加者意見統計情報をプロフィール提供要求の応答に含め当該要求の送信元である会議室端末10に送信する。
 なお、プロフィール情報提供部204は、同意率に替えて他の指標を参加者意見統計情報として生成してもよい。例えば、他者の発言に対する「不同意率」が参加者意見統計情報として生成されてもよい。
 あるいは、プロフィール情報提供部204は、時間帯ごとの「同意率」や「不同意率」を参加者意見統計情報とし生成してもよい。例えば、プロフィール情報提供部204は、所定期間ごと(例えば、10分ごと)の同意率を計算し、参加者意見統計情報として会議室端末10に送信してもよい。この場合、会議室端末10は、同意率等の時間変化を表示してもよい(図23参照)。
 あるいは、プロフィール情報提供部204は、情報提供要求の参加者とは異なる拠点側の参加者意見統計情報を生成してもよい。プロフィール情報提供部204は、プロフィール情報提供の送信元を会議室端末IDから特定する。プロフィール情報提供部204は、参加者リストを参照し、当該特定した会議室端末IDとは異なる拠点側の参加者IDを特定する。プロフィール情報提供部204は、参加者見解データベースを参照し、当該特定した他の拠点側の参加者IDに関する同意率を計算する。例えば、プロフィール情報提供部204は、他の拠点側の参加者IDそれぞれについて同意率を算出し、当該算出された同意率の平均値を計算することで他の拠点側の同意率を計算する。
 例えば、図2の例において、参加者U1(参加者U1が操作する会議室端末10-1)がプロフィール情報提供要求を送信すると、プロフィール情報提供部204は、拠点B全体の参加者意見統計情報を生成する。例えば、図22の例において、拠点Aの参加者U1、U2の参加者ID(発言者ID)はそれぞれID01、ID02とする。また、拠点Bの参加者U3、U4の参加者ID(発言者ID)はそれぞれID03、ID04とする。拠点Aの参加者U1の発言に対する、拠点B側の同意率は、50%(2/4)と計算される。この場合、会議室端末10は、相手側の拠点を俯瞰する表示を行うメイン領域に相手側の拠点全体の同意率(拠点同意率)を表示してもよい(図24参照)。なお、拠点同意率に関しても時間帯ごとの同意率が計算されてもよい。
[会議支援システムの動作]
 次に、第3の実施形態に係る会議支援システムの動作について説明する。
 図25は、第3の実施形態に係る会議支援システムの動作の一例を示すシーケンス図である。なお、図25は、実際に会議が行われている際のシステム動作の一例を示すシーケンス図であって、第1の実施形態との相違点を中心に記載されている。
 会議中に参加者が発言すると、会議室端末10は、当該参加者の音声をサーバ装置20に送信する(ステップS21)。
 サーバ装置20は、当該音声を取得し、その発言内容を含む「発言者情報」を生成する。サーバ装置20は、生成した発言者情報を会議室端末10に送信する(ステップS31)。
 会議室端末10は、取得した発言者情報を用いて参加者の意見(発言に対する参加者の見解)を入力するための画面を表示する。具体的には、会議室端末10は、図15に示すようなインターフェイスを参加者に提供する。会議室端末10は、当該インターフェイスにより参加者の見解を取得し、その内容(例えば、同意、不同意、中立等)を含む「参加者見解情報」をサーバ装置20に送信する(ステップS22)。
 サーバ装置20は、取得した参加見解情報を用いて参加者見解データベースを更新する(ステップS32)。
 会議中は、上記ステップS21~S32の動作が繰り返され、各参加者の見解が参加者見解データベースに集約されていく。
 会議中に、会議室端末10は、プロフィール提供要求をサーバ装置20に送信する(ステップS23)。
 サーバ装置20は、プロフィール提供要求を受信したタイミングにて参加者意見統計情報を生成する(ステップS33)。
 サーバ装置20は、生成した参加者意見統計情報を含む応答(プロフィール提供情報に対する応答)を会議室端末10に送信する(ステップS34)。
 会議室端末10は、取得した応答に基づき参加者プロフィール情報を出力する(ステップS24)。
 以上のように、第3の実施形態に係るサーバ装置は、会議の参加者が他の参加者の発言に対して表明した意見を収集し、参加者からの要求があれば、他者の意見に関する情報を当該参加者に提供する。その結果、他者の表情変化を把握することが難しいテレビ会議等であっても、参加者は会議室端末10に表示された「同意率」等を確認することで、他の参加者の考えを知ることができる。
 続いて、会議支援システムを構成する各装置のハードウェアについて説明する。図26は、サーバ装置20のハードウェア構成の一例を示す図である。
 サーバ装置20は、情報処理装置(所謂、コンピュータ)により構成可能であり、図26に例示する構成を備える。例えば、サーバ装置20は、プロセッサ311、メモリ312、入出力インターフェイス313及び通信インターフェイス314等を備える。上記プロセッサ311等の構成要素は内部バス等により接続され、相互に通信が可能となるように構成されている。
 但し、図26に示す構成は、サーバ装置20のハードウェア構成を限定する趣旨ではない。サーバ装置20は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス313を備えていなくともよい。また、サーバ装置20に含まれるプロセッサ311等の数も図26の例示に限定する趣旨ではなく、例えば、複数のプロセッサ311がサーバ装置20に含まれていてもよい。
 プロセッサ311は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等のプログラマブルなデバイスである。あるいは、プロセッサ311は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のデバイスであってもよい。プロセッサ311は、オペレーティングシステム(OS;Operating System)を含む各種プログラムを実行する。
 メモリ312は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。メモリ312は、OSプログラム、アプリケーションプログラム、各種データを格納する。
 入出力インターフェイス313は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。
 通信インターフェイス314は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス314は、NIC(Network Interface Card)等を備える。
 サーバ装置20の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ312に格納されたプログラムをプロセッサ311が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transitory)なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。
 なお、会議室端末10もサーバ装置20と同様に情報処理装置により構成可能であり、その基本的なハードウェア構成はサーバ装置20と相違する点はないので説明を省略する。会議室端末10は、カメラ、マイクを備えている、又は、カメラやマイクが接続可能に構成されていればよい。
 サーバ装置20は、コンピュータを搭載し、当該コンピュータにプログラムを実行させることでサーバ装置20の機能が実現できる。また、サーバ装置20は、当該プログラムにより会議支援方法を実行する。
[変形例]
 なお、上記実施形態にて説明した会議支援システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。
 上記実施形態では、会議室端末10にマイクを接続し、音声を送信する会議室端末10のIDにより発言者を特定している。しかし、1台のマイクを各拠点の机に設置し、当該マイクが各参加者の発言を集音してもよい。この場合、サーバ装置20は、マイクから集音した音声に関して「話者識別」を実行し、発言者の特定を行ってもよい。
 上記実施形態では、机に専用の会議室端末10が設置された場合について説明したが、会議室端末10の機能は参加者が所持(所有)する端末により実現されてもよい。例えば、各参加者のそれぞれは所持する端末を用いて会議に参加してもよい。参加者は、自身の端末を操作し、会議の開始と共に自分の顔画像をサーバ装置20に送信する。また、端末は、参加者の音声をサーバ装置20に送信する。なお、サーバ装置20はプロジェクタを用いて参加者に画像、映像等を提供してもよい。
 システム利用者のプロフィール(利用者の属性値)はスキャナ等を用いて入力されてもよい。例えば、利用者は、自身の名刺に関する画像を、スキャナを用いてサーバ装置20に入力する。サーバ装置20は、取得した画像に対して光学文字認識(OCR;Optical Character Recognition)処理を実行する。サーバ装置20は、得られた情報に基づき利用者のプロフィールを決定してもよい。
 上記実施形態では、会議室端末10からサーバ装置20に「顔画像」に係る生体情報が送信される場合について説明した。しかし、会議室端末10からサーバ装置20に「顔画像から生成された特徴量」に係る生体情報が送信されてもよい。サーバ装置20は、取得した特徴量(特徴ベクトル)を用いて利用者データベースに登録された特徴量との間で照合処理を実行してもよい。
 上記実施形態では、サーバ装置20は、会議室端末10から要求(プロフィール情報提供要求)を受信すると、他の参加者のプロフィール情報を会議室端末10に送信している。しかし、サーバ装置20は、会議の冒頭に他の参加者のプロフィール情報を各会議室端末10に送信してもよい。例えば、サーバ装置20は、会議の出席者全員の特定が終了したタイミング(参加者リストの作成が終了したタイミング)にて、各参加者のプロフィール情報を会議室端末10に送信してもよい。
 サーバ装置20が、各拠点のレイアウト情報(マップ情報)を保持している場合には、当該レイアウト情報を利用して着席している人物の位置情報を会議室端末10に送信してもよい。例えば、サーバ装置20が図2に示す2つの拠点のレイアウト情報を保持していれば、会議室端末IDから出席者の位置情報が特定される。サーバ装置20は、2つの拠点を含むレイアウト情報と参加者U1~U4の位置情報を会議室端末10に送信する。当該位置情報を取得した会議室端末10は、図27に示すようなインターフェイスを生成する。会議室端末10は、図27に示すインターフェイスにより指定された人物のプロフィール情報を表示してもよい。
 上記実施形態では、会議室端末10は、他の参加者のプロフィール情報を取得すると、当該プロフィール情報の表示等をする場合について説明した。会議室端末10は、当該取得したプロフィール情報を他の用途に利用してもよい。例えば、会議室端末10は、サーバ装置20から取得した同意率に基づいて、他の参加者をグループ分けしてもよい。例えば、会議室端末10は、同意率が高いグループと同意率が低いグループに参加者を分けて表示してもよい。あるいは、会議室端末10は、上記グループ分けを利用して参加者間の関係マップを作成してもよい。
 サーバ装置20は、各参加者の発言回数を会議室端末10に送信してもよい。会議室端末10は、発言量を可視化してもよい。あるいは、会議室端末10は、発言量が所定の閾値よりも少ない参加者に対してはより積極的に発言を促す表示等を行ってもよい。
 サーバ装置20は、各参加者の声量(声の大きさ)を会議室端末10に通知してもよい。会議室端末10は、当該通知された声量に応じて、種々の制御を実行する。例えば、会議室端末10は、声の小さい参加者に対して声を大きくするように促す表示を行う。あるいは、会議室端末10は、声が小さい人の音声を集音するマイクの増幅率(ゲイン)を上げる等の対応を行う。
 サーバ装置20は、各参加者の発言を解析し、会議の論点を自動的に抽出し、当該抽出した論点を会議室端末10に送信してもよい。例えば、サーバ装置20は、各参加者の発言の中で頻繁に登場するキーワード(予め定めたキーワード)を会議の論点に設定し、会議室端末10に送信する。会議室端末10は、当該論点を表示し、参加者の意思(論点に賛成、反対)を取得するようなインターフェイスを設け、参加者の見解を取得してもよい。サーバ装置20は、各参加者の見解を収集(集約)し、集計結果を会議室端末10に提供してもよい。会議室端末10に、集計結果を表示してもよい。
 上記説明で用いた流れ図(フローチャート、シーケンス図)では、複数の工程(処理)が順番に記載されているが、実施形態で実行される工程の実行順序は、その記載の順番に制限されない。実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
 上記の実施形態は本願開示の理解を容易にするために詳細に説明したものであり、上記説明したすべての構成が必要であることを意図したものではない。また、複数の実施形態について説明した場合には、各実施形態は単独で用いてもよいし、組み合わせて用いてもよい。例えば、実施形態の構成の一部を他の実施形態の構成に置き換えることや、実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、実施形態の構成の一部について他の構成の追加、削除、置換が可能である。
 上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、企業等にて行われる会議等を支援するシステムなどに好適に適用可能である。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
 会議支援システムを利用する複数の利用者それぞれのプロフィールを取得する、取得部と、
 前記複数の利用者のうち会議に参加している第1の参加者に対して、前記第1の参加者が参加している会議と同じ会議に参加している第2の参加者に関するプロフィールを提供する、情報提供部と、
 を備える、サーバ装置。
[付記2]
 前記取得部は、前記複数の利用者それぞれの顔画像とプロフィールを取得し、
 前記情報提供部は、前記第1の参加者に対して前記第2の参加者の顔画像とプロフィールを提供する、付記1に記載のサーバ装置。
[付記3]
 前記取得部は、前記複数の利用者それぞれを識別する利用者IDを生成し、
 前記生成された利用者ID、顔画像及びプロフィールを対応付けて記憶する利用者データベースをさらに備え、
 前記情報提供部は、前記第2の参加者の利用者IDを用いて前記利用者データベースから前記第2の参加者の顔画像とプロフィールを取得する、付記2に記載のサーバ装置。
[付記4]
 前記複数の利用者のうち前記第1及び第2の参加者を、前記第1及び第2の参加者から取得された顔画像と前記利用者データベースに登録された顔画像を用いた照合処理により特定する、参加者特定部をさらに備える、付記3に記載のサーバ装置。
[付記5]
 会議に参加している第1の参加者が使用する第1の端末と、
 前記第1の参加者が参加する会議と同じ会議に参加する第2の参加者が使用する第2の端末と、
 サーバ装置と、
 を含み、
 前記サーバ装置は、
 システムを利用する複数の利用者それぞれのプロフィールを取得する、取得部と、
 前記第1の端末に対して、前記第2の参加者に関するプロフィールを提供する、情報提供部と、
 を備える、会議支援システム。
[付記6]
 前記取得部は、前記複数の利用者それぞれの顔画像とプロフィールを取得し、
 前記情報提供部は、前記第1の端末に対して前記第2の参加者の顔画像とプロフィールを提供する、付記5に記載の会議支援システム。
[付記7]
 前記取得部は、前記複数の利用者それぞれを識別する利用者IDを生成し、
 前記サーバ装置は、前記生成された利用者ID、顔画像及びプロフィールを対応付けて記憶する利用者データベースをさらに備え、
 前記情報提供部は、前記第2の参加者の利用者IDを用いて前記利用者データベースから前記第2の参加者の顔画像とプロフィールを取得する、付記6に記載の会議支援システム。
[付記8]
 前記サーバ装置は、
 前記複数の利用者のうち前記第1及び第2の参加者を、前記第1及び第2の参加者から取得された顔画像と前記利用者データベースに登録された顔画像を用いた照合処理により特定する、参加者特定部をさらに備える、付記7に記載の会議支援システム。
[付記9]
 前記第1の端末は、前記第2の参加者に関するプロフィールの情報提供を前記サーバ装置に要求する、付記5乃至8のいずれか一に記載の会議支援システム。
[付記10]
 前記第1の端末は、前記プロフィールの情報提供の要求に対する応答を前記サーバ装置から取得し、前記取得した応答に基づいて前記第2の参加者に関するプロフィールを表示する、付記9に記載の会議支援システム。
[付記11]
 前記サーバ装置は、
 前記第1の参加者の発言を検出すると、少なくとも前記第1の参加者による発言内容を含む発言者情報を前記第2の端末に送信する、発言者情報送信部をさらに備え、
 前記第2の端末は、
 前記第2の参加者の前記第1の参加者による発言内容に対する見解を含む見解情報を前記サーバ装置に送信し、
 前記サーバ装置は、
 前記第1の参加者による発言内容と前記第2の参加者の見解を対応付けて管理する参加者見解データベースをさらに備え、
 情報提供部は、
 前記第1の端末から前記プロフィールの情報提供の要求を取得すると、前記第2の参加者の見解に関する統計情報を含む応答を前記第1の端末に送信する、付記10に記載の会議支援システム。
[付記12]
 情報提供部は、前記第1の参加者による発言のうち前記第2の参加者が同意した発言の割合を同意率として計算し、前記計算された同意率を含む応答を前記第1の端末に送信する、付記11に記載の会議支援システム。
[付記13]
 前記第2の端末は、前記第2の参加者の前記第1の参加者に発言内容に対する、同意又は不同意を前記見解情報として前記サーバ装置に送信する、付記11又は12に記載の会議支援システム。
[付記14]
 サーバ装置において、
 会議支援システムを利用する複数の利用者それぞれのプロフィールを取得し、
 前記複数の利用者のうち会議に参加している第1の参加者に対して、前記第1の参加者が参加している会議と同じ会議に参加している第2の参加者に関するプロフィールを提供する、会議支援方法。 
[付記15]
 サーバ装置に搭載されたコンピュータに、
 会議支援システムを利用する複数の利用者それぞれのプロフィールを取得する処理と、
 前記複数の利用者のうち会議に参加している第1の参加者に対して、前記第1の参加者が参加している会議と同じ会議に参加している第2の参加者に関するプロフィールを提供する処理と、
 を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体。
 なお、引用した上記の先行技術文献の各開示は、本書に引用をもって繰り込むものとする。以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。即ち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得る各種変形、修正を含むことは勿論である。
10、10-1~10-8 会議室端末
20、100 サーバ装置
101 取得部
102 情報提供部
201、301 通信制御部
202 利用者登録部
203 参加者特定部
204 プロフィール情報提供部
205、306 記憶部
206 発言者情報送信部
207 参加者意見管理部
211 利用者情報取得部
212 ID生成部
213 特徴量生成部
214 エントリ管理部
221 音声取得部
222 テキスト化部
223 情報送信部
302 顔画像取得部
303 音声送信部
304 プロフィール情報要求部
305 プロフィール情報出力部
307 意見取得部
311 プロセッサ
312 メモリ
313 入出力インターフェイス
314 通信インターフェイス

Claims (15)

  1.  会議支援システムを利用する複数の利用者それぞれのプロフィールを取得する、取得部と、
     前記複数の利用者のうち会議に参加している第1の参加者に対して、前記第1の参加者が参加している会議と同じ会議に参加している第2の参加者に関するプロフィールを提供する、情報提供部と、
     を備える、サーバ装置。
  2.  前記取得部は、前記複数の利用者それぞれの顔画像とプロフィールを取得し、
     前記情報提供部は、前記第1の参加者に対して前記第2の参加者の顔画像とプロフィールを提供する、請求項1に記載のサーバ装置。
  3.  前記取得部は、前記複数の利用者それぞれを識別する利用者IDを生成し、
     前記生成された利用者ID、顔画像及びプロフィールを対応付けて記憶する利用者データベースをさらに備え、
     前記情報提供部は、前記第2の参加者の利用者IDを用いて前記利用者データベースから前記第2の参加者の顔画像とプロフィールを取得する、請求項2に記載のサーバ装置。
  4.  前記複数の利用者のうち前記第1及び第2の参加者を、前記第1及び第2の参加者から取得された顔画像と前記利用者データベースに登録された顔画像を用いた照合処理により特定する、参加者特定部をさらに備える、請求項3に記載のサーバ装置。
  5.  会議に参加している第1の参加者が使用する第1の端末と、
     前記第1の参加者が参加する会議と同じ会議に参加する第2の参加者が使用する第2の端末と、
     サーバ装置と、
     を含み、
     前記サーバ装置は、
     システムを利用する複数の利用者それぞれのプロフィールを取得する、取得部と、
     前記第1の端末に対して、前記第2の参加者に関するプロフィールを提供する、情報提供部と、
     を備える、会議支援システム。
  6.  前記取得部は、前記複数の利用者それぞれの顔画像とプロフィールを取得し、
     前記情報提供部は、前記第1の端末に対して前記第2の参加者の顔画像とプロフィールを提供する、請求項5に記載の会議支援システム。
  7.  前記取得部は、前記複数の利用者それぞれを識別する利用者IDを生成し、
     前記サーバ装置は、前記生成された利用者ID、顔画像及びプロフィールを対応付けて記憶する利用者データベースをさらに備え、
     前記情報提供部は、前記第2の参加者の利用者IDを用いて前記利用者データベースから前記第2の参加者の顔画像とプロフィールを取得する、請求項6に記載の会議支援システム。
  8.  前記サーバ装置は、
     前記複数の利用者のうち前記第1及び第2の参加者を、前記第1及び第2の参加者から取得された顔画像と前記利用者データベースに登録された顔画像を用いた照合処理により特定する、参加者特定部をさらに備える、請求項7に記載の会議支援システム。
  9.  前記第1の端末は、前記第2の参加者に関するプロフィールの情報提供を前記サーバ装置に要求する、請求項5乃至8のいずれか一項に記載の会議支援システム。
  10.  前記第1の端末は、前記プロフィールの情報提供の要求に対する応答を前記サーバ装置から取得し、前記取得した応答に基づいて前記第2の参加者に関するプロフィールを表示する、請求項9に記載の会議支援システム。
  11.  前記サーバ装置は、
     前記第1の参加者の発言を検出すると、少なくとも前記第1の参加者による発言内容を含む発言者情報を前記第2の端末に送信する、発言者情報送信部をさらに備え、
     前記第2の端末は、
     前記第2の参加者の前記第1の参加者による発言内容に対する見解を含む見解情報を前記サーバ装置に送信し、
     前記サーバ装置は、
     前記第1の参加者による発言内容と前記第2の参加者の見解を対応付けて管理する参加者見解データベースをさらに備え、
     情報提供部は、
     前記第1の端末から前記プロフィールの情報提供の要求を取得すると、前記第2の参加者の見解に関する統計情報を含む応答を前記第1の端末に送信する、請求項10に記載の会議支援システム。
  12.  情報提供部は、前記第1の参加者による発言のうち前記第2の参加者が同意した発言の割合を同意率として計算し、前記計算された同意率を含む応答を前記第1の端末に送信する、請求項11に記載の会議支援システム。
  13.  前記第2の端末は、前記第2の参加者の前記第1の参加者に発言内容に対する、同意又は不同意を前記見解情報として前記サーバ装置に送信する、請求項11又は12に記載の会議支援システム。
  14.  サーバ装置において、
     会議支援システムを利用する複数の利用者それぞれのプロフィールを取得し、
     前記複数の利用者のうち会議に参加している第1の参加者に対して、前記第1の参加者が参加している会議と同じ会議に参加している第2の参加者に関するプロフィールを提供する、会議支援方法。 
  15.  サーバ装置に搭載されたコンピュータに、
     会議支援システムを利用する複数の利用者それぞれのプロフィールを取得する処理と、
     前記複数の利用者のうち会議に参加している第1の参加者に対して、前記第1の参加者が参加している会議と同じ会議に参加している第2の参加者に関するプロフィールを提供する処理と、
     を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体。
PCT/JP2020/007890 2020-02-27 2020-02-27 サーバ装置、会議支援システム、会議支援方法及び記憶媒体 WO2021171450A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/007890 WO2021171450A1 (ja) 2020-02-27 2020-02-27 サーバ装置、会議支援システム、会議支援方法及び記憶媒体
JP2021523325A JP7218802B2 (ja) 2020-02-27 2020-02-27 サーバ装置、会議支援方法及びプログラム
US17/797,499 US20230048703A1 (en) 2020-02-27 2020-02-27 Server device, conference assistance system, and conference assistance method
JP2023009261A JP2023033634A (ja) 2020-02-27 2023-01-25 サーバ装置、会議支援方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007890 WO2021171450A1 (ja) 2020-02-27 2020-02-27 サーバ装置、会議支援システム、会議支援方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2021171450A1 true WO2021171450A1 (ja) 2021-09-02

Family

ID=77491090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007890 WO2021171450A1 (ja) 2020-02-27 2020-02-27 サーバ装置、会議支援システム、会議支援方法及び記憶媒体

Country Status (3)

Country Link
US (1) US20230048703A1 (ja)
JP (2) JP7218802B2 (ja)
WO (1) WO2021171450A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022013584A (ja) * 2020-06-30 2022-01-18 株式会社 ハンモック 名刺交換方法及び装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102609744B1 (ko) * 2020-12-29 2023-12-05 주식회사 카카오 사용자 프로필 관리 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121310A (ja) * 1992-10-05 1994-04-28 Ricoh Co Ltd テレビ会議装置
JP2003006131A (ja) * 2001-06-26 2003-01-10 Daiko Advertising Inc リアルタイム対話システム
JP2003339033A (ja) * 2002-05-17 2003-11-28 Pioneer Electronic Corp ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852807A (en) * 1993-11-24 1998-12-22 Intel Corporation Method and apparatus for modeling business card exchanges in a point-to-point or a multi-point personal computer conference
US7847815B2 (en) * 2006-10-11 2010-12-07 Cisco Technology, Inc. Interaction based on facial recognition of conference participants
CN102647577A (zh) * 2011-02-16 2012-08-22 鸿富锦精密工业(深圳)有限公司 远程会议管理系统及管理方法
US9007427B2 (en) * 2011-12-14 2015-04-14 Verizon Patent And Licensing Inc. Method and system for providing virtual conferencing
CN102572356B (zh) * 2012-01-16 2014-09-03 华为技术有限公司 记录会议的方法和会议系统
US20180232566A1 (en) * 2017-02-15 2018-08-16 Cisco Technology, Inc. Enabling face recognition in a cognitive collaboration environment
JP7056055B2 (ja) * 2017-09-27 2022-04-19 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
CN108495143A (zh) * 2018-03-30 2018-09-04 百度在线网络技术(北京)有限公司 视频推荐的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121310A (ja) * 1992-10-05 1994-04-28 Ricoh Co Ltd テレビ会議装置
JP2003006131A (ja) * 2001-06-26 2003-01-10 Daiko Advertising Inc リアルタイム対話システム
JP2003339033A (ja) * 2002-05-17 2003-11-28 Pioneer Electronic Corp ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022013584A (ja) * 2020-06-30 2022-01-18 株式会社 ハンモック 名刺交換方法及び装置

Also Published As

Publication number Publication date
US20230048703A1 (en) 2023-02-16
JP2023033634A (ja) 2023-03-10
JPWO2021171450A1 (ja) 2021-09-02
JP7218802B2 (ja) 2023-02-07

Similar Documents

Publication Publication Date Title
JP6866860B2 (ja) 電子会議システム
JP7046546B2 (ja) 会議支援システムおよび会議支援プログラム
US8791977B2 (en) Method and system for presenting metadata during a videoconference
JP2021044814A (ja) 電子会議システム
JP2023033634A (ja) サーバ装置、会議支援方法及びプログラム
US10237311B2 (en) Methods and systems for controlling access to presentation devices using selection criteria
WO2015085949A1 (zh) 视频会议方法、装置及系统
JP2017219989A (ja) オンライン面接評価装置、方法およびプログラム
WO2016074534A1 (zh) 一种视频会议的签到方法、装置和系统
US11349841B2 (en) Managing user access to restricted content through intelligent content redaction
US20150302363A1 (en) Meeting Scheduling Method, Device, and System
WO2021171451A1 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
US11398224B2 (en) Communication system and method for providing advice to improve a speaking style
JP2019121093A (ja) 情報生成システム、情報生成方法、情報処理装置、プログラム、端末装置
WO2021171613A1 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
JP7163968B2 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
WO2021171447A1 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
US20230336632A1 (en) Server apparatus, online conference system, business card exchange method, and computer readable storage medium
JP7371759B2 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
WO2022270632A1 (ja) 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム
JP6986589B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2023004833A (ja) 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム
JP2022139436A (ja) 会議支援装置、会議支援システム、会議支援方法、およびプログラム
Абдуллажонова THE CONCEPT OF BUSINESS ETIQUETTE AND BUSINESS COMMUNICATION
CN117714221A (zh) 会议纪要构建方法、装置、存储介质及智能眼镜

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021523325

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20921010

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20921010

Country of ref document: EP

Kind code of ref document: A1