WO2023074898A1 - 端末、情報処理方法、プログラム、および記録媒体 - Google Patents

端末、情報処理方法、プログラム、および記録媒体 Download PDF

Info

Publication number
WO2023074898A1
WO2023074898A1 PCT/JP2022/040723 JP2022040723W WO2023074898A1 WO 2023074898 A1 WO2023074898 A1 WO 2023074898A1 JP 2022040723 W JP2022040723 W JP 2022040723W WO 2023074898 A1 WO2023074898 A1 WO 2023074898A1
Authority
WO
WIPO (PCT)
Prior art keywords
participant
avatar
participants
terminal
control data
Prior art date
Application number
PCT/JP2022/040723
Other languages
English (en)
French (fr)
Inventor
進之介 岩城
Original Assignee
株式会社ドワンゴ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ドワンゴ filed Critical 株式会社ドワンゴ
Publication of WO2023074898A1 publication Critical patent/WO2023074898A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • the present invention relates to terminals, information processing methods, programs, and recording media.
  • a personal computer is connected to a camera and a microphone, and video and audio of participants are transmitted via the network.
  • a mobile terminal such as a smartphone equipped with an in-camera may also be used.
  • the conference system described in Patent Document 1 represents conference participants as virtual avatars.
  • the degree of aggressiveness which is an index indicating a positive attitude toward the meeting, is determined, and the degree of aggressiveness is reflected in the avatar of each participant.
  • Patent Literature 1 since an avatar is displayed instead of the participant's own appearance, the stress of being watched is alleviated.
  • the degree of aggressiveness is determined for each participant and reflected in the avatar, there is a risk that the participant will be stressed by having to take an aggressive attitude in front of the camera.
  • the present invention has been made in view of the above, and aims to provide a conference system that reduces the stress of remote conferences, allows easy participation, and allows smooth proceedings.
  • a terminal is a terminal for participating in a conference held in a virtual space in which avatars of participants are arranged, and includes a collection unit that collects voices of the participants, A control unit that generates control data for controlling an avatar, a determination unit that determines the state of the participant, a transmission unit that transmits voice data, control data, and determination results of the participant, and other participants a receiving unit for receiving voice data, control data, and determination results of the participants; a display control unit for determining the display mode of the conference based on the determination results of the participants and the other participants; and reproducing the voice data. and a display unit that controls the avatar based on the control data and displays the screen of the conference according to the display mode.
  • FIG. 1 is a diagram showing an example of the overall configuration of a conference system according to this embodiment.
  • FIG. 2 is a functional block diagram showing an example of the terminal configuration of the conference system of this embodiment.
  • FIG. 3 is a flow chart showing an example of the flow of processing in which a terminal transmits data.
  • FIG. 4 is a flow chart showing an example of the flow of processing for the terminal to display a conference screen.
  • FIG. 5 is a diagram showing an example of a conference display screen.
  • FIG. 6 is a flow chart showing an example of the flow of processing in which a terminal displays a conference screen.
  • FIG. 7 is a diagram showing an example of display of an avatar during a conversation.
  • FIG. 8 is a diagram showing an example of display of an avatar during a conversation.
  • FIG. 1 is a diagram showing an example of the overall configuration of a conference system according to this embodiment.
  • FIG. 2 is a functional block diagram showing an example of the terminal configuration of the conference system of this embodiment.
  • FIG. 3
  • FIG. 9 is a diagram showing an example of display of an avatar during a conversation.
  • FIG. 10 is a flow chart showing an example of the flow of processing for approaching a talking avatar.
  • FIG. 11 is a diagram showing an example of how avatars in conversation are approached.
  • FIG. 12 is a diagram showing an example of a screen on which icons are arranged.
  • FIG. 13 is a diagram showing an example of a screen displayed when a participant selects an icon.
  • the conference system shown in FIG. 1 is a system in which participants use terminals 10 to participate in a remote conference held in a virtual space.
  • the conference system comprises a plurality of terminals 10 and a server 30 communicatively connected via a network. Although only five terminals 10 are shown in FIG. 1, the number of terminals 10 that can participate in the remote conference is arbitrary.
  • An avatar corresponding to each participant is placed in the virtual space.
  • An avatar is a computer graphic character representing a participant in a remote conference. Participants use terminals 10 to participate in the conference in the virtual space as avatars. Note that the conference includes a chat such as a well-end conference.
  • the terminal 10 collects the voice of the participant with a microphone, shoots the participant with a camera, and generates control data for controlling the movement and posture of the participant's avatar.
  • the terminal 10 transmits voice data and control data of the participants.
  • the terminal 10 receives the voice data and control data of other participants, outputs the voice data, controls the corresponding avatar according to the control data, and displays the rendered image of the virtual space.
  • the terminal 10 determines the status of the participant and transmits the determination result, receives the determination result of the status of the other participant from the other terminal 10, and receives the determination result of the participant and the status of the other participant.
  • the display mode of the conference is determined based on the determination result.
  • the terminal 10 may be a personal computer with a camera and a microphone connected, a mobile terminal such as a smartphone with an in-camera, or a virtual reality device with a controller and a head-mounted display (HMD). (VR) equipment may be used.
  • a mobile terminal such as a smartphone with an in-camera
  • a virtual reality device with a controller and a head-mounted display (HMD). (VR) equipment may be used.
  • VR head-mounted display
  • the server 30 receives control data, voice data, and determination results from each terminal 10 and distributes them to each terminal 10 .
  • the terminal 10 shown in FIG. 2 includes a collection unit 11 , a photographing unit 12 , a control unit 13 , a determination unit 14 , a transmission unit 15 , a reception unit 16 , a display control unit 17 and a display unit 18 .
  • Each unit included in the terminal 10 may be configured by a computer including an arithmetic processing unit, a storage device, and the like, and the processing of each unit may be executed by a program.
  • This program is stored in a storage device included in the terminal 10, and can be recorded on a recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or can be provided through a network.
  • the collection unit 11 collects the voices of the participants using a microphone provided with the terminal 10 or a microphone connected to the terminal 10 .
  • the collection unit 11 may receive voice data of participants recorded by another device.
  • the photographing unit 12 photographs the participants using a camera provided in the terminal 10 or a camera connected to the terminal 10 . It is preferable that the face of the participant is shown in the captured video, but the whole body of the participant may be shown, or the participant may not be shown.
  • the photographing unit 12 may receive a photographed image photographed by another device.
  • the control unit 13 generates control data for controlling the avatars of the participants.
  • the control unit 13 may generate control data based on at least one of the voice of the participant and the captured image.
  • the control unit 13 generates control data such that the avatar's mouth is closed when the participant is not speaking, and the avatar's mouth is moved according to the utterance when the participant is speaking. to generate control data.
  • the control unit 13 may determine the action of the avatar based on the facial expression of the participant in the captured image.
  • control unit 13 may generate control data without reflecting the states of the participants. For example, if the participant is looking sideways without looking at the screen of the conference, or if the participant disappears from the front of the camera, the control unit 13 does not faithfully reflect the movement of the participant in the avatar, Generate control data that makes the avatar perform natural actions such as nodding and facing the speaker in a meeting. When the participant takes a positive attitude toward the conference, such as when the participant nods while looking at the screen, the control unit 13 generates control data that reflects the movement of the participant on the avatar. You may As a result, the participant's avatar shows a reaction in the conference regardless of the state of the participant, so that the speaker can speak comfortably.
  • the control unit 13 may generate control data for the avatar by using a machine learning model that has learned the voice and the movement of the avatar, and inputting the voice to the machine learning model.
  • control unit 13 When using a VR device as the terminal 10, the control unit 13 generates control data for controlling the avatar based on inputs from the controller and HMD. Participants' hand gestures, head movements, etc. are reflected in the avatar.
  • the determination unit 14 determines the state of the participant from the captured image. Specifically, the determination unit 14 determines from the captured image whether or not a participant is looking at the screen of the conference, and whether or not there is a participant. The determination by the determination unit 14 may not be strict. For example, when the participant uses a smartphone as the terminal 10, the determination unit 14 determines that the person is looking at the screen if the front of the face is shown in the captured image. judge. Further, the determination unit 14 may determine whether or not the participant is speaking from the captured image or audio data.
  • the transmission unit 15 transmits audio data, control data, and determination results.
  • the determination result is information indicating the state of the participant determined by the determination unit 14 .
  • the determination result includes states such as looking at the screen, not looking at the screen, being in front of the camera, not being in front of the camera, and speaking.
  • the determination result may include time information such as time spent watching the screen, time not in front of the camera, or speaking time.
  • the transmitted data is distributed to each terminal 10 via the server 30 .
  • the receiving unit 16 receives voice data, control data, and determination results from other terminals 10 via the server 30 .
  • the display control unit 17 aggregates the determination results received from the determination unit 14 and the other terminals 10, and determines the display mode of the conference based on the aggregated results.
  • the display mode includes, for example, the viewpoint when rendering the virtual space, the frame division of the screen, the arrangement of objects, the movement and posture of the avatar, and various effects. Examples of the aggregated results and display modes are given below.
  • the display control unit 17 changes the viewpoint when rendering the virtual space to a viewpoint that reflects the close-up of the speaker in order to attract the attention of the participants. do.
  • the display control unit 17 may cause the speaker's avatar to perform a large action such as hitting the desk, or may increase the volume of the speaker's voice.
  • the display control unit 17 replaces the control data of the avatar of the speaker with the control data of the large action.
  • the display control unit 17 When the ratio of participants not looking at the screen exceeds a predetermined threshold and there is no speaker, the display control unit 17 renders the virtual space in order to prompt the transition to the next topic or the end of the conference. Let us say that the view point is a close-up view of the avatar of the host (facilitator) of the conference.
  • the display control unit 17 may set the viewpoint for rendering the virtual space as a bird's-eye view of the entire conference room, so that the participants listen intently.
  • the display control unit 17 may randomly select some avatars and cause the avatars to nod their heads.
  • the display control unit 17 replaces the control data of the target avatar with the control data of the nodding motion.
  • the conference can proceed smoothly.
  • the display unit 18 reproduces the received audio data, arranges an object including the avatar in the virtual space according to the instruction of the display control unit 17, controls the movement and posture of the avatar based on the control data, and displays the virtual space. to generate the video of the meeting.
  • the display unit 18 arranges objects such as the floor, walls, ceiling, and tables that make up the conference room in the virtual space, and arranges the avatars of the participants at predetermined positions.
  • the model data and placement positions of the objects are stored in the storage device provided in the terminal 10 .
  • Information necessary to construct the virtual space may be received from the server 30 or another device when participating in the conference.
  • the display unit 18 changes the position of the object and the position and orientation of the avatar according to the instruction. If the instruction from the display control unit 17 specifies a viewpoint, the display unit 18 renders the virtual space at the specified viewpoint.
  • the display unit 18 may arrange operation buttons on the screen and accept operations from the participants. For example, when an operation button is pressed, control data is transmitted to cause the participant's avatar to move according to the operation button.
  • a part of the functions of the terminal 10 may be executed by the server 30.
  • the server 30 may have the function of the display control unit 17 , aggregate the determination results from each terminal 10 , determine the display mode, and distribute the display mode to each terminal 10 .
  • the server 30 has the functions of the control unit 13, the determination unit 14, and the display control unit 17, receives captured images and audio data from each terminal 10, generates control data for each avatar, and determines the state of each participant. Then, the determination results may be aggregated to determine the display mode, and the control data and the display mode may be distributed to each terminal.
  • the server 30 may have the function of the display unit 18 and distribute the rendered image of the virtual space to the terminal 10 .
  • FIG. 3 and 4 The processes shown in FIGS. 3 and 4 are executed in each terminal 10 as needed.
  • FIG. 3 is a flowchart showing an example of the flow of processing in which the terminal 10 transmits data.
  • the collecting unit 11 collects the voice of the participant, and the imaging unit 12 photographs the participant.
  • control unit 13 generates control data for controlling the participant's avatar.
  • the determination unit 14 determines the state of the participant from the captured image or voice.
  • the transmission unit 15 transmits the audio data, the control data, and the determination result.
  • the transmitted data is distributed to each terminal 10 via the server 30 .
  • FIG. 4 is a flow chart showing an example of the flow of processing for the terminal 10 to display the conference screen.
  • step S21 the receiving unit 16 receives the data transmitted by the other terminal 10 from the server 30.
  • the data received are, for example, voice data, control data, and determination results.
  • step S22 the display control unit 17 totalizes the received determination results.
  • the display control unit 17 determines the display mode of the conference based on the aggregated result.
  • step S24 the display unit 18 reproduces the audio data, controls the avatar according to the control data, and displays the conference screen according to the display mode.
  • FIG. 5 is a diagram showing an example of a conference display screen.
  • FIG. 5(a) is an example of a screen on which a speaker's avatar is displayed.
  • FIG. 5B is an example of a screen displayed from a bird's-eye view of the entire conference room.
  • FIG. 5(c) is an example of a screen in which the screen is divided into frames and each participant's avatar is displayed in each frame.
  • the display mode of the screen may be determined by the terminal 10 based on the result of summarizing the determination results of the states of the participants, or may be randomly determined by the terminal 10 . All the terminals 10 may or may not display screens in the same display mode. That is, each terminal 10 may determine the display mode individually, or the display mode determined by one of the terminals 10 may be distributed to each terminal 10 so that each terminal 10 has the same display mode.
  • the display mode of the conference is determined with reference to the determination results of the states of the participants and past cuts.
  • the overall configuration of the conference system and the configuration of the terminals 10 of the second embodiment are basically the same as those of the first embodiment.
  • the determination unit 14 determines whether or not the participants are having a conversation
  • the display control unit 17 identifies the participants who are having a conversation based on the determination result, and starts the conversation based on past cuts. Determines the cut split of the participant's avatar inside.
  • the terminal 10 does not have to include the imaging unit 12 .
  • step S31 the receiving unit 16 receives the data transmitted by the other terminal 10 from the server 30.
  • the display control unit 17 identifies the participants in the conversation based on the received determination result. For example, when another participant B starts speaking within a predetermined time after a certain participant A finished speaking, it is determined that the participants A and B are in conversation.
  • step S33 the display control unit 17 determines the display mode of the conference based on past cuts.
  • a specific example of processing based on past cut divisions will be described later.
  • step S34 the display unit 18 reproduces the audio data, controls the avatar according to the control data, and displays the conference screen according to the display mode.
  • the display control unit 17 stores cuts in which the avatars of the participants in conversation were displayed in the past.
  • the display control unit 17 sets the display mode to a cut cut in which the avatar A faces the right side of the screen, as in the past cut cuts.
  • the display control unit 17 sets the avatar B so that the avatar A faces the avatar B as shown in FIG. Let's make a cut that faces the left of the screen.
  • the display control unit 17 causes avatar B to face the left side of the screen.
  • the display control unit 17 may control the posture of the avatar.
  • the display control unit 17 displays both avatar A and avatar B, for example, as shown in FIG. Turn to the right and display a screen in which avatar B turns to the left. After that, when the participant A and the participant B converse, the display control unit 17 cuts the avatar A to the right and the avatar B to the left. As a result, the participants can naturally grasp who is talking with whom. The display control unit 17 determines a display mode in which the participants in the conversation can be naturally grasped based on the past cuts.
  • the display control unit 17 may identify the avatars in the conversations and determine the viewpoint so that the avatars in the conversations fit within one screen. The display control unit 17 may move the position of the avatar in the virtual space so that the avatar in conversation is closer. Alternatively, the display control unit 17 may divide the screen into a plurality of areas and display the avatar in conversation in each of the areas.
  • the display control unit 17 may make the screen configuration different from that of other participants according to the role of the participant using the terminal 10 (speaker, facilitator, etc.).
  • the facilitator's screen is divided into frames to show the speaker and the participants who are concentrating on the screen.
  • the facilitator can look at the screen and give the participants who are focused on the screen an opportunity to speak.
  • FIG. 10 With reference to the flowchart in FIG. 10, the flow of processing for bringing the avatar in conversation closer will be described.
  • the process of FIG. 10 is executed as needed at each terminal 10 of a participant in conversation during a conversation between two or more people.
  • step S41 the terminal 10 determines whether or not the avatar of the participant operating the terminal 10 and the avatar of the conversation partner are separated from each other. For example, if the avatar in conversation is separated by a predetermined distance in the virtual space, it is determined that the avatar is in a distant position. Alternatively, it may be determined that the avatar is at a distant position when another avatar exists between the avatars in conversation. If the position of the avatar during the conversation is not far away, the process ends.
  • the terminal 10 determines whether or not the participant can freely move the avatar based on the type of the terminal 10 itself. For example, a participant using a VR device as the terminal 10 can freely move an avatar, but a participant using a smartphone as the terminal 10 cannot freely move the avatar.
  • the terminal 10 that can freely move the avatar ends the process.
  • the types of terminals 10 of the participants in conversation may be compared to determine whether or not it is difficult for the terminals 10 to freely move the avatar. For example, when a participant using a personal computer as the terminal 10 and a participant using a smart phone as the terminal 10 are having a conversation, the personal computer is connected to a keyboard and mouse, so it is easier to move than the smart phone. Therefore, it may be determined that it is difficult to freely move the avatar of the participant using the smartphone.
  • step S43 the terminal 10 moves the avatar of the participant operating the terminal 10 closer to the conversation partner.
  • a participant's avatar A using a VR device (hereinafter referred to as a terminal 10A) as the terminal 10 and a participant's avatar B using a smartphone (hereinafter referred to as a terminal 10B) as the terminal 10 have a conversation.
  • terminal 10A determines in step S32 that avatar A can move freely
  • terminal 10B determines in step S32 that avatar B cannot move freely.
  • Terminal 10B moves the position of avatar B closer to avatar A in step S33.
  • the terminal 10B displays a warp effect (such as glitter) at the position before and after the movement of avatar B to express that avatar B has teleported, and terminal 10A. turns the screen black for a moment and switches cuts.
  • the terminal 10 may arrange an icon 110 in the screen 100 and accept operations from the participants. Each icon 110 is drawn with a pattern of an action desired for the avatar. When the participant touches the icon 110 , the terminal 10 generates and transmits control data for the action corresponding to the icon 110 .
  • the control data may include backgrounds, effects, viewpoints, etc., as well as avatar actions.
  • the terminal 10 that receives the control data controls the corresponding avatar according to the control data.
  • the control data includes a background, an effect, and a viewpoint
  • the terminal arranges the background and the effect according to the instructions of the control data, and sets the viewpoint in the virtual space.
  • FIG. 9 is an example of a screen 100 when a participant who has an opinion selects an icon indicating an action of having an avatar raise his hand.
  • the avatar raises its hand
  • the viewpoint is set to see the avatar from the front
  • the effect of "! is displayed above the head of the avatar.
  • the terminal 10 of the present embodiment is a terminal for participating in a conference held in a virtual space in which the avatars of participants are arranged.
  • a control unit 13 that generates control data for controlling the participant's avatar, a determination unit 14 that determines the participant's state, and a transmission unit 15 that transmits the participant's voice data, control data, and determination result.
  • a reception unit 16 for receiving voice data, control data, and determination results of other participants;
  • a display control unit 17 for determining the display mode of the conference based on the determination results of the participants and the other participants;
  • the display unit 18 reproduces the data, controls the avatar based on the control data, and displays the conference screen according to the display mode.

Abstract

参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末１０である。端末１０は、参加者の音声を収集する収集部１１と、参加者のアバターを制御するための制御データを生成する制御部１３と、参加者の状態を判定する判定部１４と、参加者の音声データ、制御データ、および判定結果を送信する送信部１５と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部１６と、参加者と他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部１７と、音声データを再生し、制御データに基づいてアバターを制御し、表示態様に従って会議の画面を表示する表示部１８を備える。

Description

端末、情報処理方法、プログラム、および記録媒体
　本発明は、端末、情報処理方法、プログラム、および記録媒体に関する。
　近年、各自の端末を利用したリモート会議が盛んに行われている。リモート会議では、パーソナルコンピュータにカメラとマイクを接続し、参加者の映像と音声をネットワークを介して送信する。インカメラを備えるスマートフォンなどの携帯端末を利用することもある。
特開２０１４－２２５８０１号公報
　カメラで参加者を撮影した映像を並べて表示する従来のリモート会議システムでは、多数の参加者が自分の方向を向いているため圧迫感を感じるという課題があった。また、参加者自身の姿を映して会議に参加することもストレスになっていると思われる。
　カメラをオフにして、撮影した映像の代わりに参加者を表すアイコンを表示することにより、見られているというストレスは軽減されるが、他の参加者からの反応が乏しく、発言者は手ごたえを感じにくいという課題があった。
　特許文献１に記載の会議システムは、会議参加者を仮想的なアバターで表現している。特許文献１では、カメラを通じて取得した参加者の行動に基づき、会議への積極的な態度を示す指標である積極度を判定し、積極度を各参加者のアバターに反映している。特許文献１では、参加者自身の姿の代わりにアバターが表示されるので見られているというストレスは軽減される。しかしながら、参加者ごとに積極度が判定されてアバターに反映されるので、カメラの前で積極的な態度を取らなければならないというストレスが生じてしまうおそれがある。
　本発明は、上記に鑑みてなされたものであり、リモート会議のストレスを軽減して気軽に参加でき、円滑に進行できる会議システムを提供することを目的とする。
　本発明の一態様の端末は、参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、前記参加者の音声を収集する収集部と、前記参加者のアバターを制御するための制御データを生成する制御部と、前記参加者の状態を判定する判定部と、前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備える。
　本発明によれば、リモート会議のストレスを軽減して気軽に参加でき、円滑に進行できる会議システムを提供できる。
図１は、本実施形態の会議システムの全体構成の一例を示す図である。 図２は、本実施形態の会議システムの端末の構成の一例を示す機能ブロック図である。 図３は、端末がデータを送信する処理の流れの一例を示すフローチャートである。 図４は、端末が会議の画面を表示する処理の流れの一例を示すフローチャートである。 図５は、会議の表示画面の一例を示す図である。 図６は、端末が会議の画面を表示する処理の流れの一例を示すフローチャートである。 図７は、会話中のアバターの表示の一例を示す図である。 図８は、会話中のアバターの表示の一例を示す図である。 図９は、会話中のアバターの表示の一例を示す図である。 図１０は、会話中のアバターを接近させる処理の流れの一例を示すフローチャートである。 図１１は、会話中のアバターを接近させる様子の一例を示す図である。 図１２は、アイコンを配置した画面の一例を示す図である。 図１３は、参加者がアイコンを選択したときに表示される画面の一例を示す図である。
　［実施例１］
　以下、本発明の実施の形態について図面を用いて説明する。
　図１に示す会議システムは、参加者が端末１０を用いて仮想空間内で開催されるリモート会議に参加するシステムである。本会議システムはネットワークを介して通信可能に接続された複数の端末１０とサーバ３０を備える。図１では、端末１０を５台のみ図示しているがこれに限るものではなく、リモート会議に参加できる端末１０の台数は任意である。
　仮想空間内には、各参加者に対応するアバターが配置される。アバターとは、リモート会議に参加する参加者を表すコンピュータグラフィックスのキャラクタである。参加者は、端末１０を用いて、アバターで仮想空間内の会議に参加する。なお、会議には井戸端会議のようなチャットも含む。
　端末１０は、マイクで参加者の音声を収集し、カメラで参加者を撮影し、参加者のアバターの動きおよび姿勢を制御するための制御データを生成する。端末１０は、参加者の音声データと制御データを送信する。端末１０は、他の参加者の音声データと制御データを受信し、音声データを出力し、制御データに従って対応するアバターを制御し、仮想空間をレンダリングした映像を表示する。また、端末１０は、参加者の状態を判定して判定結果を送信するとともに、他の端末１０から他の参加者の状態の判定結果を受信し、参加者の判定結果と他の参加者の判定結果に基づいて会議の表示態様を決定する。
　端末１０には、カメラとマイクを接続したパーソナルコンピュータを用いてもよいし、インカメラを備えたスマートフォンなどの携帯端末を用いてもよいし、コントローラとヘッドマウントディスプレイ（ＨＭＤ）を備えた仮想現実（ＶＲ）機器を用いてもよい。
　サーバ３０は、各端末１０から制御データ、音声データ、および判定結果を受信して、各端末１０へ配信する。
　図２を参照し、端末１０の構成の一例について説明する。図２に示す端末１０は、収集部１１、撮影部１２、制御部１３、判定部１４、送信部１５、受信部１６、表示制御部１７、および表示部１８を備える。端末１０が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは端末１０が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリなどの記録媒体に記録することも、ネットワークを通して提供することも可能である。
　収集部１１は、端末１０の備えるマイクまたは端末１０に接続されたマイクを用いて参加者の音声を収集する。収集部１１は、他の装置で収録された参加者の音声データを受信してもよい。
　撮影部１２は、端末１０の備えるカメラまたは端末１０に接続されたカメラを用いて参加者を撮影する。撮影する映像には参加者の顔が映るとよいが、参加者の全身が映ってもよいし、参加者が映らない場合があってもよい。撮影部１２は、他の装置で撮影された撮影画像を受信してもよい。
　制御部１３は、参加者のアバターを制御するための制御データを生成する。制御部１３は、参加者の音声または撮影画像の少なくともいずれかに基づいて制御データを生成してもよい。単純な例としては、制御部１３は、参加者が話していないときはアバターの口を閉じるように制御データを生成し、参加者が話しているときは発話に応じてアバターの口を動かすように制御データを生成する。制御部１３は、撮影画像の参加者の表情に基づいてアバターの動作を決めてもよい。
　あるいは、制御部１３は、参加者の状態を反映せずに、制御データを生成してもよい。例えば、参加者が会議の画面を見ないで横を向いている場合または参加者がカメラの前からいなくなった場合、制御部１３は、参加者の動きを忠実にアバターに反映せずに、頷く、発話者を向くなどの会議において自然な動作をアバターにさせる制御データを生成する。参加者が画面を見て頷く動作をしている場合など、参加者が会議に積極的な態度をとっている場合は、制御部１３は、参加者の動きをアバターに反映する制御データを生成してもよい。これにより、参加者がどのような状態であっても、会議において参加者のアバターが反応を示すので発話者は気持ちよく発話できる。
　制御部１３は、音声とアバターの動きとを学習した機械学習モデルを用い、音声を機械学習モデルに入力してアバターの制御データを生成してもよい。
　端末１０としてＶＲ機器を利用する場合、制御部１３は、コントローラおよびＨＭＤからの入力に基づいてアバターを制御する制御データを生成する。参加者の手振り、頭の動きなどがアバターに反映される。
　判定部１４は、撮影画像から参加者の状態を判定する。具体的には、判定部１４は、撮影画像から参加者が会議の画面を見ているか否か、参加者がいるか否かを判定する。判定部１４による判定は厳密でなくてよく、例えば、参加者が端末１０としてスマートフォンを利用している場合、判定部１４は、撮影画像に顔の正面が写っていれば画面を見ていると判定する。また、判定部１４は、撮影画像または音声データから参加者が発話中か否かを判定してもよい。
　送信部１５は、音声データ、制御データ、および判定結果を送信する。判定結果は、判定部１４の判定した参加者の状態を示す情報である。例えば、判定結果は、画面を見ている、画面を見ていない、カメラの前にいる、カメラの前にいない、発話中などの状態を含む。判定結果として、画面を見ている時間、カメラの前にいない時間、または発話時間などの時間情報を含めてもよい。送信したデータは、サーバ３０を介して、各端末１０に配信される。
　受信部１６は、サーバ３０を介して、他の端末１０から音声データ、制御データ、および判定結果を受信する。
　表示制御部１７は、判定部１４と他の端末１０から受信した判定結果を集計し、集計結果に基づいて会議の表示態様を決定する。表示態様には、例えば、仮想空間をレンダリングする際の視点、画面のコマ割り、オブジェクトの配置、アバターの動きと姿勢、各種エフェクトを含む。以下、集計結果と表示態様の例を挙げる。
　画面を見ていない参加者の割合が所定の閾値を超えた場合、表示制御部１７は、参加者の注意を引くために、仮想空間をレンダリングするときの視点を発話者のアップを映す視点とする。このとき、表示制御部１７は、発話者のアバターに机を叩くなどの大きなアクションをさせてもよいし、発話者の音声の音量を上げてもよい。発話者のアバターに大きなアクションをさせる場合、表示制御部１７は、発話者のアバターの制御データを大きなアクションの制御データに差し替える。
　画面を見ていない参加者の割合が所定の閾値を超え、発話者がいない場合、表示制御部１７は、次の話題への移行または会議の終了を促すために、仮想空間をレンダリングするときの視点を会議の主催者（進行役）のアバターのアップを映す視点とする。
　参加者の大半が画面を見ている場合、表示制御部１７は、仮想空間をレンダリングする視点を会議室全体を俯瞰する視点として、参加者が熱心に聞いている演出をしてもよい。表示制御部１７は、何体かのアバターをランダムに選び、アバターに頷く動作をさせてもよい。アバターに頷く動作をさせる場合、表示制御部１７は、対象のアバターの制御データを頷く動作の制御データに差し替える。
　このように、参加者の状態を集計し、集計結果に基づいて会議の表示態様を決定することで、会議を円滑に進行できる。
　表示部１８は、受信した音声データを再生するとともに、表示制御部１７の指示に従って、仮想空間内にアバターを含むオブジェクトを配置し、制御データに基づいてアバターの動きおよび姿勢を制御し、仮想空間をレンダリングして会議の映像を生成する。例えば、表示部１８は、会議室を構成する床、壁、天井、テーブルなどのオブジェクトを仮想空間内に配置し、所定の位置に参加者のアバターを配置する。オブジェクトのモデルデータおよび配置位置は、端末１０の備える記憶装置に記憶しておく。仮想空間を構築するために必要な情報は、会議に参加する際にサーバ３０または他の装置から受信してもよい。表示制御部１７の指示にオブジェクトの位置の変更、アバターの位置および姿勢の変更が含まれていれば、表示部１８は、その指示に従ってオブジェクトの位置、アバターの位置および姿勢を変更する。表示制御部１７の指示に視点の指定があれば、表示部１８は指定の視点で仮想空間をレンダリングする。
　表示部１８は、画面上に操作ボタンを配置し、参加者からの操作を受け付けてもよい。例えば操作ボタンが押下されると、操作ボタンに応じた動きを参加者のアバターにさせる制御データが送信される。
　なお、端末１０の機能の一部をサーバ３０が実行してもよい。例えば、サーバ３０が表示制御部１７の機能を備え、各端末１０からの判定結果を集計して表示態様を決定し、表示態様を各端末１０へ配信してもよい。サーバ３０が制御部１３、判定部１４、および表示制御部１７の機能を備え、各端末１０から撮影画像および音声データを受信し、各アバターの制御データを生成し、各参加者の状態を判定し、判定結果を集計して表示態様を決定し、制御データと表示態様を各端末へ配信してもよい。サーバ３０が表示部１８の機能を備え、仮想空間をレンダリングした映像を端末１０へ配信してもよい。
　次に、図３および図４のフローチャートを参照し、端末１０の処理の流れについて説明する。図３および図４に示す処理は、各端末１０において随時実行される。
　図３は、端末１０がデータを送信する処理の流れの一例を示すフローチャートである。
　ステップＳ１１にて、収集部１１が参加者の音声を収集し、撮影部１２が参加者を撮影する。
　ステップＳ１２にて、制御部１３が参加者のアバターを制御するための制御データを生成する。
　ステップＳ１３にて、判定部１４が撮影画像または音声から参加者の状態を判定する。
　ステップＳ１４にて、送信部１５は、音声データ、制御データ、および判定結果を送信する。送信したデータは、サーバ３０を介して各端末１０に配信される。
　図４は、端末１０が会議の画面を表示する処理の流れの一例を示すフローチャートである。
　ステップＳ２１にて、受信部１６は、サーバ３０から、他の端末１０の送信したデータを受信する。受信するデータは、例えば、音声データ、制御データ、および判定結果である。
　ステップＳ２２にて、表示制御部１７は、受信した判定結果を集計する。
　ステップＳ２３にて、表示制御部１７は、集計結果に基づき、会議の表示態様を決定する。
　ステップＳ２４にて、表示部１８は、音声データを再生するとともに、制御データに従ってアバターを制御し、表示態様に従って会議の画面を表示する。
　図５は、会議の表示画面の一例を示す図である。図５（ａ）は、発話者のアバターが表示された画面の一例である。図５（ｂ）は、会議室の全体が俯瞰する視点で表示された画面の一例である。図５（ｃ）は、画面がコマ割りされて、各コマに各参加者のアバターが表示された画面の一例である。画面の表示態様は、端末１０が参加者の状態の判定結果を集計した集計結果に基づいて決めてもよいし、端末１０がランダムで決めてもよい。全ての端末１０が同じ表示態様で画面を表示してもよいし、表示しなくてもよい。つまり、各端末１０が個別に表示態様を決定してもよいし、いずれかの端末１０が決定した表示態様を各端末１０へ配信し、各端末１０の表示態様を同じにしてもよい。
　［実施例２］
　実施例２では、参加者の状態の判定結果と過去のカット割りを参考にして会議の表示態様を決定する。実施例２の会議システムの全体構成および端末１０の構成は基本的に実施例１と同様である。実施例２では、判定部１４は参加者が会話中であるか否かを判定し、表示制御部１７は判定結果に基づいて会話中の参加者を特定し、過去のカット割りに基づいて会話中の参加者のアバターのカット割りを決定する。実施例２では、端末１０は撮影部１２を備えなくてもよい。
　図６のフローチャートを参照し、実施例２の端末１０が会議の画面を表示する処理について説明する。なお、端末１０がデータを送信する処理は実施例１と同様である。
　ステップＳ３１にて、受信部１６は、サーバ３０から、他の端末１０の送信したデータを受信する。
　ステップＳ３２にて、表示制御部１７は、受信した判定結果に基づいて会話中の参加者を特定する。例えば、ある参加者Ａの発話が終了後、所定の時間内に別の参加者Ｂが発話し始めた場合、参加者Ａ，Ｂは会話中であると判定する。
　ステップＳ３３にて、表示制御部１７は、過去のカット割りに基づいて会議の表示態様を決定する。過去のカット割りに基づく処理の具体例は後述する。
　ステップＳ３４にて、表示部１８は、音声データを再生するとともに、制御データに従ってアバターを制御し、表示態様に従って会議の画面を表示する。
　ここで過去のカット割りに基づく処理の一例について説明する。図７に示すように、過去に、参加者ＡのアバターＡが画面の右を向いたカット割りでアバターＡを表示していたとする。表示制御部１７は、過去に会話中の参加者のアバターを表示してしたカット割りを記憶しておく。参加者Ａが会話中の発話者である場合、表示制御部１７は、過去のカット割りと同様に、表示態様をアバターＡが画面の右を向くカット割りとする。会話の相手が参加者Ｂである場合、表示制御部１７は、参加者ＢのアバターＢを表示する際には、アバターＡとアバターＢが向き合うように、図８に示すように、アバターＢが画面の左を向くカット割りとする。以降、参加者Ｂが発話するとき、表示制御部１７は、アバターＢを画面の左を向くようにする。表示制御部１７はアバターの姿勢を制御してもよい。
　もし、過去にアバターＡとアバターＢのいずれも右向きのカット割りで表示されていた場合、表示制御部１７は、例えば図９に示すように、アバターＡとアバターＢの両方が映り、アバターＡが右を向き、アバターＢが左を向く画面を表示させる。その後、参加者Ａと参加者Ｂが会話するときは、表示制御部１７は、アバターＡは右向き、アバターＢは左向きのカット割りにする。これにより、参加者は誰と誰が会話しているのかを自然に把握できる。表示制御部１７は、過去のカット割りに基づき、会話中の参加者を自然に把握できるような表示態様を決定する。
　参加者の何人かで会話が行われている場合、表示制御部１７は、会話中のアバターを特定し、会話中のアバターが１画面内に収まるように視点を決めてもよい。表示制御部１７は、会話中のアバターが近くになるように、アバターの位置を仮想空間内で移動させてもよい。あるいは、表示制御部１７は、画面を複数領域に分割し、領域のそれぞれに会話中のアバターを表示させてもよい。
　表示制御部１７は、端末１０を使用する参加者の役割（発話者、進行役など）に応じて、画面の構成を他の参加者と異ならせてもよい。例えば、進行役の画面はコマ割りされて、発話者と画面を集中して見ている参加者が表示される。進行役は、画面を見て、画面を集中して見ている参加者に発言の機会を与えることができる。
　［変形例］
　次に、会話中のアバターを接近させる処理について説明する。
　図１０のフローチャートを参照し、会話中のアバターを接近させる処理の流れについて説明する。図１０の処理は、２人以上で会話中に、会話中の参加者の各端末１０において随時実行される。
　ステップＳ４１にて、端末１０は、端末１０を操作する参加者のアバターと会話相手のアバターとが離れた位置にいるか否か判定する。例えば、会話中のアバターが仮想空間内で所定の距離離れている場合に離れた位置にいると判定する。あるいは、会話中のアバターの間に別のアバターが存在する場合に離れた位置にいると判定してもよい。会話中のアバターの位置が離れていない場合は処理を終了する。
　会話中のアバターの位置が離れている場合、ステップＳ４２にて、端末１０は、端末１０自身の種別に基づき、参加者がアバターを自由に移動させることができるか否かを判定する。例えば、端末１０としてＶＲ機器を用いている参加者はアバターを自由に移動させることができるが、端末１０としてスマートフォンを用いている参加者はアバターを自由に移動させにくい。アバターを自由に移動させることができる端末１０は処理を終了する。会話中の参加者の端末１０の種別を比較し、端末１０が自由にアバターを移動させにくいか否か判定してもよい。例えば、パーソナルコンピュータを端末１０として用いている参加者とスマートフォンを端末１０として用いている参加者とが会話中の場合、パーソナルコンピュータにはキーボードおよびマウスが接続されているので移動がスマートフォンより容易であるため、スマートフォンを用いている参加者のアバターが自由に移動させにくいと判定してもよい。
　アバターを自由に移動させにくい場合、ステップＳ４３にて、端末１０は、端末１０を操作する参加者のアバターの位置を会話相手の近くに移動する。
　図１１の例では、端末１０としてＶＲ機器（以下端末１０Ａとする）を用いている参加者のアバターＡと端末１０としてスマートフォン（以下端末１０Ｂとする）を用いている参加者のアバターＢで会話している。この場合、端末１０Ａは、ステップＳ３２にて、アバターＡは自由に移動できると判定し、端末１０Ｂは、ステップＳ３２にて、アバターＢは自由に移動しにくいと判定する。端末１０Ｂは、ステップＳ３３にて、アバターＢの位置をアバターＡの近くに移動する。アバターＢが瞬間移動する際、端末１０Ｂは、アバターＢの移動前の位置と移動後の位置にワープエフェクト（例えばキラキラなど）を出現させて、アバターＢが瞬間移動したことを表現し、端末１０Ａは、画面を一瞬暗転させて、カット割りを切り替える。
　次に、参加者による端末１０を介したアバターの操作について説明する。
　図１２に示すように、端末１０は、画面１００内に、アイコン１１０を配置し、参加者からの操作を受け付けてもよい。各アイコン１１０には、アバターにさせたいアクションの図柄が描画されている。参加者がアイコン１１０にタッチすると、端末１０は、アイコン１１０に対応する動作の制御データを生成して送信する。制御データは、アバターの動作だけでなく、背景、エフェクト、および視点などを含んでもよい。
　制御データを受信した端末１０は、制御データに従って対応するアバターを制御する。制御データが背景、エフェクト、および視点を含む場合、端末は、制御データの指示に従って背景とエフェクトを配置し、仮想空間内の視点を設定する。例えば、図９は、意見がある参加者がアバターに手を挙げさせる動作を示すアイコンを選択したときの画面１００の例である。図１３の例では、アバターが手を挙げる動作し、そのアバターを正面から見る視点が設定され、アバターの頭上に「！」のエフェクトを表示している。
　以上説明したように、本実施形態の端末１０は、参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であり、参加者の音声を収集する収集部１１と、参加者のアバターを制御するための制御データを生成する制御部１３と、参加者の状態を判定する判定部１４と、参加者の音声データ、制御データ、および判定結果を送信する送信部１５と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部１６と、参加者と他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部１７と、音声データを再生し、制御データに基づいてアバターを制御し、表示態様に従って会議の画面を表示する表示部１８を備える。これにより、参加者はアバターで仮想空間内の会議に参加できるので、見られているというストレスを軽減でき、参加者の状態を集計して会議の表示態様を決めることで、会議全体の雰囲気を会議の表示に反映できる。
　１０　端末
　１１　収集部
　１２　撮影部
　１３　制御部
　１４　判定部
　１５　送信部
　１６　受信部
　１７　表示制御部
　１８　表示部
　３０　サーバ

Claims (8)

  1. 　参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、
    　前記参加者の音声を収集する収集部と、
    　前記参加者のアバターを制御するための制御データを生成する制御部と、
    　前記参加者の状態を判定する判定部と、
    　前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、
    　他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、
    　前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、
    　前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備える
    　端末。
  2. 　請求項１に記載の端末であって、
    　前記参加者を撮影した撮影画像を得る撮影部を備え、
    　前記判定部は、前記撮影画像から前記参加者が画面を見ているか否かを判定し、
    　前記表示制御部は、前記判定結果を集計し、集計結果に基づいて会議の表示態様を決定する
    　端末。
  3. 　請求項２に記載の端末であって、
    　前記表示制御部は、前記集計結果に基づき、前記仮想空間内をレンダリングする視点または前記画面のコマ割りを決定する
    　端末。
  4. 　請求項１に記載の端末であって、
    　前記表示制御部は、アバターを表示した過去のカット割りを記憶しておき、前記判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定する
    　端末。
  5. 　請求項１ないし４のいずれかに記載の端末であって、
    　前記参加者が他の参加者と会話中の場合、当該端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動する
    　端末。
  6. 　参加者のアバターが配置される仮想空間内で行われる会議に参加するための情報処理方法であって、
    　コンピュータが、
    　前記参加者の音声を収集し、
    　前記参加者のアバターを制御するための制御データを生成し、
    　前記参加者の状態を判定し、
    　前記参加者の音声データ、制御データ、および判定結果を送信し、
    　他の参加者の音声データ、制御データ、および判定結果を受信し、
    　前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定し、
    　前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する
    　情報処理方法。
  7. 　コンピュータを参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末として動作させるプログラムであって、
    　前記参加者の音声を収集する処理と、
    　前記参加者のアバターを制御するための制御データを生成する処理と、
    　前記参加者の状態を判定する処理と、
    　前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
    　他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
    　前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する処理を
    　コンピュータに実行させるプログラム。
  8. 　コンピュータを参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末として動作させるプログラムを記録した記録媒体であって、
    　前記参加者の音声を収集する処理と、
    　前記参加者のアバターを制御するための制御データを生成する処理と、
    　前記参加者の状態を判定する処理と、
    　前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
    　他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
    　前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する処理を
    　コンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2022/040723 2021-11-01 2022-10-31 端末、情報処理方法、プログラム、および記録媒体 WO2023074898A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-178513 2021-11-01
JP2021178513A JP7062126B1 (ja) 2021-11-01 2021-11-01 端末、情報処理方法、プログラム、および記録媒体

Publications (1)

Publication Number Publication Date
WO2023074898A1 true WO2023074898A1 (ja) 2023-05-04

Family

ID=81452694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040723 WO2023074898A1 (ja) 2021-11-01 2022-10-31 端末、情報処理方法、プログラム、および記録媒体

Country Status (2)

Country Link
JP (2) JP7062126B1 (ja)
WO (1) WO2023074898A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206307A (ja) * 2009-02-27 2010-09-16 Toshiba Corp 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
JP2011030063A (ja) * 2009-07-28 2011-02-10 Ricoh Co Ltd ビデオ会議システム，サーバ装置，及びビデオ会議プログラム
JP2012114511A (ja) * 2010-11-19 2012-06-14 Konica Minolta Business Technologies Inc 会議システム
JP2014225801A (ja) * 2013-05-16 2014-12-04 株式会社ニコン 会議システム、会議方法およびプログラム
US20150085056A1 (en) * 2012-03-23 2015-03-26 Alcatel Lucent Method, server, and terminal for conducting a video conference
WO2020203999A1 (ja) * 2019-04-01 2020-10-08 住友電気工業株式会社 コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム
JP2021005319A (ja) * 2019-06-27 2021-01-14 株式会社ドワンゴ 制御サーバ、配信システム、制御方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206307A (ja) * 2009-02-27 2010-09-16 Toshiba Corp 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
JP2011030063A (ja) * 2009-07-28 2011-02-10 Ricoh Co Ltd ビデオ会議システム，サーバ装置，及びビデオ会議プログラム
JP2012114511A (ja) * 2010-11-19 2012-06-14 Konica Minolta Business Technologies Inc 会議システム
US20150085056A1 (en) * 2012-03-23 2015-03-26 Alcatel Lucent Method, server, and terminal for conducting a video conference
JP2014225801A (ja) * 2013-05-16 2014-12-04 株式会社ニコン 会議システム、会議方法およびプログラム
WO2020203999A1 (ja) * 2019-04-01 2020-10-08 住友電気工業株式会社 コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム
JP2021005319A (ja) * 2019-06-27 2021-01-14 株式会社ドワンゴ 制御サーバ、配信システム、制御方法及びプログラム

Also Published As

Publication number Publication date
JP2023067360A (ja) 2023-05-16
JP2023067708A (ja) 2023-05-16
JP7062126B1 (ja) 2022-05-02

Similar Documents

Publication Publication Date Title
JP5208810B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
US11100694B2 (en) Virtual reality presentation of eye movement and eye contact
Schroeder Being there together and the future of connected presence
Colburn et al. The role of eye gaze in avatar mediated conversational interfaces
JPH07255044A (ja) アニメーション式電子会議室及びビデオ会議システム及びビデオ会議方法
KR20150040981A (ko) 조직화 모델들을 구현하는 화상 회의 시스템들
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN111064919A (zh) 一种vr远程会议方法及装置
CN112839196B (zh) 一种实现在线会议的方法、装置以及存储介质
EP4054180A1 (en) Integrated input/output (i/o) for a three-dimensional (3d) environment
Garau Selective fidelity: Investigating priorities for the creation of expressive avatars
WO2018158852A1 (ja) 通話システム及びコミュニケーションシステム
JP4077656B2 (ja) 発言者特定映像装置
JP3452348B2 (ja) 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体
WO2023074898A1 (ja) 端末、情報処理方法、プログラム、および記録媒体
JP2003108502A (ja) 身体性メディア通信システム
WO2022137547A1 (ja) コミュニケーション支援システム
JP6410346B2 (ja) 遠隔意思疎通装置及びプログラム
JP7178015B2 (ja) オンライン会議システム
US20100073399A1 (en) Methods and devices for controlling a presentation of an object
JP7329209B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
WO2024062779A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
JPH09139928A (ja) 多地点ビデオ会議システム
JP2023015877A (ja) 会議制御装置、会議制御方法及びコンピュータープログラム
JP2023524119A (ja) 顔イメージ生成方法、装置、電子機器及び可読記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22887223

Country of ref document: EP

Kind code of ref document: A1