JP7133257B1

JP7133257B1 - Program, information processing method, information processing device, and information processing system

Info

Publication number: JP7133257B1
Application number: JP2022004304A
Authority: JP
Inventors: 謙太郎茂出木
Original assignee: KID'S PLATES CO.,LTD.
Current assignee: KID'S PLATES CO.,LTD.
Priority date: 2022-01-14
Filing date: 2022-01-14
Publication date: 2022-09-08
Anticipated expiration: 2042-01-14
Also published as: JP2023103662A; JP2023103950A

Abstract

【課題】オンラインビデオコミュニケーションツールを利用するユーザ同士の多様なコミュニケーションを実現する。【解決手段】プロセッサを備えるコンピュータに、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ映像データを出力させるプログラムであって、ユーザの撮像データを取得するステップと、撮像データに基づいて、ユーザをアバターに変換した映像データを生成するステップと、生成された映像データを出力するステップと、他のユーザの操作に応答して、当該他のユーザのアバターをユーザの映像データに合成した映像データを出力するステップと、を実行させるプログラムが提供される。【選択図】図５Kind Code: A1 A variety of communication between users using an online video communication tool is realized. A program for causing a computer with a processor to output video data to an application functioning as an online video communication tool, the program comprising steps of acquiring imaging data of a user and converting the user into an avatar based on the imaging data. a step of outputting the generated video data; and a step of outputting video data obtained by synthesizing the other user's avatar with the user's video data in response to another user's operation. and a program is provided. [Selection drawing] Fig. 5

Description

本発明は、プログラム、情報処理装置および方法に関する。 The present invention relates to a program, information processing apparatus and method.

近年、インターネットなどのネットワークを利用して、オンラインでコミュニケーションを行う技術が開発されている。例えば、特許文献１には、仮想会議に参加している参加者が自身の分身であるアバターとなって１つの仮想空間内に表示される会議システムが開示されている。 In recent years, techniques for online communication using networks such as the Internet have been developed. For example, Patent Literature 1 discloses a conference system in which participants participating in a virtual conference are displayed in one virtual space as avatars that are avatars of themselves.

特表２０２０－５２５９４６号公報Japanese Patent Publication No. 2020-525946

一方で、インターネットを利用したオンラインミーティングやオンラインセミナーなどを実現するオンラインビデオコミュニケーションツールが普及している。このようなオンラインビデオコミュニケーションツールを利用する際に、より多様なコミュニケーションを実現したいというニーズがある。 On the other hand, online video communication tools for realizing online meetings, online seminars, etc. using the Internet have become widespread. When using such online video communication tools, there is a need to realize more diverse communications.

本発明の目的は、オンラインビデオコミュニケーションツールを利用するユーザ同士の多様なコミュニケーションを実現することである。 An object of the present invention is to realize various types of communication between users using online video communication tools.

本発明の一態様によれば、プロセッサを備えるコンピュータに、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ映像データを出力させるプログラムであって、ユーザの撮像データを取得するステップと、撮像データに基づいて、ユーザをアバターに変換した映像データを生成するステップと、生成された映像データを出力するステップと、他のユーザの操作に応答して、当該他のユーザのアバターをユーザの映像データに合成した映像データを出力するステップと、を実行させるプログラムが提供される。 According to one aspect of the present invention, there is provided a program for causing a computer having a processor to output video data to an application functioning as an online video communication tool, the program comprising the step of acquiring imaging data of a user; a step of generating video data in which a user is converted into an avatar; a step of outputting the generated video data; A program is provided that causes the step of outputting data.

本開示によれば、オンラインビデオコミュニケーションツールを利用するユーザ同士の多様なコミュニケーションを実現することができる。 According to the present disclosure, it is possible to realize various types of communication between users who use online video communication tools.

映像出力システム１の機能の概要を説明する図である。2 is a diagram for explaining an overview of functions of the video output system 1; FIG. 映像出力システム１のハードウェア構成を示すブロック図である。2 is a block diagram showing the hardware configuration of the video output system 1; FIG. ユーザ端末１０の機能構成を示すブロック図である。2 is a block diagram showing the functional configuration of the user terminal 10; FIG. 管理サーバ２０の機能構成を示すブロック図である。3 is a block diagram showing a functional configuration of a management server 20; FIG. 映像出力システム１の処理の流れの一例を示すフロー図である。3 is a flow diagram showing an example of the flow of processing of the video output system 1. FIG. ビデオコミュニケーション処理（Ｓ６００）の処理の流れの一例を示すAn example of the processing flow of video communication processing (S600) is shown. コネクト申請処理（Ｓ７００）の処理の流れの一例を示すフロー図である。FIG. 11 is a flow chart showing an example of the flow of connection application processing (S700); コネクト実施処理（Ｓ８００）の処理の流れの一例を示すフロー図である。FIG. 11 is a flow chart showing an example of a process flow of connection execution processing (S800); ユーザ端末１０に表示される画面例を示す図である。4 is a diagram showing an example of a screen displayed on the user terminal 10; FIG. ユーザ端末１０に表示される画面例を示す図である。4 is a diagram showing an example of a screen displayed on the user terminal 10; FIG. 変形例１における画面例を説明する図である。FIG. 10 is a diagram illustrating an example of a screen in modification 1; 変形例２における画面例を説明する図である。FIG. 11 is a diagram illustrating an example of a screen in modification 2;

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In the following description, the same parts are given the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.

＜１．第１実施形態＞
（１．映像出力システム１の概要）
図１を参照して、映像出力システム１の概要を説明する。ユーザＵ１は、ユーザ端末１０が備えるカメラ１６０を用いて、オンラインビデオコミュニケーションツールを利用することができる。オンラインビデオコミュニケーションツールとは、オンライン会議やオンラインセミナー、動画配信による配信者と視聴者とのコミュニケーションなどを実現し、インターネット上に配信されたユーザのビデオ（映像）データを介してユーザ同士のコミュニケーションを可能とするアプリケーションを指す。 <1. First Embodiment>
(1. Overview of video output system 1)
An overview of the video output system 1 will be described with reference to FIG. The user U1 can use the online video communication tool using the camera 160 included in the user terminal 10. FIG. Online video communication tools enable communication between distributors and viewers through online conferences, online seminars, and video distribution, and enable communication between users via user video (video) data distributed over the Internet. Refers to an application that enables

オンラインビデオコミュニケーションツールは、予めユーザ端末１０にインストールされていてもよいし、クラウドサーバに対してウェブブラウザからアクセスして利用してもよい。一般に普及しているオンラインビデオコミュニケーションツールの一例としては、Ｚｏｏｍ，Ｓｋｙｐｅ，ＧｏｏｇｌｅＭｅｅｔ（いずれも登録商標）などを挙げることができる。 The online video communication tool may be installed in the user terminal 10 in advance, or may be used by accessing a cloud server from a web browser. Examples of popular online video communication tools include Zoom, Skype, and Google Meet (all registered trademarks).

図１Ａに示すように、オンラインビデオコミュニケーションツールを利用する場合、通常はユーザ端末１０が備えるカメラ１６０が撮像した撮像データＤ１が他のユーザの使用する端末に表示される。これにより、ユーザＵ１は他のユーザとビデオデータを介したコミュニケーションを実現することができる。 As shown in FIG. 1A, when using an online video communication tool, normally image data D1 captured by a camera 160 included in the user terminal 10 is displayed on a terminal used by another user. This allows user U1 to communicate with other users via video data.

一方、映像出力システム１では、図１Ｂに示すように、撮像データＤ１におけるユーザＵ１をアバターＡ１に変換した映像データＥ１を、オンラインビデオコミュニケーションツールに出力する。このように、映像出力システム１は、いわゆる仮想カメラソフトウェアとしての機能を備える。これにより、ユーザＵ１は、他のユーザが利用する端末の画面に自身の顔を出すことなく、オンラインビデオコミュニケーションを実施することができる。 On the other hand, in the video output system 1, as shown in FIG. 1B, the video data E1 in which the user U1 in the imaging data D1 is converted into the avatar A1 is output to the online video communication tool. Thus, the video output system 1 has a function as so-called virtual camera software. As a result, user U1 can conduct online video communication without showing his/her face on the screens of terminals used by other users.

映像出力システム１は、さらに、他のユーザＵ２からのリクエストに応答して、ユーザＵ１をアバターＡ１に変換した映像データにユーザＵ２をアバターＡ２に変換した映像を合成した合成データをオンラインビデオコミュニケーションツールに出力することができる。そのため、オンラインビデオコミュニケーションツールを利用するユーザ同士の多様なコミュニケーションを実現することが可能となる。以下、各構成を詳細に説明する。 Further, in response to a request from another user U2, the video output system 1 outputs composite data obtained by synthesizing the video data in which the user U1 has been converted into the avatar A1 and the video in which the user U2 has been converted into the avatar A2 as an online video communication tool. can be output to Therefore, it is possible to realize various types of communication between users using the online video communication tool. Each configuration will be described in detail below.

（２．映像出力システム１のハードウェア構成）
図２は、映像出力システム１の全体構成の例を示すブロック図である。映像出力システム１は、ユーザ端末１０と、管理サーバ２０を備える。ユーザ端末１０、管理サーバ２０は、例えば、ネットワーク４０を介して通信接続する。ネットワーク４０は、例えば、インターネット及び／又は通信事業者が提供する通信網等により実現される。 (2. Hardware Configuration of Video Output System 1)
FIG. 2 is a block diagram showing an example of the overall configuration of the video output system 1. As shown in FIG. A video output system 1 includes a user terminal 10 and a management server 20 . The user terminal 10 and the management server 20 are connected for communication via the network 40, for example. The network 40 is realized by, for example, the Internet and/or a communication network provided by a communication carrier.

本実施形態において、複数の装置の集合体を１つのサーバとしてもよい。１つ又は複数のハードウェアに対して本実施形態に係る管理サーバ２０を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又は各サーバに求められる仕様等に鑑みて適宜決定することができる。 In this embodiment, a set of multiple devices may be used as one server. How to distribute a plurality of functions required to realize the management server 20 according to this embodiment to one or a plurality of pieces of hardware depends on the processing capability of each piece of hardware and/or the specifications required for each server. It can be determined as appropriate.

ユーザ端末１０は、例えば、据え置き型のＰＣ（Personal Computer）、又はラップトップＰＣ等により実現される。また、ユーザ端末１０は、スマートフォン、又はタブレット等の携帯端末により実現されてもよい。 The user terminal 10 is implemented by, for example, a stationary PC (Personal Computer), a laptop PC, or the like. Also, the user terminal 10 may be realized by a mobile terminal such as a smart phone or a tablet.

ユーザ端末１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１７とを備える。 The user terminal 10 includes a communication IF (Interface) 12 , an input device 13 , an output device 14 , a memory 15 , a storage 16 and a processor 17 .

通信ＩＦ１２は、ユーザ端末１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。 The communication IF 12 is an interface for inputting and outputting signals for the user terminal 10 to communicate with an external device.

入力装置１３は、ユーザからの入力操作を受け付けるための装置（例えば、キーボード、マウス等のポインティングデバイス、タッチパネル、タッチパッド等）である。 The input device 13 is a device (for example, a keyboard, a pointing device such as a mouse, a touch panel, a touch pad, etc.) for receiving an input operation from a user.

出力装置１４は、ユーザに対して情報を提示するための装置（ディスプレイ、スピーカ等）である。 The output device 14 is a device (display, speaker, etc.) for presenting information to the user.

メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。 The memory 15 temporarily stores programs and data processed by the programs, and is a volatile memory such as a DRAM (Dynamic Random Access Memory).

ストレージ１６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。 The storage 16 is for storing data, and is, for example, a flash memory or a HDD (Hard Disc Drive).

プロセッサ１７は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。 The processor 17 is hardware for executing an instruction set described in a program, and is composed of arithmetic units, registers, peripheral circuits, and the like.

管理サーバ２０は、映像出力システム１を利用するユーザの管理およびユーザ認証（ログイン／ログアウト）を行う。管理サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２７とを備える。 The management server 20 manages users who use the video output system 1 and performs user authentication (login/logout). The management server 20 includes a communication IF 22 , an input/output IF 23 , a memory 25 , a storage 26 and a processor 27 .

通信ＩＦ２２は、管理サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。 The communication IF 22 is an interface for inputting and outputting signals so that the management server 20 communicates with an external device.

入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し、情報を提示するための出力装置とのインタフェースとして機能する。 The input/output IF 23 functions as an interface with an input device for receiving input operations from the user and an output device for presenting information to the user.

メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ等の揮発性のメモリである。 The memory 25 temporarily stores programs and data processed by the programs, and is a volatile memory such as a DRAM.

ストレージ２６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤである。 The storage 26 is for storing data, and is, for example, flash memory or HDD.

プロセッサ２７は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。 The processor 27 is hardware for executing an instruction set described in a program, and is composed of arithmetic units, registers, peripheral circuits, and the like.

（３．映像出力システム１の機能構成）
以下、図３～図５を参照して、映像出力システム１の機能構成を説明する。 (3. Functional Configuration of Video Output System 1)
The functional configuration of the video output system 1 will be described below with reference to FIGS. 3 to 5. FIG.

（３－１．ユーザ端末１０の機能構成）
図３は、第１実施形態の映像出力システム１を構成するユーザ端末１０の構成を示す図である。ユーザ端末１０は、インターネットなどのネットワークを介して管理サーバ２０と通信可能に接続される。ユーザ端末１０は、５Ｇ、ＬＴＥ（Long Term Evolution）などの通信規格に対応した無線基地局、またはＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１などの無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ等の通信機器と通信することによりネットワークに接続される。 (3-1. Functional Configuration of User Terminal 10)
FIG. 3 is a diagram showing the configuration of the user terminal 10 that constitutes the video output system 1 of the first embodiment. The user terminal 10 is communicably connected to the management server 20 via a network such as the Internet. The user terminal 10 is a wireless base station compatible with communication standards such as 5G and LTE (Long Term Evolution), or a wireless LAN (Local Area Network) standard such as IEEE (Institute of Electrical and Electronics Engineers) 802.11. It is connected to a network by communicating with a communication device such as a wireless LAN router.

図３に示すように、ユーザ端末１０は、アンテナ１１０と、アンテナ１１０に対応する無線通信部１２０と、操作受付部１３０（キーボード１３１およびマウス１３２を含む）と、音声処理部１４０（マイク１４１およびスピーカ１４２を含む）と、ディスプレイ１５０と、カメラ１６０と、記憶部１７０と、制御部１８０とを含む構成としてもよい。 As shown in FIG. 3, the user terminal 10 includes an antenna 110, a wireless communication unit 120 corresponding to the antenna 110, an operation reception unit 130 (including a keyboard 131 and a mouse 132), and an audio processing unit 140 (a microphone 141 and (including speaker 142 ), display 150 , camera 160 , storage unit 170 , and control unit 180 .

なお、ユーザ端末１０は、図３では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路など）も有している。図３においてブロックで示される各構成は、バス等により電気的に接続される。 Note that the user terminal 10 also has functions and configurations not particularly shown in FIG. 3 (for example, a battery for retaining power, a power supply circuit for controlling power supply from the battery to each circuit, etc.). there is Each configuration indicated by a block in FIG. 3 is electrically connected by a bus or the like.

アンテナ１１０は、ユーザ端末１０が発する信号を電波として放射する。また、アンテナ１１０は、空間から電波を受信して受信信号を無線通信部１２０へ与える。 The antenna 110 radiates a signal emitted by the user terminal 10 as radio waves. Antenna 110 also receives radio waves from space and provides a received signal to radio communication section 120 .

無線通信部１２０は、ユーザ端末１０が他の無線機器と通信するため、アンテナ１１０を介して信号を送受信するための変復調処理などを行う。無線通信部１２０は、ユーザ端末１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１８０へ与える。 The wireless communication unit 120 performs modulation and demodulation processing for transmitting and receiving signals via the antenna 110 so that the user terminal 10 communicates with other wireless devices. The radio communication unit 120 modulates, demodulates, and frequency-converts radio signals transmitted and received by the user terminal 10 , and provides received signals to the control unit 180 .

操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、キーボード１３１と、マウス１３２とを含むことができる。 The operation accepting unit 130 has a mechanism for accepting user input operations. Specifically, the operation reception unit 130 can include a keyboard 131 and a mouse 132 .

音声処理部１４０は、音声信号の変復調を行い、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１８０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声をユーザ端末１０の外部へ出力する。 The audio processing unit 140 modulates and demodulates the audio signal, modulates the signal supplied from the microphone 141 , and supplies the modulated signal to the control unit 180 . Also, the audio processing unit 140 provides an audio signal to the speaker 142 . The audio processing unit 140 is implemented by, for example, a processor for audio processing. Microphone 141 receives a voice input and provides voice signal corresponding to the voice input to voice processing section 140 . The speaker 142 converts the audio signal given from the audio processing unit 140 into audio and outputs the audio to the outside of the user terminal 10 .

ディスプレイ１５０は、制御部１８０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１５０は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現され得る。 The display 150 displays data such as images, moving images, and text under the control of the control unit 180 . The display 150 can be implemented by, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.

カメラ１６０は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ１６０は、例えば、撮影した画像をリアルタイムでネットワーク４０へ転送可能なリアルタイムカメラ（いわゆるウェブカメラを含む）であってもよい。 The camera 160 is a device for receiving light with a light receiving element and outputting it as a photographed image. Camera 160 may be, for example, a real-time camera (including a so-called web camera) capable of transferring captured images to network 40 in real time.

記憶部１７０は、例えばメモリ１５またはストレージ１６で構成され、ユーザ端末１０が使用するデータおよびプログラムを記憶する。記憶部１７０には、一例として、アバターデータベース２８２が記憶されている。アバターデータベース２８２はユーザが使用可能なアバターについての情報である。アバターとは、コンピュータの画面上に表示される仮想空間においてユーザの分身として表示されるキャラクターを指す。アバターデータベース２８２は、ユーザが使用可能なアバターの外見、属性（名称、性別、種等）、声などの情報を保持する。 The storage unit 170 is configured by, for example, the memory 15 or the storage 16 and stores data and programs used by the user terminal 10 . As an example, the storage unit 170 stores an avatar database 282 . Avatar database 282 is information about avatars available to users. An avatar is a character displayed as a user's alter ego in a virtual space displayed on a computer screen. The avatar database 282 holds information such as the appearance, attributes (name, gender, species, etc.), and voice of avatars that can be used by the user.

制御部１８０は、プロセッサ１７が記憶部１７０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現され、ユーザ端末１０の動作を制御する。制御部１８０は、例えば予めユーザ端末１０にインストールされているアプリケーションとして実現してもよい。制御部１８０は、プログラムに従って動作することにより、操作受付モジュール１８０１と、送受信モジュール１８０２と、通知モジュール１８０３と、撮像モジュール１８０４と、映像生成モジュール１８０５と、映像出力モジュール１８０６と、認証モジュール１８０７としての機能を発揮する。 The control unit 180 is implemented by the processor 17 reading a program stored in the storage unit 170 and executing instructions included in the program, and controls the operation of the user terminal 10 . The control unit 180 may be implemented as an application installed in the user terminal 10 in advance, for example. By operating according to a program, the control unit 180 operates as an operation reception module 1801, a transmission/reception module 1802, a notification module 1803, an imaging module 1804, a video generation module 1805, a video output module 1806, and an authentication module 1807. function.

操作受付モジュール１８０１は、キーボード１３１等の入力装置に対するユーザの入力操作を受け付ける処理を行う。 The operation acceptance module 1801 performs processing for accepting a user's input operation to an input device such as the keyboard 131 or the like.

送受信モジュール１８０２は、ユーザ端末１０が、管理サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。 The transmission/reception module 1802 performs processing for the user terminal 10 to transmit/receive data to/from an external device such as the management server 20 according to a communication protocol.

通知モジュール１８０３は、ユーザに対し情報を通知する処理を行う。具体的には、通知制御部１８４は、表示画像をディスプレイ１５０に表示させる処理、音声をスピーカ１４２に出力させる処理、振動をカメラ１６０に発生させる処理等を行う。 The notification module 1803 performs processing for notifying the user of information. Specifically, the notification control unit 184 performs processing for displaying a display image on the display 150, processing for outputting sound to the speaker 142, processing for causing the camera 160 to vibrate, and the like.

撮像モジュール１８０４は、カメラ１６０を機能させてユーザの撮像データを取得する。撮像モジュール１８０４の処理の詳細は後述する。 The imaging module 1804 operates the camera 160 to acquire imaging data of the user. Details of the processing of the imaging module 1804 will be described later.

映像生成モジュール１８０５は、撮像モジュール１８０４が取得した撮像データに基づいて、ユーザをアバターに変換した映像データを生成する。映像生成モジュール１８０５の処理の詳細は後述する。 The video generation module 1805 generates video data in which the user is converted into an avatar based on the imaging data acquired by the imaging module 1804 . Details of the processing of the video generation module 1805 will be described later.

映像出力モジュール１８０６は、映像生成モジュール１８０５が生成した映像データを、オンラインビデオコミュニケーションツールに出力する。映像出力モジュール１８０６の処理の詳細は後述する。 A video output module 1806 outputs the video data generated by the video generation module 1805 to an online video communication tool. Details of the processing of the video output module 1806 will be described later.

認証モジュール１８０７は、他のユーザからのコネクトのリクエストの認証を行う。認証モジュール１８０７の処理の詳細は後述する。 The authentication module 1807 authenticates connection requests from other users. Details of the processing of the authentication module 1807 will be described later.

ユーザは、映像出力システム１が提供するサービスを利用するために、所定のアプリケーションをユーザ端末１０にインストールしてもよい。ユーザ端末１０は、ユーザから、クレジットカード情報、携帯決済サービス事業者が提供する決済サービスに関する情報の登録を受け付けてもよい。 A user may install a predetermined application on the user terminal 10 in order to use the service provided by the video output system 1 . The user terminal 10 may accept registration of credit card information and information on payment services provided by mobile payment service providers from users.

（３－２．管理サーバ２０の機能構成）
図４は、管理サーバ２０の構成を示す図である。図４に示すように、管理サーバ２０は、通信部２０１と、記憶部２０２と、入出力部２０３と、制御部２０４を備える。 (3-2. Functional Configuration of Management Server 20)
FIG. 4 is a diagram showing the configuration of the management server 20. As shown in FIG. As shown in FIG. 4 , the management server 20 includes a communication section 201 , a storage section 202 , an input/output section 203 and a control section 204 .

通信部２０１は、管理サーバ２０がユーザ端末１０等の外部の装置と通信するための処理を行う。 The communication unit 201 performs processing for the management server 20 to communicate with an external device such as the user terminal 10 .

記憶部２０２は、メモリ２５またはストレージ２６で実現され、管理サーバ２０が使用するデータ及びプログラムを記憶する。一例として、記憶部２０２には、ユーザデータベース２０２１が記憶されている。ユーザデータベース２０２１は、映像出力システム１を利用するユーザの情報（氏名、性別、年齢、住所、ＩＤ、パスワード等）を記憶する。 The storage unit 202 is realized by the memory 25 or the storage 26 and stores data and programs used by the management server 20 . As an example, the storage unit 202 stores a user database 2021 . The user database 2021 stores information (name, gender, age, address, ID, password, etc.) of users who use the video output system 1 .

入出力部２０３は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。 The input/output unit 203 functions as an interface with an input device for receiving input operations from the user and an output device for presenting information to the user.

制御部２０４は、プロセッサ２７がプログラムに従って処理を行うことにより、以下に示す各種モジュールとして示す機能を発揮する。 The control unit 204 exhibits functions shown as various modules shown below when the processor 27 performs processing according to a program.

送受信モジュール２０４１は、管理サーバ２０が外部の装置から通信プロトコルに従って信号を送受信する処理を制御する。 The transmission/reception module 2041 controls the process of transmitting/receiving a signal from an external device by the management server 20 according to a communication protocol.

認証モジュール２０４２は、ユーザ認証を行う。認証モジュール２０４２の処理の詳細は後述する。 Authentication module 2042 performs user authentication. Details of the processing of the authentication module 2042 will be described later.

（４．処理の流れ）
以下、図５～図８を参照し、映像出力システム１の処理の流れについて説明する。 (4. Flow of processing)
The processing flow of the video output system 1 will be described below with reference to FIGS. 5 to 8. FIG.

（４－１．映像出力システム１の処理）
図５を参照して、映像出力システム１の処理の流れの一例を説明する。ステップＳ５１１において、ユーザ端末１０は、ユーザからＩＤとパスワードを受け付けて管理サーバ２０へ送信する。ステップＳ５２１において、管理サーバ２０は、ユーザ端末１０が送信したＩＤとパスワードを受信する。 (4-1. Processing of video output system 1)
An example of the processing flow of the video output system 1 will be described with reference to FIG. In step S511 , the user terminal 10 receives an ID and password from the user and transmits them to the management server 20 . In step S521 , the management server 20 receives the ID and password transmitted by the user terminal 10 .

ステップＳ５２２において、管理サーバ２０の認証モジュール２０４２は、記憶部２０２内のユーザデータベース２０２１を参照し、ＩＤとパスワードによるログイン認証を実行する。ステップＳ５１２において、ユーザ端末１０の通知モジュール１８０３は、管理サーバ２０からの通知に基づき、ログイン認証が成功したことをディスプレイ１５０に表示する。 In step S522, the authentication module 2042 of the management server 20 refers to the user database 2021 in the storage unit 202 and performs login authentication using the ID and password. In step S512 , the notification module 1803 of the user terminal 10 displays on the display 150 that login authentication has succeeded based on the notification from the management server 20 .

ステップＳ６００において、ユーザ端末１０は、ビデオコミュニケーション処理を実行する。ビデオコミュニケーション処理の詳細は後述する。 In step S600, the user terminal 10 executes video communication processing. Details of the video communication processing will be described later.

ステップＳ５１３において、ユーザ端末１０は、ユーザからログアウトの操作を受け付ける。ステップＳ５２３において、管理サーバ２０は、ログアウト処理のリクエストを受信する。 In step S513, the user terminal 10 receives a logout operation from the user. In step S523, the management server 20 receives a request for logout processing.

ステップＳ５２４において、管理サーバ２０の認証モジュール２０４２は、ログアウト処理を実行する。ステップＳ５１４において、ユーザ端末１０の通知モジュール１８０３は、管理サーバ２０からの通知に基づき、ログアウトしたことをディスプレイ１５０に表示する。 In step S524, the authentication module 2042 of the management server 20 executes logout processing. In step S514 , the notification module 1803 of the user terminal 10 displays on the display 150 that the user has logged out based on the notification from the management server 20 .

（４－２．ビデオコミュニケーション処理の流れ）
図６を参照して、ビデオコミュニケーション処理（Ｓ６００）の処理の流れの一例を説明する。ステップＳ６１０において、ユーザ端末１０の撮像モジュール１８０４は、カメラ１６０を機能させてユーザの撮像データを取得する。 (4-2. Flow of video communication processing)
An example of the processing flow of the video communication processing (S600) will be described with reference to FIG. In step S610, the imaging module 1804 of the user terminal 10 activates the camera 160 and acquires imaging data of the user.

ステップＳ６２０において、ユーザ端末１０の映像生成モジュール１８０５は、撮像モジュール１８０４が取得した撮像データに基づいて、ユーザをアバターに変換した映像データを生成する。具体的には、例えば、撮像データにおけるユーザの顔における特徴点を抽出し、当該特徴点の動きをトラッキングする。その上で、アバターにおける当該特徴点に該当する箇所をトラッキングした動きに合わせて動かした動画を生成する。 In step S620, the video generation module 1805 of the user terminal 10 generates video data in which the user is converted into an avatar based on the imaging data acquired by the imaging module 1804. FIG. Specifically, for example, feature points on the user's face in the imaging data are extracted, and the movement of the feature points is tracked. Then, a moving image is generated in which the portion of the avatar corresponding to the feature point is moved according to the tracked movement.

ステップＳ６３０において、ユーザ端末１０の映像出力モジュール１８６は、映像生成モジュール１８０５が生成した映像データを、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ出力する。一例として、映像出力モジュール１８６は、オンラインビデオコミュニケーションツールとして機能するアプリケーションに設定されている仮想カメラソフトウェアからの入力を受け付ける入力チャネルに対して、映像データを出力する。 In step S630, the video output module 186 of the user terminal 10 outputs the video data generated by the video generation module 1805 to an application functioning as an online video communication tool. As an example, video output module 186 outputs video data to an input channel that accepts input from virtual camera software configured in an application functioning as an online video communication tool.

ステップＳ７００において、コネクト申請処理が実行される。コネクト申請処理の詳細は後述する。 In step S700, connection application processing is executed. Details of the connection application processing will be described later.

ステップＳ８００において、コネクト実施処理が実行される。コネクト実施処理の詳細は後述する。 In step S800, connection execution processing is executed. The details of the connection execution process will be described later.

（４－３．コネクト申請処理の流れ）
図７を参照して、コネクト申請処理（Ｓ７００）の流れの一例を説明する。なお、以下の説明において、自身が使用するユーザ端末１０のディスプレイ１５０に、他のユーザのアバターを表示させるユーザをオーナーともいい、当該他のユーザをゲストともいう。オーナーとゲストは、ともにオンラインビデオコミュニケーションに参加してコミュニケーションをとるユーザである。また、オーナーが使用するユーザ端末１０のディスプレイ１５０にゲストのアバターを表示させることをコネクトともいう。また、コネクトの１単位をセッションともいい、コネクトはセッションＩＤで一意に管理される。 (4-3. Flow of connection application processing)
An example of the flow of the connection application process (S700) will be described with reference to FIG. In the following description, a user who displays another user's avatar on the display 150 of the user terminal 10 used by the user is also called an owner, and the other user is also called a guest. Both the owner and the guest are users who participate in online video communication and communicate with each other. Displaying a guest's avatar on the display 150 of the user terminal 10 used by the owner is also called connect. One unit of connect is also called a session, and the connect is uniquely managed by a session ID.

ステップＳ７１１において、ユーザ端末１０の送受信モジュール１８０２は、ユーザ（オーナー）から受け付けたセッションＩＤを管理サーバ２０へ送信する。ステップＳ７２１において、管理サーバ２０の送受信モジュール２０４１は、セッションＩＤを受信する。 In step S711 , the transmission/reception module 1802 of the user terminal 10 transmits the session ID received from the user (owner) to the management server 20 . In step S721, the transmission/reception module 2041 of the management server 20 receives the session ID.

ステップＳ７１２において、ユーザ端末１０の送受信モジュール１８０２は、ユーザ（オーナー）からコネクトを許可するための操作を受け付け、管理サーバ２０へ送信する。ステップＳ７２２において、管理サーバ２０の送受信モジュール２０４１は、ユーザ（オーナー）がコネクトを許可したことを受信する。 In step S712 , the transmission/reception module 1802 of the user terminal 10 receives an operation for permitting connection from the user (owner) and transmits the operation to the management server 20 . In step S722, the transmission/reception module 2041 of the management server 20 receives that the user (owner) has permitted connection.

ステップＳ７３１において、ユーザ端末１０の送受信モジュール１８０２は、ユーザ（ゲスト）から受け付けたセッションＩＤを管理サーバ２０へ送信する。ステップＳ７２３において、管理サーバ２０の送受信モジュール２０４１は、セッションＩＤを受信する。 In step S731 , the transmission/reception module 1802 of the user terminal 10 transmits the session ID received from the user (guest) to the management server 20 . In step S723, the transmission/reception module 2041 of the management server 20 receives the session ID.

ステップＳ７３２において、ユーザ端末１０の送受信モジュール１８０２は、ユーザ（ゲスト）からコネクトのリクエストを受け付け、管理サーバ２０へ送信する。ステップＳ７２４において、管理サーバ２０の送受信モジュール２０４１は、コネクトのリクエストを受信する。 In step S732 , the transmission/reception module 1802 of the user terminal 10 receives a connect request from the user (guest) and transmits it to the management server 20 . In step S724, the transmission/reception module 2041 of the management server 20 receives the connection request.

ステップＳ７２５において、管理サーバ２０の送受信モジュール２０４１は、コネクトのリクエストをユーザ（オーナー）のユーザ端末１０へ送信する。ユーザ端末１０の送受信モジュール１８０２は、リクエストを受信する。 In step S725, the transmission/reception module 2041 of the management server 20 transmits a connect request to the user terminal 10 of the user (owner). The transmission/reception module 1802 of the user terminal 10 receives the request.

ステップＳ７１４において、ユーザ端末１０の認証モジュール１８０７は、ユーザ（オーナー）の操作に基づいてリクエストを承認する。ステップＳ７２６において、管理サーバ２０の送受信モジュール２０４１は、リクエストが承認されたことを受信する。これにより、ユーザ（ゲスト）によるコネクトの申請が承認され、コネクト実施処理（Ｓ８００）が実行される。 In step S714, the authentication module 1807 of the user terminal 10 approves the request based on the user's (owner's) operation. In step S726, the transmission/reception module 2041 of the management server 20 receives that the request has been approved. As a result, the application for connection by the user (guest) is approved, and connection execution processing (S800) is executed.

（４－４．コネクト実施処理の流れ）
図８を参照して、コネクト実施処理（Ｓ８００）の流れの一例を説明する。ステップＳ８１１およびステップＳ８３１において、ユーザ端末１０の撮像モジュール１８０４は、カメラ１６０を機能させてユーザの撮像データを取得する。ステップＳ８１２およびステップＳ８３２において、ユーザ端末１０の映像生成モジュール１８０５は、撮像モジュール１８０４が取得した撮像データに基づいて、ユーザをアバターに変換した映像データを生成する。 (4-4. Flow of connection execution processing)
An example of the flow of the connection execution process (S800) will be described with reference to FIG. In steps S811 and S831, the imaging module 1804 of the user terminal 10 activates the camera 160 and acquires imaging data of the user. In steps S812 and S832, the video generation module 1805 of the user terminal 10 generates video data in which the user is converted into an avatar, based on the imaging data acquired by the imaging module 1804. FIG.

ステップＳ８３３において、ユーザ端末１０（ゲスト）の送受信モジュール１８０２は、撮像データにおけるユーザの動きをトラッキングしたトラッキングデータを、管理サーバ２０へ送信する。ステップＳ８２１において、管理サーバ２０の送受信モジュール２０４１は、トラッキングデータを受信する。 In step S833 , the transmission/reception module 1802 of the user terminal 10 (guest) transmits tracking data obtained by tracking the movement of the user in the imaging data to the management server 20 . In step S821, the transmission/reception module 2041 of the management server 20 receives tracking data.

ステップＳ８２２において、管理サーバ２０の送受信モジュール２０４１は、トラッキングデータをユーザ端末１０（オーナー）へ送信する。ステップＳ８１３において、ユーザ端末１０（オーナー）の送受信モジュール１８０２は、トラッキングデータを受信する。 In step S822, the transmission/reception module 2041 of the management server 20 transmits the tracking data to the user terminal 10 (owner). In step S813, the transmission/reception module 1802 of the user terminal 10 (owner) receives the tracking data.

ステップＳ８１４において、ユーザ端末１０（ゲスト）の映像生成モジュール１８０５は、ステップＳ８１２で生成した映像データと、受信したトラッキングデータとに基づいて、オーナーのアバターとゲストのアバターとが１つの仮想空間内に表示されている合成データを生成する。 In step S814, the video generation module 1805 of the user terminal 10 (guest) generates the owner avatar and the guest avatar in one virtual space based on the video data generated in step S812 and the received tracking data. Generate the displayed synthetic data.

ステップＳ８１５において、ユーザ端末１０（ゲスト）の映像出力モジュール１８０６は、合成データをオンラインビデオコミュニケーションツールとして機能するアプリケーションへ出力する。ステップＳ８３４において、ユーザ端末１０（ゲスト）の映像出力モジュール１８０６は、ステップＳ８３２で生成した映像データからゲストのアバターを削除した映像データを、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ出力する。 In step S815, the video output module 1806 of the user terminal 10 (guest) outputs the synthesized data to an application functioning as an online video communication tool. In step S834, the video output module 1806 of the user terminal 10 (guest) outputs the video data generated in step S832 with the guest's avatar removed to an application functioning as an online video communication tool.

（５．画面例）
図９および図１０を参照して、ユーザ端末１０のディスプレイ１５０に表示される画面例を説明する。 (5. Screen example)
Screen examples displayed on the display 150 of the user terminal 10 will be described with reference to FIGS. 9 and 10. FIG.

図９Ａには、オーナーとしてのユーザのアバターＡ１が表示された映像データＥ１と、ゲストとしてのユーザのアバターＡ２が表示された映像データＥ２が表示されている。ステップＳ７１１において、ユーザ（オーナー）は、セッションＩＤ受付欄Ｐ１に任意のセッションＩＤを入力する。ステップＳ７１２において、ユーザ（オーナー）は、接続ボタンＱ１を押下してコネクトの受付を管理サーバ２０へ送信する。 FIG. 9A shows video data E1 in which the user's avatar A1 as the owner is displayed, and video data E2 in which the user's avatar A2 as the guest is displayed. In step S711, the user (owner) inputs an arbitrary session ID in the session ID reception field P1. In step S712, the user (owner) presses the connection button Q1 to transmit a connection acceptance to the management server 20. FIG.

図９Ｂに示すように、ステップＳ７３１において、ユーザ（ゲスト）は、セッションＩＤ受付欄Ｐ２ａにセッションＩＤを入力する。ステップＳ７３２において、ユーザ（ゲスト）は、接続ボタンＱ２を押下してコネクトのリクエストを管理サーバ２０へ送信する。ここで、ユーザ（ゲスト）が入力したセッションＩＤがユーザ（オーナー）によって設定されたセッションＩＤと一致する場合（セッションＩＤの認証が成功した場合）、ステップＳ７２５において、当該コネクトのリクエストがあることを管理サーバ２０がユーザ端末１０（オーナー）に通知される。なお、コネクト実行時にゲストのアバターＡ２がオーナーのアバターＡ１の左右どちら側に表示されるかを設定する表示サイド設定ボタンＰ２ｂを設けてもよい。 As shown in FIG. 9B, in step S731, the user (guest) enters a session ID in the session ID reception field P2a. In step S732 , the user (guest) presses the connection button Q2 to transmit a connection request to the management server 20 . Here, if the session ID entered by the user (guest) matches the session ID set by the user (owner) (if authentication of the session ID is successful), in step S725, it is determined that there is a connection request. The management server 20 notifies the user terminal 10 (owner). In addition, a display side setting button P2b may be provided for setting whether the guest's avatar A2 is displayed on the left or right side of the owner's avatar A1 when the connection is executed.

図１０Ａに示すように、ステップＳ７２５において、当該コネクトのリクエストがあることを管理サーバ２０がユーザ端末１０（オーナー）に通知されると、オーナー側の画面にはゲストからのリクエストがあることが表示される。ステップＳ７１４において、オーナーが承認ボタンＲ１ａを押下することにより、リクエストが承認される As shown in FIG. 10A, in step S725, when the management server 20 notifies the user terminal 10 (owner) of the connection request, the owner's screen displays that there is a request from the guest. be done. In step S714, the request is approved by the owner pressing the approval button R1a.

なお、オーナーは拒否ボタンＲ１ｂを押下して、当該リクエストを拒否してもよい。また、ゲストは、キャンセルボタンＲ２を押下してリクエストをキャンセルしてもよい。 Note that the owner may reject the request by pressing the rejection button R1b. Also, the guest may press the cancel button R2 to cancel the request.

コネクト実施処理（Ｓ８００）が実行されると、オーナーのアバターＡ１とゲストのアバターＡ２とが同一の仮想空間内で表示された合成データＥ３がオーナーのユーザ端末１０のディスプレイ１５０に表示される。ここで、アバターＡ１およびアバターＡ２はそれぞれオーナーおよびゲストの動きをトラッキングして生成されているため、オーナーおよびゲストの動きが反映されて表示される。 When the connection execution process (S800) is executed, synthesized data E3 in which the owner's avatar A1 and the guest's avatar A2 are displayed in the same virtual space is displayed on the display 150 of the owner's user terminal 10. FIG. Here, since the avatar A1 and the avatar A2 are generated by tracking the movements of the owner and the guest respectively, the movements of the owner and the guest are reflected and displayed.

以上のように、本実施の形態においては、映像出力システム１は、ユーザの撮像データを取得するステップと、撮像データに基づいて、ユーザをアバターに変換した映像データを生成するステップと、生成された映像データを出力するステップと、他のユーザの操作に応答して、当該他のユーザのアバターをユーザの映像データに合成した映像データを出力するステップと、を実行する。 As described above, in the present embodiment, the video output system 1 includes the step of acquiring the imaging data of the user, the step of generating video data in which the user is converted into an avatar based on the imaging data, and the generated and outputting video data obtained by synthesizing the other user's avatar with the user's video data in response to another user's operation.

これにより、オンラインビデオコミュニケーションツールを利用するユーザ同士の多様なコミュニケーションを実現することができる。また、特別なシステムを用意することなく、一般に普及しているオンラインビデオコミュニケーションツールと仮想カメラソフトウェアのみで、複数のユーザのアバター映像を合成し、アバターによるコミュニケーションを実現することができる。 As a result, various types of communication can be realized between users using the online video communication tool. In addition, without preparing a special system, it is possible to synthesize avatar images of multiple users and realize communication using avatars using only popular online video communication tools and virtual camera software.

（６．変形例１）
図１１を参照して、本実施形態の変形例１について相違点を中心に説明する。変形例１では、３人のユーザのアバターを合成して１つの画面に表示させる。具体的には、図１１Ａおよび図１１Ｂに示すように、オーナーとしてのユーザのアバターＡ１と、ゲストとしてのユーザのアバターＡ２およびＡ３を合成させた合成データＥ４を生成して、オーナーが使用するユーザ端末１０のディスプレイ１５０に表示させる。このように、本開示における技術的思想は、３以上のユーザに対して適用することも可能であり、アバターを用いたコミュニケーションをより多様なものにすることができる。 (6. Modification 1)
Referring to FIG. 11, Modification 1 of the present embodiment will be described with a focus on the points of difference. In Modification 1, the avatars of three users are synthesized and displayed on one screen. Specifically, as shown in FIGS. 11A and 11B, synthesized data E4 is generated by synthesizing avatar A1 of the user as the owner and avatars A2 and A3 of the users as guests, and Displayed on the display 150 of the terminal 10 . In this way, the technical idea of the present disclosure can be applied to three or more users, and communication using avatars can be made more diverse.

（７．変形例２）
図１２を参照して、本実施形態の変形例２について相違点を中心に説明する。変形例２では、合成データ内に表示されたアバターをユーザの操作によって移動させることが可能となっている。図１２Ａおよび図１２Ｂに示すように、オーナーまたはゲストが使用するユーザ端末１０の操作受付部１３０を使用した操作により、合成データＥ１内のアバターの動きを制御することが可能となっている。具体的には、映像生成モジュール１８０５が操作受付部１３０からの操作の内容に基づいて、アバターの動きを変化させた映像を生成し、当該映像を映像出力モジュール１８０６がオンラインビデオコミュニケーションとして機能するアプリケーションへ出力する。このような仕様とすることにより、合成データ内でのアバター同士によるコミュニケーションをより多様なものとすることが可能となる。 (7. Modification 2)
With reference to FIG. 12, the second modification of the present embodiment will be described with a focus on differences. In Modified Example 2, the avatar displayed in the synthesized data can be moved by the user's operation. As shown in FIGS. 12A and 12B, it is possible to control the movement of the avatar in the synthesized data E1 by operating the operation reception unit 130 of the user terminal 10 used by the owner or guest. Specifically, the video generation module 1805 generates a video in which the movement of the avatar is changed based on the details of the operation from the operation reception unit 130, and the video output module 1806 outputs the video to an application functioning as online video communication. Output to By adopting such specifications, communication between avatars in the synthesized data can be made more diverse.

＜２．その他の実施形態＞
以上、本発明における実施形態およびその変形例について説明したが、本開示の適用は上述の内容に限定されるものではない。 <2. Other Embodiments>
Although the embodiments of the present invention and their modifications have been described above, the application of the present disclosure is not limited to the above-described contents.

例えば、コネクト申請処理（Ｓ７００）およびコネクト実施処理（Ｓ８００）の内容はあくまでも一例であり、上述した態様に限定されるわけではない。例えば、ユーザ端末１０が記憶部１７０に備えるアバターデータベース２８２の情報は、共通するアバターデータベース２８２の情報をそれぞれの端末が記憶部１７０に記憶していてもよいし、ゲストが使用するユーザ端末１０からオーナーが使用するユーザ端末に送信してもよい。一例として、ゲストが使用するユーザ端末１０からアバターデータベース２８２の情報を送信するタイミングとしては、コネクトをリクエストするタイミング（Ｓ７３２）であってもよい。また、オーナーが使用するユーザ端末１０は、コネクト実施処理（Ｓ８００）の終了後に、受信したアバターデータベース２８２の情報を削除する仕様としてもよい。 For example, the contents of the connection application process (S700) and the connection execution process (S800) are merely examples, and are not limited to the above aspects. For example, the information in the avatar database 282 provided in the storage unit 170 of the user terminal 10 may be stored in the storage unit 170 by each terminal in common with the information in the avatar database 282, or may be sent from the user terminal 10 used by the guest. You may transmit to the user terminal which an owner uses. As an example, the timing of transmitting the information of the avatar database 282 from the user terminal 10 used by the guest may be the timing of requesting connection (S732). Also, the user terminal 10 used by the owner may be designed to delete the information received from the avatar database 282 after the connection execution process (S800) is completed.

また、上記実施形態では、ゲストが使用するユーザ端末１０から管理サーバ２０を介してトラッキングデータをオーナーが使用するユーザ端末１０に送信しているが、管理サーバを介さずに送受信をしてもよい。 Further, in the above embodiment, the tracking data is transmitted from the user terminal 10 used by the guest to the user terminal 10 used by the owner via the management server 20, but transmission and reception may be performed without going through the management server. .

また、上記実施形態において、ゲストが使用するユーザ端末１０とオーナーが使用するユーザ端末１０とは同様の機能を備えているため、オンラインビデオコミュニケーションを行うごとに、または、オンラインビデオコミュニケーションの間に、ゲストとオーナーが入れ替わる形でコネクト申請処理（Ｓ７００）およびコネクト実施処理（Ｓ８００）を実行してもよい。 In addition, in the above embodiment, since the user terminal 10 used by the guest and the user terminal 10 used by the owner have similar functions, each time online video communication is performed or during online video communication, The connection application process (S700) and the connection implementation process (S800) may be executed in such a manner that the guest and the owner are switched.

また、通信回線を介した所定情報の共有は、主にインターネットなどのＷＡＮを介して行われるが、情報処理装置間では、ＷＡＮを介さずにＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離の無線通信、及び赤外線通信等のみを介して行われてもよい。 Further, sharing of predetermined information via a communication line is mainly performed via a WAN such as the Internet. and only via infrared communication or the like.

また、上記実施形態では、各機能をユーザ端末１０、管理サーバ２０が備える態様の一例について説明したが、この形態に限定されることはない。すなわち、本開示における一部または全部の機能を、上記実施形態と異なる態様でユーザ端末１０、管理サーバ２０の一部または全部が備える構成としてもよい。 Also, in the above-described embodiment, an example of a mode in which the user terminal 10 and the management server 20 have each function has been described, but the present invention is not limited to this mode. That is, some or all of the functions in the present disclosure may be configured to be provided in some or all of the user terminal 10 and the management server 20 in a manner different from the above embodiment.

さらに、本発明は、上述のプログラムを格納する、コンピュータ読み取り可能な非一時的な記録媒体として実現してもよい。 Furthermore, the present invention may be implemented as a computer-readable non-temporary recording medium that stores the above program.

以上、本発明に係る種々の実施形態を説明したが、これらは例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 While various embodiments of the invention have been described above, they are presented by way of example and are not intended to limit the scope of the invention. The novel embodiment can be embodied in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. The embodiment and its modifications are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.

＜付記＞
以上の各実施の形態で説明した事項を以下に付記する。
（付記１）
プロセッサを備えるコンピュータに、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ映像データを出力させるプログラムであって、ユーザの撮像データを取得するステップ（Ｓ６１０）と、撮像データに基づいて、ユーザをアバターに変換した映像データを生成するステップ（Ｓ６２０）と、生成された映像データを出力するステップ（Ｓ６３０）と、他のユーザの操作に応答して、当該他のユーザのアバターをユーザの映像データに合成した合成データを出力するステップ（Ｓ８００）と、を実行させるプログラム。
（付記２）
合成データを出力するステップでは、他のユーザとして、アプリケーションが提供するオンラインビデオコミュニケーションに参加しているユーザの操作を受け付ける、付記１に記載のプログラム。
（付記３）
合成データを出力するステップにおいて、他のユーザのアバターとユーザのアバターとが１つの仮想空間内に表示された合成データを、アプリケーションに出力させる、付記１または付記２に記載のプログラム。
（付記４）
合成データを出力するステップにおいて、アプリケーションに、ユーザの使用する端末の画面に当該ユーザのアバターと他のユーザのアバターとを表示させる、付記１または付記２に記載のプログラム。
（付記５）
ユーザの動きをトラッキングしたトラッキングデータを取得し、他のユーザのトラッキングデータを受信し、両方のトラッキングデータに基づいて合成された合成データをアプリケーションに出力させる、付記１～付記４のいずれかに記載のプログラム。
（付記６）
認証が成功した他のユーザをアバターに変換した映像データを、ユーザの使用する端末の画面に出力させる、付記１～付記５のいずれかに記載のプログラム。
（付記７）
ユーザが予め設定した認証に必要な情報を、他のユーザから受け付ける、付記６に記載のプログラム。
（付記８）
ユーザからの操作に応答してユーザの使用する端末の画面に表示されたアバターの動きを制御させる、付記１～付記７のいずれかに記載のプログラム。 <Appendix>
The items described in the above embodiments are added below.
(Appendix 1)
A program for causing a computer having a processor to output video data to an application functioning as an online video communication tool, the program comprising steps of acquiring image data of a user (S610), and converting the user into an avatar based on the image data. a step of generating video data (S620); a step of outputting the generated video data (S630); A program for executing a step of outputting data (S800).
(Appendix 2)
2. The program according to appendix 1, wherein in the step of outputting the synthesized data, an operation of a user participating in online video communication provided by the application is accepted as another user.
(Appendix 3)
3. The program according to appendix 1 or appendix 2, wherein in the step of outputting the synthesized data, the application outputs synthesized data in which the other user's avatar and the user's avatar are displayed in one virtual space.
(Appendix 4)
3. The program according to appendix 1 or appendix 2, wherein in the step of outputting the synthesized data, the application displays the avatar of the user and the avatars of other users on the screen of the terminal used by the user.
(Appendix 5)
4. The method according to any one of appendices 1 to 4, wherein tracking data obtained by tracking a user's movement is obtained, another user's tracking data is received, and synthesized data synthesized based on both tracking data is output to the application. program.
(Appendix 6)
6. The program according to any one of appendices 1 to 5, for outputting video data obtained by converting another successfully authenticated user into an avatar on a screen of a terminal used by the user.
(Appendix 7)
7. The program according to appendix 6, which receives information necessary for authentication preset by a user from another user.
(Appendix 8)
7. The program according to any one of appendices 1 to 7, which controls movement of an avatar displayed on a screen of a terminal used by the user in response to an operation from the user.

１：映像出力システム、１０：ユーザ端末、１３：入力装置、１４：出力装置、１５：メモリ、１６：ストレージ、１７：プロセッサ、２０：管理サーバ、２５：メモリ、２６：ストレージ、２７：プロセッサ、４０：ネットワーク、１１０：アンテナ、１２０：無線通信部、１３０：操作受付部、１３１：キーボード、１３２：マウス、１４０：音声処理部、１４１：マイク、１４２：スピーカ、１５０：ディスプレイ、１６０：カメラ、１７０：記憶部、１８０：制御部、１８４：通知制御部、１８６：映像出力モジュール、２０１：通信部、２０２：記憶部、２０３：入出力部、２０４：制御部、２８２：アバターデータベース、１８０１：操作受付モジュール、１８０２：送受信モジュール、１８０３：通知モジュール、１８０４：撮像モジュール、１８０５：映像生成モジュール、１８０６：映像出力モジュール、１８０７：認証モジュール、２０２１：ユーザデータベース、２０４１：送受信モジュール、２０４２：認証モジュール。 1: video output system, 10: user terminal, 13: input device, 14: output device, 15: memory, 16: storage, 17: processor, 20: management server, 25: memory, 26: storage, 27: processor, 40: network, 110: antenna, 120: wireless communication unit, 130: operation reception unit, 131: keyboard, 132: mouse, 140: audio processing unit, 141: microphone, 142: speaker, 150: display, 160: camera, 170: storage unit, 180: control unit, 184: notification control unit, 186: video output module, 201: communication unit, 202: storage unit, 203: input/output unit, 204: control unit, 282: avatar database, 1801: Operation reception module 1802: transmission/reception module 1803: notification module 1804: imaging module 1805: video generation module 1806: video output module 1807: authentication module 2021: user database 2041: transmission/reception module 2042: authentication module .

Claims

A program that causes a computer with a processor to function as virtual camera software that outputs video data to an application that functions as an online video communication tool,
The program, in the user terminal,
obtaining imaging data of a user;
generating video data in which the user is converted into an avatar based on the imaging data;
a first output step of outputting the generated video data to the application ;
and a second output step of outputting synthesized data obtained by synthesizing the other user's avatar with the user's video data to the application in response to another user's operation.

The program, in the user terminal,
2. The program according to claim 1, wherein said first output step and said second output step are switched and executed in response to said another user's operation.

3. The program according to claim 1, wherein in the step of outputting said synthetic data, an operation of a user participating in online video communication provided by said application is accepted as said other user.

4. The step of outputting the synthesized data, wherein the application outputs synthesized data in which the other user's avatar and the user's avatar are displayed in one virtual space. the program described in

4. The method according to any one of claims 1 to 3 , wherein in the step of outputting the synthesized data, the application displays the user's avatar and the other user's avatar on the screen of the terminal used by the user. program.

Claims 1 to 5 , wherein tracking data obtained by tracking movement of the user is obtained, tracking data of the other user is received, and synthesized data synthesized based on both tracking data is output to the application. A program as described in any of

7. The program according to any one of claims 1 to 6 , wherein video data obtained by converting the successfully authenticated other user into an avatar is output on a screen of a terminal used by the user.

8. The program according to claim 7 , which receives information necessary for said authentication preset by said user from said other user.

9. The program according to any one of claims 1 to 8 , which controls movement of an avatar displayed on a screen of a terminal used by the user in response to an operation from the user.

An information processing method executed by a computer having a processor, comprising:
An information processing method, comprising causing the processor to execute the program according to any one of claims 1 to 9 .

An information processing device comprising a processor,
An information processing apparatus that causes the processor to execute the program according to any one of claims 1 to 9 .

An information processing system including a computer having a processor,
An information processing system that causes the processor to execute the program according to any one of claims 1 to 9 .