JP7261207B2 - 情報処理システム及び情報処理方法 - Google Patents
情報処理システム及び情報処理方法 Download PDFInfo
- Publication number
- JP7261207B2 JP7261207B2 JP2020175762A JP2020175762A JP7261207B2 JP 7261207 B2 JP7261207 B2 JP 7261207B2 JP 2020175762 A JP2020175762 A JP 2020175762A JP 2020175762 A JP2020175762 A JP 2020175762A JP 7261207 B2 JP7261207 B2 JP 7261207B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- moving image
- information processing
- image
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、情報処理システム及び情報処理方法に関する。
従来、オンラインイベントの複数の参加者の端末装置に対し、オンラインイベントに係る動画コンテンツを一斉にライブ配信する技術が知られている。また、ライブ配信される動画コンテンツの品質を高めるための各種技術が提案されている。例えば、特許文献１には、キャラクターの動作及び音声を含む動画コンテンツをライブ配信する場合において、配信者の動作及び音声を、リアルタイムでキャラクターの動作及び音声に変換して反映させることで、あたかもキャラクターが自らの意思で動作及び発声しているように演出する技術が開示されている。
上記のようなライブ配信は、動画コンテンツの内容の他に、複数の参加者が同時に視聴することで形成される一体感も大きな魅力となり得る。
しかしながら、上記従来の技術では、ライブ配信の各参加者の意識が動画コンテンツの内容に向かいやすく、各参加者は、他の参加者の存在を意識しにくい。このため、ライブ配信において参加者同士の繋がりにより形成される一体感を演出することが困難であるという課題がある。
しかしながら、上記従来の技術では、ライブ配信の各参加者の意識が動画コンテンツの内容に向かいやすく、各参加者は、他の参加者の存在を意識しにくい。このため、ライブ配信において参加者同士の繋がりにより形成される一体感を演出することが困難であるという課題がある。
この発明の目的は、ライブ配信における一体感をより効果的に演出することができる情報処理システム及び情報処理方法を提供することにある。
第１の手段は、
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成手段と、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成手段と、を備え、
前記配信動画生成手段は、前記複数の端末装置により撮影された複数の矩形の端末撮影動画のうち、少なくとも一部の端末撮影動画がマトリクス状に配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記複数の端末撮影動画の各々は、前記複数の参加者の各々を撮影した動画であり、
前記レイヤー画像は、前記キャラクター動画を含むことを特徴とする情報処理システムである。
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成手段と、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成手段と、を備え、
前記配信動画生成手段は、前記複数の端末装置により撮影された複数の矩形の端末撮影動画のうち、少なくとも一部の端末撮影動画がマトリクス状に配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記複数の端末撮影動画の各々は、前記複数の参加者の各々を撮影した動画であり、
前記レイヤー画像は、前記キャラクター動画を含むことを特徴とする情報処理システムである。
第２の手段は、第１の手段において、
前記キャラクター動画は、前記キャラクターが、前記背景動画の内容に応じた動作を行う動画であることを特徴とする。
前記キャラクター動画は、前記キャラクターが、前記背景動画の内容に応じた動作を行う動画であることを特徴とする。
第３の手段は、第１の手段又は第２の手段において、
前記キャラクター動画生成手段は、前記キャラクターを演じる演者の動作を所定の動作検出装置により検出した結果に基づいて、前記演者の動作に応じて前記キャラクターが動作する前記キャラクター動画を生成することを特徴とする。
前記キャラクター動画生成手段は、前記キャラクターを演じる演者の動作を所定の動作検出装置により検出した結果に基づいて、前記演者の動作に応じて前記キャラクターが動作する前記キャラクター動画を生成することを特徴とする。
第４の手段は、第３の手段において、
前記動作検出装置は、前記演者が装着するヘッドマウントディスプレイを有し、
前記配信動画生成手段は、生成した前記配信動画を前記ヘッドマウントディスプレイに表示させることを特徴とする。
第５の手段は、
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成手段と、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成手段と、を備え、
前記配信動画生成手段は、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記キャラクター動画を含み、
前記キャラクター動画生成手段は、前記キャラクターを演じる演者の動作を所定の動作検出装置により検出した結果に基づいて、前記演者の動作に応じて前記キャラクターが動作する前記キャラクター動画を生成し、
前記動作検出装置は、前記演者が装着するヘッドマウントディスプレイを有し、
前記配信動画生成手段は、生成した前記配信動画を前記ヘッドマウントディスプレイに表示させることを特徴とする情報処理システムである。
前記動作検出装置は、前記演者が装着するヘッドマウントディスプレイを有し、
前記配信動画生成手段は、生成した前記配信動画を前記ヘッドマウントディスプレイに表示させることを特徴とする。
第５の手段は、
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成手段と、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成手段と、を備え、
前記配信動画生成手段は、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記キャラクター動画を含み、
前記キャラクター動画生成手段は、前記キャラクターを演じる演者の動作を所定の動作検出装置により検出した結果に基づいて、前記演者の動作に応じて前記キャラクターが動作する前記キャラクター動画を生成し、
前記動作検出装置は、前記演者が装着するヘッドマウントディスプレイを有し、
前記配信動画生成手段は、生成した前記配信動画を前記ヘッドマウントディスプレイに表示させることを特徴とする情報処理システムである。
第６の手段は、第１の手段～第５の手段のいずれかにおいて、
前記配信動画は、前記キャラクターの輪郭の外側の範囲において前記背景動画を視認可能であることを特徴とする。
する。
前記配信動画は、前記キャラクターの輪郭の外側の範囲において前記背景動画を視認可能であることを特徴とする。
する。
第７の手段は、第１の手段～第６の手段のいずれかにおいて、
前記配信動画に特殊効果を付与するための特殊効果画像を生成する特殊効果画像生成手段を備え、
前記レイヤー画像は、前記特殊効果画像を含むことを特徴とする。
前記配信動画に特殊効果を付与するための特殊効果画像を生成する特殊効果画像生成手段を備え、
前記レイヤー画像は、前記特殊効果画像を含むことを特徴とする。
第８の手段は、第７の手段において、
前記特殊効果画像は、前記背景動画内の所定範囲を特定する画像であることを特徴とする。
前記特殊効果画像は、前記背景動画内の所定範囲を特定する画像であることを特徴とする。
第９の手段は、第８の手段において、
前記特殊効果画像は、前記背景動画の前記所定範囲を露出させるとともに、前記背景動画のうち前記所定範囲を除いた部分を遮蔽する画像であることを特徴とする。
前記特殊効果画像は、前記背景動画の前記所定範囲を露出させるとともに、前記背景動画のうち前記所定範囲を除いた部分を遮蔽する画像であることを特徴とする。
第１０の手段は、第７の手段において、
前記特殊効果画像は、前記背景動画における前記少なくとも一部の端末撮影動画の各々を着色要素とする塗り絵の線画を含むことを特徴とする。
前記特殊効果画像は、前記背景動画における前記少なくとも一部の端末撮影動画の各々を着色要素とする塗り絵の線画を含むことを特徴とする。
第１１の手段は、
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成手段と、
前記配信動画に特殊効果を付与するための特殊効果画像を生成する特殊効果画像生成手段と、を備え、
前記配信動画生成手段は、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記特殊効果画像を含み、
前記特殊効果画像は、前記背景動画における前記２以上の端末撮影動画の各々を着色要素とする塗り絵の線画を含むことを特徴とする情報処理システムである。
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成手段と、
前記配信動画に特殊効果を付与するための特殊効果画像を生成する特殊効果画像生成手段と、を備え、
前記配信動画生成手段は、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記特殊効果画像を含み、
前記特殊効果画像は、前記背景動画における前記２以上の端末撮影動画の各々を着色要素とする塗り絵の線画を含むことを特徴とする情報処理システムである。
第１２の手段は、第１の手段～第１１の手段のいずれかにおいて、
前記配信動画生成手段は、
前記複数の端末装置が通信接続されている所定のオンライン会議システムから前記背景動画を取得し、
生成した前記配信動画を前記オンライン会議システムに出力することで前記配信動画を前記複数の端末装置に送信することを特徴とする。
前記配信動画生成手段は、
前記複数の端末装置が通信接続されている所定のオンライン会議システムから前記背景動画を取得し、
生成した前記配信動画を前記オンライン会議システムに出力することで前記配信動画を前記複数の端末装置に送信することを特徴とする。
第１３の手段は、
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成ステップと、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成ステップと、を含み、
前記配信動画生成ステップでは、前記複数の端末装置により撮影された複数の矩形の端末撮影動画のうち、少なくとも一部の端末撮影動画がマトリクス状に配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記複数の端末撮影動画の各々は、前記複数の参加者の各々を撮影した動画であり、
前記レイヤー画像は、前記キャラクター動画を含むことを特徴とする情報処理方法である。
第１４の手段は、
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成ステップと、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成ステップと、を含み、
前記配信動画生成ステップでは、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記キャラクター動画を含み、
前記キャラクター動画生成ステップでは、前記キャラクターを演じる演者の動作を所定の動作検出装置により検出した結果に基づいて、前記演者の動作に応じて前記キャラクターが動作する前記キャラクター動画を生成し、
前記動作検出装置は、前記演者が装着するヘッドマウントディスプレイを有し、
前記配信動画生成ステップでは、生成した前記配信動画を前記ヘッドマウントディスプレイに表示させることを特徴とする情報処理方法である。
第１５の手段は、
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信
動画を生成する配信動画生成ステップと、
前記配信動画に特殊効果を付与するための特殊効果画像を生成する特殊効果画像生成ステップと、を含み、
前記配信動画生成ステップでは、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記特殊効果画像を含み、
前記特殊効果画像は、前記背景動画における前記２以上の端末撮影動画の各々を着色要素とする塗り絵の線画を含むことを特徴とする情報処理方法である。
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成ステップと、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成ステップと、を含み、
前記配信動画生成ステップでは、前記複数の端末装置により撮影された複数の矩形の端末撮影動画のうち、少なくとも一部の端末撮影動画がマトリクス状に配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記複数の端末撮影動画の各々は、前記複数の参加者の各々を撮影した動画であり、
前記レイヤー画像は、前記キャラクター動画を含むことを特徴とする情報処理方法である。
第１４の手段は、
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成ステップと、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成ステップと、を含み、
前記配信動画生成ステップでは、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記キャラクター動画を含み、
前記キャラクター動画生成ステップでは、前記キャラクターを演じる演者の動作を所定の動作検出装置により検出した結果に基づいて、前記演者の動作に応じて前記キャラクターが動作する前記キャラクター動画を生成し、
前記動作検出装置は、前記演者が装着するヘッドマウントディスプレイを有し、
前記配信動画生成ステップでは、生成した前記配信動画を前記ヘッドマウントディスプレイに表示させることを特徴とする情報処理方法である。
第１５の手段は、
オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信
動画を生成する配信動画生成ステップと、
前記配信動画に特殊効果を付与するための特殊効果画像を生成する特殊効果画像生成ステップと、を含み、
前記配信動画生成ステップでは、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記特殊効果画像を含み、
前記特殊効果画像は、前記背景動画における前記２以上の端末撮影動画の各々を着色要素とする塗り絵の線画を含むことを特徴とする情報処理方法である。
第１の手段によれば、オンラインイベントに用いられる配信動画において、背景動画に複数の参加者を映しつつ、レイヤー画像によって各種演出を行うことができる。よって、各参加者は、背景動画を通じて、自身がオンラインイベントに参加しているという実感を強く得ることができる。また、背景動画によって、各参加者の意識が他の参加者にも向きやすくなるため、参加者同士の繋がりにより形成される一体感が効果的に得られる。また、複数の参加者が映っている背景動画にキャラクター動画を重畳させることで、同一画面内で、キャラクターと複数の参加者との間のリアルタイムかつ双方向のコミュニケーションが可能となる。また、背景動画において複数の参加者を映すことができるため、参加者同士の繋がりにより形成される一体感が効果的に得られる。
第２の手段によれば、背景動画を通じた参加者からの働きかけに対してキャラクターが応答しているように演出することができる。よって、ライブ配信の一体感をより高めることができる。
第３の手段によれば、キャラクターが自らの意思で自然に動作及び発声しているように演出することができる。また、背景動画を通じた参加者からの働きかけに対してキャラクターがより自然に応答しているように演出することができる。
第４の手段、第５の手段、及び第１４の手段によれば、演者は、その時点で生成されている配信動画を、ヘッドマウントディスプレイによってリアルタイムで視認することができる。よって、任意の体勢において、自身が演じるキャラクターと、背景動画との位置関係を視認することができる。このため、演者は、例えばキャラクターが背景動画に向かって振り返っているような体勢においても、背景動画の状態に合わせた自然かつ適切な演技を行うことができる。
第６の手段によれば、あたかも実在するキャラクターが背景動画の前に位置しているような演出を行うことができる。また、より広い範囲で背景動画を視認することができる。
第７の手段によれば、種々の趣向の特殊効果画像を重畳させることで、配信動画のエンターテインメント性を向上させることができる。
第８の手段によれば、背景画像に映っている複数の参加者のうち一部の参加者を選択的に特定する演出などが可能となる。
第９の手段によれば、参加者の興味を強く引くことができるとともに、オンラインイベントを盛り上げることができる。
第１０の手段、第１１の手段、及び第１５の手段によれば、背景動画内の全ての参加者が参加する塗り絵の演出が可能となる。これにより、各参加者の興味を引くことができる。また、各参加者は、塗り絵の演出を通じて他の参加者の存在を意識することとなるため、ライブ配信ならではの一体感を得ることができる。
第１１の手段によれば、背景動画において複数の参加者を映すことができるため、参加者同士の繋がりにより形成される一体感が効果的に得られる。
第１２の手段によれば、オンライン会議システムを用いて、ライブ配信における一体感を効果的に演出することが可能なオンラインイベントを簡易に行うことができる。また、各参加者は、オンライン会議システムを利用するためのアプリケーションプログラム（以下、オンライン会議アプリと記す）を端末装置にインストールすることで、この単一のオンライン会議アプリを用いてオンラインイベントに参加することができる。すなわち、端末装置で参加者を撮影して端末撮影動画をオンライン会議システムに送信しつつ、同時に配信動画及び配信音声をオンライン会議システムから受信して端末装置で視聴することができる。よって、参加者を撮影して送信する端末と、配信動画及び配信音声を受信して視聴するための端末とを別個に用意する必要がないため、簡易な環境でオンラインイベントに参加することができる。
第１３の手段によれば、オンラインイベントに用いられる配信動画において、背景動画に複数の参加者を映しつつ、レイヤー画像によって各種演出を行うことができる。よって、各参加者は、背景動画を通じて、自身がオンラインイベントに参加しているという実感を強く得ることができる。また、背景動画によって、各参加者の意識が他の参加者にも向きやすくなるため、参加者同士の繋がりにより形成される一体感が効果的に得られる。また、複数の参加者が映っている背景動画にキャラクター動画を重畳させることで、同一画面内で、キャラクターと複数の参加者との間のリアルタイムかつ双方向のコミュニケーションが可能となる。また、背景動画において複数の参加者を映すことができるため、参加者同士の繋がりにより形成される一体感が効果的に得られる。
以下、本発明の情報処理システム及び情報処理方法に係る実施の形態を図面に基づいて説明する。
図１は、ライブ配信システム１００の概略構成を示す図である。
ライブ配信システム１００は、情報処理システム１と、オンライン会議システム２と、複数の端末装置３とを備える。情報処理システム１、オンライン会議システム２及び端末装置３は、通信ネットワークＮを介して通信接続されている。通信ネットワークＮは、例えばインターネットであるが、これに限られない。また、情報処理システム１、オンライン会議システム２及び端末装置３の相互の通信経路の一部は、無線通信により実現されていていてもよい。
ライブ配信システム１００は、情報処理システム１と、オンライン会議システム２と、複数の端末装置３とを備える。情報処理システム１、オンライン会議システム２及び端末装置３は、通信ネットワークＮを介して通信接続されている。通信ネットワークＮは、例えばインターネットであるが、これに限られない。また、情報処理システム１、オンライン会議システム２及び端末装置３の相互の通信経路の一部は、無線通信により実現されていていてもよい。
情報処理システム１は、オンラインイベントの配信者が配信動画及びその音声（以下、配信音声と記す）をライブ配信するために使用するシステムである。また、複数の端末装置３の各々は、オンラインイベントの複数の参加者の各々が、オンラインイベントへの参加、すなわち配信動画及び配信音声の視聴のために使用する端末である。端末装置３は、例えばノートＰＣ、スマートフォン、又はタブレット端末などであるが、これらに限られない。
オンライン会議システム２は、データサーバー等により構成され、情報処理システム１及び複数の端末装置３の各々から、Ｗｅｂカメラで撮影された動画及び音声のデータを受信し、これらのデータを、情報処理システム１及び複数の端末装置３のうち配信設定で定められた配信対象に対してリアルタイムで配信（送信）する。これにより、情報処理システム１及び複数の端末装置３において動画及び音声をリアルタイムで共有することで実現されるオンラインイベント（ウェビナー、オンライン会議等）を行うことができる。
本実施形態では、情報処理システム１がオンラインイベントとしてのウェビナーのホストとなり、複数の端末装置３がゲストとして当該オンラインイベントに参加する。詳しくは、情報処理システム１においてオンラインイベントに係る配信動画が生成され、この配信動画がオンライン会議システム２を介して複数の端末装置３に対して同時配信されることで、オンラインイベントが行われる。オンラインイベントにおけるライブ配信では、配信動画とともに配信音声が配信される。この配信動画及び配信音声の生成には、情報処理システム１内で生成される画像及び音声に加えて、複数の端末装置３からオンライン会議システム２を介して情報処理システム１に送信される動画及び音声も用いられる。配信動画及び配信音声の生成方法については、後に詳述する。
図２は、オンラインイベントを開催するまでのフローを示す図である。
図２では、オンラインイベントの参加者、オンライン会議システム２、及びオンラインイベントの配信者の各々により行われる動作又は処理が示されている。このうち参加者による処理は、端末装置３により行われる。また、配信者による処理は、配信者の管理下にあり、かつ通信ネットワークＮに接続されている任意のコンピューターにより実行することができる。当該コンピューターは、情報処理システム１に含まれていてもよい。
図２では、オンラインイベントの参加者、オンライン会議システム２、及びオンラインイベントの配信者の各々により行われる動作又は処理が示されている。このうち参加者による処理は、端末装置３により行われる。また、配信者による処理は、配信者の管理下にあり、かつ通信ネットワークＮに接続されている任意のコンピューターにより実行することができる。当該コンピューターは、情報処理システム１に含まれていてもよい。
図２におけるフローでは、まず、参加者が、配信者の提供するＷｅｂサイト（申し込みサイト）にてオンラインイベントの参加申し込み手続きを行う（ステップＳ１０１）。ここでは、参加者は、申し込みサイトにおいて自身に係る第１登録情報（住所、氏名、メールアドレス等）を入力するとともに、オンラインイベントが有料である場合には料金の支払手続きを行う。入力された第１登録情報は、配信者のコンピューターに送信される。
配信者は、第１登録情報に基づき、参加者宛てに招待メールを送信する（ステップＳ１０２）。招待メールには、オンラインイベント（ウェビナー）に事前登録するための、オンライン会議システム２が提供するＷｅｂサイト（ウェビナー事前登録サイト）のＵＲＬが記載されている。
参加者は、招待メールの内容に従ってウェビナー事前登録サイトにアクセスし、ウェビナーへの事前登録手続きを行う（ステップＳ１０３）。ここでは、参加者は、ウェビナー事前登録サイトにおいて自身に係る第２登録情報（住所、氏名、メールアドレス等）を入力する。第２登録情報の各入力項目の内容は、第１登録情報の各入力項目の内容と同一となる。この第２登録情報は、オンライン会議システム２に送信される。
オンライン会議システム２は、受信した第２登録情報を配信者に送信する（ステップＳ１０４）。
配信者は、第１登録情報と第２登録情報とを照合し、これらが一致した参加者に対して承認メールを送信する（ステップＳ１０５）。承認メールには、オンラインイベント（ウェビナー）を視聴するための視聴ＵＲＬが記載されている。このように、第１登録情報及び第２登録情報を照合するステップを設けることで、ステップＳ１０１の参加申し込みをしていない第三者に承認メールが送信されないようにすることができる。
配信者は、イベント用アイテムを参加者に郵送する（ステップＳ１０６）。このイベント用アイテムは、オンラインイベントの視聴中に参加者が使用する道具や資料等であり、イベントの内容に応じたものが予め配信者により準備されて郵送される。一例を挙げると、イベント用アイテムは、イベント中に配信者から出題される問題（例えば、クイズ、間違い探し等）に回答するためのヒントとなる資料、当該問題に対する回答を配信者に向けて示すための回答用ボード、及び、端末装置３から送信される動画を着色するために端末装置３のＷｅｂカメラ３７に被せる着色フィルムなどである。
配信者及びオンライン会議システム２は、予め定められた開催日時にオンラインイベントの配信を開始する（ステップＳ１０７）。
参加者は、オンラインイベントの開催日時に、承認メールの視聴ＵＲＬにアクセスすることで、オンラインイベントへの参加を開始する（ステップＳ１０８）。オンラインイベントでは、参加者は、予め郵送されたイベント用アイテムを使用しつつ、端末装置３により配信動画及び配信音声を視聴する。
参加者は、オンラインイベントの開催日時に、承認メールの視聴ＵＲＬにアクセスすることで、オンラインイベントへの参加を開始する（ステップＳ１０８）。オンラインイベントでは、参加者は、予め郵送されたイベント用アイテムを使用しつつ、端末装置３により配信動画及び配信音声を視聴する。
次に、オンラインイベント配信時におけるライブ配信システム１００の動作の概要について、図３～図５を参照して説明する。
オンラインイベント配信時において、オンライン会議システム２は、複数の参加者Ｐが映っているギャラリービュー４１（背景動画）（図３（ａ））を生成して情報処理システム１に送信する。ここで、ギャラリービュー４１は、複数の端末装置３からオンライン会議システム２に送信される複数の端末撮影動画４１１のうち２以上の端末撮影動画４１１が配列されている動画である。図３（ａ）では、７行７列に配列された４９個の端末撮影動画４１１を含むギャラリービュー４１が例示されている。各端末撮影動画４１１は、端末装置３のＷｅｂカメラ３７（図１３参照）により撮影されている動画であり、通常、端末装置３を使用している参加者Ｐが映っている。
一方、情報処理システム１は、配信動画に特殊効果を付与するための特殊効果画像４２（図３（ｂ））を生成する。図３（ｂ）では、特殊効果としての星画像４２１を含む特殊効果画像４２が例示されている。特殊効果画像４２は、静止画であってもよいし、動画であってもよい。
また、情報処理システム１は、所定のキャラクターＣが動作するキャラクター動画４３（図３（ｃ））を生成する。キャラクター動画４３は、キャラクターＣを演じる演者の動作を、動作検出装置２１（図６参照）により検出した結果（モーションキャプチャーデータ）に基づいて生成される。キャラクター動画４３では、演者の動作が、キャラクターＣの動作としてリアルタイムに反映されるようになっている。よって、演者が、ギャラリービュー４１における端末撮影動画４１１の内容に応じた動作を行うことにより、キャラクター動画４３は、キャラクターＣが、当該端末撮影動画４１１の内容に応じた動作を行う動画となる。例えば、ギャラリービュー４１に映っている参加者Ｐの１人の言動に対してキャラクターＣが動作及び音声で応答するといった演出が可能となる。
情報処理システム１は、オンライン会議システム２から受信したギャラリービュー４１に対し、当該ギャラリービュー４１の一部が露出するように特殊効果画像４２及びキャラクター動画４３を重畳させて合成することにより、配信動画４０（図４）を生成する。ここで、特殊効果画像４２及びキャラクター動画４３は、「レイヤー画像」の一例である。
配信動画４０では、上述のとおり、キャラクターＣが演者の演技のとおりに動作する。
また、配信動画４０とともに配信される配信音声には、キャラクターＣの音声、及び参加者Ｐの音声が含まれる。このうちキャラクターＣの音声は、ボイスチェンジャーによって演者の声をリアルタイムでキャラクターＣの声音に変換したものである。
また、配信動画４０は、ギャラリービュー４１が背景となっており、このギャラリービュー４１において参加者Ｐの動作等がリアルタイムに反映される。
配信動画４０では、上述のとおり、キャラクターＣが演者の演技のとおりに動作する。
また、配信動画４０とともに配信される配信音声には、キャラクターＣの音声、及び参加者Ｐの音声が含まれる。このうちキャラクターＣの音声は、ボイスチェンジャーによって演者の声をリアルタイムでキャラクターＣの声音に変換したものである。
また、配信動画４０は、ギャラリービュー４１が背景となっており、このギャラリービュー４１において参加者Ｐの動作等がリアルタイムに反映される。
情報処理システム１は、配信動画４０を、配信音声とともにオンライン会議システム２に送信する。配信音声には、別途生成したＢＧＭ及びＳＥ（サウンドエフェクト）などがさらに付加される。これらの配信動画４０及び配信音声が、オンライン会議システム２から各端末装置３にライブ配信される。各参加者Ｐは、配信動画４０を端末装置３の表示部３６（図１３参照）に表示させて視聴する。参加者Ｐは、配信動画４０に含まれるキャラクター動画４３によりキャラクターＣのパフォーマンスを楽しむことができるとともに、配信動画４０の背景となっているギャラリービュー４１により、自身を含む複数の参加者Ｐの様子を一覧することができる。
例えば、図５に示すように、キャラクターＣからの質問に対して、各参加者Ｐが、事前に郵送されている「Ａ」又は「Ｂ」の回答用ボードをＷｅｂカメラ３７に向かって掲げることで、各参加者Ｐの回答内容をギャラリービュー４１に反映させるといった演出も可能である。このような演出によれば、各参加者Ｐは、自身がオンラインイベントに参加しているという実感を強く得ることができるとともに、他の参加者Ｐにも意識が向くため、参加者同士の一体感も感じることができる。
このように、情報処理システム１で生成された配信動画４０及び配信音声を複数の端末装置３にライブ配信することにより、同一画面内で、キャラクターＣ（配信者）と複数の参加者Ｐとの間のリアルタイムかつ双方向のコミュニケーションが可能となる。
特に、演者の動作及び音声をリアルタイムでキャラクターＣの動作及び音声に変換することで、キャラクターＣが自らの意思で自然に動作及び発声しているように演出することができる。また、ギャラリービュー４１を通じた参加者Ｐからの働きかけに対してキャラクターＣが自然に応答しているように演出することができる。
特に、演者の動作及び音声をリアルタイムでキャラクターＣの動作及び音声に変換することで、キャラクターＣが自らの意思で自然に動作及び発声しているように演出することができる。また、ギャラリービュー４１を通じた参加者Ｐからの働きかけに対してキャラクターＣが自然に応答しているように演出することができる。
また、複数の参加者Ｐが映っているギャラリービュー４１を背景とし、このギャラリービュー４１にキャラクター動画４３を重畳させることで、キャラクターＣと複数の参加者Ｐとの繋がり、及び参加者Ｐ同士の繋がりにより形成される一体感が効果的に得られる。
従来、参加者Ｐが映っている領域と、キャラクターＣが映っている領域とを、画面内の別個の領域に分割してそれぞれ表示する方法が考案されていたが、この方法では、各参加者Ｐは、キャラクターＣと、当該キャラクターＣを見ている自分とを認識するのみで、他の参加者Ｐを意識しにくかった。これに対し、本実施形態のようにギャラリービュー４１とキャラクター動画４３とを重畳させた配信動画４０によれば、各参加者Ｐは、他の多数の参加者Ｐと一体となってキャラクターＣとコミュニケーションを行う感覚が得られる。
また、配信動画４０に、複数の参加者Ｐから入力されたチャットの文字情報を流す方法と比較すると、本実施形態の方が、視覚的、直感的により分かりやすい演出が可能である。このため、例えば、文字を素早く読むことが困難な子供などでもオンラインイベントを楽しむことができる。
さらに、種々の趣向の特殊効果画像４２を重畳させることで、配信動画４０のエンターテインメント性を向上させることができる。
従来、参加者Ｐが映っている領域と、キャラクターＣが映っている領域とを、画面内の別個の領域に分割してそれぞれ表示する方法が考案されていたが、この方法では、各参加者Ｐは、キャラクターＣと、当該キャラクターＣを見ている自分とを認識するのみで、他の参加者Ｐを意識しにくかった。これに対し、本実施形態のようにギャラリービュー４１とキャラクター動画４３とを重畳させた配信動画４０によれば、各参加者Ｐは、他の多数の参加者Ｐと一体となってキャラクターＣとコミュニケーションを行う感覚が得られる。
また、配信動画４０に、複数の参加者Ｐから入力されたチャットの文字情報を流す方法と比較すると、本実施形態の方が、視覚的、直感的により分かりやすい演出が可能である。このため、例えば、文字を素早く読むことが困難な子供などでもオンラインイベントを楽しむことができる。
さらに、種々の趣向の特殊効果画像４２を重畳させることで、配信動画４０のエンターテインメント性を向上させることができる。
また、各参加者は、オンライン会議システム２を利用するためのオンライン会議アプリ３３ａ（図１３参照）を端末装置３にインストールすることで、この単一のオンライン会議アプリ３３ａを用いてオンラインイベントに参加することができる。すなわち、端末装置３により参加者自身を撮影して端末撮影動画４１１をオンライン会議システム２に送信しつつ、同時に配信動画４０をオンライン会議システム２から受信して端末装置３で視聴することができる。よって、参加者を撮影して送信する端末と、配信動画４０を受信して視聴するための端末とを別個に用意する必要がなく、簡易な環境でオンラインイベントに参加することができる。
次に、情報処理システム１の構成、及びオンラインイベント配信時のライブ配信システム１００の動作について詳しく説明する。
図６は、情報処理システム１の構成及びライブ配信システム１００の動作を示す図である。
図６に示すように、情報処理システム１は、第１の情報処理装置１１、第２の情報処理装置１２、第３の情報処理装置１３、第４の情報処理装置１４、第５の情報処理装置１５、第６の情報処理装置１６（以下では、これらをまとめて「情報処理装置１１～１６」と記す）、動作検出装置２１、ヘッドセット２２、オーディオＩ／Ｆ２３及びミキサー２４などを備える。情報処理装置１１～１６の各々は、例えばノートＰＣ又はデスクトップＰＣとすることができる。情報処理装置１１～１６の各々の具体的な機能ブロックについては後述する。
これらのうち第１の情報処理装置１１、第５の情報処理装置１５及び第６の情報処理装置１６がオンライン会議システム２に接続されており、オンラインイベント（ウェビナー）の共同ホストとなっている。なお、図６では通信ネットワークＮは記載が省略されている。
図６に示すように、情報処理システム１は、第１の情報処理装置１１、第２の情報処理装置１２、第３の情報処理装置１３、第４の情報処理装置１４、第５の情報処理装置１５、第６の情報処理装置１６（以下では、これらをまとめて「情報処理装置１１～１６」と記す）、動作検出装置２１、ヘッドセット２２、オーディオＩ／Ｆ２３及びミキサー２４などを備える。情報処理装置１１～１６の各々は、例えばノートＰＣ又はデスクトップＰＣとすることができる。情報処理装置１１～１６の各々の具体的な機能ブロックについては後述する。
これらのうち第１の情報処理装置１１、第５の情報処理装置１５及び第６の情報処理装置１６がオンライン会議システム２に接続されており、オンラインイベント（ウェビナー）の共同ホストとなっている。なお、図６では通信ネットワークＮは記載が省略されている。
動作検出装置２１は、キャラクターＣを演じる演者の動作を検出する。本実施形態では、動作検出装置２１は、演者が頭部に装着するヘッドマウントディスプレイ２１１と、演者が右手及び左手でそれぞれ保持する図示略のコントローラーとを有する。ヘッドマウントディスプレイ２１１及び各コントローラーには、演者の頭部及び両手の位置及び向きを検出する各種センサーが設けられている。これらのセンサーによる検出結果は、第２の情報処理装置１２に出力される。また、ヘッドマウントディスプレイ２１１は、第２の情報処理装置１２から送信された動画等を、演者が視認可能な表示部に表示する。
ヘッドセット２２は、マイク及びヘッドホンを有し、演者により装着されて用いられる。ヘッドセット２２は、演者の声をマイクにより集音してオーディオＩ／Ｆ２３に出力するとともに、ミキサー２４から入力された音声をヘッドホンから出力する。
図６では、情報処理システム１の各装置間で送受信される、静止画又は動画のデータ、及び音声のデータ等の流れが示されている。また、情報処理システム１とオンライン会議システム２、及びオンライン会議システム２と端末装置３の間でそれぞれ送受信されるデータの流れも併せて示されている。
なお、図６の各データの流れに付された「Ｓ１」～「Ｓ２０」の符号は、各データの流れを特定するためのものであり、必ずしもデータの送受信の時系列を表すものではない。オンラインイベントの配信中は、「Ｓ１」～「Ｓ２０」の各データの送受信が並行して実行される。また、以下では、簡便のため、静止画像のデータ、動画のデータ、及び音声のデータについては、それぞれ単に「画像」、「動画」、及び「音声」と記す。
以下では、図６の「Ｓ１」～「Ｓ２０」の各データの流れに言及しつつ、ライブ配信システム１００の動作について説明する。
なお、図６の各データの流れに付された「Ｓ１」～「Ｓ２０」の符号は、各データの流れを特定するためのものであり、必ずしもデータの送受信の時系列を表すものではない。オンラインイベントの配信中は、「Ｓ１」～「Ｓ２０」の各データの送受信が並行して実行される。また、以下では、簡便のため、静止画像のデータ、動画のデータ、及び音声のデータについては、それぞれ単に「画像」、「動画」、及び「音声」と記す。
以下では、図６の「Ｓ１」～「Ｓ２０」の各データの流れに言及しつつ、ライブ配信システム１００の動作について説明する。
オンラインイベントの配信中は、端末装置３からオンライン会議システム２に、Ｗｅｂカメラ３７で撮影されている端末撮影動画４１１、及びマイク３８（図１３参照）により集音されている参加者音声が送信される（Ｓ１）。
オンライン会議システム２は、複数の端末装置３から受信した複数の端末撮影動画４１１をマトリクス状に配列したギャラリービュー４１を生成する。上述のとおり、ギャラリービュー４１は、端末装置３に配信される配信動画４０の背景となる動画である。
図３（ａ）に示したように、本実施形態のギャラリービュー４１は、７行７列に配列された４９個の端末撮影動画４１１を含む。オンラインイベントの参加者が４９人を超えている場合には、後述する第６の情報処理装置１６からのイベント制御信号（Ｓ２０）に従って、ギャラリービュー４１に含める端末撮影動画４１１（すなわち、参加者）が切り替えられる。
なお、ギャラリービュー４１における端末撮影動画４１１の配列は７行７列に限られない。また、必ずしも行列をなすように端末撮影動画４１１が配列されていなくてもよい。
図３（ａ）に示したように、本実施形態のギャラリービュー４１は、７行７列に配列された４９個の端末撮影動画４１１を含む。オンラインイベントの参加者が４９人を超えている場合には、後述する第６の情報処理装置１６からのイベント制御信号（Ｓ２０）に従って、ギャラリービュー４１に含める端末撮影動画４１１（すなわち、参加者）が切り替えられる。
なお、ギャラリービュー４１における端末撮影動画４１１の配列は７行７列に限られない。また、必ずしも行列をなすように端末撮影動画４１１が配列されていなくてもよい。
オンライン会議システム２により生成されたギャラリービュー４１、及び端末装置３からオンライン会議システム２に送信された参加者音声は、情報処理システム１の第１の情報処理装置１１に送信される（Ｓ２）。
一方、動作検出装置２１により、演者の動作の検出結果（モーションキャプチャーデータ）が取得され、第２の情報処理装置１２に送信される（Ｓ３）。第２の情報処理装置１２は、受信したモーションキャプチャーデータに基づいて、図３（ｃ）に示したようなキャラクター動画４３を生成する。ここでは、第２の情報処理装置１２は、予め用意されているキャラクターＣの３Ｄ外観データの各部を、受信したモーションキャプチャーデータにより表される体の各部の位置及び向きと一致するように配置して、キャラクター動画４３のフレーム画像を生成する。この処理を、順次送信されるモーションキャプチャーデータに応じて繰り返し実行することで、キャラクター動画４３を生成する。キャラクター動画４３の背景、すなわちキャラクターＣの輪郭の外側の範囲は、グリーン又はブルー等の、キャラクターＣの主要な色と補色の関係にある色とされている。これにより、キャラクター動画４３は、後述するようにギャラリービュー４１に対してクロマキー合成を行うことが可能となっている。以下では、クロマキー合成のための背景を「グリーンバック」と記す。
第２の情報処理装置１２は、生成したキャラクター動画４３を第１の情報処理装置１１に送信する（Ｓ４）。
第２の情報処理装置１２は、生成したキャラクター動画４３を第１の情報処理装置１１に送信する（Ｓ４）。
また、第３の情報処理装置１３は、図３（ｂ）に示したような特殊効果画像４２を生成して第１の情報処理装置１１に送信する（Ｓ５）。特殊効果画像４２も、キャラクター動画４３と同様にグリーンバックとされており、ギャラリービュー４１に対してクロマキー合成を行うことが可能となっている。
第１の情報処理装置１１は、オンライン会議システム２から入力されたギャラリービュー４１（Ｓ２）に、第３の情報処理装置１３から入力された特殊効果画像４２（Ｓ５）、及び第２の情報処理装置１２から入力されたキャラクター動画４３（Ｓ４）をリアルタイムでクロマキー合成（重畳）して、図４に示したような配信動画４０を生成する（Ｓ６：配信動画生成ステップ）。
クロマキー合成により、キャラクター動画４３は、キャラクターＣの輪郭の外側の範囲が透明化された状態でギャラリービュー４１に重畳される。このため、配信動画４０は、キャラクターＣの輪郭の外側の範囲においてギャラリービュー４１を視認可能である。ここで、「ギャラリービュー４１を視認可能である」とは、ギャラリービュー４１に他の特殊効果画像４２が重畳されていない場合にギャラリービュー４１を視認可能であることをいう。
クロマキー合成により、キャラクター動画４３は、キャラクターＣの輪郭の外側の範囲が透明化された状態でギャラリービュー４１に重畳される。このため、配信動画４０は、キャラクターＣの輪郭の外側の範囲においてギャラリービュー４１を視認可能である。ここで、「ギャラリービュー４１を視認可能である」とは、ギャラリービュー４１に他の特殊効果画像４２が重畳されていない場合にギャラリービュー４１を視認可能であることをいう。
生成された配信動画４０は、上述のとおりオンライン会議システム２に送信されるとともに（Ｓ１８）、第２の情報処理装置１２にも送信される（Ｓ７）。第２の情報処理装置１２は、この配信動画４０をヘッドマウントディスプレイ２１１に送信して、ヘッドマウントディスプレイ２１１に配信動画４０を表示させる（Ｓ８）。これにより、演者は、その時点で生成されている配信動画４０をリアルタイムで視認することができる。よって、任意の体勢において、自身が演じるキャラクターＣと、ギャラリービュー４１及び特殊効果画像４２との位置関係を、配信動画４０から認識することができる。このため、例えばキャラクターＣがギャラリービュー４１に向かって振り返っているような体勢（例えば、図１４（ｃ）及び図１５参照）においても、配信動画４０を確認している素振りを参加者に見せることなく、ギャラリービュー４１及び特殊効果画像４２の状態に合わせた自然かつ適切な演技を行うことができる。
なお、ヘッドマウントディスプレイ２１１には、配信動画４０の他に、演者の演技に必要な各種情報（動作検出装置２１の操作に用いられる画像や、合成前のキャラクター動画４３等）が表示される。
なお、ヘッドマウントディスプレイ２１１には、配信動画４０の他に、演者の演技に必要な各種情報（動作検出装置２１の操作に用いられる画像や、合成前のキャラクター動画４３等）が表示される。
次に、音声データの流れについて説明する。
演者の音声は、ヘッドセット２２により集音されてオーディオＩ／Ｆ２３に出力される（Ｓ９）。オーディオＩ／Ｆ２３は、この演者の音声を第４の情報処理装置１４に出力する（Ｓ１０）。
演者の音声は、ヘッドセット２２により集音されてオーディオＩ／Ｆ２３に出力される（Ｓ９）。オーディオＩ／Ｆ２３は、この演者の音声を第４の情報処理装置１４に出力する（Ｓ１０）。
第４の情報処理装置１４は、入力された演者の音声を、ボイスチェンジャーによりリアルタイムでキャラクターＣの音声に変換する。第４の情報処理装置１４は、変換後のキャラクターＣの音声をオーディオＩ／Ｆ２３に出力する（Ｓ１１）。
オーディオＩ／Ｆ２３に入力されたキャラクターＣの音声は、ミキサー２４に出力されるとともに、第２の情報処理装置１２に出力される（Ｓ１２）。このうち第２の情報処理装置１２に入力されたキャラクターＣの音声は、上述のキャラクター動画４３の生成において、キャラクターＣの唇の動きをキャラクターＣの音声に合わせるリップシンクの処理に用いられる。
一方、第５の情報処理装置１５は、配信動画４０とともに配信されるＢＧＭ及びＳＥを生成する。ここで、ＳＥには、各種の効果音の他、演者の音声を用いないセリフなども含まれる。第５の情報処理装置１５は、生成したＢＧＭ及びＳＥをミキサー２４に出力するとともに、オンラインイベントのホストとして、当該ＢＧＭ及びＳＥをオンライン会議システム２に直接送信する（Ｓ１３）。
なお、ＢＧＭ及びＳＥをミキサー２４のみへ送るようにしてもよい。この場合には、後述するＳ１６、Ｓ１８、Ｓ１９のルートで、配信動画４０とともにＢＧＭ及びＳＥが端末装置３に送信される。
なお、ＢＧＭ及びＳＥをミキサー２４のみへ送るようにしてもよい。この場合には、後述するＳ１６、Ｓ１８、Ｓ１９のルートで、配信動画４０とともにＢＧＭ及びＳＥが端末装置３に送信される。
また、第１の情報処理装置１１は、オンライン会議システム２から取得した参加者音声をミキサー２４に出力する（Ｓ１４）。
ミキサー２４は、入力されたＢＧＭ、ＳＥ及び参加者音声を合成してヘッドセット２２に出力する（Ｓ１５）。演者は、ヘッドセット２２からこの合成後の音声を聞くことで、配信中の配信動画４０の内容に合わせた適切な演技をすることができる。
また、ミキサー２４は、入力されたキャラクターＣの音声を第１の情報処理装置１１に出力する（Ｓ１６）。第１の情報処理装置１１は、入力されたキャラクターＣの音声を配信動画４０に付加する（Ｓ１７）。また、第１の情報処理装置１１は、配信動画４０及びキャラクターＣの音声を、オンラインイベントのホストとしてオンライン会議システム２に出力する（Ｓ１８）。なお、Ｓ１６において、キャラクターＣの音声とともに参加者音声を送信し、Ｓ１７において配信動画４０に付加することも可能であるが、ハウリングなど起こす可能性があるため、本実施形態では実施していない。
ここで、第１の情報処理装置１１からオンライン会議システム２への配信動画４０の出力は、画像合成・配信プログラム１１３ａ（図７参照）の仮想カメラ出力プラグイン１１３ｂにより行われる。すなわち、通常、オンライン会議システム２に対しては、Ｗｅｂカメラにより撮影されているカメラ画像が出力されるところ、第１の情報処理装置１１は、仮想カメラ出力プラグイン１１３ｂを用いることで、カメラ画像に代えて、仮想のカメラ画像として配信動画４０を出力する。
ここで、第１の情報処理装置１１からオンライン会議システム２への配信動画４０の出力は、画像合成・配信プログラム１１３ａ（図７参照）の仮想カメラ出力プラグイン１１３ｂにより行われる。すなわち、通常、オンライン会議システム２に対しては、Ｗｅｂカメラにより撮影されているカメラ画像が出力されるところ、第１の情報処理装置１１は、仮想カメラ出力プラグイン１１３ｂを用いることで、カメラ画像に代えて、仮想のカメラ画像として配信動画４０を出力する。
オンライン会議システム２は、第１の情報処理装置１１から入力された配信動画４０及び配信音声（キャラクターＣの音声、ＢＧＭ、ＳＥ、及び各端末装置３から受信した参加者音声を含む）を、リアルタイムに各端末装置３に送信（ライブ配信）する（Ｓ１９）。
上記のＳ１～Ｓ１９の処理と並行して、第６の情報処理装置１６は、オンラインイベントのホストとして、オンラインイベントを制御するためのイベント制御信号を随時オンライン会議システム２に出力する（Ｓ２０）。
このイベント制御信号により、全ての端末装置３からの端末撮影動画４１１のうち、ギャラリービュー４１に配列する端末撮影動画４１１を選択することができる。具体的には、ギャラリービュー４１に含まれる４９個の端末撮影動画４１１を一斉に入れ替えたり、ギャラリービュー４１における特定の端末撮影動画４１１を入れ替えたりすることができる。例えば、オンラインイベントの参加者が１０００人である場合に、ギャラリービュー４１に含まれる端末撮影動画４１１を１０秒に１回の頻度で一斉に入れ替えることで、約２００秒で全ての参加者の端末撮影動画４１１をギャラリービュー４１（配信動画４０の背景）に表示させることができる。
また、イベント制御信号により、各端末装置３からオンライン会議システム２に送信されている参加者音声のうち、全端末装置３及び第１の情報処理装置１１に配信される参加者音声を選択することができる。すなわち、特定の端末撮影動画４１１の参加者音声のみを選択したり、全参加者の音声を出力又はミュートしたりすることができる。
このイベント制御信号により、全ての端末装置３からの端末撮影動画４１１のうち、ギャラリービュー４１に配列する端末撮影動画４１１を選択することができる。具体的には、ギャラリービュー４１に含まれる４９個の端末撮影動画４１１を一斉に入れ替えたり、ギャラリービュー４１における特定の端末撮影動画４１１を入れ替えたりすることができる。例えば、オンラインイベントの参加者が１０００人である場合に、ギャラリービュー４１に含まれる端末撮影動画４１１を１０秒に１回の頻度で一斉に入れ替えることで、約２００秒で全ての参加者の端末撮影動画４１１をギャラリービュー４１（配信動画４０の背景）に表示させることができる。
また、イベント制御信号により、各端末装置３からオンライン会議システム２に送信されている参加者音声のうち、全端末装置３及び第１の情報処理装置１１に配信される参加者音声を選択することができる。すなわち、特定の端末撮影動画４１１の参加者音声のみを選択したり、全参加者の音声を出力又はミュートしたりすることができる。
情報処理装置１１～１６は、それぞれ担当のオペレーターにより操作される。ただし、操作の自動化が可能である場合には、その情報処理装置についてはオペレーターの配置を省略してもよい。また、情報処理装置１１～１６のうち２以上の情報処理装置を１人のオペレーターが操作してもよい。
また、情報処理装置１１～１６のうち２以上の情報処理装置の機能を１台の情報処理装置に統合してもよい。よって、情報処理システム１を構成する情報処理装置は６台に限られない。
また、情報処理システム１に、図６に示されていない構成を付加してもよい。例えば、演者に対して指示を出すディレクターが必要な場合において、当該ディレクターが使用するディレクター用ヘッドセットを別途設けてもよい。この場合、ディレクター用ヘッドセットからミキサー２４に、ディレクターの指示音声を送信し、ミキサー２４から演者のヘッドセット２２に送信される音声に、この指示音声を合成すればよい。また、ディレクター用ヘッドセットには、キャラクターＣの音声、ＢＧＭ、ＳＥ及び参加者音声などを合成した音声をミキサー２４から送信すればよい。
次に、情報処理装置１１～１６及び端末装置３の機能構成について説明する。
図７は、第１の情報処理装置１１の主要な機能構成を示すブロック図である。
第１の情報処理装置１１は、第１の制御部１１０と、通信部１１４と、操作部１１５と、ギャラリービュー表示部１１６ａと、特殊効果画像表示部１１６ｂと、キャラクター動画表示部１１６ｃと、配信動画表示部１１６ｄなどを備え、これらの各部はバス１１７を介して接続されている。
第１の情報処理装置１１は、第１の制御部１１０と、通信部１１４と、操作部１１５と、ギャラリービュー表示部１１６ａと、特殊効果画像表示部１１６ｂと、キャラクター動画表示部１１６ｃと、配信動画表示部１１６ｄなどを備え、これらの各部はバス１１７を介して接続されている。
第１の制御部１１０は、ＣＰＵ１１１（Central Processing Unit）、ＲＡＭ１１２（Random Access Memory）、及び記憶部１１３を備える。第１の制御部１１０は、ＣＰＵ１１１が、記憶部１１３に記憶された画像合成・配信プログラム１１３ａを実行して各種処理を行うことで、配信動画４０を生成する配信動画生成手段として機能する。
ＣＰＵ１１１は、記憶部１１３に記憶されているプログラムに従って各種演算処理を行う。ＲＡＭ１１２は、ＣＰＵ１１１に作業用のメモリー空間を提供し、一時データを記憶する。
記憶部１１３は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などの不揮発性の記憶装置により構成され、第１の制御部１１０により実行される各種プログラム及びデータ等を格納する。詳しくは、記憶部１１３には、画像合成・配信プログラム１１３ａが記憶されている。
第１の制御部１１０は、画像合成・配信プログラム１１３ａに従って各種処理を実行することで、ギャラリービュー４１に対して特殊効果画像４２及びキャラクター動画４３を重畳させて配信動画４０を生成する。
また、画像合成・配信プログラム１１３ａには、仮想カメラ出力プラグイン１１３ｂが含まれる。仮想カメラ出力プラグイン１１３ｂは、カメラ画像に代えて配信動画４０を出力するためのプラグインソフトウェアである。第１の制御部１１０は、画像合成・配信プログラム１１３ａに従ってオンラインイベントの共同ホストとしてオンライン会議システム２に接続し、仮想カメラ出力プラグイン１１３ｂを用いて、配信動画４０をオンライン会議システム２に送信する。
また、第１の制御部１１０は、第２の情報処理装置１２を介して配信動画４０を動作検出装置２１に送信することで、動作検出装置２１のヘッドマウントディスプレイ２１１に配信動画４０を表示させる。
第１の制御部１１０は、画像合成・配信プログラム１１３ａに従って各種処理を実行することで、ギャラリービュー４１に対して特殊効果画像４２及びキャラクター動画４３を重畳させて配信動画４０を生成する。
また、画像合成・配信プログラム１１３ａには、仮想カメラ出力プラグイン１１３ｂが含まれる。仮想カメラ出力プラグイン１１３ｂは、カメラ画像に代えて配信動画４０を出力するためのプラグインソフトウェアである。第１の制御部１１０は、画像合成・配信プログラム１１３ａに従ってオンラインイベントの共同ホストとしてオンライン会議システム２に接続し、仮想カメラ出力プラグイン１１３ｂを用いて、配信動画４０をオンライン会議システム２に送信する。
また、第１の制御部１１０は、第２の情報処理装置１２を介して配信動画４０を動作検出装置２１に送信することで、動作検出装置２１のヘッドマウントディスプレイ２１１に配信動画４０を表示させる。
通信部１１４は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１４は、情報処理システム１内の他の機器及び通信ネットワークＮと有線又は無線で通信接続され、接続先の機器との間でデータの送受信を行う。
操作部１１５は、キーボード及びマウス等の入力デバイスを備え、当該入力デバイスによりオペレーターからの入力操作を受け付けて、当該入力操作に応じた操作信号を第１の制御部１１０に出力する。
ギャラリービュー表示部１１６ａ、特殊効果画像表示部１１６ｂ、キャラクター動画表示部１１６ｃ、及び配信動画表示部１１６ｄは、液晶表示装置や有機ＥＬ表示装置などにより実現され、第１の制御部１１０による制御下で画像や情報を表示する。
このうちギャラリービュー表示部１１６ａは、オンライン会議システム２から受信したギャラリービュー４１を表示する。
また、特殊効果画像表示部１１６ｂは、第３の情報処理装置１３から受信した特殊効果画像４２を表示する。
また、キャラクター動画表示部１１６ｃは、第２の情報処理装置１２から受信したキャラクター動画４３を表示する。
また、配信動画表示部１１６ｄは、生成された配信動画４０を表示する。
このように、配信動画４０とは別個にギャラリービュー４１、特殊効果画像４２及びキャラクター動画４３を各表示部に表示させることで、配信者（ここでは、第１の情報処理装置１１のオペレーター）がギャラリービュー４１、特殊効果画像４２及びキャラクター動画４３を独立して視認することができる。これにより、配信動画４０の内容を調整しやすくすることができる。
なお、合成前のギャラリービュー４１、特殊効果画像４２及びキャラクター動画４３のうち一部又は全部を別個に確認する必要がない場合などにおいては、ギャラリービュー表示部１１６ａ、特殊効果画像表示部１１６ｂ及びキャラクター動画表示部１１６ｃのうち一部又は全部を省略してもよい。また、１つの表示部内で、配信動画４０、ギャラリービュー４１、特殊効果画像４２及びキャラクター動画４３のうち２以上の画像を分割して表示させてもよい。
このうちギャラリービュー表示部１１６ａは、オンライン会議システム２から受信したギャラリービュー４１を表示する。
また、特殊効果画像表示部１１６ｂは、第３の情報処理装置１３から受信した特殊効果画像４２を表示する。
また、キャラクター動画表示部１１６ｃは、第２の情報処理装置１２から受信したキャラクター動画４３を表示する。
また、配信動画表示部１１６ｄは、生成された配信動画４０を表示する。
このように、配信動画４０とは別個にギャラリービュー４１、特殊効果画像４２及びキャラクター動画４３を各表示部に表示させることで、配信者（ここでは、第１の情報処理装置１１のオペレーター）がギャラリービュー４１、特殊効果画像４２及びキャラクター動画４３を独立して視認することができる。これにより、配信動画４０の内容を調整しやすくすることができる。
なお、合成前のギャラリービュー４１、特殊効果画像４２及びキャラクター動画４３のうち一部又は全部を別個に確認する必要がない場合などにおいては、ギャラリービュー表示部１１６ａ、特殊効果画像表示部１１６ｂ及びキャラクター動画表示部１１６ｃのうち一部又は全部を省略してもよい。また、１つの表示部内で、配信動画４０、ギャラリービュー４１、特殊効果画像４２及びキャラクター動画４３のうち２以上の画像を分割して表示させてもよい。
図８は、第２の情報処理装置１２の主要な機能構成を示すブロック図である。
第２の情報処理装置１２は、第２の制御部１２０と、通信部１２４と、操作部１２５と、キャラクター動画表示部１２６などを備え、これらの各部はバス１２７を介して接続されている。
第２の情報処理装置１２は、第２の制御部１２０と、通信部１２４と、操作部１２５と、キャラクター動画表示部１２６などを備え、これらの各部はバス１２７を介して接続されている。
第２の制御部１２０は、ＣＰＵ１２１、ＲＡＭ１２２及び記憶部１２３を備える。ＣＰＵ１２１、ＲＡＭ１２２及び記憶部１２３のハードウェア構成は、第１の情報処理装置１１のＣＰＵ１１１、ＲＡＭ１１２及び記憶部１１３と同様である。
記憶部１１３には、動画検出装置制御プログラム１２３ａ及びキャラクター動画生成プログラム１２３ｂが記憶されている。
第２の制御部１２０は、動画検出装置制御プログラム１２３ａに従って各種処理を実行することで、動作検出装置２１に制御信号を送信して動作検出装置２１の動作を制御するとともに、動作検出装置２１から演者のモーションキャプチャーデータを取得する。
また、第２の制御部１２０は、キャラクター動画生成プログラム１２３ｂに従って各種処理を実行することで、キャラクターＣの３Ｄ外観データ、及び動作検出装置２１から受信したモーションキャプチャーデータに基づいて、キャラクター動画４３を生成する。
このように、第２の制御部１２０は、ＣＰＵ１２１が動画検出装置制御プログラム１２３ａ及びキャラクター動画生成プログラム１２３ｂを実行して各種処理を行うことで、キャラクター動画４３を生成するキャラクター動画生成手段として機能する。
記憶部１１３には、動画検出装置制御プログラム１２３ａ及びキャラクター動画生成プログラム１２３ｂが記憶されている。
第２の制御部１２０は、動画検出装置制御プログラム１２３ａに従って各種処理を実行することで、動作検出装置２１に制御信号を送信して動作検出装置２１の動作を制御するとともに、動作検出装置２１から演者のモーションキャプチャーデータを取得する。
また、第２の制御部１２０は、キャラクター動画生成プログラム１２３ｂに従って各種処理を実行することで、キャラクターＣの３Ｄ外観データ、及び動作検出装置２１から受信したモーションキャプチャーデータに基づいて、キャラクター動画４３を生成する。
このように、第２の制御部１２０は、ＣＰＵ１２１が動画検出装置制御プログラム１２３ａ及びキャラクター動画生成プログラム１２３ｂを実行して各種処理を行うことで、キャラクター動画４３を生成するキャラクター動画生成手段として機能する。
通信部１２４、操作部１２５及びキャラクター動画表示部１２６のハードウェア構成は、第１の情報処理装置１１の通信部１１４、操作部１１５及びギャラリービュー表示部１１６ａ等と同様である。このうちキャラクター動画表示部１２６は、生成されたキャラクター動画４３を表示する。
図９は、第３の情報処理装置１３の主要な機能構成を示すブロック図である。
第３の情報処理装置１３は、第３の制御部１３０と、通信部１３４と、操作部１３５と、表示部１３６などを備え、これらの各部はバス１３７を介して接続されている。
第３の情報処理装置１３は、第３の制御部１３０と、通信部１３４と、操作部１３５と、表示部１３６などを備え、これらの各部はバス１３７を介して接続されている。
第３の制御部１３０は、ＣＰＵ１３１、ＲＡＭ１３２及び記憶部１３３を備える。ＣＰＵ１３１、ＲＡＭ１３２及び記憶部１３３のハードウェア構成は、第１の情報処理装置１１のＣＰＵ１１１、ＲＡＭ１１２及び記憶部１１３と同様である。
記憶部１３３には、特殊効果画像生成プログラム１３３ａが記憶されている。
第３の制御部１３０は、特殊効果画像生成プログラム１３３ａに従って各種処理を実行することで、特殊効果画像４２を生成する。すなわち、第３の制御部１３０は、ＣＰＵ１３１が特殊効果画像生成プログラム１３３ａを実行して各種処理を行うことで、特殊効果画像４２を生成する特殊効果画像生成手段として機能する。
記憶部１３３には、特殊効果画像生成プログラム１３３ａが記憶されている。
第３の制御部１３０は、特殊効果画像生成プログラム１３３ａに従って各種処理を実行することで、特殊効果画像４２を生成する。すなわち、第３の制御部１３０は、ＣＰＵ１３１が特殊効果画像生成プログラム１３３ａを実行して各種処理を行うことで、特殊効果画像４２を生成する特殊効果画像生成手段として機能する。
通信部１３４、操作部１３５及び表示部１３６のハードウェア構成は、第１の情報処理装置１１の通信部１１４、操作部１１５及びギャラリービュー表示部１１６ａ等と同様である。
図１０は、第４の情報処理装置１４の主要な機能構成を示すブロック図である。
第４の情報処理装置１４は、第４の制御部１４０と、通信部１４４と、操作部１４５と、表示部１４６などを備え、これらの各部はバス１４７を介して接続されている。
第４の情報処理装置１４は、第４の制御部１４０と、通信部１４４と、操作部１４５と、表示部１４６などを備え、これらの各部はバス１４７を介して接続されている。
第４の制御部１４０は、ＣＰＵ１４１、ＲＡＭ１４２及び記憶部１４３を備える。ＣＰＵ１４１、ＲＡＭ１４２及び記憶部１４３のハードウェア構成は、第１の情報処理装置１１のＣＰＵ１１１、ＲＡＭ１１２及び記憶部１１３と同様である。
記憶部１４３には、ボイスチェンジプログラム１４３ａが記憶されている。
第４の制御部１４０は、ボイスチェンジプログラム１４３ａに従って各種処理を実行することで、入力された演者の声を、リアルタイムでキャラクターＣの声音に変換する。
記憶部１４３には、ボイスチェンジプログラム１４３ａが記憶されている。
第４の制御部１４０は、ボイスチェンジプログラム１４３ａに従って各種処理を実行することで、入力された演者の声を、リアルタイムでキャラクターＣの声音に変換する。
通信部１４４、操作部１４５及び表示部１４６のハードウェア構成は、第１の情報処理装置１１の通信部１１４、操作部１１５及びギャラリービュー表示部１１６ａ等と同様である。
図１１は、第５の情報処理装置１５の主要な機能構成を示すブロック図である。
第５の情報処理装置１５は、第５の制御部１５０と、通信部１５４と、操作部１５５と、表示部１５６などを備え、これらの各部はバス１５７を介して接続されている。
第５の情報処理装置１５は、第５の制御部１５０と、通信部１５４と、操作部１５５と、表示部１５６などを備え、これらの各部はバス１５７を介して接続されている。
第５の制御部１５０は、ＣＰＵ１５１、ＲＡＭ１５２及び記憶部１５３を備える。ＣＰＵ１５１、ＲＡＭ１５２及び記憶部１５３のハードウェア構成は、第１の情報処理装置１１のＣＰＵ１１１、ＲＡＭ１１２及び記憶部１１３と同様である。
記憶部１５３には、ＢＧＭ出力・配信プログラム１５３ａが記憶されている。
第５の制御部１５０は、ＢＧＭ出力・配信プログラム１５３ａに従って各種処理を実行することで、ＢＧＭ及びＳＥのデータを生成する。また、第５の制御部１５０は、当該ＧＢＭ及びＳＥを、オンラインイベントの共同ホストとしてオンライン会議システム２に接続してＢＧＭ及びＳＥのデータをオンライン会議システム２に送信するとともに、ミキサー２４に送信する。なお、上述のとおり、ＢＧＭ及びＳＥをミキサー２４のみへ送信してもよい。
記憶部１５３には、ＢＧＭ出力・配信プログラム１５３ａが記憶されている。
第５の制御部１５０は、ＢＧＭ出力・配信プログラム１５３ａに従って各種処理を実行することで、ＢＧＭ及びＳＥのデータを生成する。また、第５の制御部１５０は、当該ＧＢＭ及びＳＥを、オンラインイベントの共同ホストとしてオンライン会議システム２に接続してＢＧＭ及びＳＥのデータをオンライン会議システム２に送信するとともに、ミキサー２４に送信する。なお、上述のとおり、ＢＧＭ及びＳＥをミキサー２４のみへ送信してもよい。
通信部１５４、操作部１５５及び表示部１５６のハードウェア構成は、第１の情報処理装置１１の通信部１１４、操作部１１５及びギャラリービュー表示部１１６ａ等と同様である。
図１２は、第６の情報処理装置１６の主要な機能構成を示すブロック図である。
第６の情報処理装置１６は、第６の制御部１６０と、通信部１６４と、操作部１６５と、表示部１６６などを備え、これらの各部はバス１６７を介して接続されている。
第６の情報処理装置１６は、第６の制御部１６０と、通信部１６４と、操作部１６５と、表示部１６６などを備え、これらの各部はバス１６７を介して接続されている。
第６の制御部１６０は、ＣＰＵ１６１、ＲＡＭ１６２及び記憶部１６３を備える。ＣＰＵ１６１、ＲＡＭ１６２及び記憶部１６３のハードウェア構成は、第１の情報処理装置１１のＣＰＵ１１１、ＲＡＭ１１２及び記憶部１１３と同様である。
記憶部１６３には、オンライン会議アプリ１６３ａが記憶されている。
第６の制御部１６０は、オンライン会議アプリ１６３ａに従って各種処理を実行することで、オンラインイベントの共同ホストとしてオンライン会議システム２に接続し、上述したイベント制御信号をオンライン会議システム２に出力する。
記憶部１６３には、オンライン会議アプリ１６３ａが記憶されている。
第６の制御部１６０は、オンライン会議アプリ１６３ａに従って各種処理を実行することで、オンラインイベントの共同ホストとしてオンライン会議システム２に接続し、上述したイベント制御信号をオンライン会議システム２に出力する。
通信部１６４、操作部１６５及び表示部１６６のハードウェア構成は、第１の情報処理装置１１の通信部１１４、操作部１１５及びギャラリービュー表示部１１６ａ等と同様である。
図１３は、端末装置３の主要な機能構成を示すブロック図である。
端末装置３は、制御部３０と、通信部３４と、操作部３５と、表示部３６と、Ｗｅｂカメラ３７と、マイク３８などを備え、これらの各部はバス３９を介して接続されている。
端末装置３は、制御部３０と、通信部３４と、操作部３５と、表示部３６と、Ｗｅｂカメラ３７と、マイク３８などを備え、これらの各部はバス３９を介して接続されている。
制御部３０は、ＣＰＵ３１、ＲＡＭ３２及び記憶部３３を備える。ＣＰＵ３１、ＲＡＭ３２及び記憶部３３のハードウェア構成は、第１の情報処理装置１１のＣＰＵ１１１、ＲＡＭ１１２及び記憶部１１３と同様とすることができる。また、通信部３４、操作部３５及び表示部３６のハードウェア構成は、第１の情報処理装置１１の通信部１１４、操作部１１５及びギャラリービュー表示部１１６ａ等と同様とすることができる。
Ｗｅｂカメラ３７は、その向きに応じた撮影範囲の動画を撮影して制御部３０に出力する。
マイク３８は、音声を集音して制御部３０に出力する。
Ｗｅｂカメラ３７及び／又はマイク３８は、端末装置３に内蔵されたものに限られず、ケーブル等を介して端末装置３に接続されている外付け機器であってもよい。
Ｗｅｂカメラ３７は、その向きに応じた撮影範囲の動画を撮影して制御部３０に出力する。
マイク３８は、音声を集音して制御部３０に出力する。
Ｗｅｂカメラ３７及び／又はマイク３８は、端末装置３に内蔵されたものに限られず、ケーブル等を介して端末装置３に接続されている外付け機器であってもよい。
記憶部３３には、オンライン会議アプリ３３ａが記憶されている。
制御部３０は、オンライン会議アプリ３３ａに従って各種処理を実行することで、オンラインイベントのゲストとしてオンライン会議システム２に接続し、Ｗｅｂカメラ３７により撮影されている動画（端末撮影動画４１１）、及びマイク３８により集音されている参加者音声を、オンライン会議システム２に送信する。また、配信動画４０を受信して表示部３６に表示させるとともに、配信音声を受信して図示略のスピーカー又はイヤホン端子に出力する。
制御部３０は、オンライン会議アプリ３３ａに従って各種処理を実行することで、オンラインイベントのゲストとしてオンライン会議システム２に接続し、Ｗｅｂカメラ３７により撮影されている動画（端末撮影動画４１１）、及びマイク３８により集音されている参加者音声を、オンライン会議システム２に送信する。また、配信動画４０を受信して表示部３６に表示させるとともに、配信音声を受信して図示略のスピーカー又はイヤホン端子に出力する。
（変形例）
次に、上記実施形態の変形例について説明する。
上記実施形態では、図３（ｂ）において１つの特殊効果画像４２を例示したが、特殊効果画像４２はこれに限られない。本明細書における「特殊効果」には、配信動画４０に対して付与される任意の視覚的効果が含まれる。よって、特殊効果画像４２には、任意の視覚的効果を配信動画４０に付与するための画像が含まれ得る。以下では、図１４～図１７を参照して、特殊効果画像４２のバリエーションについて説明する。
次に、上記実施形態の変形例について説明する。
上記実施形態では、図３（ｂ）において１つの特殊効果画像４２を例示したが、特殊効果画像４２はこれに限られない。本明細書における「特殊効果」には、配信動画４０に対して付与される任意の視覚的効果が含まれる。よって、特殊効果画像４２には、任意の視覚的効果を配信動画４０に付与するための画像が含まれ得る。以下では、図１４～図１７を参照して、特殊効果画像４２のバリエーションについて説明する。
図１４及び図１５は、特殊効果画像４２を用いてギャラリービュー４１の所定範囲を特定する演出を行う例を示す図である。
図１４（ｂ）に示すように、この例における特殊効果画像４２は、円形の開口４２２の内部がグリーンバックとなっており、開口４２２を除いた部分が黒色のベタ画像となっている。この特殊効果画像４２をギャラリービュー４１に重畳させて合成すると、ギャラリービュー４１のうち開口４２２と重なる所定範囲が露出し、ギャラリービュー４１のうち当該所定範囲を除いた部分がベタ画像により遮蔽される。このような特殊効果画像４２を用いることで、開口４２２によってギャラリービュー４１の所定範囲を特定することができる。
図１４（ｂ）に示すように、この例における特殊効果画像４２は、円形の開口４２２の内部がグリーンバックとなっており、開口４２２を除いた部分が黒色のベタ画像となっている。この特殊効果画像４２をギャラリービュー４１に重畳させて合成すると、ギャラリービュー４１のうち開口４２２と重なる所定範囲が露出し、ギャラリービュー４１のうち当該所定範囲を除いた部分がベタ画像により遮蔽される。このような特殊効果画像４２を用いることで、開口４２２によってギャラリービュー４１の所定範囲を特定することができる。
さらに、図１４（ｃ）に示すように、開口４２２の位置を指し示す動作を行うキャラクター動画４３を重畳させると、図１５に示す配信動画４０が得られる。この配信動画４０では、開口４２２から露出している参加者Ｐに焦点を当てることができるとともに、この参加者ＰとキャラクターＣとの特別なコミュニケーションを演出することができる。
また、例えば開口４２２の位置を移動させていくと、各参加者Ｐは、自身が開口４２２から露出してギャラリービュー４１に映るか否かを注視することとなる。このような演出により、参加者Ｐの興味を強く引くことができるとともに、オンラインイベントを盛り上げることができる。
また、例えば開口４２２の位置を移動させていくと、各参加者Ｐは、自身が開口４２２から露出してギャラリービュー４１に映るか否かを注視することとなる。このような演出により、参加者Ｐの興味を強く引くことができるとともに、オンラインイベントを盛り上げることができる。
図１６及び図１７は、特殊効果画像４２を用いて塗り絵の演出を行う例を示す図である。
図１６（ｂ）に例示する特殊効果画像４２は、郵便ポストの線画４２３を含む。ギャラリービュー４１にこの特殊効果画像４２を重畳させて合成すると、図１７に示す配信動画４０が得られる。図１７の配信動画４０に、さらにキャラクターＣを重畳させてもよい。
図１６（ｂ）に例示する特殊効果画像４２は、郵便ポストの線画４２３を含む。ギャラリービュー４１にこの特殊効果画像４２を重畳させて合成すると、図１７に示す配信動画４０が得られる。図１７の配信動画４０に、さらにキャラクターＣを重畳させてもよい。
図１７の配信動画４０では、複数の端末撮影動画４１１のうち一部が郵便ポストの線画４２３の範囲内となり、残りが線画４２３の範囲外となる。ここで、線画４２３の範囲内にある端末撮影動画４１１Ｒの参加者Ｐが、予め郵送されて手元にある赤色のフィルムをＷｅｂカメラ３７に被せることで、自身の端末撮影動画４１１Ｒを赤色に着色することができる。線画４２３の範囲内にある各端末撮影動画４１１Ｒが赤色に着色されることで、ギャラリービュー４１に赤色の郵便ポストが浮かび上がる演出を行うことができる。このような演出により、ギャラリービュー４１の全ての参加者Ｐの興味を引くことができる。また、各参加者Ｐは、他の参加者Ｐの存在を意識することとなるため、ライブ配信ならではの一体感を得ることができる。
また、赤色のフィルム及び青色のフィルムは、赤及び青の着色に用いる他、これらを重ねてＷｅｂカメラ３７に被せることで、端末撮影動画４１１を紫色に着色することもできる。このように複数の色のフィルムの組み合わせを用いることで、より高度な塗り絵を演出することもできる。
また、赤色のフィルム及び青色のフィルムは、赤及び青の着色に用いる他、これらを重ねてＷｅｂカメラ３７に被せることで、端末撮影動画４１１を紫色に着色することもできる。このように複数の色のフィルムの組み合わせを用いることで、より高度な塗り絵を演出することもできる。
以上、本発明の実施形態を説明したが、本発明は、かかる実施形態に限定されるものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含み、その要旨を逸脱しない範囲で種々の変形が可能である。
例えば、ギャラリービュー４１に対し、特殊効果画像４２及びキャラクター動画４３のうち一方のみを重畳させて配信動画４０を生成してもよい。また、ギャラリービュー４１に対し、特殊効果画像４２及びキャラクター動画４３以外のレイヤー画像を重畳させて配信動画４０を生成してもよい。
また、キャラクター動画４３において動作するキャラクターＣとして、演者の動作を反映した動作を行う３ＤアニメーションのキャラクターＣを例示したが、これに限定する趣旨ではない。
例えば、キャラクター動画４３におけるキャラクターは、２Ｄアニメーションのキャラクターであってもよい。
また、キャラクター動画４３におけるキャラクターは、実写のパフォーマー（役者、演奏者、歌手等）であってもよい。すなわち、キャラクター動画４３は、パフォーマーを撮影した実写動画であってもよい。また、この実写のキャラクター動画４３をギャラリービュー４１にクロマキー合成して配信動画４０を生成してもよい。これにより、パフォーマーの輪郭の外側の範囲においてギャラリービュー４１を視認可能な配信動画４０が得られる。
例えば、キャラクター動画４３におけるキャラクターは、２Ｄアニメーションのキャラクターであってもよい。
また、キャラクター動画４３におけるキャラクターは、実写のパフォーマー（役者、演奏者、歌手等）であってもよい。すなわち、キャラクター動画４３は、パフォーマーを撮影した実写動画であってもよい。また、この実写のキャラクター動画４３をギャラリービュー４１にクロマキー合成して配信動画４０を生成してもよい。これにより、パフォーマーの輪郭の外側の範囲においてギャラリービュー４１を視認可能な配信動画４０が得られる。
また、上記実施形態では、ソフトウェア（画像合成・配信プログラム１１３ａ）によりギャラリービュー４１、特殊効果画像４２及びキャラクター動画４３を合成したが、これに限られず、スイッチャー等により各画像を抽出してハードウェア映像合成を行ってもよい。
また、動作検出装置２１として、ヘッドマウントディスプレイ２１１、及び演者が両手に持つコントローラーによって演者の動作を検出するものを例示したが、これに限られず、動作検出装置２１は、演者の動作を検出可能な任意の方式のものを用いることができる。例えば、演者をカメラによって撮影した結果に基づいて演者の動作を検出する動作検出装置２１を用いてもよい。
また、事前に配信者から参加者に郵送されるイベント用アイテムは、上記実施形態で例示したものに限られない。例えば、配信動画を立体画像として視認するための３Ｄ眼鏡を事前に郵送し、オンラインイベントにおいて参加者が立体画像を視聴できるようにしてもよい。
１ 情報処理システム
２ オンライン会議システム
３ 端末装置
３０ 制御部
３３ａ オンライン会議アプリ
３７ Ｗｅｂカメラ
３８ マイク
１１ 第１の情報処理装置
１１０ 第１の制御部（配信動画生成手段）
１１３ａ 画像合成・配信プログラム
１１３ｂ 仮想カメラ出力プラグイン
１２ 第２の情報処理装置（キャラクター動画生成手段）
１２０ 第２の制御部
１２３ａ 動画検出装置制御プログラム
１２３ｂ キャラクター動画生成プログラム
１３ 第３の情報処理装置（特殊効果画像生成手段）
１３０ 第３の制御部
１３３ａ 特殊効果画像生成プログラム
１４ 第４の情報処理装置
１４０ 第４の制御部
１４３ａ ボイスチェンジプログラム
１５ 第５の情報処理装置
１５０ 第５の制御部
１５３ａ ＢＧＭ出力・配信プログラム
１６ 第６の情報処理装置
１６０ 第６の制御部
１６３ａ オンライン会議アプリ
２１ 動作検出装置
２１１ ヘッドマウントディスプレイ
２２ ヘッドセット
２３ オーディオＩ／Ｆ
２４ ミキサー
４０ 配信動画
４１ ギャラリービュー（背景動画）
４１１、４１１Ｒ 端末撮影動画
４２ 特殊効果画像（レイヤー画像）
４２１ 星画像
４２２ 開口
４２３ 線画
４３ キャラクター動画（レイヤー画像）
１００ ライブ配信システム
Ｃ キャラクター
Ｎ 通信ネットワーク
Ｐ 参加者
２ オンライン会議システム
３ 端末装置
３０ 制御部
３３ａ オンライン会議アプリ
３７ Ｗｅｂカメラ
３８ マイク
１１ 第１の情報処理装置
１１０ 第１の制御部（配信動画生成手段）
１１３ａ 画像合成・配信プログラム
１１３ｂ 仮想カメラ出力プラグイン
１２ 第２の情報処理装置（キャラクター動画生成手段）
１２０ 第２の制御部
１２３ａ 動画検出装置制御プログラム
１２３ｂ キャラクター動画生成プログラム
１３ 第３の情報処理装置（特殊効果画像生成手段）
１３０ 第３の制御部
１３３ａ 特殊効果画像生成プログラム
１４ 第４の情報処理装置
１４０ 第４の制御部
１４３ａ ボイスチェンジプログラム
１５ 第５の情報処理装置
１５０ 第５の制御部
１５３ａ ＢＧＭ出力・配信プログラム
１６ 第６の情報処理装置
１６０ 第６の制御部
１６３ａ オンライン会議アプリ
２１ 動作検出装置
２１１ ヘッドマウントディスプレイ
２２ ヘッドセット
２３ オーディオＩ／Ｆ
２４ ミキサー
４０ 配信動画
４１ ギャラリービュー（背景動画）
４１１、４１１Ｒ 端末撮影動画
４２ 特殊効果画像（レイヤー画像）
４２１ 星画像
４２２ 開口
４２３ 線画
４３ キャラクター動画（レイヤー画像）
１００ ライブ配信システム
Ｃ キャラクター
Ｎ 通信ネットワーク
Ｐ 参加者
Claims (15)
- オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成手段と、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成手段と、を備え、
前記配信動画生成手段は、前記複数の端末装置により撮影された複数の矩形の端末撮影動画のうち、少なくとも一部の端末撮影動画がマトリクス状に配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記複数の端末撮影動画の各々は、前記複数の参加者の各々を撮影した動画であり、
前記レイヤー画像は、前記キャラクター動画を含むことを特徴とする情報処理システム
。 - 前記キャラクター動画は、前記キャラクターが、前記背景動画の内容に応じた動作を行う動画であることを特徴とする請求項１に記載の情報処理システム。
- 前記キャラクター動画生成手段は、前記キャラクターを演じる演者の動作を所定の動作検出装置により検出した結果に基づいて、前記演者の動作に応じて前記キャラクターが動作する前記キャラクター動画を生成することを特徴とする請求項１又は２に記載の情報処理システム。
- 前記動作検出装置は、前記演者が装着するヘッドマウントディスプレイを有し、
前記配信動画生成手段は、生成した前記配信動画を前記ヘッドマウントディスプレイに表示させることを特徴とする請求項３に記載の情報処理システム。 - オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成手段と、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成手段と、を備え、
前記配信動画生成手段は、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記キャラクター動画を含み、
前記キャラクター動画生成手段は、前記キャラクターを演じる演者の動作を所定の動作検出装置により検出した結果に基づいて、前記演者の動作に応じて前記キャラクターが動作する前記キャラクター動画を生成し、
前記動作検出装置は、前記演者が装着するヘッドマウントディスプレイを有し、
前記配信動画生成手段は、生成した前記配信動画を前記ヘッドマウントディスプレイに表示させることを特徴とする情報処理システム。 - 前記配信動画は、前記キャラクターの輪郭の外側の範囲において前記背景動画を視認可能である、請求項１～５のいずれか一項に記載の情報処理システム。
- 前記配信動画に特殊効果を付与するための特殊効果画像を生成する特殊効果画像生成手段を備え、
前記レイヤー画像は、前記特殊効果画像を含むことを特徴とする請求項１～６のいずれか一項に記載の情報処理システム。 - 前記特殊効果画像は、前記背景動画内の所定範囲を特定する画像であることを特徴とする請求項７に記載の情報処理システム。
- 前記特殊効果画像は、前記背景動画の前記所定範囲を露出させるとともに、前記背景動画のうち前記所定範囲を除いた部分を遮蔽する画像であることを特徴とする請求項８に記載の情報処理システム。
- 前記特殊効果画像は、前記背景動画における前記少なくとも一部の端末撮影動画の各々を着色要素とする塗り絵の線画を含むことを特徴とする請求項７に記載の情報処理システム。
- オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成手段と、
前記配信動画に特殊効果を付与するための特殊効果画像を生成する特殊効果画像生成手段と、を備え、
前記配信動画生成手段は、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記特殊効果画像を含み、
前記特殊効果画像は、前記背景動画における前記２以上の端末撮影動画の各々を着色要素とする塗り絵の線画を含むことを特徴とする情報処理システム。 - 前記配信動画生成手段は、
前記複数の端末装置が通信接続されている所定のオンライン会議システムから前記背景動画を取得し、
生成した前記配信動画を前記オンライン会議システムに出力することで前記配信動画を前記複数の端末装置に送信することを特徴とする請求項１～１１のいずれか一項に記載の情報処理システム。 - オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成ステップと、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成ステップと、を含み、
前記配信動画生成ステップでは、前記複数の端末装置により撮影された複数の矩形の端末撮影動画のうち、少なくとも一部の端末撮影動画がマトリクス状に配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記複数の端末撮影動画の各々は、前記複数の参加者の各々を撮影した動画であり、
前記レイヤー画像は、前記キャラクター動画を含むことを特徴とする情報処理方法。 - オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成ステップと、
所定のキャラクターが動作するキャラクター動画を生成するキャラクター動画生成ステップと、を含み、
前記配信動画生成ステップでは、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記キャラクター動画を含み、
前記キャラクター動画生成ステップでは、前記キャラクターを演じる演者の動作を所定の動作検出装置により検出した結果に基づいて、前記演者の動作に応じて前記キャラクターが動作する前記キャラクター動画を生成し、
前記動作検出装置は、前記演者が装着するヘッドマウントディスプレイを有し、
前記配信動画生成ステップでは、生成した前記配信動画を前記ヘッドマウントディスプレイに表示させることを特徴とする情報処理方法。 - オンラインイベントの複数の参加者が使用する複数の端末装置に対して配信される配信動画を生成する配信動画生成ステップと、
前記配信動画に特殊効果を付与するための特殊効果画像を生成する特殊効果画像生成ステップと、を含み、
前記配信動画生成ステップでは、前記複数の端末装置により撮影された複数の端末撮影動画のうち２以上の端末撮影動画が配列されている背景動画に対し、当該背景動画の少なくとも一部を視認可能な状態でレイヤー画像を重畳させて前記配信動画を生成し、
前記レイヤー画像は、前記特殊効果画像を含み、
前記特殊効果画像は、前記背景動画における前記２以上の端末撮影動画の各々を着色要素とする塗り絵の線画を含むことを特徴とする情報処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020175762A JP7261207B2 (ja) | 2020-10-20 | 2020-10-20 | 情報処理システム及び情報処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020175762A JP7261207B2 (ja) | 2020-10-20 | 2020-10-20 | 情報処理システム及び情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022067190A JP2022067190A (ja) | 2022-05-06 |
| JP7261207B2 true JP7261207B2 (ja) | 2023-04-19 |
Family
ID=81390574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020175762A Active JP7261207B2 (ja) | 2020-10-20 | 2020-10-20 | 情報処理システム及び情報処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7261207B2 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003087757A (ja) | 2001-09-12 | 2003-03-20 | Mitsubishi Electric Corp | テレビ電話装置およびテレビ電話の表示方法 |
| JP2013179601A (ja) | 2013-03-25 | 2013-09-09 | Kyocera Corp | 画像表示装置、画像表示方法および画像表示プログラム |
| WO2016152633A1 (ja) | 2015-03-26 | 2016-09-29 | ソニー株式会社 | 画像処理システムおよび画像処理方法、並びにプログラム |
| WO2017159383A1 (ja) | 2016-03-16 | 2017-09-21 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、動画像配信システム |
| JP2018074294A (ja) | 2016-10-26 | 2018-05-10 | 学校法人幾徳学園 | 情報処理システムおよび情報処理方法 |
| JP2020107264A (ja) | 2018-12-28 | 2020-07-09 | グリー株式会社 | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム |
| JP2020113857A (ja) | 2019-01-10 | 2020-07-27 | 株式会社Ｚｉｚａｉ | キャラクタを使ったライブ通信システム |
-
2020
- 2020-10-20 JP JP2020175762A patent/JP7261207B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003087757A (ja) | 2001-09-12 | 2003-03-20 | Mitsubishi Electric Corp | テレビ電話装置およびテレビ電話の表示方法 |
| JP2013179601A (ja) | 2013-03-25 | 2013-09-09 | Kyocera Corp | 画像表示装置、画像表示方法および画像表示プログラム |
| WO2016152633A1 (ja) | 2015-03-26 | 2016-09-29 | ソニー株式会社 | 画像処理システムおよび画像処理方法、並びにプログラム |
| WO2017159383A1 (ja) | 2016-03-16 | 2017-09-21 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、動画像配信システム |
| JP2018074294A (ja) | 2016-10-26 | 2018-05-10 | 学校法人幾徳学園 | 情報処理システムおよび情報処理方法 |
| JP2020107264A (ja) | 2018-12-28 | 2020-07-09 | グリー株式会社 | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム |
| JP2020113857A (ja) | 2019-01-10 | 2020-07-27 | 株式会社Ｚｉｚａｉ | キャラクタを使ったライブ通信システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022067190A (ja) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180316948A1 (en) | Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources | |
| US20180316939A1 (en) | Systems and methods for video processing, combination and display of heterogeneous sources | |
| US8767034B2 (en) | Augmenting a video conference | |
| CN112104594A (zh) | 沉浸式交互式远程参与现场娱乐 | |
| US20200349751A1 (en) | Presentation interface and immersion platform | |
| US20180316944A1 (en) | Systems and methods for video processing, combination and display of heterogeneous sources | |
| WO2020022405A1 (ja) | ３次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラム | |
| US20180316946A1 (en) | Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources | |
| US20090317778A1 (en) | Public Library System for Providing Reading-Together at Two Remote Locations of a Selected Children Literature Item | |
| US11399053B2 (en) | System and method for providing a real-time digital virtual audience | |
| CN113518232B (zh) | 视频显示方法、装置、设备和存储介质 | |
| EP3996365A1 (en) | Information processing device and program | |
| US20240048677A1 (en) | Information processing system, information processing method, and computer program | |
| CN114402276A (zh) | 授课系统、视听终端、信息处理方法以及程序 | |
| WO2022083133A1 (zh) | 一种远程视频会议演示的方法和装置 | |
| JP2016034087A (ja) | 映像表示システム | |
| JP7261207B2 (ja) | 情報処理システム及び情報処理方法 | |
| US20240056492A1 (en) | Presentations in Multi-user Communication Sessions | |
| WO2020194973A1 (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム | |
| CN109005441B (zh) | 虚拟完赛场景播放方法、装置、终端及服务器 | |
| KR102082670B1 (ko) | 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치 | |
| US6980333B2 (en) | Personalized motion imaging system | |
| KR20220126660A (ko) | Ar 안면인식을 활용한 메타버스 화상 교육 플랫폼 제공 방법 및 네트워크 시스템 | |
| JP7408506B2 (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム | |
| Sun | Sharing and Exchanging Realities through Video See-Through MR Headsets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210713 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230407 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7261207 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |