JP7436319B2

JP7436319B2 - サーバ装置

Info

Publication number: JP7436319B2
Application number: JP2020129134A
Authority: JP
Inventors: 透糸川
Original assignee: Daiichikosho Co Ltd
Current assignee: Daiichikosho Co Ltd
Priority date: 2020-07-30
Filing date: 2020-07-30
Publication date: 2024-02-21
Anticipated expiration: 2040-07-30
Also published as: JP2022025932A

Description

本発明は、サーバ装置に関する。

サーバ装置には、Ｚｏｏｍ（登録商標）等のオンライン会議アプリケーションを搭載した複数の端末装置と通信可能に接続して、複数の端末装置の間のオンライン会議を運用するものがある。換言すれば、上記のオンライン会議用のサーバ装置と複数の端末装置とからオンライン会議システムが構成され、各端末装置の利用者は、このシステムを利用することにより、直接会うことなくオンラインで会議を開催することができる。

また最近では、感染症等の影響を懸念して、利用者が、飲食店に来店したり家に訪問したりすることなく、上記のオンライン会議システムを利用することでオンラインで飲み会を開催する、いわゆるオンライン飲み会が実施されている。オンライン飲み会では、利用者がパーソナルコンピュータや家庭用ゲーム機等に搭載されたアプリケーションを使用することで、利用者同士でオンラインでカラオケを楽しむことがある。

また、特許文献１に記載のテレビ会議システムでは、端末装置が、撮影した画像及び集音した音声に、ユーザが選択した任意の背景データを合成した映像信号を送受信するものであり、任意の画像を背景にして会議を行うことができる。

特開２０００－３２４４６３号公報

上記のようなオンライン飲み会が行われれば、利用者の外出が抑制され、感染症等の拡大を抑制することができる。オンライン会議システムでは、オンライン飲み会の中でカラオケを楽しむ機能を拡充することで、オンライン飲み会を推奨することができる。例えば、特許文献１に開示の技術を用いることにより、オンライン飲み会の参加者がカラオケを楽しむ際に、カラオケルーム内映像を背景映像として選択すれば、参加者の間に一体感を持たせることができる。

しかし、オンライン飲み会の最中に、複数の参加者がそれぞれの端末装置を操作して背景映像の選択を行うことは、オンライン飲み会の盛り上がりに水を差すおそれがあり、オンライン会議システムの利用の不便さを感じさせることになる。また、実際のカラオケでは、歌唱者と聴衆とで視点が異なるところ、歌唱者も聴衆も同じ背景映像が表示されると興趣を欠くことがある

本発明の目的は、オンライン飲み会の盛り上がりに水を差すことなく、カラオケに最適な背景映像を各端末装置に設定して参加者に一体感を持たせるオンライン会議用のサーバ装置を提供することである。

上記課題を解決するために、本発明のサーバ装置は、複数の端末装置と通信可能に接続され、前記複数の端末装置の間のオンライン会議を運用するサーバ装置であって、前記オンライン会議中に行われるカラオケの背景映像として使用可能な専用背景映像を記憶する記憶部と、前記オンライン会議中に各端末装置から送信された音声データ及び映像データを受信する受信部と、各端末装置の前記音声データ及び前記映像データの少なくともいずれか一つに基づき、カラオケ演奏に関連するカラオケ関連データが取得されたか否かを判定する判定部と、前記カラオケ関連データが取得されたと判定した場合に、各端末装置に前記専用背景映像の割り当てを行う割り当て部と、前記割り当てに基づき、各端末装置の前記映像データを前記専用背景映像に基づいて加工する加工部と、各端末装置の加工された前記映像データを当該端末装置の音声データと共に前記複数の端末装置へ送信する送信部と、を有する。

本発明によれば、オンライン会議用のサーバ装置は、オンライン飲み会の盛り上がりに水を差すことなく、カラオケに最適な背景映像を各端末装置に設定して参加者に一体感を持たせることができる。

本発明の第１の実施形態のサーバ装置を備えたオンライン会議システムを示すブロック図である。本発明の第１の実施形態のサーバ装置の背景映像設定を含むオンライン会議動作を示すフローチャートである。本発明の第１の実施形態のサーバ装置において、各端末装置の加工前の映像データの例を示す説明図である。本発明の第１の実施形態のサーバ装置において、各端末装置の加工後の映像データの例を示す説明図である。本発明の第２の実施形態のサーバ装置を備えたオンライン会議システムを示すブロック図である。本発明の第２の実施形態のサーバ装置において、各会議状況と専用背景映像との対応関係を会議状況テーブルで示す表である。本発明の第２の実施形態のサーバ装置の背景映像設定を含むオンライン会議動作を示すフローチャートである。

（第１の実施形態）
［オンライン会議システム］
以下、本発明の第１の実施形態のオンライン会議用のサーバ装置３を備えたオンライン会議システム１について説明する。図１は、第１の実施形態のオンライン会議システム１の構成を示すブロック図である。図１に示すように、第１の実施形態のオンライン会議システム１は、複数の端末装置２と、オンライン会議用のサーバ装置３とを備えている。複数の端末装置２とサーバ装置３とは、インターネットや移動体通信網等のネットワーク４を介して通信可能に接続される。オンライン会議システム１で実施されるオンライン会議は、複数の端末装置２の利用者が開催するオンライン飲み会等の会合に利用可能である。

［端末装置］
各端末装置２は、当該端末装置２の周囲の音声及び映像を入力する入力部１０、ネットワーク４を介して音声及び映像を送受信する通信部１１、受信した音声及び映像を出力する出力部１２を備える。各端末装置２は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等で構成される。各端末装置２は、オンライン会議を利用する利用者が保有する装置であって、Ｚｏｏｍ（登録商標）等のオンライン会議アプリケーションを搭載（インストール）している。

各端末装置２の入力部１０は、音声を集音するマイクを内蔵し、あるいは外部機器のマイクを接続することで、音声の入力機能を実現する。また、入力部１０は、映像を撮影するカメラを内蔵し、あるいは外部機器のカメラを接続することで、映像の入力機能を実現する。

各端末装置２の通信部１１は、ネットワーク４を介して通信を行うインタフェースである。各端末装置２がオンライン会議アプリケーションを起動させると、通信部１１は、サーバ装置３と通信可能に接続される。このとき、各端末装置２は、例えばサーバ装置３に展開される所定の仮想的なルームに参加可能となり、当該ルームに参加している複数の端末装置２の間でオンライン会議を実行する。オンライン会議の実行中では、通信部１１は、入力部１０により入力した音声及び映像をそれぞれ音声データ及び映像データとしてサーバ装置３へ送信する。また、オンライン会議の実行中では、通信部１１は、他の端末装置２によりサーバ装置３へ送信された音声データ及び映像データをサーバ装置３から受信する。

各端末装置２の出力部１２は、音声を出力するスピーカを内蔵し、あるいは外部機器のスピーカを接続することで、音声の出力機能を実現し、通信部１１によりサーバ装置３から受信した他の端末装置２の音声データを出力する。また、出力部１２は、映像を出力するディスプレイ等の表示装置を内蔵し、あるいは外部機器の表示装置を接続することで、映像の出力機能を実現し、通信部１１によりサーバ装置３から受信した他の端末装置２の映像データを出力する。

なお、各端末装置２は、カラオケ演奏を実行するカラオケ用アプリケーションを搭載（インストール）していてもよい。オンライン会議アプリケーションの実行中でも、カラオケ用アプリケーションは実行可能である。

［サーバ装置］
サーバ装置３は、オンライン会議アプリケーションを搭載した複数の端末装置２と通信可能に接続して、各端末装置２のオンライン会議アプリケーションを通じて複数の端末装置２の間のオンライン会議を運用する装置である。サーバ装置３は、オンライン会議システム１を運営する管理者等が保有、管理する装置である。サーバ装置３は、例えば上記したように所定の仮想的なルームを展開し、当該ルームに参加している複数の端末装置２の間でオンライン会議を実行する。

サーバ装置３は、制御部２０、記憶部２１及び通信部２２を備える。制御部２０は、ＣＰＵ（Central Processing Unit）等を有して構成され、サーバ装置３を統括制御する。記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の記憶媒体を有して構成される。記憶部２１は、サーバ装置３の各部及び各機能を制御するためのプログラムやデータを記憶し、制御部２０が、記憶部２１に記憶されたプログラムやデータに基づいて演算処理を実行することにより、各部及び各機能を制御する。

また、記憶部２１は、オンライン会議（オンライン飲み会を含む）の実行中に行われるカラオケの背景映像として使用可能なバーチャル背景映像を、カラオケの専用背景映像として記憶する。記憶部２１は、例えば、専用背景映像として、オンライン会議の利用者に共通したカラオケルーム等の専用背景映像を記憶する。更に、記憶部２１は、専用背景映像として、カラオケの歌唱者用の専用背景映像と、カラオケの聴衆用の専用背景映像とを記憶するとよい。なお、専用背景映像は、静止画像でもよく、あるいは動画像でもよい。歌唱者用の専用背景映像には、カラオケルーム内のステージの風景（いわゆるステージ背景）等があり、聴衆用の専用背景映像には、カラオケルーム内の客席側の風景（いわゆるルーム背景）等がある。なお、歌唱者用の専用背景映像には、ステージの風景だけでなく、歌唱者用のマイク等の小物が表示されてよく、聴衆用の専用背景映像には、客席側の風景だけでなく、聴衆用のタンバリンやマラカス等の小物が表示されてよい。

通信部２２は、ネットワーク４を介して通信を行うインタフェースであり、オンライン会議アプリケーションを起動させる各端末装置２と通信可能に接続される。通信部２２は、各端末装置２から音声データ及び映像データを受信する受信部２３として機能すると共に、受信した音声データ及び映像データを複数の端末装置２のそれぞれへ送信する送信部２４として機能する。なお、通信部２２は、一の端末装置２から受信した音声データを、当該一の端末装置２へ送信せずに、他の端末装置２のみへ送信してもよい。

また、サーバ装置３の制御部２０は、記憶部２１に記憶されたプログラムを実行することにより、判定部２６、割り当て部２７及び加工部２８として動作する。

判定部２６は、オンライン会議の音声データ及び映像データの中に、カラオケ演奏に関連するカラオケ関連データが含まれるか否かを判定する。音声データのカラオケ関連データには、例えば、カラオケ演奏音、歌唱音声、音声キーワード（「カラオケ」等）等がある。映像データのカラオケ関連データには、例えば、カラオケ用アプリケーションのアイコン及びそのクリック操作や、利用者のマイク動作等の歌唱動作又は歌唱準備動作等がある。

具体的には、判定部２６は、受信部２３により各端末装置２から受信した音声データ及び映像データを解析して、各音声データ及び各映像データからカラオケ関連データを検出する。例えば、判定部２６は、オンライン会議を実行中の端末装置２のカラオケ用アプリケーションにより出力されるカラオケ演奏音を検出し、あるいは、この端末装置２以外の他の機器（例えば、カラオケ装置、家庭用ゲーム機、家庭用ゲーム機に接続されるテレビ、スマートフォン、タブレット端末、パーソナルコンピュータ等）のカラオケ機能により出力されるカラオケ演奏音を検出してもよい。

なお、判定部２６は、記憶部２１に予め記憶したデータパターンに基づいて、あるいは、外部の人工知能サーバ等によって機械学習された学習モデルに基づいて、各音声データ及び各映像データを解析してカラオケ関連データを検出してよい。

また、判定部２６は、各端末装置２の音声データ及び映像データの少なくともいずれか一つから、カラオケ関連データが取得されたか否かを判定する。例えば、判定部２６は、音声データから、カラオケ演奏音又は歌唱音声が検出された場合や、音声キーワードが所定時間内に所定回数以上検出された場合に、カラオケ関連データが取得されたと判定してよい。あるいは、判定部２６は、映像データから、カラオケ用アプリケーションのアイコン及びそのクリック操作や、利用者の歌唱動作又は歌唱準備動作が検出された場合に、カラオケ関連データが取得されたと判定してよい。また、判定部２６は、カラオケ楽曲の演奏又は歌唱者の歌唱が終了して音声データからカラオケ演奏音又は歌唱音声が検出されなくなった場合に、カラオケ関連データの取得が終了したと判定してよい。

なお、判定部２６は、カラオケ関連データが取得された音声データ又は映像データを送信した端末装置２を、歌唱者の端末装置２と判定し、その他の端末装置２を聴衆の端末装置２と判定してよい。判定部２６は、一人の歌唱者に対応する端末装置２又は二人以上の歌唱者に対応する端末装置２を判定してよい。また、判定部２６は、歌唱者に対応する一つの端末装置２又は二つ以上の端末装置２を判定してよい。

割り当て部２７は、判定部２６によりカラオケ関連データが取得されたと判定した場合に、各端末装置２に専用背景映像の割り当てを行う。割り当て部２７は、例えば、オンライン会議の利用者に共通した専用背景映像を、複数の端末装置２のそれぞれに割り当てる。あるいは、割り当て部２７は、歌唱者の端末装置２に対しては歌唱者用の専用背景映像を割り当て、聴衆の端末装置２に対しては聴衆用の専用背景映像を割り当てる。

割り当て部２７は、各端末装置２と専用背景映像との対応関係を示す割り当て情報を設定することで割り当てを行うとよく、割り当て情報を記憶部２１に記憶し、あるいは割り当て情報を加工部２８へ送信する。また、割り当て部２７は、判定部２６によるカラオケ関連データの取得が継続している間、割り当て情報の設定を維持する一方、判定部２６によるカラオケ関連データの取得が終了すると、割り当て情報の設定を解除する。

なお、割り当て部２７は、専用背景映像を一旦割り当てた後、判定部２６によるカラオケ関連データの取得状況に応じて、歌唱者の端末装置２又は聴衆の端末装置２の判定が変更された場合、その変更に応じて、歌唱者用の専用背景映像又は聴衆用の専用背景映像の割り当てを変更してもよい。例えば、一の歌唱者がカラオケ歌唱を始めた後に、当該歌唱者に対応する端末装置２が送信する音声データ上のカラオケ演奏音に合わせて他の歌唱者がカラオケ歌唱を始めた場合には、当該他の歌唱者の端末装置２に対して専用背景映像の割り当てを変更することができる。

また、割り当て部２７は、一つの風景を示す専用背景映像を、オンライン会議の利用者の数で分割し、分割した各映像を、各利用者の端末装置２へ割り当てるとよい。例えば、割り当て部２７は、歌唱者の端末装置２の数が２以上である場合に、歌唱者の端末装置２の数に応じて歌唱者の専用背景映像を分割し、歌唱者の各端末装置２に対して分割した歌唱者の専用背景映像をそれぞれ割り当てるとよい。また、割り当て部２７は、聴衆の端末装置２の数が２以上である場合に、聴衆の端末装置２の数に応じて聴衆の専用背景映像を分割し、聴衆の各端末装置２に対して分割した聴衆の専用背景映像をそれぞれ割り当てるとよい。

なお、サーバ装置３は、分割した歌唱者又は聴衆の専用背景映像が連続して配置されるように、歌唱者又は聴衆の映像データを連続して配置したレイアウトを設定してもよい。

加工部２８は、判定部２６によりカラオケ関連データが取得されたと判定し、かつ割り当て部２７により各端末装置２に対して専用背景映像が割り当てられた場合、受信部２３により各端末装置２から受信した映像データを、各端末装置２に対する専用背景映像の割り当てに基づいて加工する。例えば、加工部２８は、割り当て部２７により割り当て情報が設定されると、専用背景映像に基づく映像データの加工を開始し、割り当て情報が維持されている間、専用背景映像に基づく映像データの加工を継続する。一方、加工部２８は、割り当て部２７による割り当て情報の設定が解除されると、専用背景映像に基づく映像データの加工を終了する。

具合的には、加工部２８は、映像データを解析して映像データから利用者の人物映像を抽出し、抽出した人物映像以外の領域に専用背景映像を埋めることによって、映像データに専用背景映像を合成する。すなわち、加工部２８による加工後の映像データは、人物映像の背景として専用背景映像を合成した映像データである。例えば、加工部２８は、各端末装置２から受信した映像データのそれぞれに、共通の専用背景映像を合成する。あるいは、加工部２８は、歌唱者の端末装置２から受信した映像データには歌唱者の専用背景映像を合成し、聴衆の端末装置２から受信した映像データには聴衆の専用背景映像を合成する。

従って、通信部２２の送信部２４は、各端末装置２に専用背景映像が割り当てられていない場合には、各端末装置２から受信した映像データを加工部２８で加工することなく、複数の端末装置２へ送信することになる。一方、送信部２４は、各端末装置２に専用背景映像が割り当てられている場合には、加工部２８により専用背景映像を合成した各端末装置２の映像データを複数の端末装置２へ送信することになる。

［背景映像設定を含むオンライン会議動作］
次に、サーバ装置３による背景映像設定を含むオンライン会議システム１のオンライン会議動作の例について説明する。図２は、第１の実施形態のオンライン会議動作の例を示すフローチャートである。このオンライン会議動作の例では、利用者Ａ，利用者Ｂ、利用者Ｃ及び利用者Ｄが、それぞれの端末装置２である端末装置２Ａ、端末装置２Ｂ、端末装置２Ｃ及び端末装置２Ｄを使用していて、オンライン会議システム１を利用してオンライン飲み会を開催している。図２のフローチャートでは、サーバ装置３に加えて端末装置２Ａが図示されているところ、端末装置２Ｂ～２Ｄは図示されていないが、端末装置２Ａと同様のフローを経由する。

オンライン飲み会において、端末装置２Ａ～２Ｄは、周囲から入力した音声データ及び映像データをサーバ装置３へ送信している（ステップＳ１）。このとき、端末装置２Ａ～２Ｄは、それぞれ利用者Ａ～Ｄの人物映像と自室の室内背景とを入力部１０のカメラで撮影することで得られた映像データを送信する。

サーバ装置３の受信部２３は、端末装置２Ａ～２Ｄのそれぞれから音声データ及び映像データを受信する（ステップＳ２）。

サーバ装置３の判定部２６は、各端末装置２Ａ～２Ｄのそれぞれの音声データ及び映像データの少なくともいずれか一つに基づき、カラオケ演奏に関連するカラオケ関連データが取得されたか否かを判定する（ステップＳ３）。

カラオケ関連データが取得されない場合（ステップＳ３：ＮＯ）、割り当て部２７による割り当てや加工部２８による加工を行うことなく、サーバ装置３の送信部２４は、各端末装置２Ａ～２Ｄの音声データ及び映像データを複数の端末装置２Ａ～２Ｄへ送信する（ステップＳ４）。換言すれば、送信部２４は、図３に示すように、各利用者Ａ～Ｄの人物映像と各利用者Ａ～Ｄの自室の室内背景である自室背景３０Ａ～３０Ｄとが映されている元の映像データを送信用映像データとして複数の端末装置２Ａ～２Ｄへ送信する。

複数の端末装置２Ａ～２Ｄは、サーバ装置３から各端末装置２Ａ～２Ｄの音声データ及び映像データを受信して、各利用者Ａ～Ｄに向けて出力する（ステップＳ５）。このとき、各端末装置２Ａ～２Ｄの出力部１２は、図３に示すように、各利用者Ａ～Ｄの人物映像と各自室背景３０Ａ～３０Ｄとが映されている映像データを所定のレイアウトで配置して表示装置に表示する。なお、レイアウトは、サーバ装置３が設定してもよく、各端末装置２Ａ～２Ｄが設定してもよい。

一方、カラオケ関連データが取得された場合（ステップＳ３：ＹＥＳ）、サーバ装置３の割り当て部２７は、各端末装置２Ａ～２Ｄに専用背景映像の割り当てを行う（ステップＳ６）。このとき、判定部２６は、カラオケ関連データが取得された音声データ又は映像データを送信した利用者Ａの端末装置２Ａを、歌唱者の端末装置２Ａと判定し、その他の利用者Ｂ～Ｄの端末装置２Ｂ～２Ｄを聴衆の端末装置２Ｂ～２Ｄと判定する。また、割り当て部２７は、歌唱者の端末装置２Ａに対して歌唱者用の専用背景映像（例えば、図４に示すステージ背景３１Ａ）を割り当てると共に、聴衆の端末装置２Ｂ～２Ｄに対して聴衆用の専用背景映像（例えば、図４に示すルーム背景３１Ｂ～３１Ｄ）を割り当てる。

更に、サーバ装置３の加工部２８は、映像データを解析して映像データから利用者の人物映像を抽出する（ステップＳ７）。また、加工部２８は、映像データの人物映像以外の領域に専用背景映像を埋めることによって、映像データに専用背景映像を合成する（ステップＳ８）。例えば、加工部２８は、歌唱者の端末装置２Ａの映像データを処理して歌唱者の人物映像の背景にステージ背景３１Ａを合成し、聴衆の端末装置２Ｂ～２Ｄの映像データを処理して聴衆の人物映像の背景にルーム背景３１Ｂ～３１Ｄを合成する。

そして、サーバ装置３の送信部２４は、各端末装置２Ａ～２Ｄの音声データ及び加工後の映像データを複数の端末装置２Ａ～２Ｄへ送信する（ステップＳ４）。換言すれば、送信部２４は、各利用者Ａ～Ｄの人物映像と各端末装置２Ａ～２Ｄに割り当てられた専用背景映像とが映されている加工後の映像データを送信用映像データとして複数の端末装置２Ａ～２Ｄへ送信する。

複数の端末装置２Ａ～２Ｄは、サーバ装置３から各端末装置２Ａ～２Ｄの音声データ及び加工後の映像データを受信して、各利用者Ａ～Ｄに向けて出力する（ステップＳ５）。このとき、各端末装置２Ａ～２Ｄの出力部１２は、図４に示すように、各利用者Ａ～Ｄの人物映像と各端末装置２Ａ～２Ｄに割り当てられた専用背景映像（例えば、図４に示すステージ背景３１Ａ及びルーム背景３１Ｂ～３１Ｄ）とが映されている映像データを所定のレイアウトで配置して表示装置に表示する。

上記したように、本発明の第１の実施形態のサーバ装置３は、判定部２６が各端末装置２の音声データ及び映像データの少なくともいずれか一つに基づいてカラオケ関連データが取得されたか否かを判定し、カラオケ関連データが取得されたと判定した場合に、割り当て部２７が各端末装置２に専用背景映像の割り当てを行い、この割り当てに基づき、加工部２８が各端末装置２の映像データを専用背景映像に基づいて加工する。

これにより、複数の端末装置２のオンライン飲み会において、カラオケに関連する音声又は映像が挿入されている場合、サーバ装置３は、各利用者の操作を要することなく、各利用者の背景を自動的にカラオケに関する専用背景映像に設定することができる。そのため、オンライン飲み会の盛り上がりに水を差すことなく、カラオケに最適な背景映像を各端末装置２に設定して参加者に一体感を持たせることができる。また、カラオケに関連する音声又は映像を挿入するだけで、カラオケの専用背景映像が自動的に表示されるので、カラオケを楽しんでいる参加者に対して、カラオケの盛り上がりを高めることができ、カラオケの利用を推奨することができ、更にオンライン飲み会の盛り上がりを高めることができる。

なお、カラオケ演奏音や歌唱音声が流れていなくても、カラオケに関連するキーワードや映像が検出されれば、カラオケの背景が表示されるので、カラオケを行っていない参加者に対しても、カラオケの利用をより推奨することができる。

また、上記したように、割り当て部２７は、カラオケ関連データが取得された一の端末装置２（すなわち、歌唱者の端末装置２）には歌唱者用の専用背景映像の割り当てを行い、他の端末装置２（すなわち、聴衆の端末装置２）には聴衆の専用背景映像の割り当てを行う。これにより、歌唱者と聴衆とのそれぞれに適切な背景を自動的に設定することで、歌唱者及び聴衆のそれぞれの立場での盛り上がりを高めることができ、オンライン飲み会の興趣をより高めることができる。

更に、上記したように、割り当て部２７は、歌唱者の端末装置２の数に応じて歌唱者の専用背景映像を分割し、当該歌唱者の端末装置２には分割した歌唱者の専用背景映像をそれぞれ割り当てる。また、割り当て部２７は、聴衆の端末装置２の数に応じて聴衆の専用背景映像を分割し、当該聴衆の端末装置２には分割した聴衆の専用背景映像をそれぞれ割り当てる。これにより、歌唱者同士又は聴衆同士の背景が連続的になるため、歌唱者同士又は聴衆同士の一体感をより高めることができる。そのため、カラオケの盛り上がりをより高め、カラオケの利用をより推奨し、更にオンライン飲み会の盛り上がりをより高めることができる。

（第２の実施形態）
以下、本発明の第２の実施形態のオンライン会議用のサーバ装置３を備えたオンライン会議システム１について説明する。図５は、第２の実施形態のオンライン会議システム１の構成を示すブロック図である。図５に示すように、第２の実施形態のオンライン会議システム１は、第１の実施形態のオンライン会議システム１と同様に、複数の端末装置２と、オンライン会議用のサーバ装置３とを備えている。第２の実施形態の説明において、第１の実施形態と同一の構成要素には第１の実施形態と同一の符号を付し、その説明を省略する。

第２の実施形態のサーバ装置３は、制御部２０、記憶部２１及び通信部２２を備える。制御部２０は、記憶部２１に記憶されたプログラムを実行することにより、判定部２６、割り当て部２７及び加工部２８に加えて、選定部２９として動作する。第２の実施形態において、サーバ装置３は、オンライン会議に生じ得る会議状況（すなわち、オンライン飲み会の会合状況）に応じたカラオケの専用背景映像を選定部２９によって選定するように、構成される。

第２の実施形態の記憶部２１は、複数の様々な会議状況にそれぞれ対応する複数の専用背景映像を記憶する。記憶部２１は、会議状況毎に、複数の端末装置２に共通した専用背景映像を記憶する。また、記憶部２１は、会議状況毎に、歌唱者用の専用背景映像及び聴衆用の専用背景映像を記憶する。例えば、記憶部２１は、図６に示すように、各会議状況と専用背景映像との対応関係を、取得データ、解析対象、選定条件及び専用背景映像の項目からなる会議状況テーブルに記憶する。

会議状況には、オンライン飲み会で特定アーティストのカラオケや話題が起こっている会議状況や、オンライン飲み会が特定の人数、年齢層、性別で行われている会議状況等がある。また、会議状況には、オンライン飲み会がクリスマス等の季節行事中に行われている会議状況がある。

例えば、特定アーティストに関する会議状況に対して、当該特定アーティストとコラボしたカラオケルーム（いわゆる、コラボルーム）の室内背景や当該特定アーティストにちなんだ会場が専用背景映像として設定される。また、特定の人数、年齢層、性別の会議状況に対して、当該人数、年齢層、性別の利用者の来店又は来場が見込まれる店舗又は会場の背景（例えば、３名以下、４０代の利用者に対してスナック等）が専用背景映像として設定される。また、特定の季節行事での会議状況に対して、当該季節行事に関連する背景（例えば、１２月のクリスマスや１月の正月、４月の花見等にちなんだ映像）が専用背景映像として設定される。

選定部２９は、各端末装置２の音声データ又は映像データ、あるいは日時情報やその他のオンライン飲み会の状況情報に基づいて、オンライン会議に生じ得る会議状況を判断する。このとき、選定部２９は、例えば上記の会議状況テーブルに従って、取得データを解析して、取得データ内の解析対象が選定条件に適合するか否かを判断することで会議状況を判断する。

例えば、選定部２９は、音声データを解析して、音声データ内の会話音声が特定アーティストの名前や曲名を含んでいる場合や、音声データが特定アーティストのカラオケ演奏音又は歌唱音声を含んでいる場合、当該特定アーティストに関する会議状況と判断する。選定部２９は、映像データを解析して、複数の端末装置２の映像データ内に含まれる利用者の総数及び年齢層が、特定の人数及び年齢層である場合、当該特定の人数及び年齢層の会議状況と判断する。選定部２９は、サーバ装置３の日時情報を解析して、オンライン飲み会開催時の日時が特定の季節行事に対応する場合、当該季節行事での会議状況と判断する。

選定部２９は、複数の専用背景映像のうちから、上記の判断結果の会議状況に応じた専用背景映像を、上記の会議状況テーブルに基づいて選定する。例えば、選定部２９は、音声データに基づいて特定アーティストに関する会議状況を判断した場合、当該特定アーティストのコラボルームを専用背景映像として選定する。選定部２９は、映像データに基づいて特定の人数及び年齢層の会議状況を判断した場合、当該特定の人数及び年齢層の利用が見込まれる店舗等を専用背景映像として選定する。選定部２９は、サーバ装置３の日時情報に基づいて特定の季節行事での会議状況を判断した場合、当該特定の季節行事にちなんだ映像を専用背景映像として選定する。

なお、選定部２９は、例えば、判断結果のオンライン会議の会議状況（オンライン飲み会の会合状況）に応じて、オンライン飲み会の利用者に共通した専用背景映像を複数の端末装置２に共通して選定する。あるいは、割り当て部２７は、歌唱者の端末装置２に対しては歌唱者用の専用背景映像を選定すると共に、聴衆の端末装置２に対しては聴衆用の専用背景映像を選定する。

なお、選定部２９は、上記の会議状況テーブル以外では、外部の人工知能サーバ等によって機械学習された学習モデルに基づいて、各音声データ及び各映像データを解析してオンライン会議の会議状況（オンライン飲み会の会合状況）を判断し、判断結果の会議状況に応じた専用背景映像を選定してもよい。

第２の実施形態の加工部２８は、各端末装置２の映像データを、選定部２９により選定された専用背景映像に基づいて加工する。加工部２８は、例えば、オンライン飲み会の利用者に共通した専用背景映像が設定されている場合には、各端末装置２の映像データを共通した専用背景映像に基づいて加工する。あるいは、加工部２８は、歌唱者の端末装置２の映像データを歌唱者用の専用背景映像に基づいて加工すると共に、聴衆の端末装置２の映像データを聴衆用の専用背景映像に基づいて加工する。

第２の実施形態において、サーバ装置３による背景映像設定を含むオンライン会議システム１のオンライン会議動作の例について説明する。図７は、第２の実施形態のオンライン会議動作の例を示すフローチャートである。

第２の実施形態のオンライン会議動作は、第１の実施形態のオンライン会議動作と同様に進行し、第１の実施形態のオンライン会議動作との相違点は、サーバ装置３において選定部２９による専用背景映像の選定フロー（ステップＳ１０）を含むことである。この選定フロー（ステップＳ１０）は、図７に示すように、サーバ装置３において、判定部２６によりカラオケ関連データが取得されたと判定した（ステップＳ３：ＹＥＳ）後であって、割り当て部２７により各端末装置２Ａ～２Ｄに専用背景映像の割り当てを行う（ステップＳ６）前に行われる。そのため、割り当て部２７は、選定部２９によって選定された専用背景映像を割り当てることになる。

上記したように、本発明の第２の実施形態のサーバ装置３は、記憶部２１が複数の会議状況にそれぞれ対応する複数の専用背景映像を記憶し、選定部２９が各端末装置２の音声データ及び映像データの少なくともいずれか一つに基づいてオンライン会議の会議状況を判断し、判断した当該会議状況に応じ専用背景映像を選定し、加工部２８が各端末装置２の映像データを選定部２９により選定された専用背景映像に基づいて加工する。

これにより、サーバ装置３は、各利用者の操作を要することなく、特定の会議状況に対応する背景を自動的に設定することができる。従って、オンライン飲み会のカラオケの背景はいつも同じものではなく、会議状況に応じて変化させることができるため、カラオケの盛り上がりを更に高め、カラオケの利用を更に推奨し、更にオンライン飲み会の盛り上がりを更に高めることができる。

また、本実施形態では、各端末装置２がオンライン会議アプリケーションを使用することで、サーバ装置３で展開されるオンライン会議に参加する例を説明したが、端末装置２は、オンライン会議アプリケーションに限らず、ブラウザやその他のプログラムやソフトウェアによってオンライン会議に参加してもよい。

また、本発明は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴うサーバ装置もまた本発明の技術思想に含まれる。

１オンライン会議システム
２端末装置
３サーバ装置
４ネットワーク
１０入力部
１１通信部
１２出力部
２０制御部
２１記憶部
２２通信部
２３受信部
２４送信部
２６判定部
２７割り当て部
２８加工部
２９選定部

Claims

複数の端末装置と通信可能に接続され、前記複数の端末装置の間のオンライン会議を運用するサーバ装置であって、
前記オンライン会議中に行われるカラオケの背景映像として使用可能な専用背景映像を記憶する記憶部と、
前記オンライン会議中に各端末装置から送信された音声データ及び映像データを受信する受信部と、
各端末装置の前記音声データ及び前記映像データの少なくともいずれか一つに基づき、カラオケ演奏に関連するカラオケ関連データが取得されたか否かを判定する判定部と、
前記カラオケ関連データが取得されたと判定した場合に、各端末装置に前記専用背景映像の割り当てを行う割り当て部と、
前記割り当てに基づき、各端末装置の前記映像データを前記専用背景映像に基づいて加工する加工部と、
各端末装置の加工された前記映像データを当該端末装置の前記音声データと共に前記複数の端末装置へ送信する送信部と、を有することを特徴とするサーバ装置。
前記記憶部は、歌唱者用の専用背景映像と聴衆用の専用背景映像とを記憶し、
前記割り当て部は、前記カラオケ関連データが取得された一の端末装置には歌唱者用の専用背景映像の割り当てを行い、他の端末装置には聴衆の専用背景映像の割り当てを行うことを特徴とする請求項１に記載のサーバ装置。
前記割り当て部は、前記一の端末装置の数に応じて歌唱者の専用背景映像を分割し、当該一の端末装置には分割した歌唱者の専用背景映像をそれぞれ割り当て、又は前記他の端末装置の数に応じて聴衆の専用背景映像を分割し、当該他の端末装置には分割した聴衆の専用背景映像をそれぞれ割り当てることを特徴とする請求項２に記載のサーバ装置。
前記記憶部は、複数の会議状況にそれぞれ対応する複数の専用背景映像を記憶し、
各端末装置の前記音声データ及び前記映像データの少なくともいずれか一つに基づき、前記オンライン会議の会議状況を判断し、前記複数の専用背景映像のうちから、判断した当該会議状況に応じた専用背景映像を選定する選定部を更に有し、
前記加工部は、各端末装置の前記映像データを、前記選定部により選定された専用背景映像に基づいて加工することを特徴とする請求項１から請求項３のいずれか１項に記載のサーバ装置。