JP2024025327A - 合成画像生成システム、及び撮像支援方法 - Google Patents

Abstract

【課題】カメラマンが意図した効果が発揮されるような合成画像を生成する。【解決手段】撮像端末とサーバとを備える合成画像生成システムであって、前記サーバは、前記撮像端末によって撮像された撮像画像に仮想画像が合成された合成画像を、前記撮像端末に送信する送信部、を有し、前記撮像端末は、前記撮像画像と前記合成画像を表示させる表示制御部、を有する。【選択図】図２

Description

本発明は、合成画像生成システム、及び撮像支援方法に関する。

現実の被写体を撮像した撮像映像に、仮想キャラクタ（アバター）を合成した合成映像を配信する技術がある（例えば、特許文献１）。特に、コロナ禍などにおいて、活動が制限される展示会や会議などでは、非対面及び非接触での鑑賞や打ち合わせを実現するサービスの提供が求められている。

特開２０２０－１２３９８１号公報

通常、カメラマンは、どのような構図で、どこを狙って撮像すれば効果的な映像が撮像できるか、常に考えながら撮像を行う。しかしながら、撮像映像にアバターが合成される場合、カメラマンは自分が撮像した映像にどのようにアバターが合成されるのかが判らない。このため、アバターを合成させる位置によっては、カメラマンが意図した効果が発揮されていない合成画像が生成されてしまう場合があった。

本発明は、このような状況に鑑みてなされたものであり、カメラマンが意図した効果が発揮されるような合成画像を生成することができる合成画像生成システム、及び撮像支援方法を提供することを目的とする。

本発明の合成画像生成システムは、撮像端末とサーバとを備える合成画像生成システムであって、前記サーバは、前記撮像端末によって撮像された撮像画像に仮想画像が合成された合成画像を、前記撮像端末に送信する送信部、を有し、前記撮像端末は、前記撮像画像と前記合成画像を表示させる表示制御部、を有する。

本発明の、撮像支援方法は、撮像端末とサーバとを備える合成画像生成システムが行う撮像支援方法であって、前記サーバの送信部が、前記撮像端末によって撮像された撮像画像に仮想画像が合成された合成画像を、前記撮像端末に送信し、前記撮像端末の表示制御部が、前記撮像画像と前記合成画像を表示させる。

本発明によれば、カメラマンが意図した効果が発揮されるような合成画像を生成することができる。

実施形態における画像配信システム１の構成例を示すブロック図である。 実施形態の画像配信システム１が行う処理を説明する図である。 実施形態の画像配信システム１が行う処理を説明する図である。 実施形態の撮像端末１０が行う処理を説明するための図である。 実施形態の撮像端末１０に表示される画像の例を示す図である。 実施形態の撮像端末１０に表示される画像の例を示す図である。 実施形態の撮像端末１０が行う処理を説明するための図である。 実施形態の撮像端末１０が行う処理を説明するための図である。 実施形態の画像配信システム１が行う処理の流れを示すシーケンス図である。

以下、本発明の実施形態について、図面を参照して説明する。

図１は、実施形態による画像配信システム１の構成例を示すブロック図である。画像配信システム１は合成画像を配信するシステムである。合成画像は、被写体などの実在物体が撮像された撮像画像に、アバターなどの仮想物体が合成された画像である。ここでの合成画像は、静止画像であってもよいし、動画像であってもよい。

以下の説明では、合成画像が動画像である場合を例示して説明する。以下の説明では、動画像である合成画像を「合成映像ＧＥ」と称する。また、合成映像ＧＥに仮想物体を合成する前の映像を「撮像映像ＳＥ」と称する。

画像配信システム１は、例えば、撮像端末１０と、サーバ２０と、アバター操作端末３０と、視聴端末４０と、視聴端末５０と、視聴端末６０とを備える。画像配信システム１において、撮像端末１０と、サーバ２０と、アバター操作端末３０と、視聴端末４０と、視聴端末５０と、視聴端末６０とは、通信ネットワークＮＷにより通信可能に接続される。

撮像端末１０は、撮像者（カメラマン）によって使用されるコンピュータである。撮像端末１０として、例えば、スマートフォン、タブレット、ＰＣ（Personal Computer）などを適用することができる。撮像端末１０は、被写体ＯＢを撮像する。撮像端末１０は、被写体ＯＢを撮像した撮像映像ＳＥを、サーバ２０に送信する。撮像端末１０は、撮像中に撮像映像ＳＥを送信する等の通信時には、送信及び受信方向の通信速度を表示する（例えば、「送信２ＭＢｐｓ／受信１．５ＭＢｐｓ」などと表示する）機能を有する。これにより、カメラマンが撮像を行いながら、送信する画像の品質を予測することができる。また、撮像端末１０は、撮像が終了する都度、撮像で使用した総通信量を表示する（例えば、「合計６０ＭＢ」などと表示する）機能を有する。これにより、カメラマンは、撮像が終了する都度、撮像で使用した通信量を確認することができる。例えば、カメラマンは、ＳＩＭのデータ容量の上限を考慮し、あとどのくらいの時間、撮像をすることができるか把握し、必要に応じてＳＩＭの入れ替えを行う。このように、通信量を表示する機能を有することによって、ＳＩＭの容量不足により撮像中に通信速度が落ちてしまうような事態を回避することが可能である。

サーバ２０は、合成映像ＧＥを配信するコンピュータである。サーバ２０として、例えば、クラウド、サーバ装置、ＰＣなどを適用することができる。サーバ２０は、撮像端末１０から撮像映像ＳＥを受信する。サーバ２０は、撮像端末１０から受信した撮像映像ＳＥをアバター操作端末３０に送信する。また、サーバ２０は、アバター操作端末３０から合成映像ＧＥを受信する。サーバ２０は、アバター操作端末３０から受信した合成映像ＧＥを、視聴端末４０、５０、６０に配信する。なお、サーバ２０が配信を行う代わりに、既存の動画配信システムを利用した配信が行われてもよい。この場合、サーバ２０は合成映像ＧＥを視聴端末４０等に配信しない。代わりに、アバター操作端末３０が、既存の動画配信システムから予め発行された配信を行うためのＵＲＬに、合成映像ＧＥをアップロードする。視聴端末４０等は、その配信用のＵＲＬにアクセスすることによって合成映像ＧＥを視聴することができる。

アバター操作端末３０は、アバターを操作する操作者によって使用されるコンピュータである。アバター操作端末３０として、例えば、スマートフォン、タブレット、ＰＣ（Personal Computer）などを適用することができる。アバター操作端末３０は、サーバ２０から撮像映像ＳＥを受信し、受信した撮像映像ＳＥにアバターを合成することによって合成映像ＧＥを生成する。

操作者は、任意の方法を用いて、アバターを操作する。例えば、モーションキャプチャ等を用いて、操作者等による三次元的な動きをアバターの動きに反映させることによってアバターの動きを操作する。或いは、Ｗｅｂカメラで撮像した動きをアバターの動きに反映させるようにしてもよい。また、操作ボタンなどを操作してアバターの動きを操作するようにしてもよい。

視聴端末４０、５０、６０は、合成映像ＧＥを視聴する視聴者によって使用されるコンピュータである。視聴端末４０、５０、６０として、例えば、スマートフォン、タブレット、ＰＣ（Personal Computer）などを適用することができる。この図では、視聴端末４０がノートＰＣ、視聴端末５０がスマートフォン、視聴端末６０がＰＣである場合の例を示す。

ここで、撮像端末１０は、カメラマンが被写体ＯＢを撮像している間、撮像画面に撮像映像ＳＥを表示する。カメラマンは、撮像画面に表示された撮像映像ＳＥを確認しながら撮像を行う。しかしながら、カメラマンは撮像映像ＳＥにどのようにアバターが合成されるのかが判らない。このため、どのような構図で、どこを狙って撮像すればよいか判らない場合があった。

この対策として、本実施形態の画像配信システム１では、撮像端末１０に、撮像映像ＳＥと合成映像ＧＥの両方を表示させるようにした。

具体的には、サーバ２０は、アバター操作端末３０から合成映像ＧＥを受信すると、そのアバター操作端末３０と、受信した合成映像ＧＥに対応する撮像映像ＳＥを撮像した撮像端末１０を特定し、特定した撮像端末１０に合成映像ＧＥを送信するようにした。撮像端末１０は、サーバ２０から合成映像ＧＥを受信し、受信した合成映像ＧＥを、表示するようにした。

これにより、撮像端末１０には、撮像映像ＳＥと合成映像ＧＥの両方が表示される。カメラマンは、撮像映像ＳＥと共に合成映像ＧＥを視認することができ、両方の映像を確認しながら撮像を行うことができる。したがって、カメラマンは撮像映像ＳＥにどのようにアバターが合成されるのかが判り、合成映像ＧＥを確認しながら、どのような構図で、どこを狙って撮像するかを決めることが可能となる。

図２及び図３は、実施形態の画像配信システム１が行う処理を説明する図である。

図２には、映像管理部３１を介して操作プログラムを利用することによって映像を送受信する場合の処理が示されている。操作プログラムは、アバターを操作するためのアプリケーションプログラムである。図３には、アバター操作端末３０に、映像を送受信する機能が組み込まれた操作プログラムがインストールされた例が示されている。このため、図３においては、アバター操作端末３０の映像管理部３１が省略される。

図２と図３では、アバター操作端末３０によって行われる処理に相違点を有するが、その他の処理、つまり、撮像端末１０及びサーバ２０が行う処理は同一である。

図２に示すように、撮像端末１０は、例えば、映像表示制御部１１と、映像撮像部１２と、アカウント管理部１３とを備える。

映像表示制御部１１と、映像撮像部１２と、アカウント管理部１３のそれぞれは、撮像端末１０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。プログラムは、撮像端末１０が備える記憶部に記憶される。記憶部は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）などの記憶媒体、あるいはこれらの組合せによって構成される。記憶部は、撮像端末１０の各種処理を実行するためのプログラムの他、各種処理を行う際に利用される一時的なデータを記憶する。

例えば、映像表示制御部１１と、映像撮像部１２と、アカウント管理部１３のそれぞれが行う機能は、例えば、撮像端末１０にインストールされたアプリケーションプログラム（以下、カメラアプリ）により実現される。

映像表示制御部１１は、映像撮像部１２から撮像映像ＳＥを取得し、取得した撮像映像ＳＥを表示させる。また、映像表示制御部１１は、サーバ２０から合成映像ＧＥを取得し、取得した合成映像ＧＥを表示させる。映像表示制御部１１によって表示された、撮像映像ＳＥ及び合成映像ＧＥは、カメラマンＣＭによって視認される。

映像表示制御部１１は、カメラマンＣＭからの表示切替操作を受け付ける。表示切替操作は、撮像映像ＳＥ及び合成映像ＧＥを表示させる位置を切替える操作である。映像表示制御部１１は、表示切替操作を受け付けると、映像表示制御部１１は、表示を切り替える。具体的には、映像表示制御部１１は、撮像映像ＳＥを表示させていた位置に合成映像ＧＥを表示させ、合成映像ＧＥを表示させていた位置に撮像映像ＳＥを表示させる。これにより、映像表示制御部１１は、表示を切り替える。

映像撮像部１２は、カメラマンＣＭからのカメラ操作を受け付け、カメラ操作にしたがって被写体ＯＢを撮像する。カメラ操作は、撮像の開始及び停止、撮像方向、撮像分解能、及び撮像倍率などの撮像条件を設定する操作である。映像撮像部１２は、撮像した撮像映像ＳＥを、映像表示制御部１１に出力する。また、映像撮像部１２は、撮像した撮像映像ＳＥを、サーバ２０の映像送信部２１に送信する。

アカウント管理部１３は、撮像端末１０のアカウント情報ＡＣを、サーバ２０の連携部２２に出力する。撮像端末１０のアカウント情報ＡＣは、カメラアプリのユーザ（ここでは、撮像端末１０）を一意に識別する識別情報である。撮像端末１０のアカウント情報ＡＣは、例えば、カメラマンＣＭがカメラアプリにユーザ登録を行う際に、設定される。

サーバ２０は、例えば、映像送信部２１と、連携部２２とを備える。映像送信部２１と連携部２２のそれぞれは、サーバ２０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。プログラムは、サーバ２０が備える記憶部に記憶される。記憶部は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭなどの記憶媒体、あるいはこれらの組合せによって構成される。記憶部は、サーバ２０の各種処理を実行するためのプログラムの他、各種処理を行う際に利用される一時的なデータを記憶する。

映像送信部２１は、撮像端末１０の映像撮像部１２から送信された撮像映像ＳＥを受信する。映像送信部２１は、受信した撮像映像ＳＥを、アバター操作端末３０の映像管理部３１に送信する。

また、映像送信部２１は、映像管理部３１から合成映像ＧＥを受信する。
映像送信部２１は、連携部２２から連携信号を受信する。ここでの連携信号は、映像送信部２１が受信した合成映像ＧＥに対応するアバター操作端末３０を示す情報、及び合成映像ＧＥに対応する撮像映像ＳＥを撮像した撮像端末１０を示す情報を含む。連携信号には、特定した撮像端末１０を示す情報として、例えば合成映像ＧＥに対応する撮像映像ＳＥを撮像した撮像端末１０のアカウント情報ＡＣを含む。映像送信部２１は、連携部２２からの連携信号に含まれるアカウント情報ＡＣに基づいて、そのアカウント情報ＡＣに対応する撮像端末１０に、合成映像ＧＥを送信する。

連携部２２は、撮像端末１０から、撮像端末１０のアカウント情報ＡＣを受信する。また、連携部２２は、アバター操作端末３０のアカウント情報ＡＣを受信する。そして、連携部２２は、映像送信部２１が受信した合成映像ＧＥに対応するアバター操作端末３０、及び撮像端末１０を特定する。連携部２２は、特定したアバター操作端末３０及び撮像端末１０のアカウント情報ＡＣを映像送信部２１に出力する。

連携部２２は、撮像端末１０及びアバター操作端末３０のアカウント情報ＡＣを連携させることによって、合成映像ＧＥに対応する撮像映像ＳＥを撮像した撮像端末１０を特定する。例えば、連携部２２は、テーブルを用いて、合成映像ＧＥに対応する撮像映像ＳＥを撮像した撮像端末１０を特定する。ここでのテーブルは、撮像映像ＳＥを撮像する撮像端末１０のアカウント情報ＡＣと、その撮像映像ＳＥに対応する合成映像ＧＥのアバターを操作するアバター操作端末３０のアカウント情報ＡＣとを対応づけたテーブルである。

アバター操作端末３０は、例えば、映像管理部３１と、アバター合成部３２と、アバター操作制御部３３と、アカウント管理部３４を備える。

アバター操作端末３０によって行われる各種処理は、アバター操作端末３０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。プログラムは、アバター操作端末３０が備える記憶部に記憶される。記憶部は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭなどの記憶媒体、あるいはこれらの組合せによって構成される。記憶部は、サーバ２０の各種処理を実行するためのプログラムの他、各種処理を行う際に利用される一時的なデータを記憶する。

映像管理部３１は、サーバ２０の映像送信部２１から送信された撮像映像ＳＥを受信する。映像管理部３１は、受信した撮像映像ＳＥを、アバター合成部３２に出力する。また、映像管理部３１は、アバター合成部３２から合成映像ＧＥを取得する。映像管理部３１は、取得した合成映像ＧＥを、サーバ２０の映像送信部２１に送信する。

アバター合成部３２は、映像管理部３１から撮像映像ＳＥを取得する。アバター合成部３２は、撮像映像ＳＥを取得すると、その撮像映像ＳＥを背景画像として配置する。また、アバター合成部３２は、背景画像の所定の位置に、所定の大きさ、所定の向きにてアバターを配置して合成し、アバター操作制御部３３からのアバター操作（データ出力）を受け付ける。ここでのアバター操作は、撮像映像ＳＥに合成されたアバターの、配置位置、大きさ、向き、動きなどを設定する操作である。

アバター合成部３２は、アバター操作制御部３３からアバター操作信号を取得する。アバター合成部３２は、取得したアバター操作信号に基づいて、映像管理部３１に表示された画面（撮像映像ＳＥ）をキャプチャし、キャプチャした撮像映像ＳＥにアバターを合成することによって合成映像ＧＥを生成する。アバター合成部３２は、生成した合成映像ＧＥを映像管理部３１に出力する。このとき、映像管理部３１は合成映像ＧＥを表示することなく、アバター合成部３２から取得した合成映像ＧＥを、サーバ２０の映像送信部２１に送信する。

アバター操作制御部３３は、背景画像として設定された撮像映像ＳＥに対するアバター操作を示すデータを、アバター合成部３２に出力する。アバター操作制御部３３は、例えば、操作者の動きに応じたデータを、アバター操作を示すデータとして出力する。

アカウント管理部３４は、アバター操作端末３０のアカウント情報ＡＣを、サーバ２０の連携部２２に出力する。アバター操作端末３０のアカウント情報ＡＣは、操作プログラムのユーザ（ここでは、アバター操作端末３０）を一意に識別する識別情報である。アバター操作端末３０のアカウント情報ＡＣは、例えば、操作者が操作プログラムにユーザ登録を行う際に、設定される。

図３において、アバター操作端末３０にインストールされる操作プログラムには、映像を送受信する機能が組み込まれている。例えば、アバター合成部３２に映像を送受信する機能が組み込まれている。このため、図３においては、アバター操作端末３０の映像管理部３１が省略される。

具体的に、図３では、サーバ２０の映像送信部２１は、アバター操作端末３０のアバター合成部３２に撮像映像ＳＥを送信する。アバター合成部３２は、受信した撮像映像ＳＥに基づいて合成映像ＧＥを生成し、生成した合成映像ＧＥをサーバ２０の映像送信部２１に送信する。アバター合成部３２が合成映像ＧＥを生成する方法は、図２と同様である。また、図３では、アカウント管理部３４が、アバター操作端末３０のアカウント情報ＡＣをサーバ２０に送信する。

図４は、実施形態の撮像端末１０が行う処理を説明するための図である。図４に示すように、撮像端末１０における表示領域には、メイン画像表示領域１０１と、操作アイコン表示領域１０２と、サブ画像表示領域１０３とが設けられる。

メイン画像表示領域１０１は、主（メイン）とする画像が表示される表示領域である。操作アイコン表示領域１０２は、カメラを操作するためのアイコン画像が表示される表示領域である。サブ画像表示領域１０３は、副（サブ）とする画像が表示される表示領域である。メイン画像表示領域１０１には、サブ画像表示領域１０３より大きい表示領域が設けられる。

撮像端末１０は、メイン画像表示領域１０１に、撮像映像ＳＥ及び合成映像ＧＥの一方を表示させ、サブ画像表示領域１０３に他方を表示させる。そして、カメラマンＣＭの表示切替操作に応じて、メイン画像表示領域１０１の表示と、サブ画像表示領域１０３の表示を切り替える。例えば、撮像端末１０は、カメラマンＣＭによってサブ画像表示領域１０３の表示領域がタップ操作された場合に表示を切替える処理を行う。

例えば、撮像端末１０は、まず、メイン画像表示領域１０１に撮像映像ＳＥを表示させ、サブ画像表示領域１０３に合成映像ＧＥを表示させる。そして、カメラマンＣＭの表示切替操作が行われると、撮像端末１０は、メイン画像表示領域１０１に合成映像ＧＥを表示させ、サブ画像表示領域１０３に撮像映像ＳＥを表示させる。更に、カメラマンＣＭの表示切替操作が行われると、撮像端末１０は、メイン画像表示領域１０１に撮像映像ＳＥを表示させ、サブ画像表示領域１０３に合成映像ＧＥを表示させる。このようにして、撮像端末１０は、カメラマンＣＭの表示切替操作に応じて表示画像を切替える。

図５（図５Ａ及び図５Ｂ）は、実施形態の撮像端末１０に表示される画像の例を示す図である。図５Ａには、メイン画像表示領域１０１に撮像映像ＳＥが表示され、サブ画像表示領域１０３に合成映像ＧＥが表示された例が示されている。図５Ｂには、メイン画像表示領域１０１に合成映像ＧＥが表示され、サブ画像表示領域１０３に撮像映像ＳＥが表示された例が示されている。

このように、本実施形態では、カメラマンＣＭの表示切替操作に応じて表示画像を切替えることができる。これにより、カメラマンＣＭの操作性を向上させることが可能である。具体的には、カメラマンＣＭは、用途に応じて、メイン画像表示領域１０１に表示させる映像を切替えることができる。

例えば、カメラマンＣＭは、撮像開始時において、メイン画像表示領域１０１に撮像映像ＳＥを表示させ、狙い通りの撮像映像ＳＥが撮像されているか、詳細に確認しながら撮像を行う。そして、サブ画像表示領域１０３に合成映像ＧＥが表示されると、サブ画像表示領域１０３をタップ操作する等して、メイン画像表示領域１０１に表示させる画像を合成映像ＧＥに切替える。カメラマンＣＭは、メイン画像表示領域１０１に合成映像ＧＥを表示させ、アバターが配置された位置を確認し、視聴者に見せたい被写体ＯＢがアバターに隠れてしまっていないか等を確認する。もし、被写体ＯＢがアバターに隠れていた場合、カメラマンＣＭは、撮像方向を調整する等して、アバターと被写体ＯＢとが合成映像ＧＥにおいて重ならないようにする等の対応を行う。

このように、カメラマンＣＭは、用途に応じて、メイン画像表示領域１０１に表示させる映像を切替えることができる。しかも、メイン画像表示領域１０１で一方の映像を確認している間、サブ画像表示領域１０３に他方の映像が表示されているため、サブ画像表示領域１０３の映像を容易に確認することが可能である。また、サブ画像表示領域１０３に他方の映像が表示されているため、他方の映像を確認しながら、適切なタイミングで映像を切替えることが可能となる。例えば、サブ画像表示領域１０３へのタップ操作を、表示切替操作に対応づけることによって、自然かつ簡単な操作で映像を切替えることが可能となる。これによって、撮像に集中しているカメラマンＣＭでも、簡単に表示を切替えることが可能となり操作性を向上させることができる。

なお、上記では、サブ画像表示領域１０３へのタップ操作を、表示切替操作に対応づけられる場合を例示して説明したが、これに限定されない。メイン画像表示領域１０１へのタップ操作が行われた場合、或いは、メイン画像表示領域１０１及びサブ画像表示領域１０３のいずれか一方へのタップ操作が行われた場合に、表示を切替えるようにしてもよい。

図６（図６Ａ及び図６Ｂ）は、実施形態の撮像端末１０が行う処理を説明するための図である。

図６Ａには、カメラアプリにログインする際に、撮像端末１０に表示される画像（ログイン画面）の例が示されている。図６Ａに示すように、ログイン画面では、ログインＩＤとパスワードを入力する入力欄が表示される。カメラマンＣＭは、カメラアプリのユーザ登録時などにおいて設定したログインＩＤとパスワードを入力することによって、カメラアプリを利用することができる。例えば、ここで入力されたログインＩＤが、アカウント情報ＡＣとして使用される。アバター操作端末３０においても同様に、操作プログラムにログインする際などに、操作者によって入力されるログインＩＤが、アカウント情報ＡＣとして使用される。

図６Ｂには、図６Ａのログイン画面に、正しいログインＩＤとパスワードが入力された場合に撮像端末１０に表示される画像の例が示されている。図６Ｂに示すように、カメラアプリにログインすると、例えば、撮像条件及び視聴条件等を設定するフォームが表示される。カメラマンＣＭは、必要な設定を行った後、配信開始のボタンをタップ操作する。これにより、撮像端末１０には、例えば図５Ａに示すような撮像画面が表示される。

図７は、実施形態の画像配信システム１が行う処理の流れを示すシーケンス図である。撮像端末１０は、被写体ＯＢを撮像する（ステップＳ１０）。撮像端末１０は、撮像映像ＳＥをメイン画像表示領域１０１に撮像映像ＳＥを表示すると共に、撮像映像ＳＥをサーバ２０に送信する（ステップＳ１１）。サーバ２０は、撮像端末１０から撮像映像ＳＥを受信し、受信した撮像映像ＳＥをアバター操作端末３０に送信する（ステップＳ１２）。アバター操作端末３０は、サーバ２０から撮像映像ＳＥを受信し、受信した撮像映像ＳＥにアバターを合成することによって、合成映像ＧＥを生成する（ステップＳ１３）。

アバター操作端末３０は、合成映像ＧＥをサーバ２０に送信する（ステップＳ１４）。サーバ２０は、アバター操作端末３０から合成映像ＧＥを受信し、受信した合成映像ＧＥに対応するアバター操作端末３０、及び撮像端末１０を特定する（ステップＳ１５）。サーバ２０は、例えば、撮像端末１０及びアバター操作端末３０のアカウント情報ＡＣを連携させることによって、合成映像ＧＥに対応する撮像映像ＳＥを撮像した撮像端末１０を特定する。サーバ２０は、特定した撮像端末１０に、合成映像ＧＥを送信する（ステップＳ１６）。

撮像端末１０は、サーバ２０から合成映像ＧＥを受信する。撮像端末１０は、受信した合成映像ＧＥを、操作アイコン表示領域１０２に表示させる（ステップＳ１７）。撮像端末１０は、表示切替操作を取得する（ステップＳ１８）。例えば、撮像端末１０は、カメラマンＣＭによってサブ画像表示領域１０３がタップ操作された場合に、表示切替操作を取得する。撮像端末１０は、取得した表示切替操作に応じて、表示を切り替える（ステップＳ１９）。撮像端末１０は、メイン画像表示領域１０１に表示させていた撮像映像ＳＥをサブ画像表示領域１０３に表示させ、サブ画像表示領域１０３に表示させていた合成映像ＧＥをメイン画像表示領域１０１に表示させることによって、表示を切り替える。

一方、サーバ２０は合成映像ＧＥを視聴端末４０に送信することによって、合成映像ＧＥを配信する（ステップＳ２０）。なお、既存の動画配信システムを利用して配信を行う場合、アバター操作端末３０は、合成映像ＧＥを、既存の動画配信システムから予め発行された配信を行うためのＵＲＬにアップロードする。視聴端末４０は、その配信用のＵＲＬにアクセスすることによって合成映像ＧＥを視聴する。

以上説明したように、実施形態の画像配信システム１は、撮像端末１０とサーバ２０を備えるシステムである。サーバ２０は、映像送信部２１（送信部）を有する。映像送信部２１は、合成映像ＧＥ（合成画像の一例）を撮像端末１０に送信する。合成映像ＧＥは、撮像端末１０によって撮像された撮像映像ＳＥ（撮像画像の一例）に、アバター（仮想画像）が合成された画像である。撮像端末１０は、映像表示制御部１１（表示制御部）を有する。映像表示制御部１１は、撮像映像ＳＥと、合成映像ＧＥとを、同一の画面に、表示させる。

これにより、実施形態の画像配信システム１では、撮像端末１０に撮像映像ＳＥと合成映像ＧＥの両方を表示することができる。したがって、カメラマンは撮像映像ＳＥにどのようにアバターが合成されるのかが判り、合成映像ＧＥを確認しながら、どのような構図で、どこを狙って撮像するかを決めることが可能となる。すなわち、カメラマンが意図した効果が発揮されるような合成画像を生成することができる。

また、実施形態の画像配信システム１では、映像表示制御部１１は、撮像映像ＳＥと合成映像ＧＥの一方を、メイン画像としてメイン画像表示領域１０１に表示させる。映像表示制御部１１は、他方を、メイン画像より小さいサブ画像として、操作アイコン表示領域１０２に表示させる。映像表示制御部１１は、カメラマンＣＭ（ユーザ）の操作に応じて、メイン画像とサブ画像に表示させる画像を切替えて表示させる。これにより、実施形態の画像配信システム１では、カメラマンＣＭの操作性を向上させることができる。

また、実施形態の画像配信システム１は、アバター操作端末３０（操作端末）を更に備える。アバター操作端末３０は、撮像映像ＳＥにアバターを合成する。サーバ２０は、連携部２２を更に有する。連携部２２は、撮像端末１０のアカウント情報ＡＣ（撮像アカウント情報）と、アバター操作端末３０のアカウント情報ＡＣ（操作アカウント情報）を対応づける。映像送信部２１は、アバター操作端末３０によって生成された合成映像ＧＥに対応する撮像映像ＳＥを撮像した撮像端末１０を、連携部２２による対応づけに基づいて特定する。映像送信部２１は、特定した撮像端末１０に、合成映像ＧＥを送信する。これにより、実施形態の画像配信システム１では、多数の合成映像ＧＥが生成された場合であっても、それぞれの合成映像ＧＥに対応する撮像映像ＳＥを撮像した撮像端末１０を特定することができ、それぞれの撮像端末１０に、それぞれの撮像端末１０が撮像した撮像映像ＳＥに対応する合成映像ＧＥを送信することが可能となる。

上述した画像配信システム１は、観光ガイド、接客、オンラインイベントなど、さまざまな場面に適用することが可能である。例えば、観光ガイドに適用する際には、アバターに、所謂ご当地キャラクターを使用することも可能である。観光ガイドに、その観光地のご当地キャラクターを使用することによって、視聴者を喜ばせることが可能となる。

また、コロナ禍を契機としたアテンド業務の遠隔化のみならず、ジェンダーフリーの急速な普及に伴い、時間、場所、年齢、及び性別を問わない業務の提供手法が求められている。このような課題に対し、本実施形態の画像配信システム１では、年齢、及び性別を問わず、誰もが、アバターを操作することによって、アバターになりきることができ、時間、場所、年齢、及び性別などの制約に縛られることなく、業務を提供することが可能となる。

撮像映像に、アバターなどのバーチャルなキャラクターを合成し、操作者がアバターを操作することにより、視聴者に、あたかもアバターが映像に示されている空間などを案内しているかのような映像を提供することができる。アバターに視聴者から質問をするなどの対話ができるように構成することによって、双方のコミュニケーションが可能なサービスを提供することも可能である。

また、撮像端末１０と、アバター操作端末３０を分けることによって、撮像者と操作者がそれぞれの拠点で業務を行うことができる。例えば、配信したい拠点でライブ映像を撮影し、撮像者の自宅などでそのライブ映像にキャラクターを合成することが可能である。視聴者は、テレビ会議システム等を通じて、視聴者の自宅など、視聴者の好きな場所から視聴することが可能である。また、合成映像を、拠点となる会場までの経路にあるデジタルサイネージなどに表示させることによって、会場を利用する利用者に、会場の様子などを表示させて案内するような用途にも適用することができる。この場合、視聴端末としてデジタルサイネージ装置を利用することができる。このように、用途に応じて、視聴端末とするデバイスを変更することが可能である。

なお、上記では、図４に示すように、撮像端末１０の左側にメイン画像表示領域１０１、右下にサブ画像表示領域１０３が設けられる場合を例示して説明したが、これに限定されない。右側にメイン画像表示領域１０１、左下にサブ画像表示領域１０３が設けられてもよい。

また、撮像端末１０の右側において、上側に操作アイコン表示領域１０２、下側にサブ画像表示領域１０３が設けられる場合を例示して説明したが、これに限定されない。下側に操作アイコン表示領域１０２、上側にサブ画像表示領域１０３が設けられてもよい。また、表示切替操作によって、操作アイコン表示領域１０２と、サブ画像表示領域１０３の表示が切替えられるように構成されてもよい。この場合、撮像端末１０は、例えば、カメラマンＣＭによってサブ画像表示領域１０３にスライド操作がなされた場合、操作アイコン表示領域１０２に表示させていたアイコン画像をサブ画像表示領域１０３に表示させ、サブ画像表示領域１０３に表示させていた合成映像ＧＥを操作アイコン表示領域１０２に表示させることによって、表示を切り替える。これにより、実施形態の画像配信システム１では、アバターが画像の下方に配置された場合など、合成映像ＧＥにおけるアバターの動きを視認し難い場合などに、サブの画像を上側に表示させることができる。これにより、サブ画像においてアバターの位置等を視認し易くしてカメラマンＣＭの操作性を向上させることができる。

上述した実施形態における画像配信システム１及び撮像端末１０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…画像配信システム（合成画像生成システム）
１０…撮像端末
１１…映像表示制御部（表示制御部）
１２…映像撮像部
１３…アカウント管理部
２０…サーバ
２１…映像送信部（送信部）
２２…連携部
３０…アバター操作端末（操作端末）
３１…映像管理部
３２…アバター合成部
３３…アバター操作制御部
３４…アカウント管理部
４０、５０、６０…視聴端末
１０１…メイン画像表示領域
１０２…操作アイコン表示領域
１０３…サブ画像表示領域

Claims (4)

1. 撮像端末とサーバとを備える合成画像生成システムであって、
   前記サーバは、
   前記撮像端末によって撮像された撮像画像に仮想画像が合成された合成画像を、前記撮像端末に送信する送信部、
   を有し、
   前記撮像端末は、
   前記撮像画像と前記合成画像を表示させる表示制御部、
   を有する、
   合成画像生成システム。
2. 前記表示制御部は、前記撮像画像と前記合成画像の一方をメイン画像として表示させ、他方を前記メイン画像より小さいサブ画像として表示させ、ユーザの操作に応じて、前記メイン画像と前記サブ画像に表示させる画像を切替えて表示させる、
   請求項１に記載の合成画像生成システム。
3. 前記撮像画像に仮想画像を合成することによって前記合成画像を生成する操作端末を更に備え、
   前記サーバは、前記撮像端末を識別するための撮像アカウント情報と、前記操作端末を識別するための操作アカウント情報を対応づける連携部を更に有し、
   前記送信部は、前記操作端末によって生成された前記合成画像に対応する前記撮像画像を撮像した前記撮像端末を前記連携部による対応づけに基づいて特定し、特定した前記撮像端末に前記合成画像を送信する、
   請求項１に記載の合成画像生成システム。
4. 撮像端末とサーバとを備える合成画像生成システムが行う撮像支援方法であって、
   前記サーバの送信部が、前記撮像端末によって撮像された撮像画像に仮想画像が合成された合成画像を、前記撮像端末に送信し、
   前記撮像端末の表示制御部が、前記撮像画像と前記合成画像を表示させる、
   撮像支援方法。

Images