JP7844590B2 - ライブ配信中に映像を表示する配信者端末、表示方法、および、プログラム - Google Patents

Description

本開示は、ライブ配信中に映像を表示する配信者端末、表示方法、および、プログラムに関する。

近年、「ライブコマース」と呼ばれる電子商取引が注目されている。このライブコマースとは、配信者が商品について紹介するライブ映像を配信し、そのライブ映像を視聴している視聴者が商品を購入できるという形態の電子商取引である。

例えば、特許文献１には、出品者（配信者）が自身の端末（配信者端末）を介してライブ動画（ライブ映像）を配信し、ライブ動画を視聴している視聴者が出品者に質問を行うなどしながら商品を購入できるオンライン商取引支援システムが開示されている。

特開２０２０－４２５５１号公報

上述したライブコマースに限られず、配信者が自身のライブ映像を配信する場合において、配信者端末の表示部に、カメラ（撮影部）によって撮影されているライブ映像をそのまま表示するのではなく、ライブ映像を反転（鏡面反転）させた鏡像映像を表示するのが一般的である。つまり、配信者は、鏡の前で自身の姿を確認するのと同じように、配信者端末の表示部に表示される鏡像映像を確認しながら配信を行うことになる。

このようなライブ映像では、例えば、視聴者に報知するための文字情報を含んだオブジェクト（ライブコマースであれば、商品の購入ボタンや商品の特徴が記された字幕等）が合成されることもある。その際、配信者端末の表示部では、そのようなオブジェクトも反転されて表示されるため、配信者にとって、オブジェクトに含まれる文字情報の可読性が著しく低下してしまうという問題があった。なお、ライブ映像を反転させた後の鏡像映像に、オブジェクトを合成することも考えられるが、単純にライブ映像と同じ位置にオブジェクトを合成してしまうと、配信者がオブジェクトを指し示すような動作をした場合に、視聴者が視聴しているライブ画像におけるオブジェクトとは異なる位置を指し示してしまうことも起こり得る。

本開示は、上述のような課題を解決するためになされたものであり、配信者を適切に支援することのできる配信者端末、表示方法、および、プログラムを提供することを目的とする。

本開示の第１の観点に係る配信者端末は、
撮影部により撮影されているライブ映像内にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した配信者用映像の表示と、
前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更と、
を実行するプロセッサ、
を備えることを特徴とする。

また、上記観点に係る配信者端末において、
前記表示態様の変更には、前記オブジェクトの大きさ、形状、色彩、模様、明度、輝度の少なくとも１つの変更が含まれるようにしてもよい。

また、上記観点に係る配信者端末において、
前記プロセッサは、
配信者からの操作によって前記配信者用映像内における前記オブジェクトが新たな位置へ移動されると、前記ライブ映像に合成する前記オブジェクトについての前記新たな位置に対する正像の位置への変更、を更に実行するようにしてもよい。

また、上記観点に係る配信者端末において、
前記オブジェクトには、商品を販売する販売サーバへ遷移するための遷移情報が付加されていてもよい。

また、上記観点に係る配信者端末において、
前記オブジェクトには、文字情報が含まれていてもよい。

また、上記観点に係る配信者端末において、
前記配信者用映像における前記オブジェクトは、前記視聴者用映像における前記オブジェクトの合成位置に対する鏡像の位置に合成されていてもよい。

本開示の第２の観点に係る表示方法は、
コンピュータが、
撮影部により撮影されているライブ映像内にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した配信者用映像の表示と、
前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更と、
を実行することを特徴とする。

本開示の第３の観点に係るプログラムは、
コンピュータに、
撮影部により撮影されているライブ映像内にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した配信者用映像の表示、
前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更、
を実行させることを特徴とする。

本開示によれば、配信者を適切に支援することができる。

本開示の実施形態１に係るライブ配信システムの全体構成の一例を示す模式図である。 配信者端末等が実現される典型的な情報処理装置の概要構成の一例を示すブロック図である。 配信サーバの機能構成の一例を示すブロック図である。 実施形態１に係る配信者端末の機能構成の一例を示すブロック図である。 配信者を撮影する様子の一例を示す模式図である。 撮影されているライブ映像の一例を示す模式図である。 ライブ映像にオブジェクトが合成された視聴者用映像の一例を示す模式図である。 鏡像映像にオブジェクトが合成された配信者用映像が配信者端末に表示されている場合の一例を示す模式図である。 配信者用映像内のオブジェクトが配信者によりピンチ操作（ピンチアウト）された場合の様子を示す模式図である。 配信者のピンチ操作に応じて、視聴者用映像に合成されるオブジェクトの大きさが変化する様子を示す模式図である。 配信者用映像内のオブジェクトが配信者によりドラッグ操作された場合の様子を示す模式図である。 配信者のドラッグ操作に応じて、視聴者用映像に合成されるオブジェクトの位置が変化する様子を示す模式図である。 実施形態１に係る配信処理を説明するためのフローチャートである。 本開示の実施形態２に係るライブ配信システムの全体構成の一例を示す模式図である。 販売サーバの機能構成の一例を示すブロック図である。 実施形態２に係る配信者端末の機能構成の一例を示すブロック図である。 ライブコマースのために撮影されているライブ映像の一例を示す模式図である。 ライブ映像に複数のオブジェクトが合成された視聴者用映像の一例を示す模式図である。 鏡像映像に複数のオブジェクトが合成された配信者用映像が配信者端末に表示されている場合の一例を示す模式図である。 視聴者端末に表示される視聴者用映像の一例を示す模式図である。 視聴者端末に表示される販売ページの一例を示す模式図である。

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。また、以下では、配信者端末が、映像にオブジェクトを合成する場合について説明するが、後述するように、配信サーバにおいて、映像にオブジェクトを合成する場合でも、同様に本開示を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本開示の範囲を制限するものではない。従って、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本開示の範囲に含まれる。

（実施形態１）
図１は、本開示の実施形態１に係るライブ配信システム１の全体構成の一例を示す模式図である。このライブ配信システム１は、一例として、配信を管理する配信サーバ１００と、配信者に使用される配信者端末２００と、視聴者に使用される視聴者端末３００とがインターネット９００を介して通信可能に接続されている。なお、視聴者端末３００は、システムを利用する視聴者の数に応じて、多数存在しているものとする。

配信サーバ１００は、例えば、サーバ用のコンピュータ等であり、ライブ配信システム１全体を管理する。配信サーバ１００は、配信者端末２００から送られた映像（後述する視聴者用映像）を受信して、視聴者端末３００に向けて配信する。なお、本開示において映像には、映像データだけでなく、音声データも含まれているものとして、以下説明する。

配信者端末２００は、例えば、スマートフォン、タブレット、ＰＣ（Personal Computer）等の端末であり、ライブ映像の配信を行う配信者に使用される。配信者は、後述するように、配信者端末２００の撮影部（後述する撮影部２１０）から自身を撮影して、ライブ配信を行う。その際、撮影されたライブ映像を反転させた鏡像映像が表示部（後述する表示部２６０）に表示されるため、配信者は、その鏡像映像を見ながら、自身の動作等を確認する。

視聴者端末３００は、例えば、スマートフォン、タブレット、ＰＣ等の端末であり、ライブ配信を視聴する視聴者に使用される。視聴者は、視聴者端末３００を操作して、配信サーバ１００へログインするなどした後に、配信サーバ１００を介して配信者端末２００から配信されるライブ映像を視聴する。

（情報処理装置４００の概要構成）
本開示の実施形態１に係る配信サーバ１００、及び、配信者端末２００等が実現される典型的な情報処理装置４００について説明する。

情報処理装置４００は、図２に示すように、ＣＰＵ（Central Processing Unit）４０１と、ＲＯＭ（Read Only Memory）４０２と、ＲＡＭ（Random Access Memory）４０３と、ＮＩＣ（Network Interface Card）４０４と、画像処理部４０５と、音声処理部４０６と、補助記憶部４０７と、インターフェース４０８と、撮影ユニット４０９と、操作ユニット４１０と、表示ユニット４１１とを備える。

ＣＰＵ ４０１は、情報処理装置４００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。

ＲＯＭ ４０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、補助記憶部４０７に記憶されたプログラムをＲＡＭ ４０３に読み出してＣＰＵ ４０１による当該プログラムの実行が開始される。

ＲＡＭ ４０３は、データやプログラムを一時的に記憶するためのもので、補助記憶部４０７から読み出されたプログラムやデータ、その他、通信に必要なデータ等が保持される。

ＮＩＣ ４０４は、情報処理装置４００をインターネット等のコンピュータ通信網に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ－Ｔ／１００ＢＡＳＥ－Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等から構成される。

画像処理部４０５は、補助記憶部４０７等から読み出された画像データをＣＰＵ ４０１や画像処理部４０５が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部４０５が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され、インターフェース４０８等を介して表示ユニット４１１に出力される。つまり、画像処理部４０５は、ＣＰＵ ４０１の制御の下、情報処理装置４００が行う処理の進行の中で必要となる画像を生成し、その画像を表示ユニット４１１に表示させる。

音声処理部４０６は、補助記憶部４０７等から読み出された音楽データや音声データを音声信号に変換し、インターフェース４０８等を介して外部に出力する。なお、情報処理装置４００が内部にスピーカを備えている場合において、音声処理部４０６は、変換した音声信号を当該スピーカに出力する。つまり、音声処理部４０６は、ＣＰＵ ４０１の制御の下、情報処理装置４００が行う処理の進行の中で発生させるべき楽曲音や音声を生成し、その楽曲音等を内部又は外部のスピーカから出力させる。

補助記憶部４０７は、ハードディスク、ＳＳＤ（Solid State Drive）等であり、情報処理装置４００全体の動作制御に必要な各種のプログラムや各種のデータを記憶する。例えば、補助記憶部４０７には、実施形態に係る配信者端末２００等を実現するためのプログラムが記憶される。そして、ＣＰＵ ４０１の制御によって、補助記憶部４０７は、記憶されたプログラムやデータを適宜読み出し、これらをＲＡＭ ４０３等に一時的に記憶させる。

インターフェース４０８は、例えば、ＨＤＭＩ（登録商標）、ＵＳＢ（Universal Serial Bus）、Ｉ２Ｃ（Inter-Integrated Circuit）等の規格に準拠しており、撮影ユニット４０９、操作ユニット４１０、及び、表示ユニット４１１が接続される。なお、インターフェース４０８は、この他に接続された外部機器との間で必要な情報を送受信してもよい。

撮影ユニット４０９は、例えば、単焦点のレンズ、及び、所定画素数の撮像素子（ＣＭＯＳ；Complementary Metal Oxide SemiconductorやＣＣＤ；Charge Coupled Device）等であり、静止画又は動画を撮影する。

操作ユニット４１０は、情報処理装置４００を利用する作業者等の操作入力を受け付ける。

表示ユニット４１１は、画像処理部４０５により出力された画像データに応じた画像を描画し、情報処理装置４００を利用する作業者等に提示する。

この他に、情報処理装置４００は、補助記憶部４０７の代わりに、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等のドライブユニットを備えるようにしてもよい。この場合、情報処理装置４００は、ドライブユニットに装着されるＤＶＤ－ＲＯＭ等からプログラムやデータを読み出して、上記と同様に動作する。

以下、上記の情報処理装置４００において実現される配信サーバ１００、及び、配信者端末２００の機能等について、図３～図１２を参照して説明する。情報処理装置４００に電源が投入されると、実施形態１に係る配信サーバ１００、及び、配信者端末２００として機能させるプログラムが実行され、実施形態１に係る配信サーバ１００、及び、配信者端末２００が実現される。なお、視聴者端末３００も同様に情報処理装置４００によって実現されるが、配信者端末２００とほとんど同じ構成であるため、説明については省略する。

（配信サーバ１００の機能構成）
図３は、配信サーバ１００の機能構成の一例を示すブロック図である。図示するように、配信サーバ１００は、受信部１１０と、送信部１２０と、記憶部１３０と、制御部１４０とを備える。

受信部１１０は、インターネット９００を介して配信者端末２００や視聴者端末３００から送られる種々の情報を受信する。例えば、受信部１１０は、配信者端末２００から送られた映像（後述する視聴者用映像）を受信する。また、受信部１１０は、視聴者端末３００からログイン要求等を受信する。なお、上述したＮＩＣ ４０４が、このような受信部１１０として機能しうる。

送信部１２０は、視聴者端末３００等に向けた種々の情報を、インターネット９００を介して送信する。例えば、送信部１２０は、制御部１４０（後述する配信制御部１４２）に制御され、配信者端末２００から受信した映像を視聴者端末３００へ配信する。なお、上述したＮＩＣ ４０４が、このような送信部１２０として機能しうる。

記憶部１３０は、配信サーバ１００における処理に必要な種々の情報を記憶する。例えば、記憶部１３０は、視聴者端末３００を使用する視聴者のＩＤやパスワード等を記憶する。なお、上述した補助記憶部４０７等が、このような記憶部１３０として機能しうる。

制御部１４０は、配信サーバ１００全体を制御する。この制御部１４０は、例えば、管理部１４１、及び、配信制御部１４２を含んでいる。

管理部１４１は、例えば、ログインを要求する視聴者端末３００から送られるＩＤやパスワード等と、記憶部１３０に記憶されるＩＤやパスワード等とを照合し、視聴者を認証する。

配信制御部１４２は、受信部１１０及び送信部１２０を制御し、配信者端末２００から受信した映像を視聴者端末３００へ配信する。

上述したＣＰＵ ４０１等が、このような構成からなる制御部１４０として機能しうる。

（配信者端末２００の機能構成）
図４は、実施形態１に係る配信者端末２００の機能構成の一例を示すブロック図である。図示するように、配信者端末２００は、撮影部２１０と、送受信部２２０と、操作受付部２３０と、記憶部２４０と、制御部２５０と、表示部２６０とを備える。

撮影部２１０は、例えば、配信者端末２００の内側（表示部２６０側）に配置されたカメラであり、配信者を撮影する。一例として、図５に示すように、三脚等で支えられた配信者端末２００が配信者ＤＩの前面に配置され、配信者ＤＩを撮影する。そして、撮影部２１０は、図６に示すような配信者ＤＩを含んだライブ映像ＬＶを出力する。なお、上述した撮影ユニット４０９が、このような撮影部２１０として機能しうる。

図４に戻って、送受信部２２０は、インターネット９００を介した配信サーバ１００との間で種々の情報を送受信する。例えば、送受信部２２０は、制御部２５０（後述する配信部２５２）により制御され、後述する視聴者用映像を配信サーバ１００へ送信する（配信サーバ１００を介して視聴者端末３００へ配信する）。なお、上述したＮＩＣ ４０４が、このような送受信部２２０として機能しうる。

操作受付部２３０は、タッチパネルやポインティングデバイス（マウス等）であり、配信者からの各種の操作を受け付ける。例えば、操作受付部２３０は、表示部２６０に表示される配信者用映像（より詳細には、後述するオブジェクト）に向けた操作を受け付ける。なお、上述した操作ユニット４１０が、このような操作受付部２３０として機能しうる。

記憶部２４０は、配信者端末２００における処理に必要な種々の情報を記憶する。例えば、記憶部２４０は、ライブ映像等に合成するためのオブジェクトについての情報やオブジェクトの合成位置等を記憶する。一例として、オブジェクトは、ライブ配信において、視聴者へ報知するための文字情報を含んだ字幕（バナー）である。また、合成位置は、ライブ映像内におけるオブジェクトを合成する位置である。つまり、合成位置は、ライブ映像を基準として規定されている。なお、上述した補助記憶部４０７等が、このような記憶部２４０として機能しうる。

制御部２５０は、配信者端末２００全体を制御する。この制御部２５０は、例えば、生成部２５１、配信部２５２、及び、変更部２５３を含んでいる。

生成部２５１は、撮影部２１０により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した視聴者用映像を生成する。例えば、生成部２５１は、記憶部２４０に記憶されたオブジェクトの情報及び合成位置に従って、図７に示すように、ライブ映像ＬＶにオブジェクトＯＪを合成した視聴者用映像を生成する。なお、図７では、「ＡＢＣ」という単純な文字情報が含まれているオブジェクトＯＪを合成する場合を示しているが、説明を容易にするためであり、実際には、視聴者へ報知するために必要な文字情報が含まれているオブジェクトＯＪを合成するものとする。

また同時に、生成部２５１は、ライブ映像を反転させた鏡像映像にオブジェクトを合成した配信者用映像を生成する。なお、鏡像映像にオブジェクトを合成する位置は、上述した合成位置とは異なっている。つまり、生成部２５１は、鏡像映像内における、合成位置に対する鏡像の位置にオブジェクトを合成する。例えば、生成部２５１は、記憶部２４０に記憶されたオブジェクトの情報及び合成位置に対する鏡像の位置に従って、図８に示すように、鏡像映像ＭＶにオブジェクトＯＪを合成した配信者用映像を生成する。なお、図８では、配信者用映像が表示部２６０に表示されている様子を示している。これより、配信者ＤＩは、表示部２６０に表示される鏡像映像ＭＶに合成されるオブジェクトＯＪの文字情報を普通に読むことができ、また、そのオブジェクトＯＪを普通に指し示すことで、上述した図７の視聴者用映像においても、オブジェクトＯＪが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。

図４に戻って、配信部２５２は、生成部２５１により生成された視聴者用映像を視聴者端末３００に向けた配信のために配信サーバ１００へ送信する。すなわち、配信部２５２は、送受信部２２０を制御して、上述した図７に示すような視聴者用映像を配信サーバ１００へ送信し、その配信サーバ１００を介して視聴者端末３００へ視聴者用映像を配信する。

変更部２５３は、配信者用映像内におけるオブジェクトに対する配信者からの操作に従って、ライブ映像及び鏡像映像に合成するオブジェクトの表示態様を変更する。例えば、変更部２５３は、表示部２６０に表示されている図８に示すような配信者用映像内におけるオブジェクトＯＪへのピンチ操作に応じて、オブジェクトＯＪの大きさを変更する。具体的に、変更部２５３は、操作受付部２３０にて、配信者によるオブジェクトＯＪへのピンチアウト（２本指でオブジェクトＯＪを押した状態で、それらの指を開く操作）を受け付けると、図９に示すように、オブジェクトＯＪの大きさを拡大させる。逆に、変更部２５３は、操作受付部２３０にて、配信者によるオブジェクトＯＪへのピンチイン（２本指でオブジェクトＯＪを押した状態で、それらの指を閉じる操作）を受け付けると、オブジェクトＯＪの大きさを縮小させる。なお、変更部２５３は、配信者用映像内のオブジェクトＯＪの大きさを変更すると、記憶部２４０に記憶されているオブジェクトの情報も更新する。例えば、図９のように、オブジェクトＯＪの大きさを拡大させると、変更部２５３は、記憶部２４０におけるオブジェクトの情報（一例として、表示倍率）についても値を大きくする。これにより、ライブ映像に対しても、上述した生成部２５１が、オブジェクトの大きさを拡大させて合成することになる。つまり、生成部２５１は、図１０に示すように、大きさを拡大させたオブジェクトＯＪをライブ映像ＬＶに合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、生成部２５１が更新後のオブジェクトの情報等に従って、鏡像映像ＭＶにオブジェクトＯＪを合成した配信者用映像を生成することになるため、配信者用映像においても拡大されたオブジェクトＯＪが維持されることになる。

なお、このような配信者からの操作に従って、オブジェクトの表示態様を変更するのは、オブジェクトの大きさに限られない。変更部２５３は、配信者からの操作に従って、オブジェクトの形状、色彩、模様、明度、輝度の何れかを変更するようにしてもよい。これらのように、配信者は、表示部２６０に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを意図に沿った表示態様に変更することができる。

また、変更部２５３は、配信者からの操作によって配信者用映像内におけるオブジェクトが新たな位置へ移動されると、ライブ映像に合成するオブジェクトをその新たな位置に対する正像の位置へ変更する。例えば、変更部２５３は、操作受付部２３０にて、オブジェクトＯＪへのドラッグ操作（オブジェクトＯＪを指で押した状態で移動させる操作）を受け付けると、図１１に示すように、オブジェクトＯＪをドラッグ操作に応じた新たな位置へ移動させる。なお、変更部２５３は、配信者用映像内のオブジェクトＯＪを移動させると、記憶部２４０に記憶されているオブジェクトの合成位置も更新する。具体的に変更部２５３は、合成位置を、配信者用映像内で移動させたオブジェクトＯＪの新たな位置に対する正像の位置へ変更する。これにより、生成部２５１は、図１２に示すように、ライブ映像ＬＶに対してもオブジェクトＯＪを適切に移動して合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、生成部２５１が、更新後の合成位置に対する鏡像映像ＭＶにおける鏡像の位置に、オブジェクトＯＪを合成した配信者用映像を生成することになるため、配信者用映像においても移動したオブジェクトＯＪの位置が維持されることになる。このように、配信者は、表示部２６０に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを自由に移動させることができる。

なお、上述したＣＰＵ ４０１等が、このような構成からなる制御部２５０として機能しうる。

図４に戻って、表示部２６０は、上述した生成部２５１等により生成された配信者用映像を表示する。つまり、表示部２６０は、上述した図８、図９、及び、図１１に示すような配信者用映像を表示する。

（配信者端末２００の動作）
以下、配信者端末２００の動作について図１３を参照して説明する。図１３は、実施形態１に係る配信処理を説明するためのフローチャートである。この配信処理は、配信者によるライブ配信が開始されると開始され、ライブ配信が終了すると終了する。つまり、配信処理は、ライブ配信が行われている間に渡って配信者端末２００にて実行される。

まず、配信者端末２００は、撮影されたライブ映像の合成位置にオブジェクトを合成した視聴者用映像を生成する（ステップＳ１１）。すなわち、制御部２５０（生成部２５１）は、記憶部２４０に記憶されたオブジェクトの情報及び合成位置に従って、上述した図７に示すように、ライブ映像ＬＶにオブジェクトＯＪを合成した視聴者用映像を生成する。

配信者端末２００は、鏡像映像における、合成位置に対する鏡像の位置にオブジェクトを合成した配信者用映像を生成する（ステップＳ１２）。すなわち、制御部２５０（生成部２５１）は、記憶部２４０に記憶されたオブジェクトの情報及び合成位置に対する鏡像の位置に従って、上述した図８に示すように、鏡像映像ＭＶにオブジェクトＯＪを合成した配信者用映像を生成する。

配信者端末２００は、視聴者用映像を配信し、配信者用映像を表示部２６０に表示する（ステップＳ１３）。すなわち、制御部２５０（配信部２５２）は、上述したステップＳ１１にて生成した視聴者用映像を視聴者端末３００に向けた配信のために配信サーバ１００へ送信する。つまり、制御部２５０は、送受信部２２０を制御して、上述した図７に示すような視聴者用映像を配信サーバ１００へ送信し、その配信サーバ１００を介して視聴者端末３００へ視聴者用映像を配信する。また、表示部２６０は、上述したステップＳ１２にて生成した配信者用映像を表示する。つまり、表示部２６０は、上述した図８に示すような配信者用映像を表示する。これより、配信者ＤＩは、鏡像映像ＭＶに合成されるオブジェクトＯＪの文字情報を普通に読むことができ、また、そのオブジェクトＯＪを普通に指し示すことで、図７の視聴者用映像においても、オブジェクトＯＪが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。

配信者端末２００は、オブジェクトへの操作があったか否かを判別する（ステップＳ１４）。つまり、制御部２５０は、表示部２６０に表示される配信者用映像内のオブジェクトに向けた操作を、操作受付部２３０にて受け付けたかどうかを判別する。

配信者端末２００は、オブジェクトへの操作がなかったと判別すると（ステップＳ１４；Ｎｏ）、上述したステップＳ１１に処理を戻す。

一方、オブジェクトへの操作があったと判別した場合（ステップＳ１４；Ｙｅｓ）に、配信者端末２００は、その操作がピンチ操作であるか否かを判別する（ステップＳ１５）。

配信者端末２００は、ピンチ操作であると判別すると（ステップＳ１５；Ｙｅｓ）、オブジェクトの大きさを変更する（ステップＳ１６）。すなわち、制御部２５０（変更部２５３）は、配信者用映像内におけるオブジェクトへのピンチ操作に応じて、オブジェクトの大きさを変更する。具体的に、制御部２５０は、オブジェクトへのピンチアウトであれば、上述した図９に示すように、オブジェクトＯＪの大きさを拡大させる。逆に、オブジェクトへのピンチインであれば、制御部２５０は、オブジェクトの大きさを縮小させる。なお、制御部２５０は、配信者用映像内のオブジェクトの大きさを変更すると、記憶部２４０に記憶されているオブジェクトの情報も更新する。例えば、図９のように、オブジェクトＯＪの大きさを拡大させると、制御部２５０は、記憶部２４０におけるオブジェクトの情報についても値を大きくする。これにより、制御部２５０は、ライブ映像に対しても、オブジェクトの大きさを拡大させて合成することになる。つまり、制御部２５０は、上述した図１０に示すように、大きさを拡大させたオブジェクトＯＪをライブ映像ＬＶに合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、制御部２５０が更新後のオブジェクトの情報等に従って、鏡像映像にオブジェクトを合成した配信者用映像を生成することになるため、配信者用映像においても拡大されたオブジェクトが維持されることになる。

このようにオブジェクトの大きさを変更すると、配信者端末２００は、上述したステップＳ１１に処理を戻す。

一方、ピンチ操作でないと判別した場合（ステップＳ１５；Ｎｏ）に、配信者端末２００は、その操作がドラッグ操作であるか否かを判別する（ステップＳ１７）。

配信者端末２００は、ドラッグ操作でないと判別すると（ステップＳ１７；Ｎｏ）、上述したステップＳ１１に処理を戻す。

一方、ドラッグ操作であると判別した場合（ステップＳ１７；Ｙｅｓ）に、配信者端末２００は、オブジェクトの合成位置を変更する（ステップＳ１８）。すなわち、制御部２５０（変更部２５３）は、図１１に示すように、配信者用映像内のオブジェクトＯＪをドラッグ操作に応じた新たな位置へ移動させる。なお、制御部２５０は、配信者用映像内のオブジェクトＯＪを移動させると、記憶部２４０に記憶されているオブジェクトの合成位置も更新する。具体的に制御部２５０は、合成位置を、配信者用映像内で移動させたオブジェクトＯＪの新たな位置に対する正像の位置へ変更する。これにより、制御部２５０（生成部２５１）は、図１２に示すように、ライブ映像ＬＶに対してもオブジェクトＯＪを適切に移動して合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、制御部２５０が、更新後の合成位置に対する鏡像映像における鏡像の位置に、オブジェクトを合成した配信者用映像を生成することになるため、配信者用映像においても移動したオブジェクトの位置が維持されることになる。

こうしてオブジェクトの合成位置を変更すると、配信者端末２００は、上述したステップＳ１１に処理を戻す。

なお、図１３に示す配信処理では、配信者からのピンチ操作に従って、オブジェクトの大きさを変更する場合について説明したが、このようなオブジェクトの大きさ以外に、オブジェクトの形状、色彩、模様、明度、輝度の何れかを変更するようにしてもよい。

このような配信処理によって、図８に示すように、鏡像映像ＭＶにおける適切な位置にオブジェクトＯＪが合成されるため、配信者は、オブジェクトＯＪの文字情報を普通に読むことができ、また、そのオブジェクトＯＪを普通に指し示すことで、図７の視聴者用映像においても、オブジェクトＯＪが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。

また、配信処理によって、配信者は、表示部２６０に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを意図に沿った表示態様に変更することができる。

また、配信処理によって、表示部２６０に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを自由に移動させることができる。

（実施形態２）
上記の実施形態１では、シンプルなライブ配信システム１について説明したが、ライブコマースに対応したライブ配信システムであってもよい。以下、ライブコマースに対応したライブ配信システムについて説明する。

図１４は、本開示の実施形態２に係るライブ配信システム２の全体構成の一例を示す模式図である。このライブ配信システム２は、ライブコマースに対応したシステムであって、一例として、配信を管理する配信サーバ１００と、販売を管理する販売サーバ５００と、配信者に使用される配信者端末６００と、視聴者に使用される視聴者端末３００とがインターネット９００を介して通信可能に接続されている。なお、配信サーバ１００及び視聴者端末３００は、上述した図１のライブ配信システム１における配信サーバ１００及び視聴者端末３００と同じ構成である。また、視聴者端末３００は、システムを利用する視聴者の数に応じて、多数存在しているものとする。

販売サーバ５００は、例えば、サーバ用のコンピュータ等であり、配信者端末６００からの配信中に配信者によって紹介される商品を販売する。より詳細には、販売サーバ５００（より詳細には、商品の販売ページ）へ遷移する遷移情報に従って遷移して来た視聴者端末３００（視聴者）に商品を販売する。

配信者端末６００は、例えば、スマートフォン、タブレット、ＰＣ等の端末であり、ライブ映像の配信を行う配信者に使用される。配信者端末６００は、配信において紹介している商品を購入するための遷移情報が付加されたオブジェクト（後述する購入ボタン）等をライブ映像に合成した視聴者用映像を、視聴者端末３００へ配信する。

以下、上述した図２の情報処理装置４００において実現される販売サーバ５００、及び、配信者端末６００の機能等について、図１５～図１９を参照して説明する。情報処理装置４００に電源が投入されると、実施形態２に係る販売サーバ５００、及び、配信者端末６００として機能させるプログラムが実行され、実施形態２に係る販売サーバ５００、及び、配信者端末６００が実現される。

（販売サーバ５００の機能構成）
図１５は、販売サーバ５００の機能構成の一例を示すブロック図である。図示するように、販売サーバ５００は、送受信部５１０と、記憶部５２０と、制御部５３０とを備える。

送受信部５１０は、インターネット９００を介した視聴者端末３００との間で種々の情報を送受信する。例えば、送受信部５１０は、遷移情報に従った視聴者端末３００からのアクセスに応答して、商品の販売ページを視聴者端末３００へ送信する。なお、上述したＮＩＣ ４０４が、このような送受信部５１０として機能しうる。

記憶部５２０は、販売サーバ５００における処理に必要な種々の情報を記憶する。例えば、記憶部５２０は、販売する商品についての詳細情報、価格情報、及び、在庫情報を記憶する。また、記憶部５２０は、視聴者端末３００を使用する視聴者の個人情報（ＩＤ、氏名、住所、及び、クレジットカード番号等）を記憶する。なお、上述した補助記憶部４０７等が、このような記憶部５２０として機能しうる。

制御部５３０は、販売サーバ５００全体を制御する。この制御部５３０は、例えば、販売処理部５３１を含んでいる。

販売処理部５３１は、商品の販売ページを閲覧した視聴者端末３００（視聴者）からの操作に従って、商品の販売を確定する。

上述したＣＰＵ ４０１等が、このような構成からなる制御部５３０として機能しうる。

（配信者端末６００の機能構成）
図１６は、実施形態２に係る配信者端末６００の機能構成の一例を示すブロック図である。図示するように、配信者端末６００は、撮影部２１０と、送受信部２２０と、操作受付部２３０と、記憶部６４０と、制御部６５０と、表示部２６０とを備える。なお、撮影部２１０、送受信部２２０、操作受付部２３０、及び、表示部２６０は、上述した図４の配信者端末２００における撮影部２１０、送受信部２２０、操作受付部２３０、及び、表示部２６０と同じ構成である。なお、撮影部２１０は、図１７に示すような紹介する商品ＰＤ、及び、配信者ＤＩを含んだライブ映像ＬＶを出力する。

図１６に戻って、記憶部６４０は、配信者端末６００における処理に必要な種々の情報を記憶する。例えば、記憶部６４０は、ライブ映像等に合成するためのオブジェクトについての情報やオブジェクトの合成位置等の他に、配信中に紹介する商品を購入するための遷移情報を記憶する。例えば、遷移情報は、販売サーバ５００における該当する商品の販売ページへのリンク情報である。なお、上述した補助記憶部４０７等が、このような記憶部６４０として機能しうる。

制御部６５０は、配信者端末６００全体を制御する。この制御部６５０は、例えば、付加部６５１、生成部２５１、配信部２５２、及び、変更部２５３を含んでいる。なお、生成部２５１、配信部２５２、及び、変更部２５３は、上述した図４の配信者端末２００（制御部２５０）における生成部２５１、配信部２５２、及び、変更部２５３と同じ構成である。

付加部６５１は、記憶部６４０に記憶される特定のオブジェクト（一例として、購入ボタン）に、配信中に紹介されている商品の遷移情報を付加する。なお、既に紹介を終えた商品の遷移情報がオブジェクトに付加されている場合に、付加部６５１は、現在紹介されている商品の遷移情報を上書きしてオブジェクトに付加する。このような遷移情報が付加されたオブジェクトが視聴者端末３００にてタップ操作されると、販売サーバ５００における該当する商品の販売ページへ遷移することができる。

そして、生成部２５１は、撮影部２１０により撮影されているライブ映像内における所定の合成位置に必要なオブジェクトを合成した視聴者用映像を生成する。例えば、生成部２５１は、記憶部６４０に記憶されたオブジェクトの情報及び合成位置に従って、図１８に示すように、ライブ映像ＬＶにオブジェクトＯＪ１，ＯＪ２を合成した視聴者用映像を生成する。なお、オブジェクトＯＪ１は、商品ＰＤを説明するための字幕（バナー）であり、商品名や価格等の文字情報が含まれている。また、オブジェクトＯＪ２は、購入ボタンであり、「購入」の文字情報と、付加部６５１によって付加された遷移情報とが含まれている。

また同時に、生成部２５１は、ライブ映像を反転させた鏡像映像にオブジェクトを合成した配信者用映像を生成する。例えば、生成部２５１は、記憶部６４０に記憶されたオブジェクトの情報及び合成位置に対する鏡像の位置に従って、図１９に示すように、鏡像映像ＭＶにオブジェクトＯＪ１，ＯＪ２を合成した配信者用映像を生成する。なお、図１９では、配信者用映像が表示部２６０に表示されている様子を示している。これより、配信者ＤＩは、表示部２６０に表示される鏡像映像ＭＶに合成されるオブジェクトＯＪ１，ＯＪ２の文字情報を普通に読むことができ、また、それらオブジェクトＯＪ１，ＯＪ２を普通に指し示すことで、上述した図１８の視聴者用映像においても、オブジェクトＯＪ１，ＯＪ２が正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。

なお、変更部２５３は、上述した実施形態１と同様に、配信者用映像内におけるオブジェクトに対する配信者からの操作に従って、ライブ映像及び鏡像映像に合成するオブジェクトの表示態様を変更する。また、変更部２５３は、上述した実施形態１と同様に、配信者からの操作によって配信者用映像内におけるオブジェクトが新たな位置へ移動されると、ライブ映像に合成するオブジェクトをその新たな位置に対する正像の位置へ変更する。

なお、上述したＣＰＵ ４０１等が、このような構成からなる制御部６５０として機能しうる。

（視聴者端末３００での操作）
以下、視聴者端末３００での視聴者の操作について図２０、及び、図２１を参照して説明する。

配信者端末６００から視聴者用映像が配信されると、視聴者端末３００は、例えば、図２０に示すような視聴者用映像を表示部に表示する。そして、配信中に紹介された商品ＰＤの購入を望む場合、視聴者は、オブジェクトＯＪ２をタップ操作することになる。

視聴者がオブジェクトＯＪ２をタップ操作すると、視聴者端末３００は、オブジェクトＯＪ２に付加された遷移情報に従って、販売サーバ５００へアクセスし、図２１に示すような販売ページＳＰを表示部に表示する。なお、販売ページを表示する前に、視聴者端末３００は、販売サーバ５００へログインするための認証画面を表示するようにしてもよい。そして、販売ページＳＰにて購入が確定されると、販売が完了する。

このように、ライブコマースに対応したライブ配信システム２によっても、配信者は、表示部２６０に表示される図１９に示すような鏡像映像ＭＶに合成されるオブジェクトＯＪ１，ＯＪ２の文字情報を普通に読むことができ、また、それらオブジェクトＯＪ１，ＯＪ２を普通に指し示すことで、図１８の視聴者用映像においても、オブジェクトＯＪ１，ＯＪ２が正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。

（他の実施形態）
上記の実施形態１，２では、配信者端末２００，６００の制御部２５０，６５０に生成部２５１等が含まれており、配信者端末２００，６００が、オブジェクトをライブ映像及び鏡像映像に合成する場合について説明したが、この生成部２５１等と同じ構成を配信サーバ１００の制御部１４０に付加するようにしてもよい。この場合、配信サーバ１００側で、オブジェクトをライブ映像及び鏡像映像に合成し、配信者端末２００，６００が、配信サーバ１００から返される配信者用映像を表示部２６０に表示することになる。この場合も、配信者は、表示部２６０に表示される鏡像映像に合成されるオブジェクトの文字情報を普通に読むことができ、また、それらオブジェクトを普通に指し示すことで、視聴者用映像においても、オブジェクトが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。

上記の実施形態１，２では、文字情報を含んだオブジェクトをライブ映像及び鏡像映像に合成する場合について説明したが、例えば、複数の画像を含んだオブジェクトをライブ映像及び鏡像映像に合成する場合でも適宜適用可能である。具体的に、２つの瓶の画像のオブジェクトをライブ映像及び鏡像映像に合成する場合に、配信者は、オブジェクトの画像を確認し、その並びのまま、「右側が塩瓶で、左側が胡椒瓶です」といった説明を正しく行うことができる。

上記の実施形態１，２では、配信者端末２００，６００等によって実行されるプログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＤＶＤ（Digital Versatile Disc），ＭＯ（Magneto-Optical Disk），ＵＳＢメモリ，メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、かかるプログラムを特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを上記の実施形態１，２における配信者端末２００，６００として機能させることも可能である。

また、上記のプログラムをインターネットといった通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。また、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。さらに、プログラムの全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを上記の記録媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。

［１］
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
を実行するプロセッサ、
を備えることを特徴とする配信者端末。
［２］
前記プロセッサは、
前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更、を更に実行する、
ことを特徴とする［１］に記載の配信者端末。
［３］
前記表示態様の変更には、前記オブジェクトの大きさ、形状、色彩、模様、明度、輝度の少なくとも１つの変更が含まれる、
ことを特徴とする［２］に記載の配信者端末。
［４］
前記プロセッサは、
配信者からの操作によって前記配信者用映像内における前記オブジェクトが新たな位置へ移動されると、前記ライブ映像に合成する前記オブジェクトについての前記新たな位置に対する正像の位置への変更、を更に実行する、
ことを特徴とする［１］乃至［３］の何れか１つに記載の配信者端末。
［５］
前記オブジェクトには、商品を販売する販売サーバへ遷移するための遷移情報が付加されている、
ことを特徴とする［１］乃至［４］の何れか１つに記載の配信者端末。
［６］
前記オブジェクトには、文字情報が含まれている、
ことを特徴とする［１］乃至［５］の何れか１つに記載の配信者端末。
［７］
コンピュータが、
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
を実行することを特徴とする表示方法。
［８］
コンピュータに、
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示、
を実行させるためのプログラムを記録したコンピュータ読み取り可能なプログラム。

本開示は、配信者を適切に支援することのできる配信者端末、表示方法、および、プログラムに好適に採用され得る。

１，２ ライブ配信システム
１００ 配信サーバ
１１０ 受信部
１２０ 送信部
１３０ 記憶部
１４０ 制御部
１４１ 管理部
１４２ 配信制御部
２００，６００ 配信者端末
２１０ 撮影部
２２０ 送受信部
２３０ 操作受付部
２４０，６４０ 記憶部
２５０，６５０ 制御部
２５１ 生成部
２５２ 配信部
２５３ 変更部
６５１ 付加部
２６０ 表示部
３００ 視聴者端末
４００ 情報処理装置
４０１ ＣＰＵ
４０２ ＲＯＭ
４０３ ＲＡＭ
４０４ ＮＩＣ
４０５ 画像処理部
４０６ 音声処理部
４０７ 補助記憶部
４０８ インターフェース
４０９ 撮影ユニット
４１０ 操作ユニット
４１１ 表示ユニット
５００ 販売サーバ
５１０ 送受信部
５２０ 記憶部
５３０ 制御部
５３１ 販売処理部
９００ インターネット

Claims (8)

1. 撮影部により撮影されているライブ映像内にオブジェクトを合成して生成された映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
   前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成して生成された配信者用映像の表示と、
   前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更と、
   を実行するプロセッサ、
   を備えることを特徴とする配信者端末。
2. 前記表示態様の変更には、前記オブジェクトの大きさ、形状、色彩、模様、明度、輝度の少なくとも１つの変更が含まれる、
   ことを特徴とする請求項１に記載の配信者端末。
3. 前記プロセッサは、
   配信者からの操作によって前記配信者用映像内における前記オブジェクトが新たな位置へ移動されると、前記ライブ映像に合成する前記オブジェクトについての前記新たな位置に対する正像の位置への変更、を更に実行する、
   ことを特徴とする請求項１又は２に記載の配信者端末。
4. 前記オブジェクトには、商品を販売する販売サーバへ遷移するための遷移情報が付加されている、
   ことを特徴とする請求項１又は２に記載の配信者端末。
5. 前記オブジェクトには、文字情報が含まれている、
   ことを特徴とする請求項１又は２に記載の配信者端末。
6. 前記配信者用映像における前記オブジェクトは、前記視聴者用映像における前記オブジェクトの合成位置に対する鏡像の位置に合成されている、
   ことを特徴とする請求項１又は２に記載の配信者端末。
7. コンピュータが、
   撮影部により撮影されているライブ映像内にオブジェクトを合成して生成された映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
   前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成して生成された配信者用映像の表示と、
   前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更と、
   を実行することを特徴とする表示方法。
8. コンピュータに、
   撮影部により撮影されているライブ映像内にオブジェクトを合成して生成された映像であって、視聴者端末に向けた配信のための視聴者用映像の送信、
   前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成して生成された配信者用映像の表示、
   前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更、
   を実行させるためのプログラム。