JP7516695B2 - 配信中における配信者の反応に基づいてチャプタを設定する動画配信 - Google Patents

配信中における配信者の反応に基づいてチャプタを設定する動画配信 Download PDF

Info

Publication number
JP7516695B2
JP7516695B2 JP2024520673A JP2024520673A JP7516695B2 JP 7516695 B2 JP7516695 B2 JP 7516695B2 JP 2024520673 A JP2024520673 A JP 2024520673A JP 2024520673 A JP2024520673 A JP 2024520673A JP 7516695 B2 JP7516695 B2 JP 7516695B2
Authority
JP
Japan
Prior art keywords
comment
unit
live video
distributor
comments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024520673A
Other languages
English (en)
Other versions
JPWO2024004008A5 (ja
JPWO2024004008A1 (ja
Inventor
航 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Publication of JPWO2024004008A1 publication Critical patent/JPWO2024004008A1/ja
Publication of JPWO2024004008A5 publication Critical patent/JPWO2024004008A5/ja
Application granted granted Critical
Publication of JP7516695B2 publication Critical patent/JP7516695B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、配信中における配信者の反応に基づいてチャプタを設定する動画配信に関する。
近年、配信者が提供するライブ動画を視聴者端末に配信する配信システムが広く普及している。このような配信システムでは、例えば、ライブ動画を視聴している視聴者がコメントを投稿できるようになっている。そして、配信者が、投稿されたコメントに反応し、ライブ動画において、そのコメントについて言及(発話)することもある。これにより、ライブ動画に参加しているという一体感が視聴者に生まれるため、視聴者が配信システムをより多く利用することも期待できる。
このような配信システムの先行技術の一例として、特許文献1には、投稿されたコメントを適切に処理する配信システムについて開示されている。この配信システムでは、動画に重畳させて表示するコメントを、投稿者の属性情報に応じて制限することで、大量のコメントが投稿された場合でも、動画を見易く表示させている。
特開2022-24982号公報
上述した特許文献1に開示された配信システムでは、投稿されたコメントへの配信者の反応が、何ら活用されていなかった。
本開示は、上述のような課題を解決するためになされたものであり、配信中における配信者の反応に基づいてチャプタを設定する動画配信を提供することを目的とする。
本開示の第1の観点に係るサーバ装置は、
1以上のプロセッサを備え、
前記1以上のプロセッサの少なくとも一つによって、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している複数の端末へ配信し、
前記ライブ動画の配信中に、前記複数の端末のうち、視聴者に使用される視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記複数の端末へ送信し、
前記コメント領域に現在表示されている各コメントのうち、前記配信者が反応したコメントを特定し、
前記特定したコメントを受信した時刻に対応する前記ライブ動画の相対時刻に基づいて、前記ライブ動画を区切るためのチャプタを設定する、
処理が実行されることを特徴とする。
本開示の第2の観点に係る設定方法は、
コンピュータが、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している複数の端末へ配信し、
前記ライブ動画の配信中に、前記複数の端末のうち、視聴者に使用される視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記複数の端末へ送信し、
前記コメント領域に現在表示されている各コメントのうち、前記配信者が反応したコメントを特定し、
前記特定したコメントを受信した時刻に対応する前記ライブ動画の相対時刻に基づいて、前記ライブ動画を区切るためのチャプタを設定する、
ことを特徴とする。
本開示の第3の観点に係る記録媒体は、
コンピュータに、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している複数の端末へ配信し、
前記ライブ動画の配信中に、前記複数の端末のうち、視聴者に使用される視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記複数の端末へ送信し、
前記コメント領域に現在表示されている各コメントのうち、前記配信者が反応したコメントを特定し、
前記特定したコメントを受信した時刻に対応する前記ライブ動画の相対時刻に基づいて、前記ライブ動画を区切るためのチャプタを設定する、
処理を実行させるためのプログラムを記録したことを特徴とする。
本開示によれば、配信中における配信者の反応に基づいてチャプタを設定する動画配信を提供することができる。
本開示の実施形態1に係る配信システムの全体構成の一例を示す模式図である。 配信サーバ等が実現される典型的な情報処理装置の概要構成の一例を示すブロック図である。 実施形態1に係る配信サーバの機能構成の一例を示すブロック図である。 コメント管理情報の一例を示す模式図である。 コメント領域におけるコメントの表示を制御する一例を示す模式図である。 配信者端末の機能構成の一例を示すブロック図である。 視聴者端末の機能構成の一例を示すブロック図である。 実施形態1に係る閲覧画面の一例を示す模式図である。 実施形態1に係る配信処理を説明するためのフローチャートである。 本開示の実施形態2に係る配信システムの全体構成の一例を示す模式図である。 実施形態2に係る配信サーバの機能構成の一例を示すブロック図である。 チャプタ管理情報の一例を示す模式図である。 実施形態2に係る閲覧画面の一例を示す模式図である。 実施形態2に係る配信処理を説明するためのフローチャートである。
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。また、以下では、配信サーバ(サーバ装置)が、コメント(配信者が反応したコメント)を特定する場合について説明するが、後述するように、配信者端末が、コメントを特定する場合でも、同様に本開示を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本開示の範囲を制限するものではない。従って、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本開示の範囲に含まれる。
(実施形態1)
図1は、本開示の実施形態1に係る配信システム1の全体構成の一例を示す模式図である。この配信システム1は、一例として、ライブ動画を配信する配信サーバ100と、配信者に使用される配信者端末200と、視聴者に使用される視聴者端末300とがインターネット900を介して通信可能に接続されている。なお、配信者端末200、及び、視聴者端末300は、システムを利用する配信者、及び、視聴者の数に応じて、多数存在しているものとする。
配信サーバ100は、例えば、サーバ装置(サーバ用のコンピュータ等)であり、配信者から提供されるライブ動画を視聴者端末300に向けて配信する。また、配信サーバ100は、ライブ動画の配信中に投稿されたコメントを配信者端末200及び視聴者端末300へ送信する。
配信者端末200は、例えば、PC(Personal Computer)、スマートフォン、タブレット等の端末であり、ライブ配信を行う配信者に使用される。例えば、配信者は、商品を紹介するためのライブ動画を撮影する。配信者端末200は、ライブ動画を配信サーバ100へ提供することにより、配信サーバ100から視聴者端末300へライブ動画の配信が行われる。なお、配信者は、ライブ動画の配信中において、視聴者端末300の視聴者から投稿されたコメントを閲覧でき、所定のコメントに反応して、ライブ動画において、そのコメントについて言及することが可能となっている。
視聴者端末300は、例えば、スマートフォン、タブレット、PC等の端末であり、配信されるライブ動画を視聴する視聴者に使用される。例えば、視聴者は、視聴者端末300において動画閲覧アプリ(若しくは、ブラウザアプリ)を起動させ、配信サーバ100へログインするなどした後に、配信サーバ100から配信されるライブ動画を視聴する。また、視聴者は、視聴しているライブ動画の配信者に宛てたコメントを投稿可能である。つまり、動画閲覧アプリ等の画面には、後述するように、ライブ動画を表示するための動画領域、及び、コメントを表示するためのコメント領域が設けられている。なお、コメント領域には、最新のコメントが所定数だけ表示可能となっている。つまり、コメントが所定数に満たない間は、コメントが投稿される度に、コメント領域に順次追加されていく。そして、コメントが所定数に達した後は、コメントが投稿されると、後入れ先出し方式にて、古いコメントがコメント領域から外れ、新しいコメントがコメント領域に追加される。
(情報処理装置400の概要構成)
実施形態1に係る配信サーバ100、配信者端末200、及び、視聴者端末300が実現される典型的な情報処理装置400について説明する。
情報処理装置400は、図2に示すように、CPU(Central Processing Unit)401と、ROM(Read Only Memory)402と、RAM(Random Access Memory)403と、NIC(Network Interface Card)404と、画像処理部405と、音声処理部406と、補助記憶部407と、インターフェース408と、撮影ユニット409と、音声ユニット410と、操作ユニット411と、表示ユニット412とを備える。
CPU 401は、情報処理装置400全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。
ROM 402には、電源投入直後に実行されるIPL(Initial Program Loader)が記録され、これが実行されることにより、補助記憶部407に記憶されたプログラムをRAM 403に読み出してCPU 401による当該プログラムの実行が開始される。
RAM 403は、データやプログラムを一時的に記憶するためのもので、補助記憶部407から読み出されたプログラムやデータ、その他、通信に必要なデータ等が保持される。
NIC 404は、情報処理装置400をインターネット等のコンピュータ通信網に接続するためのものであり、LAN(Local Area Network)を構成する際に用いられる10BASE-T/100BASE-T規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ISDN(Integrated Services Digital Network)モデム、ADSL(Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等から構成される。
画像処理部405は、補助記憶部407等から読み出された画像データをCPU 401や画像処理部405が備える画像演算プロセッサ(図示せず)によって加工処理した後、これを画像処理部405が備えるフレームメモリ(図示せず)に記録する。フレームメモリに記録された画像データは、所定の同期タイミングでビデオ信号に変換され、インターフェース408等を介して表示ユニット412に出力される。つまり、画像処理部405は、CPU 401の制御の下、情報処理装置400が行う処理の進行の中で必要となる画像を生成し、その画像を表示ユニット412に表示させる。
音声処理部406は、補助記憶部407等から読み出された音楽データや音声データを音声信号に変換し、インターフェース408等を介して外部に出力する。なお、情報処理装置400が内部にスピーカを備えている場合において、音声処理部406は、変換した音声信号を当該スピーカに出力する。つまり、音声処理部406は、CPU 401の制御の下、情報処理装置400が行う処理の進行の中で発生させるべき楽曲音や音声を生成し、その楽曲音等を内部又は外部のスピーカから出力させる。
補助記憶部407は、ハードディスク、SSD(Solid State Drive)等であり、情報処理装置400全体の動作制御に必要な各種のプログラムや各種のデータを記憶する。例えば、補助記憶部407には、実施形態に係る配信サーバ100等を実現するためのプログラムが記憶される。そして、CPU 401の制御によって、補助記憶部407は、記憶されたプログラムやデータを適宜読み出し、これらをRAM 403等に一時的に記憶させる。
インターフェース408は、例えば、HDMI(登録商標)、USB(Universal Serial Bus)、I2C(Inter-Integrated Circuit)等の規格に準拠しており、撮影ユニット409、音声ユニット410、操作ユニット411、及び、表示ユニット412が接続される。なお、インターフェース408は、この他に接続された外部機器との間で必要な情報を送受信してもよい。
撮影ユニット409は、例えば、単焦点のレンズ、及び、所定画素数の撮像素子(CMOS;Complementary Metal Oxide SemiconductorやCCD;Charge Coupled Device)等であり、静止画又は動画を撮影する。
音声ユニット410は、例えば、マイクロフォン等であり、情報処理装置400を利用する作業者等の音声(発話)を入力する。
操作ユニット411は、情報処理装置400を利用する作業者等の操作入力を受け付ける。
表示ユニット412は、画像処理部405により出力された画像データに応じた画像を描画し、情報処理装置400を利用する作業者等に提示する。
この他に、情報処理装置400は、補助記憶部407の代わりに、DVD(Digital Versatile Disc)-ROM等のドライブユニットを備えるようにしてもよい。この場合、情報処理装置400は、ドライブユニットに装着されるDVD-ROM等からプログラムやデータを読み出して、上記と同様に動作する。
以下、上記の情報処理装置400において実現される配信サーバ100、配信者端末200、及び、視聴者端末300の機能等について、図3~図8を参照して説明する。情報処理装置400に電源が投入されると、実施形態1に係る配信サーバ100、配信者端末200、及び、視聴者端末300として機能させるプログラムが実行され、実施形態1に係る配信サーバ100、配信者端末200、及び、視聴者端末300が実現される。
(配信サーバ100の機能構成)
図3は、実施形態1に係る配信サーバ100の機能構成の一例を示すブロック図である。図示するように、配信サーバ100は、送信部110と、受信部120と、記憶部130と、制御部140とを備える。
送信部110は、視聴者端末300等に向けた種々の情報を、インターネット900を介して送信する。例えば、送信部110は、配信者端末200から提供されたライブ動画を視聴者端末300へ配信する。また、送信部110は、視聴者端末300から投稿されたコメントを配信者端末200及び視聴者端末300へ送信する。更に、送信部110は、コメントの表示態様を変更するための指令情報を視聴者端末300等に送信する。なお、上述したNIC 404が、このような送信部110として機能しうる。
受信部120は、インターネット900を介して配信者端末200及び視聴者端末300から送られる種々の情報を受信する。例えば、受信部120は、配信者端末200から提供されたライブ動画を受信する。また、受信部120は、視聴者端末300から投稿されたコメントを受信する。なお、上述したNIC 404が、このような受信部120として機能しうる。
記憶部130は、配信サーバ100における処理に必要な種々の情報を記憶する。例えば、記憶部130は、コメント管理情報131を記憶する。
コメント管理情報131は、ライブ動画の配信中に視聴者から投稿されたコメントを管理するための情報であり、一例として、図4に示すような情報を含んでいる。つまり、コメント管理情報131には、コメントID131a、受信時刻131b、コメント131c、表示フラグ131d、及び、反応フラグ131e等の情報が含まれている。なお、表示フラグ131dは、視聴者端末300において、所定数のコメントを表示するためのコメント領域にて、そのコメントが現在表示されているかどうかを示すフラグである。つまり、表示フラグ131dが「1」の場合に、そのコメントが表示対象であることを示しており、一方、表示フラグ131dが「0」の場合に、そのコメントが表示対象外であることを示している。また、反応フラグ131eは、そのコメントに対して、配信者が反応したかどうかを示すフラグである。つまり、反応フラグ131eが「1」の場合に、そのコメントに対して配信者が反応したことを示しており、一方、反応フラグ131eが「0」の場合に、そのコメントに対して配信者が反応していない(未反応)であることを示している。
記憶部130は、この他にも、制御部140の処理に必要な種々の情報を記憶する。例えば、記憶部130は、視聴者端末300を使用する視聴者のIDやパスワード等を記憶する。また、記憶部130は、ライブ動画に関する情報として、動画管理ID、動画タイトル、動画概要、配信開始時刻等も記憶する。なお、上述した補助記憶部407等が、このような記憶部130として機能しうる。
図3に戻って、制御部140は、配信サーバ100全体を制御する。この制御部140は、例えば、配信制御部141、コメント管理部142、音声認識部143、特定部144、及び、表示制御部145を含んでいる。
配信制御部141は、配信者端末200から受信したライブ動画を視聴者端末300へ配信する。すなわち、配信制御部141は、受信部120が配信者端末200から提供されたライブ動画を受信すると、送信部110を制御して、受信したライブ動画を視聴者端末300へ配信する。
コメント管理部142は、ライブ動画を視聴している視聴者から投稿されたコメントを管理する。すなわち、コメント管理部142は、受信部120が視聴者端末300から投稿されたコメントを受信すると、送信部110を制御して、受信したコメントを配信者端末200及び視聴者端末300へ送信する。また、コメント管理部142は、上述した図4に示すコメント管理情報131を更新する。つまり、コメント管理部142は、新たに投稿されたコメントをコメント管理情報131に追加する(表示フラグ131dには、「1」をセットし、反応フラグ131eには、「0」をセットする)と共に、表示フラグ131dが「1」のコメントのうちで、受信時刻131bが最も古いコメントの表示フラグ131dを「0」に変更する。また、コメント管理部142は、後述する特定部144がコメントを特定すると、そのコメントの反応フラグ131eを「1」に変更する。
音声認識部143は、ライブ動画において、配信者が発話した音声をリアルタイムに音声認識して、発話テキストに変換する。例えば、音声認識部143は、配信者が発話する度に、音声データを音素単位にそれぞれ分割し、標本音素の特徴分布と比較しつつ各音素を特定し、単語へのパターンマッチング等を経て、最終的に、配信者が発話した発話テキストを生成する。
特定部144は、配信者の音声が上記の音声認識部143によって発話テキストに変換される度に、変換された発話テキストと、視聴者端末300のコメント領域にて現在表示されている各コメントとを比較することにより、配信者が反応したコメント(配信者がライブ動画において言及したコメント)を特定する。より詳細に、特定部144は、まず、発話テキスト(自然文)を形態素解析してキーワード(一例として、名詞、名詞句等)を抽出する。次に、特定部144は、図4に示すコメント管理情報131を参照し、表示フラグ131dが「1」となっている各コメントを形態素解析してそれぞれのキーワードを抽出する。そして、特定部144は、発話テキストから抽出したキーワード(発話テキストに含まれるキーワード)と、各コメントからそれぞれ抽出したキーワード(各コメントにそれぞれ含まれるキーワード)とを比較して、一致したキーワードが含まれるコメントを、配信者が反応したコメントとして特定する。
より具体的に、配信者が「バッテリーの駆動時間は、だいたい4時間くらいでした」と発話した場合について説明する。なお、この発話時点で、コメント管理情報131にて表示フラグ131dが「1」となっているコメント(コメント131c)が、「説明上手だね」、「なるほどね」、「旧型の方が好きかも」、「その機能を待っていた」、及び、「駆動時間はどれくらい?」であったものとする。この場合、特定部144は、音声認識部143によって変換された発話テキストから「バッテリー」、「駆動時間」、及び、「4時間」のキーワードを抽出し、また、各コメントから「説明上手」、「-(キーワードなし)」、「旧型の方」、「機能」、及び、「駆動時間」のキーワードを抽出する。そして、特定部144は、発話テキストから抽出した各キーワード毎に、各コメントから抽出した各キーワードと比較する。この場合、「駆動時間」というキーワードが一致するため、特定部144は、この「駆動時間」というキーワードを含む「駆動時間はどれくらい?」というコメントを、配信者が反応したコメントとして特定する。
なお、特定部144は、発話テキストから抽出したキーワードをキーにして、表示フラグ131dが「1」となっている各コメントを文字検索するようにし、検索されたコメント(つまり、キーワードを含むコメント)を、配信者が反応したコメントとして特定するようにしてもよい。
表示制御部145は、上記の特定部144が特定したコメントについて、視聴者端末300における表示を制御する。例えば、表示制御部145は、特定部144が特定したコメントの表示態様を変更するための指令情報を、視聴者端末300へ送信することで、視聴者端末300のコメント領域において、特定したコメント(つまり、配信者が反応したコメント)の表示態様を異ならせる。
より具体的に、上記の特定部144が、「駆動時間はどれくらい?」というコメントを特定した場合について説明する。この場合、表示制御部145は、例えば、このコメントの文字色、及び、背景色を変更するための指令情報を、視聴者端末300へ送信する。この指令情報を受信した視聴者端末300では、例えば、図5に示すように、コメント領域CAにおいて、コメントDC(「駆動時間はどれくらい?」)の表示態様が変更される。なお、表示態様の変更は、このような文字色、及び、背景色を変更するものに限られず、他に、フォントの変更、文字サイズ等を変更するものであってもよい。
上述したCPU 401等が、これらのような構成からなる制御部140として機能しうる。
(配信者端末200の機能構成)
図6は、配信者端末200の機能構成の一例を示すブロック図である。図示するように、配信者端末200は、撮影部210と、音声入力部220と、送受信部230と、操作受付部240と、記憶部250と、制御部260と、表示部270とを備える。
撮影部210は、例えば、配信者端末200に配置されたカメラであり、配信中に配信者等を撮影する。つまり、撮影部210は、配信中において、配信者を含んだ映像を出力する。なお、上述した撮影ユニット409が、このような撮影部210として機能しうる。
音声入力部220は、配信者の音声を入力する。例えば、音声入力部220は、配信者が配信中に発話した音声を入力する。なお、上述した音声ユニット410が、このような音声入力部220として機能しうる。
送受信部230は、インターネット900を介した配信サーバ100との間で種々の情報を送受信する。例えば、送受信部230は、制御部260(後述する配信部262)により制御され、撮影部210によって撮影された映像(より詳細には、音声入力部220によって入力した音声も含む動画)にオブジェクトを合成した映像を配信サーバ100へ送信する(配信サーバ100を介して視聴者端末300へ配信する)。また、送受信部230は、配信サーバ100から送られるコメント(視聴者端末300から投稿されたコメント)を受信する。なお、上述したNIC 404が、このような送受信部230として機能しうる。
操作受付部240は、タッチパネルやポインティングデバイスであり、配信者からの各種の操作を受け付ける。例えば、操作受付部240は、撮影部210によって撮影された映像に合成されるオブジェクトに向けた操作を受け付ける。なお、上述した操作ユニット411が、このような操作受付部240として機能しうる。
記憶部250は、配信者端末200における処理に必要な種々の情報を記憶する。例えば、記憶部250は、撮影された映像に合成するためのオブジェクトについての情報やオブジェクトの合成位置等を記憶する。一例として、オブジェクトは、ライブ動画において、視聴者へ報知するための文字情報を含んだ字幕(バナー)である。また、合成位置は、映像内におけるオブジェクトを合成する位置である。なお、上述した補助記憶部407等が、このような記憶部250として機能しうる。
制御部260は、配信者端末200全体を制御する。この制御部260は、例えば、合成部261、及び、配信部262を含んでいる。
合成部261は、撮影部210により撮影された映像内にオブジェクトを合成する。例えば、合成部261は、記憶部250に記憶されたオブジェクトの情報及び合成位置に従って、視聴者へ報知するための文字情報を撮影された映像内に合成する。
配信部262は、合成部261によりオブジェクトが合成された映像を視聴者端末300に向けた配信のために配信サーバ100へ送信する。すなわち、配信部262は、送受信部230を制御して、オブジェクトが合成された映像を配信サーバ100へ送信し、その配信サーバ100を介して視聴者端末300へ映像を配信する。
なお、上述したCPU 401等が、このような構成からなる制御部260として機能しうる。
表示部270は、上述した合成部261によりオブジェクトが合成された映像を表示する。また、表示部270は、視聴者端末300の後述する表示部350と同様に、コメント領域を有しており、送受信部230が受信したコメントを表示する。なお、上述した表示ユニット412が、このような表示部270として機能しうる。
(視聴者端末300の機能構成)
図7は、視聴者端末300の機能構成の一例を示すブロック図である。図示するように、視聴者端末300は、送受信部310と、操作受付部320と、記憶部330と、制御部340と、表示部350とを備える。
送受信部310は、インターネット900を介した配信サーバ100との間で種々の情報を送受信する。例えば、送受信部310は、制御部340により制御され、配信サーバ100から配信されたライブ動画を受信する。また、送受信部310は、操作受付部320から受け付けたコメントを配信サーバ100へ送信し、また、配信サーバ100から送られたコメントや指令情報(コメントの表示態様を変更するための指令情報)を受信する。なお、上述したNIC 404が、このような送受信部310として機能しうる。
操作受付部320は、タッチパネルやポインティングデバイスであり、視聴者からの各種の操作を受け付ける。例えば、操作受付部320は、視聴者から入力されたコメントを受け付ける。なお、上述した操作ユニット411が、このような操作受付部320として機能しうる。
記憶部330は、視聴者端末300における処理に必要な種々の情報を記憶する。例えば、記憶部330は、動画閲覧アプリやブラウザアプリを含む各種のアプリケーションを記憶する。より詳細には、各種のアプリケーションが記憶部330にインストールされている。なお、動画閲覧アプリは、例えば、配信サーバ100から配信される動画を閲覧するためのアプリケーションである。また、ブラウザアプリでも、配信サーバ100から配信される動画を閲覧可能であってもよい。なお、上述した補助記憶部407等が、このような記憶部330として機能しうる。
制御部340は、視聴者端末300全体を制御する。例えば、制御部340は、記憶部330に記憶された動画閲覧アプリを実行し、配信サーバ100から配信されたライブ動画等を表示部350に表示する。後述するように、表示部350には、ライブ動画を表示するための動画領域と、コメントを表示するためのコメント領域とが設けられているため、制御部340は、送受信部310が受信したライブ動画を動画領域に表示し、また、送受信部310が受信したコメントをコメント領域に表示する。このコメント領域は、最新のコメントが所定数だけ表示可能となっている。そのため、コメントが所定数に満たない間において、制御部340は、送受信部310がコメントを受信する度に、コメント領域に受信したコメントを順次追加する。そして、コメントが所定数に達した後において、制御部340は、送受信部310がコメントを受信する度に、後入れ先出し方式にて、古いコメントをコメント領域から消去し、新しいコメントをコメント領域に追加する。また、制御部340は、送受信部310が指令情報を受信した際に、その指令情報に従って、コメント領域における対象のコメントの表示態様を変更する。なお、上述したCPU 401等が、このような構成からなる制御部340として機能しうる。
表示部350は、上記の制御部340が実行するアプリケーションに応じた画面を表示する。例えば、制御部340にて動画閲覧アプリが実行されると、表示部350は、図8に示すような閲覧画面VG1を表示する。この閲覧画面VG1には、ライブ動画を表示するための動画領域VAと、投稿された所定数のコメントを表示するためのコメント領域CAとが含まれている。なお、コメント領域CAにおいて、配信者が反応したコメントDCには、他のコメントとは異なる表示態様にて表示されている。
(配信サーバ100の動作)
以下、配信サーバ100の動作について図9を参照して説明する。図9は、実施形態1に係る配信処理を説明するためのフローチャートである。この配信処理は、例えば、配信者端末200からライブ動画の提供が開始されると、配信サーバ100によって実行される。
まず、配信サーバ100は、ライブ動画の配信を開始する(ステップS11)。すなわち、制御部140(配信制御部141)は、配信者端末200から提供されたライブ動画を受信部120にて受信すると、送信部110を制御して、受信したライブ動画を視聴者端末300へ配信する。
配信サーバ100は、新たなコメントを受信したか否かを判別する(ステップS12)。すなわち、制御部140(コメント管理部142)は、視聴者端末300から投稿されたコメントを受信部120にて受信したかどうかを判別する。
配信サーバ100は、新たなコメントを受信していないと判別すると(ステップS12;No)、後述するステップS14に処理を進める。
一方、新たなコメントを受信したと判別した場合(ステップS12;Yes)に、配信サーバ100は、コメント管理情報を更新し、受信したコメントを各端末へ送信する(ステップS13)。すなわち、制御部140(コメント管理部142)は、上述した図4に示すコメント管理情報131を更新する。つまり、コメント管理部142は、新たなコメントをコメント管理情報131に追加する(表示フラグ131dには、「1」をセットし、反応フラグ131eには、「0」をセットする)と共に、表示フラグ131dが「1」のコメントのうちで、受信時刻131bが最も古いコメントの表示フラグ131dを「0」に変更する。そして、制御部140は、新たなコメントを配信者端末200及び視聴者端末300へ送信する。
配信サーバ100は、配信者による発話があったか否かを判別する(ステップS14)。すなわち、制御部140(音声認識部143)は、ライブ動画において、配信者が発話したかどうかを判別する。
配信サーバ100は、配信者による発話がなかったと判別すると(ステップS14;No)、後述するステップS19に処理を進める。
一方、配信者による発話があったと判別した場合(ステップS14;Yes)に、配信サーバ100は、配信者の音声を音声認識して、発話テキストに変換する(ステップS15)。すなわち、制御部140(音声認識部143)は、例えば、配信者が発話した音声データを音素単位にそれぞれ分割し、標本音素の特徴分布と比較しつつ各音素を特定し、単語へのパターンマッチング等を経て、最終的に、配信者が発話した発話テキストを生成する。
配信サーバ100は、発話テキストと表示対象の各コメントとを比較する(ステップS16)。すなわち、制御部140(特定部144)は、上記のステップS15にて変換された発話テキストと、視聴者端末300のコメント領域にて現在表示されている各コメントとを比較する。より詳細に、制御部140は、まず、発話テキストを形態素解析してキーワード(一例として、名詞、名詞句等)を抽出する。次に、制御部140は、図4に示すコメント管理情報131を参照し、表示フラグ131dが「1」となっている各コメントを形態素解析してそれぞれのキーワードを抽出する。そして、制御部140は、発話テキストから抽出したキーワードと、各コメントからそれぞれ抽出したキーワードとを比較する。
配信サーバ100は、一致するコメントがあったか否かを判別する(ステップS17)。例えば、制御部140(特定部144)は、上記のステップS16での比較により、発話テキストに含まれるキーワードと一致するキーワードが含まれるコメントがあったかどうかを判別する。
配信サーバ100は、一致するコメントがなかったと判別すると(ステップS17;No)、後述するステップS19に処理を進める。
一方、一致するコメントがあったと判別した場合(ステップS17;Yes)に、配信サーバ100は、一致したコメントに対する表示の変更を各端末に指令する(ステップS18)。すなわち、制御部140(表示制御部145)は、一致したコメントの表示態様を変更するための指令情報を、視聴者端末300等へ送信することで、視聴者端末300のコメント領域において、配信者が反応したコメントの表示態様を異ならせる。例えば、指令情報を受信した視聴者端末300は、上述した図8に示す閲覧画面VG1のコメント領域CAにおいて、コメントDC(「駆動時間はどれくらい?」)の表示態様を変更して表示する。
配信サーバ100は、ライブ動画の配信が終了したか否かを判別する(ステップS19)。すなわち、制御部140(配信制御部141)は、配信者端末200から提供されるライブ動画が終了したかどうかを判別する。
配信サーバ100は、ライブ動画の配信が終了していないと判別すると(ステップS19;No)、上述したステップS12に処理を戻す。
一方、ライブ動画の配信が終了したと判別した場合(ステップS19;Yes)に、配信サーバ100は、配信処理を終了する。
このような配信処理によって、視聴者に投稿されたコメントのうち、配信者が反応したコメントを識別可能に表示することができる。しかも、配信者が反応したコメントを特定するに際して、コメント領域に表示されているコメントのみを対象とするため、発話テストとのマッチング精度を高めると共に、マッチングの処理をより高速に行うことができる。この結果、投稿されたコメントに配信者が反応したか否かを、高い精度で、かつ、低い演算負荷で判定することができる。
上記の実施形態1では、配信者が反応したコメントの表示態様を変更する場合について説明したが、他の観点でコメントの表示を制御してもよい。例えば、表示制御部145は、特定部144が特定したコメント(配信者が反応したコメント)を、標準よりも長時間に亘ってコメント領域に表示させるようにしてもよい。
より詳細に説明すると、表示制御部145は、特定部144が特定したコメントの受信時刻を本来の時刻よりも一定時間遅くする(新しくする)ための指令情報を視聴者端末300へ送信することで、視聴者端末300のコメント領域に特定したコメントがより長く表示されるようにする。また、この指令情報に、コメントの表示態様を変更するための第1指令情報と、コメントの受信時刻を本来の時刻よりも一定時間遅くするための第2指令情報とを含ませて、表示態様を変更したコメントが、標準よりも長時間に亘ってコメント領域に表示させるようにしてもよい。これらの場合、配信者が反応したコメントを優先して表示させることができる。
(実施形態2)
上記の実施形態1では、配信者が反応したコメントを特定した際に、そのコメントの表示を変更する場合について説明したが、配信者が反応したコメントをチャプタの設定に利用してもよい。以下、配信者が反応したコメントをチャプタの設定に利用することを特徴とする配信システムについて説明する。
図10は、本開示の実施形態2に係る配信システム2の全体構成の一例を示す模式図である。この配信システム2は、一例として、ライブ動画を配信する配信サーバ500と、配信者に使用される配信者端末200と、視聴者に使用される視聴者端末300とがインターネット900を介して通信可能に接続されている。なお、配信者端末200、及び、視聴者端末300は、上記の実施形態1に係る配信システム1と同じ構成である。つまり、配信サーバ500だけが、図1の配信システム1と異なっている。
配信サーバ500も、上述した図2の情報処理装置400にて実現される。すなわち、情報処理装置400に電源が投入されると、実施形態2に係る配信サーバ500として機能させるプログラムが実行され、実施形態2に係る配信サーバ500が実現される。
(配信サーバ500の機能構成)
図11は、実施形態2に係る配信サーバ500の機能構成の一例を示すブロック図である。図示するように、配信サーバ500は、送信部110と、受信部120と、記憶部530と、制御部540とを備える。なお、送信部110、及び、受信部120は、上述した図3の配信サーバ100における送信部110、及び、受信部120と同じ構成である。
記憶部530は、配信サーバ500における処理に必要な種々の情報を記憶する。例えば、記憶部530は、コメント管理情報131とチャプタ管理情報531とを記憶する。なお、コメント管理情報131は、上述した図4のコメント管理情報131と同じ情報である。また、記憶部530は、ライブ動画の配信と並行してライブ動画を保存(録画)する。つまり、制御部540(配信制御部141)は、ライブ動画を配信しながら、記憶部530にライブ動画を保存する。これにより、後述するように、制御部540は、ライブ動画の配信中であっても、遅れて視聴を開始した視聴者が見逃した場面から視聴するために、いわゆる追いかけ再生を行った場合に、記憶部530に保存した分のライブ動画を用いた配信を行うことができる。この他も、ライブ動画の配信が終了した後に、視聴者がそのライブ動画(過去動画)をオンデマンド再生した場合に、制御部540は、記憶部530に保存したライブ動画を用いた配信を行うことができる。
チャプタ管理情報531は、ライブ動画を区切るためのチャプタを管理するための情報であり、一例として、図12に示すような情報を含んでいる。つまり、チャプタ管理情報531には、チャプタ番号531a、相対時刻531b、キーワード531c、及び、アドレス531d等の情報が含まれている。なお、相対時刻531bは、ライブ動画におけるチャプタの開始位置を示す時刻情報であり、ライブ動画の開始時点を基準とした相対的な時刻(先頭からの経過時刻)で示されている。また、キーワード531cは、チャプタを識別するための語句であり、また、チャプタ内で配信者によって言及される語句でもある。そして、アドレス531dは、チャプタの開始位置を指定してライブ動画を閲覧するためのURL(Uniform Resource Locator)である。なお、このURLの末尾に付加されている「?t=103」は、引数の一例であり、そのライブ動画の先頭から103秒(相対時刻531bの値を秒に変換したもの)が経過した位置から閲覧を開始することを規定している。
記憶部530は、この他にも、制御部540の処理に必要な種々の情報を記憶する。例えば、記憶部530は、視聴者端末300を使用する視聴者のIDやパスワード等を記憶する。また、記憶部530は、ライブ動画に関する情報も記憶する。なお、上述した補助記憶部407等が、このような記憶部530として機能しうる。
図11に戻って、制御部540は、配信サーバ500全体を制御する。この制御部540は、例えば、配信制御部141、コメント管理部142、音声認識部143、特定部144、及び、設定部541を含んでいる。なお、コメント管理部142、音声認識部143、及び、特定部144は、上述した図3の配信サーバ100(制御部140)におけるコメント管理部142、音声認識部143、及び、特定部144と同じ構成である。また、配信制御部141は、上述した配信サーバ100の配信制御部141の機能に加えて、以下の機能を更に有している。
配信制御部141は、ライブ動画を視聴者端末300へ配信しながら、記憶部530にライブ動画を保存する。また、以下に説明する設定部541が、ライブ動画にチャプタを設定した後において、そのライブ動画を、視聴者が追いかけ再生やオンデマンド再生した場合に、配信制御部141は、ライブ動画の再生位置を示すシークバーに、チャプタを表示する。これにより、後述するチャプタ情報(概要領域SAに表示されるチャプタ情報CD)への操作以外にも、視聴者が、シークバーをチャプタまで移動させることで、そのチャプタの開始位置からライブ動画を閲覧することができる。
設定部541は、特定部144が特定したコメントを受信した時刻に対応するライブ動画における相対時刻(つまり、ライブ動画の開始時刻を基準とした相対時刻)に基づいて、ライブ動画を区切るためのチャプタを設定する。例えば、設定部541は、上述した図12に示すようなチャプタ管理情報531を作成し、作成したチャプタ管理情報531をライブ動画の概要情報に付加することで、チャプタを設定する。
より具体的に、特定部144が、発話テキストから「駆動時間」等のキーワードを抽出しており、また、コメント領域にて現在表示されているコメントから「駆動時間はどれくらい?」というコメントを特定している場合を一例として説明する。なお、ライブ動画の開始時刻は「20:20:00」であり、ライブ動画のアドレスは「https://XXXX.com/AbCd1eFgH2IjK」であるものとする。この場合、設定部541は、まず、図4に示すコメント管理情報131における該当するコメント(コメント131cの「駆動時間はどれくらい?」というコメント)の受信時刻131bから、ライブ動画の開始時刻を減算することにより、ライブ動画における相対時刻を算出する。つまり、設定部541は、「20:21:43」から「20:20:00」を減算し、「0:01:43」を得ると、図12に示すチャプタ管理情報531における相対時刻531bにセットする。次に、設定部541は、特定部144がコメントを特定する際に用いたキーワード(つまり、「駆動時間」というキーワード)を、チャプタ管理情報531におけるキーワード531cにセットする。最後に、設定部541は、ライブ動画のアドレスに、引数の「?t=103」(先頭から103秒が経過した位置から閲覧を開始する)を付加し、チャプタ管理情報531におけるアドレス531dにセットする。
このようにして生成されたチャプタ管理情報531を、ライブ動画についての概要情報に付加することで、チャプタを設定する。例えば、図12に示すようなチャプタ管理情報531がライブ動画についての概要情報に付加された後に、視聴者端末300によってライブ動画が閲覧されると、視聴者端末300の表示部350は、図13に示すような閲覧画面VG2を表示する。この閲覧画面VG2には、ライブ動画を表示するための動画領域VAと、ライブ動画の概要を表示するための概要領域SAと、投稿された所定数のコメントを表示するためのコメント領域CAとが含まれている。なお、概要領域SAには、チャプタ情報CDが付加されている。このチャプタ情報CDには、チャプタ管理情報531におけるアドレス531dがリンク付けされており、視聴者がチャプタ情報CDをタッチ操作することで、そのチャプタの開始位置からライブ動画を閲覧することが可能となっている。
(配信サーバ500の動作)
以下、配信サーバ500の動作について図14を参照して説明する。図14は、実施形態2に係る配信処理を説明するためのフローチャートである。この配信処理は、例えば、配信者端末200からライブ動画の提供が開始されると、配信サーバ500によって実行される。なお、図14の配信処理におけるステップS11~S17、及び、ステップS19は、上述した図9の配信処理におけるステップS11~S17、及び、ステップS19と同じ処理内容である。そのため、同じ処理内容については、簡単に説明する。
まず、配信サーバ500は、ライブ動画の配信を開始し(ステップS11)、新たなコメントを受信したか否かを判別する(ステップS12)。
配信サーバ500は、新たなコメントを受信していないと判別すると(ステップS12;No)、後述するステップS14に処理を進める。一方、新たなコメントを受信したと判別した場合(ステップS12;Yes)に、配信サーバ500は、コメント管理情報を更新し、受信したコメントを各端末へ送信する(ステップS13)。
配信サーバ500は、配信者による発話があったか否かを判別する(ステップS14)。
配信サーバ500は、配信者による発話がなかったと判別すると(ステップS14;No)、後述するステップS19に処理を進める。一方、配信者による発話があったと判別した場合(ステップS14;Yes)に、配信サーバ500は、配信者の音声を音声認識して、発話テキストに変換する(ステップS15)。
配信サーバ500は、発話テキストと表示対象の各コメントとを比較し(ステップS16)、一致するコメントがあったか否かを判別する(ステップS17)。
配信サーバ500は、一致するコメントがなかったと判別すると(ステップS17;No)、後述するステップS19に処理を進める。
一方、一致するコメントがあったと判別した場合(ステップS17;Yes)に、配信サーバ500は、ライブ動画を区切るためのチャプタを設定する(ステップS21)。すなわち、制御部540(設定部541)は、一致するコメントを受信した時刻に対応するライブ動画における相対時刻(つまり、ライブ動画の開始時刻を基準とした相対時刻)に基づいて、ライブ動画を区切るためのチャプタを設定する。例えば、制御部540は、上述した図12に示すようなチャプタ管理情報531を作成し、作成したチャプタ管理情報531をライブ動画の概要情報に付加することで、チャプタを設定する。
配信サーバ500は、ライブ動画の配信が終了したか否かを判別する(ステップS19)。
配信サーバ500は、ライブ動画の配信が終了していないと判別すると(ステップS19;No)、上述したステップS12に処理を戻す。一方、ライブ動画の配信が終了したと判別した場合(ステップS19;Yes)に、配信サーバ500は、配信処理を終了する。
このような配信処理によって、配信者が反応したコメントを特定し、特定したコメントの受信時刻に対応するライブ動画の相対時刻に基づいて、ライブ動画を区切るためのチャプタを容易に設定することができる。つまり、配信者が反応した時刻ではなく、配信者が反応したコメントを受信した時刻を使用するため、コメントに反応する前の話題が分かる位置でチャプタが設定される。この結果、ライブ動画を区切るためのチャプタを、適切に設定することができる。また、従来では、配信者や視聴者等が手動でチャプタを設定していたため、大きな負担となっていたが、本実施形態によれば、自動的にチャプタを設定することが可能となるため、このような人的負担を解消することができる。
上記の実施形態2では、生成したチャプタ管理情報に基づいて、図13に示すような概要領域SAにチャプタ情報CDを付加する場合について説明したが、このようなチャプタ情報CDを含んだメッセージをSNS(Social Networking Service)に投稿できるようにしてもよい。チャプタ情報CDを含んだメッセージがSNSに投稿された後において、そのメッセージを閲覧した利用者が、チャプタ情報CDを操作することで、例えば、動画閲覧アプリが起動され、上記と同様に、チャプタの開始位置からライブ動画を閲覧することができる。
(他の実施形態)
上記の実施形態1,2では、ライブ動画における配信者の音声を音声認識した発話テキストと、表示中の各コメントとを比較して、配信者が反応したコメントを特定する場合について説明したが、他の手法で、配信者が反応したコメントを特定してもよい。例えば、配信者端末200にて、配信者が投稿されたコメントを任意に選択できるようにし、配信者によって選択されたコメントを、配信者が反応したコメントとして特定してもよい。
より詳細に説明すると、配信者端末200の表示部270にも、視聴者端末300の表示部350と同様に、コメント領域を有しており、送受信部230が受信したコメント(投稿されたコメント)を表示する。そして、配信中の配信者が、コメント領域に表示されている何れかのコメントを選択すると、制御部260は、選択されたコメントを示す選択情報を、送受信部230を通じて配信サーバ100,500へ送信する。この選択情報を受信した配信サーバ100,500は、特定部144が、選択情報に基づいて、配信者が反応したコメントを特定する。この場合、配信者が反応したコメントを誤りなく特定することができる。
上記の実施形態1、2では、配信サーバ100,500の制御部140,540に、音声認識部143及び特定部144等が含まれており、配信サーバ100,500が、コメント(配信者が反応したコメント)を特定する場合について説明したが、音声認識部143及び特定部144等の構成を、配信者端末200の制御部260に追加することで、配信者端末200が、コメントを特定するようにしてもよい。
上記の実施形態1,2では、配信サーバ100,500等によって実行されるプログラムは、CD-ROM(Compact Disc Read Only Memory),DVD,MO(Magneto-Optical Disk),USBメモリ,メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、かかるプログラムを特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを上記の実施形態1,2における配信サーバ100,500として機能させることも可能である。
また、上記のプログラムをインターネットといった通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。また、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。さらに、プログラムの全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。
なお、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを上記の記録媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。
[1]
1以上のプロセッサを備え、
前記1以上のプロセッサの少なくとも一つによって、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している複数の端末へ配信し、
前記ライブ動画の配信中に、前記複数の端末のうち、視聴者に使用される視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記複数の端末へ送信し、
前記コメント領域に現在表示されている各コメントのうち、前記配信者が反応したコメントを特定し、
前記特定したコメントを受信した時刻に対応する前記ライブ動画の相対時刻に基づいて、前記ライブ動画を区切るためのチャプタを設定する、
処理が実行されることを特徴とするサーバ装置。
[2]
前記コメントの特定では、前記複数の端末のうち、前記配信者に使用される配信者端末の前記コメント領域に現在表示されている各コメントのうち、前記配信者によって選択されたコメントを、前記配信者が反応したコメントとして特定する、
ことを特徴とする[1]に記載のサーバ装置。
[3]
前記コメントの特定では、配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定する、
ことを特徴とする[1]に記載のサーバ装置。
[4]
前記コメントの特定では、前記発話テキストに含まれるキーワードと、前記各コメントにそれぞれ含まれるキーワードとを比較して一致したキーワードが含まれるコメントを、前記配信者が反応したコメントとして特定する、
ことを特徴とする[3]に記載のサーバ装置。
[5]
コンピュータが、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している複数の端末へ配信し、
前記ライブ動画の配信中に、前記複数の端末のうち、視聴者に使用される視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記複数の端末へ送信し、
前記コメント領域に現在表示されている各コメントのうち、前記配信者が反応したコメントを特定し、
前記特定したコメントを受信した時刻に対応する前記ライブ動画の相対時刻に基づいて、前記ライブ動画を区切るためのチャプタを設定する、
ことを特徴とする設定方法。
[6]
コンピュータに、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している複数の端末へ配信し、
前記ライブ動画の配信中に、前記複数の端末のうち、視聴者に使用される視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記複数の端末へ送信し、
前記コメント領域に現在表示されている各コメントのうち、前記配信者が反応したコメントを特定し、
前記特定したコメントを受信した時刻に対応する前記ライブ動画の相対時刻に基づいて、前記ライブ動画を区切るためのチャプタを設定する、
処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
本開示は、配信中における配信者の反応に基づいてチャプタを設定する動画配信に好適に採用され得る。
1,2 配信システム
100,500 配信サーバ
110 送信部
120 受信部
130,530 記憶部
131 コメント管理情報
531 チャプタ管理情報
140,540 制御部
141 配信制御部
142 コメント管理部
143 音声認識部
144 特定部
145 表示制御部
541 設定部
200 配信者端末
210 撮影部
220 音声入力部
230 送受信部
240 操作受付部
250 記憶部
260 制御部
261 合成部
262 配信部
270 表示部
300 視聴者端末
310 送受信部
320 操作受付部
330 記憶部
340 制御部
350 表示部
400 情報処理装置
401 CPU
402 ROM
403 RAM
404 NIC
405 画像処理部
406 音声処理部
407 補助記憶部
408 インターフェース
409 撮影ユニット
410 音声ユニット
411 操作ユニット
412 表示ユニット
900 インターネット

Claims (7)

  1. 1以上のプロセッサを備え、
    前記1以上のプロセッサの少なくとも一つによって、
    配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している複数の端末へ配信し、
    前記ライブ動画の配信中に、前記複数の端末のうち、視聴者に使用される視聴者端末から投稿されたコメントを受信し、
    前記受信したコメントを、前記コメント領域へ追加させるために前記複数の端末へ送信し、
    前記コメント領域に表示されている各コメントのうち、前記配信者が反応したコメントを特定し、
    前記特定したコメントを受信した時刻に対応する前記ライブ動画の相対時刻に基づいて、前記ライブ動画を区切るためのチャプタを設定する、
    処理が実行されることを特徴とするサーバ装置。
  2. 前記コメントの送信では、前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加する、
    ことを特徴とする請求項1に記載のサーバ装置。
  3. 前記コメントの特定では、前記複数の端末のうち、前記配信者に使用される配信者端末の前記コメント領域に現在表示されている各コメントのうち、前記配信者によって選択されたコメントを、前記配信者が反応したコメントとして特定する、
    ことを特徴とする請求項1又は2に記載のサーバ装置。
  4. 前記コメントの特定では、配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定する、
    ことを特徴とする請求項1又は2に記載のサーバ装置。
  5. 前記コメントの特定では、前記発話テキストに含まれるキーワードと、前記各コメントにそれぞれ含まれるキーワードとを比較して一致したキーワードが含まれるコメントを、前記配信者が反応したコメントとして特定する、
    ことを特徴とする請求項に記載のサーバ装置。
  6. コンピュータが、
    配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している複数の端末へ配信し、
    前記ライブ動画の配信中に、前記複数の端末のうち、視聴者に使用される視聴者端末から投稿されたコメントを受信し、
    前記受信したコメントを、前記コメント領域へ追加させるために前記複数の端末へ送信し、
    前記コメント領域に表示されている各コメントのうち、前記配信者が反応したコメントを特定し、
    前記特定したコメントを受信した時刻に対応する前記ライブ動画の相対時刻に基づいて、前記ライブ動画を区切るためのチャプタを設定する、
    ことを特徴とする設定方法。
  7. コンピュータに、
    配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している複数の端末へ配信し、
    前記ライブ動画の配信中に、前記複数の端末のうち、視聴者に使用される視聴者端末から投稿されたコメントを受信し、
    前記受信したコメントを、前記コメント領域へ追加させるために前記複数の端末へ送信し、
    前記コメント領域に表示されている各コメントのうち、前記配信者が反応したコメントを特定し、
    前記特定したコメントを受信した時刻に対応する前記ライブ動画の相対時刻に基づいて、前記ライブ動画を区切るためのチャプタを設定する、
    処理を実行させるためのプログラム。
JP2024520673A 2022-06-28 2022-06-28 配信中における配信者の反応に基づいてチャプタを設定する動画配信 Active JP7516695B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/025650 WO2024004008A1 (ja) 2022-06-28 2022-06-28 配信中における配信者の反応に基づいてチャプタを設定する動画配信

Publications (3)

Publication Number Publication Date
JPWO2024004008A1 JPWO2024004008A1 (ja) 2024-01-04
JPWO2024004008A5 JPWO2024004008A5 (ja) 2024-06-21
JP7516695B2 true JP7516695B2 (ja) 2024-07-16

Family

ID=89381790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024520673A Active JP7516695B2 (ja) 2022-06-28 2022-06-28 配信中における配信者の反応に基づいてチャプタを設定する動画配信

Country Status (2)

Country Link
JP (1) JP7516695B2 (ja)
WO (1) WO2024004008A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021124809A (ja) 2020-02-03 2021-08-30 靖宜 下岡 eラーニング、ファンクラブ及びクラウドファンディングの連携方法及びシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6941659B2 (ja) * 2019-11-15 2021-09-29 株式会社 ディー・エヌ・エー ライブ動画配信サービスを提供するためのシステム、方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021124809A (ja) 2020-02-03 2021-08-30 靖宜 下岡 eラーニング、ファンクラブ及びクラウドファンディングの連携方法及びシステム

Also Published As

Publication number Publication date
WO2024004008A1 (ja) 2024-01-04
JPWO2024004008A1 (ja) 2024-01-04

Similar Documents

Publication Publication Date Title
US11463779B2 (en) Video stream processing method and apparatus, computer device, and storage medium
CN104869467B (zh) 媒体播放中的信息输出方法、装置和系统
JP4482829B2 (ja) 嗜好抽出装置、嗜好抽出方法及び嗜好抽出プログラム
CN111050201B (zh) 数据处理方法、装置、电子设备及存储介质
US8972262B1 (en) Indexing and search of content in recorded group communications
CN110913241B (zh) 一种视频检索方法、装置、电子设备及存储介质
CN109474843A (zh) 语音操控终端的方法、客户端、服务器
CN106412645B (zh) 向多媒体服务器上传视频文件的方法和装置
CN111629253A (zh) 视频处理方法及装置、计算机可读存储介质、电子设备
JP2012109901A (ja) 資料提示装置
CN108810580B (zh) 媒体内容推送方法及装置
CN110996157A (zh) 一种视频播放方法、装置、电子设备及机器可读存储介质
JP7516695B2 (ja) 配信中における配信者の反応に基づいてチャプタを設定する動画配信
CN117319765A (zh) 视频处理方法、装置、计算设备及计算机存储介质
CN110149528B (zh) 一种过程录制方法、装置、系统、电子设备、及存储介质
JP2012178028A (ja) アルバム作成装置、アルバム作成装置の制御方法、及びプログラム
WO2024004007A1 (ja) 配信中に投稿されたコメントの表示を制御する動画配信
WO2023020509A1 (zh) 一种观看直播的用户信息处理方法、装置及设备
CN115315960B (zh) 内容修正装置、内容发布服务器、内容修正方法以及记录介质
CN114341866A (zh) 同声传译方法、装置、服务器和存储介质
CN115243087A (zh) 音视频合拍处理方法、装置、终端设备及存储介质
US20240357207A1 (en) Video distribution in which chapter is set based on reaction of streamer during distribution
CN112584225A (zh) 视频录制处理方法、视频播放控制方法及电子设备
JP2008090526A (ja) 会議情報保存装置、システム、会議情報表示装置及びプログラム
KR100889725B1 (ko) Vod 서비스에서의 콘텐츠 정보 제공 방법 및 이를구현한 vod 서비스 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240404

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240404

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240703

R150 Certificate of patent or registration of utility model

Ref document number: 7516695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150