JP7130073B2 - 配信サーバ、コンテンツ配信方法、コンテンツ配信プログラム、および、記録媒体 - Google Patents

Description

本発明は、コンテンツ修正装置、コンテンツ配信サーバ、コンテンツ生成方法、コンテンツ修正プログラム、および、記録媒体に関する。

従来、ネットワークを介して様々なコンテンツを配信する技術が提供されている。また、携帯通信端末が普及したことや高速通信が可能となったこと等に伴い、より多くの人が自身で撮影した動画や録音した音声を、容易に配信することが可能である。この結果、過去に配信されたコンテンツが多数蓄積されている。

例えば、配信者が、映像コンテンツを配信サーバへアップロードし、コンテンツの配信が開始されると、コンテンツの内容に対するクレームを受けることがある。例えば、コンテンツ内で著作権が存在する楽曲を無断で使用している場合や、映り込みを望まなかった人物がコンテンツの映像中に現れている場合などに、コンテンツに対してクレームが送信される。

このようなクレームは、例えば、コンテンツの内容に異議を唱えたいものが配信サーバへクレームを出したり、ＳＮＳなどで異議を唱えるメッセージが発信されたりすることで、配信者に届けられる。

配信者にとってクレームを受けた対象のコンテンツそのものを削除する対応が最も容易で安易であるが、配信者の中にはコンテンツの一部を修正することで対象コンテンツを引き続き配信することを望む場合も多い。その場合、配信者は、自ら対象コンテンツを編集して、一部分にモザイクをかけたり、あるいは対応するフレームを削除したり、一部の音声に効果音や自主規制音（ピー音など）を重ねたりして修正する場合がある。

特開２０１９－４７３６６号公報

上記のようにコンテンツの一部を一様に修正すると、コンテンツの品位や興趣性が損なわれてしまう可能性があった。これに対し、単にコンテンツの一部分を削除したり、画像にモザイクをかけたりするのではなく、例えば他のコンテンツ画像や音声を用いてクレーム対象部分が含まれないように修正できれば、コンテンツの品位や興趣性を損なうことなくコンテンツを修正できる可能性がある。

しかしながら、配信者自身が、どのコンテンツのどの部分がクレームのない部分であるのか判断することは困難であり、選択したコンテンツにクレーム対象の箇所が含まれていた場合には、再度、クレームを受けてしまう。そのため、配信者が膨大な数のコンテンツの中から自身のコンテンツを修正するために用いることができる他のコンテンツを選択し、クレームの対象コンテンツを修正することは手間と時間を要する作業となってしまう。

本発明は上記事情を鑑みて成されたものであって、コンテンツの品位や興趣性を損なわずにコンテンツのクレーム対象箇所を修正するコンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、コンテンツ修正プログラム、および、記録媒体を提供することを目的とする。

本発明の第１態様による配信サーバは、配信者端末からコンテンツのデータを受信する第１取得部と、配信されたコンテンツに対するクレーム情報であって、クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得する第２取得部と、配信済みの複数の前記コンテンツのデータが記録された記憶部から、前記第２取得部により取得された前記配信されたコンテンツに対するクレーム情報に含まれる前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記第２取得部により取得された前記配信されたコンテンツに対するクレーム情報に含まれる前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定する特定部と、前記修正対象期間に含まれる前記クレーム対象を修正するための第１コンテンツのデータを、前記記憶部に記録された配信済みの複数の前記コンテンツのデータの中から取得し、前記第１コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第２コンテンツを生成し、前記第２コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する修正コンテンツ生成部と、前記記憶部に記録された前記コンテンツのデータを配信可能な配信部と、配信を要求した視聴者端末に対して前記コンテンツのデータを配信するよう前記配信部を制御する配信制御部と、を備える。

本発明の第２態様による配信サーバは、第１態様において、前記クレーム対象の情報は、クレーム対象画像の情報と、クレーム対象音声の情報と、クレーム対象期間と、の少なくともいずれかを含む。
本発明の第３態様による配信サーバは、第１又は第２態様において、前記特定部は、前記修正対象期間において所定の動作が開始されるタイミングを特定し、前記修正コンテンツ生成部は、前記所定の動作が含まれる前記第１コンテンツのデータを前記記憶部から取得し、前記第１コンテンツにおける前記所定の動作のタイミングが前記修正対象期間における前記所定の動作のタイミングと一致するようにトリミングされた前記第１コンテンツの一部の画像および音声の少なくとも一方を用いて、前記修正対象期間を修正するものである。

本発明の第４態様による配信サーバは、第１乃至第３態様のいずれかにおいて、前記特定部は、前記クレーム対象の特徴を特定し、前記修正コンテンツ生成部は、前記クレーム対象の特徴の情報を用いて、前記記憶部に記録された配信済みの複数の前記コンテンツのデータの中から少なくとも一つの前記第１コンテンツを選択する。

本発明の第５態様による配信サーバは、第１乃至第４態様のいずれかにおいて、前記特定部は、前記クレーム対象コンテンツであると特定した前記コンテンツのデータと関連付けて、前記クレーム情報を前記記憶部に記録し、前記修正コンテンツ生成部は、前記記憶部に記録された配信済みの複数の前記コンテンツの中で、配信開始されてから所定期間以上経過しかつ前記クレーム情報がない前記コンテンツ、又は、視聴回数が所定数以上であってかつ前記クレーム情報がない前記コンテンツを、前記第１コンテンツの候補とする。

本発明の第６態様による配信サーバは、第１乃至第５態様のいずれかにおいて、前記クレーム対象はクレーム対象画像であって、前記特定部は、前記修正対象期間のフレームにおいて前記クレーム対象画像が含まれるクレーム対象エリアを更に特定し、前記修正コンテンツ生成部は、前記第１コンテンツのフレームから前記クレーム対象エリアに対応する画像をトリミングし、トリミングされた前記画像を用いて前記クレーム対象エリアを修正した前記第２コンテンツを生成する。

本発明の第７態様によるコンテンツ配信方法は、配信者端末からコンテンツのデータを受信し、配信されたコンテンツに対するクレーム情報であって、クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得し、配信済みの複数の前記コンテンツのデータが記録された記憶部から、前記取得された前記配信されたコンテンツに対するクレーム情報に含まれる前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記取得された前記配信されたコンテンツに対するクレーム情報に含まれる前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定し、前記修正対象期間に含まれる前記クレーム対象を修正するための第１コンテンツのデータを、前記記憶部に記録された配信済みの複数の前記コンテンツのデータの中から取得し、前記第１コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第２コンテンツを生成し、前記第２コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録し、前記記憶部に記録された前記コンテンツのデータを配信可能とし、配信を要求した視聴者端末に対して前記コンテンツのデータを配信するよう制御する。

本発明の第８態様によるコンテンツ配信プログラムは、コンピュータに、第８態様によるコンテンツ修正方法を実行させるプログラムである。
本発明の第９態様による記録媒体は、第８態様によるコンテンツ配信プログラムが記録された、コンピュータにより読み取り可能な記録媒体である。

本発明によれば、コンテンツの品位や興趣性を損なわずにコンテンツのクレーム対象箇所を修正するコンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、コンテンツ修正プログラム、および、記録媒体を提供することができる。

図１は、一実施形態のコンテンツ修正装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一構成例を概略的に示す図である。 図２は、図１に示すコンテンツ配信サーバの一構成例を概略的に示す図である。 図３は、一実施形態のコンテンツ修正方法の一例を説明するためのフローチャートである。 図４は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。 図５は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。 図６は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。 図７は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。 図８は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。

以下、本発明の複数の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、既に説明済みである構成と同一又は類似した構成および要素については、同一の符号を付して説明を省略する。

第１実施形態のコンテンツ修正装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一例について、図面を参照して以下に説明する。
図１は、一実施形態のコンテンツ修正装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一構成例を概略的に示す図である。
本実施形態のコンテンツ配信システムは、配信者端末１０と、コンテンツ配信サーバ２０と、を備えている。

配信者端末１０は、ネットワークを介してコンテンツ配信サーバ２０と通信可能に接続できる。配信者端末１０は、例えばビデオカメラなどの動画ソースに接続されたコンピュータなどの電子デバイス、例えば、テレビ受像機（インターネットテレビを含む）、ＰＣ（Personal Computer）、モバイル端末（例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、デジタルミュージックプレイヤー、電子書籍リーダなど）、ＶＲ（Virtual Reality)端末、ＡＲ(Augmented Reality)端末などであり得るが、これらに限られない。配信者端末１０は、動画ソースから出力されるエンコード済みの映像データをコンテンツ配信サーバ２０へ逐次送信することができる。

コンテンツ配信サーバ２０は、ネットワークを介して、配信者端末１０、および、視聴者端末３０と通信可能に接続できる。コンテンツ配信サーバ２０は、後述する種々の機能を実現するプログラムを実行するプロセッサおよびプログラムを格納したメモリ、を備え得る。プロセッサは、典型的にはＣＰＵ（Central Processing Unit）および／またはＧＰＵ（Graphics Processing Unit）であるが、マイコン、ＦＰＧＡ（Field Programmable Gate Array）、またはＤＳＰ（Digital Signal Processor）、などであってもよい。また、メモリは、コンテンツ配信サーバ２０の動作を実現するためにプロセッサによって実行されるプログラムが記録されるとともに、当該プロセッサによって使用されるデータなどを一時的に格納する。なお、プログラムは、コンテンツ配信サーバ（コンピュータ）２０により読み取り可能な記録媒体に記録されてもよい。その場合には、プロセッサは、記録媒体から読み取ったプログラムを実行することにより、種々の機能を実現することが出来る。本実施形態のコンテンツ配信サーバ２０は、コンテンツ修正装置を含み得る。

視聴者端末３０は、ネットワークを介してコンテンツ配信サーバ２０と通信可能に接続することができる。なお、視聴者端末３０は、コンピュータなどの電子デバイスであって、例えば、テレビ受像機（インターネットテレビを含む）、ＰＣ（Personal Computer）、モバイル端末（例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、デジタルミュージックプレイヤー、電子書籍リーダ、スマートウォッチなど）、ＶＲ（Virtual Reality)端末、ＡＲ(Augmented Reality)端末などであり得るが、これらに限られない。なお、ネットワークに接続している視聴者端末３０の数はゼロであることもあり得るし、随時増減し得る。

図２は、図１に示すコンテンツ配信サーバの一構成例を概略的に示す図である。
コンテンツ配信サーバ２０は、取得部２１（第１取得部２１１および第２取得部２１２）と、配信制御部２２と、生成部２３と、配信部２４と、特定部２６と、修正コンテンツ生成部２７と、記憶部２５と、を備えている。なお、本実施形態のコンテンツ修正装置は、第２取得部２１２と、特定部２６と、修正コンテンツ生成部２７とを少なくとも含み得る。コンテンツ修正装置は、コンテンツ配信サーバ２０と一体に構成されていてもよく、コンテンツ修正装置とコンテンツ配信サーバ２０とは、一又は複数の構成を共有していてもよい。また、コンテンツ修正装置はコンテンツ配信サーバ２０に外付けされ、コンテンツ配信サーバ２０と通信可能に接続される構成であっても構わない。

コンテンツ配信サーバ２０は、さらに、ネットワークに接続可能な通信部（図示せず）を備え得る。通信部は、ネットワークを介して、配信者端末１０、および、視聴者端末３０と、通信可能であり、第１取得部２１１と、第２取得部２１２と、を含み得る。例えば、通信部は、配信者端末１０から動画データを受信したり、視聴者端末３０からの配信要求を受信したり、配信者端末１０との間で第２コンテンツの承認のための通信をしたりする。通信部は、視聴者端末３０から受信した配信要求を配信制御部２２へ送信する。

記憶部２５は、コンテンツ配信サーバ２０に内蔵されてもよいし、コンテンツ配信サーバ２０に外付けされてもよい。記憶部２５は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの不揮発性記憶媒体を含み得る。なお、記憶部２５は、過去に配信された動画や音声の複数のコンテンツのデータを蓄積する領域を含んでいてもよい。コンテンツのデータは、例えば、コンテンツデータと、コンテンツのタグ情報、配信者の識別情報、カテゴリ情報、配信開始日時情報、編集履歴情報、視聴回数、視聴者数、コメント情報、クレーム情報などとを関連付けて、記憶部２５に記録され得る。

記憶部２５は、コンテンツ配信サーバ２０とコンテンツ修正装置とに共有されてもよく、コンテンツ配信サーバ２０とコンテンツ修正装置とのそれぞれに記憶部２５が設けられてもよい。また、記憶部２５に蓄積されているコンテンツのデータは、コンテンツ配信サーバ２０により配信されたコンテンツのデータに限定されるものではなく、例えば配信されたコンテンツのデータを加工したり編集したりしたものや、コンテンツ修正装置による修正後のコンテンツのデータや、配信前のコンテンツのデータが記憶されても構わない。

第１取得部２１１は、ネットワークを介して配信者端末１０から逐次送信されるコンテンツデータを受信可能である。例えば、第１取得部２１１は、配信者端末１０からリアルタイム配信用の動画データや音声データなどのコンテンツデータを受信することができる。また、第１取得部２１１は、ネットワークを介して視聴者端末３０から逐次送信されるコメントなどの入力情報を受信可能である。第１取得部２１１は、受信したコンテンツデータおよびコメントなどの入力情報を生成部２３へ送信する。

生成部２３は、第１取得部２１１からコンテンツデータと入力情報とを受信し、例えば視聴者端末３０において動画データに入力情報を重畳したコンテンツデータを生成可能とする配信用コンテンツデータを生成することができる。また、生成部２３は、例えば、動画データに入力情報を重畳した動画データを配信用コンテンツデータとして生成してもよい。生成部２３は、例えば、アルファブレンド、ピクチャーインピクチャーなどの公知の技法を用いて、動画データに入力情報を合成してもよい。生成部２３は、生成した配信用コンテンツデータを配信部２４へ送信する。また、生成部２３は、生成した配信用コンテンツデータを記憶部２５へ記録することができる。

生成部２３は、例えば、動画データの再生映像の画面の一部または全部をリサイズして、または画面の一部をトリミングして入力情報と合成可能としてもよいし、動画データの再生映像の画面の一部が露出し、残部が隠れるように入力情報と合成可能としてもよい。また、生成部２３は、視聴者端末３０からの配信要求に応じて複数の配信用コンテンツデータを切り替えて配信可能とするために、表示する画像が異なる複数の配信用コンテンツデータを生成して配信部２４へ送信してもよい。生成部２３は、例えば、入力情報を画像データに重畳せずに生成した配信用コンテンツデータと、入力情報を画像データに重畳して生成した配信用コンテンツデータとを生成して、配信部２４へ送信してもよい。

配信部２４は、ネットワークと通信可能に接続し、生成部２３から配信用コンテンツデータを受信し、配信用コンテンツデータの配信要求を受けた視聴者端末３０へ配信することができる。また、配信部２４は、記憶部２５に記録された配信用コンテンツデータを取得し、配信用コンテンツデータの配信要求を受けた視聴者端末３０へ配信することができる。配信部２４は、例えば配信用コンテンツデータの配信先などを配信制御部２２によって制御される。

なお、配信部２４は、配信済みの配信用コンテンツデータを直ちに破棄してもよいが、例えばリプレイまたはスローモーション再生を可能とするために所定期間バッファリングしていてもよい。

配信制御部２２は、配信用データの配信を制御する。配信制御部２２は、例えば図示しない時計を含み、時計から得られる時間情報と、画像データの配信に割り当てられた時間枠とを比較し、画像データの配信の開始および終了を管理する。また、配信制御部２２は、視聴者端末３０による配信要求を通信部から受け取り、視聴者端末３０へ画像データが配信されるように配信部２４を制御する。

第２取得部２１２は、配信されたコンテンツに対するクレーム情報を受信する。第２取得部２１２は、受信したクレーム情報を特定部２６へ送信する。第２取得部２１２が取得するクレーム情報は、例えば、クレーム対象コンテンツの識別情報、および、クレーム対象の情報を少なくとも含み得、クレーム発信元の識別情報、クレーム対象となるタイムライン情報や、クレーム内容の詳細情報などを更に含み得る。また、クレーム情報は、予め著作権法やデジタルミレニアム著作権法（DMCA: Digital Millennium Copyright Act）などに基づいて正当なクレームであると判断されたことを示す識別情報を含んでいてもよい。また、クレーム対象の情報は、クレーム対象画像の情報と、クレーム対象音声の情報と、クレーム対象期間の情報との少なくともいずれかを含む。

第２取得部２１２は、所定の条件を満たすクレーム情報のみを受信してもよい。第２取得部２１２は、例えば予め登録されたクレーム発信元からのクレーム情報のみを受信してもよく、例えば正当なクレームであると判断済であるクレーム情報のみを受信してもよい。

特定部２６は、第２取得部２１２から受信したクレーム情報に基づいて、クレーム対象コンテンツを特定するとともに、特定したクレーム対象コンテンツの修正対象期間（画像修正対象期間と音声修正対象期間との少なくとも一方を含む）を特定する。なお、修正対象期間は、１つのクレーム対象コンテンツに複数含まれ得る。

特定部２６は、クレーム情報に含まれるクレーム対象コンテンツの識別情報を用いて、記憶部２５に記憶されたコンテンツデータの中から対象コンテンツを特定することができる。特定部２６は、特定したコンテンツデータと関連付けて、対応するクレーム情報を記憶部２５に記録してもよい。

特定部２６は、例えばクレーム情報に含まれるクレーム対象画像の情報に基づいて、クレーム対象コンテンツのタイムラインにおける画像修正対象期間を特定することができる。また、特定部２６は、例えばクレーム情報にクレーム対象画像が含まれている場合には、クレーム対象コンテンツの画像に含まれるクレーム対象画像を認識し、コンテンツのタイムラインの中でクレーム対象画像が含まれているフレームに対応する期間を画像修正対象期間とする。さらに、特定部２６は、画像修正対象期間内のクレーム対象画像が含まれているフレームのエリア（一部分）を特定してもよい。その場合には、画像修正対象期間の情報は、画像修正対象期間内のフレームにおけるクレーム対象エリアの情報を含む。

特定部２６は、画像修正対象期間が開始するタイミングにおいて、クレーム対象画像の任意の動作が開始するタイミングを検出してもよい。例えば、画像修正対象期間が開始するタイミングで人物が話し始めたり、ダンスを開始したり、歩き始めたり、走り始めたり、食事をしたりする動作を検出してしてもよく、例えば乗り物が動き始める動作や、ゲームのプレイが開始される動作や、ゲームのプレイ画面に表示される画像の動作などを検出してもよい。特定部２６は、画像修正対象期間が開始するタイミングにおける動作を検出したときには、検出された動作を識別する識別情報を画像修正対象期間の情報に含める。なお、特定部２６は、画像修正対象期間の全期間にわたって画像の動作が開始するタイミングを検出してもよい。この場合には、特定部２６は、検出された動作を識別する識別情報とその動作の開始タイミングとの情報とを画像修正対象期間の情報に含める。

また、特定部２６は、クレーム対象画像やクレーム対象画像を含むフレーム全体の画像から、クレーム対象の人物やキャラクターの性別、年齢層、背格好、服の色、髪や目や肌の色などの特徴や、画像の背景などの特徴を特定してもよい。また、クレーム対象画像が、未公開の車や鉄道車両などの移動体や、スマートフォンやタブレット端末等の電子機器など未公開の製品などの画像である場合には、特定部２６は、クレーム対象画像の物のカテゴリ、色、大きさ等の特徴を特定してもよい。例えば、特定部２６は、クレーム対象である人物や物の特徴およびクレーム対象以外の画像の特徴を特定したときには、特定した特徴を識別する識別情報を画像修正対象期間の情報に含めることができる。

また特定部２６は、例えばクレーム情報に含まれるクレーム対象音声の情報に基づいて、クレーム対象コンテンツのタイムラインにおける音声修正対象期間を特定することができる。特定部２６は、例えばクレーム情報にクレーム対象音声が含まれている場合には、クレーム対象コンテンツに含まれるクレーム対象音声を認識し、コンテンツデータのタイムラインの中でクレーム対象音声が含まれている期間を音声修正対象期間とする。クレーム対象音声の情報は、レコードやＣＤなどの媒体の作製者、演出家の情報、作製の日付、作曲者や作詞者の情報、その楽曲の別な演奏における演奏者あるいは歌手の情報、その演奏の演奏者や歌手の情報、レーベルなどの情報や、楽曲のタイトル、歌詞あるいは歌詞の一部、楽曲の俗称や通称、楽曲が用いられたテレビ番組や映画などの情報を含んでいてもよい。例えばネットワークを介して、クレーム対象音声の認識に必要な情報を取得することができる場合には、特定部２６は、ネットワークを介して必要な情報を取得してもよい。

なお、クレーム対象コンテンツにおいて、例えば、著作権のある楽曲がアレンジされて用いられていたり、著作権のある楽曲をカバーする音声が含まれていたりすることも考えられる。具体的には、例えばゲーム音楽がジャズ風にアレンジされたりオーケストラにより演奏されたりする可能性や、例えば男性歌手の楽曲を女性がカバーする可能性もあり得る。このような場合に対応するために、特定部２６は、クレーム対象音声そのものが認識された期間だけでなく、クレーム対象音声をアレンジしたりカバーしたりする音声が認識された期間も、音声修正対象期間としてもよい。特定部２６は、例えば、クレーム対象コンテンツの音声からメロディの解析（形態素解析）や歌詞を認識することにより、クレーム対象音声をアレンジしたりカバーしたりする音声を特定することができる。

同様にして、著作権の消滅した楽曲であるが、その楽曲の著作隣接権を、例えば実演家、レコード製作者、放送事業者等が保有する場合であっても、対象コンテンツの音声データに含まれるメロディ等を解析し、クレーム対象に対応する演奏であれば、特定部２６によりその演奏が含まれるタイムラインをシステムが特定して、音声修正対象期間としてもよい。このように著作隣接権が存在する楽曲についても、修正の対象とする点は他の実施例においても同様である。

また、特定部２６は、例えば音声修正対象期間が開始するタイミングにおけるクレーム対象音声の特徴（会話、音楽のジャンル、性別、言語）を検出してもよい。特定部２６は、音声修正対象期間のクレーム対象音声の特徴を特定したときには、特定した特徴を識別する識別情報を音声修正対象期間の情報に含めることができる。

例えば、特定部２６は、画像修正対象期間のクレーム対象画像の動作や特徴、又は、音声修正対象期間のアレンジやカバー（アレンジ等）された音声や音声の特徴を特定する学習済みモデルを備えていてもよい。学習済みモデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）などの深層学習により、所定の条件を満たすコンテンツデータを入力とし、コンテンツデータの再生画像又は音声における動作やアレンジ等や特徴を特定する学習済みのモデルである。コンテンツデータにおける動作やアレンジ等や特徴が複数想定される場合には、特定部２６は、複数の動作やアレンジ等や特徴のそれぞれに対応する複数の学習済みモデルを備え得る。

また、特定部２６は、例えばクレーム情報に含まれるクレーム対象期間に基づいて、クレーム対象コンテンツのタイムラインにおけるクレーム対象期間に対応する期間を、画像修正対象期間および音声修正対象期間としてもよい。
特定部２６は、画像修正対象期間と音声修正対象期間との少なくとも一方の情報と、クレーム対象コンテンツのデータとを修正コンテンツ生成部２７へ送信する。

修正コンテンツ生成部２７は、特定部２６から受信した画像修正対象期間と音声修正対象期間との少なくとも一方の情報と、対象コンテンツのデータとに基づいて、修正に用いる第１コンテンツ（修正用コンテンツ）の条件を設定する。

修正コンテンツ生成部２７は、例えば、記憶部２５に記録されたコンテンツの中で、配信開始されてから所定期間以上が経過していてかつクレームがないコンテンツや、視聴回数が所定数以上であってかつクレームがないものを第１コンテンツの候補とする。修正コンテンツ生成部２７は、第１コンテンツの候補の中から、クレーム対象コンテンツのジャンル、タグ、配信者などの情報や、画像修正対象期間と音声修正対象期間との情報を用いて第１コンテンツを少なくとも１つ選択する。修正コンテンツ生成部２７は、第１コンテンツを複数選択してもよい。

修正コンテンツ生成部２７は、例えば、クレーム対象コンテンツのジャンルとタグとが共通のコンテンツを第１コンテンツとして選択してもよく、クレーム対象コンテンツと同じ配信者のコンテンツを第１コンテンツとして選択してもよい。また、修正コンテンツ生成部２７は、画像修正対象期間の情報に含まれるクレーム対象画像の動作情報や特徴情報に基づいて、画像修正対象期間のクレーム対象画像に近い画像（共通の動作や特徴がより多い画像）を少なくとも一部に含むコンテンツを第１コンテンツとして選択してもよい。また、修正コンテンツ生成部２７は、音声修正対象期間の情報に含まれるクレーム対象音声の特徴情報に基づいて、音声修正対象期間のクレーム対象音声に近い音声（共通の特徴がより多い音声）を含むコンテンツを第１コンテンツとして選択してもよい。なお、修正コンテンツ生成部２７は、画像修正対象期間および音声修正対象期間よりも十分に長いコンテンツを第１コンテンツとして選択することが望ましい。

例えば、修正コンテンツ生成部２７は、第１コンテンツの候補の中から、画像の所定の動作や特徴又は音声の特徴を有するコンテンツを特定する学習済みモデルを備えていてもよい。学習済みモデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）などの深層学習により、所定の条件を満たすコンテンツデータを入力とし、コンテンツデータの再生画像又は音声における動作や特徴を特定する学習済みのモデルである。修正コンテンツ生成部２７は、複数の動作や特徴のそれぞれに対応する複数の学習済みモデルを備え得る。

修正コンテンツ生成部２７は、画像修正対象期間のフレームと修正用のコンテンツの一部期間の画像とを差し替えることにより、クレーム対象コンテンツと修正用のコンテンツの一部の画像とを合成してもよい。また、修正コンテンツ生成部２７は、例えば、アルファブレンド、ピクチャーインピクチャーなどの公知の技法を用いて、画像修正対象期間のクレーム対象画像の部分に第１コンテンツの一部の画像を合成してもよい。

例えば、修正コンテンツ生成部２７は、クレーム対象コンテンツの画像修正対象期間のフレームをカットし、選択した修正用のコンテンツから画像修正対象期間に対応する期間のフレームをトリミングして画像修正対象期間のフレームと差し替えて（若しくは画像修正対象期間のフレームにトリミングしたフレームを重畳して）、クレーム対象画像を含まないように修正された第２コンテンツ（修正済コンテンツ）を生成することができる。

第１コンテンツが複数ある場合には、修正コンテンツ生成部２７は複数の第１コンテンツのそれぞれ一部の期間を用いて、複数の第２コンテンツを生成することができる。また、修正コンテンツ生成部２７は、１つの第１コンテンツから複数の期間の画像をトリミングして複数の第２コンテンツを生成してもよい。

修正コンテンツ生成部２７は、画像修正対象期間の情報が動作の情報を含む場合には、第１コンテンツの画像で対応する所定の動作の開始タイミングが、画像修正対象期間の動作の開始タイミングと一致するように、第１コンテンツから画像をトリミングする期間を設定し、画像修正対象期間のフレーム（若しくはクレーム対象画像）と修正用のコンテンツからトリミングした画像とを差し替えて（若しくはトリミングした画像を重畳して）第２コンテンツを生成してもよい。

また、修正コンテンツ生成部２７は、画像修正対象期間の情報にクレーム対象エリアの情報が含まれている場合には、第１コンテンツの画像からクレーム対象画像の特徴に応じたエリアをトリミングして、画像修正対象期間のフレームにおけるクレーム対象エリアに第１コンテンツの画像からトリミングしたエリアを差し替えて（若しくは重畳して）、第２コンテンツを生成してもよい。このとき、修正コンテンツ生成部２７は、画像修正対象期間のクレーム対象エリアの大きさに合わせて、第１コンテンツの画像からトリミングした画像を拡大又は縮小して大きさを調整しても構わない。

修正コンテンツ生成部２７は、例えば、クレーム対象コンテンツの音声修正対象期間の音声をカットして、選択した修正用のコンテンツからトリミングした音声修正対象期間に対応する期間の音声を、音声修正対象期間の音声部分と差し替えて、クレーム対象音声を含まないように修正した第２コンテンツを生成することができる。第１コンテンツが複数ある場合には、修正コンテンツ生成部２７は複数の第１コンテンツのそれぞれ一部の期間を用いて複数の第２コンテンツを生成することができる。また、修正コンテンツ生成部２７は、１つの第１コンテンツの複数の期間を用いて複数の第２コンテンツを生成してもよい。

修正コンテンツ生成部２７は、例えば、第１コンテンツの音声における会話や音楽の開始タイミングが、画像修正対象期間における会話や音楽の開始タイミングとなるように、修正用のコンテンツから音声の一部をトリミングして、画像修正対象期間の音声と第１コンテンツのトリミングされた部分とを差し替えてコンテンツを修正してもよい。

修正コンテンツ生成部２７は、生成した第２コンテンツの少なくとも一つのデータを記憶部２５に記録する。修正コンテンツ生成部２７は、第２コンテンツのデータを記録する際に修正前の元のコンテンツのデータを削除し、元のコンテンツに代えて第２コンテンツのデータをコンテンツデータとして記憶部２５に記録してもよく、修正前の元のコンテンツと関連付けて第２コンテンツのデータを記憶部２５に記録してもよい。また、修正コンテンツ生成部２７は、第２コンテンツのデータと合わせて、クレーム情報に対応済みである旨の情報を記憶部２５に記録してもよい。

修正コンテンツ生成部２７は、生成した第２コンテンツを配信者端末１０へ提示し、配信者が修正の可否を選択可能としてもよい。この場合、修正コンテンツ生成部２７は、一又は複数の第２コンテンツを配信者端末１０へ提示することができる。このとき、修正コンテンツ生成部２７は、少なくとも第２コンテンツにおける修正された部分を配信者端末１０へ提示すればよい。配信者端末１０は、配信者の操作に基づいて、コンテンツの修正の可否と、修正可の場合に選択される第２コンテンツとの情報を修正コンテンツ生成部２７へ送信する。修正コンテンツ生成部２７は、配信者端末１０より修正可として選択された第２コンテンツがある場合には、選択された第２コンテンツを記憶部２５に記録することができる。

以下に、上記コンテンツ修正装置およびコンテンツ配信サーバ２０の動作の一例について図面を参照して説明する。
図３は、一実施形態のコンテンツ修正方法の一例を説明するためのフローチャートである。
図４乃至図８は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。

ここでは、図４および図８を参照して、クレーム対象コンテンツの画像修正対象期間のフレームの少なくとも一部のエリアに、第１コンテンツの一部のフレーム又は画像を合成して修正した第２コンテンツを生成する際の、コンテンツ修正装置およびコンテンツ配信サーバ２０の動作について説明する。なお、図４および図８では、クレーム対象コンテンツの画像の一部を修正する例を示しているが、音声を修正する際も同様の動作であり、同様の動作で画像と音声との両方を修正することも可能である。

まず、コンテンツ配信サーバ２０の第２取得部２１２が、クレーム情報を取得する（ステップＳ１）。このとき、第２取得部２１２は、例えば予め登録されたクレーム発信元からのクレーム情報のみを受信してもよく、例えば正当なクレームであると判断済であるクレーム情報のみを受信してもよい。第２取得部２１２は、受信したクレーム情報を特定部２６へ送信する。

特定部２６は、第２取得部２１２から受信したクレーム情報に含まれるクレーム対象コンテンツの識別情報を用いて、記憶部２５に記憶されたコンテンツデータの中から対象コンテンツを特定する（ステップＳ２）。

続いて、特定部２６は、例えばクレーム情報に含まれるクレーム対象画像の情報に基づいて、クレーム対象コンテンツの画像修正対象期間を特定する。なお、例えばクレーム情報に予めクレーム対象期間（タイムラインにおけるクレーム対象の時間帯）の情報が含まれている場合には、特定部２６は、クレーム対象期間を画像修正対象期間としてもよい（ステップＳ３）。

図４には、クレーム情報に含まれるクレーム対象画像の一例を示している。この例では、クレーム対象画像は人物の画像である。特定部２６は、例えばクレーム対象画像に含まれる人物の画像を用いて、クレーム対象コンテンツにおいてクレーム対象の画像が含まれているフレームを特定し、特定したフレームに対応する期間を画像修正対象期間とする。

図５には、特定部２６が図４のクレーム対象画像を用いて特定した画像修正対象期間のフレームＦＲの一例を示している。特定部２６は、クレーム対象の人物の画像が含まれるフレームＦＲを含む期間を画像修正対象期間として特定する。なお、例えば、クレーム対象画像を含む第１フレームと第２フレームとの間に、クレーム対象画像を含まない一又は複数のフレームが存在する場合であっても、第１フレームと第２フレームとの間の期間が所定期間よりも短い場合には、特定部２６は、第１フレームから第２フレームまでの全てのフレームに対応する期間を画像修正対象期間としてもよい。
なお、特定部２６は、クレーム対象音声の情報を用いて音声修正対象期間を特定する場合には、クレーム対象音声そのものが含まれる期間だけでなく、クレーム対象音声をアレンジしたりカバーしたりした音声を含む期間も音声修正対象期間としてもよい。

また、特定部２６は、クレーム対象画像や、クレーム対象画像を含むフレーム全体の画像から、クレーム対象の人物やキャラクターの性別、年齢層、背格好、服の色、髪や目や肌の色などの特徴や、画像の背景などの特徴を特定してもよい。なお、クレーム対象が物であるときには、特定部２６は、クレーム対象画像の物のカテゴリ、色、大きさ等の特徴を特定してもよい。例えば、特定部２６は、クレーム対象である人物や物の特徴および背景の特徴を特定したときには、特定した特徴を識別する識別情報を画像修正対象期間の情報に含めることができる。

図６は、図４の画像修正対象期間のフレームＦＲにおけるクレーム対象画像が含まれているフレームＦＲのクレーム対象エリア（一部分）ＡＲ１の一例を示している。特定部２６は、クレーム対象画像を含むフレームＦＲにおいて更にクレーム対象画像が表示されている一部のエリアＡＲ１を特定してもよい。その場合には、特定部２６は、画像修正対象期間の情報にクレーム対象エリアＡＲ１の情報を含める。

特定部２６は、特定した画像修正対象期間の情報と、クレーム対象コンテンツのデータとを修正コンテンツ生成部２７へ送信する。

修正コンテンツ生成部２７は、受信した画像修正対象期間の情報とクレーム対象コンテンツのデータとに基づいて、第１コンテンツの条件を設定し、記憶部２５に記録されたコンテンツの中から条件を満たすコンテンツを取得する（ステップＳ４）。このとき、修正コンテンツ生成部２７は、記憶部２５に記録された複数のコンテンツの中で、配信開始されてから所定期間以上が経過していてかつクレームがないコンテンツや、視聴回数が所定数以上であってかつクレームがないものを修正に用いる第１コンテンツ（修正用コンテンツ）の候補とする。また、修正コンテンツ生成部２７にて設定される第１コンテンツの条件として、クレーム対象コンテンツのジャンル、タグ、配信者などの情報や、画像修正対象期間の情報に含まれるクレーム対象の人物（又は物）の特徴など用いることができる。

修正コンテンツ生成部２７は、取得した第１コンテンツの一部の画像を、クレーム対象コンテンツの修正対象期間の画像とし、クレーム対象画像を含まない第２コンテンツを生成する（ステップＳ５）。

修正コンテンツ生成部２７は、クレーム対象コンテンツの修正対象期間のフレームを第１コンテンツのフレームとすることによりクレーム対象画像を含まない第２コンテンツを生成してもよい。この場合、修正コンテンツ生成部２７は、例えば図５に示すフレームＦＲ全体を、図７に示すような第１コンテンツのフレームとして、クレーム対象画像を含まない第２コンテンツを生成することができる。

また、修正コンテンツ生成部２７は、画像修正対象期間のフレームにおいてクレーム対象画像を含むクレーム対象エリアＡＲ１のみを第１コンテンツのフレームの一部の画像として第２コンテンツを生成してもよい。修正コンテンツ生成部２７は、例えば図７に示す第１コンテンツのフレームにおいて、クレーム対象画像の特徴に応じたエリアＡＲ２を選択し、エリアＡＲ２の画像をフレームＦＲのエリアＡＲ１と差し替えて（若しくは重畳して）、クレーム対象画像を含まない第２コンテンツを生成することができる。

図８は、クレーム対象コンテンツのフレームＦＲの一部を第１コンテンツの一部の画像として修正した第２コンテンツの例を説明するための図である。この場合、例えば図８に示すように、クレーム対象コンテンツのフレームＦＲの一部分のみが、第１コンテンツのエリアＡＲ２の画像となるため、コンテンツの全体的な品位や興趣性を損なわずに、クレーム対象画像を含まない第２コンテンツ（修正済コンテンツ）を生成することが可能である。

修正コンテンツ生成部２７は、生成した第２コンテンツのデータを配信用コンテンツのデータとして記憶部２５に記録する（ステップＳ６）。このとき、修正コンテンツ生成部２７は、生成した第２コンテンツを配信者端末１０に提示して、配信者端末１０から修正の許可を得られた場合にのみ第２コンテンツのデータを記憶部２５に記録してもよい。また、修正コンテンツ生成部２７が複数の第２コンテンツを生成したときには、少なくとも１つの第２コンテンツのデータを記憶部２５に記録すればよく、配信者により選択された第２コンテンツのデータのみを記憶部２５に記録しても構わない。

上記のように、本実施形態のコンテンツ修正装置およびコンテンツ配信サーバによれば、単にコンテンツの一部分を削除したり、画像にモザイクをかけたりするのではなく、他のコンテンツ画像や音声を用いて、コンテンツの品位や興趣性を損なうことなくコンテンツを修正することができる。すなわち、本実施形態によれば、コンテンツの品位や興趣性を損なわずにコンテンツのクレーム対象箇所を修正するコンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、コンテンツ修正プログラム、および、記録媒体を提供することができる。

また、本実施形態では、配信者自身がどのコンテンツのどの部分がクレームのない部分であるのか判断する必要がないため、クレーム対象コンテンツの修正に要する手間と時間を省くことができる。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１０…配信者端末、２０…コンテンツ配信サーバ、２１…取得部、２１１…第１取得部、２１２…第２取得部、２２…配信制御部、２３…生成部、２４…配信部、２５…記憶部、２６…特定部、２７…修正コンテンツ生成部、３０…視聴者端末、ＦＲ…フレーム、ＡＲ１…クレーム対象エリア、ＡＲ２…エリア

Claims (9)

1. 配信者端末からコンテンツのデータを受信する第１取得部と、
   配信されたコンテンツに対するクレーム情報であって、クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得する第２取得部と、
   配信済みの複数の前記コンテンツのデータが記録された記憶部から、前記第２取得部により取得された前記配信されたコンテンツに対するクレーム情報に含まれる前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記第２取得部により取得された前記配信されたコンテンツに対するクレーム情報に含まれる前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定する特定部と、
   前記修正対象期間に含まれる前記クレーム対象を修正するための第１コンテンツのデータを、前記記憶部に記録された配信済みの複数の前記コンテンツのデータの中から取得し、前記第１コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第２コンテンツを生成し、前記第２コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する修正コンテンツ生成部と、
   前記記憶部に記録された前記コンテンツのデータを配信可能な配信部と、
   配信を要求した視聴者端末に対して前記コンテンツのデータを配信するよう前記配信部を制御する配信制御部と、を備えた配信サーバ。
2. 前記クレーム対象の情報は、クレーム対象画像の情報と、クレーム対象音声の情報と、クレーム対象期間と、の少なくともいずれかを含む、請求項１記載の配信サーバ。
3. 前記特定部は、前記修正対象期間において所定の動作が開始されるタイミングを特定し、
   前記修正コンテンツ生成部は、前記所定の動作が含まれる前記第１コンテンツのデータを前記記憶部から取得し、前記第１コンテンツにおける前記所定の動作のタイミングが前記修正対象期間における前記所定の動作のタイミングと一致するようにトリミングされた前記第１コンテンツの一部の画像および音声の少なくとも一方を用いて、前記修正対象期間を修正する、請求項１記載の配信サーバ。
4. 前記特定部は、前記クレーム対象の特徴を特定し、
   前記修正コンテンツ生成部は、前記クレーム対象の特徴の情報を用いて、前記記憶部に記録された配信済みの複数の前記コンテンツのデータの中から少なくとも一つの前記第１コンテンツを選択する、請求項１乃至請求項３のいずれか１項記載の配信サーバ。
5. 前記特定部は、前記クレーム対象コンテンツであると特定した前記コンテンツのデータと関連付けて、前記クレーム情報を前記記憶部に記録し、
   前記修正コンテンツ生成部は、前記記憶部に記録された配信済みの複数の前記コンテンツの中で、配信開始されてから所定期間以上経過しかつ前記クレーム情報がない前記コンテンツ、又は、視聴回数が所定数以上であってかつ前記クレーム情報がない前記コンテンツを、前記第１コンテンツの候補とする、請求項１乃至請求項４のいずれか１項記載の配信サーバ。
6. 前記クレーム対象はクレーム対象画像であって、
   前記特定部は、前記修正対象期間のフレームにおいて前記クレーム対象画像が含まれるクレーム対象エリアを更に特定し、
   前記修正コンテンツ生成部は、前記第１コンテンツのフレームから前記クレーム対象エリアに対応する画像をトリミングし、トリミングされた前記画像を用いて前記クレーム対象エリアを修正した前記第２コンテンツを生成する、請求項１乃至請求項５のいずれか１項記載の配信サーバ。
7. 配信者端末からコンテンツのデータを受信し、
   配信されたコンテンツに対するクレーム情報であって、クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得し、
   配信済みの複数の前記コンテンツのデータが記録された記憶部から、前記取得された前記配信されたコンテンツに対するクレーム情報に含まれる前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記取得された前記配信されたコンテンツに対するクレーム情報に含まれる前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定し、
   前記修正対象期間に含まれる前記クレーム対象を修正するための第１コンテンツのデータを、前記記憶部に記録された配信済みの複数の前記コンテンツのデータの中から取得し、前記第１コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第２コンテンツを生成し、前記第２コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録し、
   前記記憶部に記録された前記コンテンツのデータを配信可能とし、
   配信を要求した視聴者端末に対して前記コンテンツのデータを配信するよう制御する、コンテンツ配信方法。
8. コンピュータに、請求項７に記載のコンテンツ配信方法を実行させるコンテンツ配信プログラム。
9. 請求項８記載のコンテンツ配信プログラムが記録された、コンピュータにより読み取り可能な記録媒体。

Images