JP7234356B2 - マルチティアスケーラブルメディア分析 - Google Patents

Description

本明細書は、メディアのデータ処理と分析に関する。インターネットは、事実上すべてのユーザによってアップロードすることができるメディア、たとえば、ストリーミングメディアへのアクセスを提供する。たとえば、ユーザはビデオファイルおよび/またはオーディオファイルを作成してメディア共有サイトにアップロードすることができる。サードパーティ(たとえば、サイトの管理者ではない)向けにコンテンツを公開または配信する一部のサイトは、それらのサイト上でメディアを共有したり、それらのサードパーティの代わりにコンテンツを配信したりするために、ユーザは、コンテンツガイドラインとも呼ばれるコンテンツガイドラインのセットに準拠する必要がある。これらのコンテンツガイドラインは、サイト上で共有するのに不適切であり、したがって配信するために適格ではないコンテンツに関するポリシーを含むことができる。

一般に、本明細書に記載されている主題の1つの革新的な態様は、第1の評価ルールを使用して、コンテンツが不快な素材を描写する可能性を決定するステップと、コンテンツが不快な素材を描写する可能性に基づいてさらに評価するために、コンテンツを格付けエンティティのセットに渡すステップであって、コンテンツが不快な素材を描写する可能性が指定された修正しきい値を下回っている場合、コンテンツの修正されていないバージョンを格付けエンティティのセットに渡すステップと、コンテンツが不快な素材を描写する可能性が指定された修正しきい値を超えている場合、不快な素材の描写を弱めるためにコンテンツを修正するステップと、修正されたコンテンツを格付けエンティティのセットに渡すステップとを含む、ステップと、格付けエンティティのセットから、コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックを受信するステップと、評価フィードバックに基づいて、配信ポリシーを制定するステップであって、評価フィードバックが、コンテンツがコンテンツガイドラインに違反していることを示している場合、コンテンツの配信を防止するステップと、評価フィードバックが、コンテンツがコンテンツガイドラインに違反していないことを示している場合、コンテンツを配信するステップとを含む、ステップとの動作を含む方法において具体化することができる。この態様の他の実施形態は、コンピュータストレージデバイス上に符号化された、方法のアクションを実行するように構成された、対応する方法、装置、およびコンピュータプログラムを含む。これらおよび他の実施形態は、それぞれ、任意で、以下の特徴のうちの1つまたは複数を含むことができる。

配信ポリシーを制定するステップは、地理的領域ごとに異なる配信ポリシーを指定する地理的ベースの配信ポリシーを制定するステップを含むことができる。方法は、評価フィードバックに基づいて、コンテンツが第1の地理的領域の第1のコンテンツガイドラインに違反しているが、第2の地理的領域の第2のコンテンツガイドラインに違反していないことを決定するステップを含むことができ、評価フィードバックが、コンテンツがコンテンツガイドラインに違反していることを示している場合、コンテンツの配信を防止するステップが、第1のコンテンツガイドラインの違反に基づいて、第1の地理的領域におけるコンテンツの配信を防止するステップを備え、評価フィードバックが、コンテンツがコンテンツガイドラインに違反していないことを示している場合、コンテンツを配信するステップが、コンテンツが第1の地理的領域の第1のコンテンツガイドラインに違反するかどうかに関係なく、第2のコンテンツガイドラインに違反しないコンテンツに基づいて第2の地理的領域においてコンテンツを配信するステップを備える。

方法は、第1のコンテキストにおいて格付けエンティティのセットの間でコンセンサスに達するために必要であると考えられる1つまたは複数のエンティティ属性を決定するステップと、特定のコンテキストにおいて、格付けエンティティのセットの間でコンセンサスに達するために必要であると考えられる1つまたは複数のエンティティ属性を有するエンティティのみを含むように格付けエンティティのセットを作成するステップとを含む、格付けエンティティのセットを生成するステップを含むことができる。

方法は、1つまたは複数のエンティティ属性のうちの少なくとも1つを有しない格付けエンティティの第2のセットを生成するステップと、格付けエンティティの第2のセットから、コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックを取得するステップと、格付けエンティティの第2のセットから取得した評価フィードバックに基づいて、コンセンサスに達するために1つまたは複数のエンティティ属性が必要かどうかを決定するステップであって、格付けエンティティの第2のセットから取得した評価フィードバックがエンティティのセットから受信した評価フィードバックと異なる場合、コンセンサスに達するために1つまたは複数の属性が必要であると決定するステップと、格付けエンティティの第2のセットから取得した評価フィードバックがエンティティのセットから受信した評価フィードバックと一致する場合、コンセンサスに達するために1つまたは複数の属性が必要でないと決定するステップとを含む、ステップとを含むことができる。

方法は、コンテンツを、それぞれがすべてのコンテンツよりも少ないコンテンツを含むコンテンツのより小さい部分に解析するステップを含むことができ、さらなる評価のためにコンテンツを格付けエンティティのセットに渡すステップは、コンテンツのそれぞれのより小さい部分を、並行して評価するためにエンティティのセットの中からエンティティの異なるサブセットに渡すステップを備え、コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックを受信するステップは、より小さい部分が渡されたエンティティの異なるサブセットから、より小さい部分ごとに別個のフィードバックを受信するステップを備える。

方法は、格付けエンティティのセットに渡されるコンテンツの量を調整するステップを含むことができる。格付けエンティティのセットに渡されるコンテンツの量を調整するステップは、エンティティのセット内の異なるエンティティごとに、あらかじめ指定された時間内に異なるエンティティに渡されたコンテンツの量を決定するステップと、あらかじめ指定された時間内に異なるエンティティに渡されたコンテンツの不適切さのレベルを定量化する不良スコアを決定するステップと、(i)あらかじめ指定された時間内に異なるエンティティに渡されたコンテンツの量がしきい値を超えた場合、または(ii)不良スコアが最大許容不良スコアを超えた場合、追加のコンテンツが異なるエンティティに渡されることを防止するステップとを含むことができる。

コンテンツが不快な素材を描写する可能性を決定するステップは、1つまたは複数のデータプロセッサによって、皮膚検出アルゴリズム、血液検出アルゴリズム、物体識別分析、または音声認識分析のうちの1つまたは複数を利用する自動格付けエンティティを実行するステップを備え得る。

不快な素材の描写を弱めるためにコンテンツを修正するステップは、コンテンツの一部をぼかす、ピクセル化する、またはミュートすることのいずれかを備え得る。

本明細書に記載されている主題の特定の実施形態は、以下の利点のうちの1つまたは複数を実現するように実装することができる。たとえば、本明細書全体で説明した技法は、コンピュータシステムが、不適切なコンテンツがユーザに配信されるリスクを軽減し、コンテンツを評価するために必要な時間を短縮する、階層的評価プロセスを利用することを可能にし、それによって、コンテンツのより高速な配信が可能になる。すなわち、不適切なコンテンツは、一般に公開される前に、より正確にフィルタリングされる。説明した技法はまた、コンテンツを格付けエンティティに提示する前にコンテンツを修正すること、および/またはコンテンツをより小さいサブ部分に分割して、異なる格付けエンティティへのサブ部分の各々を提供することによって、格付けエンティティおよび/またはユーザへの不快なコンテンツの提示による心理的影響を軽減するために役立つ。説明した技法はまた、ユーザ生成コンテンツの公開配信の前にユーザ生成コンテンツのリアルタイム評価を可能にし、コンテンツ(たとえば、ビデオ)の期間をより短い期間に分割し、より短い期間の各々を同時に評価することによって、コンテンツが迅速に投稿されることも保証し、それによって、コンテンツの全期間を評価するために必要な合計時間を短縮する。本技法はまた、評価されたコンテンツの分類が、格付けエンティティの特性および評価されたコンテンツのそれぞれの分類に基づいて、地理的ベースまたはユーザ特性ベースで変化するかどうかを決定することができ、これは、地理的領域ごとのベース、および/またはユーザごとのベースでコンテンツの配信をブロックまたは許可するために使用することができる。すなわち、開示された主題の態様は、改善されたコンテンツフィルタリング方法を提供するという技術的問題に対処する。

主題の別の革新的な態様は、1つまたは複数の評価ルールを記憶するデータストアを備えるシステムに関し、1つまたは複数のデータプロセッサは、1つまたは複数の評価ルールと対話し、本明細書に開示される方法のいずれかの動作を実行するように構成される。

主題の別の革新的な態様は、1つまたは複数のデータ処理装置によって実行されると、1つまたは複数のデータ処理装置に、本明細書に開示される方法のいずれかを備える動作を実行させる命令を記憶する非一時的なコンピュータ可読媒体に関する。

態様の任意の特徴は、必要に応じて他の態様と組み合わせることができる。

本明細書に記載されている主題の1つまたは複数の実施形態の詳細は、添付の図面および以下の説明に記載されている。主題の他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。

コンテンツが分析および配信される例示的な環境のブロック図である。 階層的コンテンツ評価プロセスのための例示的なデータフローのブロック図である。 格付けエンティティのセットの管理を示すブロック図である。 エンティティ属性に基づいて格付けエンティティのセットを管理するプロセスを示すブロック図である。 コンテンツのサブ部分の格付けエンティティのサブセットへの配信を示すブロック図である。 例示的なマルチティアスケーラブルメディア分析プロセスのフローチャートである。 説明された動作を実行するために使用することができる例示的なコンピュータシステムのブロック図である。

様々な図面における同様の参照番号および名称は、同様の要素を示している。

本明細書は、メディアアイテムまたは他のコンテンツの分析、およびコンテンツ配信ポリシーの実施を容易にするために使用される方法、システム、装置、およびコンピュータ可読媒体を開示する。いくつかの実装形態では、不適切なコンテンツがユーザに配信されるリスクを軽減し、コンテンツを評価するために必要な時間を短縮するために、階層的評価プロセスが使用される。以下でより詳細に説明するように、階層的評価プロセスは、マルチレベルのコンテンツ評価および配信システムを使用して実装される。不適切なコンテンツを配信する前に不適切なコンテンツを識別する能力を向上させると同時に、コンテンツがコンテンツガイドラインに違反しているかどうかに関して確認および/またはフィードバックを提供する格付けエンティティに不適切なコンテンツが与える可能性のある悪影響を軽減する技法を実装することができる。たとえば、以下でより詳細に説明するように、コンテンツが不快な素材を描写する可能性が高い場合、コンテンツは、不快な素材の描写を弱めるように1つまたは複数の方法で修正することができる。状況によっては、格付けエンティティによるコンテンツの評価中にコンテンツの期間をピクセル化または短縮することにより、不快な素材の描写を弱めることができる。このように不快な素材の描写を弱めることにより、格付けエンティティに対する不快な素材の心理的な悪影響を軽減する。

本明細書全体で使用されているように、「コンテンツ」および「メディア」という語句は、デジタルコンテンツまたはデジタル情報の個別の単位(たとえば、ビデオクリップ、オーディオクリップ、マルチメディアクリップ、画像、テキスト、または別のコンテンツ単位)を指す。コンテンツは、単一のファイルまたはファイルのコレクションとして物理メモリデバイスに電子的に記憶することができ、コンテンツは、ビデオファイル、オーディオファイル、マルチメディアファイル、画像ファイル、またはテキストファイルの形態をとり、広告情報を含むことができる。コンテンツは、様々なエンティティによる配信用に提供することができ、コンテンツ配信システムは、コンテンツクリエータとも呼ばれる、多くの異なるコンテンツジェネレータの様々なサイトおよび/またはネイティブアプリケーションにコンテンツを配信することができる。

図1は、電子文書によって提示するためにデジタルコンポーネントが配信される、例示的な環境100のブロック図である。例示的な環境100は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、またはそれらの組合せなどのネットワーク102を含む。ネットワーク102は、電子文書サーバ104、クライアントデバイス106、メディアジェネレータ107、メディアサーバ108、およびメディア配信システム110(コンテンツ配信システム(CDS)とも呼ばれる)を接続する。例示的な環境100は、多くの異なる電子文書サーバ104、クライアントデバイス106、メディアジェネレータ107、およびメディアサーバ108を含み得る。

クライアントデバイス106は、ネットワーク102を介してリソースを要求および受信することができる電子デバイスである。例示的なクライアントデバイス106は、ネットワーク102を介してデータを送受信することができるパーソナルコンピュータ、モバイル通信デバイス、および他のデバイスを含む。クライアントデバイス106は、通常、ネットワーク102を介したデータの送受信を容易にするために、ウェブブラウザなどのユーザアプリケーションを含むが、クライアントデバイス106によって実行されるネイティブアプリケーションもまた、ネットワーク102を介したデータの送受信を容易にすることができる。

電子文書は、クライアントデバイス106においてコンテンツのセットを提示するデータである。電子文書の例は、ウェブページ、ワープロ文書、ポータブルドキュメントフォーマット(PDF)文書、画像、ビデオ、検索結果ページ、およびフィードソースを含む。モバイル、タブレット、またはデスクトップコンピューティングデバイスにインストールされたアプリケーションなどのネイティブアプリケーション(たとえば、「アプリ」)も、電子文書の例である。電子文書は、電子文書サーバ104(「Electronic Doc Servers」)によってクライアントデバイス106に提供することができる。たとえば、電子文書サーバ104は、発行者のウェブサイトをホストするサーバを含むことができる。この例では、クライアントデバイス106は、所与の発行者ウェブページの要求を開始することができ、所与の発行者ウェブページをホストする電子文書サーバ104は、クライアントデバイス106において所与のウェブページの提示を開始する機械実行可能命令を送信することによって要求に応答することができる。

別の例では、電子文書サーバ104は、クライアントデバイス106がアプリをダウンロードすることができるアプリサーバを含むことができる。この例では、クライアントデバイス106は、クライアントデバイス106にアプリをインストールするために必要なファイルをダウンロードし、次いで、ダウンロードされたアプリをローカルで実行することができる。ダウンロードされたアプリは、アプリケーション自体の一部であるネイティブコンテンツと、アプリケーションの外部で(たとえば、メディアジェネレータ107によって)生成され、アプリケーション内で提示されるメディアとの組合せを提示するように構成することができる。

電子文書は、様々なコンテンツを含むことができる。たとえば、電子文書は、電子文書自体の中にある、および/または時間の経過とともに変化しない静的コンテンツ(たとえば、テキストまたは他の指定されたコンテンツ)を含むことができる。電子文書は、時間の経過とともに、または要求ごとに変更する可能性のある動的コンテンツを含むこともできる。たとえば、所与の電子文書の発行者は、電子文書の一部にデータを入力するために使用されるデータソースを維持することができる。この例では、所与の電子文書は、所与の電子文書がクライアントデバイス106によって処理(たとえば、レンダリングまたは実行)されるときに、クライアントデバイス106にデータソースからのコンテンツを要求させるタグまたはスクリプトを含むことができる。クライアントデバイス106は、データソースから取得されたコンテンツを含む複合電子文書を作成するために、データソースから取得されたコンテンツを所与の電子文書に統合する。

状況によっては、所与の電子文書は、メディア配信システム110を参照するメディアタグまたはメディアスクリプトを含むことができる。これらの状況では、メディアタグまたはメディアスクリプトは、所与の電子文書がクライアントデバイス106によって処理されるときにクライアントデバイス106によって実行される。メディアタグまたはメディアスクリプトの実行は、ネットワーク102を介してメディア配信システム110に送信されるメディア要求112を生成するようにクライアントデバイス106を構成する。たとえば、メディアタグまたはメディアスクリプトは、クライアントデバイス106が、ヘッダおよびペイロードデータを含むパケット化されたデータ要求を生成することを可能にすることができる。メディア要求112は、メディアが要求されているサーバの名前(または、ネットワークの場所)、要求しているデバイス(たとえば、クライアントデバイス106)の名前(または、ネットワークの場所)などの特徴を指定するイベントデータ、および/または、メディア配信システム110が、要求に応答して提供される1つまたは複数のメディアアイテム(たとえば、メディアの異なる部分)を選択するために使用できる情報を含むことができる。メディア要求112は、クライアントデバイス106によって、ネットワーク102(たとえば、電気通信ネットワーク)を介して、メディア配信システム110のサーバに送信される。

メディア要求112は、要求されている電子文書、およびメディアを提示することができる電子文書の場所の特徴などの他のイベント特徴を指定するイベントデータを含むことができる。たとえば、メディアが提示される電子文書(たとえば、Webページまたはアプリケーション)への参照(たとえば、ユニフォームリソースロケータ(URL))を指定するイベントデータ、メディアを提示するために利用できる電子文書の利用可能な場所、利用可能な場所のサイズ、および/またはその場所における提示に適格なメディアタイプを、メディア配信システム110に提供することができる。同様に、電子文書によって参照される電子文書に関連付けられるキーワード(「文書キーワード」)またはエンティティ(たとえば、人、場所、または物)を指定するイベントデータも、メディア要求112に(たとえば、ペイロードデータとして)含めることができ、また、電子文書における提示に適格なメディアの識別を容易にするためにメディア配信システム110に提供することができる。イベントデータはまた、検索結果ページ(たとえば、オーディオおよび/またはビデオメディアの検索結果を提示する標準検索結果ページまたはメディア検索結果ページ)を取得するためにクライアントデバイス106から提出された検索クエリ、ならびに/あるいは検索結果を指定するデータ、および/または検索結果に含まれるテキスト、可聴、または他の視覚的コンテンツを含むことができる。

メディア要求112はまた、クライアントデバイスのユーザが提供した情報、コンポーネント要求が提出された州または地域を示す地理情報、あるいはデジタルコンポーネントが表示される環境のコンテキストを提供する他の情報(たとえば、コンポーネント要求の時刻、コンポーネント要求の曜日、モバイルデバイスやタブレットデバイスなどのデジタルコンポーネントが表示されるデバイスのタイプ)などの他の情報に関連するイベントデータを含むことができる。メディア要求112は、たとえば、パケット化されたネットワークを介して送信することができ、メディア要求112自体は、ヘッダおよびペイロードデータを有するパケット化されたデータとしてフォーマットすることができる。ヘッダはパケットの宛先を指定することができ、ペイロードデータは上記の情報のいずれかを含むことができる。

1つまたは複数のメディア配信サーバを含むメディア配信システム110は、メディア要求112の受信に応答して、および/またはメディア要求112に含まれる情報を使用して、所与の電子文書とともに提示されるメディアアイテムを選択する。いくつかの実装形態では、メディアアイテムの選択の遅延によって引き起こされる可能性のあるエラーを回避するために、メディアアイテムは1秒未満で選択される。たとえば、メディア要求112に応答してメディアを提供する際の遅延は、クライアントデバイス106においてページロードエラーをもたらすか、または電子文書の他の部分がクライアントデバイス106において提示された後でも、電子文書の一部が未入力のままになる可能性がある。また、メディアをクライアントデバイス106に提供する際の遅延が増大するにつれて、メディアがクライアントデバイス106に配信されるときに電子文書がクライアントデバイス106において提示されなくなる可能性が高くなり、それによって電子文書のユーザエクスペリエンスに悪影響を及ぼす。さらに、メディアを提供する際の遅延は、たとえば、メディアが提供されたときに電子文書がクライアントデバイス106において提示されなくなった場合、メディアの配信の失敗をもたらす可能性がある。

いくつかの実装形態では、メディア配信システム110は、たとえば、相互接続され、メディア要求112に応答してデジタルコンポーネントを識別および配信するサーバおよび複数のコンピューティングデバイス114のセットを含む分散コンピューティングシステムに実装される。複数のコンピューティングデバイス114のセットは、数百万の利用可能なメディアアイテム(MI_1-x)のコーパスの中から、電子文書において提示されるのに適格なメディアアイテムのセットを識別するために一緒に動作する。数百万の利用可能なメディアアイテムは、たとえば、メディアアイテムデータベース116においてインデックス付けすることができる。各メディアアイテムインデックスエントリは、対応するメディアアイテムを参照することができ、および/または対応するメディアアイテムの配信/送信に寄与(たとえば、条件付け、または制限)する配信パラメータ(DP₁-DP_x)を含むことができる。たとえば、配信パラメータは、メディア要求が、メディアアイテムの配信パラメータのうちの1つに一致する(たとえば、正確に、またはあらかじめ指定されたレベルの類似性を有する)少なくとも1つの基準を含むことを要求することによって、メディアアイテムの送信に寄与することができる。

いくつかの実装形態では、特定のメディアアイテムの配信パラメータは、メディアアイテムが提示に適格であるために一致しなければならない配信キーワードを含むことができる(たとえば、電子文書、文書キーワード、またはメディア要求112において指定された用語によって)。配信パラメータはまた、メディアアイテムが提示に適格であるために、メディア要求112が特定の地理的領域(たとえば、国または州)を指定する情報、および/またはメディア要求112が特定のタイプのクライアントデバイス(たとえば、モバイルデバイスまたはタブレットデバイス)において発信されたことを指定する情報を含むことを要求することができる。以下でより詳細に説明するように、配信パラメータは、配信/送信のためのメディアアイテムの適格性(たとえば、他の利用可能なデジタルコンポーネントの中で)を評価するために使用される適格性値(たとえば、ランキングスコアまたは他の何らかの指定された値)を指定することもできる。状況によっては、適格性値は、特定のイベントがメディアアイテムに起因する場合(たとえば、アプリケーションがメディアアイテムとの対話を通じてクライアントデバイスにインストールされた場合、またはメディアアイテムの表示に起因する場合)に提出される量を指定することができる。

適格なメディアアイテムの識別は、複数のタスク117a～117cに分割することができ、次いで、これらのタスクは、複数のコンピューティングデバイス114のセット内のコンピューティングデバイス間で割り当てられる。たとえば、セット114内の異なるコンピューティングデバイスは、それぞれ、メディア要求112に含まれる情報と一致する配信パラメータを有する様々なメディアアイテムを識別するために、メディアアイテムデータベース116の異なる部分を分析することができる。いくつかの実装形態では、セット114内の所与の各コンピューティングデバイスは、異なるデータ次元(または、次元のセット)を分析し、分析の結果(Res1～Res3)118a～118cをメディア配信システム110に戻す(たとえば、送信する)ことができる。たとえば、セット114内のコンピューティングデバイスの各々によって提供される結果118a～118cは、メディア要求に応答して配信に適格であるメディアアイテムのサブセット、および/または特定の配信パラメータを有するメディアアイテムのサブセットを識別し得る。メディアアイテムのサブセットの識別は、たとえば、イベントデータを配信パラメータと比較することと、イベントデータの少なくともいくつかの特徴に一致する配信パラメータを有するメディアアイテムのサブセットを識別することとを含むことができる。

メディア配信システム110は、メディア要求112に応答して提供される1つまたは複数のメディアアイテムを選択するために、複数のコンピューティングデバイス114のセットから受信した結果118a～118cを集約し、集約された結果に関連付けられる情報を使用する。たとえば、メディア配信システム110は、1つまたは複数のメディア評価プロセスの結果に基づいて、勝ちメディアアイテムのセット(1つまたは複数のメディアアイテム)を選択することができる。次に、メディアシステム110は、ネットワーク102を介して、クライアントデバイス106が勝ちメディアアイテムのセットを所与の電子文書に統合することを可能にする応答データ120(たとえば、応答を表すデジタルデータ)を生成および送信することができ、したがって、勝ちメディアアイテムのセットおよび電子文書のコンテンツが、クライアントデバイス106のディスプレイに一緒に提示される。

いくつかの実装形態では、クライアントデバイス106は、応答データ120に含まれる命令を実行し、これは、クライアントデバイス106が1つまたは複数のメディアサーバ108から勝ちメディアアイテムのセットを取得することを構成し、可能にする。たとえば、応答データ120内の命令は、ネットワークの場所(たとえば、URL)、およびクライアントデバイス106に、メディアサーバ108から所与の勝ちメディアアイテムを取得するために、サーバ要求(SR)121をメディアサーバ108に送信させるスクリプトを含むことができる。サーバ要求121に応答して、メディアサーバ108は、サーバ要求121において(たとえば、複数のメディアアイテムを記憶するデータベース内で)指定された所与の勝ちメディアアイテムを識別し、クライアントデバイス106に、所与の勝ちメディアアイテムをクライアントデバイス106において電子文書に提示するメディアアイテムデータ(MIデータ)122を送信する。

電子文書の検索を容易にするために、環境100は、電子文書をクロールおよびインデックス付けすることによって電子文書を識別する検索システム150を含むことができる(たとえば、電子文書のクロールされたコンテンツに基づいてインデックス付けされる)。電子文書に関するデータは、データが関連付けられている電子文書に基づいてインデックス付けすることができる。電子文書のインデックス付けされた、および任意でキャッシュされたコピーは、検索インデックス152(たとえば、ハードウェアメモリデバイス)に記憶される。電子文書に関連付けられるデータは、電子文書に含まれるコンテンツ、および/または電子文書のメタデータを表すデータである。

クライアントデバイス106は、ネットワーク102を介して検索クエリを検索システム150に提出することができる。それに応じて、検索システム150は、検索クエリに関連する電子文書を識別するために検索インデックス152にアクセスする。検索システム150は、検索結果の形で電子文書を識別し、検索結果を検索結果ページにおいてクライアントデバイス106に返す。検索結果は、特定の検索クエリに応答する(たとえば、関連する)電子文書を識別する検索システム150によって生成されるデータであり、ユーザが検索結果と対話することに応答して、クライアントデバイスに、指定された場所からデータを要求させるアクティブリンク(たとえば、ハイパーテキストリンク)を含む。検索結果の例は、ウェブページのタイトル、ウェブページから抽出されたテキストのスニペットまたは画像の一部、およびウェブページのURLを含む。検索結果の別の例は、ダウンロード可能なアプリケーションのタイトル、ダウンロード可能なアプリケーションを説明するテキストのスニペット、ダウンロード可能なアプリケーションのユーザインターフェースを示す画像、および/またはアプリケーションをクライアントデバイス106にダウンロードすることができる場所へのURLを含むことができる。検索結果の別の例は、ストリーミングメディアのタイトル、ストリーミングメディアを説明するテキストのスニペット、ストリーミングメディアのコンテンツを示す画像、および/またはストリーミングメディアをクライアントデバイス106にダウンロードすることができる場所へのURLを含むことができる。他の電子文書のように、検索結果ページは、デジタルコンポーネント(たとえば、広告、ビデオクリップ、オーディオクリップ、画像、または他のデジタルコンポーネント)を提示することができる1つまたは複数のスロットを含むことができる。

メディアアイテムは、メディアジェネレータ107によって生成することができ、メディアアップロード(メディアUL)160の形態でメディアサーバ108にアップロードすることができる。メディアアップロード160は、ファイル転送、たとえば既存のビデオファイル、画像ファイル、またはオーディオファイルの転送の形態をとることができる。あるいは、またはさらに、メディアアップロードは、「ライブストリーム」または「リアルタイムストリームキャプチャ」の形態をとることができる。ライブストリームとリアルタイムストリームのキャプチャは、これらのタイプのメディアアップロードが、通常、メディアがキャプチャされるときにリアルタイムで発生する可能性があり、すなわち、最初にメディアをローカルに記録し、次いでファイル転送の方法でメディアをアップロードする必要はないという点で、ファイル転送とは異なる場合がある。

メディアジェネレータ107は、ビジネスベンチャの一部としてユーザに配信するためのメディアを生成する専門組織(または、企業)を含むことができ、また、他のユーザと共有するためにコンテンツをアップロードする個人を含むことができる。たとえば、個人は、そのメディアを世界中の他のユーザと共有するために、ビデオまたはオーディオファイルをメディア共有サイト(または、アプリケーション)にアップロードすることができる。同様に、個人は、友人、指定されたソーシャルネットワークユーザ、またはソーシャルネットワークのすべてのユーザによって閲覧されるように、(たとえば、ビデオまたはオーディオを自分のアカウントまたはストリームに投稿することによって)ビデオまたはオーディオファイルをソーシャルネットワークサイトにアップロードすることができる。個人が本質的にいつでも、どの曜日でもメディアをアップロードできる能力、および個人によるメディアアップロードの膨大な量により、メディアジェネレータ107がメディアアップロード160を開始する時間と、メディアがメディア配信システム110および/またはメディアサーバ108による配信のために利用可能である時間との間の時間を大幅に増やすことなしに、不適切なコンテンツの制限に関連するコンテンツガイドラインを実施することは困難になる。さらに、特定のサイト/アプリケーションのコンテンツガイドラインは地理的ベースで異なる場合があり、不適切なコンテンツと見なされるコンテンツの規範は、地理的ベース、信念ベース、および/または時間の経過とともに(たとえば、最近のソーシャルイベントを考慮して)変化する可能性がある。不適切なコンテンツを構成するもののこれらの変形は、不適切なコンテンツをタイムリーに効果的に識別することをさらに困難にする。

メディアの分析を容易にするために、メディア配信システム110は、評価装置170を含む。以下でより詳細に説明するように、評価装置170は、機械自動レビューエンティティとライブレビューエンティティの組合せを使用する階層的メディアレビュー技法を実装する。自動レビューエンティティは、メディアジェネレータ107によってアップロードされたコンテンツ(たとえば、メディアアイテム)が、不快な素材(たとえば、指定されたコンテンツガイドラインに違反するか、または所与のユーザのコミュニティの社会的基準に基づいて不快なコンテンツ)を描写する可能性を決定することができる。以下でより詳細に説明するように、機械自動レビューエンティティによってレビューされたコンテンツの一部(またはすべて)は、コンテンツが不快な素材を描写するかどうかをさらに分析するために、ライブレビューエンティティに渡される。

いくつかの実装形態では、コンテンツの所与の部分が提供される格付けエンティティのセットは、コンテンツの分類に関してコンセンサスに達することができることを確実にする方法で選択することができる(たとえば、グループ内の格付けエンティティの少なくとも指定された部分またはパーセンテージは、コンテンツの分類に同意する)。状況によっては、コンテンツが、ある地理的領域においては不快であると見なされるが、別の地理的領域においては許容できると見なされる素材を描写するかどうかを決定するために、評価装置170が、地理的位置(または、別の際立った特徴)に基づいて格付けエンティティの異なるグループを選択することを意味する。状況によっては、最初に選択された格付けエンティティのグループを使用してコンテンツの適切性に関するコンセンサスに達しない場合、評価装置170によって、追加の格付けエンティティを格付けエンティティの特定のグループに追加することができる。さらに、コンテンツの1つまたは複数の以前の評価が、コンテンツが不快な素材を含む可能性が高い(しかし確実ではない)ことを示した状況において、コンテンツを評価装置170によって修正することができる。たとえば、疑わしいコンテンツにさらされる任意の後続の格付けエンティティに対するその潜在的に不快な素材の影響を軽減するために、コンテンツをぼかす、ピクセル化する、ミュートする、または他の方法で評価装置によって弱めることができる。次いで、修正されたコンテンツは、さらなる分析および/または評価のために追加の格付けエンティティに提供される。

図2は、評価装置170によって実装することができる例示的な階層的メディア評価プロセス200のブロック図である。評価プロセス200は、格付けエンティティ210の第1のセットによるコンテンツの初期分析から始まり、後続のアクションおよび/またはコンテンツの分析が、初期分析から取得されたフィードバックに基づいて格付けエンティティの異なるセット(たとえば、格付けエンティティ220および/または格付けエンティティ230)によって実行されるため、本質的に階層的(またはマルチティア)である。同様に、階層レビュープロセスの後続の各レベルにおいて、異なるアクションおよび/またはさらなる分析を実行することができる。たとえば、初期分析(たとえば、階層的レビュープロセスの最高レベルまたは第1レベル)の間、メディアを、コンテンツガイドラインの第1のセット(たとえば、独創性、暴力、および/または成人の素材)に関して分析および/または評価することができ、また、メディア、階層的レビュープロセスのより低いレベル(たとえば、第2のレベル)において、コンテンツガイドラインの第2のセット(たとえば、音質、ビデオ品質、および/またはメディア記述の正確さ)について分析または評価することができる。以下でより詳細に説明するように、階層的レビュープロセスの1つのレベルにおいて評価されるメディアの態様は、階層的レビュープロセスの他のレベルにおいて再度評価することができる。

プロセス200は、メディアジェネレータ107からメディアアップロード160を受信する、評価装置170を含むコンテンツ配信システム(CDS)110から開始することができる。メディアアップロード160は、完全な公開配信の前に(たとえば、ビデオ共有サイトに投稿する前に、あるいはウェブページまたはアプリケーションのスロットに配信する前に)評価装置170によって評価されるコンテンツ202を含む。コンテンツ202は、ビデオコンテンツ、オーディオコンテンツ、またはビデオコンテンツとオーディオコンテンツの組合せであり得る。メディアアップロードはまた、メディアアップロード160のソース(たとえば、メディアアップロード160を提出したメディアジェネレータ)、メディアアップロード内のコンテンツ202に関する記述情報、コンテンツ202のターゲット配信サイト、メディアアップロード160が開始されたときのタイムスタンプ、および/またはメディアアップロード160に含まれるコンテンツ202の一意の識別子などの他の情報を含むことができる。

メディアアップロード160を受信すると、評価装置170は、第1の評価ルールに従ってコンテンツ202の初期評価をトリガする。いくつかの実装形態では、評価装置170は、第1の評価ルールを使用してコンテンツ202の初期評価を実施することによって、初期評価をトリガする。他の実装形態では、評価装置170は、コンテンツ202を自動格付けエンティティ210のセットに渡すことによって初期評価をトリガする。

コンテンツ202の初期評価は、1つまたは複数のアルゴリズムおよび/あるいは機械学習方法を使用して、評価装置170または自動格付けエンティティ210のセットによって実行することができる。コンテンツ202の初期評価は、ビデオ分析、皮膚検出アルゴリズム、暴力検出アルゴリズム、物体検出アルゴリズム、および/または言語検出アルゴリズムを含むことができる。コンテンツ202の初期評価の出力は、不快な素材212の可能性の形態で提供することができる。いくつかの実装形態では、不快な素材212の可能性は、コンテンツ202がコンテンツガイドラインを満たさないという全体的な可能性を表す数値である。たとえば、不快な素材の可能性は、0から10までのスケールの数値であり得、ここで、0に近い数は、コンテンツ202が不快な素材を描写する決定された可能性がより低いことを示し、10に近い数は、コンテンツ202が不快な素材を描写する可能性がより高いことを示す。もちろん、不快な素材212の可能性は、任意の適切なスケールを使用して表すことができる。コンテンツ202の初期評価を通じて検出され得る一般的な不快な素材の例は、ポルノ、罵倒、および血まみれのシーンを含む。

不快な素材212の決定された可能性を使用して、評価装置170は、コンテンツ202が公開配信に適格であるか、さらなる評価を必要とするか、または公開配信に適格でないかについて決定を下すことができる。いくつかの実装形態では、この決定は、不快な素材212の可能性を1つまたは複数のしきい値と比較することによって行われる。たとえば、評価装置170は、不快な素材212の可能性が指定された不快しきい値よりも大きい場合(たとえば、0から10のスケールで8より大きい数)、コンテンツ202を公開配信から不適格とし、不快な素材212の可能性が不快しきい値よりも低い場合、さらなる評価のために、コンテンツ202を別の格付けエンティティのセット(たとえば、格付けエンティティ220)に渡すことができる。別の例では、評価装置170は、不快な素材212の可能性が指定された安全しきい値よりも低い(たとえば、0から10のスケールで2よりも低い)ときに、コンテンツ202を公開配信の準備ができているとして適格とし、不快な素材212の可能性が安全しきい値よりも大きい場合、コンテンツ202を他の格付けエンティティのセットに渡すことができる。さらに別の例では、評価装置170は、不快な素材212の可能性が安全しきい値と不快しきい値との間にある場合にのみコンテンツ202が他の格付けエンティティのセットに渡されるような方法で、安全しきい値と不快しきい値の両方を使用することができる。状況によっては、評価装置170は、初期評価において決定された不快な素材212の可能性に関係なく、コンテンツ202を別の格付けエンティティのセットに渡すことができる。

不快な素材212の可能性はまた、コンテンツ202を別の格付けエンティティのセットに渡す前に、コンテンツ202を修正すべきかどうかを決定するために使用することができる。いくつかの実装形態では、評価装置170は、不快な素材212の可能性が指定された修正しきい値未満である場合、修正なしでコンテンツ202を1つまたは複数の他の格付けエンティティのセットに渡す。しかしながら、不快な素材212の可能性が修正しきい値を満たす(たとえば、等しいか、それより大きい)場合、評価装置170は、コンテンツ202を別の格付けエンティティのセット(たとえば、階層的評価プロセスの第2のレベルまたは別の下位レベルの格付けエンティティのセット)に渡す前に、コンテンツ202を修正することができる。いくつかの実装形態では、評価装置170は、視覚的コンテンツのぼかし、ピクシレーション、または色の変更を通じてコンテンツ202を修正することができ、これにより、コンテンツが渡される格付けエンティティに対するコンテンツ202の心理的影響が軽減される。

いくつかの実装形態では、評価装置170は、コンテンツ202(修正された、または修正されていない)を、階層的評価プロセスの1つまたは複数の下位レベルにある格付けエンティティ220の中間レベルのセットに渡す。この中間レベルの格付けエンティティ220のセットは、不快な素材のコンテンツをレビューするために雇用される、および/または特定のインセンティブに基づいてコンテンツ評価のサービスを提供するために登録した人間の格付け者であるか、またはそれらを含むことができる。いくつかの実装形態では、格付けエンティティは、特定の属性によって特徴付けられる。属性の例は、年齢範囲、地理的位置、オンラインアクティビティ、および/または人間の格付け者の格付け履歴を含むことができる。格付けエンティティの属性は、格付けエンティティとして登録するときに、それらの格付けエンティティによって提出することができる。格付け履歴は、他の情報の中でも、格付けエンティティによって以前に格付けされたコンテンツのタイプ、コンテンツに適用された格付け、コンテンツの全体的な格付けに対する格付けエンティティの前の格付けの相関スコアを示すことができる。格付けエンティティ220の中間レベルのセットは、初期評価において考慮されたものと同じおよび/または異なる要因でコンテンツを評価するように要求することができる。

コンテンツ202が渡される格付けエンティティ220の中間レベルのセットは、格付けエンティティのプールから選択することができる。格付けエンティティ220の中間レベルのセット(中間格付け者220とも呼ばれる)は、コンテンツ202のコンテキストに応じて、コンテンツ202の堅牢な評価を提供する可能性が高い方法で選択することができる。たとえば、コンテンツ202が特定の地理的領域(たとえば、単一の国)においてのみアクセス可能である場合、中間格付け者220は、その特定の地理的領域からの格付けエンティティのみを含むように選択することができる。一方、中間格付け者220は、多様性を提供するように選択することもでき、これにより、コンテンツ202が広く受け入れられる(または、不快である)かどうか、および/または、集団の特定のサブグループが、コンテンツ202が不快であるかどうかの決定において異なる可能性があるかどうかを明らかにすることができる。たとえば、中間格付け者220の特定のセットは、米国に位置するが、他の属性の多様なセットを有する格付けエンティティのみを含み得る。一方、中間格付け者220の別のセットは、インドに位置するが、そうでなければ他の属性の多様なセットを有する格付けエンティティのみを含むことができる。この例では、異なる中間格付け者220の構成は、コンテンツ202が米国およびインドにおいて一般に不快であると見なされるかどうかに関する洞察を提供し、ならびに、米国およびインドにおいて、コンテンツがどれほど不快であると見なされるかの違いに関する情報を提供することができる。

これらの決定を容易にするために、評価装置170は、コンテンツ202を選択された中間格付け者220の各々に渡し、それらの中間格付け者220から評価フィードバック222を受信する。コンテンツ202は、たとえば、パスワードで保護された専用のアプリケーションまたはウェブページを通じて中間格付け者220に渡すことができ、その結果、コンテンツ202へのアクセスは、コンテンツを格付けするために登録した中間格付け者に制限される。

評価装置170によって受信された評価フィードバック222は、コンテンツ202がどれほど不快であるかの程度を表すスコアを指定することができる。たとえば、評価フィードバックによって、各中間格付け者220(または、他の任意の格付けエンティティ)は、0から10のスケールでスコアを提供することができ、ここで、0は最も不快でない素材を指し、10は最も不快な素材を指す。別の例では、評価フィードバックは、コンテンツ202が不快であることに賛成または反対の投票を指定することができる。たとえば、コンテンツ202に関して賛成票を投じることは、コンテンツが不快な素材を描写するという投票を指し得、コンテンツ202に関して反対票を投じることは、コンテンツ202が不快な素材を描写していないという投票を指し得る。以下でより詳細に説明するように、評価装置170は、コンテンツ202が1つまたは複数のコンテンツガイドラインに違反しているかどうかを評価するために、評価フィードバック222を使用することができる。

状況によっては、評価装置170は、コンテンツ202が不快な素材を描写しているかどうかだけでなく、格付けエンティティからより詳細な情報を要求する。たとえば、評価装置170は、コンテンツ202によって描かれている素材のタイプ(たとえば、成人をテーマにした、暴力的、血まみれ、薬物使用など)に関する情報を要求することができ、コンテンツ202を、コンテンツによって描写される素材のタイプにインデックス付けすることができ、これは、コンテンツ202が指定されたコンテンツガイドラインに違反しているかどうかに関する決定を容易にするために役立つ。

以下でより詳細に説明するように、評価装置170は、コンテンツ202が不快な素材を描写するかどうか、またはコンテンツ202が不快な素材を描写しないかどうかに関して、中間格付け者220(または、他の格付けエンティティ)の間でコンセンサスがあるかどうかを決定することができる。状況によっては、中間格付け者220の間でコンセンサスに達するかどうかに関する決定は、一致する評価フィードバックを提出した中間格付け者220のパーセンテージに基づいて行うことができる。たとえば、すべての中間格付け者220(または、少なくとも中間格付け者の指定された部分)によって提出された評価フィードバック222が、コンテンツ202が不快な素材を描写することを示した場合、評価装置170は、コンテンツ202を不快な素材を描写するものとして分類することができる。同様に、すべての中間格付け者220(または、少なくとも中間格付け者の指定された部分)によって提出された評価フィードバック222が、コンテンツ202が不快な素材を描写していないことを示した場合、評価装置170は、コンテンツ202を不快な素材を描写していないものとして分類することができる。次に、評価装置170は、コンテンツ202が公開配信に適格であるか、さらなる評価を必要とするか、または上記と同様の方法で公開配信に適格でないかどうかを決定するために進むことができる。さらに、評価装置170はまた、追加の格付けエンティティ(たとえば、追加の中間格付け者220、または階層構造の別のレベルの追加の格付け者)にさらに配信する前にコンテンツが修正されるべきかどうかを再び決定することができる。

評価装置170は、コンテンツ202に関する追加の評価フィードバックを収集するために、コンテンツ202を格付けエンティティの追加のセットに渡し続けることができる。たとえば、コンテンツ202を中間格付け者220に渡した後、評価装置170は、コンテンツ202を一般的な格付け者のセット(一般的な格付け者とも呼ばれる)230に渡すことに進むことができる。一般的な格付け者230は、コンテンツを格付けするために雇用されておらず、登録されていない格付けエンティティであり得る。たとえば、一般的な格付け者230は、たとえば、ビデオ共有サイト、ウェブページまたはアプリケーションのスロット、あるいは別のオンラインリソースにおいて、コンテンツ202が提示される通常のユーザであり得る。一般的な格付け者230は、中間格付け者220を参照して上記と同様の方法で選択することができる。

コンテンツ202の提示は、評価フィードバック232の要求を含む(たとえば、それで終了する)ことができ、評価フィードバックの提出を制御する。たとえば、一般的な格付け者230に提供されるコンテンツ202は、ビデオクリップがどれほど不快であったかの判定を指定するように一般的な格付け者230に求めるエンドキャップ250(たとえば、最終的なコンテンツ提示)で終了する5秒のビデオクリップであり得る。描写されているように、一般的な格付け者は、ビデオクリップがどれほど不快であったかについての意見を表現するために星の数を選択することができる。一般的な格付け者230から評価フィードバック232を求め、取得するために、他の技法を使用することができる。たとえば、エンドキャップ250は、ビデオクリップが、暴力、または指定されたコンテンツガイドラインに違反する可能性のある別のカテゴリのコンテンツを描写したかどうかを一般的な格付け者230に尋ねることができる。さらに、評価装置170は、より詳細な評価フィードバック232を取得するために、一般的な格付け者230がコンテンツを不快であると見なした理由(たとえば、暴力、成人向けテーマ、アルコールなど)などのより具体的な要求を追求することができる。

以下でより詳細に説明するように、評価装置170は、コンテンツ202が不快な素材を描写するかどうか、またはコンテンツ202が不快な素材を描写しないかどうかに関して、一般的な格付け者230(または、他の格付けエンティティ)の間でコンセンサスがあるかどうかを決定することができる。状況によっては、一般的な格付け者230の間でコンセンサスに達するかどうかに関する決定は、中間格付け者220を参照して上記と同様の方法で行うことができる。次に、評価装置170は、コンテンツ202が公開配信に適格であるか、さらなる評価を必要とするか、または上記と同様の方法で公開配信に適格でないかどうかを決定するために進むことができる。さらに、評価装置170はまた、追加の格付けエンティティにさらに配信する前にコンテンツが修正されるべきかどうかを再び決定することができる。

階層的評価プロセスの任意の時点において(たとえば、中間格付け者レベルまたは一般的な格付け者レベルにおいて)、評価装置170は、格付けエンティティ間のコンセンサスに達していないことを決定し得る。それに応じて、評価装置170は、格付けエンティティ間のコンセンサスに達するために、および/または一致する評価フィードバックを提出している格付けエンティティのサブセット間の類似性を決定するために、コンテンツ202に渡される格付けエンティティの構成を修正することができる。たとえば、最初に選択された中間格付け者220のセット間のコンセンサスには全体的に達しないかもしれないが、中間格付け者220から受信した評価フィードバック222の分析は、ある特定の地理的領域の中間格付け者220が、コンテンツ202を不快な素材を描写するものとして一貫して分類し、異なる特定の地理的領域の中間格付け者220は、コンテンツ202を、不快な素材を描写していないものとして一貫して分類していることを明らかにし得る。コンテンツ202が異なる地理的領域においてどのように配信されるか、および/またはコンテンツ警告をコンテンツに追加するべきかどうかを決定するために、このタイプの情報を使用することができる。格付けエンティティのセットの修正については、以下で詳しく説明する。

評価装置170は、コンテンツ202がコンテンツガイドラインに違反しているかどうかを決定するために、評価フィードバック222を使用する。上記のように、コンテンツガイドラインは、コンテンツガイドラインを指定するサービスにアップロードされたメディアによって描写することが許可されていない素材を指定する。たとえば、ビデオ共有サイトは、成人をテーマにしたコンテンツを禁止するコンテンツガイドラインを有している場合があり、広告配信システムは、薬物使用や極端な暴力を描写するコンテンツを禁止している場合がある。いくつかの実装形態では、評価装置170は、コンテンツ202がコンテンツガイドラインによって禁止されている素材を描写しているかどうかを決定するために、評価フィードバック222および232、ならびに/または初期評価の結果をコンテンツガイドラインと比較することができる。評価装置170が(たとえば、比較に基づいて)コンテンツ202がコンテンツガイドラインによって許可されていない素材を描写していると決定した場合、コンテンツ202はコンテンツガイドラインに違反していると見なされ、コンテンツ202の配信が防止される。評価装置170が(たとえば、比較に基づいて)コンテンツ202がコンテンツガイドラインによって禁止されている素材を描写していないと決定した場合、コンテンツ202はコンテンツガイドラインに準拠していると見なされ、コンテンツ202の配信を進めることができる。

状況によっては、特定のサービスのコンテンツガイドラインは、地理的ベースまたは他の何らかのベースによって異なる。これらの状況では、評価装置170は、地理的ベースまたは他の何らかのベースで配信ポリシーを制定することができる。たとえば、薬物使用を描写するコンテンツは、ある地理的領域においては完全に制限/防止され、別の地理的領域においてはコンテンツ警告とともに配信される場合がある。

地理的ベースの配信ポリシーの使用を容易にするために、評価装置170は、異なる地理的領域のコンテンツを評価する格付けエンティティの異なるグループを作成することができる。たとえば、評価装置170は、地理的領域Aについてコンテンツ202を評価する格付けエンティティの第1のセット、および地理的領域Bについてコンテンツ202を評価する格付けエンティティの第2のセットを作成することができる。いくつかの実装形態では、第1のセットにおける格付けエンティティはすべて地理的領域Aに配置することができ、第2のセットにおける格付けエンティティはすべて地理的領域Bに配置することができる。各グループにおける格付けエンティティのこの描写は、各グループから受信したフィードバック評価が、関連する地理的領域における格付けエンティティによるコンテンツ202の評価を正確に反映することを確実にする。あるいは、またはさらに、各グループにおける格付けエンティティは、それぞれの地理的領域のコンテンツガイドラインについてトレーニングを受けているか、知識が豊富であり、コンテンツガイドラインと一致する評価フィードバックを提供することができる。

評価装置170は、格付けエンティティの2つのセットの各々から評価フィードバックを受信すると、コンテンツ202が地理的領域Aまたは地理的領域Bに固有のコンテンツガイドラインのいずれかに違反しているかどうかを決定する。たとえば、評価装置170は、評価フィードバックから、コンテンツ202が地理的位置Aのコンテンツガイドラインに違反していないが、地理的位置Bのコンテンツガイドラインに違反していると決定することができる。そのような状況では、評価装置は、地理的位置Bにおけるコンテンツ202の配信を防止しながら、地理的領域Aにおけるユーザへのコンテンツ202の配信を可能にすることができる。

いくつかの実装形態では、コンテンツの評価は、格付けエンティティのセット内のエンティティが特定のスキルを有していることを必要とする。たとえば、特定の言語のオーディオクリップである。不快と見なされる下品な言葉、またはコメントについてオーディオクリップを評価するために、格付けエンティティが特定の言語を理解できる必要がある。これらの実装形態では、格付けエンティティが、オーディオクリップが不快な言語を描写しているかどうかを正確に決定することを確実にするために、格付けエンティティのセットを形成する際に、格付けエンティティによって話される、および/または理解される言語に関する情報を考慮することができる。

より一般的には、評価装置170は、コンテンツ202がコンテンツガイドラインに違反する不快な素材を描写するかどうかを決定する目的でコンテンツ202を効果的に分析するために格付けエンティティが有する必要がある属性を決定することができる。たとえば、指定されたコンテンツガイドラインに従ってコンテンツを分類するために、特定のコンテンツガイドラインについてトレーニングを受けた、または以前に正確にコンテンツを分類した格付けエンティティのみに依存する必要がある場合がある。この例では、評価装置170は、指定されたコンテンツガイドラインに関して適切なレベルの知識を有するそれらの格付けエンティティのみを含むように、格付けエンティティのセットを作成することができる。

状況によっては、格付けエンティティのセットによるコンテンツ202の評価は、コンテンツ202の分類(たとえば、コンテンツが不快な素材を描写しているかどうか)に関してコンセンサスをもたらさない場合がある。たとえば、格付けエンティティのセットは、コンテンツ202の分類において異なる場合があり、これは、不快であると見なされるコンテンツ202と、不快ではないと見なされるコンテンツ202との間の連携と見なすことができる。そのような場合、評価装置170は、コンセンサスに達する(たとえば、格付けエンティティの指定された部分が同じ方法でコンテンツを分類する)まで、新しい(たとえば、追加の)格付けエンティティを格付けエンティティのセットに追加することができる。

図3は、格付けエンティティ330のセットの管理を示すブロック図300であり、コンテンツの分類に関するコンセンサスに達していない場合に、格付けエンティティ330のセットに格付けエンティティを追加することを含むことができる。格付けエンティティ330のセットは、コンテンツを分析するために利用可能な格付けエンティティ310のプールから形成される。いくつかの実装形態では、格付けエンティティ330のセットは、(たとえば、様々な異なる地理的領域からの)格付けエンティティの多様なセットを含むように最初に形成することができ、コンテンツの特定の部分に関する評価フィードバックは、格付けエンティティの初期セットから受信することができる。格付けエンティティの初期セットから受信した評価フィードバックに基づいてコンセンサスに達した場合、評価装置は、評価フィードバックに基づいて配信ポリシーの制定に進むことができる。格付けエンティティの初期セットからの評価フィードバックを使用してコンセンサスに達していない場合、評価装置は、以下でより詳細に説明するように、コンセンサスを取得するために格付けエンティティのセットを修正することができる。

例として、格付けエンティティ330のセットを作成するために、評価装置が格付けエンティティR1～R6を選択すると仮定する。格付けエンティティR1～R6は、コンテンツの特定の部分を最初に分析するための多様な格付けエンティティのセットを作成するために、異なる属性を有するように選択することができる。たとえば、格付けエンティティは、少なくとも2つの異なる地理的領域からのものである可能性がある。

この例では、評価装置は、コンテンツの特定の部分を、格付けエンティティ330のセット内の格付けエンティティ(たとえば、R1～R6)の各々に提供し、それらの格付けエンティティの各々から評価フィードバックを受信する。格付けエンティティから受信した評価フィードバックは、コンテンツの特定の部分の分類に関してコンセンサスをもたらさないと仮定する。たとえば、R1～R3からの評価フィードバックがコンテンツを不快な素材を描写しているものとして分類し、R4～R6からの評価フィードバックがコンテンツを不快ではない素材を描写しているものとして分類すると仮定する。この状況では、評価装置はコンセンサスに達するためにアクションを起こすことができる。

いくつかの実装形態では、評価装置は、コンテンツの分類に関してコンセンサスに達することを試みるために、格付けエンティティ330のセットに追加の格付けエンティティを追加することができる。たとえば、評価装置は、格付けエンティティR11を格付けエンティティ330のセットに追加することと、コンテンツの特定の部分をR11に提供することと、R11から評価フィードバックを受信することとを行うことができる。この例では、R11からの評価フィードバックは連携を壊し、評価装置は、たとえばR11からの評価フィードバックに基づいてコンテンツを分類することによって、連携が壊れたことに基づいて達したコンセンサスを単に考慮することができる。しかしながら、いくつかの実装形態では、評価装置は、コンセンサスに達したことを決定するために、単純な過半数以上のものを必要とする。たとえば、評価装置は、コンセンサスに達したと見なすために、評価フィードバック一致の少なくとも70%(または、別の指定された部分、たとえば、60%、80%、85%、90%など)を必要する場合がある。したがって、評価装置は、コンセンサスに達するために、格付けエンティティ330のセットに追加される複数の追加の格付けエンティティを選択することができる。

格付けエンティティ330のセットにさらに格付けエンティティを追加することによりコンセンサスに達した場合、評価装置は、コンセンサスに従ってコンテンツを分類し、コンセンサスに基づいて配信ポリシーを制定することに進むことができる。格付けエンティティのセットにさらに格付けエンティティを追加してもコンセンサスに達しない場合、評価装置は、一致する評価フィードバックを提出したそれらのエンティティ間に共通の属性があるかどうかを決定し、次いで、その決定に基づいてアクションを起こすことができる。

上記の例を続けて、R1、R2、およびR3がすべて地理的領域Aからのものであり、R4、R5、およびR6がすべて地理的領域Bからのものであると仮定する。この例では、評価装置は、格付けエンティティの属性を比較することと、地理的領域Aからのすべての格付けエンティティがコンテンツを不快な素材を描写するものとして分類し、地理的領域Bからのすべての格付けエンティティがコンテンツを不快ではない素材を描写するものとして分類すると決定することとを行うことができる。この例では、評価装置は、コンテンツが地理的領域Aにおける配信が可能であり、地理的領域Bにおける配信が防止される(または、コンテンツ警告とともに配信される)という地理的領域ごとの配信ポリシーを制定することができる。あるいは、またはさらに、評価装置は、格付けエンティティの地理的位置と評価フィードバックとの間の相関関係を確認するために、格付けエンティティのセットに追加の格付けエンティティを追加することができる。

たとえば、評価装置は、地理的領域Aに位置する追加の格付けエンティティおよび地理的領域Bに位置する追加の格付けエンティティについて、格付けエンティティ310のプールを検索することができる。地理的領域Aからの格付けエンティティ間のコンセンサスに達したかどうか、および地理的領域Bからの格付けエンティティ間のコンセンサスに達したかどうかを決定するために、これらの追加の格付けエンティティにコンテンツを提供することができ、また、これらの追加の格付けエンティティからの評価フィードバックを分析することができる。格付けエンティティのセットのサブセット間でコンセンサスに達した場合、本明細書の他の部分で説明されているように、地理的ベースの配信ポリシーを制定することができる。

上記の例は、コンテンツの分類における地理的ベースの違いの識別に言及しているが、格付けエンティティによるコンテンツの分類間の類似性は、任意の数の格付けエンティティ属性に関連付けることができる。たとえば、以前に特定のタイプのコンテンツを少なくとも指定された回数格付けした格付けエンティティは、その特定のタイプのコンテンツ(または、別のタイプのコンテンツ)を、その特定のタイプのコンテンツをそれほど頻繁に、またはまったく格付けしていない格付けエンティティよりも同様に格付けする場合がある。同様に、格付けエンティティによるコンテンツの分類は、格付けエンティティの世代に基づいて異なる場合がある。たとえば、ベビーブーム世代によるコンテンツの特定の部分の分類は非常に似ている場合があるが、ミレニアル世代によるコンテンツの特定の部分の分類とは異なる。以下でより詳細に説明するように、評価装置は、一致する評価フィードバックを提出する(たとえば、コンテンツの特定の部分またはタイプの同じ分類を提出する)格付けエンティティ間で共通の属性を識別し、追加のコンテンツを分析するために格付けエンティティのセットを作成するときにそれらの識別された類似性を使用することができる。

図4は、エンティティ属性に基づいて格付けエンティティのセットを管理することを示すブロック図400である。図4において、コンテンツの一部を分析する格付けエンティティのセットは、コンテンツを分析するために利用可能なすべての格付けエンティティを含むことができる格付けエンティティ410のプールに基づいて作成される。いくつかの実装形態では、格付けエンティティのセットは、格付けエンティティの1つまたは複数の属性に基づいて評価装置によって作成される。たとえば、評価装置は、格付けエンティティ間のコンテンツの部分の分類に関してコンセンサスに達するために必要であると考えられる格付けエンティティの属性を決定するために、以前のコンテンツ分析に関する履歴情報を使用することができる。より具体的には、同様のコンテンツの以前の分析により、格付けされるコンテンツのタイプの分類が、地理的、世代的、または経験に基づいて異なることが明らかになった可能性がある。評価装置は、コンテンツの部分を評価するための格付けエンティティの異なるセットを作成するために、以前のコンテンツ分析から明らかにされた情報を使用することができ、それにより、コンテンツの部分のコンテキスト固有の分類(たとえば、異なる視聴者に配信されたときなどに、コンテンツが異なるコンテキストにおいて不快な素材を描写しているかどうか)を提供することができる。

例として、評価装置が、格付けエンティティによって分析されるコンテンツの部分が特定のジャンルのコンテンツに関連していると決定し、その特定のジャンルのコンテンツの以前の分析が、その特定のジャンルのコンテンツについて受信する評価フィードバックが、格付けエンティティの地理的領域に基づいて、ならびに世代ベースで異なることを示していると仮定する。この例では、評価装置は、コンテンツの一部を評価し、コンテキスト(たとえば、配信の地理的領域および/あるいは可能性のある、または意図された視聴者)に基づいて配信ポリシーの制定を容易にする複数の格付けエンティティのセットを作成するために、この履歴情報を使用することができる。

より具体的には、評価装置は、格付けエンティティ420の第1のセット、および格付けエンティティ430の第2のセットを作成することができ、これらはそれぞれ、コンテンツの部分の評価フィードバックを提供する。上記の例を続けると、評価装置は、エンティティ410の集団から、地理的領域Aおよびベビーブーム世代からのものであるそれらの格付けエンティティを選択し、格付けエンティティ420の第1のセットを作成することができる。たとえば、破線の円425内の格付けエンティティは、評価装置が格付けエンティティ420の第1のセット内にこれらの格付けエンティティを含むように、この属性の組合せを有する。評価装置はまた、エンティティ410の集団から、地理的領域Bおよびミレニアル世代からのものであるそれらのエンティティを選択することができる。たとえば、破線の円435内の格付けエンティティは、評価装置が格付けエンティティ430の第1のセット内にこれらの格付けエンティティを含むように、この属性の組合せを有する。この例では、評価装置は、これらの属性に基づいて格付けエンティティのセットを作成することは、各セットの格付けエンティティ間でコンセンサスに達するために必要であると見なされるように、これらの属性が特定のジャンルのコンテンツの異なる分類と高度に相関していることを示す履歴情報に基づいてこれらの格付けエンティティのセットを作成する。評価装置はまた、格付けエンティティの制御セットを作成するか、または最初に上記の格付けエンティティの多様な初期セットを作成し、次いで、コンセンサスに達しない後にのみコンセンサスに達するために必要な属性を決定することができる。

この例を続けると、評価装置は、格付けエンティティ420の第1のセットおよび格付けエンティティ430の第2のセットの各々における格付けエンティティにコンテンツを提供し、格付けエンティティから評価フィードバックを取得する。次いで、評価装置は、たとえば、格付けエンティティ420、430の各セットにおける格付けエンティティから受信する評価フィードバックのコンセンサスに基づいて、格付けエンティティの各セットがコンテンツをどのように分類したかを決定する。

例として、格付けエンティティの第1のセットがコンテンツの一部を不快な素材を描写していると分類し、これはコンテンツガイドライン違反と見なされ、格付けエンティティの第2のセットがコンテンツの一部を不快ではない素材を描写していると分類したと仮定する。この例では、評価装置は、コンテンツの一部を、分類自体だけでなく、分類のコンテキスト(たとえば、格付けエンティティの地理的属性および世代属性)にインデックス付けすることができる。このようにコンテンツにインデックス付けすることにより、評価装置がコンテキストごとに配信ポリシーを制定することが可能になる。たとえば、所与の配信機会(たとえば、コンテンツ要求またはプッシュメッセージ)について、評価装置は、コンテキスト情報(たとえば、対象となる視聴者に関連する地理的情報および/または世代情報)を収集し、その特定のコンテキストにインデックス付けされた分類に基づいて、コンテンツを配信するか、配信を防止することができる。

上記のように、不快なコンテンツが含まれていると見なされたコンテンツは、格付けエンティティにさらに配信される前に修正することができる。いくつかの実装形態では、コンテンツは、コンテンツを評価している格付けエンティティに対するコンテンツの悪影響を低減する方法で修正される。たとえば、上記のように、コンテンツは、視覚的にピクセル化する、またはぼかす、および音量を下げる、ミュートする、ビープ音で消す、または他の方法で、不快な素材(たとえば、ののしり、叫び声など)の表示を弱めるために聴覚的に修正することができる。さらに、または代わりに、コンテンツをセグメント化して、各格付けエンティティは、すべてのコンテンツよりも少なく提供されるようにすることができ、これは、コンテンツのサブ部分と呼ばれる。不快なコンテンツが格付けエンティティに与える影響を軽減することに加えて、異なる格付けエンティティによるコンテンツのサブ部分の評価(たとえば、並行して)により、単一の格付けエンティティがコンテンツの全期間を評価するためにかかる時間の何分の1かでコンテンツの評価が完了することも可能になり、それによって、評価プロセスに起因するコンテンツを配信する際の遅延が減少する。

図5は、コンテンツのサブ部分の格付けエンティティのサブセットへの配信を示すブロック図である。図5は、格付けエンティティ520のセットによって評価されるべき長さ3分のビデオクリップ510を示している。格付けエンティティ520のセットは、上で説明した技法を含む任意の適切な技法を使用して、評価装置によって作成することができる。

ビデオクリップ510のより迅速な評価を容易にし、格付けエンティティ520のセット内の格付けエンティティに対する不快なコンテンツの悪影響を軽減するために、評価装置は、ビデオクリップ510を複数の異なるサブ部分に解析し、格付けエンティティ510のセット内の格付けエンティティの異なるサブセットに異なるサブ部分を提供することができる。ビデオクリップ510のサブ部分はすべて、ビデオクリップ510の合計期間よりも短い期間を有することができる。図5において、ビデオクリップ510は、3つのサブ部分512、514、および516に解析される。それらの異なるサブ部分512、514、および516は、格付けエンティティ522、524、および526の3つの異なるサブセットに別々に渡すことができる。たとえば、サブ部分512をサブセット522に渡すことができ、サブ部分514をサブセット524に渡すことができ、サブ部分516をサブセット526に渡すことができる。図5において、長さ3分のビデオクリップは3つの部分に分割され、ビデオクリップの各部分は1分の期間を有する。各サブ部分の期間は、任意の適切な期間(たとえば、10秒、30秒、45秒、1分など)にすることができる。評価装置は、サブ部分512、514、および516の各々について評価フィードバックを受信し、上記のように、評価フィードバックに基づいて、コンテンツがコンテンツガイドラインに違反しているかどうかを決定する。いくつかの実装形態では、サブ部分512、514、および516のいずれかの評価フィードバックがコンテンツガイドラインに違反していることを示している場合、ビデオクリップ510(または、他のコンテンツ)はコンテンツガイドラインに違反していると見なされる。

いくつかの実装形態では、評価装置は、格付けエンティティに配信されるコンテンツの量を調整し、これにより、格付けエンティティに対する不快なコンテンツの悪影響を軽減することもできる。たとえば、評価装置は、あらかじめ指定された時間にわたって格付けエンティティに配信されるコンテンツの量を決定し、決定された量をその時間のしきい値と比較することができる。あらかじめ指定された時間にわたって特定の格付けエンティティに配信されるコンテンツの量がしきい値を超える場合、評価装置は、より多くのコンテンツが格付けエンティティに配信されるのを防止する。たとえば、あらかじめ指定された時間が1時間で、コンテンツ量のしきい値が15画像の場合、階層的評価プロセスは、評価のために15画像以下を特定の格付けエンティティに1時間にわたって配信する。

いくつかの実装形態では、格付けエンティティに配信されるコンテンツは、不良スコアに基づいて調整される。そのような実装形態では、コンテンツの不良スコアは、あらかじめ指定された時間にわたって格付けエンティティに配信されたコンテンツの不適切さのレベルを定量化する。たとえば、評価装置は、特定の格付けエンティティ(または、格付けエンティティのセット)に提供されたコンテンツの不良スコアを、特定の格付けエンティティに渡された(または、それによって評価された)不快なコンテンツの量および/または強度に基づいて決定することができる。不良スコアは、格付けエンティティに渡された不快な素材の期間、および/または不快な素材の強度とともに増加する。

不快な素材の強度は、描写された不快な素材のタイプ(たとえば、カジュアルな飲酒対、非常に暴力的なアクション)に基づくことができ、不快な素材の各タイプを不良値にマッピングすることができる。期間と強度の組合せにより、特定の格付けエンティティに渡されたコンテンツの全体的な不良スコアをもたらす可能性がある。この全体的な不良スコアは、指定された最大許容不良スコアと比較することができ、不良スコアが最大許容不良スコアに達すると、評価装置は、それらの不良スコアが最大許容不良スコアを下回るまで、その特定の格付けエンティティへのコンテンツのさらなる配信を防止することができる。いくつかの実装形態では、減衰関数に従って、時間の経過とともに不良スコアが減少する。

図6は、例示的なマルチティアスケーラブルメディア分析プロセス600のフローチャートである。プロセス600の動作は、上記の評価装置170などの1つまたは複数のデータ処理装置またはコンピューティングデバイスによって実行することができる。プロセス600の動作はまた、コンピュータ可読媒体に記憶された命令として実装することができる。命令の実行は、1つまたは複数のデータ処理装置、またはコンピューティングデバイスに、プロセス600の動作を実行させることができる。プロセス600の動作はまた、1つまたは複数のデータ処理装置またはコンピューティングデバイス、および1つまたは複数のデータ処理装置またはコンピューティングデバイスにプロセス600の動作を実行させる命令を記憶するメモリデバイスを含むシステムによって実装することができる。

コンテンツが不快な素材を描写している可能性が決定される(602)。いくつかの実装形態では、コンテンツが不快な素材を描写している可能性は、第1の評価ルールを使用して決定される。第1の評価ルールは、プロセス600を実装するプラットフォーム上での配信に許可されないコンテンツを指定する1つまたは複数のコンテンツガイドライン、および/または他のルールを含むことができる。たとえば、第1の評価ルールは、過度の暴力および/または薬物使用がコンテンツガイドラインに違反している可能性があり、コンテンツの配信を妨げる可能性があると指定し得る。

上で詳細に論じたように、いくつかの実装形態では、不快な素材の可能性は、コンテンツ202がコンテンツガイドラインを満たさないという全体的な可能性を表す数値である。たとえば、不快な素材の可能性は、0～10のスケールの数である可能性があり、ここで、0に近い数は、コンテンツが不快な素材を描写する決定された可能性が低いことを示し、10に近い数は、コンテンツが不快な素材を描写する可能性が高いことを示す。

いくつかの実装形態では、不快な素材の可能性は、様々なコンテンツ検出アルゴリズムを利用する自動格付けエンティティによって決定することができる。たとえば、自動格付けエンティティは、メディアアイテムの特定のオブジェクトまたは属性を識別し、分析に基づいてメディアアイテムを分類するために、皮膚検出アルゴリズム、血液検出アルゴリズム、物体識別技法、音声認識技法、および他の適切な技法を利用することができる。

可能性が指定された修正しきい値を超えているかどうかの決定がなされる(604)。いくつかの実装形態では、決定は、可能性を修正しきい値と比較することによって行われる。修正しきい値は、コンテンツに不快なコンテンツが含まれていると見なされる値である。修正しきい値に達すると、コンテンツに不快なコンテンツが含まれている可能性が高くなる。

コンテンツが不快な素材を描写している可能性が指定されたしきい値を超える場合、コンテンツは、不快な素材の描写を弱めるように修正される(606)。上記のように、コンテンツは、たとえば、視覚的に不快な素材の鮮やかさおよび/または明瞭さをピクセル化する、ぼかす、または他の方法で弱めることによって修正することができる。コンテンツはまた、不快なオーディオコンテンツをビープ音で消す、不快なオーディオコンテンツをミュートする、不快なオーディオコンテンツの音量を下げる、または他の方法で不快なオーディオコンテンツの可聴表示を弱めることによって修正することができる。いくつかの実装形態では、本明細書を通じて詳細に説明されているように、コンテンツの修正はコンテンツをサブ部分に解析することを含むことができる。コンテンツが不快な素材を描写している可能性が指定されたしきい値を下回っている場合、コンテンツの修正されていないバージョンを維持し、以下でより詳細に説明するように分析することができる。

格付けエンティティのセットが生成される(608)。格付けエンティティのセットは、コンテンツが不快な素材を含むかどうかに関するさらなる決定を含め、コンテンツガイドラインの違反についてコンテンツをさらに評価する格付けエンティティを含む。いくつかの実装形態では、格付けエンティティのセットは、格付けエンティティ属性の多様なセットを提供するために生成される。たとえば、異なる地理的領域、異なる世代、および/または異なる経験レベルからの格付けエンティティを含むために、格付けエンティティのセットを生成することができる。

いくつかの実装形態では、格付けエンティティのセットは、評価されるコンテンツの態様に基づいて生成される。したがって、格付けエンティティのセットによって評価されるコンテンツの態様の決定を決定することができる。決定は、たとえば、まだ評価されていないコンテンツの態様、および/または最小許容格付け信頼度にまだ達していないコンテンツの態様に基づいて行うことができる。たとえば、コンテンツの特定の態様が評価されたが、その態様の分類における信頼度が最小許容格付け信頼度を満たしていない場合、格付けエンティティのセットは、(たとえば、その特定の態様を評価するようにトレーニングされた、またはその特定の態様を評価した経験のある格付けエンティティを含めることによって)コンテンツの特定の態様を評価するために適切な方法で生成することができる。

いくつかの実装形態では、格付けエンティティのセットは、格付けエンティティのセット内の格付けエンティティが指定された属性のセットを有するように生成される。たとえば、格付けエンティティのセット間でコンセンサスに達するために必要であると考えられる1つまたは複数のエンティティ属性に関して決定を行うことができ、格付けエンティティのセットは、特定のコンテキストにおいて格付けエンティティのセット間でコンセンサスに達するために必要であると見なされる1つまたは複数のエンティティ属性を有するエンティティのみを含むように作成することができる。たとえば、上記のように、コンテンツが地理的領域Aにおける配信に適格かどうかを評価される場合、格付けエンティティのセットは、地理的領域Aからの格付けエンティティのみを含むように選択することができ、したがって、格付けエンティティのセットからの評価フィードバックは、地理的領域Aの社会的規範に従ってコンテンツが不快な素材を含むかどうかを反映する。

いくつかの実装形態では、異なる格付けエンティティ属性に基づいて作成された格付けエンティティの異なるセットからの評価フィードバックを比較するために、複数の格付けエンティティのセットを生成することができる。たとえば、地理的領域Aの地理属性に基づいて生成された格付けエンティティのセットに加えて、第2の格付けエンティティのセットを生成することができる。その第2の格付けエンティティのセットは、第2のセットにおける格付けエンティティが1つまたは複数のエンティティ属性のうちの少なくとも1つを有しないように生成することができる。たとえば、格付けエンティティの第2のセットは、地理的領域A以外の地理属性、または格付けエンティティの第1のセットにおけるすべてのエンティティ(たとえば、地理領域Aの地理属性を有する)とは異なる少なくとも1つの属性を有することが必要になる場合がある。

コンテンツは、格付けエンティティのセットに渡される(610)。いくつかの実装形態では、コンテンツは単一の格付けエンティティのセットに渡され、他の実装形態では、コンテンツは格付けエンティティの複数の異なるセットに渡される。コンテンツが不快な素材を描写する可能性に基づいてさらに評価するために、コンテンツを格付けエンティティのセットに渡すことができる。コンテンツが不快なコンテンツを描写する可能性が、コンテンツの配信をすでに妨げているレベルに達していない場合、コンテンツを格付けエンティティのセットに渡すことができる。上記のように、コンテンツが不快な素材を描写している可能性が不快なしきい値よりも低い場合、コンテンツを格付けエンティティに渡すことができる。コンテンツは、コンテンツの事前の分類を確認するなど(たとえば、不快な素材または特定のタイプのコンテンツを描写するなど)、他の要因に基づいて格付けエンティティのセットに渡すことができる。

604において、不快なコンテンツの可能性が修正しきい値に達していない場合、コンテンツの修正されていないバージョンが格付けエンティティに渡される。604において、不快なコンテンツの可能性が修正しきい値に達した場合、上記のように、コンテンツを格付けエンティティのセットに渡す前にコンテンツを修正することができ、修正されていないコンテンツではなく、修正されたコンテンツが格付けエンティティのセットに渡される。

いくつかの実装形態では、コンテンツは任意でサブ部分に解析することができる(612)。解析は、コンテンツを格付けエンティティのセットに渡す前に実行することができる。解析は、たとえば、コンテンツを、それぞれがすべてのコンテンツよりも少ないコンテンツを含むコンテンツのより小さい部分にセグメント化することによって実行することができる。たとえば、上記のように、単一のビデオ(または、他の任意のタイプのメディア)を、それぞれがビデオの長さよりも短い長さを持つ複数のサブ部分に解析することができる。コンテンツを格付けエンティティのセットに渡す前にコンテンツが解析されると、コンテンツの各より小さい部分(サブ部分)は、上記と同様の方法で並行して評価するために、エンティティのセットの中からエンティティの異なるサブセットに渡すことができる。

コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックが受信される(614)。評価フィードバックは、格付けエンティティのセットから受信される。コンテンツがコンテンツガイドラインに違反しているかどうかの表示は、様々な形態をとることができる。たとえば、評価フィードバックは、コンテンツが不快であることに賛成または反対の投票を指定することができる。たとえば、コンテンツに関して賛成票を投じることは、コンテンツが不快な素材を描写しているという投票を指し得、コンテンツに関して反対票を投じることは、コンテンツが不快な素材を描写していないという投票を指し得る。あるいは、またはさらに、評価フィードバックは、コンテンツによって描写される素材のタイプ、および/またはコンテンツによって違反される特定のコンテンツガイドラインを指定することができる。たとえば、評価フィードバックは、コンテンツが暴力または薬物使用を描写しているかどうかを指定することができる。

いくつかの実装形態では、コンテンツの評価に関してコンセンサスに達するために必要な格付けエンティティ属性を決定するために、評価フィードバックを使用することができる。たとえば、コンテンツが格付けエンティティの複数の異なるセット(または、格付けエンティティの同じセット内の複数の格付けエンティティ)の各々からコンテンツ配信ポリシーに違反しているかどうかを示す評価フィードバックを取得した後、コンテンツが不快であるかどうか(たとえば、特定の配信コンテキストにおいて)に関するコンセンサスに達するために1つまたは複数のエンティティ属性が必要かどうかの決定がなされる。

いくつかの実装形態では、決定により、ある格付けエンティティのセットから取得した評価フィードバックが別のエンティティのセットから受信した評価フィードバックと異なる場合、コンセンサスに達するために、1つまたは複数の属性が必要であることが明らかになる。たとえば、地理的領域Aにおける格付けエンティティは、コンテンツを不快な素材を描写するものとして分類し、地理的領域Bにおける格付けエンティティは、コンテンツを不快ではない素材を描写するものとして分類するという決定が下され得る。この例では、地理的領域のコンテキストにおいて、地理的領域Aの属性は、地理的領域Aに関連付けられる社会的規範に関してコンテンツに不快な素材が含まれているかどうかについてコンセンサスに達する必要がある。

いくつかの実装形態では、決定は、ある格付けエンティティのセットから取得した評価フィードバックが他のエンティティのセットから受信した評価フィードバックと一致する場合、コンセンサスに達するために1つまたは複数の属性が必要でないことを確認する。上記の例を参照すると、格付けエンティティの両方のセットが同じ方法でコンテンツを分類した場合、地理的領域Aの地理属性はコンセンサスに達するために必要であるとは見なされない。

612を参照して説明したように、コンテンツがサブ部分に解析されると、小さい部分ごとに、およびより小さい部分が渡されたエンティティの異なるサブセットから、別個の評価フィードバックが受信される。上記のように、より小さい部分(たとえば、サブ部分)ごとの評価フィードバックは、コンテンツの全体的な分類を決定するために使用される。

評価フィードバックに基づいて配信ポリシーが制定される(616)。いくつかの実装形態では、配信ポリシーの制定は、評価フィードバックが、コンテンツがコンテンツガイドラインに違反していることを示している場合、コンテンツの配信を防止することを含む。いくつかの実装形態では、配信ポリシーの制定は、評価フィードバックが、コンテンツがコンテンツガイドラインに違反していないことを示している場合、コンテンツを配信することを含む。

いくつかの実装形態では、配信ポリシーは、地理的領域ごとに異なる配信ポリシーを指定する地理的ベースの配信ポリシーである。これらの実装形態では、コンテンツの配信先の地理的領域に応じて、配信ポリシーの制定が実行される。たとえば、コンテンツが第1の地理的領域の第1の配信ポリシーに違反しているが、第2の地理的領域の第2の配信ポリシーには違反していないと決定された場合、第1の地理的領域におけるコンテンツの配信は、第1のコンテンツ配信ポリシーの違反に基づいて防止され、第2の地理的領域におけるコンテンツの配信は、コンテンツが第1の地理的領域の第1のコンテンツ配信ポリシーに違反しているかどうかに関係なく、第2のコンテンツ配信ポリシーに違反していないコンテンツに基づいて行われる。

格付けエンティティのセットに渡されるコンテンツの量が調整される(618)。上記のように、格付けエンティティに対する不快な素材の影響を軽減するために、コンテンツの量を調整することができる。調整は、格付けエンティティのセット内の異なるエンティティごとに実行することができる。調整を実行するために、あらかじめ指定された時間内に異なるエンティティに渡されたコンテンツの量を決定することができ、あらかじめ指定された時間内に異なるエンティティに渡されたコンテンツの不適切さのレベルを定量化する不良スコアを決定することができ、(i)あらかじめ指定された時間内に異なるエンティティに渡されたコンテンツの量がしきい値を超えた場合、または(ii)不良スコアが最大許容不良スコアを超えた場合、追加のコンテンツが異なるエンティティに渡されることを防止することができる。

図7は、上記の動作を実行するために使用することができる例示的なコンピュータシステム700のブロック図である。システム700は、プロセッサ710、メモリ720、ストレージデバイス730、および入力/出力デバイス740を含む。コンポーネント710、720、730、および740の各々は、たとえば、システムバス750を使用して相互接続することができる。プロセッサ710は、システム700内で実行するための命令を処理することができる。一実装形態では、プロセッサ710は、シングルスレッドプロセッサである。別の実装形態では、プロセッサ710はマルチスレッドプロセッサである。プロセッサ710は、メモリ720またはストレージデバイス730に記憶された命令を処理することができる。

メモリ720は、システム700内に情報を記憶する。一実装形態では、メモリ720は、コンピュータ可読媒体である。一実装形態では、メモリ720は揮発性メモリユニットである。別の実装形態では、メモリ720は、不揮発性メモリユニットである。

ストレージデバイス730は、システム700に大容量ストレージを提供することができる。一実装形態では、ストレージデバイス730は、コンピュータ可読媒体である。様々な異なる実装形態において、ストレージデバイス730は、たとえば、ハードディスクデバイス、光ディスクデバイス、複数のコンピューティングデバイスによってネットワークを介して共有されるストレージデバイス(たとえば、クラウドストレージデバイス)、または他のいくつかの大容量ストレージデバイスを含むことができる。

入力/出力デバイス740は、システム700に入力/出力動作を提供する。一実装形態では、入力/出力デバイス740は、ネットワークインターフェースデバイス、たとえばイーサネットカード、シリアル通信デバイス、たとえばRS-232ポート、および/またはワイヤレスインターフェースデバイス、たとえば802.11カードのうちの1つまたは複数を含むことができる。別の実装形態では、入力/出力デバイスは、入力データを受信することと、出力データを他の入力/出力デバイス、たとえば、キーボード、プリンタ、およびディスプレイデバイスに送信することとを行うように構成されたドライバデバイスを含むことができる。ただし、モバイルコンピューティングデバイス、モバイル通信デバイス、セットトップボックステレビクライアントデバイスなどの他の実装形態も使用することができる。

例示的な処理システムが図7に記載されているが、本明細書に記載される主題および機能的動作の実装形態は、本明細書に開示されている構造およびそれらの構造的同等物、あるいはそれらの1つまたは複数の組合せを含む、他のタイプのデジタル電子回路、あるいはコンピュータソフトウェア、ファームウェア、またはハードウェアに実装することができる。

電子文書(簡潔にするために単に文書と呼ばれる)は、必ずしもファイルに対応しているわけではない。文書は、他の文書を保持するファイルの一部、問題の文書専用の単一のファイル、または複数の調整されたファイルに記憶され得る。

本明細書に記載されている主題および動作の実施形態は、本明細書に開示されている構造およびそれらの構造的同等物、あるいはそれらの1つまたは複数の組合せを含む、デジタル電子回路、あるいはコンピュータソフトウェア、ファームウェア、またはハードウェアに実装することができる。本明細書に記載の主題の実施形態は、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置によって実行するために、またはデータ処理装置の動作を制御するためにコンピュータストレージ媒体(または、媒体)上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装することができる。あるいは、またはさらに、プログラム命令は、データ処理装置による実行のために適切な受信機装置に送信するための情報を符号化するために生成される、人工的に生成された伝搬信号、たとえば、機械生成の電気、光、または電磁信号に符号化することができる。コンピュータストレージ媒体は、コンピュータ可読ストレージデバイス、コンピュータ可読ストレージ基板、ランダムまたはシリアルアクセスメモリアレイまたはデバイス、あるいはそれらの1つまたは複数の組合せであり得るか、またはそれらに含まれ得る。さらに、コンピュータストレージ媒体は伝搬信号ではないが、コンピュータストレージ媒体は、人工的に生成された伝搬信号に符号化されたコンピュータプログラム命令のソースまたは宛先であり得る。コンピュータストレージ媒体はまた、1つまたは複数の別個の物理的コンポーネントまたはメディア(たとえば、複数のCD、ディスク、または他のストレージデバイス)であり得るか、またはそれらに含まれ得る。

本明細書に記載されている動作は、1つまたは複数のコンピュータ可読ストレージデバイスに記憶されているか、または他のソースから受信されたデータに対してデータ処理装置によって実行される動作として実装することができる。

「データ処理装置」という用語は、たとえば、プログラム可能なプロセッサ、コンピュータ、チップ上のシステム、または複数のもの、あるいは前述の組合せを含む、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。装置は、たとえば、FPGA(フィールドプログラマブルゲートアレイ)、またはASIC(特定用途向け集積回路)などの専用論理回路を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、あるいはそれらの1つまたは複数の組合せを構成するコードを含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティングおよびグリッドコンピューティングインフラストラクチャなどの、様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)は、コンパイラ型言語またはインタープリタ型言語、宣言型言語または手続き型言語を含む、あらゆる形態のプログラミング言語で記述することができ、スタンドアロンプログラムとして、あるいはモジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境における使用に適した他のユニットとしてなどを含む、あらゆる形態で展開することができる。コンピュータプログラムは、ファイルシステム内のファイルに対応する場合があるが、対応する必要はない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(たとえば、マークアップ言語文書に記憶された1つまたは複数のスクリプト)、問題のプログラム専用の単一のファイル、あるいは複数の調整されたファイル(たとえば、1つまたは複数のモジュール、サブプログラム、あるいはコードの一部を記憶するファイル)に記憶することができる。コンピュータプログラムは、1台のコンピュータ、または1つのサイトに配置されているか、複数のサイトに分散され、通信ネットワークによって相互接続されている複数のコンピュータで実行されるように展開することができる。

本明細書に記載のプロセスおよび論理フローは、入力データを動作して出力を生成することによってアクションを実行するために、1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラム可能なプロセッサによって実行することができる。プロセスおよび論理フローはまた、特別な目的の論理回路、たとえば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行することができ、またそれらとして装置を実装することもできる。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方を含む。一般に、プロセッサは、読取り専用メモリまたはランダムアクセスメモリ、あるいはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令に従ってアクションを実行するためのプロセッサと、命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための1つまたは複数の大容量ストレージデバイス、たとえば、磁気、光磁気ディスク、または光ディスクを含むか、あるいはそこからデータを受信する、またはそこにデータを転送する、あるいはその両方のために動作可能に結合される。しかしながら、コンピュータはそのようなデバイスを必要とするわけではない。さらに、コンピュータは、別のデバイス、たとえば、ほんの数例を挙げると、モバイル電話、携帯情報端末(PDA)、モバイルオーディオまたはビデオプレーヤ、ゲーム機、全地球測位システム(GPS)受信機、またはポータブルストレージデバイス(たとえば、ユニバーサルシリアルバス(USB)フラッシュドライブ)に組み込むことができる。コンピュータプログラム命令およびデータを記憶するために適したデバイスは、例として半導体メモリデバイス、たとえば、EPROM、EEPROM、およびフラッシュメモリデバイスを含む、すべての形態の不揮発性メモリ、メディア、およびメモリデバイス、磁気ディスク、たとえば、内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含む。プロセッサおよびメモリは、専用論理回路によって補完する、または組み込むことができる。

ユーザとの対話を提供するために、本明細書に記載の主題の実施形態は、情報をユーザに表示するためのディスプレイデバイス、たとえば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ、ならびにキーボードおよびポインティングデバイス、たとえば、ユーザがコンピュータに入力を提供できるマウスまたはトラックボールを有するコンピュータ上に実装することができる。ユーザとの対話を提供するために、他の種類のデバイスを使用することもでき、たとえば、ユーザに提供されるフィードバックは、たとえば視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックなど、任意の形態の感覚的フィードバックであり得、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受信することができる。さらに、コンピュータは、ユーザによって使用されるデバイスとの間で文書を送受信することによって、たとえば、ウェブブラウザから受信した要求に応じて、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、ユーザと対話することができる。

本明細書に記載されている主題の実施形態は、たとえばデータサーバとしてのバックエンドコンポーネントを含むか、またはアプリケーションサーバなどのミドルウェアコンポーネントを含むか、あるいはグラフィカルユーザインターフェースまたはユーザが本明細書に記載されている主題の実装形態と対話することができるウェブブラウザを有するクライアントコンピュータなどのフロントエンドコンポーネント、あるいはそのような1つもしくは複数のバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムに実装することができる。システムのコンポーネントは、デジタルデータ通信の任意の形態またはメディア、たとえば通信ネットワークによって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、ネットワーク間(インターネットなど)、ならびにピアツーピアネットワーク(たとえば、アドホックピアツーピアネットワーク)を含む。

コンピューティングシステムは、クライアントとサーバを含むことができる。クライアントとサーバは通常、互いにリモートであり、通常は通信ネットワークを通じて相互作用する。クライアントとサーバの関係は、それぞれのコンピュータで実行され、互いにクライアントとサーバの関係を有するコンピュータプログラムによって発生する。いくつかの実施形態では、サーバは、データ(たとえば、HTMLページ)をクライアントデバイスに送信する(たとえば、データを表示し、クライアントデバイスと対話するユーザからのユーザ入力を受信する目的で)。クライアントデバイスにおいて生成されたデータ(たとえば、ユーザ対話の結果)は、サーバにおいてクライアントデバイスから受信することができる。

本明細書は多くの特定の実装形態の詳細を含むが、これらは、発明の範囲または請求され得るものの制限として解釈されるべきではなく、むしろ特定の発明の特定の実施形態に固有の特徴の説明として解釈されるべきである。別個の実施形態の文脈において本明細書に記載されている特定の特徴はまた、単一の実施形態において組み合わせて実装することができる。逆に、単一の実施形態の文脈において説明される様々な特徴はまた、複数の実施形態において別々に、または任意の適切なサブコンビネーションにおいて実装することができる。さらに、特徴は、特定の組合せにおいて作用するものとして上記に記載され、最初はそのように主張されても、主張された組合せからの1つまたは複数の特徴は、場合によっては組合せから切り出され得、主張された組合せは、サブコンビネーションまたはサブコンビネーションの変形に向けられ得る。

同様に、動作は特定の順序で図面において描かれているが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序または連続した順序で実行されること、または図示されたすべての動作が実行されることを要求することとして理解されるべきではない。特定の状況では、マルチタスクと並列処理が有利な場合がある。さらに、上記の実施形態における様々なシステムコンポーネントの分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、記載されたプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品に一緒に統合されるか、または複数のソフトウェア製品にパッケージ化され得ることが理解されるべきである。

したがって、主題の特定の実施形態が説明されてきた。他の実施形態は、以下の特許請求の範囲内にある。場合によっては、特許請求の範囲に記載されたアクションは、異なる順序で実行され、依然として望ましい結果を達成することができる。さらに、添付の図に示されているプロセスは、望ましい結果を達成するために、示されている特定の順序または連続した順序を必ずしも必要としない。特定の実装形態では、マルチタスクと並列処理が有利な場合がある。

100 環境
102 ネットワーク
104 電子文書サーバ
106 クライアントデバイス
107 メディアジェネレータ
108 メディアサーバ
110 メディア配信システム
110 コンテンツ配信システム(CDS)
112 メディア要求
114 コンピューティングデバイス
116 メディアアイテムデータベース
117a～117c タスク
118a～118c 結果
120 応答データ
121 サーバ要求(SR)
122 メディアアイテムデータ(MIデータ)
150 検索システム
152 検索インデックス
160 メディアアップロード(メディアUL)
170 評価装置
200 階層的メディア評価プロセス
202 コンテンツ
210 自動格付けエンティティ
210 格付けエンティティ
212 不快な素材
220 格付けエンティティ
220 中間格付け者
222 評価フィードバック
230 格付けエンティティ
230 一般的な格付け者
232 評価フィードバック
250 エンドキャップ
300 ブロック図
310 格付けエンティティ
330 格付けエンティティ
400 ブロック図
410 格付けエンティティ
420 格付けエンティティ
425 破線の円
430 格付けエンティティ
435 破線の円
510 ビデオクリップ
512 サブ部分
514 サブ部分
516 サブ部分
520 格付けエンティティ
522 格付けエンティティ
524 格付けエンティティ
526 格付けエンティティ
600 マルチティアスケーラブルメディア分析プロセス
700 コンピュータシステム
710 プロセッサ
720 メモリ
730 ストレージデバイス
740 入力/出力デバイス
750 システムバス

Claims (20)

1つまたは複数のデータプロセッサによって、第1の評価ルールを使用して、コンテンツが不快な素材を描写する可能性を決定するステップと、
前記1つまたは複数のデータプロセッサによって、前記コンテンツが不快な素材を描写する前記可能性に基づいてさらに評価するために、前記コンテンツを格付けエンティティのセットに渡すステップであって、
前記コンテンツが不快な素材を描写する前記可能性が指定された修正しきい値を下回っている場合、前記コンテンツの修正されていないバージョンを格付けエンティティの前記セットに渡すステップと、
前記コンテンツが不快な素材を描写する前記可能性が前記指定された修正しきい値を超えている場合、
前記不快な素材の前記描写を弱めるために前記コンテンツを修正するステップと、
前記修正されたコンテンツを格付けエンティティの前記セットに渡すステップと
を含む、ステップと、
前記1つまたは複数のデータプロセッサによって、および格付けエンティティの前記セットから、前記コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックを受信するステップと、
前記1つまたは複数のデータプロセッサによって、前記評価フィードバックに基づいて、配信ポリシーを制定するステップであって、
前記評価フィードバックが、前記コンテンツがコンテンツガイドラインに違反していることを示している場合、前記コンテンツの配信を防止するステップと、
前記評価フィードバックが、前記コンテンツが前記コンテンツガイドラインに違反していないことを示している場合、前記コンテンツを配信するステップと
を含む、ステップと
を備える、方法。

配信ポリシーを制定するステップが、地理的領域ごとに異なる配信ポリシーを指定する地理的ベースの配信ポリシーを制定するステップを備え、
前記方法が、前記1つまたは複数のデータプロセッサによって、前記評価フィードバックに基づいて、前記コンテンツが第1の地理的領域の第1のコンテンツガイドラインに違反しているが、第2の地理的領域の第2のコンテンツガイドラインに違反していないことを決定するステップをさらに備え、
前記評価フィードバックが、前記コンテンツがコンテンツガイドラインに違反していることを示している場合、前記コンテンツの配信を防止するステップが、前記第1のコンテンツガイドラインの前記違反に基づいて、前記第1の地理的領域における前記コンテンツの配信を防止するステップを備え、
前記評価フィードバックが、前記コンテンツが前記コンテンツガイドラインに違反していないことを示している場合、前記コンテンツを配信するステップが、前記コンテンツが前記第1の地理的領域の前記第1のコンテンツガイドラインに違反するかどうかに関係なく、前記第2のコンテンツガイドラインに違反しない前記コンテンツに基づいて前記第2の地理的領域において前記コンテンツを配信するステップを備える、
請求項1に記載の方法。

第1のコンテキストにおいて格付けエンティティの前記セットの間でコンセンサスに達するために必要であると考えられる1つまたは複数のエンティティ属性を決定するステップと、
特定のコンテキストにおいて、格付けエンティティの前記セットの間でコンセンサスに達するために必要であると考えられる前記1つまたは複数のエンティティ属性を有するエンティティのみを含むように格付けエンティティの前記セットを作成するステップと
を含む格付けエンティティの前記セットを、前記1つまたは複数のデータプロセッサによって生成するステップをさらに備える、請求項1に記載の方法。

前記1つまたは複数のデータプロセッサによって、前記1つまたは複数のエンティティ属性のうちの少なくとも1つを有しない格付けエンティティの第2のセットを生成するステップと、
前記1つまたは複数のデータプロセッサによって、格付けエンティティの前記第2のセットから、前記コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックを取得するステップと、
前記1つまたは複数のデータプロセッサによって、格付けエンティティの前記第2のセットから取得した前記評価フィードバックに基づいて、コンセンサスに達するために前記1つまたは複数のエンティティ属性が必要かどうかを決定するステップであって、
格付けエンティティの前記第2のセットから取得した前記評価フィードバックがエンティティの前記セットから受信した前記評価フィードバックと異なる場合、コンセンサスに達するために前記1つまたは複数のエンティティ属性が必要であると決定するステップと、
格付けエンティティの前記第2のセットから取得した前記評価フィードバックがエンティティの前記セットから受信した前記評価フィードバックと一致する場合、コンセンサスに達するために前記1つまたは複数のエンティティ属性が必要でないと決定するステップと
を含む、ステップと
をさらに備える、請求項3に記載の方法。

前記1つまたは複数のデータプロセッサによって、前記コンテンツを、それぞれがすべての前記コンテンツよりも少ないコンテンツを含む前記コンテンツのより小さい部分に解析するステップをさらに備え、
さらなる評価のために前記コンテンツを格付けエンティティのセットに渡すステップが、前記コンテンツのそれぞれのより小さい部分を、並行して評価するためにエンティティの前記セットの中からエンティティの異なるサブセットに渡すステップを備え、
前記コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックを受信するステップが、前記より小さい部分が渡されたエンティティの前記異なるサブセットから、より小さい部分ごとに別個のフィードバックを受信するステップを備える、請求項1に記載の方法。

前記1つまたは複数のデータプロセッサによって、格付けエンティティの前記セットに渡されるコンテンツの量を調整するステップをさらに備える、請求項1に記載の方法。

格付けエンティティの前記セットに渡されるコンテンツの前記量を調整するステップが、
エンティティの前記セット内の異なるエンティティごとに、
あらかじめ指定された時間内に前記異なるエンティティに渡されたコンテンツの量を決定するステップと、
前記あらかじめ指定された時間内に前記異なるエンティティに渡された前記コンテンツの不適切さのレベルを定量化する不良スコアを決定するステップと、
(i)あらかじめ指定された時間内に前記異なるエンティティに渡されたコンテンツの前記量がしきい値を超えた場合、または(ii)前記不良スコアが最大許容不良スコアを超えた場合、追加のコンテンツが前記異なるエンティティに渡されることを防止するステップと
を備える、請求項6に記載の方法。

コンテンツが不快な素材を描写する前記可能性を決定するステップが、
前記1つまたは複数のデータプロセッサによって、皮膚検出アルゴリズム、血液検出アルゴリズム、物体識別分析、または音声認識分析のうちの1つまたは複数を利用する自動格付けエンティティを実行するステップを備える、請求項1に記載の方法。

前記不快な素材の前記描写を弱めるために前記コンテンツを修正するステップが、前記コンテンツの一部をぼかす、ピクセル化する、またはミュートすることのいずれかを備える、請求項1に記載の方法。

1つまたは複数の評価ルールを記憶するデータストアと、
前記1つまたは複数の評価ルールと対話し、
第1の評価ルールを使用して、コンテンツが不快な素材を描写する可能性を決定することと、
前記コンテンツが不快な素材を描写する前記可能性に基づいてさらに評価するために、前記コンテンツを格付けエンティティのセットに渡すことであって、
前記コンテンツが不快な素材を描写する前記可能性が指定された修正しきい値を下回っている場合、前記コンテンツの修正されていないバージョンを格付けエンティティの前記セットに渡すことと、
前記コンテンツが不快な素材を描写する前記可能性が前記指定された修正しきい値を超えている場合、
前記不快な素材の前記描写を弱めるために前記コンテンツを修正することと、
前記修正されたコンテンツを格付けエンティティの前記セットに渡すことと
を含む、渡すことと、
格付けエンティティの前記セットから、前記コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックを受信することと、
前記評価フィードバックに基づいて、配信ポリシーを制定することであって、
前記評価フィードバックが、前記コンテンツがコンテンツガイドラインに違反していることを示している場合、前記コンテンツの配信を防止することと、
前記評価フィードバックが、前記コンテンツが前記コンテンツガイドラインに違反していないことを示している場合、前記コンテンツを配信することと
を含む、制定することと
を備える動作を実行するように構成された1つまたは複数のデータプロセッサと
を備える、システム。

配信ポリシーを制定することが、地理的領域ごとに異なる配信ポリシーを指定する地理的ベースの配信ポリシーを制定することを備え、
前記1つまたは複数のデータプロセッサが、前記評価フィードバックに基づいて、前記コンテンツが第1の地理的領域の第1のコンテンツガイドラインに違反しているが、第2の地理的領域の第2のコンテンツガイドラインに違反していないことを決定することを備える動作を実行するように構成され、
前記評価フィードバックが、前記コンテンツがコンテンツガイドラインに違反していることを示している場合、前記コンテンツの配信を防止することが、前記第1のコンテンツガイドラインの前記違反に基づいて、前記第1の地理的領域における前記コンテンツの配信を防止することを備え、
前記評価フィードバックが、前記コンテンツが前記コンテンツガイドラインに違反していないことを示している場合、前記コンテンツを配信することが、前記コンテンツが前記第1の地理的領域の前記第1のコンテンツガイドラインに違反するかどうかに関係なく、前記第2のコンテンツガイドラインに違反しない前記コンテンツに基づいて前記第2の地理的領域において前記コンテンツを配信することを備える、請求項10に記載のシステム。

前記1つまたは複数のデータプロセッサが、
第1のコンテキストにおいて格付けエンティティの前記セットの間でコンセンサスに達するために必要であると考えられる1つまたは複数のエンティティ属性を決定することと、
特定のコンテキストにおいて、格付けエンティティの前記セットの間でコンセンサスに達するために必要であると考えられる前記1つまたは複数のエンティティ属性を有するエンティティのみを含むように格付けエンティティの前記セットを作成することと
を含む、格付けエンティティの前記セットを生成することを備える動作を実行するように構成される、請求項10に記載のシステム。

前記1つまたは複数のデータプロセッサが、
前記1つまたは複数のエンティティ属性のうちの少なくとも1つを有しない格付けエンティティの第2のセットを生成することと、
格付けエンティティの前記第2のセットから、前記コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックを取得することと、
格付けエンティティの前記第2のセットから取得した前記評価フィードバックに基づいて、コンセンサスに達するために前記1つまたは複数のエンティティ属性が必要かどうかを決定することであって、
格付けエンティティの前記第2のセットから取得した前記評価フィードバックがエンティティの前記セットから受信した前記評価フィードバックと異なる場合、コンセンサスに達するために前記1つまたは複数のエンティティ属性が必要であると決定することと、
格付けエンティティの前記第2のセットから取得した前記評価フィードバックがエンティティの前記セットから受信した前記評価フィードバックと一致する場合、コンセンサスに達するために前記1つまたは複数のエンティティ属性が必要でないと決定することと
を含む、決定することと
を備える動作を実行するように構成される、請求項12に記載のシステム。

前記1つまたは複数のデータプロセッサが、
前記コンテンツを、それぞれがすべての前記コンテンツよりも少ないコンテンツを含む前記コンテンツのより小さい部分に解析することを備える動作を実行するように構成され、
さらなる評価のために前記コンテンツを格付けエンティティのセットに渡すことが、前記コンテンツのそれぞれのより小さい部分を、並行して評価するためにエンティティの前記セットの中からエンティティの異なるサブセットに渡すことを備え、
前記コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックを受信することが、前記より小さい部分が渡されたエンティティの前記異なるサブセットから、より小さい部分ごとに別個のフィードバックを受信することを備える、請求項10に記載のシステム。

前記1つまたは複数のデータプロセッサが、格付けエンティティの前記セットに渡されるコンテンツの量を調整することを備える動作を実行するように構成される、請求項10に記載のシステム。

格付けエンティティの前記セットに渡されるコンテンツの前記量を調整することが、
エンティティの前記セット内の異なるエンティティごとに、
あらかじめ指定された時間内に前記異なるエンティティに渡されたコンテンツの量を決定することと、
前記あらかじめ指定された時間内に前記異なるエンティティに渡された前記コンテンツの不適切さのレベルを定量化する不良スコアを決定することと、
(i)あらかじめ指定された時間内に前記異なるエンティティに渡されたコンテンツの前記量がしきい値を超えた場合、または(ii)前記不良スコアが最大許容不良スコアを超えた場合、追加のコンテンツが前記異なるエンティティに渡されることを防止することと
を備える、請求項15に記載のシステム。

1つまたは複数のデータ処理装置によって実行されると、前記1つまたは複数のデータ処理装置に、
第1の評価ルールを使用して、コンテンツが不快な素材を描写する可能性を決定することと、
前記コンテンツが不快な素材を描写する前記可能性に基づいてさらに評価するために、前記コンテンツを格付けエンティティのセットに渡すことであって、
前記コンテンツが不快な素材を描写する前記可能性が指定された修正しきい値を下回っている場合、前記コンテンツの修正されていないバージョンを格付けエンティティの前記セットに渡すことと、
前記コンテンツが不快な素材を描写する前記可能性が前記指定された修正しきい値を超えている場合、
前記不快な素材の前記描写を弱めるために前記コンテンツを修正することと、
前記修正されたコンテンツを格付けエンティティの前記セットに渡すことと
を含む、渡すことと、
格付けエンティティの前記セットから、前記コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックを受信することと、
前記評価フィードバックに基づいて、配信ポリシーを制定することであって、
前記評価フィードバックが、前記コンテンツがコンテンツガイドラインに違反していることを示している場合、前記コンテンツの配信を防止することと、
前記評価フィードバックが、前記コンテンツが前記コンテンツガイドラインに違反していないことを示している場合、前記コンテンツを配信することと
を含む、制定することと
を備える動作を実行させる命令を記憶する、コンピュータ可読ストレージ媒体。

配信ポリシーを制定することが、地理的領域ごとに異なる配信ポリシーを指定する地理的ベースの配信ポリシーを制定することを備え、
前記命令が、前記1つまたは複数のデータ処理装置に、前記評価フィードバックに基づいて、前記コンテンツが第1の地理的領域の第1のコンテンツガイドラインに違反しているが、第2の地理的領域の第2のコンテンツガイドラインに違反していないことを決定することを備える動作を実行させ、
前記評価フィードバックが、前記コンテンツがコンテンツガイドラインに違反していることを示している場合、前記コンテンツの配信を防止することが、前記第1のコンテンツガイドラインの前記違反に基づいて、前記第1の地理的領域における前記コンテンツの配信を防止することを備え、
前記評価フィードバックが、前記コンテンツが前記コンテンツガイドラインに違反していないことを示している場合、前記コンテンツを配信することが、前記コンテンツが前記第1の地理的領域の前記第1のコンテンツガイドラインに違反するかどうかに関係なく、前記第2のコンテンツガイドラインに違反しない前記コンテンツに基づいて前記第2の地理的領域において前記コンテンツを配信することを備える、請求項17に記載のコンピュータ可読ストレージ媒体。

前記命令が、前記1つまたは複数のデータ処理装置に、
第1のコンテキストにおいて格付けエンティティの前記セットの間でコンセンサスに達するために必要であると考えられる1つまたは複数のエンティティ属性を決定することと、
特定のコンテキストにおいて、格付けエンティティの前記セットの間でコンセンサスに達するために必要であると考えられる前記1つまたは複数のエンティティ属性を有するエンティティのみを含むように格付けエンティティの前記セットを作成することと
を含む、格付けエンティティの前記セットを生成することを備える動作を実行させる、請求項17に記載のコンピュータ可読ストレージ媒体。

前記命令が、前記1つまたは複数のデータ処理装置に、
前記1つまたは複数のエンティティ属性のうちの少なくとも1つを有しない格付けエンティティの第2のセットを生成することと、
格付けエンティティの前記第2のセットから、前記コンテンツがコンテンツガイドラインに違反しているかどうかを示す評価フィードバックを取得することと、
格付けエンティティの前記第2のセットから取得した前記評価フィードバックに基づいて、コンセンサスに達するために前記1つまたは複数のエンティティ属性が必要かどうかを決定することであって、
格付けエンティティの前記第2のセットから取得した前記評価フィードバックがエンティティの前記セットから受信した前記評価フィードバックと異なる場合、コンセンサスに達するために前記1つまたは複数のエンティティ属性が必要であると決定することと、
格付けエンティティの前記第2のセットから取得した前記評価フィードバックがエンティティの前記セットから受信した前記評価フィードバックと一致する場合、コンセンサスに達するために前記1つまたは複数のエンティティ属性が必要でないと決定することと
を含む、決定することと
を備える動作を実行させる、請求項19に記載のコンピュータ可読ストレージ媒体。

Images