JP7153422B2 - 媒体用コンセプト予測の予測 - Google Patents

Description

(関連出願の相互参照)
本出願は、Ｊｏｎａｔｈａｎ Ｍｏｒｒａによる２０１９年１０月１０日に出願された、発明の名称「媒体用コンセプト予測の予測工程」の米国特許出願第１６／５９８，２５２号の優先権を主張するものであり、言及によりその全体が本明細書に援用される。
本明細書に開示される主題は、媒体用主観的コンセプト予測の予測に関する。

大量の媒体は、正確な評価が困難である。
この出願の発明に関連する先行技術文献情報としては、以下のものがある（国際出願日以降国際段階で引用された文献及び他国に国内移行した際に引用された文献を含む）。
（先行技術文献）
（特許文献）
（特許文献１） 米国特許出願公開第２０１４／０２２２５２９号明細書

上述の簡単な実施形態の更に特定の記載が、添付の図面に示される特定の実施形態を参照することにより与えられる。斯かる図面はいくつかの実施形態を描写しているに過ぎず、従って特許請求の範囲を限定するように考慮されるべきものではなく、斯かる理解の下、本出願の実施形態は、以下に示される添付の図面を使用することにより、更に特定かつ詳細に記載および説明されるものである。
図１Ａは、レビュープロセスの１つの実施形態を示す概略ブロック図である。 図１Ｂは、レビュープロセスの別の実施形態を示す概略ブロック図である。 図１Ｃは、メディア集積の１つの実施形態を示す概略ブロック図である。 図２は、レビューシステムの１つの実施形態を示す概略ブロック図である。 図３Ａは、レビュージョブデータベースの１つの実施形態を示す概略ブロック図である。 図３Ｂは、レビュージョブの１つの実施形態を示す概略ブロック図である。 図３Ｃは、レビューデータベースの１つの実施形態を示す概略ブロック図である。 図３Ｄは、レビューの１つの実施形態を示す概略ブロック図である。 図３Ｅは、媒体レビューデータベースの１つの実施形態を示す概略ブロック図である。 図３Ｆは、媒体レビューの１つの実施形態を示す概略ブロック図である。 図３Ｇは、システムデータの１つの実施形態を示す概略ブロック図である。 図３Ｈは、制約最適化データの１つの実施形態を示す概略ブロック図である。 図３Ｉは、選好フォーマットの１つの実施形態を示す概略ブロック図である。 図３Ｊは、媒体特徴の１つの実施形態を示す概略ブロック図である。 図４Ａは、コンピュータの１つの実施形態を示す概略ブロック図である。 図４Ｂは、ニューラルネットワークの１つの実施形態を示す概略ブロック図である。 図５Ａは、モデル生成方法５２０の１つの実施形態を示すフローチャートである。 図５Ｂは、媒体選択方法の１つの実施形態を示すフローチャートである。 図５Ｃは、レビュージョブ生成方法の１つの実施形態を示すフローチャートである。 図５Ｄは、媒体レビュー生成方法の１つの実施形態を示すフローチャートである。 図５Ｅは、モデル訓練方法の１つの実施形態を示すフローチャートである。 図５Ｆは、制約最適化方法の１つの実施形態を示すフローチャートである。 図５Ｇは、媒体選択方法の１つの実施形態を示すフローチャートである。 図５Ｈは、媒体特徴識別方法の１つの実施形態を示すフローチャートである。 図５Ｉは、媒体入札方法の１つの実施形態を示すフローチャートである。

当業者には理解されるように、実施形態の態様は、システム、方法、またはプログラム製品として具体化されてもよい。従って、実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形状を有していてもよく、それらは本明細書では一般的に全て「回路」、「モジュール」、または「システム」と呼ばれる。更に、実施形態は、機械読み取り可能コード、コンピュータ読み取り可能コード、および／またはプログラムコード（以後、コードと呼ばれる）を記憶する１つ以上のコンピュータ読み取り可能記憶装置で具体化されるプログラム製品の形状を有していてもよい。記憶装置は、有形型、非一時型、および／または非送信型であってもよい。ある実施形態においては、記憶装置は、コードにアクセスするのに信号だけを利用するものである。

本明細書に記載されている機能ユニットの多くは、特に実施面での独立性を強調する ため、モジュールとして分類されている。例えば、モジュールは、特注の超大型集積（ＶＬＳＩ）回路またはゲートアレイを有するハードウェア回路、論理チップ、トランジスタなどの既製の半導体、あるいは他の個別のコンポーネントとして実施されてもよい。モジュールは、フィールドゲートアレイ、プログラム可能アレイ論理、プログラム可能論理装置などのプログラム可能なハードウェア装置で実施されてもよい。

モジュールは、種々のタイプのプロセッサによって実行されるコードおよび／またはソフトウェアで実施されてもよい。識別コードモジュールは、例えば、オブジェクト、手順、または関数として編成できる実行可能コードの１つ以上の物理ブロックまたは論理ブロックを有していてもよい。しかし、識別モジュールの実行可能コードは物理的に共存している必要はなく、異なる場所に保存された別個の命令を有し、論理的に合わされた場合にモジュールを構成し、該モジュールのために表明された目的を達成するものであってもよい。

実際、コードのモジュールは、単一の命令であってもよいし、多くの命令であってもよいし、あるいはいくつかの異なるコードセグメント、異なるプログラム、いくつかのメモリ装置間に分散されていてもよい。同様に、本明細書においては、操作データはモジュール内で識別および例示されていてもよいし、任意の適切な形態で具体化され、任意の適切なタイプのデータ構造内に編成されていてもよい。操作データは単一のデータセットとして集められてもよいし、異なる場所（異なるコンピュータ読み取り可能記憶装置を含む）間に分散されていてもよい。モジュールまたはモジュールの一部がソフトウェアで実施される場合、ソフトウェアの当該部分は、１つ以上のコンピュータ読み取り可能記憶装置に記憶される。

１つ以上のコンピュータ読み取り可能媒体の任意の組み合わせが利用できる。コンピュータ読み取り可能媒体は、コンピュータ読み取り可能記憶媒体であってもよい。コンピュータ読み取り可能記憶媒体は、コードを記憶する記憶装置であってもよい。記憶装置は、限定されないが、電子、磁気、光学、電磁気、赤外線、ホログラムタイプ、マイクロメカニカルタイプ、または半導体のシステム、機器、装置、またはそれらの任意の適切な組み合わせであってよい。

記憶装置の更に具体的な例（但し、完全に網羅されてはいない）には、１つ以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはそれらの任意の適切な組み合わせが含まれる。本文書の文脈においては、コンピュータ読み取り可能記憶媒体は、命令実行システム、機器、または装置によって、またはそれとの関連で使用されるプログラムを含み得るまたは記憶できる有形の任意の媒体であってよい。

実施形態の操作を実行するためのコードは、Ｐｙｔｈｏｎ、Ｒｕｂｙ、Ｒ、Ｊａｖａ、Ｓｃａｌａ、Ｊａｖａ Ｓｃｒｉｐｔ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、Ｃ＃、Ｌｉｓｐ、Ｃｌｏｊｕｒｅ、ＰＨＰなどのオブジェクト指向プログラミング言語、Ｃプログラミング言語などの従来の手続き型プログラミング言語、および／またはアセンブリ言語などの機械言語の任意の組み合わせで記述されていてもよい。コードは、完全にユーザーのコンピュータによって、独立型ソフトウェアパッケージとして部分的にユーザーのコンピュータによって、部分的にユーザーのコンピュータおよび部分的に遠隔コンピュータによって、あるいは完全に遠隔コンピュータまたはサーバーによって実行できる。後者のシナリオの場合、遠隔コンピュータは、ロカールエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通してユーザーのコンピュータに接続されていてもよいし、あるいは（例えば、インターネットサービスプロバイダを用いてインターネットにより）外部のコンピュータと接続されていてもよい。

本明細書で使用される場合、「１つの実施形態」、「ある実施形態」、または類似の言い回しは、当該実施形態との関連で記述される特定の特徴、構造、特性が少なくとも１つの実施形態に含まれることを意味する。従って、本明細書で使用される場合、「１つの実施形態」、「ある実施形態」、または類似の言い回しは、特定の明示がない限り、必ずしも全て同じ実施形態について言及しているのではなく、「１つ以上であるが全ての実施形態ではない」ことも意味している。「含む」、「有する」、「持つ」と言う用語、およびそれらの変形は、特定の明示がない限り、「限定されないが」を意味するものである。特定の明示がない限り、あるアイテムに関する列挙されたリストは、当該アイテムの任意の一部または全てが相互に除外的であることを意味するものではない。特定の明示がない限り、「１つ（ａ、ａｎ）」および「その（ｔｈｅ）」は「１つ以上」を意味する。「および／または」と言う用語は、リストアップされた要素の１つ以上の実施形態を指しており、「Ａおよび／またはＢ」と言うのは、要素Ａのみ、要素Ｂのみ、または要素Ａ並びに要素Ｂの実施形態を意味している。

更に、実施形態に関して記述されている特徴、構造、または特性は、任意の適切な方法で組み合わされてもよい。以下の記載においては、実施形態の十分な理解のため、詳細な種々の特定事項が、プログラミング、ソフトウェアモジュール、ユーザー選択、ネットワークトランザクション、データベース検索、データベース構造、ハードウェアモジュール、ハードウェア回路、カードウェアチップなどの例として提供されている。しかし、当業者は、例えば、詳細な特定事項の１つ以上なしに、あるいは他の方法、コンポーネント、または物質を用いて、実施形態が実施可能であることを認識するであろう。他の例においては、実施形態の態様が曖昧になるのを避けるため、既知の構造、素材、または操作の詳細は記述されていない。

実施形態の態様は、以下に、当該実施形態に基づく方法、機器、システム、およびプログラム製品のフローチャートおよび／または概略ブロック図を参照して記載されている。概略フローチャートおよび／または概略ブロック図、並びに概略フローチャートおよび／または概略ブロック図のブロックの組み合わせがコードによって実施可能であることは理解されるであろう。斯かるコードは、特定の機械を製造するため、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置へ提供されるので、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを通して実行される命令は、概略フローチャートおよび／または概略ブロック図（複数も可）で特定される機能／動作を実施するための手段を作成する。

コードは、コンピュータ、他のプログラム可能データ処理装置、または他の装置に特定の方法で機能するように指示できる記憶装置にも記憶させることができるので、当該記憶装置に記憶させた命令は、概略フローチャートおよび／または概略ブロック図（複数も可）で特定される機能／動作を実施する命令の生成を含め、製品の製造も行う。

コードは、コンピュータ、他のプログラム可能データ処理装置、または他の装置にロードされて、当該コンピュータ、他のプログラム可能データ処理装置、または他の装置上で一連の操作工程を実行させ、コンピュータ実施プロセスを生成することもできるので、当該コンピュータ、他のプログラム可能データ処理装置、または他の装置上で実行されるコードは、概略フローチャートおよび／または概略ブロック図（複数も可）で特定される機能／動作を実施するためのプロセスを提供する。

図面の概略フローチャートおよび／または概略ブロック図は、種々の実施形態における機器、システム、方法、およびプログラム製品に関するアーキテクチャ、機能性、および可能な実施の操作を示している。この点に関して言えば、概略フローチャートおよび／または概略ブロック図の各ブロックは、特定の論理関数（複数も可）を実施するためのコードの１つ以上の実行可能命令を有する、コードのモジュール、セグメント、または一部を示している。

いくつかの代替実施においては、ブロックに示される機能は、図面に示される順番とは異なる順番で生じる場合もある事に注目されたい。例えば、連続して示される２つのブロックは、実際には、関係する機能次第で、実質的に同時に実行される場合もあるし、逆の順番で実行される場合もある。機能、論理、または効果の面で、図面に示される１つ以上のブロックまたはその一部に等価の他の工程および方法も想到し得る。

種々の矢印や直線がフローチャートおよび／またはブロック図で使用されているが、それらは対応する実施形態の範囲を制限するものと理解されるべきではない。実際、いくつかの矢印または他の連結線は、図示の実施形態の論理的な流れを示すのに使用されているに過ぎない。例えば、矢印は、図示の実施形態において、列挙された工程の非特定期間における待ち段階または監視段階を示しているものである。ブロック図および／またはフローチャート並びにブロック図および／またはフローチャートにおけるブロックの組み合わせは、特定の機能または行動あるいは特別目的のハードウェアとコードの組み合わせを実行する、特別目的のハードウェアベースシステムによって実行可能である点も注目されたい。

各図面における要素の記述は、関連図面の要素について言及している場合もある。同一の数字は、全ての図面において同一要素（代替実施形態の同一要素を含む）を意味する。

大量の媒体は、正確な評価が困難である。本出願の実施形態により、機械学習を用いて、エキスパートの意見をスケーリングおよび自動化することができる。

図１Ａは、レビュープロセス１００ａの１つの実施形態を示す概略ブロック図である。多くの広告主は、ストリーミングメディアコンテンツ（例えば、ＹＯＵＴＵＢＥ（登録）、ＦＡＣＥＢＯＯＫ（登録）などのプラットフォーム上のビデオ媒体などを含む）などの幅広い視聴者へ自らの商品を提供したいと考えている。広告主は、自らのブランド品の位置付けを反映する内容で、自らの商品を提供したいと考えている。その内容は主観的でもあり、時間と共に変化するものでもある。主観的かつ変化する内容をブランド品のために捕えるには、ブランド品の好みをブランド品の意図に合致する媒体セット１０７へ伝える必要がある。広告主の目標達成を促進するため、広告、プロモーション、オファーなどが、媒体セット１０７からの媒体の提示と共に提供されてもよい。

従来、媒体セット１０７は、媒体コーパス１０１から手動で選択されたり、容易に定量化できる基準、例えば、視聴者数、ホワイトリスト、ブラックリスト、キーワード連動などの数に基づいて選択されたりしていた。残念ながら、斯かる選択プロセスは、極めて適切な媒体を無視したり、需要が多くて費用のかかる媒体に焦点を当てたりするものである。その結果、プロモーション費は必要以上に高価になる場合が多いのと同時に、ブランド品の内容を反映する媒体との関連でプロモーションを行う機会も定期的に失われてしまう。

本出願の実施形態は、以下に記載されるように、レビュープロセス１００ａをスケーリングし、手動によるレビュープロセスを自動レビュープロセス１００ａへ変換するものである。本出願の実施形態は、レビュープロセス１００ａを自動化することにより、更に大規模な媒体コーパス１０１の効果的な評価を可能にする。その結果、更に適切な媒体が特定されるようになるであろう。加えて、更に適切な媒体および／または費用効果の高い媒体が特定されるようになるであろう。従って、本出願の実施形態は、広告主のために、媒体コーパス１０１から媒体セット１０７を選択するにあたり、コンピュータシステムの効率を改善することになる。

レビュープロセス１００ａは、レビューモデル１０５を用いて媒体コーパス１０１を評価し、媒体セット１０７を選択する。レビューモデル１０５は、人間レビューテスト結果１０９を用いて訓練される。従って、レビューモデル１０５は人間レビュワーの意見を正確に反映するようになる。人間レビューテスト結果１０９は、広告主などのエキスパートの意見を大量のレビュワーにスケーリングする。次に、レビュワーは、レビューモデル１０５を訓練するのに使用できる十分な数の媒体レビュー訓練セットを生成する。その結果、少数のエキスパートの意見が自動レビューモデル１０５へスケーリングされる。

レビューモデル１０５は、媒体コーパス１０１からの媒体を自動的に評価し、各媒体についてコンセプト予測を生成する。コンセプト予測は、媒体のテーマがブランド品の位置付けをどれほど正確に反映しているかを予測する。例えば、メーキャップ使用に関する媒体は、ブランド品である化粧品の位置付けを略正確に反映しているかもしれない。コンセプト予測は、媒体セット１０７の媒体を選択するのに使用される。従って、ブランド品の販売を促進および向上させるため、媒体セット１０７の媒体をプロモーションに提供できる。

１つの実施形態においては、媒体コーパス１０１の媒体は、ブランド品の位置付けを反映する可能性の高い媒体を特定するため、最初にフィルタに通される。次に、レビューモデル１０５は、斯かる媒体コーパス１０１のサブセットを評価し、当該媒体コーパス１０１のサブセットのためにコンセプト予測を予測してもよい。

図１Ｂは、レビュープロセス１００ｂの１つの代替実施形態を示す概略ブロック図である。図示されている実施形態において、消費対象になっている媒体が入札キュー１２１に置かれている。例えば、ＹＯＵＴＵＢＥ（登録）で視聴されようとしている各ビデオ媒体が入札キュー１２１に置かれてもよい。媒体１１５が入札キュー１２１から選択され、レビューモデル１０５によって評価されてもよい。レビューモデル１０５は、媒体１１５のためにコンセプト予測を予測し、そのコンセプト予測を記憶するようにしてもよい。コンセプト予測は、プロモーションに媒体１１５を提供する価値を正確に反映する媒体入札１２３を広告主用に生成するのに使用されてもよい。

図１Ｃは、媒体コーパス１０１の１つの実施形態を示す概略ブロック図である。図示されている実施形態において、媒体コーパス１０１は複数の媒体１１５を有している。例えば、２つの媒体１１５が示されている。しかし、媒体コーパス１０１は何十億もの個々の媒体１１５を含んでいるかもしれない。その結果、いずれかの人またはグループが手動でそれを評価するには規模が大き過ぎる。従って、ブラックリストやホワイトリストなどのリストの生成は、大規模な媒体コーパス１０１のスケーリングには至らない。従来、媒体１１５の選択には、キーワード、ビューなど、容易に定量化可能な評価基準が使用されていた。しかし、キーワード等の不正確さ故に、不適切な媒体が選択される場合も多い。加えて、ブランド品のプロモーションに適する媒体１１５に、媒体選択に至るキーワードが付されていない場合もある。

本出願の実施形態は、エキスパート媒体セット１１３を使用してレビュージョブを生成するものであり、レビュージョブはエキスパートの意見で訓練される大規模なレビュワーを生成するのに使用される。エキスパート媒体セット１１３は、媒体コーパス１０１のサブセットであってもよい。次に、レビュワーは、媒体コーパス１０１から選択されるレビュワー媒体セット１１４（以下に記載されるように、レビューモデル１０５を訓練するのに使用される）から大量のコンセプト予測を生成する。レビュワー媒体セット１１４は、媒体コーパス１０１のサブセットであってもよい。レビュワー媒体セット１１４は、エキスパート媒体セット１１３の１０～１００倍、あるいはそれ以上であってもよい。

エキスパート媒体セット１１３は、媒体コーパス１０１のサブセットであってもよい。エキスパート媒体セット１１３は、プログラムに従って選択されてもよい。例えば、エキスパート媒体セット１１３は、能動学習を用いて選択されてもよい。エキスパート媒体セット１１３は手動で選択されてもよい。例えば、エキスパート媒体セット１１３は、定期的に広告主に提供される精選された媒体１１５のセットであってもよい。あるいは、エキスパート媒体セット１１３は、媒体コーパス１０１からランダムに選択されてもよい。ある実施形態においては、エキスパート媒体セット１１３は、媒体フィルタ１０３を用いて選択される。

図２はレビューシステム１５０の１つの実施形態を示す概略ブロック図である。レビューシステム１５０は、レビューモデル１０５を訓練するのに使用される人間レビューテスト結果１０９を生成する際に、１つ以上のエキスパート２０５、モデレーター２０７、およびレビュワー２０９の専門知識を調整するものであってもよい。図示された実施形態においては、エキスパート２０５、モデレーター２０７、およびレビュワー２０９は、レビュワーサーバー２０１と連動していてもよい。加えて、レビュワー２０９は制作サーバー２１１と連動していてもよい。

１つ以上のエキスパートが、媒体コーパス１０１の媒体１１５に関する集合的な主観的意見を共有してもよい。１つの実施形態においては、広告主がエキスパート２０５である。加えて、エキスパート２０５は、広告主によって選択されてもよい。その結果、エキスパート２０５は、広告主のブランド品の位置付けを反映する共有された主観的好みのセットを有することになる。

モデレーター２０７は、媒体コーパス１０１について精通していてもよい。１つの実施形態においては、モデレーター２０７は自動プロセスである。レビュワー２０９は媒体コーパス１０１からのレビュー媒体１１５を評価し、媒体１１５に関する客観的質問に回答して、コンセプト予測を有する媒体レビューを生成してもよい。

残念ながら、通常、レビューモデル１０５を訓練するための人間レビューテスト結果１０９を生成するのに必要な評価対象の媒体１１５数は、エキスパート２０５が喜んで集合的に評価する媒体１１５数よりも多い。例えば、広告主エキスパート２０５はエキスパート媒体セット１１３の媒体を喜んで評価しようとするかも知れないが、エキスパート媒体セット１１３は、レビューモデル１０５を効果的に訓練するには十分な規模ではない場合がある。従って、本出願の実施形態は、エキスパート媒体セット１１３を使用し、エキスパート２０５からのエキスパートコンセプト予測を用いて、複数のレビュワー２０９を選択および訓練する。複数のレビュワー２０９は、次に、レビュワー媒体セット１１４を評価し、レビュワーサーバー２０１でレビューモデル１０５を訓練するため、人間レビューテスト結果１０９を生成する。次に、レビューモデル１０５は、制作サーバー２１１に導かれ、媒体コーパス１０１および／または入札キュー１２１を評価する。１つの実施形態においては、レビュワー２０９からのレビューは、レビューモデル１０５の保持および／または改善のため、定期的に使用されてもよい。
図３Ａは、レビュージョブデータベース３００の１つの実施形態を示す概略ブロック図である。レビュージョブデータベース３００はメモリ内のデータ構造として組織化されていてもよい。図示された実施形態においては、レビュージョブデータベース３００は複数のレビュージョブ３０１を有する。１つの実施形態において、レビュージョブデータベース３００はプロモーション３１９を含む。プロモーション３１９は、ブランド品の意図を促進するため、媒体１１５と共に提供される１つ以上のプロモーション媒体へのリンクを記録していてもよい。プロモーション媒体は、広告、クーポン、ユニバーサルリソースロケーター（ＵＲＬ）、および／またはその他を有していてもよい。

図３Ｂは、レビュージョブ３０１の１つの実施形態を示す概略ブロック図である。各レビュージョブ３０１は、エキスパート２０５の意見（エキスパートコンセプト予測３１３を含む）に基づいていてもよい。図示された実施形態においては、レビュージョブ３０１は、媒体識別子３０３、客観的記述３０５、レビュー質問３０７、テスト質問３１１、エキスパートコンセプト予測３１３、回答記述３１５、および媒体特徴３１７を含む。

媒体識別子３０３は、ビデオ、音声、テキスト、画像などの媒体１１５を特定してもよい。客観的記述３０５は媒体１１５を記述してもよい。レビュー質問３０７は、エキスパート２０５からエキスパートコンセプト予測３１３を導き出してもよい。例えば、レビュー質問３０７は、「現在のビデオは我々のブランド特徴を代表していますか」と質問してもよい。

１つの実施形態において、テスト３１１は、レビュー質問３０７および対応するエキスパートコンセプト予測３１３を有効化する質問を有している。回答記述３１５は、エキスパートコンセプト予測３１３に関して、エキスパート２０５からの追加の詳細事項を記録していてもよい。例えば、回答記述３１５は、現在のビデオが何故ブランド品の特徴を代表しているかを説明していてもよい。媒体特徴３１７は以下の図３Ｊで説明される。

レビュージョブ３０１はエキスパート２０５からエキスパートコンセプト予測３１３を効率的に生成するためのデータを組織化する。従って、レビュージョブ３０１は、コンピュータがエキスパートコンセプト予測３１３を正確に捕えるのを可能にする。

図３Ｃはレビューデータベース３５０の１つの実施形態を示す概略ブロック図である。レビューデータベース３５０は、メモリ内のデータ構造として組織化されていてもよい。図示された実施形態においては、レビューデータベース３５０は複数のレビュー３５１を有する。レビューデータベース３５０は、プロモーション３１９を含んでいてもよい。

図３Ｄは、レビュー３５１の１つの実施形態を示す概略ブロック図である。レビュー３５１は、レビュージョブ３０１を使用し、媒体１１５に応答して、レビュワー２０９によって生成されてもよい。図示された実施形態においては、レビュー３５１は、媒体識別子３０３および１つ以上のコンセプト予測３０９を有する。媒体識別子３０３は媒体１１５を特定する。コンセプト予測３０９は、媒体１１５について、レビュージョブ３０１のレビュー質問３０７へのレビュワーの回答を記録する。

図３Ｅは、媒体レビューデータベース３７０の１つの実施形態を示す概略ブロック図である。媒体レビューデータベース３７０は、メモリ内のデータ構造として組織化されていてもよい。図示された実施形態においては、媒体レビューデータベース３７０は複数の媒体レビュー３７１を有している。

図３Ｆは、媒体レビュー３７１の１つの実施形態を示す概略ブロック図である。媒体レビュー３７１は、媒体１１５のために、複数のレビュー３５１を集積していてもよい。図示された実施形態においては、媒体レビュー３７１は、媒体識別子３０３、コンセンサスコンセプト予測３７３、および媒体特徴３１７を有する。媒体識別子３０３は媒体１１５を特定する。コンセンサスコンセプト予測３７３は、媒体１１５のために、複数のレビュー３５１のコンセプト予測３０９の相加平均値、平均値、中央値、範囲などであってもよい。

図３Ｇは、システムデータ３９０の１つの実施形態を示す概略ブロック図である。システムデータ３９０は、メモリ内のデータ構造として組織化されていてもよい。図示された実施形態においては、システムデータ３９０は、モデルパラメータ３９１、正確度閾値３９３、センチメント閾値３９４、および一致閾値３９５を有する。モデルパラメータ３９１は、モデルタイプ、モデル幅、モデル奥行、学習速度、学習アルゴリズム、ネットワーク幾何、および／または再帰的幾何を有していてもよい。

正確度閾値３９３は、レビュージョブ３０１の有効化、レビュージョブ３０１を再生成するか否かの決定、および／または以下に説明されるようなレビュワー２０９の選択に使用されてもよい。正確度閾値３９３は、コンセプト予測３０９がエキスパートコンセプト予測３１３に一致する場合に満たされてもよい。正確度閾値３９３は７０～１００％の範囲であってよい。

センチメント閾値３９４は、レビュー質問３０７が正当なエキスパートコンセプト予測３１３を導き出すか否かを決定するのに使用されてもよい。センチメント閾値３９４は６０～１００％のポジティブセンチメントの範囲であってよい。一致閾値３９５は、レビュワー２０９によって使用されるレビュージョブ３０１が、エキスパート２０５のエキスパートコンセプト予測３１３を十分に反映しているか否かを決定するのに使用されてもよい。一致閾値３９５は、５%未満の帰無仮説の確率であってもよい。加えて、一致閾値３９５は、０．７～１．０の範囲の事前確率であってもよい。

図３Ｈは、制約最適化データ２２０の１つの実施形態を示す概略ブロック図である。制約最適化データ２２０は、メモリ内のデータ構造として組織化されてもよい。制約最適化データ２２０は、図５Ｂとの関連で以下に記載されるように、制約最適化を実行するのに使用されてもよい。図示された実施形態においては、制約最適化データ２２０は、予算要求事項２２１、配置数２２３、望ましい支出２２５、目的関数２２７、および制約最適化２２９を有する。

予算要求事項２２１は、１つ以上の特定の時間間隔のために、プロモーション３１９のプロモーション予算を特定するものであってよい。例えば、予算要求事項２２１は、１日および／または１か月間の最大プロモーション予算を特定するものであってもよい。配置数２２３は、プロモーション３１９を配置する媒体数を特定してもよい。望ましい支出２２５は、プロモーション３１９に媒体１１５を配置するための合計経費を特定するものであってもよい。目的関数２２７は、予算要求事項２２１、配置数２２３、望ましい支出２２５、および他の要因を関連付けてもよい。制約最適化２２９は、以下に記載されるように、１つ以上のパラメータの値を特定してもよい。

図３Ｉは、選好フォーマット２４０の１つの実施形態を示す概略ブロック図である。選好フォーマット２４０は、メモリ内のデータ構造として組織化されていてもよい。選好フォーマット２４０は、エキスパート２０５から組織化されてもよい。加えて、選好フォーマット２４０は、レビュージョブ３０１を生成するのに使用されてもよい。図示された実施形態においては、選好フォーマット２４０は、ユーザー識別子２４１と、ユーザープロフィル２４３と、客観的記述３０５、レビュー質問３０７、およびエキスパートコンセプト予測３１３を有する１つ以上のレビューセット２６１とを有している。１つの実施形態においては、レビューセット２６１は回答記述３１５を有する。

図３Ｊは、媒体特徴３１７の１つの実施形態を示す概略ブロック図である。媒体特徴３１７は、メモリ内のデータ構造として組織化されていてもよい。図示された実施形態においては、媒体特徴３１７は、媒体評価基準３５３、媒体カテゴリ２４７、テキスト記述２４９、画像２５１、テキスト２５３、ビデオ２５５、および音声２５７を有している。媒体評価基準３５３は、媒体１１５のために、視聴数、類似の内容の数、コメントセンチメント、キーワードなどを記録してもよい。媒体カテゴリ２４７は、媒体１１５のために１つ以上のカテゴリを特定してもよい。媒体１１５は、画像２５１、テキスト２５３、ビデオ２５５、および／または音声に具体化されてもよい。

テキスト記述２４９は、媒体１１５を記述してもよい。１つの実施形態においては、テキスト記述２４９は、媒体１１５のためにキーワードを有している。画像２５１は、画像媒体１１５を記録していてもよい。加えて、画像２５１は、テキスト２５３、ビデオ２５５、および／または音声２５７のために代表的画像を記録していてもよい。テキスト２５３は、テキスト媒体１１５を記録していてもよい。加えて、テキスト２５３は、画像２５１、ビデオ２５５、および／または音声２５７を記述していてもよい。ビデオ２５５はビデオ媒体１１５を記録していてもよい。加えて、ビデオ２５５は、画像２５１、テキスト２５３、および／または音声２５７を記述していてもよい。音声２５７は、音声媒体１１５を記録していてもよい。加えて、音声２５７は、画像２５１、テキスト２５３、および／またはビデオ２５５を記述していてもよい。

図４Ａは、コンピュータ４００の１つの実施形態を示す概略ブロック図である。図示された実施形態においては、コンピュータ４００は、プロセッサ４０５、メモリ４００、および通信ハードウェア４１５を有する。メモリ４１０は、半導体記憶装置、ハードディスクドライブ、光学記憶装置、マイクロメカニカル記憶装置、またはそれらの組み合わせを有していてもよい。メモリ４１０はコードを記憶していてもよい。プロセッサ４０５はコードを実行してもよい。通信ハードウェア４１５は他の装置と通信を行ってもよい。

プロセッサ４０５は、レビューモデル１０５を訓練および／または実行してもよい。レビューモデルは、勾配ブースティングマシン（ＧＢＭ）モデル、ランダムフォレストモデルなどであってもよい。プロセッサ４０５は、レビューモデル１０５を訓練するのに、教師あり学習または教師なし学習を用いてもよい。

図４Ｂは、ニューラルネットワーク４７５の１つの実施形態を示す概略ブロック図である。図示された実施形態においては、ニューラルネットワーク４７５は、入力ニューロン４５０、隠れたニューロン４５５、および出力ニューロン４６０を有する。ニューラルネットワーク４７５は、畳み込みニューラルネットワーク、回帰型ニューラルネットワーク、長・短期記憶ネットワークなどとして組織化されてもよい。

ニューラルネットワーク４７５は訓練データで訓練されてもよい。訓練データは、媒体レビューデータベース３７０の媒体レビュー３７１を有してもよい。ニューラルネットワーク４７５は、教師なし学習のために媒体特徴３１７などの訓練データを入力ニューロン４５０へ適用しつつ、１つ以上の学習機能を用いて訓練されてもよい。加えて、対応するコンセプト予測３０９などの既知の結果値が、教師あり学習のために、出力ニューロン４６０用に特定されてもよい。その後、ニューラルネットワーク４６５は、入力ニューロン４５０で媒体特徴などの実際のデータを受け取り、当該実際のデータに基づいて、出力ニューロン４６０においてコンセプト予測３０９を作成してもよい。

図５Ａは、モデル生成方法５００の１つの実施形態を示すフローチャートである。当該方法５００はレビューモデル１０５を生成してもよい。当該方法５００は、プロセッサ４０５および／またはニューラルネットワーク４７５によって実行されてもよい。

方法５００が開始されると、１つの実施形態において、プロセッサ４０５は、媒体コーパス１０１から導かれるエキスパート媒体セット１１３のために、少なくとも１つのレビュー質問および対応するエキスパートコンセプト予測３１３を有するレビュージョブ３０１を生成する（５０１）。レビュージョブ３０１は、１つ以上のエキスパート２０５から生成（５０１）されてもよい。加えて、レビュージョブ３０１は、１つ以上のレビュワー２０９で有効化されてもよい。レビュージョブ３０１の生成は、図５Ｃで更に詳細に説明される。

プロセッサ４０５は、媒体ソーシング戦略を選択（５０３）してもよい。媒体ソーシング戦略は、ランダム戦略、アクティブ学習戦略、および標的戦略から成る群から選択されてもよい。ランダム戦略はランダムに媒体１１５を選択する。例えば、プロセッサ４０５は、１つ以上の媒体識別子３０３を媒体コーパス１０１からランダムに選択してもよい。

アクティブ学習戦略は、レビュワー２０９からのコンセプト予測および／またはレビュワー２０９へ向けられた双方向的質問に基づいて、レビューのための媒体１１５を選択する。例えば、レビューモデル１０５が候補媒体１１５のためにコンセプト予測３０９を生成してもよい。候補媒体１１５は、コンセプト予測３０９に基づいて選択されてもよい。加えて、プロセッサ４０５は、候補媒体１１５のためのレビュー質問３０７を１つ以上のレビュワー２０９に提供し、レビュワー２０９からコンセプト予測３０９を受け取ってもよい。プロセッサ４０５は、レビュワー２０９からのコンセプト予測３０９に基づいて、候補媒体１１５を選択してもよい。例えば、媒体１１５は、コンセプト予測３０９が０．５に近い（適切なコンセプトであるか否かが確実でないことを示す）場合に選択されてもよい。１つの実施形態においては、客観的記述３０５を満たすコンセプト予測３０９を有する媒体１１５が、レビューのために選択される。ある実施形態では、エキスパート２０５および／またはモデレーター２０７のような「ヒューマンインザループ」が媒体１１５の選択を援助してもよい。

標的戦略は、媒体評価基準３５３に基づいて媒体１１５を選択する。例えば、プロセッサ４０５は、特定のキーワードを用いて媒体１１５を選択してもよい。プロセッサ４０５は、更に媒体ソーシング戦略に基づいて、１セットの媒体１１５を選択してもよい。

プロセッサ４０５は、エキスパート媒体セット１１３のために、レビュージョブ３０１を用いて、複数のレビュワー２０９から媒体レビュー３７１を生成（５０５）してもよい。１つの実施形態においては、プロセッサ４０５は、レビュワー媒体セット１１４の各媒体のためにレビュージョブ３０１をレビュワー２０９に提供し、各レビュワー２０９から媒体１１５のためにコンセプト予測３０９を含むレビュー３５１を受け取る。コンセプト予測３０９は、媒体１１５のために、媒体レビュー３７１のコンセンサスコンセプト予測３７３に集積されてもよい。媒体レビュー３７１の生成（５０５）は図５Ｄに更に詳細に記載されている。

プロセッサ４０５は、複数の媒体レビュー３７１のために、媒体特徴３１７を更に抽出する（５０７）。１つの実施形態においては、プロセッサ４０５はレビュワー媒体セット１１４の媒体１１５の自動レビューを実行し、媒体特徴３１７を抽出する（５０７）。媒体特徴３１７の抽出５０６は、図５Ｈに更に詳細に記載される。

プロセッサ４０５は、レビューモデル１０５を訓練してもよい。プロセッサ４０５は、媒体レビュー３７１および対応する媒体特徴３１７を用いてレビューモデル１０５を訓練してもよい（５０９）。１つの実施形態においては、レビューモデル１０５は、レビュワー媒体セット１１４の各媒体１１５のために、媒体特徴３１７および対応するコンセプト予測３０９の訓練データセットを用いて訓練される（５０９）。レビューモデル１０５の訓練５０９は、図５Ｅに更に詳細に記載される。

１つの実施形態においては、レビューモデル１０５は、媒体ソーシング戦略を用いて選択される媒体１１５を用いて再訓練される（５０９）。プロセッサ４０５は、レビューモデル１０５を定期的に再訓練してもよい。ある実施形態においては、レビューモデル１０５は毎日再訓練される。

プロセッサ４０５は、制作レビューモデル１０５を選択してもよい（５１１）。制作レビューモデル１０５は、１つ以上の訓練されたレビューモデル１０５および／または現在の制作レビューモデル１０５から選択されてもよい。１つの実施形態においては、各レビューモデル１０５は、エキスパート媒体セット１１３に対してテストされる。レビュージョブ３０１のエキスパートコンセプト予測３１３に最も近いコンセプト予測３０９を予測するレビューモデル１０５が選択されてもよい（５１１）。

プロセッサ４０５は、選択された制作レビューモデル１０５の制作準備が整っていることを確証し、当該方法５００を終了させてもよい。選択された制作レビューモデル１０５は、媒体コーパス１０１の制作サブセットに対してテストされ、選択された制作レビューモデル１０５は制作準備が整っていることを確証してもよい（５１３）。

図５Ｂは、媒体選択方法５２０の１つの実施形態を示すフローチャートである。当該方法５２０は、レビューモデル１０５を用いて、媒体コーパス１０１から媒体セット１０７を選択してもよい。当該方法５２０は、プロセッサ４０５および／またはニューラルネットワーク４７５によって実行されてもよい。

方法５２０が開始されると、１つの実施形態においては、プロセッサ４０５は、媒体コーパス１０１の媒体１１５から媒体特徴３１７を抽出する（５２１）。プロセッサ４０５は、媒体１１５の自動レビューを実行し、媒体特徴３１７を抽出してもよい（５２１）。媒体特徴３１７の抽出５２１は、図５Ｈに更に詳細に記載される。

プロセッサ４０５は、レビューモデル１０５を用いてコンセプト予測３０９を生成してもよい（５２３）。コンセプト予測３０９は、コンセプト予測３０９を予測することによって生成されてもよい（５２３）。１つの実施形態においては、各媒体１１５のための媒体特徴３１７がレビューモデル１０５に提供され、レビューモデル１０５は、媒体特徴３１７に基づいてコンセプト予測３０９を予測する（５２３）。ある実施形態においては、制作レビューモデル１０５が使用される。

プロセッサ４０５は、媒体１１５を提供するため、制約最適化の計算を実行する（５２５）。制約最適化の計算は、予算要求事項２２１、配置数２２３、および望ましい支出２２５のための目的関数２２７を最適化し、制約最適化２２９を生成する。制約最適化の計算は図５Ｆに更に詳細に記載される。

プロセッサ４０５は、媒体セット１０７のために、予測されたコンセプト予測３０９に基づいて媒体１１５を選択してもよい（５２７）。１つの実施形態においては、選択５２７は、媒体１１５のためのコンセプト予測３０９および／または制約最適化２２９の制約に基づいていてもよい。与えられた媒体１１５は、当該与えられた媒体１１５がブランド品の意図に一致しているコンセプト予測３０９に基づいて選択されてもよい（５２７）。加えて、与えられた媒体１１５がブランド品の意図に一致していることをコンセプト予測３０９が示していたとしても、当該与えられた媒体の予想経費が制約最適化２２９の制約を超えている場合には、当該与えられた媒体は選択されなくてもよい。媒体１１５の選択５２７の１つの実施形態は、図５Ｇに更に詳細に記載される。

プロセッサ４０５は、媒体セット１０７の選択された媒体１１５をプロモーション３１９に提供し（５２９）、当該方法５２０を終了させてもよい。１つの実施形態においては、プロモーション３１９は、選択された媒体１１５がユーザーへ提供される際に同時に提供されてよい。例えば、ビデオプロモーション３１９は、ユーザーが媒体セット１０７に含まれているＹＯＵＴＵＢＥ（登録）を視聴する際に同時に提供されてもよい（5２９）。

図５Ｃは、レビュージョブ生成方法５５０の１つの実施形態を示すフローチャートである。当該方法５５０はレビュージョブ３０１を生成する。当該方法５５０は、プロセッサ４０５によって実行されてもよい。当該方法５５０が開始されると、１つの実施形態においては、プロセッサ４０５は、エキスパート媒体セット１１３の媒体１１５をエキスパート２０５へ提供する。媒体１１５は、エキスパート２０５とモデレーター２０７の会合中に提供されてもよい（５５１）。加えて、媒体１１５は、オンラインインタラクション中に提供されてもよい（５５１）。
プロセッサ４０５は、媒体１１５の提供に応答して、エキスパートコンセプト予測３１３を捕捉してもよい（５５３）。プロセッサ４０５は、媒体１１５に関するエキスパートの意見に関して、レビュー質問３０７を用いてエキスパートに質問してもよい。エキスパートの意見は、エキスパートコンセプト予測３１３として記録されてもよい。加えて、プロセッサ４０５は、ブランド品を支持するコンセプトに関するエキスパート２０５の最初の見解を客観的記述３０５として記録してもよい。プロセッサ４０５は、当該意見の理由についてエキスパート２０５に更に質問してもよい。

プロセッサ４０５は、エキスパートコンセプト予測３１３のために、選好フォーマット３４０を標準化してもよい。選好フォーマット３４０を用いたエキスパートの応答の標準化５５５は、コンピュータ４００によるレビュージョブ３０１の効率的かつ正確な生成を支援する。従って、選好フォーマット３４０は、レビュージョブ３０１の自動生成を可能にする。１つの実施形態においては、エキスパートコンセプト予測３１３を導き出す各レビュー質問３０７は、対応する客観的記述３０５、エキスパートコンセプト予測３１３、および／または回答記述３１５と共に、レビューセット２６１に置かれる。

１つの実施形態においては、エキスパートコンセプト予測３１３は、センチメントに関してテストされる。エキスパートコンセプト予測３１３のセンチメントがセンチメント閾値３９４を超えた場合に、レビュー質問３０７はエキスパートコンセプト予測３１３を導いたと決定されてもよい。媒体１１５に関するエキスパートの意見を反映させるにあたり、センチメントに基づいてレビュー質問３０７および対応するレビューセット２６１を選好フォーマット３４０に含めることにより、選好フォーマット３４０の正確度が改善される。従って、その結果得られるレビュージョブ３０１は、レビュー３５１の収集面で更に効率的となる。

プロセッサ４０５は、選好フォーマット３４０内の複数のエキスパートコンセプト予測３１３に基づいて、レビュージョブ３０１および／またはレビュージョブデータベース３００を設計してもよい（５５７）。１つの実施形態においては、レビュージョブ３０１および／またはレビュージョブデータベース３００は、少なくともエキスパートコンセプト予測３１３および／またはレビュージョブ３０１の最少予測数に基づいている。最少予測数は、５０～１００の範囲であってよい。ある実施形態においては、最少予測数は１００である。
１つの実施形態においては、エキスパートコンセプト予測３１３の最少予測数は、ポジティブレビューを有するエキスパートコンセプト予測３１３の最少ポジティブ数と、ネガティブレビューを有するエキスパートコンセプト予測３１３の最少ネガティブ数とを含む。最少ポジティブ数および最少ネガティブ数は３０～５０の範囲であってよい。プロセッサ４０５は、レビューセット２６１の最少予測数を選択し、各レビューセット２６１のために対応するレビュージョブ３０１を生成することにより、レビュージョブ３０１を設計してもよい（５５７）。

プロセッサ４０５は、エキスパート媒体セット１１３のために、レビュージョブ３０１を複数のレビュワー２０９に提供する。１つの実施形態においては、少なくとも３０のレビュワー２０９にレビュージョブ３０１が提供される（５５９）。ある実施形態においては、プロセッサー４０５は、対応するレビュージョブ３０１と共に、エキスパート媒体セット１１３の各媒体１１５をレビュワー２０９へ提供する。例えば、プロセッサ４０５は、第一媒体１１５のために、当該第一媒体１１５と、媒体識別子３０３を有するレビュージョブ３０１とを提供してもよい（５５９）。ある実施形態においては、第一媒体１１５がレビュワー２２９へ提供され（５５９）、レビュー質問３０７もレビュワー２０９へ提供される（５５９）。加えて、客観的記述３０５、テスト質問３１１、エキスパートコンセプト予測３１３、回答記述３１５、媒体特徴３１７、および／またはプロモーション３１９のうちの１つ以上が、レビュワー２０９へ提供されてもよい（５５９）。

レビュワー２０９は、レビュー質問３０７に可能な限り回答する。プロセッサ４０５は、コンセプト予測３０９として回答を受け取る（５６１）。コンセプト予測３０９は、レビュー３５１内に、媒体識別子３０３と共に保存してもよい。

プロセッサ４０５は、レビュワー２０９から受け取ったコンセプト予測３０９について、一致閾値３９５が満たされているか否かを決定してもよい（５６３）。レビュワー２０９から受け取ったコンセプト予測３０９とエキスパートコンセプト予測３１３との間の一致が十分に有意であるならば、一致閾値３９５は満たされていると見なされる。加えて、レビュワー２０９から受け取ったコンセプト予測３０９とエキスパートコンセプト予測３１３との間の一致がベイズの成功予測確率を満足させるならば、一致閾値３９５は満たされていると見なされる。

１つの実施形態においては、レビュワー２０９がエキスパートの意見を理解しているか否かを決定するため、テスト質問３１１が当該レビュワー２０９に尋ねられる。レビュワー２０９が十分数のテスト質問３１１に正解できなければ、そのレビュワー２０９はレビュワー２０９のセットから除外され、レビュワーのレビュー３５１もレビューデータベース３５０から除外される。

一致閾値３９５が満たされない場合、プロセス４０５は、レビュージョブ３０１および／またはレビュージョブデータベース３００を再設計してもよい（５５７）。１つの実施形態においては、レビュワーのコンセプト予測３０９とエキスパートコンセプト予測３１３との間の一致が最低であるレビュージョブの例３０１は、レビュージョブ３０１から除外されてもよい。レビュージョブ３０１は、一致閾値３９５が満たされるまで何度もプロセッサ４０５によって再設計されてよい（５５７）。

一致閾値３９５が満たされると、当該方法５５０は終了する。レビュージョブ３０１は、エキスパート２０５のエキスパートコンセプト予測３１３を反映するものとして有効となり、媒体コーパス１０１からの媒体１１５を評価するための追加のレビュワー２０９に提供できる状態となる。レビュージョブ３０１およびレビュージョブデータベース３００の自動設計により、選好フォーマット２４０を使用して、エキスパートの意見を正確に反映するレビュージョブ３０１が生成される。その結果、コンピュータ４００は、レビューモデル１０５の訓練に使用されるレビュージョブ３０１を生成できるようになる。

図５Ｄは、媒体レビュー生成方法５７０の１つの実施形態を示すフローチャートである。当該方法５７０は、有効化されたレビュージョブ３０１を用いて、媒体レビュー３７１を記録してもよい。当該方法５７０は、プロセッサ４０５によって実行されてもよい。

方法５７０が開始されると、１つの実施形態においては、プロセッサ４０５は複数のレビュワー２０９を特定する。複数のレビュワー２０９は、エキスパート媒体セット１１３のために、レビュージョブ３０１用のコンセプト予測３０９に基づいて特定されてもよい（５７１）。例えば、与えられたレビュワー２０９は、当該与えられたレビュワーのコンセプト予測３０９が、エキスパート媒体セット１１３の媒体１１５のためにエキスパートコンセプト予測３１３と比較され、正確度閾値３９３を満たす場合に、特定される（５７１）ものであってもよい。

プロセッサ４０５は、レビュージョブ３０１を複数のレビュワー２０９に更に提供する（５７３）。レビュージョブ３０１は、媒体識別子３０３によって特定された媒体１１５を表示し、レビュー質問３０７を提示する（５７３）ことにより、提供されてもよい（５７３）。媒体１１５は、媒体コーパス１０１のレビュー媒体セット１１４から選択されてもよい。ある実施形態においては、媒体１１５は、エキスパート媒体セット１１３から選択される。加えて、客観的記述３０５、テスト質問３１１、エキスパートコンセプト予測３１３、回答記述３１５、媒体特徴３１７、および／またはプロモーション３１９のうちの１つ以上が提供されてもよい（５７３）。

プロセッサ４０５は、媒体１１５およびレビュー質問２０７に応答して、レビュージョブ３０１のレビュー質問３０７用のコンセプト予測３０９を複数のレビュワー２０９から受け取ってもよい（５７５）。媒体識別子３０３およびコンセプト予測３０９は、レビュー３５１として保存されてもよい。

プロセス４０５は、レビューデータベース３５０から複数のレビュー３５１を検索し（５７７）、コンセプト予測３０９が正確度閾値３９３を満たすか否かを決定してもよい（５７９）。正確度閾値３９３は、帰無仮説の確率が正確度閾値３９３未満である場合に満たされるものであってもよい。加えて、一致閾値３９５は、事前確率が正確度閾値３９３を超えている場合に満たされるものであってもよい。１つの実施形態においては、正確度閾値３９３は、十分大規模なレビュワー２０９のセットがコンセプト予測３０９に一致するならば満たされる。

１つの実施形態においては、各媒体１１５は少数のレビュワー２０９へ提供される（５７３）。正確度閾値３９３が少数のレビュワー２０９によって満たされないならば、同じ媒体１１５が、媒体１１５当たり最大数のレビュワー２０９に至るまで、更に多くのレビュワー２０９へ提供されてもよい。

正確度閾値３９３が複数のレビュワー２０９に関して満たされるならば、プロセッサ４０５は媒体レビュー３７１を記録し（５８７）、当該方法５７０を終了してもよい。媒体レビュー３７１は、コンセンサスコンセプト予測３７３を有して記録されてもよい（５８７）。コンセンサスコンセプト予測３７３は、レビュワー２０９からのコンセプト予測３０９の相加平均値、コンセプト予測３０９の平均値、コンセプト予測３０９の中央値、および／またはコンセプト予測３０９のランダムなサンプルであってもよい。

正確度閾値３９３が複数のレビュワー２０９について満たされないならば、プロセッサ４０５は、複数のレビュワー２０９からレビュワー２０９を除去してもよい。除去されたレビュワー２０９は、正確度閾値３９３を満たさないコンセプト予測３０９を行ったのであるかもしれない。１つの実施形態においては、除去されたレビュワー２０９は、エキスパートコンセプト予測３１３に一致しないコンセプト予測３０９を行ったのかもしれない。

プロセッサ４０５は、正確度閾値３９３が残りの複数のレビュワー２０９に関して満たされているか否かを更に決定してもよい（５８３）。１つの実施形態においては、プロセッサ４０５は、エキスパートコンセプト予測３１３に一致しなかったコンセプト予測３０９を持つレビュワー２０９が複数のレビュワー２０９から除去された後、正確度閾値３９３が満たされるか否かを残りのレビュワー２０９について決定する（５８３）。それでも正確度閾値３９３が満たされない場合には、プロセッサ４０５はレビュージョブ３０１を再生成し（５８５）、再生成されたレビュージョブ３０１をレビュワー２０９へ提供してもよい（５７３）。レビュージョブ３０１の再生成５８５には、図５Ｃの方法５５０が用いられてもよい。

正確度閾値３９３が満たされたならば、プロセッサ４０５は、媒体レビュー３７１を記録し（５８７）、当該方法５７０を終了させてもよい。当該方法５７０は、エキスパートコンセプト予測３１３を見込んだコンセプト予測３０９を用いて媒体レビュー３７１を生成する。加えて、複数のレビュワー２０９の使用により、以下に記載されるように、レビューモデル１０５を訓練するのに十分な数の媒体レビューの記録が可能となる。

図５Ｅは、モデル訓練方法６００の１つの実施形態を示すフローチャートである。当該方法６００は、媒体レビュー３７１でレビューモデル１０５を訓練する。当該方法６００は、プロセッサ４０５および／またはニューラルネットワーク４７５および／または勾配ブースティングマシンによって実行されてもよい。

方法６００が開始されると、１つの実施形態においては、プロセッサ４０５は、媒体レビューセット１１４の媒体１１５のために、媒体特徴３１７を抽出する（６０１）。媒体特徴３１７は、定期的および／または自動的に抽出されてもよい（６０１）。ある実施形態においては、媒体特徴３１７は、毎日自動的に抽出される（６０１）。１つの実施形態においては、プロセッサ４０５は、媒体カテゴリ２４７、テキスト記述２４９、画像２５１、テキスト２５３、ビデオ２５５、および／または音声２５７を符号化する。媒体特徴３１７の抽出６０１は、図５Ｈに更に詳細に記載される。

プロセッサ４０５は、レビューモデル１０５のために、モデルパラメータ３９１を修正してもよい（６０３）。１つの実施形態においては、モデルパラメータ３９１の修正６０３は、局所最適の方向へ向けられる。加えて、修正６０３は、モデルパラメータ３９１のランダム摂動であってもよい。プロセッサ４０５は、モデルタイプ、モデル幅、モデル奥行、学習速度、学習アルゴリズム、ネットワーク幾何、および／または再帰的幾何を修正してもよい（６０３）。

プロセッサ４０５は、修正されたモデルパラメータ３９１に基づいて、与えられたレビューモデル１０５を更に訓練してもよい。プロセッサ４０５は、モデルパラメータ３９１に基づいて、特定のモデルタイプのために、学習アルゴリズムを媒体レビュー３７１に繰り返し適用してもよい。

現在のレビューモデル１０５が存在するならば、プロセッサ４０５は、与えられたレビューモデル１０５と現在のレビューモデル１０５とを比較してもよい（６０７）。ある実施形態においては、与えられたレビューモデル１０５と現在のレビューモデル１０５の両方が、エキスパート媒体セット１１３のためにコンセプト予測３０９の予測を行ってもよい。プロセッサ４０５は、与えられたレビューモデル１０５のコンセプト予測３０９が、現在のレビューモデル１０５のコンセプト予測３０９よりもエキスパート媒体セット１１３のためのエキスパートコンセプト予測３１３に近いならば、与えられたレビューモデル１０５は改善であると決定してもよい（６０９）。

与えられたレビューモデル１０５が改善でないならば、プロセッサ４０５はモデルパラメータ３９１を再び修正する（６０３）。修正６０３は、与えられたレビューモデル１０５と現在のレビューモデル１０５との差に基づいていてもよい。与えられたレビューモデル１０５が改善であるならば、プロセッサ４０５は、モデルパラメータ３９１の最適化が完了であるか否かを決定する（６１１）。１つの実施形態においては、与えられたレビューモデル１０５に関して、モデルパラメータ３９１の反復摂動がモデルパラメータ３９１に収束するならば、モデルパラメータ３９１の最適化は完了している。

最適化が完了でないならば、プロセッサ４０５は、モデルパラメータ３９１を再び修正する（６０３）。最適化が完了しているならば、プロセッサ４０５は、訓練され最適化されたレビューモデル１０５として、現在のレビューモデル１０５を選択し（６１３）、方法６００を終了する。方法６００は、媒体レビュー３７１に基づいてコンセプト予測３０９を正確に予測するレビューモデル１０５を訓練および選択する。
図５Ｆは、制約最適化方法６５０の１つの実施形態を示すフローチャートである。当該方法６５０は、媒体１１５を選択するために、制約最適化の計算を実行する。当該方法６５０は、プロセッサ４０５によって実行されてもよい。

方法６５０が開始されると、１つの実施形態においては、プロセッサ４０５は、プロモーション３１９に媒体１１５を提供するため、予算要求事項２２１を規定する。予算要求事項２２１は広告主から受け取ってもよい。プロセッサ４０５は、媒体１１５に提供するための目的関数２２７を更に規定する（６５３）。プロセッサ４０５は、目的関数２２７のための制約を規定してもよい（６５５）。制約は、配置数２２３および／または予算要求事項２２１からの望ましい支出２２５であってもよい。プロセッサ４０５は制約最適化２２７を更に計算し（６５７）、方法６５０を終了してもよい。制約最適化２２７は、媒体セット１０７および／または媒体入札１２３のために媒体１１５を決定するのに使用されてもよい。

図５Ｇは、媒体選択方法７００の１つの実施形態を示すフローチャートである。当該方法７００は、予測されたコンセプト予測３０９に基づいて、媒体セット１０７のために、媒体１１５を選択してもよい。ある実施形態においては、当該方法７００は、媒体セット１０７において、現在の媒体１１５を新しい媒体１１５で置き換えるか否かを決定する。プロモーション３１９は、媒体セット１０７の媒体１１５と共に、ユーザーへ提供されてもよい。当該方法７００は、プロセッサ４０５および／またはニューラルネットワーク４７５および／または勾配ブースティングマシンによって実行されてもよい。

方法７００が開始されると、１つの実施形態においては、プロセッサ４０５は、媒体セット１０７内の現在の媒体１１５のために、コンセプト予測３０９を予測する。現在の媒体１１５は媒体セット１０７に既に含まれている場合もある。プロセッサ４０５は、レビューモデル１０５を用いて、コンセプト予測３０９を予測してもよい（７０１）。コンセプト予測３０９は、媒体特徴３１７をレビューモデル１０５に適用し、媒体特徴３１７に応答してコンセプト予測３０９を受け取ることにより予測されてもよい（７０１）。

プロセッサ４０５は、レビューモデル１０５を用いて、新しい媒体１１５のために、コンセプト予測３０９を更に予測する（７０３）。広告主のブランド品の意図を新しい媒体１１５が更に良く満たしていることを、新しい媒体１１５のためのコンセプト予測３０９が示しているならば、プロセッサ４０５は、現在の媒体１１５を新しい媒体１１５で置き換え（７０５）、方法７００を終了する。方法７００は、レビューモデル１０５を用いて、広告主のブランド品の意図を満足させる媒体１１５の媒体セット１０７を構築する。

図５Ｈは、媒体特徴識別方法７２０の１つの実施形態を示すフローチャートである。当該方法７２０は、媒体１１５から媒体特徴３１７を抽出する。当該方法７２０は、プロセッサ４０５および／またはニューラルネットワーク４７５および／または勾配ブースティングマシンによって実行されてもよい。

方法７２０が開始されると、１つの実施形態においては、プロセッサ４０５は、媒体１１５のために媒体評価基準３５３を受け取る（７２１）。媒体評価基準３５３は、媒体１１５のプロバイダからダウンロードされてもよい。例えば、媒体評価基準３５３は、ＹＯＵＴＵＢＥ（登録）ビデオ媒体１１５のために、ＹＯＵＴＵＢＥ（登録）からダウンロードされてもよい。

プロセッサ４０５は、媒体１１５のために、媒体カテゴリ２４７を更に符号化してもよい（７２３）。１つの実施形態においては、プロセッサ４０５は、ニューラルネットワーク４７５を用いて、媒体評価基準３５３、テキスト記述２４９、画像２５１、テキスト２５３、ビデオ２５５、および／または音声２５７のうちの１つ以上から、学習された埋め込みを生成する。媒体カテゴリ２４７は、学習された埋め込みに基づいていてもよい。媒体カテゴリ２４７は、媒体評価基準３７３からのキーワードに基づいて符号化されてもよい。

プロセッサ４０５は、媒体１１５のために、テキスト記述２４９を符号化してもよい（７２５）。プロセッサ４０５は、ニューラルネットワーク４７５を用いて、テキスト２５３、ビデオ２５５、および／または音声２５７から、学習された埋め込みを生成してもよい。テキスト記述２４９は、学習された埋め込みに基づいていてもよい。

１つの実施形態において、プロセッサ４０５および／またはニューラルネットワーク４７５は、画像２５１、テキスト２５３、ビデオ２５５、および／または音声２５７を、他の媒体１１５のテキスト記述２４９を有する他の媒体１１５の媒体特徴３１７の画像２５１、テキスト２５３、ビデオ２５５、および／または音声２５７と比較する。プロセッサ４０５は、媒体１１５の画像２５１、テキスト２５３、ビデオ２５５、および／または音声２５７とマッチする画像２５１、テキスト２５３、ビデオ２５５、および／または音声２５７を有する他の媒体１１５のテキスト記述２４９を適用してもよい。

プロセッサ４０５および／またはニューラルネットワーク４７５は、媒体１１５のために画像２５１を符号化してもよい（７２７）。プロセッサ４０５および／またはニューラルネットワーク４７５は、他の媒体１１５の媒体評価基準３５３、媒体カテゴリ２４７、テキスト記述２４９、テキスト２５３、ビデオ２５５、および／または音声２５７を媒体１１５の媒体評価基準２５３、媒体カテゴリ２４７、テキスト記述２４９、テキスト２５３、ビデオ２５５、および／または音声２５７と比較してもよい。プロセッサ４０５および／またはニューラルネットワーク４７５は、媒体１１５の媒体評価基準３５３、媒体カテゴリ２４７、テキスト記述２４９、テキスト２５３、ビデオ２５５、および／または音声２５７に最も良くマッチする媒体評価基準３５３、媒体カテゴリ２４７、テキスト記述２４９、テキスト２５３、ビデオ２５５、および／または音声２５７を有する他の媒体の画像２５１に基づいて、画像２５１を更に符号化してもよい（７２７）。

プロセッサ４０５および／またはニューラルネットワーク４７５は、媒体１１５のためにテキスト２５３を符号化してもよい（７２９）。ニューラルネットワーク４７５は、ビデオ２５５および／または音声２５７から学習された埋め込みを生成してもよい。テキスト２５３は、学習された埋め込みに基づいていてもよい。

プロセッサ４０５および／またはニューラルネットワーク４７５は、他の媒体１１５の媒体評価基準３５３、媒体カテゴリ２４７、テキスト記述２４９、画像２５１、ビデオ２５５、および／または音声２５７を媒体１１５の媒体評価基準２５３、媒体カテゴリ２４７、テキスト記述２４９、画像２５１、ビデオ２５５、および／または音声２５７と比較してもよい。プロセッサ４０５および／またはニューラルネットワーク４７５は、媒体１１５の媒体評価基準３５３、媒体カテゴリ２４７、テキスト記述２４９、画像２５１、ビデオ２５５、および／または音声２５７に最も良くマッチする媒体評価基準３５３、媒体カテゴリ２４７、テキスト記述２４９、画像２５１、ビデオ２５５、および／または音声２５７を有する他の媒体のテキスト２５３に基づいて、テキスト２５３を更に符号化してもよい（７２９）。

プロセッサ４０５および／またはニューラルネットワーク４７５は、媒体１１５のビデオ２５５を符号化し（７３１）、方法７２０を終了してもよい。１つの実施形態においては、ニューラルネットワーク４７５は、音声２５７から学習された埋め込みを生成してもよい。ビデオ２５５は、学習された埋め込みに基づいていてもよい。

１つの実施形態においては、プロセッサ４０５および／またはニューラルネットワーク４７５は、他の媒体１１５の媒体評価基準３５３、媒体カテゴリ２４７、テキスト記述２４９、画像２５１、テキスト２５３、ビデオ２５５、および／または音声２５７を媒体１１５の媒体評価基準２５３、媒体カテゴリ２４７、テキスト記述２４９、画像２５１、テキスト２５３、ビデオ２５５、および／または音声２５７と比較してもよい。プロセッサ４０５および／またはニューラルネットワーク４７５は、媒体１１５の媒体評価基準３５３、媒体カテゴリ２４７、テキスト記述２４９、画像２５１、テキスト２５３、および／または音声２５７に最も良くマッチする媒体評価基準３５３、媒体カテゴリ２４７、テキスト記述２４９、画像２５１、テキスト２５５、および／または音声２５７を有する他の媒体のビデオ２５５に基づいて、ビデオ２５５を更に符号化してもよい（７３１）。

図５Ｉは、媒体入札方法７５０の１つの実施形態を示すフローチャートである。当該方法７５０は、媒体入札１２３を生成してもよい。当該方法７５０は、プロセッサ４０５および／またはニューラルネットワーク４７５によって実行されてもよい。

方法７５０が開始されると、プロセッサ４０５は、消費スケジュール下にある標的媒体１１５を受け取る。例えば、標的媒体１１５は、ユーザーが視聴する可能性のあるビデオ媒体１１５であってもよい。プロセッサ４０５は、標的媒体１１５から媒体特徴３１７を更に抽出してもよい（７５３）。媒体特徴３１７は、図５Ｈに記載される方法で抽出されてもよい（７５３）。

プロセッサ４０５は、標的媒体１１５のために、コンセプト予測３０９を更に予測する（７５５）。１つの実施形態においては、プロセッサ４０５は、標的媒体１１５の媒体特徴３１７をレビューモデル１０５に適用する。プロセッサ４０５は、レビューモデル１０５からコンセプト予測３０９を更に受け取る。

プロセッサ４０５は、コンセプト予測３０９に基づいて、標的媒体１１５のために入札を計算する（７５７）。その結果、プロセッサ４０５は、広告主のブランド品の意図を満足させる標的媒体１１５のために、より高い入札値を付けることができ、入札の計算が向上する。

本出願の実施形態は、大規模なレビュワー２０９が大規模なレビュワー媒体セット１１４を評価できるようにするレビュージョブ３０１の生成および有効化を自動化するので、レビューモデル１０５を訓練するのに十分な規模のレビュー３５０を生成できる。レビューモデル１０５は、エキスパートコンセプト予測３１３に良くマッチするコンセプト予測３０９を作成するので、媒体コーパス１０１からの大量の媒体１１５が、コンピュータ４００によって効率的かつ正確に評価でき、従って、コンピュータ４００の効率が改善される。

本出願の実施形態は、他の特定の形態で実施されてもよい。本明細書記載の実施形態は、あらゆる面において例示的に過ぎず、限定的ではないものとして考えられるべきである。従って、本発明の範囲は、むしろ前述の記述よりも添付の特許請求項により示されるものである。特許請求項と等価の意味および範囲に収まるあらゆる変更が、特許請求項の範囲に含まれるべきである。

Claims (20)

1. プロセッサにより実行される方法であって、
   プロセッサが、媒体コーパスのサブセットであるエキスパート媒体セットのために、少なくとも１つのレビュー質問と、対応するエキスパートコンセプト予測とを有するレビュージョブを生成する工程と、
   プロセッサが、前記エキスパート媒体セットのために、前記レビュージョブを用いて複数のレビュアーから媒体レビューを生成する工程と、
   プロセッサが、前記媒体レビューの媒体のために、媒体特徴を抽出する工程と、
   プロセッサが、前記媒体レビューと対応する媒体特徴とを用いて、レビューモデルを訓練する工程と、
   プロセッサが、前記レビューモデルを用いて、前記媒体コーパスの媒体のために前記コンセプト予測を生成する工程と、
   プロセッサが、媒体セットのために、前記予測されたコンセプト予測に基づいて媒体を選択する工程と、
   を有するものである方法。
2. 請求項１記載の方法において、前記レビュージョブを生成する工程は、
   プロセッサが、前記エキスパート媒体セットの媒体をエキスパートに提供する工程と、
   エキスパートコンセプト予測を捕捉する工程と、
   プロセッサが、前記エキスパートコンセプト予測のために、選好フォーマットを標準化する工程と、
   プロセッサが、複数のエキスパートコンセプト予測に基づいて、前記レビュージョブを設計する工程と、
   を有するものである方法。
3. 請求項２記載の方法において、前記レビュージョブを生成する工程は、
   プロセッサが、前記レビュージョブを複数のレビュアーへ提供する工程と、
   プロセッサが、一致閾値が、前記レビュアーから受け取ったコンセプト予測を満たしているか否かを決定する工程と
   プロセッサが、前記一致閾値が満たされていないことに応答して、前記レビュージョブを再設計する工程と、
   を更に有するものである方法。
4. 請求項１記載の方法において、前記媒体レビューを生成する工程は、
   プロセッサが、前記レビュージョブを前記複数のレビュアーへ提供する工程と、
   プロセッサが、前記複数のレビュアーから、前記レビュージョブのレビュー質問に対するコンセプト予測を受け取る工程と、
   プロセッサが、前記コンセプト予測が正確度閾値を満たしているか否かを決定する工程と、
   プロセッサが、前記正確度閾値が満たされていることに応答して、前記媒体レビューを記録する工程であって、各媒体レビューはコンセンサスコンセプト予測を有するものである工程と、
   を有するものである方法。
5. 請求項４記載の方法において、前記媒体レビューを生成する工程は、
   プロセッサが、前記複数のレビュアーのために、前記正確度閾値が満足たされていないことに応答して、前記レビュージョブを再生成する工程と、
   プロセッサが、前記正確度閾値を満たしていないコンセプト予測を有するレビュアーを前記複数のレビュアーから除去する工程と、
   を更に有するものである方法。
6. 請求項４記載の方法において、前記媒体レビューを生成する工程は、プロセッサが、前記複数のレビュアーからの、前記エキスパート媒体セットのための前記レビュージョブへの応答に基づいて、複数のレビュアーを特定する工程を更に有するものである方法。
7. 請求項１記載の方法において、
   前記レビューモデルを訓練する工程は、
   プロセッサが、媒体から媒体特徴を抽出する工程と、
   プロセッサが、前記レビューモデルのために、モデルパラメータを修正する工程と、
   プロセッサが、前記修正されたモデルパラメータに基づいて、所定のレビューモデルを訓練する工程と、
   プロセッサが、前記所定のレビューモデルを現在のレビューモデルと比較する工程と、
   改善に応答して、前記所定のレビューモデルを前記現在のレビューモデルとして選択する工程と、
   を有するものである方法。
8. 請求項１記載の方法において、
   プロセッサが、前記媒体を提供するために、制約最適化の計算を行う工程を更に有するものである方法。
9. 請求項８記載の方法において、前記制約最適化の計算を行う工程は、
   プロセッサが、前記媒体を提供するために、予算要求事項を規定する工程と、
   プロセッサが、前記媒体を提供するために、目的関数を規定する工程と、
   プロセッサが、配置数と前記予算要求事項からの望ましい支出と
   を含む制約を規定する工程と、
   プロセッサが、前記制約最適化を計算する工程と、
   を有するものである方法。
10. 請求項１記載の方法において、プロセッサが、前記選択された媒体をプロモーションに提供する工程を更に有するものである方法。
11. 請求項１記載の方法において、
    プロセッサが、標的媒体を受け取る工程と、
    プロセッサが、前記標的媒体のために、前記コンセプト予測を予測する工程と、
    プロセッサが、前記コンセプト予測に基づいて、前記標的媒体のための入札を計算する工程と、
    を更に有するものである方法。
12. 請求項１記載の方法において、
    プロセッサが、ランダム戦略、アクティブ学習戦略、および標的戦略から成る群から媒体ソーシング戦略を選択する工程であって、前記ランダム戦略は媒体をランダムに選択し、前記アクティブ学習戦略は、前記コンセプト予測とレビュアーへ向けられた双方向的質問とに基づいて媒体を選択し、前記標的戦略は媒体評価基準に基づいて媒体を選択するものである工程と、
    プロセッサが、前記媒体ソーシング戦略を用いて選択される媒体を有する前記レビューモデルを保持する工程と、
    を更に有するものである方法。
13. 請求項１記載の方法において、
    前記媒体特徴を抽出する工程は、
    プロセッサが、媒体のために媒体評価基準を受け取る工程と、
    プロセッサが、前記媒体のために媒体カテゴリを符号化する工程と、
    プロセッサが、前記媒体のためにテキスト記述を符号化する工程と、
    プロセッサが、前記媒体のための画像を符号化する工程と、
    プロセッサが、前記媒体の音声からテキストを符号化する工程と、
    プロセッサが、前記媒体のビデオを符号化する工程と、
    を有するものである方法。
14. 機器であって、
    プロセッサと、
    前記プロセッサによって実行可能なコードを記憶するメモリと有し、
    プロセッサが、媒体コーパスのサブセットであるエキスパート媒体セットのために、少なくとも１つのレビュー質問と、対応するエキスパートコンセプト予測とを有するレビュージョブを生成する工程と、
    プロセッサが、前記エキスパート媒体セットのために、前記レビュージョブを用いて複数のレビュアーから媒体レビューを生成する工程と、
    プロセッサが、前記媒体レビューの媒体のために、媒体特徴を抽出する工程と、
    プロセッサが、前記媒体レビューと対応する媒体特徴とを用いて、レビューモデルを訓練する工程と、
    プロセッサが、前記レビューモデルを用いて、前記媒体コーパスの媒体のために前記コンセプト予測を生成する工程と、
    プロセッサが、媒体セットのために、前記予測されたコンセプト予測に基づいて媒体を選択する工程と、
    を実行するものである機器。
15. 請求項１４記載の機器において、
    前記レビュージョブを生成する工程は、
    プロセッサが、前記エキスパート媒体セットの媒体をエキスパートに提供する工程と、
    プロセッサが、エキスパートコンセプト予測を捕捉する工程と、
    プロセッサが、 前記エキスパートコンセプト予測のために、選好フォーマットを標準化する工程と、
    プロセッサが、複数のエキスパートコンセプト予測に基づいて、前記レビュージョブを設計する工程と、
    を有するものである機器。
16. 請求項１５記載の機器において、
    前記レビュージョブを生成する工程は、
    プロセッサが、前記レビュージョブを複数のレビュアーへ提供する工程と、
    プロセッサが、一致閾値が、前記レビュアーから受け取ったコンセプト予測を満たしているか否かを決定する工程と
    プロセッサが、前記一致閾値が満たされていないことに応答して、前記レビュージョブを再設計する工程と、
    を更に有するものである機器。
17. 請求項１４記載の機器において、
    前記媒体レビューを生成する工程は、
    プロセッサが、前記レビュージョブを前記複数のレビュアーへ提供する工程と、
    プロセッサが、前記複数のレビュアーから、前記レビュージョブのレビュー質問のために、コンセプト予測を受け取る工程と、
    プロセッサが、前記コンセプト予測が正確度閾値を満たしているか否かを決定する工程と、
    プロセッサが、前記正確度閾値が満たされていることに応答して、前記媒体レビューを記録する工程であって、各媒体レビューはコンセンサスコンセプト予測を有するものである工程と、
    を有するものである機器。
18. 請求項１７記載の機器において、
    前記媒体レビューを生成する工程は、
    プロセッサが、前記複数のレビュアーのために、前記正確度閾値が満足たされていないことに応答して、前記レビュージョブを再生成する工程と、
    プロセッサが、前記正確度閾値を満たしていないコンセプト予測を有するレビュアーを前記複数のレビュアーから除去する工程と、
    を更に有するものである機器。
19. 請求項１７記載の機器において、前記媒体レビューを生成する工程は、プロセッサが、前記複数のレビュアーからの、前記エキスパート媒体セットのための前記レビュージョブへの応答に基づいて、複数のレビュアーを特定する工程を更に有するものである機器。
20. プログラムであって、プロセッサに以下の工程：
    媒体コーパスのサブセットであるエキスパート媒体セットのために、少なくとも１つのレビュー質問と、対応するエキスパートコンセプト予測とを有するレビュージョブを生成する工程と、
    前記エキスパート媒体セットのために、前記レビュージョブを用いて複数のレビュアーから媒体レビューを生成する工程と、
    前記媒体レビューの媒体のために、媒体特徴を抽出する工程と、
    前記媒体レビューと対応する媒体特徴とを用いて、レビューモデルを訓練する工程と、
    前記レビューモデルを用いて、前記媒体コーパスの媒体のために前記コンセプト予測を生成する工程と、
    媒体セットのために、前記予測されたコンセプト予測に基づいて媒体を選択する工程と、
    を実行させるものであるプログラム。

Images