JP6662119B2 - ソーシャルメディア投稿のキャプションを生成する方法、プログラム及びサーバ装置 - Google Patents

Description

本発明は、ソーシャルメディア投稿のキャプションを生成する方法、プログラム及びサーバ装置に関する。

ソーシャルメディアネットワークの関連技術において、画像及びビデオの投稿はとても一般的であり、フォト中心ソーシャルメディアの増加を推進している。このようなネットワークの関連技術において、キャプションは画像及びビデオの投稿の重要な要素であり、キャプションによって投稿される画像及びビデオの背後にあるストーリーが伝達される。さらに、キャプションは、視聴者との関係を増強する。したがって、キャプションはキャンペーンもしくは広告にとっても重要である。

米国特許第８６５５８８９号

エーカー（Aker）ら、「相関パターン依存を用いた画像記述の生成（Generating Image Descriptions Using Dependency Relational Patterns）」、コンピュータ言語学に関する第４８回年次会議抄録（Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics）、スウェーデン、２０１０年７月１１日〜１６日、頁１２５０〜１２５８ ブレイ（Blei）ら、「ＬＤＡ（Latent Dirichlet Allocation）、機械学習研究ジャーナル（Journal of Machine Learning Research）、２００３年、頁９９３〜１０２２

本発明は、ソーシャルメディアへの投稿に画像もしくはビデオから取得されるユーザのアクティビティを考慮したキャプションを自動的に生成することを可能とすることを目的とする。

第１の態様は、ソーシャルメディア投稿のキャプションを生成する方法であって、コンピュータが、ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、推定した前記潜在的トピックに基づいて言語モデルと関連付けられているパラメータを設定し、識別した前記言語モデル及び推定した前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のキャプションを少なくとも１つ生成する。

第２の態様は、第１の態様の方法であって、収集した複数のソーシャルメディア投稿に関連付けられている参照データ及び収集した複数の前記ソーシャルメディア投稿に関連付けられているキャプションに基づいてトピック推定モデルを生成する、
ことをさらに含む。

第３の態様は、第２の態様の方法であって、前記トピック推定モデルを生成することは、収集した複数の前記ソーシャルメディア投稿に関連付けられている前記参照データ及び前記キャプションを収集し、関連付けられている前記参照データに基づいて、一つもしくは複数の位置カテゴリに収集した複数の前記ソーシャルメディア投稿を分類し、前記ソーシャルメディア投稿に関連付けられている前記キャプションから潜在的トピックを抽出し、収集した複数の前記ソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出した前記潜在的トピックとを関連付ける、ことを含む。

第４の態様は、第１〜第３の何れかの態様の方法であって、前記ソーシャルメディア投稿を生成した前記キャプションと共にソーシャルメディアネットワークに伝送する、ことをさらに含む。

第５の態様は、第１〜第４の何れかの態様の方法であって、前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、ユーザに少なくとも１つの生成した前記キャプションを伝送し、生成した少なくとも１つの前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する。

第６の態様は、第５の態様の方法であって、生成した少なくとも１つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、前記ユーザに追加的な参照データのリクエストを伝送し、識別した前記言語モデル、推定した前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿の第２キャプションを生成する、ことをさらに含む。

第７の態様は、第１〜第６の何れかの態様の方法であって、前記ソーシャルメディア投稿に関連付けられている収集した前記参照データは、一つもしくは複数の位置での一般的なユーザアクティビティに関連する記述テキスト、一つもしくは複数の位置カテゴリでの一般的なユーザアクティビティに関連する記述テキスト、位置記述、位置カテゴリ記述、の一つもしくは複数を含む。

第８の態様は、ソーシャルメディア投稿のためのキャプションを生成する処理をコンピュータに実行させるためのプログラムであって、ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、前記ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、推定した前記潜在的トピックに基づいて、言語モデルと関連付けられているパラメータを設定し、識別した前記言語モデル及び推定した前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のキャプションを少なくとも１つ生成する、ことを含む。

第９の態様は、第８の態様のプログラムであって、前記処理は、収集した複数の前記ソーシャルメディア投稿に関連付けられている参照データ及び収集した複数の前記ソーシャルメディア投稿に関連付けられているキャプションに基づいて、前記トピック推定モデルを生成する、ことをさらに含む。

第１０の態様は、第９の態様のプログラムであって、前記トピック推定モデルを生成することは、収集した複数の前記ソーシャルメディア投稿と関連付けられている参照データ及びキャプションを収集し、関連付けられている前記参照データに基づいて、収集した複数の前記ソーシャルメディア投稿を一つもしくは複数の位置カテゴリに分類し、前記ソーシャルメディア投稿と関連付けられている前記キャプションから潜在的トピックを抽出し、収集した複数のソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出した前記潜在的トピックとを関連付ける、ことを含む。

第１１の態様は、第８〜第１０の態様のプログラムであって、前記処理は、前記ソーシャルメディア投稿を、生成した少なくとも１つのキャプションと共に、ソーシャルメディアネットワークに伝送する、ことをさらに含む。

第１２の態様は、第８〜第１１の何れかの態様のプログラムであって、前記処理は、前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、生成した少なくとも１つの前記キャプションを、ユーザに伝送し、生成した前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する、ことをさらに含む。

第１３の態様は、第１２の態様のプログラムであって、前記処理は、生成した少なくとも１つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、前記ユーザに追加的な参照データのリクエストを伝送し、識別した前記言語モデル、推定した前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿のための第２キャプションを生成する、ことをさらに含む。

第１４の態様は、第８〜第１３の何れかの態様のプログラムであって、前記ソーシャルメディア投稿に関連付けられている収集した前記参照データは、一つもしくは複数の位置に一般的なユーザアクティビティに関連するテキスト記述、一つもしくは複数の位置カテゴリに一般的なユーザアクティビティに関連するテキスト記述、位置記述及び位置カテゴリ記述、の一つもしくは複数を含む。

第１５の態様は、ソーシャルメディア投稿のためのキャプションを生成するサーバ装置であって、メモリと、プロセッサと、を含むサーバ装置である。前記プロセッサは、ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、前記ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、推定した前記潜在的トピックに基づいて、言語モデルと関連付けられているパラメータを設定し、識別された前記言語モデル及び推定された前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のためのキャプションを少なくとも１つ生成する。

第１６の態様は、第１５の態様のサーバ装置であって、前記プロセッサは、さらに、収集した複数の前記ソーシャルメディア投稿と関連付けられている前記キャプション及び前記参照データを収集し、関連付けられている前記参照データに基づいて、収集した複数の前記ソーシャルメディア投稿を一つもしくは複数の位置カテゴリに分類し、前記ソーシャルメディア投稿に関連付けられている前記キャプションから潜在的トピックを抽出し、収集した複数の前記ソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出したトピックとを関連付ける、ことにより、収集した複数の前記ソーシャルメディア投稿と関連付けられているキャプション及び参照データに基づいて、前記トピック推定モデルを生成する。

第１７の態様は、第１５または第１６の態様のサーバ装置であって、前記プロセッサは、さらに、生成した少なくとも１つの前記キャプションと共に、前記ソーシャルメディア投稿を前記ソーシャルメディアネットワークに伝送する。

第１８の態様は、第１５〜第１７の何れかの態様のサーバ装置であって、前記プロセッサは、さらに、前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、生成した少なくとも１つの前記キャプションをユーザに伝送し、生成した少なくとも１つの前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する。

第１９の態様は、第１８の態様のサーバ装置であって、前記プロセッサは、さらに、生成した少なくとも１つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、追加的な参照データのリクエストを前記ユーザに伝送し、識別された前記言語モデル、推定された前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿の第２キャプションを生成する。

第２０の態様は、第１５〜第１９の何れかの態様のサーバ装置であって、前記ソーシャルメディア投稿と関連付けられている収集した前記参照データは、一つもしくは複数の位置に共通なユーザアクティビティに関連するテキスト記述、一つもしくは複数の位置カテゴリに共通なユーザアクティビティに関連するテキスト記述、位置記述及び位置カテゴリ記述の一つもしくは複数を含む。

本発明によれば、ソーシャルメディアへの投稿に画像もしくはビデオから取得されるユーザのアクティビティを考慮したキャプションを自動的に生成できる。

本発明の例示的な実装によって使用可能なソーシャルメディア環境を例示する。 本発明の例示的な実装で使用されるカテゴリツリーの例示的な実施形態を例示する。 本発明の例示的な実装で使用されるカテゴリツリーの例示的な実施形態を例示する。 本発明の例示的な実装によるソーシャルメディア投稿の自動キャプション付加を提供するプロセスのフローチャートを例示する。 本願の例示的な実装によるトピック推定モデルを生成するプロセスのフローチャートを例示する。 ベースラインと比較した一般的トピック及びビジネスアウェアを用いた相対的な改善を示すグラフを例示する。 例示的な実装のいくつかにおける使用に適した例示的なコンピュータデバイスを含む計算処理環境を例示する。

以下の詳細な記載は、図面の説明及び本発明の例示的な実装を含む。記載を明瞭にするため、複数の図面にわたる冗長な構成要素の参照符号及び説明は省略する。説明全体にわたって使用する用語は例示であり、限定を意図していない。例えば、用語「自動」は全自動もしくは半自動の実装を含むことが可能であり、実装のある態様にわたるユーザもしくはオペレータの制御を含み、本発明の実装を実用化する所望される実装に依存する。

ビジネスアウェアの潜在的トピックはキャプション生成の新規なコンテキストキーを提供する。同様のカテゴリのビジネスから画像を投稿した人々の一般的なアクティビティを分析することによって、同一のカテゴリのビジネスに共通するトピックのコンテキストキーが新しい投稿のために識別され得る。即ち、同様のカテゴリにおいて、ビジネスで使用される一般的なアクティビティもしくはキャプションのコンテンツを分析することで、新しい投稿でキャプションに適切なコンテンツを識別し得る。例えば、カテゴリ「ファストフード」のビジネスで投稿された画像を分析することで、これらの投稿に共通して使用されるトピックで高い確率で現れる単語として「バーガ」を識別し得る。「バーガ」を含むトピックは、次に、キャプションを生成するために使用され得る。このようなビジネスアウェアの潜在的トピックを用いることで、画像キャプションモデルはビジネスアクティビティをよりよく反映する文章を生成することができる。画像キャプションモデルのビジネスアウェア潜在トピックの使用については、図２〜図５を用いて以下で詳細に説明する。

図１は、本発明の例示的な実装で使用することができるソーシャルメディア環境１００を例示する。例示的な実装のいくつかにおいて、ソーシャルメディア環境１００は画像もしくはビデオを投稿するソーシャルメディア環境であってよい。例えば、画像もしくはビデオを投稿するソーシャルメディア環境は、YouTube（登録商標）、Pinterest、Flickr、Instagramもしくは他の画像もしくはビデオを投稿するプラットフォームを含む。しかしながら、ソーシャルメディア環境１００の例示的な実装は、画像もしくはビデオを投稿するソーシャルメディア環境に限定されず、任意のソーシャルメディア環境であってよい。例示的なソーシャルメディア環境１００は、例えば、ネットワーク１０５を介して（例えば、有線及び／もしくは無線接続で）相互に通信可能に接続された複数のデバイス１１０〜１３５を含む。

デバイス１１０〜１３５は、コンピュータ１１５（例えば、ラップトップ計算処理デバイス）、モバイルデバイス１１０、１３０（例えば、スマートフォンもしくはタブレット）、テレビ１２５、乗り物に関連付けられているデバイス１２０、ウェアラブルデバイス１３３（例えば、スマートウォッチ）及びサーバコンピュータ１３５、などを含むことができる。デバイス１１０〜１３５は、図７に例示するような計算処理環境を有していてもよい。

例示的な実装のいくつかにおいて、一つもしくは複数のデバイス１１０〜１３５はユーザに関連付けられていてもよい（例えば、デバイス１１０は、ユーザ１５０が使用することで、ソーシャルメディア投稿１４０のドラフトを作成し、ソーシャルメディア投稿１４０を編集し、アップロードし、送信してもよい。）。例えば、ユーザ１５０に関連付けられているデバイス１１０は、ネットワーク１０５を介して、ソーシャルメディア投稿１４０を、ソーシャルメディア環境１００に送信し、他のユーザに関連付けられている他のデバイス１１５〜１３５から受信してもよい。同様に、ユーザ１６０に関連付けられているデバイス１１５は、ソーシャルメディア環境１００に（図１に図示しない）ソーシャルメディア投稿を送信し、他のデバイス１１０、１２０、１２５、１３０、１３３、１３５に送信したソーシャルメディア投稿を配信してもらってもよい。さらに、ユーザ１６５に関連付けられているデバイス１３０はソーシャルメディア環境１００に（図１に図示しない）ソーシャルメディア投稿を送信し、他のデバイス１１０、１１５、１２０、１２５、１３３、１３５に配信してもらってもよい。

また、他のデバイス１１５〜１３５は、好みで、ソーシャルメディア投稿１４０に対する応答１４５を（破線で示されるように）送信するために使用されてもよい。本発明の例示的な実装において、少なくとも１つのデバイス１３５は、ユーザ１５０によるソーシャルメディア投稿１４０を分析し、位置カテゴリ（及び／もしくはビジネスカテゴリ）及びソーシャルメディア投稿１４０に関連付けられているキャプションコンテンツを検出し、位置カテゴリ（及び／もしくはビジネスカテゴリ）に関連付けられている潜在的トピックを識別してもよい。また、プロセッサ１５５は、カテゴリツリーを生成し、カテゴリツリーにおいて位置カテゴリ（及び／もしくはビジネスカテゴリ）と潜在的トピックとを関連付けてもよい。カテゴリツリーの例示的な実装を図２及び図３で例示する。生成したカテゴリツリーを用いて、プロセッサ１５５は、識別された潜在的トピックに基づいてキャプションを示唆し、図４及び図５で説明するプロセスを用いて、ユーザ１５０が購入する確率を判定する。この分析、検出及び生成は、デバイス１３５に接続され、関連付けられ、もしくは、統合されたプロセッサ１５５によって実行されてもよい。

図２及び図３は、本発明の例示的な実装に用いられるカテゴリツリーの例示的な実施形態を示す。図２は、ブロック２０５によって示されるように、「フード」の一般的なカテゴリに関連するように分類されたビジネスのカテゴリツリー２００を例示する。図２で例示されたカテゴリツリー２００の例示的な実装は、複数のソーシャルメディア投稿に関連付けられている位置のビジネスカテゴリを分析することによって生成されてもよいし、手動で生成されてもよい。ビジネスカテゴリと潜在的トピックとを関連付け、関連付けた潜在的トピックを使用するプロセスの例については、図４及び図５で詳細に説明する。

図２に例示するように、「フード」の一般的なカテゴリは、複数のサブカテゴリ及びサブサブカテゴリに分割され、複数のレベル（２０１、２０２、２０３）に配置される。説明を容易にするために、レベル１（２０１）のサブカテゴリをサブカテゴリと呼ぶ。また、レベル２（２０２）のサブカテゴリをサブサブカテゴリと呼び、レベル３（２０３）のサブカテゴリをサブサブサブカテゴリと呼ぶ。しかしながら、これらの用語（サブカテゴリ、サブサブカテゴリ、サブサブサブカテゴリ）はレベルを３に限定することを意図していない。一般的なカテゴリは３より多いレベルに分割されてもよいし、３より少ないレベルに分割されてもよい。

例示されるように、カテゴリ「フード」は、レベル１（２０１）で、ブロック２１０ａ（「アフリカンレストラン」）、２１０ｂ（「アジアンレストラン」）、２１０ｃ（「カフェテリア」）で表される複数のサブカテゴリに分割されている。（ブロック２１０ｎで表される）追加的なサブカテゴリも、一般的なカテゴリ「フード」の下に展開される。

また、サブカテゴリ２１０ａ、２１０ｂ、２１０ｃ、…、２１０ｎは、サブカテゴリブロックの下のレベル２（２０２）のサブサブカテゴリ２１５ａ、２１５ｂ、２１５ｃに分割される。例えば、サブカテゴリ２１０ａ（「アフリカンレストラン」）はサブサブカテゴリ２１５ａ（「エチオピアンレストラン」）に分割され得る。他のサブサブカテゴリ２１５ｍ（「サブサブカテゴリｍ」）がサブカテゴリ２１０ａの下にあってもよい。

同様に、サブカテゴリ２１０ｂ（「アジアンレストラン」）はサブサブカテゴリ２１５ｂ（「ジャパニーズレストラン」）及びサブサブカテゴリ２１５ｃ（「タイレストラン」）に分割されてもよい。他のサブサブカテゴリ２１５ｎもサブカテゴリ２１０ｂの下にあってもよい。図２には例示しないが、他のサブサブカテゴリが他のサブカテゴリ２１０ｃ〜２１０ｎの下にあってもよい。また、このように拡張することで、カテゴリツリー２００（もしくは他のモデル）では、同じ親カテゴリの下にある他の類似のビジネスタイプの間の関連を利用することが可能となる。例えば、サブサブカテゴリ２１５ｂ（「ジャパニーズレストラン」）に関する情報は、サブサブカテゴリ２１５ｃ（「タイレストラン」）と共有されてもよい。サブサブカテゴリ２１５ｂ（「ジャパニーズレストラン」）とサブサブカテゴリ２１５ｃ（「タイレストラン」）とは同一の親サブカテゴリ（即ち、サブカテゴリ２１０ｂ「アジアンレストラン」）を共有しているからである。

また、サブサブカテゴリ２１５ａ、…、２１５ｍ、２１５ｂ、２１５ｃ、…、２１５ｎは、レベル３（２０３）で、サブサブサブカテゴリ２２０ａ、２２０ｂ、２２０ｎに分割されてもよい。例えば、サブサブカテゴリ２１５ｂ（「ジャパニーズレストラン」）は、サブサブサブカテゴリ２２０ａ（「ラーメン屋」）及びサブサブサブカテゴリ２２０ｂ（「うどん屋」）に分割されてもよい。他のサブサブサブカテゴリ２２０ｘ（「サブサブサブカテゴリｘ」）がサブサブカテゴリ２１５ｎの下にあってもよい。図２には例示しないが、他のサブサブサブカテゴリが、他のサブサブカテゴリ２１５ａ、…、２１５ｍ、２１５ｃ、…、２１５ｎの下にあってもよい。

様々な用語が、カテゴリの各々（もしくは、カテゴリツリー２００のカテゴリの下のサブカテゴリ、サブサブカテゴリ、サブサブサブカテゴリ）に分類された位置と関連付けられたソーシャルメディア投稿で使用されているキャプションの用語に基づいて、（一般カテゴリ、サブカテゴリ、サブサブカテゴリ、サブサブサブカテゴリを含む）カテゴリの各々と関連付けられていてもよい。例えば、サブサブサブカテゴリ２２０ａ（「ラーメン屋」）及び２２０ｂ（「うどん屋」）に関連付けられているキャプションの用語は、サブサブカテゴリ２１５ｂ（「ジャパニーズレストラン」）と関連付けられてもよい。これらの用語はサブサブカテゴリ２１５ｂ（「ジャパニーズレストラン」）の範囲内の位置で取得されたソーシャルメディア投稿のキャプションで使用されるからである。追加的な用語がカテゴリの各々（カテゴリツリー２００のカテゴリの下のサブカテゴリ、サブサブカテゴリ、サブサブサブカテゴリ）と関連付けられてもよい。ある用語は複数のサブサブカテゴリに関連付けられてもよい。異なる位置で取得された画像もしくはビデオと関連付けられているキャプションで使用されている用語は、異なるカテゴリに入るからである。

キャプションの用語及びカテゴリツリー２００の関連付けられているカテゴリは、次に、潜在的トピックベース予測モデルを教育するために使用されてもよい。潜在的トピックは用語セットであってよく、用語の各々は用語がトピックに関連する度合いを示す確率を有する。潜在的トピックと位置もしくはビジネスのカテゴリ（例えば、位置カテゴリもしくはビジネスカテゴリ）とを関連付けることで、潜在的トピックモデルは、関連付けられている位置もしくはビジネスカテゴリの位置もしくはビジネスでのユーザの共通する振る舞いをよりよく示すことができる。教育されると、潜在的トピックモデルは、次に、潜在的トピックの各々の用語及び任意の参照テキストの単語の分類に基づいて、潜在的トピックの分類を生成するために使用される。ソーシャルメディア投稿の参照テキストによって生成された潜在的トピックは、次に、ソーシャルメディア投稿のキャプションを予測するために使用されてもよい。

図２は、４つの「レベル」の区別（即ち、一般カテゴリ（例えば、「フード」）、サブカテゴリ（例えば、「アジアンレストラン」）、サブサブカテゴリ（例えば、「ジャパニーズレストラン」）、サブサブサブカテゴリ（例えば、「ラーメン屋」））を例示しているが、図３に例示するカテゴリツリー３００はより多くのレベルの区別を有していてもよいし、より少ないレベルの区別を有していてもよい。図３は、ブロック３０５に示されるように、一般カテゴリ「アウトドア＆レクリエーション」に関連して分類されたビジネスのカテゴリツリー３００を例示する。上記したように、図３に例示されたカテゴリツリー３００は、ソーシャルメディア投稿に関連付けられた位置カテゴリを分析することで生成されてもよいし、手動で生成されてもよい。位置カテゴリと潜在的トピックとを関連付け、関連付けた潜在的トピックを使用するプロセスの例について、図４及び図５を用いて説明する。

図３に例示するように、一般カテゴリ「アウトドア＆レクリエーション」は、複数のレベル（３０１、３０２）に配置される複数のサブカテゴリに分割されてもよい。説明を容易にするために、レベル１（３０１）のサブカテゴリをサブカテゴリと呼ぶ。また、レベル２（３０２）のサブカテゴリをサブサブカテゴリと呼ぶ。しかしながら、これらの用語（サブカテゴリ及びサブサブカテゴリ）は、レベルの数を２に限定することを意図しない。一般カテゴリは、２レベルよりも多いレベルに分割されてもよいし、少ないレベルに分割されてもよい。

例示するように、カテゴリ「アウトドア＆レクリエーション」は、ブロック３１０ａ（「湖」）及び３１０ｂ（「スキー」）によって表される複数のサブカテゴリに分割される。（ブロック３１０ｎで表される）追加のサブカテゴリも、一般カテゴリ「アウトドア＆レクリエーション」）の下にあってもよい。また、サブカテゴリ３１０ａ、３１０ｂ、…、３１０ｎの各々は、さらに、レベル２（３０２）にサブカテゴリブロック３１５ａ、３１５ｂで表されるサブサブカテゴリに分割されてもよい。例えば、サブカテゴリ３１０ｂ（「スキー」位置）は、サブサブカテゴリ３１５ａ（「スキーロッジ」）及びサブサブカテゴリ３１５ｂ（「スキートレイル」）に分割されてもよい。他のサブサブカテゴリ３１５ｎ（「サブサブカテゴリｎ）がサブカテゴリ３１０ｂの下にあってもよい。

カテゴリ（もしくは、カテゴリツリー３００のカテゴリの下のサブカテゴリ及び／もしくはサブサブカテゴリ）の各々に分類された位置に関連付けられているソーシャルメディア投稿で使用されているキャプションで使用されている用語に基づいて、（一般カテゴリ、サブカテゴリ、サブサブカテゴリを含む）カテゴリの各々と、様々な用語と、が関連付けられていてもよい。例えば、サブサブカテゴリ３１５ａ（「スキーロッジ」）及び３１５ｂ（「スキートレイル」）と関連付けられている用語は、カテゴリ３１０ｂ（「スキー」）と関連付けられていてもよい。これらの用語は、サブカテゴリ３１０ｂ（「スキー」）の範囲内の位置で取得されるソーシャルメディア投稿のキャプションで使用されているからである。追加的な用語が、カテゴリ（もしくは、カテゴリツリー３００のカテゴリの下のサブカテゴリ、サブサブカテゴリ、サブサブサブカテゴリ）の各々と関連付けられていてもよい。ある用語は、複数のサブサブカテゴリと関連付けられていてもよい。異なる位置で取得された画像もしくはビデオに関連付けられているキャプションで使用されている用語は、異なるカテゴリに入るからである。

カテゴリツリー３００のキャプションの用語及び関連付けられているカテゴリは、次に、潜在的トピックベース予測モデルを教育するために使用されてもよい。潜在的トピックは用語セットであってよく、用語の各々は用語がトピックに関連する度合いを示す確率を有する。潜在的トピックと位置もしくはビジネスのカテゴリ（例えば、位置カテゴリもしくはビジネスカテゴリ）とを関連付けることで、潜在的トピックモデルは、関連付けられている位置もしくはビジネスカテゴリの位置もしくはビジネスでのユーザの共通する振る舞いをよりよく示すことができる。教育されると、潜在的トピックモデルは、次に、潜在的トピックの各々の用語及び任意の参照テキストの単語の分類に基づいて、潜在的トピックの分類を生成するために使用される。ソーシャルメディア投稿の参照テキストによって生成された潜在的トピックは、次に、ソーシャルメディア投稿のキャプションを予測するために使用されてもよい。

図３は、３つの「レベル」の区別（即ち、一般カテゴリ（例えば、「アウトドア＆レクリエーション）、サブカテゴリ（例えば、「スキー」）及びサブサブカテゴリ（例えば、「スキーロッジ」））を例示しているが、カテゴリツリー３００はより多くのレベルの区別を有していてもよいし、より少ないレベルの区別を有していてもよい。

図４は、本発明の例示的な実装によるソーシャルメディア投稿の自動キャプション付加を行うプロセス４００の例示的なフローチャートを例示する。例示したプロセス４００は、（デバイス１３５などの）デバイスの（プロセッサ１５５などの）プロセッサによって使用され、ソーシャルメディア投稿のキャプションを生成してもよい。プロセス４００において、ソーシャルメディア投稿は４０５で受信される。ソーシャルメディア投稿は、画像、録音音声、録画ビデオ、テキスト列、ドキュメント、もしくは、ソーシャルネットワークで共有可能な他のタイプの電子データであってよい。ソーシャルメディア投稿は、電子メール、ＳＭＳ（ショートメッセージサービス）、インスタントメッセージ、アプリケーションアップロード、ブラウザアップロード、もしくは他のタイプのファイル伝送プロセスによって受信されてもよい。

ソーシャルメディア投稿が受信された後、４１５で、ソーシャルメディア投稿に関連付けられている位置カテゴリで一般的に発生するアクティビティを識別するために使用され得る参照データが、収集される。実装のいくつかにおいて、ソーシャルメディア投稿は、複数のカテゴリ（ベーカリ及びカフェの両方など）に属する位置と関連付けられていてもよい。例示的な実装のいくつかにおいて、参照データは、テキストまたは特定のカテゴリの位置で一般的に発生するアクティビティの記述的な説明であってよい。例えば、同じ位置カテゴリの位置で取得されたソーシャルメディア投稿のテキスト記述もしくはキャプションは、関連付けられている位置カテゴリで発生する一般的なアクティビティを識別するために使用するように収集されてもよい。同じ位置の他のタイプの参照データは、位置の記述及び位置カテゴリ記述の記述を含む。他のタイプの参照データは、ソーシャルメディア投稿に関連付けられている位置カテゴリで発生する一般的なアクティビティを識別するために使用されてもよい。これらの識別された一般的に発生するアクティビティは、以下で説明する潜在的なトピックモデルを用いて潜在的トピックを推定するために使用されてもよい。

例示的な実装のいくつかにおいて、ソーシャルメディア投稿に関連付けられている位置カテゴリは、ソーシャルメディア投稿が生成された条件（例えば、位置）を判定するために、ソーシャルメディア投稿と関連付けられているメタデータを分析することで、他から収集されてもよい。例えば、ソーシャルメディア投稿に関連付けられているメタデータを、収集し、分析することで、ビジネス位置カテゴリ、位置名、位置アドレス、ＧＰＳデータ、位置記述もしくは、ソーシャルメディア投稿が製作され、もしくは取得された位置と関連付けられている位置カテゴリを判定するために使用され得る他の情報の一つもしくは複数を識別する。例示的な実装のいくつかにおいて、参照データは、受信したソーシャルメディア投稿のタイプに基づいて変動してもよい。例えば、画像投稿は、テキストもしくはビデオ投稿とは異なる参照データを有していてもよい。

判定されたソーシャルメディア投稿が生成される条件に基づいて、ソーシャルメディア投稿に関連付けられている位置カテゴリの判定に関連する参照データは、既知位置と関連付けられているカテゴリのパブリックもしくはプライベートデータベースを参照して判定されてもよい。例えば、レストラン、ジム、ショッピングセンターなどに位置を分類するデータベースを使用して、ソーシャルメディア投稿と関連付けられている位置カテゴリを収集してもよい。

実装のいくつかにおいて、ソーシャルメディア投稿のコンテンツを分析することで、ソーシャルメディア投稿が生成された条件（例えば、位置）を判定してもよい。例えば、テキスト認識、音声認識、オブジェクト認識及び他の認識技術の一つもしくは複数を、ソーシャルメディア投稿が製作され、もしくは、取得された位置を識別するために、ソーシャルメディア投稿に適用してもよい。判定したソーシャルメディア投稿が生成された条件に基づいて、ソーシャルメディア投稿に関連付けられている位置カテゴリは、既知位置と関連付けられているカテゴリのパブリックもしくはプライベートデータベースを参照することで判定されてもよい。例えば、レストラン、ジム、ショッピングセンターなどに位置を分類するデータベースを使用して、ソーシャルメディア投稿に関連付けられている位置カテゴリを収集してもよい。

４０５で、ソーシャルメディア投稿を受信し、４１５で、参照データを収集すると共に、４１０で、潜在的トピックと位置カテゴリとを関連付けるトピック推定モデルを生成する。例示的な実装のいくつかにおいて、トピック推定モデルは、４０５でソーシャルメディア投稿を受信する前に生成されてもよい。他の例示的な実装において、トピック推定モデルは、４１５で参照データを収集した後に生成されてもよい。他の例示的な実装において、トピック推定モデルは、４０５でソーシャルメディア投稿が受信された後であって、４１５で参照データが収集される前に生成されてもよい。図５を用いて、４１０で推定モデルを生成するプロセスの例示的な実装を以下で詳細に説明する。

４１５で参照データが収集され、４１０でトピック推定モデルが生成された後、４２０で、収集した参照データに基づいて、キャプションを生成する際に使用するためにトピックを推定するために、トピック推定モデルを使用する。即ち、ソーシャルメディア投稿と関連付けられている位置カテゴリで一般的に発生するアクティビティを判定することに関連する参照データは、トピック推定モデルと組み合わせて使用され、トピック推定モデルは、位置もしくはビジネスカテゴリと、潜在的トピックとを関連付けることで、４２０で、ソーシャルメディア投稿と関連付けられ得る潜在的トピックを推定もしくは識別する。例えば、ソーシャルメディア投稿が「ファストフードレストラン」を示す位置情報と関連付けられていると判定される場合、「バーガ」、「フレンチフライ」、「ミルクシェーク」と関連するトピックが識別され得る。

４２０でトピックが推定された後、４２５で、キャプション生成に使用される言語モデルのパラメータを、推定されたトピックに基づいて設定する。パラメータは、潜在的トピックモデルを用いた参照テキストによって生成された潜在的トピックの分類によって表されてもよい。例えば、潜在的トピックモデルに２００個の潜在的トピックがあると仮定すると、参照データは、２００個の潜在的トピックの各々に異なる確率値を割り当てるために使用され得る。トピックのいくつかの確率値は、トピックに関連する度合いの高い用語が参照テキストに頻繁に現れる場合、高くなり得る。同様に、トピックのいくつかの確率値は、トピックに関連する度合いの高い用語が参照テキストに滅多に現れない場合、低くなり得る。参照テキストに基づいて判定された２００個の潜在的トピックの分類を、次に、言語モデルのコンテキストパラメータとして使用し、これにより、キャプションを生成する。

例示的な実装のいくつかにおいて、言語モデルは、あるトピックもしくは位置カテゴリに関連付けられている位置もしくは施設へのチェックインを含むソーシャルメディア投稿のキャプションを用いて教育されたニューラルネットワークであってよい。即ち、ニューラルネットワークは、様々なキャプショントピックを用いて、異なる位置カテゴリの位置で、ユーザによるチェックインから収集されたキャプションで教育されてもよい。ニューラルネットワークに提供されたキャプションに基づいて、ニューラルネットワークは、ビジネスカテゴリに依存して、ある単語もしくは句が前方に存在する、後方に存在する、もしくは、他の単語もしくは句に近接して存在する可能性を判定してもよい。

例えば、「ケチャップ」、「マヨ」、及び「ピクルス」などの単語が、「バーガ」、及び／もしくは「フレンチフライ」もしくは「ファストフード」位置カテゴリ投稿に関連する潜在的トピックに近接して使用されている確率が高いことを、ニューラルネットワークは、判定してもよい。反対に、「ケチャップ」、「マヨ」及び「ピクルス」などの単語が、「ラーメン」及び／もしくは「うどん」もしくは「アジアンフード」位置カテゴリ投稿に関連する潜在的トピックに近接して使用されている確率が低いことを、ニューラルネットワークは判定してもよい。

例示的な実装のいくつかにおいて、言語モデルは、次の単語表現の線形予測を行うことで、ニューラルネットワークに提供されるコンテキスト特徴に基づいて、単語シーケンスの確率を計算する、フィードフォワードニューラルネットワークであってよい。また、潜在的トピックが４２０で推定される場合、投稿によって教育された言語モデルは、キャプションを生成する際に使用するために推定された潜在的トピックに基づいてバイアスがかけられてもよい。

４３０で、識別された言語モデルを使用することで、位置カテゴリ及び推定されたトピックで発生する一般的なアクティビティを判定することに関連する参照データに基づいて、キャプションを生成する。例示的な実装のいくつかにおいて、位置カテゴリに関連付けられている推定されたトピックをニューラルネットワークに与えるコンテキスト特徴として使用することで、単語シーケンスの次の単語表現の確率を計算し、ソーシャルメディア投稿に関連付けられるべき潜在的キャプションを生成する。例示的な実装のいくつかにおいて、複数のキャプションをオプションで同時に（例えば、並行して）生成してもよい。

言語モデルによってキャプションを生成すると、４３５で、生成されたキャプションは、オプションで、投稿の前に承認を得るためにユーザに提出されてもよい。キャプションはＵＩ（ユーザインターフェイス）でユーザに表示されてもよいし、電子メール、ＳＭＳメッセージ、インスタントメッセージ、もしくは他の伝送機構で、ユーザに送信されてもよい。複数のキャプションが生成された場合、キャプションの全てが、オプションで、ユーザに提出されてもよく、ユーザは、どのキャプションを使用すべきか選択するオプションを提供されてもよい。例示的な実装のいくつかにおいて、プロセス４００は４３５の判定を省略して、以下で説明する４４０に直接進んでもよい。

ユーザがキャプションを承認しない場合（４３５：ＮＯ）、４５０で、追加的な参照データのリクエストをユーザに送信してもよい。リクエストはＵＩでユーザに表示されてもよいし、電子メール、ＳＭＳメッセージ、インスタントメッセージもしくは他の伝送機構で、ユーザに送信されてもよい。リクエストが伝送された後、プロセス４００は４３０に戻り、新しい（例えば、第２の）キャプションを生成してもよい。新しいキャプションの生成は、リクエストに応じて、ユーザから受信した任意の追加的な参照データを使用していてもよい。生成された新しいキャプションは、また、４３５で、投稿の前に承認を得るために、オプションで、ユーザに提出されてもよい。これらの処理は、以下で説明するように、ユーザがキャプションを承認するまで繰り返される。ここでは、複数のキャプションがシリーズで生成されてもよい。

ユーザがキャプションを承認すると（４３５−ＹＥＳ）、４４０で、キャプションはソーシャルメディア投稿と関連付けられてもよい。キャプションがソーシャルメディア投稿と関連付けられると、４４５で、キャプション及びソーシャルメディア投稿は双方とも、ソーシャルメディアネットワークに、オプションで、伝送されてもよい。例示的な実施例のいくつかにおいて、プロセス４００は、４４０で、キャプションがソーシャルメディア投稿と関連付けられた後終了し、ブロック４４５は省略されてもよい。

図５は、本発明の例示的な実装によるトピック推定モデルを生成するためのプロセス５００の例示的なフローチャートを示す。例示的なプロセス５００は、デバイス（例えば、デバイス１３５）のプロセッサ（例えば、プロセッサ１５５）によって使用され、プロセス４００のブロック４１０によってトピック推定モデルを生成してもよい。これにより、図４に例示するソーシャルメディア投稿のキャプションが生成される。プロセス５００の５０５で、複数のソーシャルメディア投稿を、ソーシャルメディアネットワークをクローリング（徘徊）することで収集する。ソーシャルメディアネットワークは、フォト共有ソーシャルメディアネットワーク、ビデオ共有ソーシャルメディアネットワーク、チェックインベースソーシャルメディアネットワーク、もしくは他のタイプのソーシャルメディアネットワークであってよい。収集されたソーシャルメディア投稿は、画像、録音音声、録画ビデオ、テキスト列、ドキュメント、もしくは、ソーシャルネットワークで共有される他のタイプの電子データであってよい。

複数のソーシャルメディア投稿がソーシャルメディアネットワークから収集された後、５１０で、参照データ及びソーシャルメディア投稿の各々と関連付けられたキャプションを収集する。参照データは、位置カテゴリを識別するために使用され、位置カテゴリの判定に関連する。例示的な実装のいくつかにおいて、参照データは、ソーシャルメディア投稿と関連付けられたメタデータを分析することで収集され、ソーシャルメディア投稿が生成された条件（例えば、位置）を判定してもよい。

例えば、ソーシャルメディア投稿と関連付けられたメタデータを収集し、分析することで、ビジネス位置カテゴリ、位置名、位置アドレス、ＧＰＳデータ、位置記述、もしくはソーシャルメディア投稿が製作され、もしくは取得された位置と関連付けられた位置を判定するために使用し得る他の情報の一つもしくは複数を識別してもよい。他の例示的な実装において、参照データは、ソーシャルメディア投稿が取得された位置に関連付けられた位置カテゴリを説明し、もしくは識別するテキストであってよい。例示的な実装のいくつかにおいて、参照データは、受信したソーシャルメディア投稿のタイプに基づいて変動してもよい。例えば、画像投稿は、テキストもしくはビデオ投稿とは異なる参照データを有していてもよい。

判定したソーシャルメディア投稿が生成された条件に基づいて、ソーシャルメディア投稿に関連付けられた位置カテゴリの判定に関連する参照データが、既知位置に関連付けられたカテゴリのパブリックもしくはプライベートデータベースを参照することで判定されてもよい。例えば、レストラン、ジム、ショッピングセンターなどに位置を分類するデータベースを使用して、ソーシャルメディア投稿の各々に関連付けられた位置を収集してもよい。

他の例示的な実装のいくつかにおいて、ソーシャルメディア投稿の各々のコンテンツを分析し、ソーシャルメディア投稿が生成された条件（例えば、位置）を判定してもよい。例えば、テキスト認識、音声認識、オブジェクト認識及び他の認識技術の一つもしくは複数をソーシャルメディア投稿に適用し、ソーシャルメディア投稿が製作され、もしくは取得された位置を識別してもよい。判定したソーシャルメディア投稿が生成された条件に基づいて、ソーシャルメディア投稿に関連付けられた位置カテゴリの判定に関連する参照データを、既知位置と関連付けられたカテゴリのパブリックもしくはプライベートデータベースを参照することで判定してもよい。例えば、レストラン、ジム、ショッピングセンターなどに位置を分類するデータベースを使用して、ソーシャルメディア投稿の各々に関連付けられた位置カテゴリを収集してもよい。

複数のソーシャルメディア投稿の各々に関連付けられた参照データ及びキャプションが収集されると、５１５で、ソーシャルメディア投稿及び関連するキャプションを、位置カテゴリの判定に関連する収集した参照データに基づいて、一つもしくは複数の位置カテゴリに分類する。図２及び図３は、ソーシャルメディア投稿の各々が分類される位置カテゴリを例示する。

ソーシャルメディア投稿を位置カテゴリに分類した後、５２０で、ソーシャルメディア投稿の各々と関連付けられたトピックをソーシャルメディア投稿と関連付けられたキャプションから推定してもよい。例えば、潜在的トピックモデルを使用して、ソーシャルメディア投稿と関連付けられたキャプションの各々の一つもしくは複数のトピックを推定してもよい。キャプションから推定されたトピックに基づいて、ソーシャルメディア投稿に関連付けられた潜在的トピックを潜在的トピックモデルを用いて推定してもよい。他のプロセスを使用して、キャプションの各々の潜在的トピックを推定してもよい。

潜在的トピックは、５２５で、ソーシャルメディア投稿の分類に基づいて、一つもしくは複数の位置カテゴリと関連付けられてもよい。図２及び図３はカテゴリツリーの例示的な実装を表し、カテゴリツリーは、５２５で、一つもしくは複数の位置カテゴリと潜在的トピックとを関連付けるために使用されてもよい。図５ではシーケンシャルなプロセスとして例示するが、５２０及び５２５のプロセスはシーケンシャルな形態に限定されるものではない。例示的な実装のいくつかにおいて、プロセスの５２０及び５２５は同時に実行されてもよい。例示的な実装のいくつかにおいて、キャプションの位置カテゴリ及び潜在的トピックは、Ｃｏｒｒ（Correspondence）ＬＤＡ（Latent Dirichlet Allocation）生成モデルによって、位置カテゴリ及びキャプションの同時分類を学習することで関係付けられてもよい。トピックモデルを教育するためにより多くのデータを使用することで、データが疎らになることを抑制し、潜在的トピックが関連するビジネス施設カテゴリにより適切に対応することを保証する。

位置カテゴリ及び潜在的トピックの対応は、次に、図４のプロセス４００で使用され、新しく受信したソーシャルメディア投稿に基づいてキャプションを生成してもよい。

「キャプション生成評価結果例」
ＢＬＥＵ−１（Bilingual Evaluation Understudy algorithm）を使用して、２つのテキスト列の用語がどの程度適合するか計測し、キャプション付加の性能を比較した。評価結果を表１に示す。表１の太字で示した数字は、最高のＢＬＥＵ−１スコアを取得する２つの単一のコンテキストを強調する。表１における４つの単一のコンテキストについて、位置カテゴリもしくはビジネスアウェア潜在的トピック（Ｔｏｐｉｃｓ）は、異なる一般ビジネスカテゴリにわたって、より安定した寄与を有する。潜在的トピックは、一般ビジネスカテゴリの１つを除く全てについて強調されたコンテキストである。一貫性に関する改良は、トピックモデルに含まれた位置カテゴリもしくはビジネスアウェアネスに属していてもよい。

例示したように、画像コンテンツ（Image)は「トラベル」（Travel）及び「アウトドア」（Outdoor）位置に有効であるが、「フード」（Food）及び「ショップ」（Shop）画像コンテンツにはあまり有効ではない。視認可能な表現及び関連するキャプションの間の一貫性が限定されているためである。即ち、「フード」及び「ショップ」位置と関連付けられているソーシャルメディア投稿より「トラベル」及び「アウトドア」と関連付けられているソーシャルメディア投稿について画像コンテンツが予測するキャプションの信頼性は高い。「トラベル」及び「アウトドア」カテゴリでは、視認可能な表現（例えば、一般的なトラベル位置もしくはアウトドア位置の写真など）及びキャプションの間の一貫性がより高いからである。これは、「フード」及び「ショップ」位置（例えば、異なる種類のフードを食べる、異なる種類の商品を買う）と関連付けられたソーシャルメディア投稿では、キャプションを付加する異なる種類のアクティビティが多く存在するためである。

時間コンテキストには、主要な位置がショップ、バー及びレストランなどのインドアアクティビティを含むカテゴリについての情報が少ない。全体にわたって、単一コンテキストモデルの有効性は、位置カテゴリもしくはビジネスアウェア潜在的トピックと比較して、よりビジネスに依存し、これは、位置カテゴリまたはビジネスアウェアネスがキャプション付加のコンテキストを表現するために有効であることを示唆している。さらに、これにより、トピックモデルの生成にカテゴリラベルを組み込むことで、効率的にモデル化を行い、ユーザアクティビティの範囲を表現することを可能とすることが示される。

全体にわたって、潜在的トピックコンテキストと画像コンテキスト及び時間コンテキストとを組み合わせた複数のコンテキストを用いたモデルが、単一のコンテキストの何れかと比較して、ビジネス施設カテゴリについて最も適切に動作した。表１において括弧（即ち、()）内に示される数字は、ベースライン（Baseline）及び画像（Image）と比較した複数コンテキストモデルの相対的な改善を示す。ベースラインと比較すると、８個のビジネスカテゴリの内６個が、少なくとも１２％改善されていることが複数コンテキストモデルから理解される。

入力画像の参照テキストを収集する他の方法が存在するが（例えば、視認可能な類似画像もしくは類似ビジネスカテゴリと関連付けられているキャプション）、例示的な実装は、参照テキストとして入力画像の同じ施設で投稿された他の画像キャプションを使用することで、位置情報を利用する。過去の位置ベース画像のキャプション付加は、同じ場所で収集された画像のキャプションを要約した。関連技術のアプリケーションによる問題は、位置が有名なトラベルランドマークでない限り、全ての位置が十分な関連キャプションを有するわけではない、ということである。

したがって、指標としてビジネスで一般的なユーザアクティビティ及び位置のカテゴリを利用することで、個々の位置のデータが疎らである問題は回避可能である。例示されるように、表１の「ＧＰＳ」の結果は、位置情報に完全に依存することが不十分であることを示し、ビジネス施設もしくは位置カテゴリをわたるパターンからの恩恵を受けることで、位置カテゴリまたはビジネスアウェアトピック（Topics）はより良好に機能する。

また、ビジネスアウェア施設カテゴリの使用は、ラベルとしてビジネス施設カテゴリを用いてＣｏｒｒ−ＬＤＡによってモデル化されたカテゴリラベル及びビジネスアウェアトピックなしで標準ＬＤＡによって教育される一般トピックと比較される。テストステージにおいて、双方の方法は、参照テキストとして、同じ施設で投稿された画像キャプションを使用する。

図６は、ベースラインと比較した一般トピック及びビジネスアウェアトピックを用いることによる相対的な改善を例示するグラフである。一般トピックを使用した結果は、同じチェックイン施設から収集されたテキストにおけるトピック分類が一貫しているか否かを示す。

ビジネスもしくは位置カテゴリアウェアトピックの結果は、トピックがビジネス関連であると、改善幅が大きい。ほとんどのビジネス施設もしくは位置カテゴリにおいて、キャプション生成は、一般的トピックよりもビジネスアウェアトピックからＢＬＥＵ−１の相対的な改善が行われている。したがって、ビジネスアウェアネスからさらなる利益を得ることができる可能性がある。即ち、ビジネス施設もしくは位置カテゴリを用いることで、より適切なキャプションが自動的に生成される。例えば、画像投稿の検出された一般的なカテゴリが、投稿が車に関連付けられていることを示す場合、多様な潜在的トピックが可能であり得る（例えば、投稿は、事故、現在の交通状況、車の購入などに関連し得る）。反対に、検出したビジネス施設もしくは位置カテゴリが、画像投稿が車のディーラーに関連付けられていることを示す場合、ある潜在的なキャプショントピックである可能性がより高くなる（例えば、投稿は車の購入に関連する可能性がより高い。）。同様に、検出したビジネス施設もしくは位置カテゴリが、画像投稿が、高速道路もしくは一般道路に関連付けられていることを示す場合、異なる潜在的なキャプショントピックである可能性がより高くなる（例えば、投稿は交通状態もしくは事故に関連する可能性がより高い。）。

例示的な実験結果について説明したが、上記実験結果は例示的な目的で示したものであり、本発明の例示的な実装は、例示的な改善もしくは効率、もしくは他の改善もしくは効率の何れかを達成しなくてもよい。

「例示的な計算処理環境」
図７は、例示的な実装のいくつかでの使用に適した例示的な計算処理デバイス７０５を有する計算処理環境７００を例示する。計算処理環境７００の計算処理デバイス７０５は、一つもしくは複数の処理ユニット、コア、もしくはプロセッサ７１０、メモリ７１５（例えば、ＲＡＭ、及び／もしくはＲＯＭなど）、内部ストレージ７２０（例えば、磁気、光、ソリッドステート、及び／もしくは有機ストレージなど）、及び／もしくはＩ／Ｏインターフェイス７２５を含むことができ、これらの何れかは通信機構もしくはバス７３０と接続され、計算処理デバイス７０５と情報を伝達してもよいし、計算処理デバイス７０５に埋め込まれていてもよい。

計算処理デバイス７０５は、伝達可能に、入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０に接続されていてもよい。入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０の一方または両方は、有線もしくは無線インターフェイスであってよく、取り外し可能であってよい。入力／ユーザインターフェイス７３５は、物理的なもしくは仮想的な任意のデバイス、コンポーネント、センサ、もしくはインターフェイスを含み得る。これらは、（例えば、ボタン、タッチスクリーンインターフェイス、キーボード、ポインティング／カーソルコントロール、マイクロフォン、カメラ、点字装置、モーションセンサ、及び／もしくはオプティカルリーダなどの）入力を提供するために使用されてもよい。出力デバイス／インターフェイス７４０は、表示装置、テレビモニタ、プリンタ、スピーカ、点字装置などを含む。例示的な実装において、入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０は、計算処理デバイス７０５に埋め込まれていてもよいし、計算処理デバイス７０５に物理的に接続されていてもよい。他の例示的な実装において、他の計算処理デバイスは、入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０として機能してもよいし、計算処理デバイス７０５に、入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０の機能を提供してもよい。

計算処理デバイス７０５の例は、高機能モバイルデバイス（例えば、スマートフォン、乗り物及び他の機械のデバイス、人間及び動物によって搬送されるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、及び携帯可能に設計されていないデバイス（例えば、デスクトップコンピュータ、サーバデバイス、他のコンピュータ、情報キオスク、一つもしくは複数のプロセッサが埋め込まれたテレビ、一つもしくは複数のプロセッサに接続されたテレビ、ラジオなど）を含み得る。

計算処理デバイス７０５は、外部ストレージ７４５及びネットワーク７５０に伝達可能に接続され（例えば、Ｉ／Ｏインターフェイス７２５を介して）、任意の数のネットワークコンポーネント、デバイス及び同じもしくは異なる構成の一つもしくは複数の計算処理デバイスを含むシステムと通信を行ってもよい。計算処理デバイス７０５もしくは任意の接続された計算処理デバイスは、サーバ、クライアント、シンサーバ、汎用機械、特殊用途機械、もしくは他のラベルとして機能してもよいし、これらのサービスを提供してもよいし、これらとして参照されてもよい。

Ｉ／Ｏインターフェイス７２５は、任意の通信もしくはＩ／Ｏプロトコルまたは規格（例えば、イーサネット（登録商標）、８０２．１１ｘ、ＵＳＢ（Universal System Bus）、ＷｉＭＡＸ、モデム、携帯電話ネットワークプロトコルなど）などを用いた有線及び／もしくは無線インターフェイスを含み得る。有線及び／もしくは無線インターフェイスは、計算処理環境７００の接続されたコンポーネント、デバイス及びネットワークの少なくとも全てに、及び／もしくは、計算処理環境７００の接続されたコンポーネント、デバイス及びネットワークの少なくとも全てから、情報を伝達してもよい。ネットワーク７５０は、任意のネットワークもしくはネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話通信ネットワーク、携帯電話通信ネットワーク、サテライトネットワークなど）であってよい。

計算処理デバイス７０５は、一時的媒体及び非一時的媒体を含む、コンピュータ利用可能もしくはコンピュータ読込可能媒体を使用してもよいし、及び／もしくは、これらを用いて通信を行ってもよい。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）及び他の不揮発性ストレージもしくはメモリを含む。

計算処理デバイス７０５は、技術、方法、アプリケーション、プロセスもしくはコンピュータ実行可能命令を例示的な計算処理環境のいくつかに実装するために使用され得る。コンピュータ実行可能命令は、一時的媒体から受信され、非一時的媒体に保存され、非一時的媒体から読み出されてもよい。実行可能命令は、任意のプログラム言語、スクリプト言語、及び機械言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、ビジュアルベーシック、Ｐｙｔｈｏｎ，Ｐｅｒｌ，ＪａｖａＳｃｒｉｐｔ（登録商標）など）に由来する。

プロセッサ７１０は、自然環境もしくは仮想環境において、（図示しない）任意のオペレーティングシステム（ＯＳ）の下で稼動することができる。一つもしくは複数のアプリケーションは、論理ユニット７５５、アプリケーションプログラミングインターフェイス（ＡＰＩ）ユニット７６０、入力ユニット７６５、出力ユニット７７０、キャプション生成手段７９０、及び、異なるユニット間で相互に通信を行うためのユニット間通信機構７９５を含み、ＯＳ、及び（図示しない）他のアプリケーションと共に、展開される。例えば、トピックモデル生成手段７７５、参照データ収集手段７８０、言語モデル識別手段７８５、及びキャプション生成手段７９０は、図４及び図５に示される一つもしくは複数のプロセスを実装してもよい。説明したユニット及び構成要素の設計、機能、構成もしくは実装は多様であり、上記説明に限定されない。

例示的実装のいくつかにおいて、情報もしくは実行命令がＡＰＩユニット７６０で受信されると、情報もしくは実行命令は一つもしくは複数の他のユニット（例えば、論理ユニット７５５、入力ユニット７６５、出力ユニット７７０、トピックモデル生成手段７７５、参照データ収集手段７８０、言語モデル識別手段７８５、及びキャプション生成手段７９０）に伝達され得る。例えば、ソーシャルメディア投稿が入力ユニット７６５を介して受信されると、参照データ収集手段７８０は投稿を分析し、参照データを収集する。また、トピックモデル生成手段７７５は、複数のソーシャルメディア投稿及びソーシャルメディア投稿に関連付けられているキャプションに基づいて、一つもしくは複数の潜在的トピックモデルを生成してもよい。また、参照データ収集手段７８０が参照データを収集した後、及び、トピックモデル生成手段７７５が潜在的トピックモデルを生成した後、言語モデル識別手段７８５は使用される言語モデルを識別し、キャプションを生成してもよい。識別された言語モデル、収集した参照データ及び潜在的トピックモデルに基づいて、キャプション生成手段７９０は、出力ユニット７７０を用いて出力され得る受信したソーシャルメディア投稿のためのキャプションを生成してもよい。

いくつかの例において、論理ユニット７５５はユニット間の情報フローを制御するように構成され、上記例示的な実装のいくつかにおいて、ＡＰＩユニット７６０、入力ユニット７６５、出力ユニット７７０、トピックモデル生成手段７７５、参照データ収集手段７８０、言語モデル識別手段７８５及びキャプション生成手段７９０によって提供されるサービスを方向付ける。例えば、一つもしくは複数のプロセスもしくは実装のフローは、論理ユニット７５５のみによって制御されてもよいし、論理ユニット７５５及びＡＰＩユニット７６０によって制御されてもよい。

例示的な実装のいくつかについて説明したが、これらの例示的な実装は、この技術分野をよく知る者に本発明の主題を伝えるために提供された。ここで説明した主題は、上記例示的な実装に限定されず、様々な形態で実装され得る。ここで説明した主題は、詳細に定義した、もしくは説明した内容なしで実行されてもよいし、説明していない異なる構成要素もしくは内容で実行されてもよい。ここで説明した主題から乖離することなく、例示的な実装に変更を加えることができる。

７００ 計算処理環境
７０５ 計算処理デバイス
７１０ プロセッサ
７１５ メモリ
７５０ ネットワーク

Claims (20)

1. コンピュータが、
   ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、
   ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、
   推定した前記潜在的トピックに基づいて言語モデルと関連付けられているパラメータを設定し、
   識別した前記言語モデル及び推定した前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のキャプションを少なくとも１つ生成する、
   ソーシャルメディア投稿のキャプションを生成する方法。
2. 収集した複数のソーシャルメディア投稿に関連付けられている参照データ及び収集した複数の前記ソーシャルメディア投稿に関連付けられているキャプションに基づいてトピック推定モデルを生成する、
   ことをさらに含む、
   請求項１に記載の方法。
3. 前記トピック推定モデルを生成することは、
   収集した複数の前記ソーシャルメディア投稿に関連付けられている前記参照データ及び前記キャプションを収集し、
   関連付けられている前記参照データに基づいて、一つもしくは複数の位置カテゴリに収集した複数の前記ソーシャルメディア投稿を分類し、
   前記ソーシャルメディア投稿に関連付けられている前記キャプションから潜在的トピックを抽出し、
   収集した複数の前記ソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出した前記潜在的トピックとを関連付ける、
   ことを含む、
   請求項２に記載の方法。
4. 前記ソーシャルメディア投稿を生成した前記キャプションと共にソーシャルメディアネットワークに伝送する、
   ことをさらに含む、
   請求項１〜請求項３の何れか１項に記載の方法。
5. 前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、ユーザに少なくとも１つの生成した前記キャプションを伝送し、
   生成した少なくとも１つの前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する、
   請求項１〜請求項４の何れか１項に記載の方法。
6. 生成した少なくとも１つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、前記ユーザに追加的な参照データのリクエストを伝送し、
   識別した前記言語モデル、推定した前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿の第２キャプションを生成する、
   ことをさらに含む、
   請求項５に記載の方法。
7. 前記ソーシャルメディア投稿に関連付けられている収集した前記参照データは、一つもしくは複数の位置での一般的なユーザアクティビティに関連する記述テキスト、一つもしくは複数の位置カテゴリでの一般的なユーザアクティビティに関連する記述テキスト、位置記述、位置カテゴリ記述、の一つもしくは複数を含む、
   請求項１〜請求項６の何れか１項に記載の方法。
8. ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、
   前記ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、
   推定した前記潜在的トピックに基づいて、言語モデルと関連付けられているパラメータを設定し、
   識別した前記言語モデル及び推定した前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のキャプションを少なくとも１つ生成する、
   ことを含む、ソーシャルメディア投稿のためのキャプションを生成する処理をコンピュータに実行させるためのプログラム。
9. 前記処理は、
   収集した複数の前記ソーシャルメディア投稿に関連付けられている参照データ及び収集した複数の前記ソーシャルメディア投稿に関連付けられているキャプションに基づいて、前記トピック推定モデルを生成する、
   ことをさらに含む、
   請求項８に記載のプログラム。
10. 前記トピック推定モデルを生成することは、
    収集した複数の前記ソーシャルメディア投稿と関連付けられている参照データ及びキャプションを収集し、
    関連付けられている前記参照データに基づいて、収集した複数の前記ソーシャルメディア投稿を一つもしくは複数の位置カテゴリに分類し、
    前記ソーシャルメディア投稿と関連付けられている前記キャプションから潜在的トピックを抽出し、
    収集した複数のソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出した前記潜在的トピックとを関連付ける、
    ことを含む、
    請求項９に記載のプログラム。
11. 前記処理は、
    前記ソーシャルメディア投稿を、生成した少なくとも１つのキャプションと共に、ソーシャルメディアネットワークに伝送する、
    ことをさらに含む、
    請求項８〜請求項１０の何れか１項に記載のプログラム。
12. 前記処理は、
    前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、生成した少なくとも１つの前記キャプションを、ユーザに伝送し、
    生成した前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する、
    ことをさらに含む、
    請求項８〜請求項１１の何れか１項に記載のプログラム。
13. 前記処理は、
    生成した少なくとも１つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、前記ユーザに追加的な参照データのリクエストを伝送し、
    識別した前記言語モデル、推定した前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿のための第２キャプションを生成する、
    ことをさらに含む、
    請求項１２に記載のプログラム。
14. 前記ソーシャルメディア投稿に関連付けられている収集した前記参照データは、一つもしくは複数の位置に一般的なユーザアクティビティに関連するテキスト記述、一つもしくは複数の位置カテゴリに一般的なユーザアクティビティに関連するテキスト記述、位置記述及び位置カテゴリ記述、の一つもしくは複数を含む、
    請求項８〜請求項１３の何れか１項に記載のプログラム。
15. メモリと、
    プロセッサと、
    を含むサーバ装置であって、
    前記プロセッサは、
    ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、
    前記ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、
    推定した前記潜在的トピックに基づいて、言語モデルと関連付けられているパラメータを設定し、
    識別された前記言語モデル及び推定された前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のためのキャプションを少なくとも１つ生成する、
    ソーシャルメディア投稿のためのキャプションを生成するサーバ装置。
16. 前記プロセッサは、さらに、
    収集した複数の前記ソーシャルメディア投稿と関連付けられている前記キャプション及び前記参照データを収集し、
    関連付けられている前記参照データに基づいて、収集した複数の前記ソーシャルメディア投稿を一つもしくは複数の位置カテゴリに分類し、
    前記ソーシャルメディア投稿に関連付けられている前記キャプションから潜在的トピックを抽出し、
    収集した複数の前記ソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出したトピックとを関連付ける、
    ことにより、
    収集した複数の前記ソーシャルメディア投稿と関連付けられているキャプション及び参照データに基づいて、前記トピック推定モデルを生成する、
    請求項１５に記載のサーバ装置。
17. 前記プロセッサは、さらに、
    生成した少なくとも１つの前記キャプションと共に、前記ソーシャルメディア投稿を前記ソーシャルメディアネットワークに伝送する、
    請求項１５または請求項１６に記載のサーバ装置。
18. 前記プロセッサは、さらに、
    前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、生成した少なくとも１つの前記キャプションをユーザに伝送し、
    生成した少なくとも１つの前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する、
    請求項１５〜請求項１７の何れか１項に記載のサーバ装置。
19. 前記プロセッサは、さらに、
    生成した少なくとも１つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、追加的な参照データのリクエストを前記ユーザに伝送し、
    識別された前記言語モデル、推定された前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿の第２キャプションを生成する、
    請求項１８に記載のサーバ装置。
20. 前記ソーシャルメディア投稿と関連付けられている収集した前記参照データは、一つもしくは複数の位置に共通なユーザアクティビティに関連するテキスト記述、一つもしくは複数の位置カテゴリに共通なユーザアクティビティに関連するテキスト記述、位置記述及び位置カテゴリ記述の一つもしくは複数を含む、
    請求項１５〜請求項１９の何れか１項に記載のサーバ装置。