JP7288637B1 - メール件名評価システム - Google Patents

Abstract

【課題】 特定の文字種等が含まれる特定のメール件名について比較的高い精度で反応指標を推定することができるメール件名評価システムを提供する。【解決手段】 メール件名評価サーバ１２０は、メールの件名の候補であって複数の候補のそれぞれについて当該件名に関する件名情報及びメールの送信先となるユーザの属性に関する属性情報を含む評価用件名ファイルを取得し、メールの件名のうち当該メールに対するユーザの反応の程度を示す反応指標（例えばメールの開封率）に影響を与える文字種の割合又は記号の有無に関する特徴情報を含む件名特徴情報、当該メールを送信したユーザの属性に関する属性情報及び当該メールの反応指標に関する反応指標情報に基づいて学習を行った学習済みモデルを用いて、取得した評価用件名ファイルに含まれる件名情報及び属性情報から、メールの送信先となるユーザについて当該件名情報に係る各候補の反応指標を推定する。【選択図】 図５

Description

本発明は、メールの件名を評価するメール件名評価システムに関する。

従来、電子メールの表示情報を評価する技術が開示されている（例えば、特許文献１を参照）。
特許文献１記載の技術は、同一のメールについて、複数の表示情報を生成し、生成した複数の表示情報の各々を学習済みのモデルの入力データとして、複数の表示情報の各々について反応指標（例えば、開封率）を予測する。そして、複数の表示情報の中から、予測した反応指標のうち、例えば、メールの開封率が最も高い表示情報を送信対象のメールの表示情報として選択するものである。

特許６６６５３５６号公報

しかしながら、特許文献１の技術は、反応指標を予測するモデルを学習する際に、文字列（単語、連語、文章等又はこれらの組合せ）の情報及び文字数の情報を特徴情報として学習をしているため、特定の文字種等が含まれる特定の表示情報に関しては十分な予測精度を得られない場合がある。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、特定の文字種等が含まれる特定のメール件名について比較的高い精度で反応指標を推定することができるメール件名評価システムを提供することを目的としている。

〔発明１〕 上記目的を達成するために、発明１のメール件名評価システムは、メールの件名の候補であって複数の候補のそれぞれについて当該件名に関する件名情報を取得する件名情報取得手段と、メールの送信先となるユーザの属性に関する属性情報を取得する属性情報取得手段と、メールの件名のうち当該メールに対する前記ユーザの反応の程度を示す反応指標に影響を与える文字種の割合又は記号の有無に関する特徴情報を含む件名特徴情報、当該メールを送信したユーザの属性に関する属性情報及び当該メールの反応指標に関する反応指標情報に基づいて学習を行った学習済みモデルを用いて、前記件名情報取得手段で取得した件名情報及び前記属性情報取得手段で取得した属性情報から、前記メールの送信先となるユーザについて当該件名情報に係る各候補の反応指標を推定する推定手段と、を備える。

このような構成であれば、件名情報取得手段により、メールの件名の候補であって複数の候補のそれぞれについて当該件名に関する件名情報が取得され、属性情報取得手段により、メールの送信先となるユーザの属性に関する属性情報が取得されると、推定手段により、メールの件名のうち当該メールに対する前記ユーザの反応の程度を示す反応指標に影響を与える文字種の割合又は記号の有無に関する特徴情報を含む件名特徴情報、当該メールを送信したユーザの属性に関する属性情報及び当該メールの反応指標に関する反応指標情報に基づいて学習を行った学習済みモデルを用いて、前記件名情報取得手段で取得した件名情報及び前記属性情報取得手段で取得した属性情報から、前記メールの送信先となるユーザについて当該件名情報に係る各候補の反応指標が推定される。

ここで、属性情報は、年齢、性別、職業、住所、出身地、収入、口座残高等の情報を含む。
また、反応指標は、ユーザがメールを開封する確率を示す開封率、メールを開封しない確率を示す未開封率、ユーザがメール内に含まれるリンク情報等のコンテンツを選択する確率を示す選択率、メール内に含まれるリンク情報等のコンテンツを選択しない確率を示す未選択率、ユーザがリンク先のサイトにてそのサイトが成果としている目的行動を起こす確率であるコンバージョン率、ユーザがリンク先のサイトにてそのサイトが成果としている目的行動を起こさない確率である未コンバージョン率などを含む。

また、記号の有無の判定態様としては、なんでも良いので記号を１つでも含む場合は「有り」、１つも含まない場合は「無し」と判定する態様、特定の記号（例えば！、？など）を含む場合は「有り」、１つも含まない場合は「無し」と判定する態様、特定の記号の組み合わせ（例えば、☆及び！の組合せ）を全部含む場合は「有り」、全部を含まない場合は「無し」と判定する態様（この場合組み合わせの一方（例えば！）のみを含む場合も「無し」と判定）などが含まれる。

また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
〔発明２〕 一方、上記目的を達成するために、発明２のメール件名評価システムは、メールの件名を評価するメール件名評価システムであって、メール件名評価サービス提供サーバ及びデータ制御サーバを備え、当該データ制御サーバはメール件名評価サーバと通信可能に接続されており、前記メール件名評価サービス提供サーバは、メールの件名の候補であって複数の候補のそれぞれについて当該件名に関する件名情報を取得する件名情報取得手段と、メールの送信先となるユーザの属性に関する属性情報を取得する属性情報取得手段と、前記件名情報取得手段で取得した件名情報及び前記属性情報取得手段で取得した属性情報を含む件名候補ファイルを前記データ制御サーバに送信する件名候補ファイル送信手段と、を備える。加えて、前記データ制御サーバは、前記メール件名評価サービス提供サーバからの前記件名候補ファイルを受信すると、当該件名候補ファイルのデータ量が所定量を超えていた場合に、当該件名候補ファイルを所定量以下の複数の件名候補ファイルに分割するファイル分割手段と、前記ファイル分割手段で分割された複数の件名候補ファイル又は受信した前記所定量以下の件名候補ファイルを前記メール件名評価サーバに送信する件名候補ファイル送信手段と、前記メール件名評価サーバからの前記件名候補ファイルに含まれる件名候補の反応指標の推定結果を含む評価結果ファイルを受信すると、当該評価結果ファイルを前記メール件名評価サービス提供サーバに送信する第１評価結果送信手段と、を備える。一方、前記メール件名評価サーバは、前記データ制御サーバからの１又は複数の前記件名候補ファイルを受信後に、メールの件名のうち当該メールの反応指標に影響を与える文字種の割合又は記号の有無に関する特徴情報を含む件名特徴情報、当該メールを送信したユーザの属性に関する属性情報及び当該メールの反応指標に関する反応指標情報に基づいて学習を行った学習済みモデルを用いて、受信した１又は複数の件名候補ファイルのファイルごとに、当該ファイルに含まれる件名情報及び属性情報から、前記メールの送信先となるユーザについて当該件名情報に係る各候補の反応指標を推定する推定手段と、前記推定手段の推定結果を含む評価結果ファイルを前記データ制御サーバに送信する第２評価結果送信手段と、を備える。

このような構成であれば、メール件名評価サービス提供サーバにおいて、件名情報取得手段により、メールの件名の候補であって複数の候補のそれぞれについて当該件名に関する件名情報が取得され、属性情報取得手段により、メールの送信先となるユーザの属性に関する属性情報が取得されると、件名候補ファイル送信手段により、件名情報取得手段で取得した件名情報及び属性情報取得手段で取得した属性情報を含む件名候補ファイルがデータ制御サーバに送信される。

また、データ制御サーバにおいて、ファイル分割手段により、メール件名評価サービス提供サーバからの件名候補ファイルが受信されると、当該件名候補ファイルのデータ量が所定量を超えていた場合に、当該件名候補ファイルが所定量以下の複数の件名候補ファイルに分割される。加えて、件名候補ファイル送信手段により、ファイル分割手段で分割された複数の件名候補ファイル又は受信した所定量以下の件名候補ファイルがメール件名評価サーバに送信される。さらに、第１評価結果送信手段により、メール件名評価サーバからの件名候補ファイルに含まれる件名候補の反応指標の推定結果を含む評価結果ファイルが受信されると、当該評価結果ファイルがメール件名評価サービス提供サーバに送信される。

〔発明３〕 また、上記目的を達成するために、発明３のメール件名評価システムは、メールの件名を評価するメール件名評価システムであって、メール件名評価サービス提供サーバ及びデータ制御サーバを備え、当該データ制御サーバはメール件名評価サーバと通信可能に接続されており、前記メール件名評価サービス提供サーバは、メールの件名の候補であって複数の候補のそれぞれについて当該件名に関する件名情報を取得する件名情報取得手段と、メールの送信先となるユーザの属性に関する属性情報を取得する属性情報取得手段と、前記件名情報取得手段で取得した件名情報及び前記属性情報取得手段で取得した属性情報を含む件名候補ファイルを前記データ制御サーバに送信する件名候補ファイル送信手段と、を備える。加えて、前記データ制御サーバは、前記メール件名評価サービス提供サーバからの前記件名候補ファイルを受信すると、当該件名候補ファイルを前記メール件名評価サーバに送信する件名候補ファイル送信手段と、前記メール件名評価サーバからの前記件名候補ファイルに含まれる件名候補の反応指標の推定結果を含む推定結果ファイルを受信すると、当該推定結果ファイルが複数の場合に当該複数の推定結果ファイルを１つのファイルに結合するファイル結合手段と、前記ファイル結合手段で結合した推定結果ファイル又は受信した推定結果ファイルを前記メール件名評価サービス提供サーバに送信する第１推定結果送信手段と、を備える。さらに、前記メール件名評価サーバは、前記データ制御サーバからの前記件名候補ファイルを受信後に、メールの件名のうち当該メールの反応指標に影響を与える文字種の割合又は記号の有無に関する特徴情報を含む件名特徴情報、当該メールを送信したユーザの属性に関する属性情報及び当該メールの反応指標に関する反応指標情報に基づいて学習を行った学習済みモデルを用いて、受信した件名候補ファイルに含まれる件名情報及び属性情報から、前記メールの送信先となるユーザについて当該件名情報に係る各候補の反応指標を推定する推定手段と、前記推定手段の推定結果を含む評価結果ファイルを前記データ制御サーバに送信する第２評価結果送信手段と、を備える。

このような構成であれば、メール件名評価サービス提供サーバにおいて、件名情報取得手段により、メールの件名の候補であって複数の候補のそれぞれについて当該件名に関する件名情報が取得され、属性情報取得手段により、メールの送信先となるユーザの属性に関する属性情報が取得されると、件名候補ファイル送信手段により、件名情報取得手段で取得した件名情報及び属性情報取得手段で取得した属性情報を含む件名候補ファイルがデータ制御サーバに送信される。

また、データ制御サーバにおいて、件名候補ファイル送信手段により、メール件名評価サービス提供サーバからの件名候補ファイルが受信されると、当該件名候補ファイルがメール件名評価サーバに送信される。加えて、ファイル結合手段により、メール件名評価サーバからの件名候補ファイルに含まれる件名候補の反応指標の推定結果を含む推定結果ファイルが受信されると、当該推定結果ファイルが複数の場合に当該複数の推定結果ファイルが１つのファイルに結合される。さらに、第１推定結果送信手段により、ファイル結合手段で結合した推定結果ファイル又は受信した推定結果ファイルがメール件名評価サービス提供サーバに送信される。

以上説明したように、発明１のメール件名評価システムによれば、メールの件名のうちこのメールに対するユーザの反応の程度を示す反応指標に影響を与える文字種の割合又は記号の有無に関する特徴情報を含む件名特徴情報に基づいて学習を行った学習済みモデルを用いて、取得した件名情報及び取得した属性情報から、メールの送信先となるユーザについてこの件名情報に係る各候補の反応指標を推定するようにした。これにより、反応指標に影響を与える文字種又は記号を含む特定のメール件名候補について反応指標の推定精度を向上することができる。

また、発明２のメール件名評価システムによれば、データ制御サーバにおいて、所定データ量を超える件名候補ファイルを受信した場合に、この件名候補ファイルを所定データ量以下の複数のファイルに分割し、所定データ量以下の複数の件名候補ファイルに分けてファイルを件名評価サーバに送信するようにした。これにより、件名評価サービス提供サーバにて、データ量を考慮することなく件名候補ファイルを作成して、１つのファイルとして送信することができるので、件名評価サービス提供サーバ側にて所定データ量以下の複数のファイルに分けて作成するといった手間を軽減することができる。

また、発明３のメール件名評価システムによれば、データ制御サーバにおいて、複数の評価結果ファイルを受信した場合に、受信した複数の評価結果ファイルを１つのファイルに結合する処理を実行し、結合後の１つの評価結果ファイルを件名評価サービス提供サーバに送信するようにした。これにより、件名評価サービス提供サーバ側にて複数の評価結果ファイルを１つのファイルに結合する処理をする必要が無く、件名評価サービス提供サーバ側の処理負荷を軽減することができる。

実施の形態に係るネットワークシステムの構成を示すブロック図である。 件名評価サービス提供サーバ１００のハードウェア構成を示す図である。 利用者管理テーブル４００、モデル作成用情報テーブル４１０、件名情報テーブル４２０、ＡＩ対応情報管理テーブル４３０及び件名評価ＡＩ（Artificial Intelligence）モデル管理テーブル４４０のデータ構造を示す図である。 メール件名評価サービス提供サーバ１００、データ制御サーバ１１０及びメール件名評価サーバ１２０の件名評価ＡＩモデル作成時の動作を示すシーケンスフローである。 利用者端末２００、メール件名評価サービス提供サーバ１００、データ制御サーバ１１０及びメール件名評価サーバ１２０の件名候補評価時の動作を示すシーケンスフローである。 メール本文から件名候補を生成する一例を示す図である。 件名候補を評価する一例を示す図である。 評価用件名ファイル転送処理を示すフローチャートである。 評価結果ファイル結合処理を示すフローチャートである。

〔構成〕
以下、本発明の実施の形態を説明する。図１乃至図９は、本実施の形態を示す図である。
まず、本実施の形態の構成を説明する。
図１は、本実施の形態に係るネットワークシステムの構成を示すブロック図である。
インターネット１９９には、図１に示すように、メール件名評価サービスを提供するメール件名評価サービス提供サーバ１００（以下、「件名評価サービス提供サーバ１００」と称す）、メールの件名を評価するメール件名評価用ＡＩモデル（以下、「件名評価ＡＩモデル」と略記する）に係るデータの送受信を制御するデータ制御サーバ１１０と、件名評価ＡＩモデルの生成及び生成した件名評価ＡＩモデルによりメールの件名を評価する処理を実行するメール件名評価サーバ１２０とが接続されている。さらに、メール件名評価サービスを利用する利用者の管理下にある利用者端末２００が接続されている。

〔件名評価サービス提供サーバ１００のハードウェア構成〕
次に、件名評価サービス提供サーバ１００のハードウェア構成を説明する。
図２は、件名評価サービス提供サーバ１００のハードウェア構成の一例を示す図である。
件名評価サービス提供サーバ１００は、図２に示すように、制御プログラムに基づいて演算及びシステム全体を制御するＣＰＵ（Central Processing Unit）３０と、所定領域に予めＣＰＵ３０の制御プログラム等を格納しているＲＯＭ（Read Only Memory）３２と、ＲＯＭ３２等から読み出したデータやＣＰＵ３０の演算過程で必要な演算結果を格納するためのＲＡＭ（Random Access Memory）３４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ（InterFace）３８とで構成されており、これらは、データを転送するための信号線であるバス３９で相互に且つデータ授受可能に接続されている。なお、Ｉ／Ｆ３８には、ネットワークアダプタの機能も含まれている。

Ｉ／Ｆ３８には、外部装置として、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置４０と、データやテーブル等をファイルとして格納する記憶装置４２と、画像信号に基づいて画面を表示する表示装置４４と、インターネット１９９に接続するための信号線とが接続されている。
また、データ制御サーバ１１０及びメール件名評価サーバ１２０についても、件名評価サービス提供サーバ１００と同様のハードウェア構成を有している。

ここで、データ制御サーバ１１０は記憶装置５０を、メール件名評価サーバ１２０は記憶装置６０を備えている。
なお、件名評価サービス提供サーバ１００、データ制御サーバ１１０及びメール件名評価サーバ１２０の一部又は全部は、クラウドコンピューティングサービスを提供するサーバ上の仮想サーバとして構成してもよい。
〔利用者端末２００のハードウェア構成〕
利用者端末２００は、上記件名評価サービス提供サーバ１００のような据え置き型を想定した端末、または、スマートフォン、タブレットなどの携帯型の端末から構成されている。後者の場合、そのハードウェア構成は、ＣＰＵと、アプリケーションソフトなどのプログラムやプログラムを実行するためのデータ等を格納しているＲＯＭと、ＲＯＭ等から読み出したデータやＣＰＵの演算過程で必要な演算結果を格納するためのＲＡＭと、付属の各種装置に対してデータの入出力を媒介するＩ／Ｆとで構成されている。これらは、データを転送するための信号線で相互に且つデータ授受可能に接続されている。

Ｉ／Ｆには、付属の各種装置として、データ入力が可能で且つ画像信号に基づいて画面を表示可能なタッチパネル式の表示入力装置、記憶装置、無線通信装置、ビデオカメラ等が接続されている。
〔各種テーブルについて〕
次に、記憶装置４２、記憶装置５０及び記憶装置６０に記憶されている各種テーブルについて説明する。
図３は、利用者管理テーブル４００、モデル作成用情報テーブル４１０、件名情報テーブル４２０、ＡＩ対応情報管理テーブル４３０及び件名評価ＡＩモデル管理テーブル４４０のデータ構造を示す図である。

記憶装置４２は、図３（ａ）に示す利用者管理テーブル４００を記憶している。
利用者管理テーブル４００には、図３（ａ）に示すように、利用者ＩＤごとに１つのレコードが登録されている。各レコードは、利用者ＩＤ、件名作成用ファイルＩＤ、評価用件名ファイルＩＤ、住所、代表者氏名、電話番号、代表メールアドレス、ログイン情報、作成日、更新日、その他の情報が登録されている。
ここで、利用者ＩＤは、メール件名評価サービスを利用する利用者を識別するためのＩＤであり、件名作成用ファイルＩＤは、メールの件名（以下、単に「件名」と称す）候補を作成するためのメール本文データ等を含むＣＳＶファイル等のデータファイルを識別するためのＩＤである。また、評価用件名ファイルＩＤは、利用者ＩＤに対応する利用者から依頼を受けた件名候補の評価用データのＣＳＶファイル等のデータファイルを識別するためのＩＤである。

また、記憶装置４２は、図３（ｂ）に示すモデル作成用情報テーブル４１０を記憶している。
モデル作成用情報テーブル４１０には、図３（ｂ）に示すように、利用者ＩＤごとに１つのレコードが登録されている。各レコードは、管理者ＩＤ、件名評価ＡＩモデルＩＤ、モデル作成用件名ファイルＩＤ、モデル作成用件名ファイル、作成日、更新日、その他の情報が登録されている。
ここで、管理者ＩＤは、メール件名評価サービスを提供するシステムの管理者を識別するためのＩＤであり、件名評価ＡＩモデルＩＤは、メールの件名を評価する件名評価ＡＩモデルを識別するためのＩＤである。また、モデル作成用件名ファイルＩＤは、件名評価ＡＩモデル作成用データのＣＳＶファイル等のデータファイルを識別すためのＩＤであり、モデル作成用件名ファイルは、件名評価ＡＩモデル作成用データのデータファイルであり、過去の実績データ等から作成されるデータファイルである。例えば、過去に配信した各メールの件名の文字数、漢字、ひらがな、カタカナの割合、記号の有無、使われている単語などを特徴量としてデータ化したデータ、各件名により配信したときの配信先のユーザのメールに対する反応の程度を示す反応指標のデータ、配信先の属性情報等のデータを含むファイルである。

また、反応指標は、メールの開封率、未開封率、メール内のコンテンツの選択率、未選択率、メール内のリンク情報から飛んだリンク先でのコンバージョン率、未コンバージョン率などが該当する。以下、反応指標として「メールの開封率」を例に挙げて説明する。
また、記憶装置４２は、図３（ｃ）に示す件名情報テーブル４２０を記憶している。
件名情報テーブル４２０には、図３（ｃ）に示すように、利用者ＩＤごとに１つのレコードが登録されている。各レコードは、利用者ＩＤ、件名作成用ファイルＩＤ、評価用件名ファイルＩＤ、評価結果ＩＤ、件名作成用ファイル、評価用件名ファイル、評価結果ファイル、作成日、更新日、その他の情報が登録されている。

ここで、評価結果ＩＤは、件名評価ＡＩモデルによる評価結果（予測結果又は推定結果ともいう）のファイルを識別するためのＩＤであり、評価結果ファイルは、評価結果データのＣＳＶファイル等のデータファイルである。ここで、評価結果データは、各件名候補の件名を付した場合のメールの開封率をスコア化（例えば、１０００点満点）したものとして設定されている。スコアが高いほど開封率が高くなる可能性があると評価されたことを示している。

また、件名作成用ファイルは、メール件名評価サービスの利用者がこれから配信する各メールの複数の件名候補、各メールのメール本文、件名に入れたいキーワード、配信先の属性情報（年齢、性別など）等のデータを含むデータファイルである。評価用件名ファイルは、メールの件名の候補である複数の件名候補のデータ、これらのデータから抽出した特徴量データ、配信先の属性情報、配信日時、メール本文等のデータを含むファイルである。

また、記憶装置５０は、図３（ｄ）に示すＡＩ対応情報管理テーブル４３０を記憶している。
ＡＩ対応情報管理テーブル４３０には、図３（ｄ）に示すように、管理者ＩＤごとに１つのレコードが登録されている。各レコードは、管理者ＩＤ、件名評価ＡＩモデルＩＤ、ファイル転送プロトコル情報、作成日、更新日、その他の情報が登録されている。
ここで、ＡＩ対応情報管理テーブル４３０は、管理者ＩＤに対応する管理者の管理下にある件名評価ＡＩモデルと、評価前の評価用件名ファイルとを紐づけるためのテーブルである。具体的には、件名評価ＡＩモデルＩＤと、評価用件名ファイルの転送に用いられるファイル転送プロトコルとを紐づけるテーブルである。

ファイル転送プロトコル情報は、評価用件名ファイル等の各種ファイルの送受信に用いるファイル転送プロトコルに関する情報であり、例えば、プロトコル名、ホスト名、ポート番号、ユーザ情報、パスワード等の情報である。ファイル転送プロトコルとしては、例えば、ＳＦＴＰ（SSH File Transfer Protocol）、ＦＴＰＳ（File Transfer Protocol over SSL/TLS）などが該当する。
また、記憶装置６０は、図３（ｅ）に示す件名評価ＡＩモデル管理テーブル４４０を記憶している。

件名評価ＡＩモデル管理テーブル４４０には、図３（ｅ）に示すように、管理者ＩＤごとに１つのレコードが登録されている。各レコードは、管理者ＩＤ、件名評価ＡＩモデルＩＤ、件名評価ＡＩモデル情報、作成日、更新日、その他の情報が登録されている。
〔動作〕
（件名評価ＡＩモデル作成時のシーケンス）
まず、件名評価ＡＩモデル作成時のシーケンスについて説明する。
図４は、件名評価サービス提供サーバ１００、データ制御サーバ１１０及びメール件名評価サーバ１２０の件名評価ＡＩモデル作成時の動作を示すシーケンスフローである。

件名評価サービス提供サーバ１００のＣＰＵ３０は、ＭＰＵ（Micro-Processing Unit）等からなり、ＲＯＭ３２の所定領域に格納されている件名評価ＡＩモデル作成用のデータ生成等を行うプログラムを起動させ、そのプログラムに従って以下の処理を実行する。また、データ制御サーバ１１０のＣＰＵは、ＲＯＭの所定領域に格納されている件名評価ＡＩモデルの作成処理に用いるデータの転送制御等を行うプログラムを起動させ、そのプログラムに従って以下の処理を実行する。また、メール件名評価サーバ１２０のＣＰＵは、ＲＯＭの所定領域に格納されているモデル作成用データに基づいて件名評価ＡＩモデルを作成処理を行うプログラムを起動させ、そのプログラムに従って以下の処理を実行する。

まず、件名評価サービス提供サーバ１００では、過去の実績データに基づいて件名評価ＡＩモデル作成用データを生成する（Ｓ１００）。
ここで、過去の実績データは、過去に配信したメールの実績データであり、メールの件名、メール本文、配信日時、配信先の属性情報（年齢、性別、職業（会社役員、会社員、自営業等）、年収、関連Ｗｅｂページの閲覧回数、口座残高等）、開封率の情報を含むデータである。具体的に、件名評価サービス提供サーバ１００は、実績データに基づいて、件名の文字数、件名に含まれる漢字の割合、ひらがなの割合、カタカナの割合、「！」「？」等の記号の有無、使われている単語などを特徴量としてデータ化する。

例えば、件名が「本日の平均株価は反発」であれば、文字数「１０」、漢字の数「８」、ひらがなの数「２」、カタカナの数「０」となるので、漢字の割合「８０％」、ひらがなの割合「２０％」、カタカナの割合「０％」が特徴量として算出される。また、記号の有無は「無」となり、使われている単語として「本日」、「平均株価」、「反発」が特徴量として抽出される。
そして、これら特徴量のデータ、件名、メール本文、配信日時、配信先の属性情報、開封率の情報等を含む件名評価ＡＩモデル作成用データを生成する。

引き続き、件名評価サービス提供サーバ１００は、生成した件名評価ＡＩモデル作成用データをデータ制御サーバ１１０に送信する（Ｓ１０２）。
データ制御サーバ１１０は、件名評価サービス提供サーバ１００からの件名評価ＡＩモデル作成用データを受信すると（Ｓ１０４）、受信した件名評価ＡＩモデル作成用データをメール件名評価サーバ１２０に送信する（Ｓ１０６）。
メール件名評価サーバ１２０は、データ制御サーバ１１０からの件名評価ＡＩモデル作成用データを受信すると（Ｓ１０８）、受信した件名評価ＡＩモデル作成用データに基づいて件名評価ＡＩモデルを作成する（Ｓ１１０）。

ここで、件名評価ＡＩモデルの作成においては、件名評価ＡＩモデル作成用データに基づいて機械学習を行うことで、各特徴量や属性情報と開封率との関係性をモデル化する。このとき、過去の実績情報（開封率等）を教師データとして学習を行う。本実施の形態では、この機械学習により、メールの件名及び配信先の属性情報を入力として、開封率に関するスコアを出力するモデルを構築する。このスコアは、開封される可能性が高いものほど大きい数値（例えば、上限１０００の数値）となるものである。

件名評価ＡＩモデルの学習アルゴリズムとしては、例えば、線形回帰分析、ＭＡＲＳ（Multivariate adaptive regression splines）、サポートベクター回帰（SVR）、回帰木、モデル木、遺伝子プログラム、二値分類、ロジスティック回帰、ｋ近傍法、サポートベクターマシン、決定木、ランダムフォレスト、ニューラルネットワーク等のアルゴリズムを用いることができる。
メール件名評価サーバ１２０は、件名評価ＡＩモデルの作成が完了すると、作成完了通知をデータ制御サーバ１１０に送信する（Ｓ１１２）。

データ制御サーバ１１０は、メール件名評価サーバ１２０からの作成完了通知を受信すると（Ｓ１１４）、作成した件名評価ＡＩモデルと、評価用件名ファイルとを紐付けする（Ｓ１１６）。その後、作成完了通知を件名評価サービス提供サーバ１００に送信する（Ｓ１１８）
件名評価サービス提供サーバ１００は、データ制御サーバ１１０からの作成完了通知を受信する（Ｓ１２０）。これにより、件名評価ＡＩモデルの作成が完了する。
ここで、上記各サーバ間でのデータの送受信は、例えば暗号化通信技術を用いて行っている。本実施の形態では、ＳＦＴＰを用いてデータの送受信を行っている。

（件名候補評価時のシーケンス）
次に、件名評価ＡＩモデルによる件名候補の評価時のシーケンスについて説明する。
図５は、利用者端末２００、件名評価サービス提供サーバ１００、データ制御サーバ１１０及びメール件名評価サーバ１２０の件名候補評価時の動作を示すシーケンスフローである。
ＣＰＵ３０は、ＲＯＭ３２の所定領域に格納されている所定のプログラムを起動させ、件名評価サービス提供サーバ１００は、そのプログラムに従って以下の処理を実行する。また、利用者端末２００は、件名評価サービス提供サーバ１００との通信により件名候補の評価依頼を行うプログラムがインストールされている。利用者端末２００は、ＲＯＭの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って以下の処理を実行する。また、データ制御サーバ１１０は、件名評価サービス提供サーバ１００及びメール件名評価サーバ１２０との通信により件名候補の評価処理に用いるデータの転送制御等を行うプログラムがインストールされている。データ制御サーバ１１０は、ＲＯＭの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って以下の処理を実行する。また、メール件名評価サーバ１２０は、データ制御サーバ１１０からの評価用件名ファイルに基づいて件名評価ＡＩモデルを用いた評価処理を行うプログラムがインストールされている。メール件名評価サーバ１２０は、ＲＯＭの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って以下の処理を実行する。

まず、利用者は、利用者端末２００により、件名評価サービス提供サーバ１００が提供するサービスを利用するためのウエブページへとアクセス（ログイン）する。すなわち、このログイン処理にて、利用者の認証が行われる。
ログイン後において、利用者端末２００は、件名候補の評価要求を含む件名作成用ファイルを、件名評価サービス提供サーバに送信する（Ｓ２００）。
ここで、利用者は、例えば、インターネット通信販売サービス、株式取引サービス、ＦＸ取引サービスなどのサービスを提供するサービス提供者などが該当する。このような利用者は、会員登録されたユーザに対して例えば安売りセールの開催、株価の状況、為替相場の状況などを伝えるメールの配信を頻繁に行う。

件名評価サービス提供サーバ１００は、利用者端末２００からの件名作成用ファイルを受信すると（Ｓ２０２）、受信した件名作成用ファイルに基づいて評価用件名ファイルを作成する（Ｓ２０４）。
ここで、件名作成用ファイルは、例えば、１のメール本文に対する複数の件名候補、配信予定のメール本文、配信先（配信先ユーザ）の属性情報、配信予定日時等のデータを含むファイル、または、このファイルから複数の件名候補のデータを除外したファイルなどが該当する。

図６は、メール本文から件名候補を生成する一例を示す図である。
件名評価サービス提供サーバ１００は、例えば、件名作成用ファイルに、件名候補が含まれていない場合に、配信予定のメール本文から件名候補を自動で生成する機能を有している。
具体的に、件名評価サービス提供サーバ１００は、例えば、図６に示すように、メール本文から、「本日の平均株価は反発」、「大引けにかけても方向感に乏しい展開」、「資産を有効活用する製造業に注目」などのキーとなる文章部分をメールの件名候補として抽出する。

なお、記号の有無によってもメールの開封率等の反応指標が変化するため、抽出した件名候補に対して、例えば、「本日の平均株価は反発！」、「大引けにかけても方向感に乏しい展開？」、「資産を有効活用する”製造業”に注目」などの記号を付加したものも件名候補として生成するようにしてもよい。
そして、件名候補、メール本文、配信日時、配信先の属性情報等のデータを含む評価用件名ファイルを生成する。
件名評価サービス提供サーバ１００は、生成した評価用件名ファイルをデータ制御サーバ１１０に送信する（Ｓ２０６）。

データ制御サーバ１１０は、件名評価サービス提供サーバ１００からの評価用件名ファイルを受信すると（Ｓ２０８）、受信した評価用件名ファイルのデータ量に応じたデータ転送処理を実行する（Ｓ２１０）。なお、データ転送処理によって、評価用件名ファイルは、所定データ量（例えば、１ＧＢ（gigabyte））以下の１又は複数のファイルとしてメール件名評価サーバ１２０に送信される。
ここで、メール件名評価サーバ１２０では、件名評価ＡＩモデルでの評価処理の処理負荷を軽減するために所定データ量以下の評価用件名ファイルごとに評価処理を実行するようになっている。

メール件名評価サーバ１２０は、データ制御サーバ１１０からの、１又は複数の評価用件名ファイルを受信すると、受信したファイルを記憶装置６０に記憶する（Ｓ２１２）。
一方、データ制御サーバ１１０は、評価用件名ファイルの転送が完了すると、評価開始指示をメール件名評価サーバ１２０に送信する（Ｓ２１４）。
メール件名評価サーバ１２０は、データ制御サーバ１１０からの評価開始指示を受信すると、受信した評価用件名ファイルに基づいて、対応する件名評価ＡＩモデルを用いて件名候補の評価処理を実行する（Ｓ２１６）。ここで、一度に処理できるデータ量が制限されているため、各評価用件名ファイルについて順番に評価処理を行う。

ここで、図７は、件名候補を評価する一例を示す図である。
件名候補の評価は、例えば、図７に示すように、件名評価ＡＩモデルに対して、評価用件名ファイルに含まれる、件名候補、配信日時、メール本文、配信先の属性情報を順次入力することで行われる。これにより、学習済みの件名評価ＡＩモデルは、入力された件名候補及び属性情報に対して開封率に関するスコアを出力する。このスコアは、件名候補及び属性情報の組み合わせに対して、配信したメールが開封される可能性をスコア化したものであり、数値が大きいほど可能性が高いことを示している。

図７の例では、２０代の男性の会社員に対して、「本日の平均株価は反発」という件名でメールを配信することで開封率の評価を示すスコアが「８００」となり、「大引けにかけても方向感に乏しい展開」の件名でメールを配信することで、開封率の評価を示すスコアが「７２３」となっている。すなわち、２０代の男性の会社員について、「本日の平均株価は反発」の方が、「大引けにかけても方向感に乏しい展開」よりも開封される可能性が高いとの評価となっている。

また、２０代の女性の会社員に対して、「本日の平均株価は反発」という件名でメールを配信することで開封率の評価を示すスコアが「６２１」となり、「大引けにかけても方向感に乏しい展開」の件名でメールを配信することで、開封率の評価を示すスコアが「６３１」となっている。すなわち、２０代の女性の会社員について、「大引けにかけても方向感に乏しい展開」の方が、「本日の平均株価は反発」よりも開封される可能性が高いとの評価となっている。

また、４０代の女性の自営業者に対して、「本日の平均株価は反発」という件名でメールを配信することで開封率の評価を示すスコアが「８００」となり、「大引けにかけても方向感に乏しい展開」の件名でメールを配信することで、開封率の評価を示すスコアが「７２３」となっている。すなわち、４０代の女性の自営業者について、「本日の平均株価は反発」の方が、「大引けにかけても方向感に乏しい展開」よりも開封される可能性が高いとの評価となっている。

このように、件名の違いによるスコアの変化に加えて、性別や年齢等の属性によって各件名候補に対する開封率のスコアが変化する。このことは、開封率に限らず、他の反応指標についても同様となる。
データ制御サーバ１１０は、メール件名評価サーバ１２０に対して評価処理が完了したか否かを定期的に確認し、評価処理が完了したことを確認すると（Ｓ２２０）、評価結果ダウンロード（ＤＬ）要求をメール件名評価サーバ１２０に送信する（Ｓ２２２）。

メール件名評価サーバ１２０は、データ制御サーバ１１０からの評価結果ＤＬ要求を受信すると（Ｓ２２４）、受信した１又は複数の評価用件名ファイルの各評価用件名ファイルごとに生成された評価結果のデータファイルである１又は複数の評価結果ファイルをデータ制御サーバ１１０に送信する（Ｓ２２６）。
ここで、複数の評価結果ファイルを送信する場合は、これらが共通の評価用件名ファイルの評価結果であることが識別できる識別情報を各ファイルに付加する。

データ制御サーバ１１０は、メール件名評価サーバ１２０からの１又は複数の評価結果ファイルを受信すると（Ｓ２２８）、ファイル結合処理を実行する（Ｓ２３０）。その後、結合処理を経た評価結果ファイルを件名評価サービス提供サーバ１００に送信する（Ｓ２３２）。
件名評価サービス提供サーバ１００は、データ制御サーバ１１０からの評価結果ファイルを受信すると（Ｓ２３４）、受信した評価結果ファイルを利用者端末２００に送信する（Ｓ２３６）。

利用者端末２００は、件名評価サービス提供サーバ１００からの評価結果ファイルを受信する（Ｓ２３８）。これにより、件名候補の評価処理が完了する。
これにより、評価結果ファイルを受領した利用者側は、各件名候補の開封率のスコアを確認して、例えば、最もスコアが高い件名候補を、配信するメールの件名として選択することができる。あるいは、利用者端末２００等の情報処理端末にて、評価結果ファイルを読み込んで、各配信先のユーザに対応する最もスコアが高い件名候補を選択し、選択した件名候補を件名としたメールを自動で配信するプログラムを実行するようにしてもよい。
（評価用件名ファイル転送処理）
図８は、評価用件名ファイル転送処理を示すフローチャートである。
評価用件名ファイル転送処理は、データ制御サーバ１１０にて実行される処理である。
ステップＳ２１０において、評価用件名ファイル転送処理が開始されると、図８に示すように、まずステップＳ３００に移行する。

ステップＳ３００では、受信した評価用件名ファイルのデータ量が所定データ量（例えば１ＧＢ）を超えているか否かを判定し、超えていると判定した場合（ＹＥＳ）は、ステップＳ３０２に移行し、そうでないと判定した場合（ＮＯ）は、ステップＳ３０８に移行する。
ステップＳ３０２に移行した場合は、受信した評価用件名ファイルを所定データ量以下の複数のファイルに分割する処理を実行して、ステップＳ３０４に移行する。
ここで、分割処理は、例えば、受信ファイルのデータ量を所定データ量で割った商の数の所定データ量のファイルと、割り切れなかった場合はその余りのデータ量のファイルとに分割してもよいし、均等なデータ量又は略均等なデータ量の複数のファイルに分割してもよい。

また、各分割したファイルが元は共通のファイルであることを識別できる識別情報を付加する。
ステップＳ３０４では、ステップＳ３０２で分割した複数のファイルを順次メール件名評価サーバ１２０に送信して、ステップＳ３０６に移行する。
ステップＳ３０６では、ファイルの送信が完了したか否かを判定し、完了したと判定した場合（ＹＥＳ）は、一連の処理を終了して元の処理に復帰し、そうでないと判定した場合（ＮＯ）は、ステップＳ３０４に移行する。

一方、ステップＳ３００で受信した評価用件名ファイルのデータ量が所定データ量以下であり、ステップＳ３０８に移行した場合は、受信した評価用件名ファイルをそのままメール件名評価サーバ１２０に送信して、ステップＳ３０６に移行する。
（評価結果ファイル結合処理）
図９は、評価結果ファイル結合処理を示すフローチャートである。
評価結果ファイル結合処理は、データ制御サーバ１１０で実行される処理である。
ステップＳ２３０において、評価結果ファイル結合処理が開始されると、図９に示すように、まずステップＳ４００に移行する。

ステップＳ４００では、受信した評価結果ファイルが複数であるか否かを判定し、複数であると判定した場合（ＹＥＳ）は、ステップＳ４０２に移行し、そうでないと判定した場合（ＮＯ）は、ステップＳ４０６に移行する。
ステップＳ４０２に移行した場合は、受信した複数の評価結果ファイルを１つのファイルに結合して、ステップＳ４０４に移行する。
例えば、評価結果ファイルがＣＳＶファイルである場合は、複数のファイルを縦結合して１つの評価結果ファイルを生成する。

ステップＳ４０４では、結合した１つの評価結果ファイルを件名評価サービス提供サーバ１００に送信して、一連の処理を終了し元の処理に復帰する。
一方、ステップＳ４００で受信した評価結果ファイルが複数ではなく、ステップＳ４０６に移行した場合は、受信した評価結果ファイルをそのまま件名評価サービス提供サーバ１００に送信して、一連の処理を終了し元の処理に復帰する。
〔実施の形態の効果〕
次に、本実施の形態の効果を説明する。

本実施の形態では、件名評価サービス提供サーバ１００により、複数のメール件名候補及び配信先ユーザの属性情報を含む評価用件名ファイルの生成、生成した評価用件名ファイルのデータ制御サーバへの送信を行い、データ制御サーバ１１０により、評価用件名ファイルのメール件名評価サーバ１２０への送信、メール件名評価サーバ１２０からの評価結果ファイルの受信及び評価結果ファイルの件名評価サービス提供サーバ１００への送信を行い、メール件名評価サーバ１２０にて、データ制御サーバ１１０からの評価用件名ファイルの受信、件名評価ＡＩモデルを用いた評価用件名ファイルに含まれるメール件名候補の評価処理及びこの評価結果を含む評価結果ファイルのデータ制御サーバ１１０への送信を行うようにした。また、件名評価ＡＩモデルとして、メール件名に含まれるメールの開封率等の反応指標に影響を与える文字種の割合（実施の形態ではひらがな、カタカナ、漢字の割合）及び記号の有無を含む特徴量のデータ、件名、メール本文、配信日時、配信先の属性情報、開封率の情報等を含む件名評価ＡＩモデル作成用データに基づいて機械学習を行って作成された学習済みのＡＩモデルを用いた。

この構成であれば、特定の文字種や記号を含むメールの件名候補に対して精度の高い評価（反応指標（実施形態では開封率）に関するスコアの推定）を行うことができる。加えて、配信先の属性に応じた適切な評価を行うことができる。
さらに、本実施の形態では、データ制御サーバ１１０において、所定データ量を超える評価用件名ファイルを受信した場合に、この評価用件名ファイルを所定データ量以下の複数のファイルに分割するファイル分割処理を実行し、所定データ量以下の複数の評価用件名ファイルに分けてファイルをメール件名評価サーバ１２０に送信するようにした。また、メール件名評価サーバ１２０において、処理負荷等を考慮して評価処理を所定データ量を上限として実行する構成とした。

この構成であれば、件名評価サービス提供サーバ１００にて、データ量を考慮することなく評価用件名ファイルを作成して、１つのファイルとして送信することができるので、件名評価サービス提供サーバ１００側にて所定データ量以下の複数のファイルに分けて作成するといった手間を軽減することができる。
さらに、本実施の形態では、データ制御サーバ１１０において、複数の評価結果ファイルを受信した場合に、受信した複数の評価結果ファイルを１つのファイルに結合する処理を実行し、結合後の１つの評価結果ファイルを件名評価サービス提供サーバ１００に送信するようにした。

この構成であれば、件名評価サービス提供サーバ１００側にて複数の評価結果ファイルを１つのファイルに結合する処理をする必要が無く、件名評価サービス提供サーバ１００側の処理負荷を軽減することができる。
〔対応関係〕
本実施の形態において、評価用件名ファイルは、発明１乃至３の件名候補ファイルに対応し、ステップＳ２１２は、発明１の件名情報取得手段及び属性情報取得手段に対応し、ステップＳ２１６は、発明１乃至３の推定手段に対応し、件名評価ＡＩモデルは、発明１乃至３の学習済みモデルに対応している。

また、本実施の形態において、ステップＳ２０２は、発明２及び３の作成用情報取得手段に対応し、ステップＳ２０４は、発明２及び３の件名情報生成手段に対応し、ステップＳ２０６は、発明２及び３の件名候補ファイル送信手段に対応している。
また、本実施の形態において、ステップＳ２１０は、発明２のファイル分割手段に対応し、Ｓ２２６は、発明２及び３の第２評価結果送信手段に対応し、ステップＳ２３０は、発明３のファイル結合手段に対応し、ステップＳ２３２は、発明２又は３の第１評価結果送信手段に対応している。

〔変形例〕
なお、上記実施の形態において、評価用件名ファイルの生成及び転送、評価結果ファイルの受信、評価用件名ファイルの分割及び転送、評価結果ファイルの結合及び転送、件名評価ＡＩモデルを用いた件名候補の評価及び評価結果の転送などの各種処理を、夜中などの処理負荷の少ない時間帯に自動で実行する構成としてもよい。この場合に、件名評価サービス提供サーバ１００において、スケジューラー等によって、評価用件名ファイルの生成、予測用件名ファイルの送信、評価結果ファイルの受信等の実行スケジュールの設定を行う。

また、上記実施の形態及びその変形例においては、文字種の一例として、日本語のひらがな、カタカナ、漢字を例に挙げて説明したが、取り扱う文字種はこれに限らない。例えば、カタカナについては、全角と半角とを区別してもよいし、日本語に限らず、日本語と英語等の他の言語とが混在する件名などでは、他言語の文字種の割合についても特徴情報として抽出する構成としてもよい。また、日本語との混合に限らず、日本語以外の母国語と、日本語以外の外国語が混合する件名について、外国語の文字種の割合を特徴情報として抽出する構成としてもよい。
また、上記実施の形態及びその変形例においては、件名評価サービス提供サーバ１００において、所定データ量を超える評価用件名ファイルをデータ制御サーバ１１０に送信した場合に、データ制御サーバ１１０において、受信した評価用件名ファイルを所定データ量以下の複数のファイルに分割し、分割した複数のファイルをメール件名評価サーバ１２０に送信するようにした。また、メール件名評価サーバ１２０では、複数の件名評価ファイルを受信した場合に、ファイルごとに件名候補を評価し、件名評価ファイルごとに生成される複数の評価結果ファイルをデータ制御サーバ１１０に送信するようにした。さらに、データ制御サーバ１１０では、複数の評価結果ファイルを受信した場合に、これら複数の評価結果ファイルを１つのファイルに結合し、結合した１つの評価結果ファイルを件名評価サービス提供サーバ１００に送信するようにした。この構成に限らず、例えば、メール件名評価サーバ１２０にて、複数の評価結果ファイルを１つのファイルに結合して、この１つの評価結果ファイルをデータ制御サーバ１１０に送信する構成としてもよい。この構成とした場合、データ制御サーバ１１０にて結合処理を行わなくてよくなる。また、例えば、データ制御サーバ１１０において、件名評価サービス提供サーバ１００からの評価用件名ファイルが所定データ量を超えていた場合でも分割処理を行わずにそのままメール件名評価サーバ１２０に送信し、メール件名評価サーバ１２０において、件名評価ＡＩモデルの処理容量に合わせた所定データ量以下の複数のファイルに分割して評価処理を行い、ファイルごとの評価結果ファイルである複数の評価結果ファイルをデータ制御サーバ１１０に送信する。さらに、データ制御サーバ１１０において、受信した複数の評価結果ファイルを１つのファイルに結合し、結合した１つの評価結果ファイルを件名評価サービス提供サーバ１００に送信する構成としてもよい。この構成とした場合、データ制御サーバ１１０にて分割処理を行わなくてよくなる。

また、上記実施の形態及びその変形例において、図４及び図５のシーケンスフロー並びに図８及び図９のフローチャートに示す処理を実行するにあたっては、ＲＯＭに予め格納されているプログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭに読み込んで実行するようにしてもよい。
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。

また、上記実施の形態及びその変形例においては、ネットワークシステムとして実現したが、これに限らず、単一の装置又はアプリケーションとして実現することもできる。
また、上記実施の形態及びその変形例においては、インターネット１９９からなるネットワークシステムに適用した場合について説明したが、これに限らず、例えば、インターネット１９９と同一方式により通信を行ういわゆるイントラネットに適用してもよい。もちろん、インターネット１９９と同一方式により通信を行うネットワークに限らず、任意の通信方式のネットワークに適用することができる。

また、上記実施の形態及びその変形例においては、各サーバが備える記憶装置を利用するように構成したが、これに限らず、データベースサーバ等の外部の記憶装置を利用するように構成することもできる。

１００…メール件名評価サービス提供サーバ、 １１０…データ制御サーバ、 １２０…メール件名評価サーバ、 ２００…利用者端末、 ３０…ＣＰＵ、 ３２…ＲＯＭ、 ３４…ＲＡＭ、 ３８…Ｉ／Ｆ、 ４０…入力装置、 ４２，５０，６０…記憶装置、 ４４…表示装置、 ４００…利用者管理テーブル、 ４１０…モデル作成用情報テーブル、 ４２０…件名情報テーブル、 ４３０…ＡＩ対応情報管理テーブル、 ４４０…件名評価ＡＩモデル管理テーブル

Claims (3)

1. メールの件名の候補であって複数の候補のそれぞれについて当該件名に関する件名情報を取得する件名情報取得手段と、
   メールの送信先となるユーザの属性に関する属性情報を取得する属性情報取得手段と、
   メールの件名のうち当該メールに対する前記ユーザの反応の程度を示す反応指標に影響を与える文字種の割合又は記号の有無に関する特徴情報を含む件名特徴情報、当該メールを送信したユーザの属性に関する属性情報及び当該メールの反応指標に関する反応指標情報に基づいて学習を行った学習済みモデルを用いて、前記件名情報取得手段で取得した件名情報及び前記属性情報取得手段で取得した属性情報から、前記メールの送信先となるユーザについて当該件名情報に係る各候補の反応指標を推定する推定手段と、を備えることを特徴とするメール件名評価システム。
2. メールの件名を評価するメール件名評価システムであって、
   メール件名評価サービス提供サーバ及びデータ制御サーバを備え、当該データ制御サーバはメール件名評価サーバと通信可能に接続されており、
   前記メール件名評価サービス提供サーバは、
   メールの件名の候補であって複数の候補のそれぞれについて当該件名に関する件名情報を取得する件名情報取得手段と、
   メールの送信先となるユーザの属性に関する属性情報を取得する属性情報取得手段と、
   前記件名情報取得手段で取得した件名情報及び前記属性情報取得手段で取得した属性情報を含む件名候補ファイルを前記データ制御サーバに送信する件名候補ファイル送信手段と、を備え、
   前記データ制御サーバは、
   前記メール件名評価サービス提供サーバからの前記件名候補ファイルを受信すると、当該件名候補ファイルのデータ量が所定量を超えていた場合に、当該件名候補ファイルを所定量以下の複数の件名候補ファイルに分割するファイル分割手段と、
   前記ファイル分割手段で分割された複数の件名候補ファイル又は受信した前記所定量以下の件名候補ファイルを前記メール件名評価サーバに送信する件名候補ファイル送信手段と、
   前記メール件名評価サーバからの前記件名候補ファイルに含まれる件名候補の反応指標の推定結果を含む評価結果ファイルを受信すると、当該評価結果ファイルを前記メール件名評価サービス提供サーバに送信する第１評価結果送信手段と、を備え、
   前記メール件名評価サーバは、
   前記データ制御サーバからの１又は複数の前記件名候補ファイルを受信後に、メールの件名のうち当該メールの反応指標に影響を与える文字種の割合又は記号の有無に関する特徴情報を含む件名特徴情報、当該メールを送信したユーザの属性に関する属性情報及び当該メールの反応指標に関する反応指標情報に基づいて学習を行った学習済みモデルを用いて、受信した１又は複数の件名候補ファイルのファイルごとに、当該ファイルに含まれる件名情報及び属性情報から、前記メールの送信先となるユーザについて当該件名情報に係る各候補の反応指標を推定する推定手段と、
   前記推定手段の推定結果を含む評価結果ファイルを前記データ制御サーバに送信する第２評価結果送信手段と、を備えることを特徴とするメール件名評価システム。
3. メールの件名を評価するメール件名評価システムであって、
   メール件名評価サービス提供サーバ及びデータ制御サーバを備え、当該データ制御サーバはメール件名評価サーバと通信可能に接続されており、
   前記メール件名評価サービス提供サーバは、
   メールの件名の候補であって複数の候補のそれぞれについて当該件名に関する件名情報を取得する件名情報取得手段と、
   メールの送信先となるユーザの属性に関する属性情報を取得する属性情報取得手段と、
   前記件名情報取得手段で取得した件名情報及び前記属性情報取得手段で取得した属性情報を含む件名候補ファイルを前記データ制御サーバに送信する件名候補ファイル送信手段と、を備え、
   前記データ制御サーバは、
   前記メール件名評価サービス提供サーバからの前記件名候補ファイルを受信すると、当該件名候補ファイルを前記メール件名評価サーバに送信する件名候補ファイル送信手段と、
   前記メール件名評価サーバからの前記件名候補ファイルに含まれる件名候補の反応指標の推定結果を含む推定結果ファイルを受信すると、当該推定結果ファイルが複数の場合に当該複数の推定結果ファイルを１つのファイルに結合するファイル結合手段と、
   前記ファイル結合手段で結合した推定結果ファイル又は受信した推定結果ファイルを前記メール件名評価サービス提供サーバに送信する第１推定結果送信手段と、を備え、
   前記メール件名評価サーバは、
   前記データ制御サーバからの前記件名候補ファイルを受信後に、メールの件名のうち当該メールの反応指標に影響を与える文字種の割合又は記号の有無に関する特徴情報を含む件名特徴情報、当該メールを送信したユーザの属性に関する属性情報及び当該メールの反応指標に関する反応指標情報に基づいて学習を行った学習済みモデルを用いて、受信した件名候補ファイルに含まれる件名情報及び属性情報から、前記メールの送信先となるユーザについて当該件名情報に係る各候補の反応指標を推定する推定手段と、
   前記推定手段の推定結果を含む評価結果ファイルを前記データ制御サーバに送信する第２評価結果送信手段と、を備えることを特徴とするメール件名評価システム。

Images