JP4689701B2 - 広告評価方法、コンピュータ読み取り可能な記録媒体、広告評価システム - Google Patents

Description

本発明は、オンラインで開示される広告を評価する方法およびそのシステムに関し、より詳細には、広告が含む単語などを用いてより効率的に広告を評価するための広告評価方法およびそのシステムに関するものである。

近年、インターネットなどの通信技術の発達に伴い、インターネットユーザはインターネットに接続して多くの時間を消費しながら多くのサイトを訪問している。これにより、多くの広告主は、自分の商品またはサービスを広報するために、オンライン広告に高い関心を寄せている。結局、大多数の広告主は、広告代行業者またはポータルサイトを含むインターネットサイト運営者などに、自分の広告を開示するために多くの要請を行っている。

オンライン広告を開示する方法には多様な方式がある。そのうちで多く用いられている広告方式の１つが、キーワード広告方式である。キーワード広告方式は、広告代行業者のインターネットサイトに対して、広告主は特定のキーワードを広告代行業者から購買する。このとき、キーワード広告方式は、ユーザが広告主の購買したキーワードを含む検索語で検索を行う場合に、検索結果ページを介してその広告をユーザに露出させる方式である。このとき、ユーザは、キーワードと関連した特定商品、カテゴリ、またはイシューなどに関心を有する者であると見ることができるため、キーワード広告方式は広告効果を大きく高めることができるという長所がある。例えば、キーワード広告方式は、広告クリック率、広告露出時間などを大きく高められるようになる。

しかしながら、広告主から広告開示要請が爆発的に増加するに伴い、広告代行業者は開示要請された広告に対して評価手順を進めなければならない負担を抱えている。すなわち、広告代行業者が広告主の開示要請した広告を何の評価手順も経ずにそのまま開示すれば、非効率的な広告になる可能性があるだけでなく、ユーザが本当に所望する広告を提供できなくなるという問題となり得る。さらに、不健全かつ不法的な広告が無差別に提供される恐れも存在する。

従来では、広告代行業者は、すべての広告に対して広告を評価しなければならなかった。これにより、広告代行業者は、広告評価手順に多くの費用および時間を消耗しなければならなかった。さらに、比較的重要ではない広告に対しても、他の重要な広告と同様に同じ評価手順を経なければならず、非効率的な面があった。

これにより、広告を一定の基準に応じて分類し、効率的に評価手順を進めることができる広告評価方法および広告評価システムの必要性が切に求められている。

本発明は、上述のような問題点を解決するために案出されたものであって、広告のキーワードおよび広告詳細情報の関連度に応じて広告の評価方法を決定することで、より効率的に評価方法を決定するための基準を提示することができる広告評価方法およびそのシステムを提供することを目的とする。

また、本発明は、キーワードおよび広告詳細情報に含まれる単語の統計情報に基づいて関連度を計算し、これを介して広告の評価方法を決定することで、より客観的に広告評価方法を決定するための基準を提供することができる広告評価方法およびそのシステムを提供することを他の目的とする。

また、本発明は、キーワードの順位情報に応じて広告の優先反映の可否を決定することで、迅速に広告を開示することができる広告評価方法およびそのシステムを提供することを他の目的とする。

また、本発明は、事前に評価された広告のデータを用いて評価方法を決定することで、より効率的に評価手順を進めることができる広告評価方法およびそのシステムを提供することを他の目的とする。

また、本発明は、使用制限用語が含まれる広告を判断することで、より効率的に評価方法を決定することができる広告評価方法およびそのシステムを提供することを他の目的とする。

さらに、本発明は、ブラックリストとして設定された単語が含まれているか否かを判断することで、より適切に評価方法を決定することができる広告評価方法およびそのシステムを提供することをさらに他の目的とする。

上述の目的を達成するために、本発明の一実施形態に係る広告評価方法は、対象広告のキーワードと広告詳細情報との関連度を計算するステップと、計算された前記関連度が所定のレベルよりも高いか否かによって評価方法を決定するステップと、前記キーワードの順位情報に応じて前記対象広告が先反映／後評価対象であるか否かを決定するステップとを含む。

また、本発明の一実施形態に係る広告評価システムは、対象広告のキーワードと広告詳細情報との関連度を計算する関連度計算部と、計算された前記関連度が所定のレベルよりも高いか否かによって評価方法を決定する評価方法決定部と、前記キーワードの順位情報に応じて前記対象広告が先反映／後評価対象であるか否かを決定する先反映可否決定部とを備える。

本発明は、広告のキーワードおよび広告詳細情報の関連度に応じて広告の評価方法を決定することで、より効率的に評価方法を決定するための基準を提示することができる広告評価方法およびそのシステムを提供する。

また、本発明は、キーワードおよび広告詳細情報に含まれる単語の統計情報に基づいて関連度を計算し、これを介して広告の評価方法を決定することで、より客観的に広告評価方法を決定するための基準を提供する広告評価方法およびそのシステムを提供することができる。

また、本発明は、キーワードの順位情報に応じて広告の優先反映の可否を決定することで、迅速に広告を開示する広告評価方法およびそのシステムを提供することができる。

また、本発明は、事前に評価された広告のデータを用いて評価方法を決定することで、より効率的に評価手順を進める広告評価方法およびそのシステムを提供することができる。

また、本発明は、使用制限用語が含まれる広告を判断することで、より効率的に評価方法を決定する広告評価方法およびそのシステムを提供することができる。

さらに、本発明は、ブラックリストとして設定された単語が含まれているか否かを判断することで、より適切に評価方法を決定する広告評価方法およびそのシステムを提供することができる。

以下、添付の図面を参照しながら、本発明に係る好ましい実施形態について詳細に説明する。

図１は、本発明の一実施形態に係る広告評価方法を示すフローチャートである。

図１に示すように、本発明の一実施形態に係る広告評価方法は、対象広告のキーワードと広告詳細情報との関連度を計算する（Ｓ１１０）。

このとき、ユーザがキーワードを検索語として入力する場合に、広告主の広告が検索結果ページに表示されてユーザに露出（表示）されるようになる。

また、広告詳細情報は、対象広告の題目／説明（Ｔｉｔｌｅ ａｎｄ Ｄｅｓｃｒｉｐｔｉｏｎ）情報、または対象広告の広告サイトをクローリング（ｃｒａｗｌｉｎｇ）して生成されたクローリング情報を含むことができる。

例えば、ユーザが「デパート」をキーワードとして入力して検索を実行すれば、検索結果ページには「ロッテデパート−衣類，化粧品，ブランド，ショッピング，セール」などのようにロッテデパート広告の題目／説明情報が提供される。これだけでなく、「ｗｗｗ．ｘｘｘｘ．ｃｏ．ｋｒ」のようなＵＲＬ（ｕｎｉｆｏｒｍ ｒｅｓｏｕｒｃｅ ｌｏｃａｔｏｒ）も提供される。このとき、広告詳細情報は、ロッテデパートのＵＲＬである「ｗｗｗ．ｘｘｘｘ．ｃｏ．ｋｒ」に相応するサイトをクローリングしたクローリング情報を含むことができる。

このとき、キーワードと広告詳細情報との関連度は、多様な方式で計算されるようになる。すなわち、上述した例において、キーワードである「デパート」と題目／説明情報である「ロッテデパート−衣類，化粧品，ブランド，ショッピング，セール」に含まれる単語との関連度が計算されるようになる。もし、「ｗｗｗ．ｘｘｘｘ．ｃｏ．ｋｒ」から「秋のセール」という単語がクローリングされれば、「デパート」と「秋のセール」との関連度が計算されるようになる。

このとき、関連度を計算するステップＳ１１０は、キーワードおよび広告詳細情報に含まれる単語を抽出するステップと、抽出された単語の単語統計情報に基づいて抽出された単語間の関連性を分析して関連度を算出するステップとを含むことができる。

すなわち、いくつかのキーワードと広告詳細情報に含まれる多くの単語が抽出される。このとき、抽出された単語間の関連性を分析してキーワードと広告詳細情報との関連度が計算されるようになる。このとき、抽出された単語間の関連性は、単語統計情報に基づいて分析されるようになる。

このとき、単語統計情報は、単語ごとにオンライン文章に登場した回数、単語が１つの文章に共に登場した回数、単語のカテゴリ、単語を含む文章のカテゴリなどを考慮して生成されるようになる。

すなわち、上述した例において、キーワード「デパート」とクローリング情報に含まれる「セール」という単語の多数とがオンライン文章で共に用いられていれば、キーワードと広告詳細情報との関連度は高く計算されるようになる。また、キーワード「デパート」と「セール」という単語がショッピングカテゴリに属するオンライン文章に多く含まれると測定されれば、キーワードと広告詳細情報とは高い関連度を有することができる。

また、本発明の一実施形態に係る広告評価方法は、計算された関連度が所定のレベルよりも高いか否かによって評価方法を決定する（Ｓ１２０）。

広告を評価する評価方法には多様な方法が存在すると言える。例えば、評価には多くの時間が要されるが評価精密度は高い手動評価方法がある。また、評価精密度は手動評価方法よりは低いが評価にかかる時間は少ない自動評価方法がある。

もし、キーワードと広告詳細情報との関連度が極めて高ければ、この広告はキーワードと関連する広告を行っている確率が高くなる。このような場合には、キーワードが不法的かつ不健全でなければ、必要以上に広告評価に時間と手間をかける必要がないため、自動評価方法で評価することが合理的である。これとは反対に、キーワード自体は極めて健全な単語であるが、広告詳細情報にはアダルト単語が含まれており、キーワードと広告詳細情報との関連度が低く計算された場合には、手動評価方法で広告を評価して広告内容を詳細に評価する必要がある。したがって、本発明によれば、キーワードと広告詳細情報との関連度に応じて評価方法を決定し、効率的に広告評価手順を進められるようになる。

このとき、評価方法を決定するステップＳ１２０は、キーワードと広告詳細情報との関連度が所定のレベルよりも低い場合には、対象広告を手動評価方法を用いて評価するように決定することができる。

また、本発明の一実施形態に係る広告評価方法は、キーワードの順位情報に応じて対象広告が先反映／後評価対象であるか否かを決定する（Ｓ１３０）。

このとき、順位情報は、キーワードのクエリカウント（ｑｕｅｒｙ ｃｏｕｎｔ）による順位に関するものであると言える。クエリカウントが高いキーワードは、ユーザにとっては人気キーワード、広告代行業者にとっては売上げ上位キーワード、広告主にとっては多くの費用を支払って購買したキーワードであると言える。すなわち、クエリカウントが高いキーワードを有する広告は、評価に多くの時間がかかれば、広告主や広告代行業者すべてに非効率的であると言える。したがって、評価手順を進める前に広告を優先反映して（「先反映／後評価」に相当）迅速に開示することが、広告主または広告代行業者に有利であると言える。

このとき、先反映／後評価対象の可否を決定するステップＳ１３０は、キーワードのクエリカウントが所定の順位以上である場合に、対象広告を先反映／後評価対象として決定することができる。このとき、先反映／後評価対象の可否を決定するステップＳ１３０は、キーワードと広告詳細情報との関連度が所定のレベルよりも高い場合に限って、対象広告が先反映／後評価対象であるか否かを決定することができる。

このとき、先反映／後評価対象の可否を決定するステップＳ１３０は、対象広告のキーワードまたは広告詳細情報に予めブラックリストとして設定した単語が含まれている場合には、対象広告を手動評価方法を用いて評価するように決定することができる。

図１には、各ステップが順に実行されるものとして示されているが、各ステップは任意の順で実行されることもできるし、ステップの一部または全体が並列的に同時に実行されることもできる。

図２は、本発明の評価対象広告の一例を示す図である。

図２に示すように、図２には、キーワード２１０と、広告の題目／説明情報２２０，２３０と、ＵＲＬ２４０とが示されている。

ユーザは、キーワードとして「ナイキ」２１０を入力して検索を実行する。このとき、検索サイトの検索結果ページには、キーワード「ナイキ」を購買した広告主の広告が提供されるようになる。すなわち、広告主が運営するショッピングサイトの題目２２０、ショッピングサイトの説明２３０、およびショッピングサイトのＵＲＬ２４０が提供される。

このとき、ユーザは、題目２２０、説明２３０、またはＵＲＬ２４０のうちの少なくとも１つ以上を介してショッピングサイトに接続することができる。また、クローリング情報は、ＵＲＬ２４０に相応するショッピングサイトをクローリングした情報である。広告詳細情報は、題目／説明情報２２０，２３０、およびＵＲＬ２４０に相応するサイトをクローリングした情報を含むことができる。また、題目／説明情報２２０，２３０に含まれる「ナイキ」、「新商品」、「アディダス」などの様々な単語が抽出されるようになる。

このとき、単語統計情報に基づいてキーワード「ナイキ」２１０と題目／説明情報２２０，２３０から抽出された「ナイキ」、「新商品」、「アディダス」単語との関連性が分析されるようになり、これによってキーワードと広告詳細情報との関連度が計算されるようになる。

図３は、本発明によって広告を評価する方法の一例を示すフローチャートである。

図３を参照すれば、本発明の一実施形態に係る広告評価方法は、対象広告のキーワードと広告詳細情報との関連度を計算する（Ｓ３１０）。

このとき、関連度計算ステップＳ３１０は、キーワードおよび広告詳細情報に含まれる単語を抽出し、抽出された単語の単語統計情報に基づいて単語間の関連性を分析して関連度を算出することができる。

すなわち、キーワードに含まれる単語と広告詳細情報に含まれる単語との関連度を計算する。このとき、広告詳細情報は、対象広告の題目／説明情報、または対象広告の広告サイトをクローリングして生成されたクローリング情報を含むことができる。

また、本発明の一実施形態に係る広告評価方法は、計算された関連度が所定のレベルｋよりも高いか否かを判断する（Ｓ３２０）。このとき、関連度がｋよりも高いと判断されれば次のステップＳ３３０に移動するが、関連度がｋよりも低い場合には広告を手動評価対象として決定する。すなわち、キーワードと広告詳細情報との関連度が低いということは、このキーワードと関係のない広告が開示されている確率が高いため、より評価精密度が高い手動評価方法でこの広告を評価する。

このとき、関連度判断ステップＳ３２０は、キーワードおよび広告詳細情報に含まれる単語を抽出し、抽出された単語の単語統計情報に基づいて単語間の関連性を分析して関連度を算出することができる。単語統計情報については上述して説明したため、以下省略する。

また、本発明の一実施形態に係る広告評価方法は、評価が予め実行された広告のキーワードまたは広告詳細情報を含む事前評価データを保存する（Ｓ３３０）。

すなわち、事前に評価手順が完了した広告のキーワードまたは広告詳細情報に関するデータを、対象広告の評価方法決定のための基準とする。

ただし、図３では、事前評価データ保存ステップＳ３３０が関連度判断ステップＳ３２０の次のステップに示されているが、関連度計算ステップＳ３１０および関連度判断ステップＳ３２０と同時または逆順に進められても良い。

また、本発明の一実施形態に係る広告評価方法は、対象広告のキーワードまたは対象広告の広告詳細情報を事前評価データと比較して対象広告の評価方法を決定する（Ｓ３４０）。

例えば、対象広告のキーワードが「ナイキ」である場合に、従前にキーワードが「ナイキ」であった広告に関する事前評価データを対象広告の評価方法決定のために用いる。すなわち、事前評価データに保存された評価が予め実行された広告のキーワードまたは広告詳細情報を対象広告のキーワードまたは広告詳細情報と比較する。このとき、比較の結果として一定の割合以下のマッチング割合が表れれば、対象広告は手動評価対象となって精密に評価される。これとは反対に、比較の結果が一定の割合以上のマッチングの割合を表す場合には、対象広告は評価所要時間が手動評価方法よりも短い自動評価対象となる。

このとき、事前評価データと対象広告のキーワードまたは広告詳細情報を比較する場合には、上述した関連度を計算する過程が類似して適用されるようになる。

また、本発明の一実施形態に係る広告評価方法は、対象広告のキーワードまたは広告詳細情報を所定の使用制限用語と比較して対象広告の評価方法を決定する（Ｓ３５０）。例えば、使用制限用語には、アダルト単語、著作権侵害単語、販売禁止商品に関する単語など、不健全かつ不法的な単語が含まれるようになる。すなわち、対象広告のキーワードまたは広告詳細情報に使用制限用語が含まれていれば、より精密に評価する必要がある広告として判断して手動評価対象にする。

また、本発明の一実施形態に係る広告評価方法は、キーワードの順位情報に応じて対象広告が先反映／後評価対象であるか否かを決定する（Ｓ３６０）。

例えば、キーワードのクエリカウントが所定の順位以上であったり、キーワードの売上げ順位が特定の順位以上である場合には、対象広告を先反映／後評価対象として決定する。すなわち、キーワードのクエリカウントが高い場合には、迅速に広告を反映することで広告主の満足度を高めることができ、広告代行業者もより有利な経済的効果を得られるようになる。

また、本発明の一実施形態に係る広告評価方法は、対象広告のキーワードまたは広告詳細情報に予めブラックリストとして設定した単語が含まれている場合には、対象広告を手動評価方法を用いて評価するように決定する（Ｓ３７０）。

このとき、ブラックリストとして設定される単語は、上述したステップＳ３１０，Ｓ３２０，Ｓ３３０，Ｓ３４０，Ｓ３５０によって検出されて対象広告の評価方法を決定するものではないが、様々な原因によって手動評価が必要な場合に設定される単語であると言える。例えば、使用制限用語には該当しないが、広告で開示される場合に様々な問題を起こし得る単語がブラックリスト単語として設定されるようになる。

このとき、対象広告のキーワードまたは広告詳細情報にブラックリスト単語が含まれていれば、対象広告は手動評価方法で評価される。

図３には、各ステップが順に実行されるものとして示されているが、各ステップは任意の順で実行されることもできるし、ステップの一部または全体が並列的に同時に実行されることもできる。

なお、本発明に係る広告評価方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。なお、本実施の形態におけるプログラムには、実行モジュールが動的に生成されるプログラムを含むものとする。

図４は、本発明の一実施形態に係る広告評価システムを示すブロック図である。

図４を参照すれば、本発明の一実施形態に係る広告評価システムは、関連度計算部４１０と、評価方法決定部４２０と、先反映可否決定部４３０と、不図示のＣＰＵと、不図示のメモリとを備えている。ここで、不図示のＣＰＵは、広告評価システムにおける各種処理を行う役割を有しており、また上記メモリに格納されているプログラムを実行することにより種々の機能を実現する役割も有している。当該メモリは、例えばＲＯＭ、ＲＡＭ、ＨＤＤ等から構成されており、広告評価システムにおいて利用される種々の情報やプログラムを格納する役割を有している。上述の広告評価システムでの処理における各ステップの機能は、不図示のメモリに格納されている広告評価プログラムを不図示のＣＰＵに実行させることにより実現することができる。

関連度計算部４１０は、対象広告のキーワードと広告詳細情報との関連度を計算する。このとき、図４には示していないが、関連度計算部４１０は、キーワードおよび広告詳細情報に含まれる単語を抽出する単語抽出部と、抽出された単語の単語統計情報に基づいて単語間の関連性を分析して関連度を算出する関連度算出部とを備えることができる。このとき、広告詳細情報は、対象広告の題目／説明情報、または対象広告の広告サイトをクローリングして生成されたクローリング情報を含むことができる。

また、評価方法決定部４２０は、計算された関連度が所定のレベルよりも高いか否かによって評価方法を決定する。評価方法決定部４２０は、関連度が所定のレベルよりも低い場合には、対象広告を手動評価方法を用いて評価するように決定することができる。

また、先反映可否決定部４３０は、キーワードの順位情報に応じて対象広告が先反映／後評価対象であるか否かを決定する。このとき、先反映可否決定部４３０は、キーワードのクエリカウントが所定の順位以上である場合には、対象広告を先反映／後評価対象として決定することができる。このとき、先反映可否決定部４３０は、関連度が所定のレベルよりも高い場合には、キーワードの順位情報に応じて対象広告が先反映／後評価対象であるか否かを決定することができる。このとき、先反映可否決定部４３０は、対象広告のキーワードまたは広告詳細情報に予めブラックリストとして設定した単語が含まれている場合には、対象広告を手動評価方法を用いて評価するように決定することができる。

また、図４には示していないが、本発明の一実施形態に係る広告評価システムは、評価が予め実行された広告のキーワードまたは広告詳細情報を含む事前評価データを保存する事前評価データ保存部と、対象広告のキーワードまたは対象広告の広告詳細情報を事前評価データと比較して対象広告の評価方法を決定する事前評価データ比較部とをさらに備えることができる。

また、本発明の一実施形態に係る広告評価システムは、対象広告のキーワードまたは広告詳細情報を所定の使用制限用語と比較して対象広告の評価方法を決定する使用制限用語比較部をさらに備えることができる。

なお、関連度計算部４１０における関連度の計算に用いる所定の計算ルール、評価方法決定部４２０における評価方法の決定時に参照する関連度の閾値（所定のレベル）、先反映可否決定部４３０における決定時に参照するクエリカウントの閾値（所定の順位）等の情報は、例えば不図示のメモリに、必要に応じて読み出し可能なように格納しておくことができる。また、図４に示す広告評価システムを構成する各要素は、必ずしも１つの機器に備わっている必要はなく、結果として各構成要素がそれぞれの機能を実現することができる構成となっていれば、複数の機器に分散して配置されていてもよい。

図４に示す装置に関して説明されていない内容は、図１〜図３を参照しながら上述して説明したため、以下省略する。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

本発明の一実施形態に係る広告評価方法を示すフローチャートである。 本発明の評価対象広告の一例を示す図である。 本発明によって広告を評価する方法の一例を示すフローチャートである。 本発明の一実施形態に係る広告評価システムを示すブロック図である。

符号の説明

Ｓ１１０：関連度計算
Ｓ１２０：評価方法決定
Ｓ１３０：先反映／後評価対象可否決定
Ｓ３１０：関連度計算
Ｓ３２０：関連度判断
Ｓ３３０：事前評価データ保存
Ｓ３４０：マッチング可否判断
Ｓ３５０：使用制限用語判断
Ｓ３６０：先反映可否判断
Ｓ３７０：ブラックリスト単語判断

Claims (15)

1. 広告評価方法であって、コンピュータにより実行されるステップが、
   対象広告のキーワードと広告詳細情報との関連度を演算するステップと、
   前記関連度が所定のレベルよりも高いか否かを判別し、前記関連度が所定のレベルよりも高い前記対象広告の評価手法を所定の事前評価データを用いた自動評価手法の対象として決定する評価方法決定ステップと、
   前記キーワードのクエリカウントに基づくキーワードの順位情報に基づいて、前記自動評価手法の対象として決定された前記対象広告のキーワードの順位が所定順位内であるか否かを判別し、所定順位内であると判別された場合に当該対象広告を前記自動評価手法により評価処理を行う前にユーザから入力される検索語に対する検索結果に反映させる先反映／後評価対象として決定する先反映／後評価対象決定ステップと、
   を含むことを特徴とする広告評価方法。
2. 前記関連度を演算するステップは、
   前記キーワードおよび前記広告詳細情報に含まれる単語を抽出するステップと、
   抽出された前記単語の単語統計情報に基づいて前記単語間の関連性を分析して前記関連度を算出するステップと、
   を含むことを特徴とする請求項１に記載の広告評価方法。
3. 前記広告詳細情報は、前記対象広告の題目／説明情報、または前記対象広告の広告サイトをクローリングして生成されたクローリング情報を含むことを特徴とする請求項１又は２に記載の広告評価方法。
4. 前記評価方法決定ステップは、
   前記関連度が所定のレベルよりも低いと判別された場合に、前記対象広告の評価手法を手動評価方法の対象として決定することを特徴とする請求項１から３のいずれか１つに記載の広告評価方法。
5. 所定の評価手順に基づいて予め評価された広告のキーワードまたは広告詳細情報を含む前記事前評価データを所定の記憶領域に保存するステップをさらに含み、
   前記評価方法決定ステップは、
   前記対象広告のキーワードまたは前記対象広告の広告詳細情報を前記事前評価データとマッチングし、マッチング率が所定値以上であり、かつ前記関連度が所定のレベルよりも高い前記対象広告を前記自動評価手法の対象として決定するステップを含むことを特徴とする請求項１から４のいずれか１つに記載の広告評価方法。
6. 前記対象広告のキーワードまたは前記広告詳細情報が所定の使用制限用語を含むか否かを判別し、前記使用制限用語を含む前記対象広告を手動評価方法の対象として決定するステップをさらに含むことを特徴とする請求項１から５のいずれか１つに記載の広告評価方法。
7. 前記先反映／後評価対象決定ステップは、
   前記対象広告のキーワードまたは前記広告詳細情報に予めブラックリストとして設定された単語が含まれているか否かを判別し、含まれている場合に前記対象広告の評価手法を手動評価方法の対象として決定することを特徴とする請求項１から６のいずれか１つに記載の広告評価方法。
8. 請求項１ないし７のうちのいずれか一項に記載の広告評価方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
9. 対象広告のキーワードと広告詳細情報との関連度を演算する関連度計算部と、
   前記関連度が所定のレベルよりも高いか否かを判別し、前記関連度が所定のレベルよりも高い前記対象広告の評価手法を所定の事前評価データを用いた自動評価手法の対象として決定する評価方法決定部と、
   前記キーワードのクエリカウントに基づくキーワードの順位情報に基づいて、前記自動評価手法の対象として決定された前記対象広告のキーワードの順位が所定順位内であるか否かを判別し、所定順位内であると判別された場合に当該対象広告を前記自動評価手法により評価処理を行う前にユーザから入力される検索語に対する検索結果に反映させる先反映／後評価対象として決定する先反映可否決定部と、
   を備えることを特徴とする広告評価システム。
10. 前記関連度計算部は、
    前記キーワードおよび前記広告詳細情報に含まれる単語を抽出する単語抽出部と、
    抽出された前記単語の単語統計情報に基づいて前記単語間の関連性を分析して前記関連度を算出する関連度算出部と、
    を備えることを特徴とする請求項９に記載の広告評価システム。
11. 前記広告詳細情報は、前記対象広告の題目／説明情報、または前記対象広告の広告サイトをクローリングして生成されたクローリング情報を含むことを特徴とする請求項９又は１０に記載の広告評価システム。
12. 前記評価方法決定部は、
    前記関連度が所定のレベルよりも低いと判別された場合に、前記対象広告の評価手法を手動評価方法の対象として決定することを特徴とする請求項９から１１のいずれか１つに記載の広告評価システム。
13. 所定の評価手順に基づいて予め評価された広告のキーワードまたは広告詳細情報を含む前記事前評価データを所定の記憶領域に保存する事前評価データ保存部と、
    前記対象広告のキーワードまたは前記対象広告の広告詳細情報を前記事前評価データとマッチングし、マッチング率が所定値以上であり、かつ前記関連度が所定のレベルよりも高い前記対象広告の評価方法を前記自動評価手法の対象として決定する事前評価データ比較部と、
    をさらに備えることを特徴とする請求項９から１２のいずれか１つに記載の広告評価システム。
14. 前記対象広告のキーワードまたは前記広告詳細情報が所定の使用制限用語を含むか否かを判別し、前記使用制限用語を含む前記対象広告を手動評価方法の対象として決定する使用制限用語比較部、
    をさらに備えることを特徴とする請求項９から１３のいずれか１つに記載の広告評価システム。
15. 前記先反映可否決定部は、
    前記対象広告のキーワードまたは前記広告詳細情報に予めブラックリストとして設定された単語が含まれるか否かを判別し、含まれている場合に前記対象広告を手動評価方法の対象として決定することを特徴とする請求項９から１４のいずれか１つに記載の広告評価システム。

Images