JP6082716B2 - 放送照合システム及び方法 - Google Patents

Description

本発明は、放送照合装置及びシステム及び方法及びプログラムに係り、特に、インテリジェント端末で撮影したテレビ映像の内容をすべてのテレビ番組及びテレビ広告を対象に短時間に特定するための放送照合装置及びシステム及び方法及びプログラムに関する。

インテリジェント端末で取得したテレビ画面の映像や音声を、あらかじめ登録しておいたテレビ番組やテレビ広告と照合技術を使って照合すれば、どの番組の映像なのか、あるいはどの広告の映像なのかが判明する。実際、特定の番組や特定の広告に限定したシステムは既に実用化されており、サービスも実現している。コンピュータの処理能力の向上やハードディスク容量などの増大に対応して、対象とする番組や広告の範囲を拡大していけば、すべてのテレビ放送についてこの方法により特定することも可能になる。

従来技術として、特許文献１には、「ＴＶ・ＣＭを、放送手段や、映像フォーマットに関わらずに、自動的に識別する」（要約参照）ようにしたテレビ・コマーシャル自動識別装置、電波地域別受信サイト、画像変化作成装置、音声データ処理方法が記載されている。
また、特許文献２には、「画像に関する所望のページ情報を確認及び調査を自動化してページ情報調査データを作成する」（要約参照）ようにしたページ情報取得方法が記載されている。

特開２００６−２３７８１７号公報 特開２００１―１８８７０３号公報

しかし上述のような従来の方法ではすべての番組を対象にしようとすると、すべての放送局の番組の画像を事前に登録する必要があり実用的とは言えず、加えていわゆる事前に放送画像の入手が困難ないわゆる生番組は対象とすることができない、という課題がある。さらにテレビ広告についてはどの広告の画像かが分かっても、どの放送局で放送されたのかが分からないという課題もある。マーケティングの観点からはどの放送局で放送された広告が見られたのかは重要な情報である。

あるいは事前にテレビ番組やテレビ広告に信号を埋め込み、この信号を検出することで何が放送されたのかを判定する方法もある。この場合、すべての番組、すべての広告に放送の前にあらかじめ信号を埋め込むことですべての番組及び広告を対象にすることができるが、信号を事前に埋め込むための放送局あるいは番組や広告の制作会社等の作業管理が膨大となること、生番組ではリアルタイムに信号を埋め込む必要があり、何らかの機器の障害は即放送障害につながる場合があること、信号を埋め込むこと自体が番組や広告の著作物の改変に相当するかもしれないといった著作権絡みの内容に発展する可能性があること、同一の広告主のテレビ広告においては企業ロゴなど同じ映像が使われていることも多く、たまたまインテリジェント端末のカメラで撮影した映像が企業ロゴなど共通で使用されているものであった場合、実際どの広告であったのかを特定することはむずかしく、やはり限定的な使用にとどまっている。

本発明は、以上の点に鑑み、端末で視聴・接触している放送・コンテンツの番組及び／又は広告を放送開始から短時間に高精度で判定し、番組及び／又は広告に関連する情報を端末に提供することを目的とする。

本発明の第１の解決手段によると、
受信した放送の放送局ＩＤ及び放送日時に対する放送画像又は音声と、予め記憶された広告コードに対する広告画像又は音声とを照合し、照合された前記広告画像又は音声の広告コードに基づき、予め記憶された広告コード及び広告関連情報を含む広告情報を検索し、照合された前記広告画像又は音声の放送局ＩＤ及び放送日時と、広告情報とを含む広告放送履歴データを作成する広告放送履歴データ作成システムと、
端末が取得した放送受信中の画面画像又は音声と端末ＩＤとを、前記端末から受信し、前記画面画像又は音声と、受信した放送の放送局ＩＤ及び放送日時に対する放送画像又は音声とを照合して、照合された前記放送画像又は音声の放送局ＩＤ及び放送日時を特定する放送局判定システムと、
前記広告放送履歴データを参照し、特定された前記放送局ＩＤ及び前記放送日時の広告情報があれば、前記広告情報の広告関連情報を前記端末に送信し、前記端末に前記広告関連情報を画面表示させ、一方、特定された前記放送局ＩＤ及び前記放送日時の広告情報がなければ、放送局ＩＤ及び放送日時に対する、番組関連情報を含む番組情報を予め記憶した番組放送予定情報を参照して、特定された前記放送局ＩＤ及び前記放送日時に放送された番組情報の番組関連情報を前記端末に送信し、前記端末に前記番組関連情報を画面表示させる放送内容判定システムと、
を備えた放送照合装置が提供される。

本発明の第２の解決手段によると、
上述のような放送照合装置と、
放送を受信し、前記放送照合装置から受信した広告関連情報又は番組関連情報を画面表示するための端末と
を備えた放送照合システムが提供される。

本発明の第３の解決手段によると、
端末が取得した放送受信中の画面画像又は音声と端末ＩＤとを、前記端末から受信し、前記画面画像又は音声と、受信した放送の放送局ＩＤ及び放送日時に対する放送画像又は音声とを照合して、照合された前記放送画像又は音声の放送局ＩＤ及び放送日時を特定し、
予め記憶された、放送された広告画像又は音声の放送局ＩＤ及び放送日時と、広告関連情報を含む広告情報と、を含む広告放送履歴データを参照し、特定された前記放送局ＩＤ及び前記放送日時の広告情報があれば、前記広告情報の広告関連情報を前記端末に送信し、前記端末に前記広告関連情報を画面表示させ、一方、特定された前記放送局ＩＤ及び前記放送日時の広告情報がなければ、放送局ＩＤ及び放送日時に対する、番組関連情報を含む番組情報を予め記憶した番組放送予定情報を参照して、特定された前記放送局ＩＤ及び前記放送日時に放送された番組情報の番組関連情報を前記端末に送信し、前記端末に前記番組関連情報を画面表示させる、
を備えた放送照合方法が提供される。

本発明の第４の解決手段によると、
処理部が、端末が取得した放送受信中の画面画像又は音声と端末ＩＤとを、前記端末から受信し、前記画面画像又は音声と、受信した放送の放送局ＩＤ及び放送日時に対する放送画像又は音声とを照合して、照合された前記放送画像又は音声の放送局ＩＤ及び放送日時を特定する機能と、
前記処理部が、予め記憶された、放送された広告画像又は音声の放送局ＩＤ及び放送日時と、広告関連情報を含む広告情報と、を含む広告放送履歴データを参照し、特定された前記放送局ＩＤ及び前記放送日時の広告情報があれば、前記広告情報の広告関連情報を前記端末に送信し、前記端末に前記広告関連情報を画面表示させ、一方、特定された前記放送局ＩＤ及び前記放送日時の広告情報がなければ、放送局ＩＤ及び放送日時に対する、番組関連情報を含む番組情報を予め記憶した番組放送予定情報を参照して、特定された前記放送局ＩＤ及び前記放送日時に放送された番組情報の番組関連情報を前記端末に送信し、前記端末に前記番組関連情報を画面表示させる機能と、
をコンピューターに実現させるための放送照合プログラムが提供される。

本発明によると、端末で視聴・接触している放送・コンテンツの番組及び／又は広告を放送開始から短時間に高精度で判定し、番組及び／又は広告に関連する情報を端末に提供することができる。

本実施の形態の放送照合システムの構成図。 インテリジェント端末の構成図。 テレビ広告放送履歴データ作成システムの構成図。 テレビ放送局判定システムの構成図。 テレビ放送内容判定システムの構成図。 テレビ広告情報のフォーマット。 テレビ番組放送予定情報のフォーマット。 インテリジェント端末のハードウェア構成図。 センター機器のハードウェア構成図。 照合結果のフォーマット。 テレビ広告放送履歴データのフォーマット。 テレビ放送内容のフォーマット。

１．概要

本実施の形態では、特に、カメラ機能を有したスマートフォン等のインテリジェント端末を使用して受信中のテレビ画像を撮影することで、撮影した映像がどの番組であったのか、あるいはどのテレビ広告であったのかをすべて（又は予め定められた）の番組及びテレビ広告を対象に短時間のうちに高い精度で判定し、番組やテレビ広告に関連する情報をインテリジェント端末上に表示する。

本実施の形態では、テレビ放送におけるすべての（又は予め定められた）番組、すべての（又は予め定められた）広告を放送が開始されてから数秒後に高い精度で判定し、当該広告や当該番組の関連情報を提供し、併せて当該広告や当該番組に対する視聴者の意識調査などを実施することができる。高い精度で番組や広告の短時間の番組判定や広告判定が可能になれば、利用者に今見ているテレビ放送の番組や広告について、わざわざインターネットの検索・閲覧ソフトを使ってキーワード検索させることなく、例えば、当該番組や当該広告に関連する情報提供、購入サイトへの誘導や景品提供などのサービスができるようになる。また番組や広告についての各種意識調査についても、事後的なアンケート調査を行わずとも、当該番組や広告について視聴と同時又は即時にいわば新鮮な意識の調査が可能となる。また、広告や番組の内容によって調査内容を切り替えることもできる。

［用語］
本実施の形態では、以下説明するように画像や音声の照合技術を使用している。通常、照合技術では画像と画像もしくは音声と音声を照合するとき、照合速度を早くするため、直接、画像や音声の元データ同士を照合することはなく、一度、画像や音声の特徴を抽出した特徴量データを作成し、特徴量データ同士を照合している。本実施の形態で使用する照合技術も同じであるが、説明を簡略化するため、特徴量データという表現は必要最小限にとどめ、単に「画像や音声を照合する」との表現を使用する場合がある。

システムと機能・部については、ここでは複数の機能・部の集合をシステムと表現しており、実際のシステムでは機能・部の配置の仕方や組み合わせ方は、求められる信頼性や利用頻度、応答速度などにより流動的に変わりうる。そのため本実施の形態におけるシステムは固定的なものではなく、説明の都合上、便宜的に付与したものである。

本実施の形態では、テレビ放送は主に番組と広告によって構成されており、このことはすべてのテレビ広告の開始時刻と終了時刻を特定することができれば、それ以外の時間は番組と見なすことができることを意味していると想定される。番組は番組予定表が公にされており、そのため、本実施の形態ではある特定の時刻と放送局を任意に与えたとき、当該時刻において広告が放送されていなければ、番組予定表より番組を特定することができることを見出したものである。またテレビ広告は全放送時間の、例えば２０％以下の割合で放送されており、その部分の認識精度を上げることが、すべての放送の認識精度の向上と直結することも見出したものである。

本実施の形態では主として画像照合技術を使用するが、例えば、放送開始から数秒程度で放送されている番組や広告を特定するためには数秒間隔という短い時間で照合を行う必要があるが、たとえば山や空等といった一般的な映像であっても、全放送の中のどの山や川の画像に該当するかではなく、たとえば、関東地区では月間４０００種類の広告が放送されているが、全放送の２０％以下の時間に繰り返し放送されている４０００種類の広告の中に該当する山や川の映像があるのかを判定すれば良いことを意味している。

２．放送照合システム・装置

図１に、本実施の形態の放送照合システムの構成図を示す。本システムは、インテリジェント端末（１０）、センター機器（放送照合装置）（２０）、外部データ投入機器（３０）を備え、以下の機能・部を有する。ただし、図１はシステムの実装形態を示したものではなく、実際の各システムにおいて各機能・部がどのように機器・装置に配置されるかは、前述したように使用頻度や求められるシステムの信頼性、応答速度、利用頻度などにより決定される。

まず、外部データ投入機器（３０）は、本放送照合システムが機能するように外部から幾つかのデータを投入する（外部データ投入機能・部（１００））。すなわち、データとしては、以下を含む。
・いま放送されている、もしくはこれから放送される予定のテレビ広告の広告コードに対するテレビ広告画像（Ｄ１２）、
・広告画像（Ｄ１２）に関する広告コード、広告主名称、広告されている商品やサービス名称、広告の長さ（秒数）、利用者に提供したい情報などを格納したテレビ広告情報（Ｄ１３）、及び、
・テレビ番組の放送局ＩＤ（放送地区コード、放送局コードなど）及び放送日時（放送日、放送開始時刻、放送終了時刻など）、番組情報（番組名称、利用者に提供したい情報など）を格納したテレビ番組放送予定情報（Ｄ１４）

なお、テレビ広告画像（Ｄ１２）、テレビ広告情報（Ｄ１３）、テレビ番組放送予定情報（Ｄ１４）は、適宜のメモリに記憶される。テレビ番組放送予定情報Ｄ１４は、例えば、放送局などにより公表されている番組表や放送波と同時に送られてくるＰＳＩ／ＳＩと呼ばれる情報をもとに作成することができる。また、データ投入機能・部は、本実施の形態では、外部データ投入機能・部（１００）を用いているが、外部機器に限らず、センター機器（２０）の内部に備えるようにしてもよい。

図６に、テレビ広告情報のフォーマットを示す。テレビ広告情報（Ｄ１３）は、広告コード、広告秒数、広告主コード、広告主名称、商品・サービスコード、商品・サービス名、テレビ広告関連情報（広告主や商品・サービスのホームページのＵＲＬ等）を含む。ここで、「テレビ広告関連情報」としては、例えば、当該広告主のトップページや広告されている商品やサービスに関連する専用ページのＵＲＬ、広告や商品に対する意識調査データ・購買データ等の調査情報、商品モニタ募集情報や各種プレゼント情報等の提供情報、当該広告に関する内容を紹介したテキスト情報などを含むことができる。

図７に、テレビ番組放送予定情報のフォーマットを示す。テレビ番組放送予定情報（Ｄ１４）は、
放送局ＩＤ（放送地区コード、放送局コード）、
放送日時（放送日、放送開始時刻、放送終了時刻）、
番組情報（番組コード、番組秒数、番組名称、番組種類（スポーツ番組／ドラマ番組等）、放送形式（レギュラー放送／単発放送等）、番組関連情報（番組ホームページのＵＲＬ等）、）
を含む。ここで、「番組関連情報」としては、例えば、当該放送局のトップページや当該番組に関する専用ページのＵＲＬ、当該番組に関する内容を紹介したテキスト情報、番組に対する視聴者（聴取者）調査データや視聴（聴取）データ等の接触情報、視聴者プレゼント情報等の提供情報などを含むことができる。

センター機器（２０）にはこれら３種類の情報が適宜投入され、センター機器（２０）はこれら情報をメモリに記憶し（Ｄ３１，Ｄ３５，Ｄ１１）、本システムは稼働する。まず、スマートフォン等のインテリジェント端末（１０）は、テレビ画面画像取得・転送システム（１０１）により、カメラ機能・部を使って、受信中のテレビ画面の画像を取得し、テレビ画面画像をデータセンター等に設置されているセンター機器（２０）にネットワーク経由で転送する。センター機器（２０）では、インテリジェント端末（１０）から送られてきた画像を番組やテレビ広告の画像と直接照合するのではなく、テレビ放送局判定システム（１０２）により、その画像がいつ、どの放送局で放送されたのか（放送局ＩＤ及び放送日時）を特定する。放送局の数は限られており、照合もテレビ放送の過去数秒〜数十秒程度という極めて限定された範囲の画像と行えば良いのであるから、実際の番組の画像やテレビ広告の画像と直接照合することに比べて格段に高い照合精度が保障され、照合に必要な時間も極めて短い。

次に、センター機器（２０）は、いつ、どの放送局で放送されたのかの情報をもとに、テレビ放送内容判定システム（１０３）により当該時刻、当該放送局で実際何が放送されたのかを特定する。特定方法はテレビ広告放送履歴データ作成システム（１０４）が作成したテレビ広告放送履歴データを参照し、当該時刻、当該放送局でテレビ広告が放送されていなかったかどうか確認する（詳細は後述）。センター機器（２０）は、もしテレビ広告が放送されていればインテリジェント端末（１０）から送られてきた画像が、当該テレビ広告の画像であると判定し、必要情報を付加してインテリジェント端末（１０）に返し、インテリジェント端末（１０）は必要情報を画面表示する。

センター機器（２０）は、もし当該時刻、当該放送局にテレビ広告が放送されていなければ、番組が放送されていたと判断して、当該時刻、当該放送局で放送されていた番組を、外部データ投入機能・部１００が投入したテレビ番組放送予定情報（Ｄ１１）（Ｄ１４と同内容）を参照して特定し、当該番組に関連する情報を付加してインテリジェント端末（１０）に返し、インテリジェント端末（１０）は必要情報を画面表示する（詳細は後述）。
センター機器（２０）は、この方法により、放送される番組の映像や音声を予め登録しておくことなしにすべての番組を特定することができる。

３． インテリジェント端末（１０）

図８に、インテリジェント端末のハードウェア構成図を示す。
インテリジェント端末（１０）は、処理部（１１）、入力表示部（１２）、出力部（１３）、通信部（１４）、メモリ（１５）を備える。処理部（１１）は、以下に説明する各機能・部を有し、メモリ（１５）は各情報、データ等を記憶する。

図２に、インテリジェント端末の構成図を示す。
カメラ機能・部を内蔵したスマートフォンやタブレット端末、ノートパソコンなどのインテリジェント端末（１０）に搭載するシステムは、以下の通り、テレビ画面画像取得・転送システム（１０１）、テレビ放送内容取得・画面表示システム（１０６）を備える。

テレビ画面画像取得・転送システム（１０１）は、以下の機能・部を有する。
・テレビ画面判定機能・部（２００）は、インテリジェント端末に搭載されたカメラの画像から受信中のテレビ画面を認識する。
・テレビ画面画像取得機能・部（２０１）は、認識したテレビの画面部分を動画データもしくは静止画データとして取得する（テレビ画面画像（Ｄ２１））。
・テレビ画面画像特徴量データ作成機能・部（２０２）は、取得したテレビ画面の動画データもしくは静止画データから画像や音声照合に用いるための特徴量データ（テレビ画面画像特徴量データ（Ｄ２２））を作成する。取得した動画データもしくは静止画データを、ここでは、データの送信量を少なくし、通信速度を短縮するためインテリジェント端末（１０）側で特徴量データを作成するようにしているが、これに限らず、画像データを、そのままセンター側の機器に送信するようにしてもよい。通常、特徴量データは元の画像データや静止画データに比べると数分の一から数十分のー等の大きさとすることができる。また、以下の説明では、特に画像データを用いて画像により照合する場合について説明するが、本発明及び本実施の形態は、音声データを用いて音声により照合する場合にも適用可能である。音声は、インテリジェント端末（１０）のアプリを立ち上げると同時にインテリジェント端末（１０）のマイクで録音を開始することも可能であるし、テレビを受信し画像を取得するときに録音することも可能である。音声についても画像と同様に特徴量データを作成することができる。音声の照合も、特徴量データを用いてもよいし、元の音声データを用いてもよい。
・テレビ画面画像特徴量データ転送機能・部（２０３）は、上述で作成したテレビ画面の画像特徴量データを、予め設定された端末ＩＤとともに、予め指定された機器（センター機器（２０））に転送する。

テレビ放送内容取得・画面表示システム（１０６）は、以下の機能・部を有する。
テレビ放送内容受信・表示機能・部（２０４）は、センターに設置された機器で（センター機器（２０））処理された結果、すなわち送信したテレビ画面に該当する放送内容情報（Ｄ２３）を受信し、放送内容情報（Ｄ２３）に含まれるテレビ広告関連情報又は番組関連情報等をインテリジェント端末（１０）の画面上に表示する。

４． センター機器（２０）

図９に、センター機器のハードウェア構成図を示す。
センター機器（２０）は、処理部（２１）、入力部（２２）、出力部／表示部（２３）、通信部（２４）、メモリ（２５）、インタフェース（Ｉ／Ｆ）（２６）、受信部（２７）を備える。処理部（２１）は、以下に説明する各機能・部を有し、メモリ（２５）は各情報、データ等を記憶する。

図１に示したように、データセンターなどに設置されたセンター機器（２０）内で動作するシステムは大きく分けて三つを含む。テレビ広告放送履歴データ作成システム（１０４）、テレビ放送局判定システム（１０２）及びテレビ放送内容判定システム（１０３）である。

図３に、テレビ広告放送履歴データ作成システムの構成図を示す。
テレビ広告放送履歴データ作成システム（１０４）は、例えば２４時間３６５日連続的に稼働するシステムで、後述するテレビ放送内容判定システム（１０３）から要求があったときに自らの内部に蓄積したデータを提供する。もしくはテレビ放送内容判定システム（１０３）が必要に応じて本システムが内部に蓄積したデータを取得する。

テレビ広告放送履歴データ作成システム（１０４）は、以下の機能と、テレビ広告画像（Ｄ３１）、テレビ放送画像（特徴量データ）（Ｄ３２）、テレビ広告画像（特徴量データ）（Ｄ３３）、照合結果（Ｄ３４）、テレビ広告情報（Ｄ３５）を記憶するメモリとを備える。テレビ広告画像（Ｄ３１）、テレビ広告情報（Ｄ３５）は、外部データ投入機器（３０）からテレビ広告画像（Ｄ１２）、テレビ広告情報（Ｄ１３）が投入され、センター機器（２０）がメモリに記憶した情報である。
・テレビ放送受信・画像分割機能・部（３０１）は、テレビ放送を複数局分受信する画像キャプチャボードを実装し、画像キャプチャボードから送られてくる複数局のテレビ画像を例えば数秒程度の短い間隔に分割し、特徴量データに変換して、放送局ＩＤ及び放送日時とともに、内部メモリに保持する（テレビ放送画像（特徴量データ）（Ｄ３２））。
・テレビ広告画像蓄積機能・部（３０２）は、外部データ投入機能・部（３００）から送られてくるかもしくは外部の所定の場所に配置されたテレビ広告画像（Ｄ３１）を定期的に取得し、特徴量データに変換して、広告コードと共に内部メモリに蓄積（テレビ広告画像（特徴量データ）（Ｄ３３））する。
・テレビ広告判定機能・部（３０３）は、上述で例えば数秒程度の短い間隔で保持されたテレビ放送画像特徴量データ（Ｄ３２）と、内部メモリに蓄積されたテレビ広告画像（特徴量データ）（Ｄ３３）とを照合し、照合結果（Ｄ３４）を内部に保持する。

図１０に、照合結果のフォーマットを示す。照合結果（Ｄ３４）は、テレビ広告画像（Ｄ３１）がテレビ放送画像（Ｄ３２）として放送された放送局ＩＤ及び放送日時と、テレビ広告画像（Ｄ３１）の広告コードとを含む。なお、照合結果（Ｄ３４）には、さらに広告秒数（放送秒数）を含めてもよい。

なお、本機能・部は内部に広告判定結果を保持しているのだから、次に述べるテレビ広告放送履歴データ作成機能・部を介さなくても、外部から本機能・部が内部に保持している広告判定結果を参照することで、どの広告が放送されたのか知ることができる。しかし本実施の形態では、どの広告が放送されたのかを判定する本機能・部が全体の要であること及び数秒間等という短い間隔で受信している放送局の画像と数千種類の広告画像を照合するため、元来コンピュータの負荷が高く、そこに外部からのインテリジェント端末の利用者ごとに本機能・部が保持している広告判定結果を直接参照することになれば本機能・部の負荷が増大し、応答速度などの低下も予想されるため、次のテレビ広告放送履歴データ作成機能・部（３０４）を立てることにより、本機能・部の利用はテレビ広告放送履歴データ作成機能・部（３０４）のみとなり、本機能・部の負荷を大幅に減らし、システム全体の安定性をはかっている。

テレビ広告放送履歴データ作成機能・部（３０４）は、上述の照合結果より最終的にテレビで放送された広告を特定し、テレビ広告放送履歴データ（Ｄ３６）を作成する。テレビ放送を数秒間隔で分割して照合することにより、早ければ広告の放送開始後数秒程度で放送された広告を特定することができる。ただし、先頭の画像が同じテレビ広告が複数存在すると先頭数秒の照合では上述のテレビ広告判定機能・部（３０３）では複数件の照合結果が出力される。この場合は次の数秒、さらには次の数秒と照合を進めることにより、照合が進むにつれて照合結果が絞り込まれてくる。照合結果が１件になれば、広告の放送が終了していなくても放送された広告を特定することができる。

テレビ広告放送履歴データ作成機能・部（３０４）では、さらに少しでも早くどの広告が放送されたのかを特定するため、蓄積した広告画像のファイル名に広告主コードや広告されている商品・サービスコードを埋め込むようにしてもよい。最初の数秒間の照合で先頭の画像が同じ複数の広告があった場合、複数の照合結果が出力されることになるが、このとき複数の照合結果の広告主コードや商品・サービスコードを比較する。もし複数の照合結果がすべて同じ広告主コードであれば放送された広告の広告主が特定される。複数の照合結果がすべて同じ商品・サービスコードであれば、放送された広告の商品・サービスが特定される。広告されている商品やサービスが特定されれば、当該広告に関する情報やサービスの提供あるいは意識調査などが可能になる。同じ商品やサービス関するテレビ広告で、広告の冒頭の映像が同じ１５秒広告や３０秒広告が同時期に放送されるケースは多く、この判定方法はその場合有効である。

このようにしてテレビで放送された広告が特定されると、テレビ広告放送履歴データ作成機能・部（３０４）は、テレビ広告情報（Ｄ３５）を参照して、広告コード（又は、広告主コードや商品・サービスコード等）をもとに取得したテレビ広告情報（広告主名や商品・サービス名称、テレビ広告関連情報等）を、放送局ＩＤ及び放送日時に付加してテレビ広告放送履歴データ（Ｄ３６）を作成し、内部メモリに保存する。

図１１に、テレビ広告放送履歴データのフォーマットを示す。
テレビ広告放送履歴データ（Ｄ３６）は、
放送局ＩＤ（放送地区コード、放送局コード等）、
放送日時（放送日、放送開始時刻、放送終了時刻等）、
テレビ広告情報（広告コード、広告秒数、広告主コード、広告主名称、商品・サービスコード、商品・サービス名、テレビ広告関連情報（広告主や商品・サービスのホームページのＵＲＬ等））
を含む。

図４に、テレビ放送局判定システムの構成図を示す。
テレビ放送局判定システム（１０２）は、以下の機能・部と、テレビ画面画像特徴量データ（Ｄ４１）、テレビ放送画像が累積されたテレビ放送画像（Ｄ４２）及び判定結果（放送局ＩＤ及び放送日時等）（Ｄ４３）を記憶するメモリとを備える。

・テレビ放送受信・画像分割機能・部（４００）は、テレビ放送を複数局分受信する画像キャプチャボードを実装し、画像キャプチャボードから送られてくる複数局のテレビ画像を、例えば数秒程度の短い間隔に分割し、特徴量データに変換して、放送局ＩＤ及び放送日時とともに、内部メモリに保持する（テレビ放送画像（特徴量データ）（Ｄ４２））。この機能・部は前述したテレビ広告放送履歴データ作成システム（１０４）におけるテレビ放送受信・画像分割機能・部（３０１）と同等である。
・テレビ放送局判定機能・部（４０１）は、インテリジェント端末（１０）から送信されてきたテレビ画面画像特徴量データ（Ｄ４１）と、上述で数秒程度の短い間隔で保持されたテレビ放送画像（特徴量データ）（Ｄ４２）とを照合し、送信されてきたテレビ画面画像特徴量データが、いつ、どの放送局で放送されたものかを判定し、判定結果（放送局ＩＤ及び放送日時等）（Ｄ４３）を内部メモリに保持する。

図５に、テレビ放送内容判定システムの構成図を示す。
テレビ放送内容判定システム（１０３）は、以下の機能・部と、テレビ番組放送予定情報（Ｄ１１）を記憶するメモリとを備える。テレビ番組放送予定情報（Ｄ１１）は、外部データ投入機器（３０）からテレビ番組放送予定情報（Ｄ１４）が投入され、センター機器（２０）がメモリに記憶した情報である。

テレビ放送内容判定機能・部（５０３）は、テレビ放送局判定システム（１０２）により判定されたインテリジェント端末（１０）から送られてきた判定結果（テレビ画像の放送局ＩＤ及び放送日時）（Ｄ４３）をもとに、テレビ広告放送履歴データ作成システム（１０４）が作成したテレビ広告放送履歴データ（Ｄ３６）を参照し、当該放送日時、当該放送局ＩＤでテレビ広告が放送されていなかったかどうか確認する。もしテレビ広告が放送されていればインテリジェント端末（１０）から送られてきたテレビ画面画像特徴量データが、当該テレビ広告であると判定し、テレビ画面画像特徴量データを送ってきた端末の端末ＩＤと、テレビ広告放送履歴データ（Ｄ３６）に記憶された当該テレビ広告のテレビ広告関連情報とを含むテレビ放送内容Ｄ５４を作成する。もし当該放送日時、当該放送局ＩＤにテレビ広告が放送されていなければ、番組が放送されていたと判断して、当該放送日時、当該放送局ＩＤで放送されていた番組を、外部データ投入機能・部（３００）により投入されたテレビ番組放送予定情報（Ｄ１１）を参照して特定し、端末ＩＤと、テレビ番組放送予定情報（Ｄ１１）に記憶された当該番組の番組関連情報とを含むテレビ放送内容（Ｄ５４）を作成する。

図１２に、テレビ放送内容のフォーマットを示す。
テレビ放送内容（Ｄ５４）は、端末ＩＤと、テレビ広告関連情報又は番組関連情報とを含む。

テレビ放送送信機能・部（５０４）は、テレビ放送内容（Ｄ５４）を、ただちに又は予め定められた適宜のタイミングで端末ＩＤのインテリジェント端末（１０）に返送し、インテリジェント端末（１０）はテレビ広告関連情報・番組関連情報等の放送内容情報を画面表示する。

インテリジェント端末（１０）のテレビ放送内容受信・表示機能・部（２０４）は、例えば、テレビ広告関連情報・番組関連情報等に、テレビ広告主や商品・サービス等のホームページのＵＲＬ、又は、放送局や番組ホームページのＵＲＬが含まれていたら、そのＵＲＬに従い、サーバやホームページ等にアクセスして画面表示することができ、あるいは、テキストや画像情報（動画、静止画）、音声情報等が含まれていたら、その情報画面表示することができる。

また、インテリジェント端末（１０）は、「テレビ広告関連情報」として、例えば、広告や商品に対する意識調査データ・購買データ等の調査情報、商品モニタ募集情報や各種プレゼント情報等の提供情報を、適宜のサーバ又は他の機器から取得して画面表示した場合、調査情報・提供情報等に対する情報を入力し、センター機器（２０）に送信することができる。インテリジェント端末（１０）は、「番組関連情報」として、例えば、接触情報・提供情報などを、適宜のサーバ又は他の機器から取得して画面表示した場合、接触情報・提供情報等に対する情報を入力し、センター機器（２０）に送信することができる。センター機器（２０）は、インテリジェント端末（１０）から、調査情報・提供情報・接触情報に対する情報・その他の情報を受信し、必要に応じて適宜の集計処理を行い、適宜のメモリに記憶することができる。

５．変形例及び付記

各情報・データ等を記憶するメモリは、内部メモリに限らず、適宜のメモリを用いることができる。以上の説明では特に画像（画像特徴量データ）を用いた処理について説明したが、音声（音声特徴量データ）を用いた処理としてもよい。また画像又は音声の特徴量データを用いず、原画像又は原音声を用いてもよい。

さらに、以上の説明では、特に、テレビ放送について説明したが、テレビに限らず、様々なコンテンツの放送の視聴・聴取等の接触にも、本発明及び本実施の形態を適用することができる。

本発明の放送照合方法又は放送照合装置・システムは、その各手順をコンピュータに実行させるための放送照合プログラム、放送照合プログラムを記録したコンピュータ読み取り可能な記録媒体、放送照合プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。

１０ インテリジェント端末
２０ センター機器
３０ 外部データ投入機器
１００ 外部データ投入機能・部
１０１ テレビ画面画像取得・転送システム
１０２ テレビ放送局判定システム
１０３ テレビ放送内容判定システム
１０４ テレビ広告放送履歴データ作成システム
１０６ テレビ放送内容取得・画面表示システム
Ｄ１１ テレビ番組放送予定情報
Ｄ１２ 広告画像
Ｄ１３ テレビ広告情報
Ｄ１４ テレビ番組放送予定情報

Claims (7)

1. 放送照合システムであって、
   外部データ投入機器と、
   放送照合装置と、
   端末と、
   を備え、
   
   前記外部データ投入機器は、
   広告コードに対する広告画像又は音声と、
   広告コード、広告関連情報、を含む広告情報と、
   放送局ＩＤ及び放送日時、番組関連情報を含む番組情報、を含む番組放送予定情報と、
   を予め格納するメモリと、
   前記広告画像又は音声、前記広告情報、前記番組放送予定情報を、前記放送照合装置に出力する外部データ投入部と、
   を備え、
   
   前記端末は、
   カメラ又はマイクと、
   前記カメラ又はマイクから放送受信中の画面画像又は音声を取得する画面画像又は音声取得部と、
   取得した前記画面画像又は音声の特徴量データを作成する画面画像又は音声特徴量データ作成部と、
   前記画面画像又は音声の特徴量データを前記放送照合装置に転送する画面画像又は音声特徴量データ転送部と、
   前記放送照合装置から、前記画面画像又は音声に該当する広告関連情報又は番組関連情報を含む放送内容情報を受信し、前記放送内容情報を画面上に表示する放送内容受信・表示部と、
   を備え、
   
   前記放送照合装置は、
   前記外部データ投入機器から入力された広告コードに対する広告画像又は音声を特徴量データに変換して予め記憶し、受信した放送の放送局ＩＤ及び放送日時に対する放送画像又は音声の特徴量データと、予め記憶された広告コードに対する広告画像又は音声の特徴量データとを照合し、照合された前記広告画像又は音声の特徴量データの広告コードに基づき、前記外部データ投入機器から入力されて予め記憶された広告コード及び広告関連情報を含む広告情報を検索し、照合された前記広告画像又は音声の特徴量データの放送局ＩＤ及び放送日時と、広告情報とを含む広告放送履歴データを作成する広告放送履歴データ作成システムと、
   受信した放送の放送局ＩＤ及び放送日時に対する放送画像又は音声を特徴量データに変換して記憶し、前記端末が取得した放送受信中の画面画像又は音声の特徴量データと端末ＩＤとを、前記端末から受信し、前記画面画像又は音声の特徴量データと、予め記憶された受信した放送の放送局ＩＤ及び放送日時に対する放送画像又は音声の特徴量データとを照合して、照合された前記放送画像又は音声の放送局ＩＤ及び放送日時を特定する放送局判定システムと、
   前記放送局判定システムにより特定された放送局ＩＤ及び放送日時をもとに、前記広告放送履歴データ作成システムが作成した広告放送履歴データを参照し、前記放送局ＩＤ及び前記放送日時に放送された広告情報があれば、前記広告情報に含まれる広告関連情報と端末ＩＤとを含む放送内容情報を作成し、一方、前記放送局ＩＤ及び前記放送日時に放送された広告情報がなければ、前記外部データ投入機器から入力された前記番組放送予定情報を参照して、前記放送局ＩＤ及び前記放送日時で放送されていた番組情報を特定し、前記番組情報に含まれる番組関連情報と端末ＩＤとを含む放送内容情報を作成し、前記端末に前記放送内容情報を送信し、前記端末に前記放送内容情報を画面表示させるための、放送内容判定システムと、
   を備えた、
   ことを特徴とする放送照合システム。
   
2. 請求項１に記載の放送照合システムであって、
   前記広告放送履歴データ作成システムは、
   受信した放送の画像又は音声を予め定められた時間間隔に分割して複数の放送画像又は音声とし、放送局及び放送日時に対する各前記放送画像又は音声を、メモリに保持する放送受信・画像又は音声分割部と、
   各前記放送画像又は音声と、予め記憶された広告コードに対する広告画像又は音声とを照合し、照合された前記放送画像又は音声の放送局ＩＤ及び放送日時と、照合された前記広告画像又は音声の広告コードとを含む判定結果を求める広告判定部と、
   前記広告コードに基づき、予め記憶された広告コード及び広告関連情報を含む広告情報を検索し、前記放送局ＩＤ及び前記放送日時と、広告情報とを含む広告放送履歴データを作成し、メモリに保存する広告放送履歴データ作成部と、
   を備えたことを特徴とする放送照合システム。
   
3. 請求項１又は２に記載の放送照合システムであって、
   前記放送局判定システムは、受信した放送の画像又は音声を予め定められた時間間隔に分割して複数の放送画像又は音声とし、各前記放送画像又は音声を、放送局ＩＤ及び放送日時と共に、メモリに保持する放送受信・画像又は音声分割部と、
   前記端末から受信した画面画像又は音声と、各前記放送画像又は音声とを照合し、照合された前記放送画像又は音声に対応する放送局ＩＤ及び放送日時を判定する放送局判定部と、
   を備えたことを特徴とする放送照合システム。
   
4. 請求項１乃至３のいずれかに記載の放送照合システムであって、
   前記画像又は音声データの画像は、動画もしくは静止画であることを特徴とする放送照合システム。
   
5. 請求項１乃至４のいずれかに記載の放送照合システムであって、
   前記端末は、広告関連情報又は番組関連情報に含まれるＵＲＬ又はコンテンツ若しくはホームページを特定する情報に従いサーバ又は他の機器にアクセスして前記放送内容受信・表示部が画面表示すること、又は、広告関連情報又は番組関連情報に含まれるテキスト又は画像又は音声の情報を前記放送内容受信・表示部が画面表示することを特徴とする放送照合システム。
   
6. 請求項１乃至５のいずれかに記載の放送照合システムであって、
   前記端末は、サーバ又は他の機器にアクセスして画面表示した広告関連情報又は番組関連情報に基づき、調査情報又は提供情報又は接触情報に対する情報を入力し、前記放送照合装置に送信し、
   前記放送照合装置は、前記端末から、調査情報又は提供情報又は接触情報に対する情報を受信し、メモリに記憶する
   ことを特徴とする放送照合システム。
   
7. 放送照合システムにおける放送照合方法であって、
   前記放送照合システムは、
   外部データ投入機器と、
   放送照合装置と、
   端末と、
   を備え、
   
   前記外部データ投入機器は、
   広告コードに対する広告画像又は音声と、
   広告コード、広告関連情報、を含む広告情報と、
   放送局ＩＤ及び放送日時、番組関連情報を含む番組情報、を含む番組放送予定情報と、
   を予め格納し、
   前記広告画像又は音声、前記広告情報、前記番組放送予定情報を、前記放送照合装置に出力し、
   
   前記端末は、
   搭載されたカメラ又はマイクから放送受信中の画面画像又は音声を取得し、
   取得した前記画面画像又は音声の特徴量データを作成し、
   前記画面画像又は音声の特徴量データを前記放送照合装置に転送し、
   前記放送照合装置から、前記画面画像又は音声に該当する広告関連情報又は番組関連情報を含む放送内容情報を受信し、前記放送内容情報を画面上に表示し、
   
   前記放送照合装置は、
   前記外部データ投入機器から入力された広告コードに対する広告画像又は音声を特徴量データに変換して予め記憶し、受信した放送の放送局ＩＤ及び放送日時に対する放送画像又は音声の特徴量データと、予め記憶された広告コードに対する広告画像又は音声の特徴量データとを照合し、照合された前記広告画像又は音声の特徴量データの広告コードに基づき、前記外部データ投入機器から入力されて予め記憶された広告コード及び広告関連情報を含む広告情報を検索し、照合された前記広告画像又は音声の特徴量データの放送局ＩＤ及び放送日時と、広告情報とを含む広告放送履歴データを作成し、
   受信した放送の放送局ＩＤ及び放送日時に対する放送画像又は音声を特徴量データに変換して記憶し、前記端末が取得した放送受信中の画面画像又は音声の特徴量データと端末ＩＤとを、前記端末から受信し、前記画面画像又は音声の特徴量データと、予め記憶された受信した放送の放送局ＩＤ及び放送日時に対する放送画像又は音声の特徴量データとを照合して、照合された前記放送画像又は音声の放送局ＩＤ及び放送日時を特定し、
   特定された放送局ＩＤ及び放送日時をもとに、作成された広告放送履歴データを参照し、前記放送局ＩＤ及び前記放送日時に放送された広告情報があれば、前記広告情報に含まれる広告関連情報と端末ＩＤとを含む放送内容情報を作成し、一方、前記放送局ＩＤ及び前記放送日時に放送された広告情報がなければ、前記外部データ投入機器から入力された前記番組放送予定情報を参照して、前記放送局ＩＤ及び前記放送日時で放送されていた番組情報を特定し、前記番組情報に含まれる番組関連情報と端末ＩＤとを含む放送内容情報を作成し、前記端末に前記放送内容情報を送信し、前記端末に前記放送内容情報を画面表示させる
   ことを特徴とする放送照合方法。
   

Images