JP4614613B2 - 特定情報検出装置、特定情報検出方法、プログラム、及び記録媒体並びに特定情報検出システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビジョン放送された時系列のフレーム画像からなる映像に含まれる特定情報を検出する特定情報検出装置、特定情報検出方法、プログラム、及び記録媒体並びに特定情報検出システムに関し、特にニュース速報等の臨時ニュースを検出するのに好適な特定情報検出装置、特定情報検出方法、プログラム、及び記録媒体並びに特定情報検出システムに関する。
【０００２】
【従来の技術】
テレビ放送では、自然災害又は選挙速報等が、ニュース速報用テロップ及びニュース速報用チャイムにより、ニュース速報（以下、臨時ニュース、又は緊急ニュースともいう。）として放送されることがある。
【０００３】
従来、テレビ放送又はテレビ放送以外の映像を視聴している場合に、このような臨時ニュースを検出して知らせる技術が、特開平９−３２６９６９号公報に開示されている。この公報に記載の臨時ニュース検出回路は、テレビ受像機に設けられ、テレビ放送で臨時ニュースが放送されていることを知らせるための臨時ニュース検出回路であって、現在選択されているチャンネルが何であるか、又はテレビ放送以外の外部映像信号が供給されているか等のテレビ受像機の状態を判別する判別手段と、テレビ放送以外の外部映像信号が供給されていると判別された場合に、チューナが選択しているテレビ放送の音声に臨時ニュースを知らせる告知音声があるか否かを判断する臨時ニュース音声判断手段と、臨時ニュースを知らせる文字テロップがあるか否かを判断する臨時ニュース映像判断手段と、音声判断手段及び映像判断手段により臨時ニュースありと判断された場合に臨時ニュースが放送されていることを知らせるキャラクタ信号を発生するキャラクタ発生手段と、キャラクタ信号は示すキャラクタを外部映像に重畳したＲＧＢの３原色信号を生成し、これを表示デバイスに与える混合手段とを有する。
【０００４】
このように構成された従来の技術においては、視聴者は、テレビ放送以外の映像を見ている場合であっても、テレビ放送で臨時ニュースが放送されていることを知ることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の特開平９−３２６９６９号公報に記載された臨時ニュース検出回路においては、一般に各チャンネル毎に告知音声が異なるため、各チャンネルに対応した告知音声をＦ−Ｖ変換（周波数−電圧変換）した電圧をチャンネル毎に設定する必要があり、更に入力されるテレビ放送の音声信号をピークホールドし、設定した電圧とピークホールドした電圧とを比較することにより告知音声を検出するため、放送局が告知音声を変更した場合等には、テレビ放送から告知音声を検出できなくなるという問題点がある。また、告知音声があるかないかの判別と共に、文字テロップについても常にあるかないかを判別しているため、処理が複雑であり、更に、臨時ニュースが放送されていることをキャラクタによって視聴者に知らせるため、臨時ニュースの内容が不明であり、視聴者がその臨時ニュースを視聴したいか否かを判断すること等ができず、利便性に欠けるという問題点もある。
【０００６】
本発明は、このような従来の実情に鑑みて提案されたものであり、臨時ニュース等の音及び文字情報を迅速に検出してリアルタイムに特定情報を検出することができる特定情報検出装置、特定情報検出方法、プログラム、及び記録媒体並びに特定情報検出システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る特定情報検出装置は、音響信号及び映像信号からなるテレビジョン信号から臨時ニュース又は緊急ニュースとしての特定情報を検出する特定情報検出装置において、上記テレビジョン信号から取り出された上記音響信号における臨時ニュース又は緊急ニュースの告知音を構成する特有の信号強度変化を検出する音検出手段と、上記音検出手段により上記信号強度変化が検出された場合にのみ、上記テレビジョン信号から取り出された上記映像信号に文字情報があるか否かを検出する文字情報検出手段と、上記音響信号の上記信号強度変化が検出されてから所定期間内に上記文字情報が検出された場合、該文字情報を特定情報として検出する特定情報検出手段とを有する。
【０００８】
本発明においては、音響信号の所定変化が検出されてから所定期間内に文字情報が検出された場合にその文字情報を特定情報と判断するため、常時文字情報を検出する必要がなく、低コストであると共に、音響信号及び映像信号から特定情報であるか否かを判断するので特定情報を正確に検出することができる。
【０００９】
また、上記音検出手段は、告知音を構成する特有の信号強度変化を検出するものであって、音響信号を周波数軸上の信号に変換し、周波数軸上に変換された信号の時間変化が所定の閾値以上であるものを上記告知音として検出することができ、告知音はパターンマチングではなく、信号強度の変化の割合から検出するため、例えば放送局が告知音を変更した場合においても告知音を検出することができる。
【００１０】
更に、上記音検出手段は、告知音を構成する特有の信号強度変化を検出するものであって、音響信号を周波数軸上の信号に変換し、周波数軸上に変換された信号の強度が所定の閾値以上の信号についての周波数の変化に基づき上記告知音を検出することができ、告知音が例えば音階を有する場合等においても検出可能である。
【００１１】
更にまた、少なくとも１つのチューナ手段を有する受信手段を備え、該受信手段は、複数のチャンネルに対するテレビジョン放送を時分割で選局し、時分割で選局された複数のチャンネルに対応する音響信号及び映像信号を受信して夫々上記音検出手段及び文字情報検出手段に供給することができ、１つのチューナ手段によっても複数のチャンネルの探査をして特定情報を検出することができる。
【００１２】
また、少なくとも１つの表示手段に接続され、上記特定情報検出手段により上記特定情報が検出されたとき該特定情報、又は該特定情報を含むフレーム画像を上記表示手段に提示するよう制御する提示制御手段を有することができる。
【００１３】
更に、上記特定情報検出手段により上記特定情報が検出されたとき、上記チューナ手段が当該特定情報が検出されたチャンネルを選局するよう制御する提示制御手段を有することができ、特定情報が検出された場合に、そのチャンネルが選局されるため、使用者は速やかにその映像を視聴することができる。
【００１４】
更にまた、上記受信手段は、少なくとも２つのチューナ手段を有し、上記特定情報検出手段は、一方のチューナ手段により受信したテレビジョン信号から上記特定情報を検出し、上記提示制御手段は、少なくとも２つの表示手段に接続され、他方のチューナ手段により受信したテレビジョン信号の映像を一方の表示手段に提示し、上記特定情報を他方の表示手段に提示するよう制御することができ、複数台の表示手段を使用すれば、使用者は特定情報が検出された場合でも現在視聴している映像を一方に表示させたまま、他方の表示手段により特定情報を確認することができる。
【００１５】
また、上記受信手段は、少なくとも２つのチューナ手段を有し、上記特定情報検出手段は、一方のチューナ手段により受信したテレビジョン信号から上記特定情報を検出し、上記提示制御手段は、他方のチューナ手段により受信したテレビジョン信号に、上記特定情報の画像信号を重ね合わせて上記表示手段に提示するよう制御することができ、１台の表示手段のみを使用している場合でも、現在視聴している映像に特定情報を重ね合わせて表示することにより、使用者は現在視聴している映像を視聴しつつ特定情報を確認することが可能である。
【００１６】
更に、上記文字情報検出手段は、上記他方のチューナ手段により受信した映像信号から文字情報を検出し、上記提示制御手段は、該文字情報を含まない領域に、上記特定情報を重ね合わせて上記表示手段に提示するよう制御することができる。
【００１７】
本発明に係る特定情報検出方法は、音響信号及び映像信号からなるテレビジョン信号から臨時ニュース又は緊急ニュースとしての特定情報を検出する特定情報検出方法において、上記テレビジョン信号から取り出された上記音響信号における臨時ニュース又は緊急ニュースの告知音を構成する特有の信号強度変化を検出する音検出工程と、上記音検出工程により上記信号強度変化が検出された場合にのみ、上記テレビジョン信号から取り出された上記映像信号に文字情報があるか否かを検出する文字情報検出工程と、上記音響信号の上記信号強度変化が検出されてから所定期間内に上記文字情報が検出された場合、該文字情報を特定情報として検出する特定情報検出工程とを有する。
【００１８】
本発明に係るプログラム及びこれを記録した記録媒体は、音響信号及び映像信号からなるテレビジョン信号から臨時ニュース又は緊急ニュースとしての特定情報を検出する動作をコンピュータに実行させるためのプログラム及びこれを記録した記録媒体において、上記テレビジョン信号から取り出された上記音響信号における臨時ニュース又は緊急ニュースの告知音を構成する特有の信号強度変化を検出する音検出工程と、上記音検出工程により上記信号強度変化が検出された場合にのみ、上記テレビジョン信号から取り出された上記映像信号に文字情報があるか否かを検出する文字情報検出工程と、上記音響信号の所定変化が検出されてから所定期間内に上記文字情報が検出された場合、該文字情報を特定情報として検出する特定情報検出工程とを有する。
【００１９】
本発明に係る特定情報検出システムは、音響信号及び映像信号からなるテレビジョン信号から臨時ニュース又は緊急ニュースとしての特定情報を検出する特定情報検出システムにおいて、少なくとも１つの表示装置と、上記テレビジョン信号から取り出された上記音響信号における臨時ニュース又は緊急ニュースの告知音を構成する特有の信号強度変化があるか否かを検出する音検出手段と、上記音検出手段により上記信号強度変化が検出された場合にのみ、上記テレビジョン信号から取り出された上記映像信号に文字情報があるか否かを検出する文字情報検出手段と、上記音響信号の上記信号強度変化が検出されてから所定期間内に上記文字情報が検出された場合、該文字情報を特定情報として検出する特定情報検出手段と、上記少なくとも１つの表示手段に接続され、上記特定情報検出手段により上記特定情報が検出されたとき該特定情報を提示するよう制御する提示制御手段とを有する特定情報検出装置とを具備する。
【００２０】
本発明においては、複数台のテレビ受像機等の表示装置と特定情報検出装置とを接続して、複数の表示装置に特定情報を同時に出力したり、特定の表示装置を特定情報専用の表示装置としたりすることができる。
【００２１】
また、上記特定情報検出装置の上記提示制御手段は、上記特定情報を提示する際に上記表示装置の電源をオンする電源制御信号を上記表示手段に送信することができ、例えば、複数の表示装置のうち、特定の表示装置を特定情報専用とした場合、特定情報は検出されるまでは電源をオフしておくことにより、電力消費を低減することができる。
【００２２】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、テレビジョン放送の中から緊急ニュース（臨時ニュース）を特定情報として自動で抽出し、効果的に表示することで緊急ニュースの見忘れを防止する特定情報検出装置に適用したものである。
【００２３】
この特定情報検出装置は、音声検出部及び文字検出部を具備し、緊急ニュース放送時に用いられる夫々音の特徴及び画像の特徴の両者を効果的に用いることにより、緊急ニュースを抽出することができる。また、後述するように、音声検出部及び文字検出部を複数用意することにより、複数のチャンネルで放送される緊急ニュースを検出することが可能になる。更に、音声検出部のみ複数もった場合には、音声検出部及び文字検出部の両方を有する場合に比して性能の低下を最小限にして、コストダウンを図ることができる。
【００２４】
以下、本発明の第１の実施の形態について説明する。図１は、本第１の実施の形態に係る特定情報検出装置を模式的に示すブロック図である。図１に示すように、特定情報検出装置１は、テレビジョン放送のチャンネルを選局して受信チャンネルのテレビジョン信号から音声信号（音響信号）を取り出す音声チューナ部２と、同じく受信チャンネルのテレビジョン信号から映像信号（画像信号）を取り出す画像チューナ部４と、音声チューナ部２から供給される音声信号から緊急ニュースの告知音（ニュース速報用チャイム）があるか否かを検出する音検出手段である緊急音検出部３と、画像チューナ部４から供給される画像信号から緊急ニュースの文字情報（ニュース速報用テロップ）があるか否かを検出する文字情報検出手段である緊急文字検出部５と、緊急音検出部３及び緊急文字検出部５から夫々緊急ニュースの告知音（以下、単に告知音という。）及び緊急ニュースの文字情報（以下、テロップという。）が検出された場合、緊急ニュースであるとして、このテロップ又はテロップを含むフレーム画像を出力するよう制御する特定情報検出手段である制御部６と、緊急ニュースであると判定されたテロップ、即ちニュース速報用テロップ、又はこのテロップを含むフレーム画像を出力する結果信号出力部７とから構成されている。結果信号出力部７は、緊急文字検出部５に接続されると共に緊急音検出部３にも接続されており、緊急音テロップ又はこのテロップを含む画像のみを出力してもよいし、例えば、使用者等が選択することにより、緊急ニュースに音声が含まれる場合等に画像と共に音声も出力できるよう構成されている。
【００２５】
以下、特定情報検出装置１の動作について説明する。図２は、特定情報検出方法を示すフローチャートである。図２に示すように、先ず、緊急音検出部３は、選局されたチャンネルのテレビジョン信号から取り出された音声信号に、緊急ニュースの告知音があるか否かを検出する（ステップＳ１）。緊急ニュースの告知音が検出された場合は、これを知らせる信号が制御部６を介して緊急文字検出部５に入力され、緊急文字検出部５は、その後の所定期間の映像信号に文字情報（テロップ）があるか否かを検出する（ステップＳ２）。そして、ステップＳ１及びステップＳ２において、緊急ニュース告知音が検出され且つテロップが検出された場合、即ち、緊急ニュース告知音が検出されてから所定期間にテロップが検出された場合、例えばテロップを切り出して表示手段に提示する指示信号が結果信号出力部７等に送られる等、緊急ニュースとしての処理がなされ（ステップＳ３）、終了判定されて（ステップＳ４）、以降、ステップＳ１乃至ステップＳ４の処理を繰り返す。ここで、ステップＳ１において緊急ニュース告知音が検出されなかった場合、及びステップＳ２でテロップが検出されなかった場合は、ステップＳ４の終了判定に進む。
【００２６】
本実施の形態においては、先ず、音声信号から告知音の情報を抽出して、その結果、映像信号からテロップを抽出する。このような構成により、音声だけをサーチして緊急ニュース告知音を検出したときのみ画像の処理をすればよいので、システム構成部分が少なくなり、コストダウンを図ることができる。
【００２７】
以下、特定情報検出方法について更に詳細に説明する。先ず、上述したステップＳ１における緊急ニュース告知音の検出方法について説明する。図３は、緊急ニュース告知音の検出方法を示すフローチャートである。
【００２８】
図３に示すように、音声信号を、周波数軸上の信号に直交変換し（ステップＳ１１）、各周波数毎に時間方向の変化をとる（ステップＳ１２）。そして、このスペクトル信号の信号強度の変化に急激な変化があるか否かを検出する（ステップＳ１３）。この際、適当な閾値を設け、この閾値以上の変化が検出された場合を急激な変化とする。次に、信号強度の変化が所定の閾値以上である急激な変化が検出された場合は、それを緊急ニュース告知音と判断し、これを知らせる信号を制御部６に出力する（ステップＳ１４）。ステップＳ１３において急激な変化が検出されなかった場合及びステップＳ１４で緊急ニュース告知音を知らせる信号を出力した後は、終了判定がなされ（ステップＳ１５）、再びステップＳ１１に戻り、処理を繰り返す。
【００２９】
図４は、横軸に経過時間をとり、縦軸に信号強度をとって、実際の音声信号を周波数軸上の信号に変換し、変換された信号のうち、ある周波数における信号レベルの時間変化を示すグラフ図である。図４に示すように、緊急ニュース告知音がある場合、音声信号の信号強度が急激に大きくなり、高パワーの期間が所定の期間続いている。本実施の形態においては、この様な急激な立ち上がりの部分を検出することで緊急ニュースの告知音を検出する。このように、音声信号を時間軸上に変換したスペクトルのパターン変化から緊急ニュース告知音を検出することにより、例えば、連続する告知音の個数を数えたり、放送局毎に記憶された告知音のパターンとマッチングしたりして求めるよりも容易に緊急ニュース告知音を検出することができる。
【００３０】
なお、信号の立ち上がりの大きさ以外に、例えば、高パワーの期間が所定の期間以上であること、及びこのような信号の立ち上がりが所定期間に所定回数発生すること等の条件をチャイム検出判定の基準としてもよい。
【００３１】
また、音響信号を周波数軸上の信号に変換して告知音を検出する方法としては、例えば、音響信号を所定の時間単位毎に直交変換し、周波数軸上の信号とし、変換された信号のうち、所定の周波数における信号レベルの時間方向の変化を調べる際に、ある特定の周波数だけではなく、複数の周波数における信号レベルの時間方向の変化を調べたり、１以上の所定の周波数帯における信号レベルの時間方向の変化を調べたりしてもよい。この場合は、例えばバンドパスフィルタ等を使用すれば、所望の周波数帯域の信号のみを取り出し、この帯域における時間方向の変化を調べることができる。
【００３２】
また、緊急ニュースの告知音がメロディ（音階）になっている場合がある。図５は、緊急ニュース告知音の検出方法の他の例を示すフローチャートである。また、図６は、メロディを有する緊急ニュース告知音を検出する際の信号を模式的に示す図である。図５に示すように、音声信号を周波数軸上の信号に変換し、各周波数毎の信号強度（パワー）を求める（ステップＳ２１）。次に、信号強度の値が所定の閾値以上の周波数を検出し（ステップＳ２２）、この信号強度が所定の閾値以上の高レベル周波数の時間遷移を調べる（ステップＳ２３）。
【００３３】
図６は、横軸に時間をとり、縦軸に周波数をとって、周波数軸上の音声信号のうち信号強度が所定の閾値以上である時間と周波数との関係を示す模式図である。ステップＳ２３においては、図６に示すように、高レベル周波数の信号の時間方向の周波数遷移の大きさＨを調べる。そして、周波数遷移Ｈの変化の仕方が規則的であるか否かを判断し（ステップＳ２４）、周波数の遷移が規則的であれば緊急ニュース告知音としてこれを出力する（ステップＳ２５）。一方、周波数遷移が規則的でないと判断された場合は、緊急ニュース告知音ではないとし（ステップＳ２６）、処理を終了する。ここでステップＳ２４において、例えば、周波数遷移Ｈが所定の閾値以上である場合に告知音とするか、周波数遷移Ｈの変化の仕方として周波数の時間方向の飛び方を検出するか、又は予め保持されている所定の周波数遷移パターンとのマッチングをとる等することにより、メロディを有する緊急ニュース告知音を検出することができる。また、全ての周波数における信号について調べる必要はなく、予め設定したいくつかの周波数における信号を抽出し、そのレベルが所定の閾値以上であるものの時間方向の周波数遷移を調べればよい。
【００３４】
次に、図２のステップＳ２におけるテロップの抽出方法について説明する。図７は、緊急文字検出部５におけるニュース速報テロップ検出方法を示すフローチャートである。図７に示すように、先ず、緊急音検出部３において告知音が検出されたか否かを検出する（ステップＳ３１）。緊急音検出部３において緊急ニュースの告知音、即ちニュース速報チャイムが検出された場合は、これを通知する信号が制御部６を介して緊急文字検出部５に入力される。
【００３５】
ステップＳ３１において、緊急ニュースの告知音が検出されていれば、画像内にテロップがあるか否かを検出する（ステップＳ３２）。このようなテロップの検出方法の具体例は後述する。そして、このテロップの場所が画面上部であるか否かが判断され（ステップＳ３３）、画面上部にテロップが位置している場合、緊急ニュースがあると判断し、これを知らせる信号を出力し（ステップＳ３４）、処理の終了を確認して（ステップＳ３５）、再びステップＳ３１に戻る。
【００３６】
一方、ステップＳ３１にて緊急ニュース告知音が検出されなかった場合、ステップＳ３２で画像内にテロップが検出されなかった場合、及びステップＳ３３でテロップが画面上部に位置していなかった場合は、緊急ニュースではないと判断し、処理を終了して（ステップＳ３５）、再びステップＳ３１に戻って処理を繰り返す。
【００３７】
こうして、緊急ニュース告知音が検出された後の所定期間にテロップが所定の位置に検出された場合、緊急ニュースとして認識することができる。そして、このように緊急ニュースが検出された場合、テロップの領域のみを切り出して映像に合成するか、又は、テロップが出現しているフレーム画像全面を提示することができる。また、後述するテロップ検出装置により、映像中のどの位置にテロップが出現しているかを検出することができるので、テロップの領域を切り取って映像に合成する場合、合成する映像のテロップに重ならない位置に合成するようにしてもよい。更には、視聴者がテレビ受像機により映像を視聴している場合は、そのチャンネルを緊急ニュースが検出されたチャンネルに選局するようチューナを制御し、視聴者が通常の映像を視聴しているテレビ受像機等の表示装置に表示されている映像を切り替えるように設定しておよい。また、上記ステップＳ３３においては、緊急ニュースのテロップは画面上部に出現するものとしたが、テロップの出現位置はこれに限るものではなく、画面側部又は画面下部等、検出対象によって適宜設定するものとする。
【００３８】
次に、緊急ニュースの抽出結果の利用方法としては、１台のテレビに同時に表示するか、複数台のテレビに表示するか、又はデータとして保存することができる。
【００３９】
例えば、テレビ受像機が１台である場合には、デュアルチューナ型とすれば、一方のチューナにより選局した受信チャンネルの映像を通常、使用者が視聴しているものとした場合、他方のチューナにより選局した受信チャンネルの映像をサーチすることができ、もし緊急ニュースが他のチャンネルであった場合に、使用者に通知することができる。
【００４０】
ここで、先ず、１つのチューナで緊急ニュースを探査する方法について説明する。本実施の形態においては、１つのチューナを使用して複数チャンネルの緊急ニュースの検出を可能にするため、１つのチューナでチャンネルを選局する際、時分割で選局し、複数チャンネルに亘って探査するものとする。また、時分割ではなく、後述するように複数チューナを利用して、同時に探査することも可能である。以下、時分割の探査方法について説明する。図８は、探査方法を模式的に示す図である。図８に示すように、所定の期間毎に選局するチャンネルを変更することにより、時分割で複数のチャンネルを探査することができる。図８では、４つのチャンネルを同じ期間、順に選局する場合を示すが、選局する期間及びチャンネル数等は使用者等により適宜設定するものとする。
【００４１】
また、緊急ニュースがあった場合に使用者に通知する通知方法としては、ニュース速報用テロップの文字出現領域を切り出し、現在視聴者が見ている画像に重ね合わせて表示すること、又は、使用者が現在見ている映像（番組）を中断して、緊急ニュースがあったチャンネルの映像を表示すること等ができる。
【００４２】
図９は、１台のテレビ受像機を使用した場合のニュース速報の提示方法を示す模式図である。特定情報検出装置は、図９（ｂ）に示すように、図９（ａ）に示す現在使用者が視聴している番組とは異なる番組のいわゆる裏番組の映像からニュース速報を検出する。そして、ニュース速報用テロップが検出されると、これを切り取り図９（ｃ）に示すように、図９（ａ）の視聴者が視聴している映像に重ね合わせて表示する。
【００４３】
次に、複数のテレビ受像機を使用する場合について説明する。この場合も、上述と同様に、ニュース速報用テロップの文字領域を切り出し、現在視聴者が見ている画像に重ね合わせて表示したり、使用者が現在見ている映像（番組）を中断して、緊急ニュースがあったチャンネルの映像を表示したりできる他、切り出したニュース速報用テロップを現在使用者が視聴しているテレビ受像機以外の全部又は一部のテレビ受像機に表示させることができる。
【００４４】
図１０は、２台のテレビジョン受像機を用いる場合の表示例を示す模式図である。図１０（ａ）に示すように、１台目のテレビ受像機において現在使用者が視聴している番組を表示しておき、２台目のテレビ受像機を緊急ニュース専用テレビ受像機とし、この緊急ニュース専用テレビ受像機は緊急ニュースがあった場合のみ、緊急ニュース専用テレビ受像機の電源を制御する信号を緊急ニュース専用テレビ受像機に送り、そのスイッチをオンにしてこの情報を画面に表示するものとする。緊急ニュースを探すための構成は、上述した図１に示すものと同様とし、緊急ニュース専用テレビ受像機において常に緊急ニュースを探しているが、画面には何も表示しないものとすることにより、消費電力を節約する。そして、ニュース速報が検出された場合、そのニュース速報用テロップを切り出し、緊急ニュース専用テレビ受像機の電源をオンにし、切り出したニュース速報用テロップを表示することができる。
【００４５】
また、デュアルチューナ型のテレビ受像機で使用者が試聴している際に、緊急ニュース検出も行い、緊急ニュースがあった場合に緊急ニュース専用テレビ又は専用モニタに信号を送信して、表示を開始することもできる。この構成においても、緊急ニュース専用テレビ又は専用モニタでは、通常は表示を行わないので、消費電力を低減する。
【００４６】
また、情報として保存する場合、緊急ニュース抽出装置の後段に保存装置をつけておけばよい。そして、この保存装置にニュース速報用テロップを複数保持して、リストにして提示してもよい。
【００４７】
また、本実施の形態においては、１つのチューナにより、複数チャンネルを時分割で選局してニュース速報を探査するものとしたが、複数のチャンネルに対応する複数のチューナを具備することも可能である。
【００４８】
次に、複数台のテレビジョン受像機を使用して特定情報を検出する特定情報検出システムについて説明する。本発明の特定情報検出装置は、複数台のテレビ受像機に接続し、１の受像機により通常のテレビジョン放映されている映像、又はＶＴＲ等の映像を視聴している場合に、他のテレビ受像機において、各々のチューナで別々のチャンネルのテレビジョン信号を受信し、各チャンネルのテレビジョン信号から特定情報を検出するようにすることができる。図１１は、３台のテレビジョン受像機を接続して構成された特定情報検出システムを模式的に示すブロック図である。
【００４９】
図１１に示すように、特定情報検出システム１０１は、テレビジョン放送のチャンネルを選局して受信チャンネルのテレビジョン信号から音声信号を取り出す３つの音声チューナ部１０２ａ〜１０２ｃと、同じく受信チャンネルのテレビジョン信号から映像信号（画像信号）を取り出す３つの画像チューナ１０４ａ〜１０４ｃと、音声チューナ部１０２ａ〜１０２ｃから供給される音声信号の所定変化を検出する、具体的には、音声信号から緊急ニュースの告知音（ニュース速報用チャイム）があるか否かを検出する夫々緊急音検出部１０３ａ〜１０３ｃと、画像チューナ部１０４ａ〜１０４ｃから供給される画像信号から緊急ニュースの文字情報（ニュース速報用テロップ）があるか否かを検出する緊急文字検出部１０５ａ〜１０５ｃと、緊急音検出部１０３ａ〜１０３ｃ及び緊急文字検出部１０５ａ〜１０５ｃからの出力に基づき検出された告知音及びテロップが緊急ニュースか否かを判定し、緊急ニュースである場合はこれを出力するよう制御する制御部６と、緊急ニュースであると判定された文字情報、即ちニュース速報用テロップ、又はこのテロップを含むフレーム画像を出力する結果信号出力部７とから構成されている。上述した図１に示す特定情報検出装置に２台の特定情報検出装置を接続することにより、このようなシステムが構成されている。
【００５０】
また、このような場合には、音声信号から告知音を検出する緊急音検出部、又は映像信号からテロップを検出する緊急文字検出部のいずれか一方だけを複数有する構成とすることもでき、そのような場合においても複数チューナは音声チューナ又は音声チューナ及び画像チューナを複数実装しておき、これらのチューナを用いて緊急ニュースの探査を行うことができる。例えば、音声チューナのみが複数あれば、複数のチャンネルの音声信号を同時に選局して複数のチャンネルの音声信号において告知音があるか否かを同時に探査することができる。このとき、画像チューナは、告知音が検出されたチャンネルのみを選局すればよい。
【００５１】
次に、本実施の形態の上述した図１の緊急文字検出部５におけるテロップ検出方法の具体例について説明する。テロップの検出には、様々な方法が用いられているが、例えば、以下に説明するテロップ検出装置を使用してテロップを検出する方法等がある。
【００５２】
ＴＶ放送等において、テロップは、制作者が重要だと判断した内容であって、視聴者に強く伝えたい情報であるといえる。そのため、テロップは、画面上の他の部分と区別しやすいよう工夫されており、以下に示す特徴を有する。テロップが有する特徴とは、
１．テロップを構成する画素は高輝度である
２．文字の縁はエッジが急峻であるため、エッジ密度が高い
３．特徴的な出現形態をとる
４．出現した後、一定時間の安定状態を有する
５．特徴的な消失形態をとる
６．自然界に無い色が使用されている
７．情報の内容と出現場所とに関係がある
等である。これら全ての特徴を有することがテロップの必用条件ではないものの、多くのテロップがこれらの特徴のうち、数個の特徴を有する。本具体例のテロップ検出装置は、このようなテロップの特徴に着目することにより、テロップを高精度に抽出するものである。
【００５３】
ここで、上述した図１１に示す特徴情報検出システムを使用し、複数台のテレビ画面を同時に用いて、通常の放送が流れるメイン画面の他に複数のサブ画面を想定し、検出されたテロップをサブ画面にリスト状に提示し、その内容を一定期間保持することで、刻々と変化するテロップの内容を見落とさず、後に確認をするようにしてもよい。
【００５４】
また、本具体例においては、テロップは情報の内容と出現場所とに関係がある、即ち、情報内容によってテロップの出現位置は数種類のパターンに代表されることから、予め予測されるテロップの出現位置をテロップ出現領域として設定するものとする。テロップ出現領域としては、例えば、画面中央、画面中央上部、画面中央下部、画面の４隅等が考えられるが、本具体例においては、臨時ニュースのテロップとして、画面上部にテロップ出現領域を設定するものとして説明する。従って、図７では、ステップＳ３３において、テロップの場所は画面の上部であるか否かの判定を行っているが、テロップ出現領域を予め設定することにより、この処理は不要になる。
【００５５】
本具体例のテロップ検出装置は、例えば図１の緊急文字検出部５内に設けられるものであって、図１に示す音声チューナ部から供給される時系列のフレーム画像からなる動画像からテロップを検出する。即ち、連続するフレーム単位の画像が供給され、この画像列からテロップを検出するために、予めテロップ出現領域を設定し、フレーム画像の上記テロップ出現領域とこれと時間的に近接する近接フレーム画像の上記テロップ出現領域との輝度変化を比較し、両者のテロップ出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像をテロップ出現フレーム画像として検出するテロップ出現フレーム画像検出手段と、このテロップ出現フレーム画像の上記テロップ出現領域をテロップ候補とし、このテロップ候補を既検出テロップ候補として記憶する記憶手段と、上記既検出テロップ候補と該既検出テロップ候補を有するテロップ出現フレーム画像に時間的に連続する複数のフレーム画像における上記テロップ候補との輝度変化の割合が所定の閾値以下である静止期間を検出しこの静止期間が所定値に達したとき該既検出テロップ候補を文字情報として検出するテロップ検出手段とを有するものである。
【００５６】
図１２は、本具体例に係るテロップ検出装置におけるテロップ検出の際のデータの流れを説明する説明図である。図１２に示すように、本具体例に係るテロップ検出装置は、画像データが供給されるフレーム画像判定部（判定手段）１０と、フレーム画像判定部１０からのデータが供給され、テロップ出現領域にテロップが出現するか否かを検出するテロップ出現検出部（テロップ出現フレーム画像検出手段）２０と、フレーム画像判定部１０又はテロップ出現検出部２０からフレーム画像が供給され、そのテロップ出現領域のエッジ密度が所定の閾値以上であるとき、このテロップ出現領域をテロップ候補として検出するエッジ密度検出部３０と、エッジ密度検出部３０により検出されたテロップ候補を既検出テロップ候補として記憶する記憶部４０と、既検出テロップ候補がこの既検出テロップ候補を有するフレーム画像に時間的に連続する複数のフレーム画像におけるテロップ候補との輝度変化の割合が所定の閾値以下である静止期間を検出しこの静止期間が所定値に達したとき当該既検出テロップ候補をテロップと推定する推定部５０と、推定部５０により推定されたテロップ候補と、実際に提示済みのテロップとの類似度を比較し、類似していないテロップ候補のみをテロップとして出力するテロップ類似度検出部６０と、テロップ類似度検出部６１から出力されるテロップを保持し、複数のテロップを合成してリスト状にして提示画像を生成する提示画像生成部（提示手段）７０とから構成されている。
【００５７】
テロップ出現検出部２０は、フレーム全体の輝度変化を検出する候補フレーム画像検出部２１とテロップ出現領域の輝度変化を検出する局所変化検出部２２とを有する。
【００５８】
また、推定部５０は、エッジ密度検出部３０から供給されるデータと記憶部４０に記憶されている既検出テロップ候補との類似度を比較する類似度検出部５１と、既検出テロップ候補が記憶部４０に保持される期間を検出する継続カウンタ５２と、継続カウンタ５２及び類似度検出部５１からのデータに基づき既検出テロップ候補の安定度を判定する安定度判定部５３から構成されている。
【００５９】
以下、本具体例に係るテロップ検出装置について更に詳細に説明する。テロップ検出装置には、時系列のフレーム単位の画像データが入力される。ここで、後述するテロップ出現検出部２０においてテロップ出現領域にテロップの出現が検出された時点及びエッジ密度検出部３０でテロップ出現領域のエッジ密度が所定の閾値以上のもの（テロップ候補（候補ベクトル））が検出された時点で、これを示すフラグ（stateflg）に１が設定される。このフラグ（stateflg）は、その後のフレーム画像のテロップ出現領域がテロップ候補ではないと判定された時点で０が設定されるものである。
【００６０】
フレーム画像判定部１０は、入力フレーム（ｉフレーム）が入力された時点で、このフラグ（stateflg）が０であるか、又は１であるかにより、既に文字情報候補が検出されているか否かを判定するものである。上述した如く、テロップは出現した後、一定時間の安定状態を有することから、ｉフレームが入力された時点で、既に過去のフレームにおいてテロップの出現又はテロップ候補が検出されていれば、ｉフレームではテロップ出現中とみなすことができる。従って、テロップ出現検出部２０における処理は不要であるため、フラグ（stateflg）が１である間は、フレーム画像をエッジ密度検出部３０に供給する。
【００６１】
テロップ出現検出部２０は、フラグ（stateflg）が０である間、フレーム画像が供給される。そして、時間的に近接するフレーム画像間の輝度変化からテロップが出現するテロップ出現領域を検出するものである。入力フレーム（ｉフレーム）テロップ出現領域の輝度と、時間的に近接する例えば（ｉ−２）フレームのテロップ出現領域との輝度とを比較すれば、ｉフレームテロップ出現領域にテロップが出現する場合、輝度が変化するため、この輝度変化を検出することにより、ｉフレームテロップ出現領域にテロップが出現するか否かが判定できる。
【００６２】
ここで、テロップ出現領域のみの輝度変化を検出すると、例えばシーンチェンジ等のようにフレーム全体の輝度が変化している場合にもテロップ出現領域の輝度変化が検出されてしまうため、候補フレーム画像検出部２１により、近接フレーム画像間のフレーム全体の輝度変化を調べ、この輝度変化が所定の閾値以下であるものを局所変化検出部２２に供給する。
【００６３】
そして、局所変化検出部２２は、近接フレームのテロップ出現領域間で輝度の局所変化を検出し、この輝度変化が所定の閾値以上であれば、テロップが出現するものと判断し、フラグ（stateflg）に１を立てると共に、このフレーム画像（文字情報出現フレーム画像）をエッジ密度検出部３０に供給する。
【００６４】
次に、候補フレーム画像検出部２１及び局所変化検出部２２について具体的に説明する。候補フレーム画像検出部２１は、例えば図１３のように構成された輝度ヒストグラム生成部８０に対して入力フレーム画像を送り、フレーム全体の輝度ヒストグラムを利用して候補フレーム画像を検出することができる。輝度ヒストグラム生成部８０は、フレーム画像判定部１０からのフレームデータが供給されるブロック分割部８１及び遅延回路８３、遅延回路８３により所定時間遅延されたフレームデータが供給されるブロック分割部８４、並びに、ブロック分割部８１及び８４により所定のサイズのブロックに分割されたフレームデータが供給されブロック毎の輝度ヒストグラムを計算する夫々ヒストグラム計算部８２及び８５から構成されている。
【００６５】
このように構成された輝度ヒストグラム生成部８０に対して、候補フレーム画像検出部２１が、フレーム画像判定部１０から供給されるｉフレームの画像データを供給する。輝度ヒストグラム生成部８０は、ブロック分割部８１により、供給されたｉフレームの画像データ（情報列）を空間の規定サイズのブロックに分割し、このブロック単位のデータをヒストグラム計算部８２に送る。
【００６６】
また、このｉフレームの画像データは、同時に遅延回路８３にも供給され、遅延回路８３により、例えば２フレーム分遅延された画像データがブロック分割部２４に供給される。
【００６７】
ブロック分割部８４は、ブロック分割部８１と同様に、（ｉ−２）フレームの画像データ（情報列）を空間の規定サイズブロック分割し、このブロック単位のデータをヒストグラム計算部８５に送る。
【００６８】
ヒストグラム計算部８２，８５は、全画面において、ブロック単位に輝度ヒストグラムを計算し、この結果を候補フレーム画像検出部２１に送る。
【００６９】
そして、候補フレーム画像検出部２１は、ヒストグラム計算部８２，８５からのデータ、即ち、ｉフレームのブロック単位の輝度ヒストグラムと、（ｉ−２）フレームのブロック単位の輝度ヒストグラムとが供給されると、ｉフレームと（ｉ−２）フレームとの間において、空間的に対応するブロック毎に輝度ヒストグラムの相関係数を求め、予め決められた閾値（Th_coef１）と比較し、相関係数が所定の閾値（Th_coef１）以上であるブロックを変化ブロックと判定する。下記式（１）に相関係数を求める際の式を示す。
【００７０】
【数１】

【００７１】
そして、この変化ブロックの割合が所定の閾値（Th_diff１）以下であるｉフレームを候補フレーム画像として検出する。ここで、変化ブロックの割合が閾値（Th_diff１）より大きい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。
【００７２】
また、局所変化検出部２２も、候補フレーム画像検出部２１と同様に、候補フレーム画像検出部２１により検出されたｉフレーム及び（ｉ−２）フレームのデータが供給され、両者の上記文字情報出現領域において、候補フレーム画像検出部２１と同様に、空間的に対応するブロック毎に輝度ヒストグラムの相関係数が所定の閾値（Th_coef１）以上である変化ブロックの割合が所定の閾値（Th_diff２）以上であるｉフレームを検出する。ここで、変化ブロックの割合が閾値（Th_diff２）より小さい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。これは近接するフレームの文字情報出現領域間の変化が小さい場合は、ｉフレームのテロップ出現領域においてテロップの出現は検出されなかったと判断し、このフレームについての後段の処理を省略するためである。
【００７３】
このように、テロップ出現検出部２０によって、全ブロック中の変化ブロックの割合とテロップ出現領域における変化ブロックの割合とを計算し、全ブロック中の変化ブロックの割合が予め決めた閾値以下であり、且つ、テロップ出現領域における変化ブロックの割合が予め決めた閾値以上である場合は、局所変化が存在する、即ち、テロップの出現と判定することができる。
【００７４】
なお、本具体例においては、輝度ヒストグラム生成部８０を用意し、候補フレーム画像検出部２１及び局所変化検出部２２の要求に応じて輝度ヒストグラムを生成するものとしたが、候補フレーム画像検出部２１及び局所変化検出部２２において、図１３に示すようなブロック分割部８１，８４及びヒストグラム計算部８２，８５等を個別に有するものとしてもよい。また、遅延回路８３による遅延時間は、２フレーム分としたが、例えば１フレーム又は３フレーム等、フレーム間の変化の割合を検出することができる範囲で任意に設定可能である。
【００７５】
図１２に戻って、エッジ密度検出部３０は、フラグ（stateflg）が１である間、フレーム画像か供給され、このテロップ出現領域のエッジ密度を計算する。なお、ここで、エッジ密度検出部３０に供給される画像データは、フレーム全体のデータであっても、テロップ出現領域のみのデータであってもよい。
【００７６】
エッジ密度検出部３０は、このフレーム画像のテロップ出現領域のエッジ密度が所定の閾値以上であるとき、当該テロップ出現領域をテロップ候補として検出する文字情報候補検出手段である。即ち、フレーム画像のテロップ出現領域におけるエッジ密度を算出し、上述したように、テロップであれば、エッジ密度が高いという特徴から、テロップ出現領域のエッジ密度が所定の閾値（Th_den）以上のものをテロップ候補として検出する。ここで、テロップ出現領域のエッジ密度が所定の閾値（Th_den）未満であるときは、フラグ（stateflg）を０とする。これにより、以降のフレーム画像は、フラグ（stateflg）に１がたつまでの間、テロップ出現検出部２０に供給されるようになる。
【００７７】
記憶部４０には、エッジ密度検出部３０において検出されたテロップ候補が既検出テロップ候補として記憶される。即ち、現フレーム（ｉフレーム）より過去のフレームにおいてテロップ候補として検出されたテロップ出現領域のデータが既検出テロップ候補として記憶されており、後述する推定部５０において、この既検出テロップ候補と、この既検出テロップ候補と時間的に連続する所定数のフレームにおいて検出されたテロップ候補とが比較されることにより、既検出テロップ候補がテロップであるか否かが推定される。即ち、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部３０によりテロップ候補が検出されなかった場合は、その時点で既検出テロップ候補は不要となる。従って、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部３０によりテロップ候補が検出されなかった場合、エッジ密度検出部３０は、記憶部４０に記憶されている既検出テロップ候補を初期化（破棄）し、後述する継続カウンタ５２のカウント値をリセットし、フラグ（stateflg）を０とし、次のフレームの処理へ移る。
【００７８】
推定部５０は、記憶部４０に保持されている既検出テロップ候補と、この既検出テロップ候補を有するフレーム画像に連続する所定数のフレーム画像におけるテロップ候補とのエッジ密度の変化の割合が所定の閾値以下であるとき、当該既検出テロップ候補をテロップと推定する検出手段である。
【００７９】
継続カウンタ５２は、テロップが安定して出現したフレーム数をカウントするものである。例えば、エッジ密度検出部３０及び後述する類似度検出部５１等において、記憶部４０に記憶されている既検出テロップ候補は、これに続くフレームのテロップ候補と比較されることにより、既検出テロップ候補がテロップとしての特徴から外れる場合は、テロップ候補と置き換えられ、このとき、継続カウンタ５２のカウント値がリセットされる。上述したように、テロップであれば、数フレームは安定して出現することから、継続カウンタ５２により、記憶部４０に記憶されている既検出テロップ候補が置き換えられることなく保持される連続フレーム数をカウントする。推定部５０は、このカウント値から既検出テロップ候補がテロップであるか否かを最終的に推定するものである。
【００８０】
類似度検出部５１は、既検出テロップ候補と、これより後（未来）のフレームにおいて検出されたテロップ候補との類似度を検出する類似度検出手段である。即ち、エッジ密度検出部３０により検出されたエッジ密度が所定の閾値以上であるテロップ出現領域（テロップ候補）が供給され、このテロップ候補と、上記既検出テロップ候補との相関を比較する。具体的には、上述の候補フレーム画像検出部２１及び局所変化検出部２２と同様に、空間的に対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値（Th_coef２）以上である場合、テロップ候補のテロップと、既検出テロップ候補のテロップとは、同一のものであると判断する。この場合は、更に、テロップ候補のエッジ密度と、既検出テロップ候補のエッジ密度とを比較し、両者のうち、エッジ密度が高い方のデータを既検出テロップ候補とする。即ち、既検出テロップ候補のエッジ密度の方が高ければ、記憶部４０に記憶されているデータはそのまま保持されるが、テロップ候補の方がエッジ密度が高い場合は、記憶部４０のデータ（既検出テロップ候補）をテロップ候補のデータと置き換える。このように、エッジ密度が高いものを選択することにより、より鮮明なものを抽出することができる。
【００８１】
ここで、記憶部４０に記憶されている既検出テロップ候補が置き換えられた（書き換えられた）場合は、継続カウンタ５２のカウント値をリセットする。一方、記憶部４０に記憶されている既検出テロップ候補をそのまま保持した場合は、継続カウンタ５２のカウント値をインクリメントする。
【００８２】
また、相関係数が所定の閾値（Th_coef２）未満である場合、ｉフレームテロップ出現領域に出現している可能性のあるテロップは、既検出テロップ候補に出現している可能性のあるテロップとは異なるものと判定され、ｉフレームテロップ出現領域のデータを記憶部４０に供給し、記憶されている既検出テロップ候補をｉフレームテロップ出現領域のデータと置き換える（入れ替える）と共に、継続カウンタ５２のカウント値をリセットする。
【００８３】
このように、類似度検出部５１は、テロップ候補と、記憶部４０に記憶された既検出テロップ候補との類似度が所定の閾値以上であって、既検出テロップ候補のエッジ密度よりテロップ候補のエッジ密度の方が高いとき、また、上記類似度が所定の閾値未満であるとき、記憶部４０の既検出テロップ候補をｉフレームのテロップ候補に入れ替える入替手段としても機能する。
【００８４】
安定度判定部５３は、既検出テロップ候補が記憶部４０に保持される期間を検出する期間検出手段として、継続カウンタ５２のカウント値を検出する。上述したように、テロップであれば、数フレーム間は安定に出現することから、カウント値が予め設定された所定値である場合に、記憶部４０に記憶されている既検出テロップ候補がテロップであると推定し、これをテロップ類似度判定部６０に送る。一方、カウント値が所定値以外、例えば所定値未満である場合は、この既検出テロップ候補がテロップとしての安定度が低いと判定し、また所定値より大きい場合は、既にテロップ類似度判定部６０に送られたものと判定し、記憶部４０の既検出テロップ候補及び継続カウンタ５２のカウント値を保持しつつ、次のフレームの処理へ進む。ここで、カウント値が所定値未満であった場合、以降のフレーム処理により、カウント値がインクリメントされ所定値に達した場合は、この既検出テロップ候補がテロップと推定されて類似度検出部６０に送られる。
【００８５】
また、既検出テロップ候補をテロップと推定してテロップ類似度検出部６０に送出した後は、記憶部４０に記憶されている既検出テロップ候補、及び継続カウンタ５２のカウント値はそのまま保持することにより、以降のフレームにおいて、この既検出テロップ候補と同一のテロップ候補が検出され、カウンタ値がインクリメントされれば、カウンタ値が所定値より大きくなるため、テロップ類似度検出部６０には送出されず、同一のテロップを出力することを防止することができる。
【００８６】
テロップ類似度検出部６０は、安定度判定部５３により、既検出テロップ候補がテロップと推定された既検出テロップ候補と、既に提示されているテロップとを比較しその類似度が所定の閾値以下であるとき、当該既検出テロップ候補をテロップとして検出する文字情報検出手段である。即ち、既にテロップと判定され、例えば既に提示されたテロップ、又は、後述する提示画像生成部７０に保持されているテロップ等の既検出テロップと、安定度判定部５３によりテロップであると判定された既検出テロップ候補とを比較し、既検出テロップと類似していない既検出テロップ候補のみ検出し、これをテロップとして提示画像生成部７０に送る。これにより、既検出テロップ候補が既にテロップとして判定され出力されているものと同じ場合には出力しないようにすることができる。このテロップ類似度判定部６０により、既検出テロップ候補が既にテロップとして出力されていると判定された場合は、この既検出テロップ候補のデータを初期化し、次のフレームの処理に進む。
【００８７】
提示画像生成部７０は、類似度判定部６０により検出された１以上の既検出テロップを合成し提示画像を生成して他の画面に提示する提示手段である。提示画像生成部７０は、所定数のテロップを保持して提示し続けるため、テロップの出現領域を帯状に切出し、例えは垂直方向に並べることでリスト表示を行っている。新しいテロップが検出される度に既存テロップをスクロールし、画像を更新して、出力端子を介して出力する。
【００８８】
このように、テロップ検出装置は、先ず、テロップ出現検出部２０により、入力画像データの輝度変化からテロップの出現を検出し、エッジ密度検出部３０により、出現を検出した文字情報出現領域のエッジ密度からテロップ゜候補を検出し、推定部５０により、テロップ候補の出現している期間を検出することによりテロップ候補が確実にテロップであるか否かを推定し、必要に応じて類似度類似度判定部６０を設け、これによりテロップが何度も検出されないようにして、提示画像を生成するものである。
【００８９】
以下、本具体例における緊急文字検出方法について詳細に説明する。図１４は、図１２に示すフレーム画像判定部１０及びテロップ出現検出部２０の処理方法を示すフローチャートである。上述したように、文字情報を検出する際には、予めテロップ出現領域を画面上に設定する。以下の説明においては、テロップ出現領域を画面上部に設定した場合について説明する。なお、複数のテロップ出現領域を設定する場合は、各テロップ出現領域について同様の処理を行うものとする。
【００９０】
図１４に示すように、図１２のフレーム画像判定部１０にｉフレームの画素値Ｆ（ｉ，ｐｘｌ）が入力されると、上述したフラグ（stateflg）が１であるか０であるかが検出される（ステップＳ４１）。ここで、フラグ（stateflg）が１である間は、後述するステップＳ４９に進む。一方、フラグ（stateflg）が０である間は、ステップＳ４２及びＳ４３に進む。
【００９１】
ステップＳ４２では、ヒストグラム生成部８０のヒストグラム計算部８５から（ｉ−２）フレームの全画面においてブロック単位で計算された輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む。ここで、ｊは、フレーム内のｊ番目のブロック（ブロックＮｏ．）を示し、輝度ヒストグラムＨ（ｉ−２，ｊ）は、（ｉ−２）フレームにおけるｊ番目のブロックの輝度ヒストグラムを示す。このとき、同時に、ヒストグラム計算部８２で、ｉフレームの全画面において、ブロック毎の輝度ヒストグラムが計算され、このｉフレームにおける輝度ヒストグラムＨ（ｉ，ｊ）がフレーム変化検出部２６に供給される（ステップＳ４３）。本具体例においては、フレーム画像を例えば７２０×４８０ピクセル等とすることができ、ブロックサイズを例えば３２×３２ピクセル等とすることができる。
【００９２】
次に、ステップＳ４４では、局所変化検出部２６が、輝度ヒストグラムＨ（ｉ−２，ｊ）と輝度ヒストグラムＨ（ｉ，ｊ）とから対応ブロック毎に相関係数ｅ１（ｊ）を計算し、この相関係数ｅ１（ｊ）と所定の閾値（Th_coef１）とを比較し、相関係数ｅ１（ｊ）が、閾値（Th_coef１）以上であれば、変化ブロックと判定する。
【００９３】
そして、ステップＳ４４で判定した全ブロックに対する変化ブロックの割合ｅ１（ｊ）が、所定の閾値（Th_diff１）以下であるか否かを判定し（ステップＳ４５）、閾値（Th_diff１）より大きい場合は、現フレームの処理を終了し、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ１（ｊ）が閾値（Th_diff１）以下である場合は、ステップＳ４６に進む。
【００９４】
ステップＳ４６では、局所変化検出部２２において、ヒストグラム計算部８２，８５からのデータにより、フレーム内のテロップ出現領域、即ち、本具体例の場合は、例えば６４×５７６ピクセルのサイズを有する画面中央下部領域内の全ブロックに対する変化ブロックの割合ｅ２（ｊ）を計算し、ステップＳ４７において、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Th_diff２）以上であるか否かを判定する。変化ブロックの割合ｅ２（ｊ）が所定の閾値（Th_diff２）未満である場合は、現フレームの処理を終了して、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Th_diff２）以上である場合は、ステップＳ４８に進み、ｉフレームのテロップ出現領域はテロップ候補であるとみなし、テロップ候補が検出されたことを示すフラグ（stateflg）に１をたて、ｉフレームの画素値Ｆ（ｉ，ｐｘｌ）を推定部５０へ送る。これにより、以降のフレーム画像の処理は、フラグ（stateflg）が１である間は、ステップＳ４２乃至ステップＳ４８の処理を行わず、ステップＳ４１からステップＳ４９に進む処理がなされることになる。
【００９５】
次に、推定部５０における既検出テロップ候補がテロップか否かを推定する方法について説明する。図１５は、推定部の推定方法を示すフローチャートである。先ず、フラグ（stateflg）＝１の間、画像データがエッジ密度検出部３０に送られる。ここでは、エッジ密度検出部３０に送られる画像データをｉフレームとする。先ず、図１５に示すように、エッジ密度検出部３０において、ｉフレームにおけるテロップ出現領域におけるエッジ画像の密度ｄ（ｉ）が計算される（ステップＳ４９）。このエッジ密度ｄ（ｉ）が所定の閾値（Th_den）以上であるか否かが検出され（ステップＳ５０）、エッジ密度ｄ（ｉ）が閾値（Th_den）未満である場合は、ステップＳ５１に進み、記憶部４０に記憶されている既検出テロップ候補を初期化、即ち、データを破棄し、継続カウンタ５２のカウント値をリセットし、更にテロップ候補が検出されていることを示すフラグ（stateflg）を０にする（ステップＳ５１）。これにより、以降のフレーム画像は、フラグ（stateflg）が１になるまで、ステップＳ５２乃至ステップＳ４８を繰り替えすことになる。一方、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）が閾値（Th_den）以上である場合は、データを類似度検出部５１へ送り、ステップＳ５２に進む。
【００９６】
ステップＳ５２では、類似度検出部５１において、記憶部４０に記憶されている既検出テロップ候補と、ｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）を計算する。そして、相関係数ｅ（ｔｌｐ）が所定の閾値（Th_coef２）以上であるか否かを判定する（ステップＳ５３）。ステップＳ５３で、相関係数ｅ（ｔｌｐ）が所定の閾値（Th_coef２）以上であると判定された場合、即ち、既検出テロップ候補とｉフレームのテロップ出現領域とは同一のテロップを有するものと判定された場合はステップＳ５４に進み、記憶部４０に記憶されている既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）と、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）とが比較される（ステップＳ５４）。そして、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上であるか否かが判定され（ステップＳ５５）、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上である場合は、ステップＳ５７に進む。
【００９７】
一方、ステップＳ５３において、既検出テロップ候補とｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）が所定の閾値（Th_coef２）未満である場合、即ち、ｉフレームのテロップ出現領域と既検出テロップ候補とでテロップが変化しているものと判断した場合と、ステップＳ５５において、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）より小さい場合、即ち、既検出テロップ候補よりもｉフレームのテロップ出現領域に出現する可能性があるテロップの方が、エッジ密度が高く鮮明であると判断した場合は、ステップＳ５６に進む。ステップＳ５６では、記憶部４０に記憶されている既検出テロップ候補が、現フレーム、即ち、ｉフレームのテロップ出現領域のデータに入れ替えられる。具体的には、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）を、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）に入れ替え、更に継続カウンタ５２のカウント値をリセット（tlplen＝０）し、ステップＳ５７に進む。
【００９８】
また、ステップＳ５５において、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上である、即ち、既検出テロップ候補の方がｉフレームのテロップ出現領域に出現する可能性のあるテロップよりも鮮明であると判定された場合もステップＳ５７に進む。
【００９９】
ステップＳ５７においては、継続カウンタ５２のカウント値をインクリメント（tlplen＝＋＋）し、ステップＳ５８において、継続カウンタ５２のカウント値（tlplen）が所定値（Th_tlplen）であるか否かが判定される。
【０１００】
上述したように、テロップであれば、一定フレームの間、安定して出現する。継続カウンタ５２のカウント値は、テロップが安定して出現したフレーム数を示すものである。従って、ステップＳ５８において、カウント値が所定値（Th_tlplen）以外であると判定された場合は、カウント値及び既検出テロップ候補のデータを保持して次のフレームの処理へ進む。
【０１０１】
一方、カウント値が所定値（Th_tlplen）である場合、即ち、既検出テロップ候補が所定のフレーム数、出現し続けていると判定された場合は、このデータがテロップ類似度判定部６０へ送られてステップＳ５９に進む。この際、記憶部４０に保持されている既検出テロップ候補及び継続カウンタ５２のカウント値はそのまま保持する。
【０１０２】
ステップＳ５９では、例えば、提示画像生成部７０等に保持されている既にテロップと判定されものと、既検出テロップ候補との相関係数を計算し、ステップＳ６０にて、相関係数が所定の閾値以下であるか否かが判定される。ステップＳ６０にて相関係数が所定の閾値以下である場合、既検出テロップ候補は、まだテロップとして検出されていない新しいテロップであると判断され、このデータを提示画像生成部７０へ送る。一方、相関係数が所定の閾値より大きい場合は、既検出テロップ候補に出現するテロップは既にテロップとして出力されていると判断され、次のフレームの処理に進む。
【０１０３】
ここで、ステップＳ５８及びステップＳ５９において、安定度判定部５３及びテロップ類似度検出部６０の夫々判定結果及び検出結果に関わらず、記憶部４０の既検出テロップ候補のデータはそのまま保持され、且つ継続カウンタ５２のカウンタ値もそのまま保持されているため、例えば、次に入力されるフレーム画像において同じテロップ候補が検出され、このテロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より小さい場合は、継続カウンタ５２のカウンタ値がインクリメントされ、所定値（Th_tlplen）を超えるため、再びテロップ類似度検出部６０に送られることはない。また、テロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より大きい場合は、既検出テロップ候補が置き換えられ、継続カウンタのカウント値が１となり、カウント値が所定値（Th_tlplen）に達するまで処理が繰り返される。
【０１０４】
以上、図１５に示す工程において、記憶部４０には、既検出テロップ候補が記憶されているものとして説明したが、図１４に示すステップＳ４５、ステップＳ４８において、ｉフレームにおいてテロップ候補が検出されなかった場合、記憶部４０に記憶されている既検出テロップ候補は初期化（破棄）される。このように、記憶部４０には、既検出テロップ候補が記憶されていない状態で、推定部５０にテロップ候補を有するフレーム画像が供給された場合、図１４に示すステップＳ５２乃至ステップＳ５５における処理は不要となる。従って、既検出テロップ候補が初期化された状態でステップＳ５０においてエッジ密度が所定の閾値以上であると判定された場合は、ステップＳ５６に進み、フレーム画像のテロップ出現領域のデータが既検出テロップ候補として記憶される。そして、同様に、ステップＳ５７において、継続カウンタtlplen＝１として、次のフレームの処理に進む。
【０１０５】
本具体例においては、テロップ出現検出部２０において異なるフレーム間におけるブロック単位の輝度ヒストグラムの相関を用いてテロップ出現領域における輝度変化（局所変化）を求めることで画像上の小さな変化等による誤検出を軽減することが可能となると共に、シーンチェンジ及び背景の大きな動き等による誤検出を軽減することが可能となる。また、エッジ密度検出部３０によるエッジ密度を判定条件に用いることで、文字情報（テロップ）を更に精度よく検出することが可能となる。更に、類似度判定部５１により、既検出テロップ候補とこれに連続するフレームのテロップ出現領域における類似度を判定すると共に、継続カウンタ５２により継続して出現するフレーム数をカウントし、更に、テロップ類似度検出部６０により既検出テロップとの類似度を判定することで、細かいテロップの変化等の場合にも、同内容のテロップを誤検出することを軽減することができる。更にまた、複数台のＴＶを用いて、提示画像生成部７０により映像を表示するＴＶとは別の画面にテロップをリスト状に提示し、一定時間保持することにより、一般に重要であるが刻々と変化するテロップの情報を見落とさず視聴することができ、且つテロップを後から見直すことができ、使用者の理解を容易にすることができる。
【０１０６】
上記の説明においては、テロップ出現領域を設定してテロップを検出するものとしたが、本具体例においては、緊急ニュース告知音を検出してからテロップを検出するため、テロップの出現頻度が高い。このため、テロップ出現領域を設定せずに、例えば、ブロック毎の輝度ヒストグラムの変化が所定の閾値以下である領域の矩形領域をテロップ出現領域として検出する等してもよい。また、テロップの出現頻度が高いことから、フレーム画像判定部１０及びテロップ出現検出部２０の処理、即ちテロップの出現の検出処理を行わなくてもよい。
【０１０７】
また、テロップ検出の他の具体例としては、テレビジョン放送における映像信号中のテロップのような特定領域を抽出する特定領域抽出装置（特開平１０−２３３９９４号公報）等を使用することができる。即ち、特定領域抽出装置は、テロップは、同一信号レベルで構成され、画素が所定の時間以上同一信号を保持し、背景となる画と信号レベルで大きな差があるという特徴を利用し、映像信号の任意の画素レベルと周辺画素レベルとを比較して略均一なレベル領域（テロップ出現領域）を検出する均一レベル領域検出手段と、任意の画素レベルが所定時間以上無変化であるか否かを判定する画素レベル無変化判定手段と、映像信号の任意の映像平面における周波数成分の高域を検出する高周波領域検出手段と、均一レベル領域検出手段、無変化判定手段及び高周波領域検出手段の各出力を基に特定領域を抽出する抽出手段とを備えている。
【０１０８】
ここで、均一レベル領域検出手段は、任意の画素を中心とした所定画素数よりなるブロック内で上記任意の画素レベルと上記周辺画素レベルとの差を求めて、このレベル差が所定の閾値以下である任意の画素数に応じて均一レベル領域を検出するものである。このように、予めテロップ出現領域を設定しておかずにテロップを抽出してもよい。
【０１０９】
【発明の効果】
以上詳細に説明したように本発明に係る特定情報検出装置は、音響信号及び映像信号からなるテレビジョン信号から特定情報を検出する特定情報検出装置において、上記音響信号の所定変化を検出する音検出手段と、上記映像信号に文字情報があるか否かを検出する文字情報検出手段と、上記音響信号の所定変化が検出されてから所定期間内に上記文字情報が検出された場合、該文字情報を特定情報として検出する特定情報検出手段とを有するので、音響信号の所定変化が検出されてから所定期間内に文字情報が検出された場合、特定情報と判断するため、常時文字情報を検出する必要がなく、低コストであると共に、音響信号及び映像信号から特定情報であるか否かを判断するので特定情報を正確に検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る特定情報検出装置を模式的に示すブロック図である。
【図２】本発明の第１の実施の形態に係る特定情報検出方法を示すフローチャートである
【図３】本発明の第１の実施の形態に係る緊急ニュース告知音の検出方法を示すフローチャートである。
【図４】横軸に経過時間をとり、縦軸にパワーをとって、実際の音声信号を周波数に変換したデータを示すグラフ図である。
【図５】本発明の第１の実施の形態に係る緊急ニュース告知音の検出方法の他の例を示すフローチャートである。
【図６】メロディを有する緊急ニュース告知音を検出する際の信号を模式的に示す図である。
【図７】緊急文字検出部におけるニュース速報テロップ検出方法を示すフローチャートである。
【図８】本発明の第１の実施の形態に係る特定情報検出装置の探査方法を模式的に示す図である。
【図９】１台のテレビ受像機を使用した場合のニュース速報の提示方法を示す模式図である。
【図１０】２台のテレビジョン受像機を使用した場合のニュース速報の提示方法を示す模式図である。
【図１１】３台のテレビジョン受像機を接続して構成された特定情報検出システムを模式的に示すブロック図である。
【図１２】本発明の実施の形態に係る特定情報検出装置の緊急文字検出部における具体例を示す図であって、テロップ検出の際のデータの流れを説明する説明図である。
【図１３】本発明の実施の形態に係る特定情報検出装置の緊急文字検出部における輝度ヒストグラム生成部におけるデータの流れを説明する説明図である。
【図１４】本発明の実施の形態に係る特定情報検出装置の緊急文字検出部におけるテロップ出現を検出する方法を示すフローチャートである。
【図１５】本発明の実施の形態に係る特定情報検出装置の緊急文字検出部におけるテロップの推定方法を示すフローチャートである。
【符号の説明】
１ 特定情報検出装置、２ 音声チューナ部、３ 緊急音検出部、４ 画像チューナ部、５ 緊急文字検出部、６ 制御部、７ 結果信号出力部、１０ 判定部、２０ テロップ出現検出部、２１ 候補フレーム画像検出部、２２ 局所変化検出部、３０ エッジ密度検出部、４０ 記憶部、５０ 推定部、５１ 類似度検出部、５２ 継続カウンタ、５３ 安定度判定部、６０ テロップ類似度検出部、７０ 提示画像生成部、８０ ヒストグラム生成部、８１，８４ ブロック分割部、８２，８５ ヒストグラム計算部

Claims (14)

1. 音響信号及び映像信号からなるテレビジョン信号から臨時ニュース又は緊急ニュースとしての特定情報を検出する特定情報検出装置において、
   上記テレビジョン信号から取り出された上記音響信号における臨時ニュース又は緊急ニュースの告知音を構成する特有の信号強度変化を検出する音検出手段と、
   上記音検出手段により上記信号強度変化が検出された場合にのみ、上記テレビジョン信号から取り出された上記映像信号に文字情報があるか否かを検出する文字情報検出手段と、
   上記音響信号の上記信号強度変化が検出されてから所定期間内に上記文字情報が検出された場合、該文字情報を特定情報として検出する特定情報検出手段と
   を有する特定情報検出装置。
2. 上記音検出手段は、音響信号を周波数軸上の信号に変換し、周波数軸上に変換された信号の時間変化が所定の閾値以上であるものを上記告知音として検出する請求項１記載の特定情報検出装置。
3. 上記音検出手段は、音響信号を周波数軸上の信号に変換し、周波数軸上に変換された信号の強度が所定の閾値以上の信号についての周波数の変化に基づき上記告知音を検出する請求項１記載の特定情報検出装置。
4. 少なくとも１つのチューナ手段を有する受信手段を備え、該受信手段は、複数のチャンネルに対するテレビジョン放送を時分割で選局し、時分割で選局された複数のチャンネルに対応する音響信号及び映像信号を受信して夫々上記音検出手段及び文字情報検出手段に供給する請求項１記載の特定情報検出装置。
5. 少なくとも１つの表示手段に接続され、上記特定情報検出手段により上記特定情報が検出されたとき該特定情報を上記表示手段に提示するよう制御する提示制御手段を有する請求項４記載の特定情報検出装置。
6. 少なくとも１つの表示手段に接続され、上記特定情報検出手段により上記特定情報が検出されたとき該特定情報を含むフレーム画像を上記表示手段に提示するよう制御する提示制御手段を有する請求項４記載の特定情報検出装置。
7. 上記特定情報検出手段により上記特定情報が検出されたとき、上記チューナ手段が当該特定情報が検出されたチャンネルを選局するよう制御する提示制御手段を有する請求項４記載の特定情報検出方法。
8. 上記受信手段は、少なくとも２つのチューナ手段を有し、
   上記特定情報検出手段は、一方のチューナ手段により受信したテレビジョン信号から上記特定情報を検出し、
   上記提示制御手段は、少なくとも２つの表示手段に接続され、他方のチューナ手段により受信したテレビジョン信号の映像を一方の表示手段に提示し、上記特定情報を他方の表示手段に提示するよう制御する請求項５記載の特定情報検出装置。
9. 上記受信手段は、少なくとも２つのチューナ手段を有し、
   上記特定情報検出手段は、一方のチューナ手段により受信したテレビジョン信号から上記特定情報を検出し、
   上記提示制御手段は、他方のチューナ手段により受信したテレビジョン信号に、上記特定情報の画像信号を重ね合わせて上記表示手段に提示するよう制御する請求項５記載の特定情報検出装置。
10. 上記文字情報検出手段は、上記他方のチューナ手段により受信した映像信号から文字情報を検出し、上記提示制御手段は、該文字情報を含まない領域に、上記特定情報を重ね合わせて上記表示手段に提示するよう制御する請求項９記載の特定情報検出装置。
11. 音響信号及び映像信号からなるテレビジョン信号から臨時ニュース又は緊急ニュースとしての特定情報を検出する特定情報検出方法において、
    上記テレビジョン信号から取り出された上記音響信号における臨時ニュース又は緊急ニュースの告知音を構成する特有の信号強度変化を検出する音検出工程と、
    上記音検出工程により上記信号強度変化が検出された場合にのみ、上記テレビジョン信号から取り出された上記映像信号に文字情報があるか否かを検出する文字情報検出工程と、
    上記音響信号の上記信号強度変化が検出されてから所定期間内に上記文字情報が検出された場合、該文字情報を特定情報として検出する特定情報検出工程と
    を有する特定情報検出方法。
12. 音響信号及び映像信号からなるテレビジョン信号から臨時ニュース又は緊急ニュースとしての特定情報を検出する動作をコンピュータに実行させるためのプログラムにおいて、
    上記テレビジョン信号から取り出された上記音響信号における臨時ニュース又は緊急ニュースの告知音を構成する特有の信号強度変化を検出する音検出工程と、
    上記音検出工程により上記信号強度変化が検出された場合にのみ、上記テレビジョン信号から取り出された上記映像信号に文字情報があるか否かを検出する文字情報検出工程と、
    上記音響信号の上記信号強度変化が検出されてから所定期間内に上記文字情報が検出された場合、該文字情報を特定情報として検出する特定情報検出工程と
    を有するプログラム。
13. 音響信号及び映像信号からなるテレビジョン信号から臨時ニュース又は緊急ニュースとしての特定情報を検出する動作をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
    上記テレビジョン信号から取り出された上記音響信号における臨時ニュース又は緊急ニュースの告知音を構成する特有の信号強度変化を検出する音検出工程と、
    上記音検出工程により上記信号強度変化が検出された場合にのみ、上記テレビジョン信号から取り出された上記映像信号に文字情報があるか否かを検出する文字情報検出工程と、
    上記音響信号の所定変化が検出されてから所定期間内に上記文字情報が検出された場合、該文字情報を特定情報として検出する特定情報検出工程と
    を有するプログラムが記録された記録媒体。
14. 音響信号及び映像信号からなるテレビジョン信号から臨時ニュース又は緊急ニュースとしての特定情報を検出する特定情報検出システムにおいて、
    少なくとも１つの表示装置と、
    上記テレビジョン信号から取り出された上記音響信号における臨時ニュース又は緊急ニュースの告知音を構成する特有の信号強度変化があるか否かを検出する音検出手段と、上記音検出手段により上記信号強度変化が検出された場合にのみ、上記テレビジョン信号から取り出された上記映像信号に文字情報があるか否かを検出する文字情報検出手段と、上記音響信号の上記信号強度変化が検出されてから所定期間内に上記文字情報が検出された場合、該文字情報を特定情報として検出する特定情報検出手段と、上記少なくとも１つの表示手段に接続され、上記特定情報検出手段により上記特定情報が検出されたとき該特定情報を提示するよう制御する提示制御手段とを有する特定情報検出装置と
    を具備する特定情報検出システム。

Images