JPH1155568A - 番組解説自動送出装置 - Google Patents

Abstract

(57)【要約】 【課題】 テレビジョン放送番組内での解説や説明を必
要とする語句の発生を自動的に検出し、該当する解説情
報を読み出して放送映像信号へ重畳して送出することが
可能な番組解説自動送出装置を提供する。 【解決手段】 番組解説自動送出装置は、放送信号切り
換え装置11から分配入力された音声信号から、放送番組
中の解説や説明の必要な語句の予め登録されている音声
パターンを照合することにより、解説情報のキーワード
を自動的に検出する解説キーワード検出手段(１、２、
３、４)と、抽出された音声パターンに該当する語句を
キーワードに、予め登録されている文字情報または画像
情報からなる語句解説情報の検索を行なう解説情報検索
手段(５、６)と、検索した番組解説情報を映像信号に変
換し、放送信号切り換え装置11から出力される放送映像
信号内の所定画像位置に重畳させて放送信号多重化装置
13への送出を指示する放送信号合成指示手段(７)とを備
える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョン番組
放送においてカメラ及びマイクロフォン、または収録済
み番組を記録した記録装置から放送信号切り換え装置で
選択された放送信号を放送信号多重化装置を介して放送
信号を送り出す放送番組送出システムの番組解説自動送
出装置に関し、特に、放送番組内での解説や説明を必要
とする語句の発生を自動的に検出し、該当する解説情報
を検索した後に映像信号へ重畳しうるよう構成し、ま
た、前記検出した語句を映像信号内空き領域に付加する
ことにより当該放送番組を収録した記録装置での映像検
索のためのキーワード情報として利用できるよう構成し
たものである。

【０００２】

【従来の技術】従来の放送番組送出システムでは、カメ
ラ及びマイクロフォン、または番組を収録したＶＴＲ装
置等の記録装置から放送信号切り換え装置で選択された
放送信号を、人間が視聴することにより解説や説明の必
要な語句の発声を検出し、必要な解説情報をスーパーイ
ンポーズ等の字幕情報として送出する指示を行ない、映
像信号に重畳させ放送信号多重化装置を介して放送信号
を送出する。

【０００３】この放送番組送出システムにおける解説情
報送出装置は、図７に示すように、カメラ及びマイクロ
フォン、または番組を収録した記録装置10から出力され
る映像音声信号を放送信号切り換え装置11で放送信号と
して選択される映像音声信号とは別に、制御コマンドを
受け付ける制御信号入力部71と、解説情報が字幕データ
として記録管理される字幕データ記録管理部73と、制御
信号入力部71からの字幕送出指示を解釈し字幕データ記
録管理部73に記録された字幕データの読み出しを行なう
字幕データＤＢ検索処理部72と、放送信号切り換え装置
11から選択出力された放送映像信号の所定映像位置に、
字幕データ記録管理部73から読み出された字幕データを
字幕映像信号に変換された映像信号を重畳させる指示を
映像信号合成装置12に行なう映像信号合成装置インタフ
ェース部74を備えたマイクロコンピュータ組み込み機器
またはパーソナルコンピュータ等で構成される。

【０００４】この解説情報送出装置から出力された字幕
映像信号は、映像信号合成装置12により放送映像信号所
定位置に重畳され、放送信号多重化装置13を介して、地
上波、放送衛星、通信網等の伝送媒体に送出される。

【０００５】この放送番組送出システムでは、番組内で
解説または説明が必要な語句の発声の検出を、番組進行
指揮者等が行なっており、アナウンサー等の番組出演者
が前記解説を必要とする語句の発声を行なった際に、マ
ニュアルにて字幕データ管理番号またはキーワードを付
加した解説情報送出コマンドをキーボードまたは遠隔制
御装置を用いて解説情報送出装置へ発行する。

【０００６】指定の解説情報送出コマンドを受け取った
解説情報送出装置は、予めＶＴＲ装置またはハードディ
スク装置等の記録装置に記録された字幕情報を読み出
し、映像信号に変換して所定の放送映像位置への指示と
ともに映像信号合成装置12へ字幕映像信号を出力するこ
とで、解説情報を付加した放送映像信号を送出すること
が可能である。

【０００７】

【発明が解決しようとする課題】しかし、放送番組内で
発声される解説を必要とする語句の検出のための要員が
必要であり且つ聞き逃し等の発生も考えられ、解説情報
送出の指示もマニュアル操作であるため解説情報送出の
タイミングにズレが発生する場合も考えられる。

【０００８】また、字幕等の映像信号内に重畳された解
説情報のみでは、機械的な映像検索等に利用する場合に
困難が予想される。

【０００９】本発明は、こうした従来システムの問題点
を解決するものであり、解説を必要とする語句の聞き逃
しあるいは解説情報の送出タイミングのズレを排除し、
適切なタイミングでの安定した解説情報の送り出しがで
きる番組解説自動送出装置を提供することを目的とし、
併せて映像検索等に利用可能なキーワードを自動的に抽
出し映像検索キーワード情報として放送映像信号空き領
域に多重化して送出することができる番組解説自動送出
装置を提供することを目的としている。

【００１０】

【課題を解決するための手段】そこで本発明では、第１
に、番組解説自動送出装置において、放送信号切り換え
装置より出力される放送信号を分配入力して得られる音
声信号から、予め登録されている放送番組中で解説や説
明の必要な語句の音声パターンを照合することにより、
解説情報のキーワードを自動的に検出する解説キーワー
ド検出手段と、抽出された音声パターンに該当する語句
をキーワードに、予め登録されている文字情報または画
像情報からなる番組解説情報データベースの検索を行な
う解説情報検索手段と、検索した番組解説情報を放送信
号切り換え装置から出力される放送映像信号内の所定画
像位置に重畳させて放送信号多重化装置への送出を指示
する放送信号合成指示手段とを備えるよう構成したもの
である。

【００１１】また、本発明では、第２に、番組解説自動
送出装置において、前記解説キーワード検出手段が、放
送信号切り換え装置より分配入力された映像信号から、
人物顔画像からの口唇領域を切り出す口唇領域画像切り
出し手段と、切り出した口唇領域画像パターンを予め登
録されている放送番組中で解説が必要な語句の口唇パタ
ーンと照合する口唇パターン照合手段を備えるよう構成
したものである。

【００１２】また、本発明では、第３に、番組解説自動
送出装置において、前記解説キーワード検出手段が、放
送信号切り換え装置より分配入力された音声信号から、
放送番組中の解説や説明の必要な語句の予め登録されて
いる音声パターンを照合する音声パターン照合手段と、
放送信号切り換え装置より分配入力された映像信号か
ら、放送番組中で解説が必要な語句の予め登録されてい
る口唇パターンを照合する口唇パターン照合手段を備え
るよう構成したものである。

【００１３】また、本発明では、第４に、前記した番組
解説自動送出装置のいずれかにおいて、前記解説キーワ
ード検出手段により検出されたキーワードを文字情報信
号に変換した後さらに放送信号に変換し、同一チャネル
内の放送信号の空き領域に多重化するよう指示するキー
ワード情報送出手段をさらに備えるよう構成したもので
ある。

【００１４】また、本発明では、第５に、テレビジョン
放送受信端末装置において、前記のキーワード情報送出
手段を備える番組解説自動送出装置から送出された映像
検索用のキーワード情報を含めて放送番組信号を受信
し、受信した放送番組信号から各チャネルごとのキーワ
ード情報を分離する放送信号受信部と、視聴者から入力
された番組選択情報としての音声情報又は映像情報又は
文字情報からキーワード情報を生成し後記するキーワー
ド照合手段に入力するキーワード入力インタフェース部
と、前記放送信号受信部が分離したキーワード情報と前
記キーワード入力インタフェース部から入力されたキー
ワード情報に基づいてキーワードの照合を行なうキーワ
ード照合手段と、前記キーワード照合手段にてキーワー
ド情報が照合一致したチャネルの選択指示を通知する放
送信号選択部と、前記放送信号選択部が選択したチャネ
ルの映像音声信号を出力するための映像音声モニタ装置
インタフェース部とを備えるよう構成したものである。

【００１５】また、本発明では、第６に、前記テレビジ
ョン放送受信端末装置において、前記のキーワード情報
送出手段を備える番組解説自動送出装置から送出された
映像検索用のキーワード情報を含めて放送番組信号を受
信し、受信した放送番組信号から各チャネルごとのキー
ワード情報を分離する放送信号受信部と、視聴者から入
力された録画予約情報としての音声情報又は映像情報又
は文字情報からキーワード情報のリストを生成し後記す
るキーワード照合手段に入力するキーワード入力インタ
フェース部と、前記放送信号受信部が分離したキーワー
ド情報と前記キーワード入力インタフェース部から入力
されたキーワード情報のリストに基づいてキーワードの
照合を行なうキーワード照合手段と、前記キーワード照
合手段にてキーワード情報が照合一致したチャネルの選
択指示を通知する放送信号選択部と、前記放送信号選択
部が選択したチャネルの映像音声信号をキーワード付き
で出力するための録画装置インタフェース部とを備える
よう構成したものである。

【００１６】

【発明の実施の形態】本発明の請求項１に記載の発明
は、放送番組送出システムにおける番組解説自動送出装
置において、放送信号切り換え装置より分配入力された
音声信号から、放送番組中の解説や説明の必要な語句の
予め登録されている音声パターンを照合することによ
り、解説情報のキーワードを自動的に検出する解説キー
ワード検出手段と、抽出された音声パターンに該当する
語句をキーワードに、予め登録されている文字情報また
は画像情報からなる語句解説情報の検索を行なう解説情
報検索手段と、検索した番組解説情報を映像信号に変換
し、放送信号切り換え装置から出力される放送映像信号
内の所定画像位置に重畳させて放送信号多重化装置への
送出を指示する放送信号合成指示手段とを備えることに
より、番組放送中の出演者やアナウンサー等の解説を必
要とする語句の発声タイミングに合わせて、番組解説情
報を番組本編の放送映像信号に自動的に重畳して放送す
ることを特徴とする番組解説自動送出装置としたもので
あって、解説を必要とする語句の聞き逃しあるいは解説
情報の送出タイミングのズレを排除し、適切なタイミン
グでの安定した解説情報の送り出しができるという作用
を有する。

【００１７】また、本発明の請求項２に記載の発明は、
前記請求項１に記載の解説キーワード検出手段が、放送
信号切り換え装置より分配入力された映像信号から、人
物顔画像からの口唇領域を切り出す口唇領域画像切り出
し手段と、切り出した口唇領域画像パターンを放送番組
中で解説が必要な語句の予め登録されている口唇パター
ンと照合する口唇パターン照合手段とから構成されるよ
うにしたものであり、人物顔画像より得た口唇領域の画
像パターンから解説情報のキーワードを自動検出するこ
とができるという作用を有する。

【００１８】また、本発明の請求項３に記載の発明は、
前記請求項１に記載の解説キーワード検出手段が、放送
信号切り換え装置より分配入力された音声信号から、放
送番組中の解説や説明の必要な語句の予め登録されてい
る音声パターンを照合する音声パターン照合手段と、放
送信号切り換え装置より分配入力された映像信号から、
放送番組中で解説が必要な語句の予め登録されている口
唇パターンを照合する口唇パターン照合手段とから構成
されるようにしたものであり、入力信号条件による音声
パターン検出時の誤りや口唇パターン検出時の誤りを相
互補完し、解説情報のキーワードを自動検出することが
できるという作用を有する。

【００１９】また、本発明の請求項４に記載の発明は、
前記請求項１乃至請求項３のいずれかに記載の番組解説
自動送出装置において、前記解説キーワード検出手段に
より検出されたキーワードを文字情報信号に変換した後
さらに放送信号に変換し、同一チャネル内の放送信号の
空き領域に多重化するよう指示するキーワード情報送出
手段をさらに備えるよう構成したものであり、番組の選
択または番組録画後の映像検索のためのキーワード情報
を映像検索用キーワード情報として提供できるという作
用を有する。

【００２０】また、本発明の請求項５に記載の発明は、
前記請求項４に記載のキーワード情報送出手段を備える
番組解説自動送出装置から送出された映像検索用のキー
ワード情報を含めて放送番組信号を受信し、受信した放
送番組信号から各チャネルごとのキーワード情報を分離
する放送信号受信部と、視聴者から入力された番組選択
情報としての音声情報又は映像情報又は文字情報からキ
ーワード情報を生成し後記するキーワード照合手段に入
力するキーワード入力インタフェース部と、前記放送信
号受信部が分離したキーワード情報と前記キーワード入
力インタフェース部から入力されたキーワード情報に基
づいてキーワードの照合を行なうキーワード照合手段
と、前記キーワード照合手段にてキーワード情報が照合
一致したチャネルの選択指示を通知する放送信号選択部
と、前記放送信号選択部が選択したチャネルの映像音声
信号を出力するための映像音声モニタ装置インタフェー
ス部とを備えることを特徴とするテレビジョン放送受信
端末装置としたものであり、映像検索用のキーワード情
報を用いて、テレビジョン放送受信端末装置においてキ
ーワードによる視聴番組の選択が行なえるという作用を
有する。

【００２１】また、本発明の請求項６に記載の発明は、
前記請求項４に記載のキーワード情報送出手段を備える
番組解説自動送出装置から送出された映像検索用のキー
ワード情報を含めて放送番組信号を受信し、受信した放
送番組信号から各チャネルごとのキーワード情報を分離
する放送信号受信部と、視聴者から入力された録画予約
情報としての音声情報又は映像情報又は文字情報からキ
ーワード情報のリストを生成し後記するキーワード照合
手段に入力するキーワード入力インタフェース部と、前
記放送信号受信部が分離したキーワード情報と前記キー
ワード入力インタフェース部から入力されたキーワード
情報のリストに基づいてキーワードの照合を行なうキー
ワード照合手段と、前記キーワード照合手段にてキーワ
ード情報が照合一致したチャネルの選択指示を通知する
放送信号選択部と、前記放送信号選択部が選択したチャ
ネルの映像音声信号をキーワード付きで出力するための
録画装置インタフェース部とを備えたことを特徴とする
テレビジョン放送受信端末装置としたものであり、映像
検索用のキーワード情報を用いて、テレビジョン放送受
信端末装置において放送信号の特定のシーンを選択的に
ＶＴＲ等の録画装置へ編集録画が行なえるという作用を
有する。

【００２２】以下、本発明の実施の形態について、図１
から図６を用いて説明する。なお、本発明はこれら実施
の形態に何等限定されるものではなく、その要旨を逸脱
しない範囲において種々なる態様で実施し得る。

【００２３】（第１の実施の形態）本発明の第１の実施
の形態の番組解説自動送出装置は、放送信号切り換え装
置から出力される放送信号を分配入力して得られる音声
信号から解説を必要とする語句の音声パターンを検出し
て、検出した語句の解説情報をデータベースから読み出
した後、放送信号切り換え装置から出力される放送映像
の所定位置への合成を映像信号合成装置に指示して解説
情報映像信号を映像合成装置に送出する。

【００２４】すなわち第１の実施の形態の番組解説自動
送出装置は、図１に示すように、カメラ及びマイクロフ
ォンまたは番組を収録した記録装置10から出力される映
像音声信号を放送信号切り換え装置11で放送信号として
選択され出力される放送映像音声信号から分配されて入
力される音声信号を受け付け符号化する音声信号入力部
１と、入力された音声データの音声パターンを生成する
入力音声パターン生成部２と、予め解説が必要な語句の
音声パターンをキーワードとして登録したキーワード音
声パターンデータベース部４と、入力音声パターンとキ
ーワード音声パターンとの照合を行なうキーワード音声
パターン照合部３と、解説情報をキーワード付きで記録
管理する解説情報データベース部６と、キーワード音声
パターン照合部３から検出されたキーワードに基づいて
解説情報データベース部６から解説情報の検索及び読み
出しを行なう解説情報データベース検索処理部５と、読
み出された解説情報を放送信号切り換え装置11から出力
される放送映像信号内の所定位置へのオーバレイ処理の
指示と解説情報の出力を映像信号合成装置12に行なう映
像信号合成装置インタフェース部７を備えたマイクロコ
ンピュータ組み込み機器またはパーソナルコンピュータ
等で構成される。

【００２５】この番組解説自動送出装置から出力された
番組解説情報は、映像信号合成装置12により放送映像信
号所定位置に重畳され、放送信号多重化装置13を介し
て、地上波、放送衛星、通信網等の伝送媒体に送出され
る。

【００２６】この番組解説自動送出装置において、解説
キーワード検出手段は、音声信号入力部１と入力音声パ
ターン生成部２とキーワード音声パターン照合部３とキ
ーワード音声パターンデータベース部４とから構成さ
れ、また解説情報検索手段は、解説情報データベース検
索処理部５と解説情報データベース部６とから構成さ
れ、さらに放送信号合成指示手段は、映像信号合成装置
インタフェース部７から構成される。

【００２７】次にこの装置の動作について説明する。カ
メラ及びマイクロフォン、または収録済み番組を記録し
た記録装置10から放送信号切り換え装置11で選択された
放送信号から分配入力された音声信号は、音声信号入力
部１にて信号ノイズ等を取り除き符号化が施され、符号
化音声データとして入力音声パターン生成部２に入力さ
れる。入力音声パターン生成部２は入力された符号化音
声データから発声音素毎に区切られた音素記号を生成
し、逐次キーワード音声パターン照合部３へと出力す
る。

【００２８】キーワード音声パターン照合部３は、入力
音声パターン生成部２から入力される音素記号から音素
記号列を形成し照合対象パターンとして、予めキーワー
ド音声パターンデータベース部４に登録されているキー
ワード発声時の音素記号列によるキーワード音声パター
ンの先頭の音素記号から逐次照合を行なう。

【００２９】この際、照合該当件数が０件である場合
は、入力された先頭の音素記号を廃棄し、次の入力の音
素記号を先頭とする音素記号列を照合対象パターンと
し、照合該当件数が１件以上あった場合は、次の入力の
音素記号を現在の音素記号列の最後尾に追加し、新たな
照合対象パターンとして、現在照合に該当しているキー
ワード音声パターンの音素記号数分だけ前記照合処理を
繰り返すことにより、キーワード音声パターンの絞り込
みと検出を行なう。

【００３０】キーワード音声パターンが検出されると、
キーワード音声パターン照合部３は検出したキーワード
音声パターンに該当するキーワードにて解説情報データ
ベース検索処理部５への解説情報の読み出しを指示す
る。

【００３１】解説情報データベース検索処理部５は、予
めキーワードを付与した文字情報または画像情報等で構
成される解説情報データが登録されている解説情報デー
タベース部６よりキーワード音声パターン照合部３によ
って指示されたキーワードを指定して、該当する解説情
報データを読み出し、解説情報データのデータ種別を付
与して映像信号合成装置インタフェース部７へ解説情報
データを出力する。この際、解説情報データベース検索
処理部５は、読み出した解説情報データのキーワードの
時刻付き読み出し履歴を取り、一定時間内で同じキーワ
ードによる読み出しを制限することができる。

【００３２】映像信号合成装置インタフェース部７は、
受け取った解説情報データとそのデータ種別に従い、放
送信号切り換え装置11から出力される放送映像信号内の
所定映像位置に解説情報が合成されるように映像信号合
成装置12へ指示を行ない、解説情報データの出力を行な
う。こうした一連の動作は、放送番組の放送開始から放
送番組終了時まで繰り返され、この装置内でキーワード
パターンが検出される度に、解説情報が映像合成され放
送される。

【００３３】（第２の実施の形態）本発明の第２の実施
の形態の番組解説自動送出装置では、前記した解説キー
ワード検出手段の機能として映像信号による解説キーワ
ード検出を行なえるよう構成したものである。

【００３４】第２の実施の形態の番組解説自動送出装置
では図２に示すように、解説キーワード検出手段は、映
像信号入力部21と入力口唇パターン生成部22とキーワー
ド口唇パターン照合部23とキーワード口唇パターンデー
タベース部24から構成される。

【００３５】解説情報検索手段は、解説情報データベー
ス検索処理部５と解説情報データベース部６とから構成
され、また放送信号合成手段は、映像信号合成装置イン
タフェース部７から構成され、これらの構成要素は前記
第１の実施の形態の番組解説自動送出装置に等しい。

【００３６】第２の実施の形態の番組解説自動送出装置
では、カメラ及びマイクロフォンまたは番組を収録した
記録装置10から放送信号切り換え装置11で選択された放
送信号から分配入力された映像信号は、映像信号入力部
21にて信号ノイズ等を取り除き符号化が施され、符号化
映像データとして入力口唇パターン生成部22に入力され
る。

【００３７】入力口唇パターン生成部22は、入力された
符号化口唇データの色相分析、及び画素分布の周波数分
析を行ない、人物顔画像ならびにその口唇領域画像を切
り出し、口唇形状とその動き情報から音素発声単位に区
切った音素発声単位口唇パターンを生成し、逐次キーワ
ード口唇パターン照合部23へと出力する。

【００３８】キーワード口唇パターン照合部23は、入力
口唇パターン生成部22から逐次入力される音素発声単位
口唇パターンから、口唇パターン列を形成し照合対象パ
ターンとして、予めキーワード口唇パターンデータベー
ス部24に登録されているキーワード発声時の口唇パター
ン列によるキーワード口唇パターンの先頭の音素発声単
位口唇パターンから逐次照合を行なう。この際、照合該
当件数が０件である場合は、入力された先頭の音素発声
単位口唇パターンを廃棄し、次の入力の音素発声単位口
唇パターンを先頭とする口唇パターン列を照合対象パタ
ーンとする。照合該当件数が１件以上あった場合は、次
の入力の音素発声単位口唇パターンを現在の音素発声単
位口唇パターン列の最後尾に追加し、新たな照合対象パ
ターンとして、現在照合に該当しているキーワード口唇
パターンの音素単位口唇パターン数分だけ前記照合処理
を繰り返すことにより、キーワード口唇パターンの絞り
込みと検出を行なう。

【００３９】キーワード口唇パターンが検出されると、
キーワード口唇パターン照合部23は口唇パターンに該当
するキーワードにて解説情報データベース検索処理部５
へ解説情報データベース部６からの解説情報の読み出し
を指示し、解説情報が映像合成され放送信号として送出
される。

【００４０】（第３の実施の形態）本発明の第３の実施
の形態の番組解説自動送出装置では、前記した解説キー
ワード検出手段の機能として音声信号と映像信号により
解説キーワード検出を行なえるよう構成したものであ
る。

【００４１】第３の実施の形態の番組解説自動送出装置
では図３に示すように、解説キーワード検出手段は、音
声信号入力部31.1と入力音声パターン生成部31.2から構
成される音声認識部31と、映像信号入力部32.1と入力口
唇パターン生成部32.2から構成される画像認識部32と、
キーワード複合パターン照合部33と、音声パターンデー
タベース34.1と口唇パターンデータベース34.2から構成
されるキーワード複合パターンデータベース部34から構
成される。

【００４２】解説情報検索手段は、解説情報データベー
ス検索処理部５と解説情報データベース部６とから構成
され、また放送信号合成指示手段は、映像信号合成装置
インタフェース部７から構成され、これらの構成要素は
前記第１及び第２の実施の形態の番組解説自動送出装置
に等しい。

【００４３】第３の実施の形態の番組解説自動送出装置
では、カメラ及びマイクロフォンまたは番組を収録した
記録装置10から放送信号切り換え装置11で選択された放
送信号から分配入力された音声信号は、音声信号入力部
31.1にて信号ノイズ等を取り除き符号化が施され、符号
化音声データとして入力音声パターン生成部31.2に入力
される。入力音声パターン生成部31.2は入力された符号
化音声データから発声音素毎に区切られた音素記号を確
信度付きで生成し、時刻情報を付与して逐次キーワード
複合パターン照合部33へと出力する。

【００４４】また、放送信号切り換え装置11で選択され
た放送信号から分配入力された映像信号は、映像信号入
力部32.1にて信号ノイズ等を取り除き符号化が施され、
符号化映像データとして入力口唇パターン生成部32.2に
入力される。入力口唇パターン生成部32.2は、入力され
た符号化口唇データの色相分析、及び画素分布の周波数
分析を行ない、人物顔画像ならびにその口唇領域画像を
切り出し、口唇形状とその動き情報から音素発声単位に
区切った音素発声単位口唇パターンを確信度付きで生成
し、時刻情報を付与して逐次キーワード複合パターン照
合部33へと出力する。

【００４５】キーワード複合パターン照合部33は、入力
音声パターン生成部31.2から入力される音素記号から音
素記号列を形成し照合対象パターンとして、予め音声パ
ターンデータベース部34.1に登録されているキーワード
発声時の音素記号列によるキーワード音声パターンの先
頭の音素記号から逐次照合を行ない、また、入力口唇パ
ターン生成部32.2から逐次入力される音素発声単位口唇
パターンから、口唇パターン列を形成し照合対象パター
ンとして、予め口唇パターンデータベース部34.2に登録
されているキーワード発声時の口唇パターン列によるキ
ーワード口唇パターンの先頭の音素発声単位口唇パター
ンから逐次照合を行なう。

【００４６】この際、音声パターンならびに口唇パター
ン各々の入力パターンのキーワードとの照合該当件数が
０件である場合は、入力された先頭の各々の音素単位パ
ターンを廃棄し、次の入力の音素単位パターンを先頭と
する入力パターン列を照合対象パターンとし、照合該当
件数が１件以上あった場合は、次の入力の音素単位パタ
ーンを現在の入力パターン列の最後尾に追加し、新たな
照合対象パターンとして、現在照合に該当しているキー
ワードの音声ならびに口唇各々のパターンの音素単位パ
ターン数分だけ前記照合処理を繰り返すことにより、キ
ーワード音声パターンならびにキーワード口唇パターン
の絞り込みと検出を行なう。

【００４７】この際、音声および口唇パターンの双方の
照合結果が異なる場合については、入力音声パターン生
成部31.2ならびに入力口唇パターン生成部32.2から各々
の入力パターンに付与されている確信度のアベレージが
上位の方を検出キーワードとして優先させる。

【００４８】また、騒音環境下での音声ノイズによる入
力音声が途切れたり、発話人物が登場しない映像による
入力口唇パターン生成が行なわれなかったりした場合
や、著しく確信度の低い入力パターンについて、キーワ
ード複合パターン照合部33は、各々の入力パターンに付
加される時刻情報と、音声パターンデータベース部34.1
と口唇パターンデータベース部34.2に格納されるそれぞ
れの音素レベルでの標準パターンを参照して、入力パタ
ーンの補完を行なうことができる。

【００４９】キーワードパターンが確定すると、キーワ
ード複合パターン照合部33はキーワードパターンに該当
するキーワードにて解説情報データベース検索処理部５
へ解説情報データベース部６からの解説情報の読み出し
を指示し、解説情報が映像合成され放送信号として送出
される。

【００５０】（第４の実施の形態）本発明の第４の実施
の形態の番組解説自動送出装置では、前記した第３の実
施の形態に記載の解説キーワード検出手段により検出さ
れたキーワードを同一チャネル内の放送信号の空き領域
に多重化させるキーワード情報送出手段をさらに備える
ようにして、番組の選択または番組録画後の映像検索の
ためのキーワード情報を映像検索用キーワード情報とし
て送出できるように構成したものである。

【００５１】第４の実施の形態の番組解説自動送出装置
では図４に示すように、解説キーワード検出手段は、音
声信号入力部31.1と入力音声パターン生成部31.2から構
成される音声認識部31と、映像信号入力部32.1と入力口
唇パターン生成部32.2から構成される画像認識部32と、
キーワード複合パターン照合部33と、音声パターンデー
タベース34.1と口唇パターンデータベース34.2から構成
されるキーワード複合パターンデータベース部34とから
構成される。

【００５２】解説情報検索手段は、解説情報データベー
ス検索処理部５と解説情報データベース部６とから構成
され、また放送信号合成指示手段は、映像信号合成装置
インタフェース部７から構成される前記第３の実施の形
態の番組解説自動送出装置に等しい構成要素に、キーワ
ード情報送出手段として、映像キーワード情報多重化部
48を加えた構成となっている。

【００５３】第４の実施の形態の番組解説自動送出装置
では、キーワード複合パターン照合部33にてキーワード
パターンが検出されると、キーワード複合パターン照合
部33はキーワードパターンに該当するキーワードにて解
説情報データベース検索処理部５へ解説情報データベー
ス部６からの解説情報の読み出しを指示すると同時に、
検出したキーワードパターンを映像検索キーワード情報
多重化部48へ通知する。

【００５４】映像キーワード情報多重化部48は受け取っ
たキーワードパターンが、音声パターンなら音声パター
ンデータベース部34.1に格納される音声標準パターン
を、口唇パターンなら口唇パターンデータベース部34.2
に格納される口唇標準パターンを参照し、キーワードパ
ターンを文字情報に変換した後放送信号への変換を行な
い、映像信号合成装置12から出力される解説情報合成済
みの放送映像信号が利用するチャネルの空き領域内所定
の領域への多重化を放送信号多重化装置13へ指示するこ
とにより、解説情報の放送映像への合成とともに、番組
映像検索のためのキーワード情報を映像検索用キーワー
ド情報として送出する。

【００５５】なお、第４の実施の形態の番組解説自動送
出装置として図４に示すように、図３に示す第３の実施
の形態の番組解説自動送出装置にキーワード情報送出手
段としての映像キーワード情報多重化部48を加えた構成
を例に説明したが、それ以外に図１または図２に示す第
１または第２の実施の形態の番組解説自動送出装置にキ
ーワード情報送出手段としての映像キーワード情報多重
化部48を加えた構成であっても良い。

【００５６】（第５の実施の形態）本発明による第５の
実施の形態の装置は、前記第４の実施の形態におけるキ
ーワード情報送出手段を備える番組解説自動送出装置か
ら送出された映像検索用のキーワード情報を用いてキー
ワードによる視聴番組の選択を行なえるようにしたもの
である。すなわち、図５は、本発明の第５の実施の形態
としてのテレビジョン放送受信端末装置を示すものであ
る。図５において、テレビジョン放送受信端末装置は、
前記請求項４に記載のキーワード情報送出手段を備える
番組解説自動送出装置から送出された映像検索用のキー
ワード情報を含めて放送番組信号を受信し、受信した放
送番組信号から各チャネルごとのキーワード情報を分離
する放送信号受信部51と、視聴者から入力された番組選
択情報としての音声情報又は映像情報又は文字情報から
キーワード情報を生成し後記するキーワード照合手段53
に入力するキーワード入力インタフェース部54と、前記
放送信号受信部51が分離したキーワード情報と前記キー
ワード入力インタフェース部54から入力されたキーワー
ド情報に基づいてキーワードの照合を行なうキーワード
照合手段53と、前記キーワード照合手段53にてキーワー
ド情報が照合一致したチャネルの選択指示を通知する放
送信号選択部52と、前記放送信号選択部52が選択したチ
ャネルの映像音声信号を出力するための映像音声モニタ
装置インタフェース部55とを備えたマイクロコンピュー
タ組み込み機器またはパーソナルコンピュータ等で構成
されるものである。

【００５７】この装置においては、前記第４の実施の形
態におけるキーワード情報送出手段を備える番組解説自
動送出装置から送出された映像検索用のキーワード情報
が多重化された放送信号は放送信号受信部51に入力され
る。放送信号受信部51は受信した各チャネルの放送信号
から映像音声信号とキーワード情報を分離して、当該チ
ャネルを識別するための符号を付与しキーワード情報を
キーワード照合手段53に出力する。キーワード入力イン
タフェース部54は、視聴者により番組選択情報として入
力される文字情報または映像情報または音声情報等から
キーワード情報を生成し前記キーワード照合手段53へ入
力する。キーワード照合手段53は予め前記キーワード入
力インタフェース部54から入力されたキーワード情報と
前記放送信号受信部51から入力されるキーワードとの照
合を行ない、キーワードが一致したチャネルの選択指示
を放送信号選択部52へ通知する。放送信号選択部52は通
知されたチャネルの映像音声信号を映像音声モニタ装置
インタフェース部55に出力指示することにより放送番組
の視聴選択が可能となる。

【００５８】（第６の実施の形態）本発明による第６の
実施の形態の装置は、前記第５の実施の形態のテレビジ
ョン放送受信端末装置にさらに録画装置インタフェース
部を加え、映像検索用のキーワード情報を用いて、放送
番組の特定のシーンを選択的にＶＴＲ等の録画装置へ編
集録画を行なえるようにしたものである。すなわち、図
６は、本発明の第６の実施の形態としてのテレビジョン
放送受信端末装置を示すものである。

【００５９】図６において、テレビジョン放送受信端末
装置は、前記請求項４に記載のキーワード情報送出手段
を備える番組解説自動送出装置から送出された映像検索
用のキーワード情報を含めて放送番組信号を受信し、受
信した放送番組信号から各チャネルごとのキーワード情
報を分離する放送信号受信部51と、視聴者から入力され
た録画予約情報としての音声情報又は映像情報又は文字
情報からキーワード情報のリストを生成し後記するキー
ワード照合手段53に入力するキーワード入力インタフェ
ース部54と、前記放送信号受信部51が分離したキーワー
ド情報と前記キーワード入力インタフェース部54から入
力されたキーワード情報のリストに基づいてキーワード
の照合を行なうキーワード照合手段53と、前記キーワー
ド照合手段53にてキーワード情報が照合一致したチャネ
ルの選択指示を通知する放送信号選択部52と、前記放送
信号選択部52が選択したチャネルの映像音声信号をキー
ワード付きで出力するための録画装置インタフェース部
66と、映像音声モニタ装置インタフェース部55とを備え
たマイクロコンピュータ組み込み機器またはパーソナル
コンピュータ等で構成されるものである。

【００６０】この装置においては、前記第５の実施の形
態のテレビジョン放送受信端末装置と同様の動作をさせ
ることもできるが、さらに、前記第４の実施の形態にお
けるキーワード情報送出手段を備える番組解説自動送出
装置から送出された映像検索用のキーワード情報が多重
化された放送信号は放送信号受信部51に入力される。放
送信号受信部51は受信した各チャネルの放送信号から映
像音声信号とキーワード情報を分離して、当該チャネル
を識別するための符号を付与しキーワード情報をキーワ
ード照合手段53に出力する。キーワード入力インタフェ
ース部54は、視聴者により録画予約情報として入力され
る文字情報または映像情報または音声情報等からキーワ
ード情報のリストを生成し前記キーワード照合手段53へ
入力する。キーワード照合手段53は予め前記キーワード
入力インタフェース部54から入力されたキーワード情報
のリストと前記放送信号受信部51から入力されるキーワ
ードとの照合を行ない、キーワードが一致したチャネル
の選択指示を放送信号選択部52へ通知する。放送信号選
択部52は通知されたチャネルの映像音声信号を録画装置
インタフェース部66にキーワード情報付きで録画指示す
ることにより放送番組の特定シーンを選択的にＶＴＲ等
の録画装置へ編集録画することが可能となる。

【００６１】

【発明の効果】以上の実施の形態の説明から明らかなよ
うに、本発明の番組解説自動送出装置は、音声認識技術
を解説キーワードの自動検出手段に用いることにより、
番組放送信号を視聴して解説キーワードの検出を行なう
要員を置くことなく、解説の必要な語句の解説情報を適
切なタイミングで放送映像信号に重畳し送出することが
可能であり、主にニュース番組等での専門用語、略語、
背景情報等を視聴者に効果的に伝達可能となるという格
別な効果を奏するものである。

【００６２】また、情報の検索や送出のタイミングが、
アナウンサー等の発話者のキーワード発話のタイミング
に連動して自動的に行なわれるため、番組の制作及び進
行上の手間が削減されることが期待できるという格別な
効果を奏するものである。

【００６３】また、解説キーワードの自動検出手段に画
像認識技術である口唇情報認識技術を用いることによ
り、発声障害を持つ番組出演の発話や、騒音環境下での
番組収録、または収録済み番組で何らかの原因で音声信
号が正しく出力されていない場合においても映像信号か
らの発話キーワードを検出することにより、遅滞なく解
説情報を放送映像信号に重畳し送出することが可能にな
るという格別な効果を奏するものである。

【００６４】また、解説キーワードの自動検出手段に音
声認識技術を主体とし、口唇情報認識技術を付加的に用
いることにより、入力される音声波形パターンまたは口
唇パターンの欠落があった場合、各々の正しく入力され
たパターンから相互に欠落部分を補完することが可能で
あり、解説キーワードの検出精度向上が期待できるとい
う格別な効果を奏するものである。

【００６５】また、自動検出したキーワード情報または
装置内で生成される入力パターンを、文字情報変換して
番組放送信号に多重化することにより、番組視聴者また
は制作者による番組録画後の映像検索に利用可能な映像
検索用キーワード情報の提供を行なうことができ、特に
デジタル多チャンネル放送サービスにおける番組の選択
や、デジタル映像ライブラリシステムにおける映像の検
索閲覧等に有用であるという格別な効果を奏するもので
ある。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の番組解説自動送出
装置の構成を示す図、

【図２】本発明の第２の実施の形態の番組解説自動送出
装置の構成を示す図、

【図３】本発明の第３の実施の形態の番組解説自動送出
装置の構成を示す図、

【図４】本発明の第４の実施の形態の番組解説自動送出
装置の構成を示す図、

【図５】本発明の第５の実施の形態としてのテレビジョ
ン放送受信端末装置の構成を示す図、

【図６】本発明の第６の実施の形態としてのテレビジョ
ン放送受信端末装置の構成を示す図、

【図７】従来の番組解説情報送出装置の構成を示す図で
ある。

【符号の説明】

１、31.1 音声信号入力部 ２、31.2 入力音声パターン生成部 ３ キーワード音声パターン照合部 ４ キーワード音声パターンデータベース部 ５ 解説情報データベース検索処理部 ６ 解説情報データベース部 ７、74 映像信号合成装置インタフェース部 10 放送番組記録・蓄積装置 11 放送信号切り換え装置 12 映像信号合成装置 13 放送信号多重化装置 21、32.1 映像信号入力部 22、32.2 入力口唇パターン生成部 23 キーワード口唇パターン照合部 24 キーワード口唇パターンデータベース部 31 音声認識部 32 画像認識部 33 キーワード複合パターン照合部 34 キーワードパターンデータベース部 34.1 音声パターンデータベース 34.2 口唇パターンデータベース 48 映像キーワード情報多重化部 51 放送信号受信部 52 放送信号選択部 53 キーワード照合部 54 キーワード入力インタフェース部 55 映像音声モニター装置インタフェース部 66 録画装置インタフェース部 71 制御信号入力部 72 字幕データＤＢ検索処理部 73 字幕データ記録管理部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 井上 郁夫 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (6)

【特許請求の範囲】
1. 【請求項１】 放送番組送出システムにおける番組解説
   自動送出装置において、放送信号切り換え装置より分配
   入力された音声信号から、放送番組中の解説や説明の必
   要な語句の予め登録されている音声パターンを照合する
   ことにより、解説情報のキーワードを自動的に検出する
   解説キーワード検出手段と、抽出された音声パターンに
   該当する語句をキーワードに、予め登録されている文字
   情報または画像情報からなる語句解説情報の検索を行な
   う解説情報検索手段と、検索した番組解説情報を映像信
   号に変換し、放送信号切り換え装置から出力される放送
   映像信号内の所定画像位置に重畳させて放送信号多重化
   装置への送出を指示する放送信号合成指示手段とを備え
   ることにより、番組放送中の出演者やアナウンサー等の
   解説を必要とする語句の発声タイミングに合わせて、番
   組解説情報を番組本編の放送映像信号に自動的に重畳し
   て放送することを特徴とする番組解説自動送出装置。
2. 【請求項２】 前記解説キーワード検出手段が、放送信
   号切り換え装置より分配入力された映像信号から、人物
   顔画像からの口唇領域を切り出す口唇領域画像切り出し
   手段と、切り出した口唇領域画像パターンを放送番組中
   で解説が必要な語句の予め登録されている口唇パターン
   と照合する口唇パターン照合手段とから構成されること
   を特徴とする請求項１に記載の番組解説自動送出装置。
3. 【請求項３】 前記解説キーワード検出手段が、放送信
   号切り換え装置より分配入力された音声信号から、放送
   番組中の解説や説明の必要な語句の予め登録されている
   音声パターンを照合する音声パターン照合手段と、放送
   信号切り換え装置より分配入力された映像信号から、放
   送番組中で解説が必要な語句の予め登録されている口唇
   パターンを照合する口唇パターン照合手段とから構成さ
   れることを特徴とする請求項１に記載の番組解説自動送
   出装置。
4. 【請求項４】 前記解説キーワード検出手段により検出
   されたキーワードを文字情報信号に変換した後さらに放
   送信号に変換し、同一チャネル内の放送信号の空き領域
   に多重化するよう指示するキーワード情報送出手段をさ
   らに備えることを特徴とする請求項１乃至請求項３のい
   ずれかに記載の番組解説自動送出装置。
5. 【請求項５】 前記請求項４に記載のキーワード情報送
   出手段を備える番組解説自動送出装置から送出された映
   像検索用のキーワード情報を含めて放送番組信号を受信
   し、受信した放送番組信号から各チャネルごとのキーワ
   ード情報を分離する放送信号受信部と、視聴者から入力
   された番組選択情報としての音声情報又は映像情報又は
   文字情報からキーワード情報を生成し後記するキーワー
   ド照合手段に入力するキーワード入力インタフェース部
   と、前記放送信号受信部が分離したキーワード情報と前
   記キーワード入力インタフェース部から入力されたキー
   ワード情報に基づいてキーワードの照合を行なうキーワ
   ード照合手段と、前記キーワード照合手段にてキーワー
   ド情報が照合一致したチャネルの選択指示を通知する放
   送信号選択部と、前記放送信号選択部が選択したチャネ
   ルの映像音声信号を出力するための映像音声モニタ装置
   インタフェース部とを備えることを特徴とするテレビジ
   ョン放送受信端末装置。
6. 【請求項６】 前記請求項４に記載のキーワード情報送
   出手段を備える番組解説自動送出装置から送出された映
   像検索用のキーワード情報を含めて放送番組信号を受信
   し、受信した放送番組信号から各チャネルごとのキーワ
   ード情報を分離する放送信号受信部と、視聴者から入力
   された録画予約情報としての音声情報又は映像情報又は
   文字情報からキーワード情報のリストを生成し後記する
   キーワード照合手段に入力するキーワード入力インタフ
   ェース部と、前記放送信号受信部が分離したキーワード
   情報と前記キーワード入力インタフェース部から入力さ
   れたキーワード情報のリストに基づいてキーワードの照
   合を行なうキーワード照合手段と、前記キーワード照合
   手段にてキーワード情報が照合一致したチャネルの選択
   指示を通知する放送信号選択部と、前記放送信号選択部
   が選択したチャネルの映像音声信号をキーワード付きで
   出力するための録画装置インタフェース部とを備えたこ
   とを特徴とするテレビジョン放送受信端末装置。