JP3827416B2 - 番組解説自動送出装置 - Google Patents
番組解説自動送出装置 Download PDFInfo
- Publication number
- JP3827416B2 JP3827416B2 JP21829697A JP21829697A JP3827416B2 JP 3827416 B2 JP3827416 B2 JP 3827416B2 JP 21829697 A JP21829697 A JP 21829697A JP 21829697 A JP21829697 A JP 21829697A JP 3827416 B2 JP3827416 B2 JP 3827416B2
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- program
- broadcast
- information
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビジョン番組放送においてカメラ及びマイクロフォン、または収録済み番組を記録した記録装置から放送信号切り換え装置で選択された放送信号を放送信号多重化装置を介して放送信号を送り出す放送番組送出システムの番組解説自動送出装置に関し、特に、放送番組内での解説や説明を必要とする語句の発生を自動的に検出し、該当する解説情報を検索した後に映像信号へ重畳しうるよう構成し、また、前記検出した語句を映像信号内空き領域に付加することにより当該放送番組を収録した記録装置での映像検索のためのキーワード情報として利用できるよう構成したものである。
【０００２】
【従来の技術】
従来の放送番組送出システムでは、カメラ及びマイクロフォン、または番組を収録したＶＴＲ装置等の記録装置から放送信号切り換え装置で選択された放送信号を、人間が視聴することにより解説や説明の必要な語句の発声を検出し、必要な解説情報をスーパーインポーズ等の字幕情報として送出する指示を行ない、映像信号に重畳させ放送信号多重化装置を介して放送信号を送出する。
【０００３】
この放送番組送出システムにおける解説情報送出装置は、図７に示すように、カメラ及びマイクロフォン、または番組を収録した記録装置10から出力される映像音声信号を放送信号切り換え装置11で放送信号として選択される映像音声信号とは別に、制御コマンドを受け付ける制御信号入力部71と、解説情報が字幕データとして記録管理される字幕データ記録管理部73と、制御信号入力部71からの字幕送出指示を解釈し字幕データ記録管理部73に記録された字幕データの読み出しを行なう字幕データＤＢ検索処理部72と、放送信号切り換え装置11から選択出力された放送映像信号の所定映像位置に、字幕データ記録管理部73から読み出された字幕データを字幕映像信号に変換された映像信号を重畳させる指示を映像信号合成装置12に行なう映像信号合成装置インタフェース部74を備えたマイクロコンピュータ組み込み機器またはパーソナルコンピュータ等で構成される。
【０００４】
この解説情報送出装置から出力された字幕映像信号は、映像信号合成装置12により放送映像信号所定位置に重畳され、放送信号多重化装置13を介して、地上波、放送衛星、通信網等の伝送媒体に送出される。
【０００５】
この放送番組送出システムでは、番組内で解説または説明が必要な語句の発声の検出を、番組進行指揮者等が行なっており、アナウンサー等の番組出演者が前記解説を必要とする語句の発声を行なった際に、マニュアルにて字幕データ管理番号またはキーワードを付加した解説情報送出コマンドをキーボードまたは遠隔制御装置を用いて解説情報送出装置へ発行する。
【０００６】
指定の解説情報送出コマンドを受け取った解説情報送出装置は、予めＶＴＲ装置またはハードディスク装置等の記録装置に記録された字幕情報を読み出し、映像信号に変換して所定の放送映像位置への指示とともに映像信号合成装置12へ字幕映像信号を出力することで、解説情報を付加した放送映像信号を送出することが可能である。
【０００７】
【発明が解決しようとする課題】
しかし、放送番組内で発声される解説を必要とする語句の検出のための要員が必要であり且つ聞き逃し等の発生も考えられ、解説情報送出の指示もマニュアル操作であるため解説情報送出のタイミングにズレが発生する場合も考えられる。
【０００８】
また、字幕等の映像信号内に重畳された解説情報のみでは、機械的な映像検索等に利用する場合に困難が予想される。
【０００９】
本発明は、こうした従来システムの問題点を解決するものであり、解説を必要とする語句の聞き逃しあるいは解説情報の送出タイミングのズレを排除し、適切なタイミングでの安定した解説情報の送り出しができる番組解説自動送出装置を提供することを目的とし、併せて映像検索等に利用可能なキーワードを自動的に抽出し映像検索キーワード情報として放送映像信号空き領域に多重化して送出することができる番組解説自動送出装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】
そこで本発明では、第１に、番組解説自動送出装置において、放送信号切り換え装置より出力される放送信号を分配入力して得られる音声信号から、予め登録されている放送番組中で解説や説明の必要な語句の音声パターンを照合することにより、解説情報のキーワードを自動的に検出する解説キーワード検出手段と、抽出された音声パターンに該当する語句をキーワードに、予め登録されている文字情報または画像情報からなる番組解説情報データベースの検索を行なう解説情報検索手段と、検索した番組解説情報を放送信号切り換え装置から出力される放送映像信号内の所定画像位置に重畳させて放送信号多重化装置への送出を指示する放送信号合成指示手段とを備えるよう構成したものである。
【００１１】
また、本発明では、第２に、番組解説自動送出装置において、前記解説キーワード検出手段が、放送信号切り換え装置より分配入力された映像信号から、人物顔画像からの口唇領域を切り出す口唇領域画像切り出し手段と、切り出した口唇領域画像パターンを予め登録されている放送番組中で解説が必要な語句の口唇パターンと照合する口唇パターン照合手段を備えるよう構成したものである。
【００１２】
また、本発明では、第３に、番組解説自動送出装置において、前記解説キーワード検出手段が、放送信号切り換え装置より分配入力された音声信号から、放送番組中の解説や説明の必要な語句の予め登録されている音声パターンを照合する音声パターン照合手段と、放送信号切り換え装置より分配入力された映像信号から、放送番組中で解説が必要な語句の予め登録されている口唇パターンを照合する口唇パターン照合手段を備えるよう構成したものである。
【００１３】
また、本発明では、第４に、前記した番組解説自動送出装置のいずれかにおいて、前記解説キーワード検出手段により検出されたキーワードを文字情報信号に変換した後さらに放送信号に変換し、同一チャネル内の放送信号の空き領域に多重化するよう指示するキーワード情報送出手段をさらに備えるよう構成したものである。
【００１６】
【発明の実施の形態】
本発明の請求項１に記載の発明は、放送番組送出システムにおける番組解説自動送出装置において、放送信号切り換え装置より分配入力された音声信号から、放送番組中の解説や説明の必要な語句の予め登録されている音声パターンを照合することにより、解説情報のキーワードを自動的に検出する解説キーワード検出手段と、抽出された音声パターンに該当する語句をキーワードに、予め登録されている文字情報または画像情報からなる語句解説情報の検索を行なう解説情報検索手段と、検索した番組解説情報を映像信号に変換し、放送信号切り換え装置から出力される放送映像信号内の所定画像位置に重畳させて放送信号多重化装置への送出を指示する放送信号合成指示手段とを備えることにより、番組放送中の出演者やアナウンサーの解説を必要とする語句の発声タイミングに合わせて、番組解説情報を番組本編の放送映像信号に自動的に重畳して放送することを特徴とする番組解説自動送出装置としたものであって、解説を必要とする語句の聞き逃しあるいは解説情報の送出タイミングのズレを排除し、適切なタイミングでの安定した解説情報の送り出しができるという作用を有する。
【００１７】
また、本発明の請求項２に記載の発明は、前記請求項１に記載の解説キーワード検出手段が、放送信号切り換え装置より分配入力された映像信号から、人物顔画像からの口唇領域を切り出す口唇領域画像切り出し手段と、切り出した口唇領域画像パターンを放送番組中で解説が必要な語句の予め登録されている口唇パターンと照合する口唇パターン照合手段とから構成されるようにしたものであり、人物顔画像より得た口唇領域の画像パターンから解説情報のキーワードを自動検出することができるという作用を有する。
【００１８】
また、本発明の請求項３に記載の発明は、前記請求項１に記載の解説キーワード検出手段が、放送信号切り換え装置より分配入力された音声信号から、放送番組中の解説や説明の必要な語句の予め登録されている音声パターンを照合する音声パターン照合手段と、放送信号切り換え装置より分配入力された映像信号から、放送番組中で解説が必要な語句の予め登録されている口唇パターンを照合する口唇パターン照合手段とから構成されるようにしたものであり、入力信号条件による音声パターン検出時の誤りや口唇パターン検出時の誤りを相互補完し、解説情報のキーワードを自動検出することができるという作用を有する。
【００１９】
また、本発明の請求項４に記載の発明は、前記請求項１乃至請求項３のいずれかに記載の番組解説自動送出装置において、前記解説キーワード検出手段により検出されたキーワードを文字情報信号に変換した後さらに放送信号に変換し、同一チャネル内の放送信号の空き領域に多重化するよう指示するキーワード情報送出手段をさらに備えるよう構成したものであり、番組の選択または番組録画後の映像検索のためのキーワード情報を映像検索用キーワード情報として提供できるという作用を有する。
【００２２】
以下、本発明の実施の形態について、図１から図６を用いて説明する。なお、本発明はこれら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲において種々なる態様で実施し得る。
【００２３】
（第１の実施の形態）
本発明の第１の実施の形態の番組解説自動送出装置は、放送信号切り換え装置から出力される放送信号を分配入力して得られる音声信号から解説を必要とする語句の音声パターンを検出して、検出した語句の解説情報をデータベースから読み出した後、放送信号切り換え装置から出力される放送映像の所定位置への合成を映像信号合成装置に指示して解説情報映像信号を映像合成装置に送出する。
【００２４】
すなわち第１の実施の形態の番組解説自動送出装置は、図１に示すように、カメラ及びマイクロフォンまたは番組を収録した記録装置10から出力される映像音声信号を放送信号切り換え装置11で放送信号として選択され出力される放送映像音声信号から分配されて入力される音声信号を受け付け符号化する音声信号入力部１と、入力された音声データの音声パターンを生成する入力音声パターン生成部２と、予め解説が必要な語句の音声パターンをキーワードとして登録したキーワード音声パターンデータベース部４と、入力音声パターンとキーワード音声パターンとの照合を行なうキーワード音声パターン照合部３と、解説情報をキーワード付きで記録管理する解説情報データベース部６と、キーワード音声パターン照合部３から検出されたキーワードに基づいて解説情報データベース部６から解説情報の検索及び読み出しを行なう解説情報データベース検索処理部５と、読み出された解説情報を放送信号切り換え装置11から出力される放送映像信号内の所定位置へのオーバレイ処理の指示と解説情報の出力を映像信号合成装置12に行なう映像信号合成装置インタフェース部７を備えたマイクロコンピュータ組み込み機器またはパーソナルコンピュータ等で構成される。
【００２５】
この番組解説自動送出装置から出力された番組解説情報は、映像信号合成装置12により放送映像信号所定位置に重畳され、放送信号多重化装置13を介して、地上波、放送衛星、通信網等の伝送媒体に送出される。
【００２６】
この番組解説自動送出装置において、解説キーワード検出手段は、音声信号入力部１と入力音声パターン生成部２とキーワード音声パターン照合部３とキーワード音声パターンデータベース部４とから構成され、また解説情報検索手段は、解説情報データベース検索処理部５と解説情報データベース部６とから構成され、さらに放送信号合成指示手段は、映像信号合成装置インタフェース部７から構成される。
【００２７】
次にこの装置の動作について説明する。
カメラ及びマイクロフォン、または収録済み番組を記録した記録装置10から放送信号切り換え装置11で選択された放送信号から分配入力された音声信号は、音声信号入力部１にて信号ノイズ等を取り除き符号化が施され、符号化音声データとして入力音声パターン生成部２に入力される。入力音声パターン生成部２は入力された符号化音声データから発声音素毎に区切られた音素記号を生成し、逐次キーワード音声パターン照合部３へと出力する。
【００２８】
キーワード音声パターン照合部３は、入力音声パターン生成部２から入力される音素記号から音素記号列を形成し照合対象パターンとして、予めキーワード音声パターンデータベース部４に登録されているキーワード発声時の音素記号列によるキーワード音声パターンの先頭の音素記号から逐次照合を行なう。
【００２９】
この際、照合該当件数が０件である場合は、入力された先頭の音素記号を廃棄し、次の入力の音素記号を先頭とする音素記号列を照合対象パターンとし、照合該当件数が１件以上あった場合は、次の入力の音素記号を現在の音素記号列の最後尾に追加し、新たな照合対象パターンとして、現在照合に該当しているキーワード音声パターンの音素記号数分だけ前記照合処理を繰り返すことにより、キーワード音声パターンの絞り込みと検出を行なう。
【００３０】
キーワード音声パターンが検出されると、キーワード音声パターン照合部３は検出したキーワード音声パターンに該当するキーワードにて解説情報データベース検索処理部５への解説情報の読み出しを指示する。
【００３１】
解説情報データベース検索処理部５は、予めキーワードを付与した文字情報または画像情報等で構成される解説情報データが登録されている解説情報データベース部６よりキーワード音声パターン照合部３によって指示されたキーワードを指定して、該当する解説情報データを読み出し、解説情報データのデータ種別を付与して映像信号合成装置インタフェース部７へ解説情報データを出力する。この際、解説情報データベース検索処理部５は、読み出した解説情報データのキーワードの時刻付き読み出し履歴を取り、一定時間内で同じキーワードによる読み出しを制限することができる。
【００３２】
映像信号合成装置インタフェース部７は、受け取った解説情報データとそのデータ種別に従い、放送信号切り換え装置11から出力される放送映像信号内の所定映像位置に解説情報が合成されるように映像信号合成装置12へ指示を行ない、解説情報データの出力を行なう。こうした一連の動作は、放送番組の放送開始から放送番組終了時まで繰り返され、この装置内でキーワードパターンが検出される度に、解説情報が映像合成され放送される。
【００３３】
（第２の実施の形態）
本発明の第２の実施の形態の番組解説自動送出装置では、前記した解説キーワード検出手段の機能として映像信号による解説キーワード検出を行なえるよう構成したものである。
【００３４】
第２の実施の形態の番組解説自動送出装置では図２に示すように、解説キーワード検出手段は、映像信号入力部21と入力口唇パターン生成部22とキーワード口唇パターン照合部23とキーワード口唇パターンデータベース部24から構成される。
【００３５】
解説情報検索手段は、解説情報データベース検索処理部５と解説情報データベース部６とから構成され、また放送信号合成手段は、映像信号合成装置インタフェース部７から構成され、これらの構成要素は前記第１の実施の形態の番組解説自動送出装置に等しい。
【００３６】
第２の実施の形態の番組解説自動送出装置では、カメラ及びマイクロフォンまたは番組を収録した記録装置10から放送信号切り換え装置11で選択された放送信号から分配入力された映像信号は、映像信号入力部21にて信号ノイズ等を取り除き符号化が施され、符号化映像データとして入力口唇パターン生成部22に入力される。
【００３７】
入力口唇パターン生成部22は、入力された符号化口唇データの色相分析、及び画素分布の周波数分析を行ない、人物顔画像ならびにその口唇領域画像を切り出し、口唇形状とその動き情報から音素発声単位に区切った音素発声単位口唇パターンを生成し、逐次キーワード口唇パターン照合部23へと出力する。
【００３８】
キーワード口唇パターン照合部23は、入力口唇パターン生成部22から逐次入力される音素発声単位口唇パターンから、口唇パターン列を形成し照合対象パターンとして、予めキーワード口唇パターンデータベース部24に登録されているキーワード発声時の口唇パターン列によるキーワード口唇パターンの先頭の音素発声単位口唇パターンから逐次照合を行なう。この際、照合該当件数が０件である場合は、入力された先頭の音素発声単位口唇パターンを廃棄し、次の入力の音素発声単位口唇パターンを先頭とする口唇パターン列を照合対象パターンとする。照合該当件数が１件以上あった場合は、次の入力の音素発声単位口唇パターンを現在の音素発声単位口唇パターン列の最後尾に追加し、新たな照合対象パターンとして、現在照合に該当しているキーワード口唇パターンの音素単位口唇パターン数分だけ前記照合処理を繰り返すことにより、キーワード口唇パターンの絞り込みと検出を行なう。
【００３９】
キーワード口唇パターンが検出されると、キーワード口唇パターン照合部23は口唇パターンに該当するキーワードにて解説情報データベース検索処理部５へ解説情報データベース部６からの解説情報の読み出しを指示し、解説情報が映像合成され放送信号として送出される。
【００４０】
（第３の実施の形態）
本発明の第３の実施の形態の番組解説自動送出装置では、前記した解説キーワード検出手段の機能として音声信号と映像信号により解説キーワード検出を行なえるよう構成したものである。
【００４１】
第３の実施の形態の番組解説自動送出装置では図３に示すように、解説キーワード検出手段は、音声信号入力部31.1と入力音声パターン生成部31.2から構成される音声認識部31と、映像信号入力部32.1と入力口唇パターン生成部32.2から構成される画像認識部32と、キーワード複合パターン照合部33と、音声パターンデータベース34.1と口唇パターンデータベース34.2から構成されるキーワード複合パターンデータベース部34から構成される。
【００４２】
解説情報検索手段は、解説情報データベース検索処理部５と解説情報データベース部６とから構成され、また放送信号合成指示手段は、映像信号合成装置インタフェース部７から構成され、これらの構成要素は前記第１及び第２の実施の形態の番組解説自動送出装置に等しい。
【００４３】
第３の実施の形態の番組解説自動送出装置では、カメラ及びマイクロフォンまたは番組を収録した記録装置10から放送信号切り換え装置11で選択された放送信号から分配入力された音声信号は、音声信号入力部31.1にて信号ノイズ等を取り除き符号化が施され、符号化音声データとして入力音声パターン生成部31.2に入力される。入力音声パターン生成部31.2は入力された符号化音声データから発声音素毎に区切られた音素記号を確信度付きで生成し、時刻情報を付与して逐次キーワード複合パターン照合部33へと出力する。
【００４４】
また、放送信号切り換え装置11で選択された放送信号から分配入力された映像信号は、映像信号入力部32.1にて信号ノイズ等を取り除き符号化が施され、符号化映像データとして入力口唇パターン生成部32.2に入力される。入力口唇パターン生成部32.2は、入力された符号化口唇データの色相分析、及び画素分布の周波数分析を行ない、人物顔画像ならびにその口唇領域画像を切り出し、口唇形状とその動き情報から音素発声単位に区切った音素発声単位口唇パターンを確信度付きで生成し、時刻情報を付与して逐次キーワード複合パターン照合部33へと出力する。
【００４５】
キーワード複合パターン照合部33は、入力音声パターン生成部31.2から入力される音素記号から音素記号列を形成し照合対象パターンとして、予め音声パターンデータベース部34.1に登録されているキーワード発声時の音素記号列によるキーワード音声パターンの先頭の音素記号から逐次照合を行ない、また、入力口唇パターン生成部32.2から逐次入力される音素発声単位口唇パターンから、口唇パターン列を形成し照合対象パターンとして、予め口唇パターンデータベース部34.2に登録されているキーワード発声時の口唇パターン列によるキーワード口唇パターンの先頭の音素発声単位口唇パターンから逐次照合を行なう。
【００４６】
この際、音声パターンならびに口唇パターン各々の入力パターンのキーワードとの照合該当件数が０件である場合は、入力された先頭の各々の音素単位パターンを廃棄し、次の入力の音素単位パターンを先頭とする入力パターン列を照合対象パターンとし、照合該当件数が１件以上あった場合は、次の入力の音素単位パターンを現在の入力パターン列の最後尾に追加し、新たな照合対象パターンとして、現在照合に該当しているキーワードの音声ならびに口唇各々のパターンの音素単位パターン数分だけ前記照合処理を繰り返すことにより、キーワード音声パターンならびにキーワード口唇パターンの絞り込みと検出を行なう。
【００４７】
この際、音声および口唇パターンの双方の照合結果が異なる場合については、入力音声パターン生成部31.2ならびに入力口唇パターン生成部32.2から各々の入力パターンに付与されている確信度のアベレージが上位の方を検出キーワードとして優先させる。
【００４８】
また、騒音環境下での音声ノイズによる入力音声が途切れたり、発話人物が登場しない映像による入力口唇パターン生成が行なわれなかったりした場合や、著しく確信度の低い入力パターンについて、キーワード複合パターン照合部33は、各々の入力パターンに付加される時刻情報と、音声パターンデータベース部34.1と口唇パターンデータベース部34.2に格納されるそれぞれの音素レベルでの標準パターンを参照して、入力パターンの補完を行なうことができる。
【００４９】
キーワードパターンが確定すると、キーワード複合パターン照合部33はキーワードパターンに該当するキーワードにて解説情報データベース検索処理部５へ解説情報データベース部６からの解説情報の読み出しを指示し、解説情報が映像合成され放送信号として送出される。
【００５０】
（第４の実施の形態）
本発明の第４の実施の形態の番組解説自動送出装置では、前記した第３の実施の形態に記載の解説キーワード検出手段により検出されたキーワードを同一チャネル内の放送信号の空き領域に多重化させるキーワード情報送出手段をさらに備えるようにして、番組の選択または番組録画後の映像検索のためのキーワード情報を映像検索用キーワード情報として送出できるように構成したものである。
【００５１】
第４の実施の形態の番組解説自動送出装置では図４に示すように、解説キーワード検出手段は、音声信号入力部31.1と入力音声パターン生成部31.2から構成される音声認識部31と、映像信号入力部32.1と入力口唇パターン生成部32.2から構成される画像認識部32と、キーワード複合パターン照合部33と、音声パターンデータベース34.1と口唇パターンデータベース34.2から構成されるキーワード複合パターンデータベース部34とから構成される。
【００５２】
解説情報検索手段は、解説情報データベース検索処理部５と解説情報データベース部６とから構成され、また放送信号合成指示手段は、映像信号合成装置インタフェース部７から構成される前記第３の実施の形態の番組解説自動送出装置に等しい構成要素に、キーワード情報送出手段として、映像キーワード情報多重化部48を加えた構成となっている。
【００５３】
第４の実施の形態の番組解説自動送出装置では、キーワード複合パターン照合部33にてキーワードパターンが検出されると、キーワード複合パターン照合部33はキーワードパターンに該当するキーワードにて解説情報データベース検索処理部５へ解説情報データベース部６からの解説情報の読み出しを指示すると同時に、検出したキーワードパターンを映像検索キーワード情報多重化部48へ通知する。
【００５４】
映像キーワード情報多重化部48は受け取ったキーワードパターンが、音声パターンなら音声パターンデータベース部34.1に格納される音声標準パターンを、口唇パターンなら口唇パターンデータベース部34.2に格納される口唇標準パターンを参照し、キーワードパターンを文字情報に変換した後放送信号への変換を行ない、映像信号合成装置12から出力される解説情報合成済みの放送映像信号が利用するチャネルの空き領域内所定の領域への多重化を放送信号多重化装置13へ指示することにより、解説情報の放送映像への合成とともに、番組映像検索のためのキーワード情報を映像検索用キーワード情報として送出する。
【００５５】
なお、第４の実施の形態の番組解説自動送出装置として図４に示すように、図３に示す第３の実施の形態の番組解説自動送出装置にキーワード情報送出手段としての映像キーワード情報多重化部48を加えた構成を例に説明したが、それ以外に図１または図２に示す第１または第２の実施の形態の番組解説自動送出装置にキーワード情報送出手段としての映像キーワード情報多重化部48を加えた構成であっても良い。
【００５６】
（第５の実施の形態）
本発明による第５の実施の形態の装置は、前記第４の実施の形態におけるキーワード情報送出手段を備える番組解説自動送出装置から送出された映像検索用のキーワード情報を用いてキーワードによる視聴番組の選択を行なえるようにしたものである。すなわち、図５は、本発明の第５の実施の形態としてのテレビジョン放送受信端末装置を示すものである。図５において、テレビジョン放送受信端末装置は、前記請求項４に記載のキーワード情報送出手段を備える番組解説自動送出装置から送出された映像検索用のキーワード情報を含めて放送番組信号を受信し、受信した放送番組信号から各チャネルごとのキーワード情報を分離する放送信号受信部51と、視聴者から入力された番組選択情報としての音声情報又は映像情報又は文字情報からキーワード情報を生成し後記するキーワード照合手段53に入力するキーワード入力インタフェース部54と、前記放送信号受信部51が分離したキーワード情報と前記キーワード入力インタフェース部54から入力されたキーワード情報に基づいてキーワードの照合を行なうキーワード照合手段53と、前記キーワード照合手段53にてキーワード情報が照合一致したチャネルの選択指示を通知する放送信号選択部52と、前記放送信号選択部52が選択したチャネルの映像音声信号を出力するための映像音声モニタ装置インタフェース部55とを備えたマイクロコンピュータ組み込み機器またはパーソナルコンピュータ等で構成されるものである。
【００５７】
この装置においては、前記第４の実施の形態におけるキーワード情報送出手段を備える番組解説自動送出装置から送出された映像検索用のキーワード情報が多重化された放送信号は放送信号受信部51に入力される。放送信号受信部51は受信した各チャネルの放送信号から映像音声信号とキーワード情報を分離して、当該チャネルを識別するための符号を付与しキーワード情報をキーワード照合手段53に出力する。キーワード入力インタフェース部54は、視聴者により番組選択情報として入力される文字情報または映像情報または音声情報等からキーワード情報を生成し前記キーワード照合手段53へ入力する。キーワード照合手段53は予め前記キーワード入力インタフェース部54から入力されたキーワード情報と前記放送信号受信部51から入力されるキーワードとの照合を行ない、キーワードが一致したチャネルの選択指示を放送信号選択部52へ通知する。放送信号選択部52は通知されたチャネルの映像音声信号を映像音声モニタ装置インタフェース部55に出力指示することにより放送番組の視聴選択が可能となる。
【００５８】
（第６の実施の形態）
本発明による第６の実施の形態の装置は、前記第５の実施の形態のテレビジョン放送受信端末装置にさらに録画装置インタフェース部を加え、映像検索用のキーワード情報を用いて、放送番組の特定のシーンを選択的にＶＴＲ等の録画装置へ編集録画を行なえるようにしたものである。すなわち、図６は、本発明の第６の実施の形態としてのテレビジョン放送受信端末装置を示すものである。
【００５９】
図６において、テレビジョン放送受信端末装置は、前記請求項４に記載のキーワード情報送出手段を備える番組解説自動送出装置から送出された映像検索用のキーワード情報を含めて放送番組信号を受信し、受信した放送番組信号から各チャネルごとのキーワード情報を分離する放送信号受信部51と、視聴者から入力された録画予約情報としての音声情報又は映像情報又は文字情報からキーワード情報のリストを生成し後記するキーワード照合手段53に入力するキーワード入力インタフェース部54と、前記放送信号受信部51が分離したキーワード情報と前記キーワード入力インタフェース部54から入力されたキーワード情報のリストに基づいてキーワードの照合を行なうキーワード照合手段53と、前記キーワード照合手段53にてキーワード情報が照合一致したチャネルの選択指示を通知する放送信号選択部52と、前記放送信号選択部52が選択したチャネルの映像音声信号をキーワード付きで出力するための録画装置インタフェース部66と、映像音声モニタ装置インタフェース部55とを備えたマイクロコンピュータ組み込み機器またはパーソナルコンピュータ等で構成されるものである。
【００６０】
この装置においては、前記第５の実施の形態のテレビジョン放送受信端末装置と同様の動作をさせることもできるが、さらに、前記第４の実施の形態におけるキーワード情報送出手段を備える番組解説自動送出装置から送出された映像検索用のキーワード情報が多重化された放送信号は放送信号受信部51に入力される。放送信号受信部51は受信した各チャネルの放送信号から映像音声信号とキーワード情報を分離して、当該チャネルを識別するための符号を付与しキーワード情報をキーワード照合手段53に出力する。キーワード入力インタフェース部54は、視聴者により録画予約情報として入力される文字情報または映像情報または音声情報等からキーワード情報のリストを生成し前記キーワード照合手段53へ入力する。キーワード照合手段53は予め前記キーワード入力インタフェース部54から入力されたキーワード情報のリストと前記放送信号受信部51から入力されるキーワードとの照合を行ない、キーワードが一致したチャネルの選択指示を放送信号選択部52へ通知する。放送信号選択部52は通知されたチャネルの映像音声信号を録画装置インタフェース部66にキーワード情報付きで録画指示することにより放送番組の特定シーンを選択的にＶＴＲ等の録画装置へ編集録画することが可能となる。
【００６１】
【発明の効果】
以上の実施の形態の説明から明らかなように、本発明の番組解説自動送出装置は、音声認識技術を解説キーワードの自動検出手段に用いることにより、番組放送信号を視聴して解説キーワードの検出を行なう要員を置くことなく、解説の必要な語句の解説情報を適切なタイミングで放送映像信号に重畳し送出することが可能であり、主にニュース番組等での専門用語、略語、背景情報等を視聴者に効果的に伝達可能となるという格別な効果を奏するものである。
【００６２】
また、情報の検索や送出のタイミングが、アナウンサー等の発話者のキーワード発話のタイミングに連動して自動的に行なわれるため、番組の制作及び進行上の手間が削減されることが期待できるという格別な効果を奏するものである。
【００６３】
また、解説キーワードの自動検出手段に画像認識技術である口唇情報認識技術を用いることにより、発声障害を持つ番組出演の発話や、騒音環境下での番組収録、または収録済み番組で何らかの原因で音声信号が正しく出力されていない場合においても映像信号からの発話キーワードを検出することにより、遅滞なく解説情報を放送映像信号に重畳し送出することが可能になるという格別な効果を奏するものである。
【００６４】
また、解説キーワードの自動検出手段に音声認識技術を主体とし、口唇情報認識技術を付加的に用いることにより、入力される音声波形パターンまたは口唇パターンの欠落があった場合、各々の正しく入力されたパターンから相互に欠落部分を補完することが可能であり、解説キーワードの検出精度向上が期待できるという格別な効果を奏するものである。
【００６５】
また、自動検出したキーワード情報または装置内で生成される入力パターンを、文字情報変換して番組放送信号に多重化することにより、番組視聴者または制作者による番組録画後の映像検索に利用可能な映像検索用キーワード情報の提供を行なうことができ、特にデジタル多チャンネル放送サービスにおける番組の選択や、デジタル映像ライブラリシステムにおける映像の検索閲覧等に有用であるという格別な効果を奏するものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の番組解説自動送出装置の構成を示す図、
【図２】本発明の第２の実施の形態の番組解説自動送出装置の構成を示す図、
【図３】本発明の第３の実施の形態の番組解説自動送出装置の構成を示す図、
【図４】本発明の第４の実施の形態の番組解説自動送出装置の構成を示す図、
【図５】本発明の第５の実施の形態としてのテレビジョン放送受信端末装置の構成を示す図、
【図６】本発明の第６の実施の形態としてのテレビジョン放送受信端末装置の構成を示す図、
【図７】従来の番組解説情報送出装置の構成を示す図である。
【符号の説明】
１、31.1 音声信号入力部
２、31.2 入力音声パターン生成部
３ キーワード音声パターン照合部
４ キーワード音声パターンデータベース部
５ 解説情報データベース検索処理部
６ 解説情報データベース部
７、74 映像信号合成装置インタフェース部
10 放送番組記録・蓄積装置
11 放送信号切り換え装置
12 映像信号合成装置
13 放送信号多重化装置
21、32.1 映像信号入力部
22、32.2 入力口唇パターン生成部
23 キーワード口唇パターン照合部
24 キーワード口唇パターンデータベース部
31 音声認識部
32 画像認識部
33 キーワード複合パターン照合部
34 キーワードパターンデータベース部
34.1 音声パターンデータベース
34.2 口唇パターンデータベース
48 映像キーワード情報多重化部
51 放送信号受信部
52 放送信号選択部
53 キーワード照合部
54 キーワード入力インタフェース部
55 映像音声モニター装置インタフェース部
66 録画装置インタフェース部
71 制御信号入力部
72 字幕データＤＢ検索処理部
73 字幕データ記録管理部
【発明の属する技術分野】
本発明は、テレビジョン番組放送においてカメラ及びマイクロフォン、または収録済み番組を記録した記録装置から放送信号切り換え装置で選択された放送信号を放送信号多重化装置を介して放送信号を送り出す放送番組送出システムの番組解説自動送出装置に関し、特に、放送番組内での解説や説明を必要とする語句の発生を自動的に検出し、該当する解説情報を検索した後に映像信号へ重畳しうるよう構成し、また、前記検出した語句を映像信号内空き領域に付加することにより当該放送番組を収録した記録装置での映像検索のためのキーワード情報として利用できるよう構成したものである。
【０００２】
【従来の技術】
従来の放送番組送出システムでは、カメラ及びマイクロフォン、または番組を収録したＶＴＲ装置等の記録装置から放送信号切り換え装置で選択された放送信号を、人間が視聴することにより解説や説明の必要な語句の発声を検出し、必要な解説情報をスーパーインポーズ等の字幕情報として送出する指示を行ない、映像信号に重畳させ放送信号多重化装置を介して放送信号を送出する。
【０００３】
この放送番組送出システムにおける解説情報送出装置は、図７に示すように、カメラ及びマイクロフォン、または番組を収録した記録装置10から出力される映像音声信号を放送信号切り換え装置11で放送信号として選択される映像音声信号とは別に、制御コマンドを受け付ける制御信号入力部71と、解説情報が字幕データとして記録管理される字幕データ記録管理部73と、制御信号入力部71からの字幕送出指示を解釈し字幕データ記録管理部73に記録された字幕データの読み出しを行なう字幕データＤＢ検索処理部72と、放送信号切り換え装置11から選択出力された放送映像信号の所定映像位置に、字幕データ記録管理部73から読み出された字幕データを字幕映像信号に変換された映像信号を重畳させる指示を映像信号合成装置12に行なう映像信号合成装置インタフェース部74を備えたマイクロコンピュータ組み込み機器またはパーソナルコンピュータ等で構成される。
【０００４】
この解説情報送出装置から出力された字幕映像信号は、映像信号合成装置12により放送映像信号所定位置に重畳され、放送信号多重化装置13を介して、地上波、放送衛星、通信網等の伝送媒体に送出される。
【０００５】
この放送番組送出システムでは、番組内で解説または説明が必要な語句の発声の検出を、番組進行指揮者等が行なっており、アナウンサー等の番組出演者が前記解説を必要とする語句の発声を行なった際に、マニュアルにて字幕データ管理番号またはキーワードを付加した解説情報送出コマンドをキーボードまたは遠隔制御装置を用いて解説情報送出装置へ発行する。
【０００６】
指定の解説情報送出コマンドを受け取った解説情報送出装置は、予めＶＴＲ装置またはハードディスク装置等の記録装置に記録された字幕情報を読み出し、映像信号に変換して所定の放送映像位置への指示とともに映像信号合成装置12へ字幕映像信号を出力することで、解説情報を付加した放送映像信号を送出することが可能である。
【０００７】
【発明が解決しようとする課題】
しかし、放送番組内で発声される解説を必要とする語句の検出のための要員が必要であり且つ聞き逃し等の発生も考えられ、解説情報送出の指示もマニュアル操作であるため解説情報送出のタイミングにズレが発生する場合も考えられる。
【０００８】
また、字幕等の映像信号内に重畳された解説情報のみでは、機械的な映像検索等に利用する場合に困難が予想される。
【０００９】
本発明は、こうした従来システムの問題点を解決するものであり、解説を必要とする語句の聞き逃しあるいは解説情報の送出タイミングのズレを排除し、適切なタイミングでの安定した解説情報の送り出しができる番組解説自動送出装置を提供することを目的とし、併せて映像検索等に利用可能なキーワードを自動的に抽出し映像検索キーワード情報として放送映像信号空き領域に多重化して送出することができる番組解説自動送出装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】
そこで本発明では、第１に、番組解説自動送出装置において、放送信号切り換え装置より出力される放送信号を分配入力して得られる音声信号から、予め登録されている放送番組中で解説や説明の必要な語句の音声パターンを照合することにより、解説情報のキーワードを自動的に検出する解説キーワード検出手段と、抽出された音声パターンに該当する語句をキーワードに、予め登録されている文字情報または画像情報からなる番組解説情報データベースの検索を行なう解説情報検索手段と、検索した番組解説情報を放送信号切り換え装置から出力される放送映像信号内の所定画像位置に重畳させて放送信号多重化装置への送出を指示する放送信号合成指示手段とを備えるよう構成したものである。
【００１１】
また、本発明では、第２に、番組解説自動送出装置において、前記解説キーワード検出手段が、放送信号切り換え装置より分配入力された映像信号から、人物顔画像からの口唇領域を切り出す口唇領域画像切り出し手段と、切り出した口唇領域画像パターンを予め登録されている放送番組中で解説が必要な語句の口唇パターンと照合する口唇パターン照合手段を備えるよう構成したものである。
【００１２】
また、本発明では、第３に、番組解説自動送出装置において、前記解説キーワード検出手段が、放送信号切り換え装置より分配入力された音声信号から、放送番組中の解説や説明の必要な語句の予め登録されている音声パターンを照合する音声パターン照合手段と、放送信号切り換え装置より分配入力された映像信号から、放送番組中で解説が必要な語句の予め登録されている口唇パターンを照合する口唇パターン照合手段を備えるよう構成したものである。
【００１３】
また、本発明では、第４に、前記した番組解説自動送出装置のいずれかにおいて、前記解説キーワード検出手段により検出されたキーワードを文字情報信号に変換した後さらに放送信号に変換し、同一チャネル内の放送信号の空き領域に多重化するよう指示するキーワード情報送出手段をさらに備えるよう構成したものである。
【００１６】
【発明の実施の形態】
本発明の請求項１に記載の発明は、放送番組送出システムにおける番組解説自動送出装置において、放送信号切り換え装置より分配入力された音声信号から、放送番組中の解説や説明の必要な語句の予め登録されている音声パターンを照合することにより、解説情報のキーワードを自動的に検出する解説キーワード検出手段と、抽出された音声パターンに該当する語句をキーワードに、予め登録されている文字情報または画像情報からなる語句解説情報の検索を行なう解説情報検索手段と、検索した番組解説情報を映像信号に変換し、放送信号切り換え装置から出力される放送映像信号内の所定画像位置に重畳させて放送信号多重化装置への送出を指示する放送信号合成指示手段とを備えることにより、番組放送中の出演者やアナウンサーの解説を必要とする語句の発声タイミングに合わせて、番組解説情報を番組本編の放送映像信号に自動的に重畳して放送することを特徴とする番組解説自動送出装置としたものであって、解説を必要とする語句の聞き逃しあるいは解説情報の送出タイミングのズレを排除し、適切なタイミングでの安定した解説情報の送り出しができるという作用を有する。
【００１７】
また、本発明の請求項２に記載の発明は、前記請求項１に記載の解説キーワード検出手段が、放送信号切り換え装置より分配入力された映像信号から、人物顔画像からの口唇領域を切り出す口唇領域画像切り出し手段と、切り出した口唇領域画像パターンを放送番組中で解説が必要な語句の予め登録されている口唇パターンと照合する口唇パターン照合手段とから構成されるようにしたものであり、人物顔画像より得た口唇領域の画像パターンから解説情報のキーワードを自動検出することができるという作用を有する。
【００１８】
また、本発明の請求項３に記載の発明は、前記請求項１に記載の解説キーワード検出手段が、放送信号切り換え装置より分配入力された音声信号から、放送番組中の解説や説明の必要な語句の予め登録されている音声パターンを照合する音声パターン照合手段と、放送信号切り換え装置より分配入力された映像信号から、放送番組中で解説が必要な語句の予め登録されている口唇パターンを照合する口唇パターン照合手段とから構成されるようにしたものであり、入力信号条件による音声パターン検出時の誤りや口唇パターン検出時の誤りを相互補完し、解説情報のキーワードを自動検出することができるという作用を有する。
【００１９】
また、本発明の請求項４に記載の発明は、前記請求項１乃至請求項３のいずれかに記載の番組解説自動送出装置において、前記解説キーワード検出手段により検出されたキーワードを文字情報信号に変換した後さらに放送信号に変換し、同一チャネル内の放送信号の空き領域に多重化するよう指示するキーワード情報送出手段をさらに備えるよう構成したものであり、番組の選択または番組録画後の映像検索のためのキーワード情報を映像検索用キーワード情報として提供できるという作用を有する。
【００２２】
以下、本発明の実施の形態について、図１から図６を用いて説明する。なお、本発明はこれら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲において種々なる態様で実施し得る。
【００２３】
（第１の実施の形態）
本発明の第１の実施の形態の番組解説自動送出装置は、放送信号切り換え装置から出力される放送信号を分配入力して得られる音声信号から解説を必要とする語句の音声パターンを検出して、検出した語句の解説情報をデータベースから読み出した後、放送信号切り換え装置から出力される放送映像の所定位置への合成を映像信号合成装置に指示して解説情報映像信号を映像合成装置に送出する。
【００２４】
すなわち第１の実施の形態の番組解説自動送出装置は、図１に示すように、カメラ及びマイクロフォンまたは番組を収録した記録装置10から出力される映像音声信号を放送信号切り換え装置11で放送信号として選択され出力される放送映像音声信号から分配されて入力される音声信号を受け付け符号化する音声信号入力部１と、入力された音声データの音声パターンを生成する入力音声パターン生成部２と、予め解説が必要な語句の音声パターンをキーワードとして登録したキーワード音声パターンデータベース部４と、入力音声パターンとキーワード音声パターンとの照合を行なうキーワード音声パターン照合部３と、解説情報をキーワード付きで記録管理する解説情報データベース部６と、キーワード音声パターン照合部３から検出されたキーワードに基づいて解説情報データベース部６から解説情報の検索及び読み出しを行なう解説情報データベース検索処理部５と、読み出された解説情報を放送信号切り換え装置11から出力される放送映像信号内の所定位置へのオーバレイ処理の指示と解説情報の出力を映像信号合成装置12に行なう映像信号合成装置インタフェース部７を備えたマイクロコンピュータ組み込み機器またはパーソナルコンピュータ等で構成される。
【００２５】
この番組解説自動送出装置から出力された番組解説情報は、映像信号合成装置12により放送映像信号所定位置に重畳され、放送信号多重化装置13を介して、地上波、放送衛星、通信網等の伝送媒体に送出される。
【００２６】
この番組解説自動送出装置において、解説キーワード検出手段は、音声信号入力部１と入力音声パターン生成部２とキーワード音声パターン照合部３とキーワード音声パターンデータベース部４とから構成され、また解説情報検索手段は、解説情報データベース検索処理部５と解説情報データベース部６とから構成され、さらに放送信号合成指示手段は、映像信号合成装置インタフェース部７から構成される。
【００２７】
次にこの装置の動作について説明する。
カメラ及びマイクロフォン、または収録済み番組を記録した記録装置10から放送信号切り換え装置11で選択された放送信号から分配入力された音声信号は、音声信号入力部１にて信号ノイズ等を取り除き符号化が施され、符号化音声データとして入力音声パターン生成部２に入力される。入力音声パターン生成部２は入力された符号化音声データから発声音素毎に区切られた音素記号を生成し、逐次キーワード音声パターン照合部３へと出力する。
【００２８】
キーワード音声パターン照合部３は、入力音声パターン生成部２から入力される音素記号から音素記号列を形成し照合対象パターンとして、予めキーワード音声パターンデータベース部４に登録されているキーワード発声時の音素記号列によるキーワード音声パターンの先頭の音素記号から逐次照合を行なう。
【００２９】
この際、照合該当件数が０件である場合は、入力された先頭の音素記号を廃棄し、次の入力の音素記号を先頭とする音素記号列を照合対象パターンとし、照合該当件数が１件以上あった場合は、次の入力の音素記号を現在の音素記号列の最後尾に追加し、新たな照合対象パターンとして、現在照合に該当しているキーワード音声パターンの音素記号数分だけ前記照合処理を繰り返すことにより、キーワード音声パターンの絞り込みと検出を行なう。
【００３０】
キーワード音声パターンが検出されると、キーワード音声パターン照合部３は検出したキーワード音声パターンに該当するキーワードにて解説情報データベース検索処理部５への解説情報の読み出しを指示する。
【００３１】
解説情報データベース検索処理部５は、予めキーワードを付与した文字情報または画像情報等で構成される解説情報データが登録されている解説情報データベース部６よりキーワード音声パターン照合部３によって指示されたキーワードを指定して、該当する解説情報データを読み出し、解説情報データのデータ種別を付与して映像信号合成装置インタフェース部７へ解説情報データを出力する。この際、解説情報データベース検索処理部５は、読み出した解説情報データのキーワードの時刻付き読み出し履歴を取り、一定時間内で同じキーワードによる読み出しを制限することができる。
【００３２】
映像信号合成装置インタフェース部７は、受け取った解説情報データとそのデータ種別に従い、放送信号切り換え装置11から出力される放送映像信号内の所定映像位置に解説情報が合成されるように映像信号合成装置12へ指示を行ない、解説情報データの出力を行なう。こうした一連の動作は、放送番組の放送開始から放送番組終了時まで繰り返され、この装置内でキーワードパターンが検出される度に、解説情報が映像合成され放送される。
【００３３】
（第２の実施の形態）
本発明の第２の実施の形態の番組解説自動送出装置では、前記した解説キーワード検出手段の機能として映像信号による解説キーワード検出を行なえるよう構成したものである。
【００３４】
第２の実施の形態の番組解説自動送出装置では図２に示すように、解説キーワード検出手段は、映像信号入力部21と入力口唇パターン生成部22とキーワード口唇パターン照合部23とキーワード口唇パターンデータベース部24から構成される。
【００３５】
解説情報検索手段は、解説情報データベース検索処理部５と解説情報データベース部６とから構成され、また放送信号合成手段は、映像信号合成装置インタフェース部７から構成され、これらの構成要素は前記第１の実施の形態の番組解説自動送出装置に等しい。
【００３６】
第２の実施の形態の番組解説自動送出装置では、カメラ及びマイクロフォンまたは番組を収録した記録装置10から放送信号切り換え装置11で選択された放送信号から分配入力された映像信号は、映像信号入力部21にて信号ノイズ等を取り除き符号化が施され、符号化映像データとして入力口唇パターン生成部22に入力される。
【００３７】
入力口唇パターン生成部22は、入力された符号化口唇データの色相分析、及び画素分布の周波数分析を行ない、人物顔画像ならびにその口唇領域画像を切り出し、口唇形状とその動き情報から音素発声単位に区切った音素発声単位口唇パターンを生成し、逐次キーワード口唇パターン照合部23へと出力する。
【００３８】
キーワード口唇パターン照合部23は、入力口唇パターン生成部22から逐次入力される音素発声単位口唇パターンから、口唇パターン列を形成し照合対象パターンとして、予めキーワード口唇パターンデータベース部24に登録されているキーワード発声時の口唇パターン列によるキーワード口唇パターンの先頭の音素発声単位口唇パターンから逐次照合を行なう。この際、照合該当件数が０件である場合は、入力された先頭の音素発声単位口唇パターンを廃棄し、次の入力の音素発声単位口唇パターンを先頭とする口唇パターン列を照合対象パターンとする。照合該当件数が１件以上あった場合は、次の入力の音素発声単位口唇パターンを現在の音素発声単位口唇パターン列の最後尾に追加し、新たな照合対象パターンとして、現在照合に該当しているキーワード口唇パターンの音素単位口唇パターン数分だけ前記照合処理を繰り返すことにより、キーワード口唇パターンの絞り込みと検出を行なう。
【００３９】
キーワード口唇パターンが検出されると、キーワード口唇パターン照合部23は口唇パターンに該当するキーワードにて解説情報データベース検索処理部５へ解説情報データベース部６からの解説情報の読み出しを指示し、解説情報が映像合成され放送信号として送出される。
【００４０】
（第３の実施の形態）
本発明の第３の実施の形態の番組解説自動送出装置では、前記した解説キーワード検出手段の機能として音声信号と映像信号により解説キーワード検出を行なえるよう構成したものである。
【００４１】
第３の実施の形態の番組解説自動送出装置では図３に示すように、解説キーワード検出手段は、音声信号入力部31.1と入力音声パターン生成部31.2から構成される音声認識部31と、映像信号入力部32.1と入力口唇パターン生成部32.2から構成される画像認識部32と、キーワード複合パターン照合部33と、音声パターンデータベース34.1と口唇パターンデータベース34.2から構成されるキーワード複合パターンデータベース部34から構成される。
【００４２】
解説情報検索手段は、解説情報データベース検索処理部５と解説情報データベース部６とから構成され、また放送信号合成指示手段は、映像信号合成装置インタフェース部７から構成され、これらの構成要素は前記第１及び第２の実施の形態の番組解説自動送出装置に等しい。
【００４３】
第３の実施の形態の番組解説自動送出装置では、カメラ及びマイクロフォンまたは番組を収録した記録装置10から放送信号切り換え装置11で選択された放送信号から分配入力された音声信号は、音声信号入力部31.1にて信号ノイズ等を取り除き符号化が施され、符号化音声データとして入力音声パターン生成部31.2に入力される。入力音声パターン生成部31.2は入力された符号化音声データから発声音素毎に区切られた音素記号を確信度付きで生成し、時刻情報を付与して逐次キーワード複合パターン照合部33へと出力する。
【００４４】
また、放送信号切り換え装置11で選択された放送信号から分配入力された映像信号は、映像信号入力部32.1にて信号ノイズ等を取り除き符号化が施され、符号化映像データとして入力口唇パターン生成部32.2に入力される。入力口唇パターン生成部32.2は、入力された符号化口唇データの色相分析、及び画素分布の周波数分析を行ない、人物顔画像ならびにその口唇領域画像を切り出し、口唇形状とその動き情報から音素発声単位に区切った音素発声単位口唇パターンを確信度付きで生成し、時刻情報を付与して逐次キーワード複合パターン照合部33へと出力する。
【００４５】
キーワード複合パターン照合部33は、入力音声パターン生成部31.2から入力される音素記号から音素記号列を形成し照合対象パターンとして、予め音声パターンデータベース部34.1に登録されているキーワード発声時の音素記号列によるキーワード音声パターンの先頭の音素記号から逐次照合を行ない、また、入力口唇パターン生成部32.2から逐次入力される音素発声単位口唇パターンから、口唇パターン列を形成し照合対象パターンとして、予め口唇パターンデータベース部34.2に登録されているキーワード発声時の口唇パターン列によるキーワード口唇パターンの先頭の音素発声単位口唇パターンから逐次照合を行なう。
【００４６】
この際、音声パターンならびに口唇パターン各々の入力パターンのキーワードとの照合該当件数が０件である場合は、入力された先頭の各々の音素単位パターンを廃棄し、次の入力の音素単位パターンを先頭とする入力パターン列を照合対象パターンとし、照合該当件数が１件以上あった場合は、次の入力の音素単位パターンを現在の入力パターン列の最後尾に追加し、新たな照合対象パターンとして、現在照合に該当しているキーワードの音声ならびに口唇各々のパターンの音素単位パターン数分だけ前記照合処理を繰り返すことにより、キーワード音声パターンならびにキーワード口唇パターンの絞り込みと検出を行なう。
【００４７】
この際、音声および口唇パターンの双方の照合結果が異なる場合については、入力音声パターン生成部31.2ならびに入力口唇パターン生成部32.2から各々の入力パターンに付与されている確信度のアベレージが上位の方を検出キーワードとして優先させる。
【００４８】
また、騒音環境下での音声ノイズによる入力音声が途切れたり、発話人物が登場しない映像による入力口唇パターン生成が行なわれなかったりした場合や、著しく確信度の低い入力パターンについて、キーワード複合パターン照合部33は、各々の入力パターンに付加される時刻情報と、音声パターンデータベース部34.1と口唇パターンデータベース部34.2に格納されるそれぞれの音素レベルでの標準パターンを参照して、入力パターンの補完を行なうことができる。
【００４９】
キーワードパターンが確定すると、キーワード複合パターン照合部33はキーワードパターンに該当するキーワードにて解説情報データベース検索処理部５へ解説情報データベース部６からの解説情報の読み出しを指示し、解説情報が映像合成され放送信号として送出される。
【００５０】
（第４の実施の形態）
本発明の第４の実施の形態の番組解説自動送出装置では、前記した第３の実施の形態に記載の解説キーワード検出手段により検出されたキーワードを同一チャネル内の放送信号の空き領域に多重化させるキーワード情報送出手段をさらに備えるようにして、番組の選択または番組録画後の映像検索のためのキーワード情報を映像検索用キーワード情報として送出できるように構成したものである。
【００５１】
第４の実施の形態の番組解説自動送出装置では図４に示すように、解説キーワード検出手段は、音声信号入力部31.1と入力音声パターン生成部31.2から構成される音声認識部31と、映像信号入力部32.1と入力口唇パターン生成部32.2から構成される画像認識部32と、キーワード複合パターン照合部33と、音声パターンデータベース34.1と口唇パターンデータベース34.2から構成されるキーワード複合パターンデータベース部34とから構成される。
【００５２】
解説情報検索手段は、解説情報データベース検索処理部５と解説情報データベース部６とから構成され、また放送信号合成指示手段は、映像信号合成装置インタフェース部７から構成される前記第３の実施の形態の番組解説自動送出装置に等しい構成要素に、キーワード情報送出手段として、映像キーワード情報多重化部48を加えた構成となっている。
【００５３】
第４の実施の形態の番組解説自動送出装置では、キーワード複合パターン照合部33にてキーワードパターンが検出されると、キーワード複合パターン照合部33はキーワードパターンに該当するキーワードにて解説情報データベース検索処理部５へ解説情報データベース部６からの解説情報の読み出しを指示すると同時に、検出したキーワードパターンを映像検索キーワード情報多重化部48へ通知する。
【００５４】
映像キーワード情報多重化部48は受け取ったキーワードパターンが、音声パターンなら音声パターンデータベース部34.1に格納される音声標準パターンを、口唇パターンなら口唇パターンデータベース部34.2に格納される口唇標準パターンを参照し、キーワードパターンを文字情報に変換した後放送信号への変換を行ない、映像信号合成装置12から出力される解説情報合成済みの放送映像信号が利用するチャネルの空き領域内所定の領域への多重化を放送信号多重化装置13へ指示することにより、解説情報の放送映像への合成とともに、番組映像検索のためのキーワード情報を映像検索用キーワード情報として送出する。
【００５５】
なお、第４の実施の形態の番組解説自動送出装置として図４に示すように、図３に示す第３の実施の形態の番組解説自動送出装置にキーワード情報送出手段としての映像キーワード情報多重化部48を加えた構成を例に説明したが、それ以外に図１または図２に示す第１または第２の実施の形態の番組解説自動送出装置にキーワード情報送出手段としての映像キーワード情報多重化部48を加えた構成であっても良い。
【００５６】
（第５の実施の形態）
本発明による第５の実施の形態の装置は、前記第４の実施の形態におけるキーワード情報送出手段を備える番組解説自動送出装置から送出された映像検索用のキーワード情報を用いてキーワードによる視聴番組の選択を行なえるようにしたものである。すなわち、図５は、本発明の第５の実施の形態としてのテレビジョン放送受信端末装置を示すものである。図５において、テレビジョン放送受信端末装置は、前記請求項４に記載のキーワード情報送出手段を備える番組解説自動送出装置から送出された映像検索用のキーワード情報を含めて放送番組信号を受信し、受信した放送番組信号から各チャネルごとのキーワード情報を分離する放送信号受信部51と、視聴者から入力された番組選択情報としての音声情報又は映像情報又は文字情報からキーワード情報を生成し後記するキーワード照合手段53に入力するキーワード入力インタフェース部54と、前記放送信号受信部51が分離したキーワード情報と前記キーワード入力インタフェース部54から入力されたキーワード情報に基づいてキーワードの照合を行なうキーワード照合手段53と、前記キーワード照合手段53にてキーワード情報が照合一致したチャネルの選択指示を通知する放送信号選択部52と、前記放送信号選択部52が選択したチャネルの映像音声信号を出力するための映像音声モニタ装置インタフェース部55とを備えたマイクロコンピュータ組み込み機器またはパーソナルコンピュータ等で構成されるものである。
【００５７】
この装置においては、前記第４の実施の形態におけるキーワード情報送出手段を備える番組解説自動送出装置から送出された映像検索用のキーワード情報が多重化された放送信号は放送信号受信部51に入力される。放送信号受信部51は受信した各チャネルの放送信号から映像音声信号とキーワード情報を分離して、当該チャネルを識別するための符号を付与しキーワード情報をキーワード照合手段53に出力する。キーワード入力インタフェース部54は、視聴者により番組選択情報として入力される文字情報または映像情報または音声情報等からキーワード情報を生成し前記キーワード照合手段53へ入力する。キーワード照合手段53は予め前記キーワード入力インタフェース部54から入力されたキーワード情報と前記放送信号受信部51から入力されるキーワードとの照合を行ない、キーワードが一致したチャネルの選択指示を放送信号選択部52へ通知する。放送信号選択部52は通知されたチャネルの映像音声信号を映像音声モニタ装置インタフェース部55に出力指示することにより放送番組の視聴選択が可能となる。
【００５８】
（第６の実施の形態）
本発明による第６の実施の形態の装置は、前記第５の実施の形態のテレビジョン放送受信端末装置にさらに録画装置インタフェース部を加え、映像検索用のキーワード情報を用いて、放送番組の特定のシーンを選択的にＶＴＲ等の録画装置へ編集録画を行なえるようにしたものである。すなわち、図６は、本発明の第６の実施の形態としてのテレビジョン放送受信端末装置を示すものである。
【００５９】
図６において、テレビジョン放送受信端末装置は、前記請求項４に記載のキーワード情報送出手段を備える番組解説自動送出装置から送出された映像検索用のキーワード情報を含めて放送番組信号を受信し、受信した放送番組信号から各チャネルごとのキーワード情報を分離する放送信号受信部51と、視聴者から入力された録画予約情報としての音声情報又は映像情報又は文字情報からキーワード情報のリストを生成し後記するキーワード照合手段53に入力するキーワード入力インタフェース部54と、前記放送信号受信部51が分離したキーワード情報と前記キーワード入力インタフェース部54から入力されたキーワード情報のリストに基づいてキーワードの照合を行なうキーワード照合手段53と、前記キーワード照合手段53にてキーワード情報が照合一致したチャネルの選択指示を通知する放送信号選択部52と、前記放送信号選択部52が選択したチャネルの映像音声信号をキーワード付きで出力するための録画装置インタフェース部66と、映像音声モニタ装置インタフェース部55とを備えたマイクロコンピュータ組み込み機器またはパーソナルコンピュータ等で構成されるものである。
【００６０】
この装置においては、前記第５の実施の形態のテレビジョン放送受信端末装置と同様の動作をさせることもできるが、さらに、前記第４の実施の形態におけるキーワード情報送出手段を備える番組解説自動送出装置から送出された映像検索用のキーワード情報が多重化された放送信号は放送信号受信部51に入力される。放送信号受信部51は受信した各チャネルの放送信号から映像音声信号とキーワード情報を分離して、当該チャネルを識別するための符号を付与しキーワード情報をキーワード照合手段53に出力する。キーワード入力インタフェース部54は、視聴者により録画予約情報として入力される文字情報または映像情報または音声情報等からキーワード情報のリストを生成し前記キーワード照合手段53へ入力する。キーワード照合手段53は予め前記キーワード入力インタフェース部54から入力されたキーワード情報のリストと前記放送信号受信部51から入力されるキーワードとの照合を行ない、キーワードが一致したチャネルの選択指示を放送信号選択部52へ通知する。放送信号選択部52は通知されたチャネルの映像音声信号を録画装置インタフェース部66にキーワード情報付きで録画指示することにより放送番組の特定シーンを選択的にＶＴＲ等の録画装置へ編集録画することが可能となる。
【００６１】
【発明の効果】
以上の実施の形態の説明から明らかなように、本発明の番組解説自動送出装置は、音声認識技術を解説キーワードの自動検出手段に用いることにより、番組放送信号を視聴して解説キーワードの検出を行なう要員を置くことなく、解説の必要な語句の解説情報を適切なタイミングで放送映像信号に重畳し送出することが可能であり、主にニュース番組等での専門用語、略語、背景情報等を視聴者に効果的に伝達可能となるという格別な効果を奏するものである。
【００６２】
また、情報の検索や送出のタイミングが、アナウンサー等の発話者のキーワード発話のタイミングに連動して自動的に行なわれるため、番組の制作及び進行上の手間が削減されることが期待できるという格別な効果を奏するものである。
【００６３】
また、解説キーワードの自動検出手段に画像認識技術である口唇情報認識技術を用いることにより、発声障害を持つ番組出演の発話や、騒音環境下での番組収録、または収録済み番組で何らかの原因で音声信号が正しく出力されていない場合においても映像信号からの発話キーワードを検出することにより、遅滞なく解説情報を放送映像信号に重畳し送出することが可能になるという格別な効果を奏するものである。
【００６４】
また、解説キーワードの自動検出手段に音声認識技術を主体とし、口唇情報認識技術を付加的に用いることにより、入力される音声波形パターンまたは口唇パターンの欠落があった場合、各々の正しく入力されたパターンから相互に欠落部分を補完することが可能であり、解説キーワードの検出精度向上が期待できるという格別な効果を奏するものである。
【００６５】
また、自動検出したキーワード情報または装置内で生成される入力パターンを、文字情報変換して番組放送信号に多重化することにより、番組視聴者または制作者による番組録画後の映像検索に利用可能な映像検索用キーワード情報の提供を行なうことができ、特にデジタル多チャンネル放送サービスにおける番組の選択や、デジタル映像ライブラリシステムにおける映像の検索閲覧等に有用であるという格別な効果を奏するものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の番組解説自動送出装置の構成を示す図、
【図２】本発明の第２の実施の形態の番組解説自動送出装置の構成を示す図、
【図３】本発明の第３の実施の形態の番組解説自動送出装置の構成を示す図、
【図４】本発明の第４の実施の形態の番組解説自動送出装置の構成を示す図、
【図５】本発明の第５の実施の形態としてのテレビジョン放送受信端末装置の構成を示す図、
【図６】本発明の第６の実施の形態としてのテレビジョン放送受信端末装置の構成を示す図、
【図７】従来の番組解説情報送出装置の構成を示す図である。
【符号の説明】
１、31.1 音声信号入力部
２、31.2 入力音声パターン生成部
３ キーワード音声パターン照合部
４ キーワード音声パターンデータベース部
５ 解説情報データベース検索処理部
６ 解説情報データベース部
７、74 映像信号合成装置インタフェース部
10 放送番組記録・蓄積装置
11 放送信号切り換え装置
12 映像信号合成装置
13 放送信号多重化装置
21、32.1 映像信号入力部
22、32.2 入力口唇パターン生成部
23 キーワード口唇パターン照合部
24 キーワード口唇パターンデータベース部
31 音声認識部
32 画像認識部
33 キーワード複合パターン照合部
34 キーワードパターンデータベース部
34.1 音声パターンデータベース
34.2 口唇パターンデータベース
48 映像キーワード情報多重化部
51 放送信号受信部
52 放送信号選択部
53 キーワード照合部
54 キーワード入力インタフェース部
55 映像音声モニター装置インタフェース部
66 録画装置インタフェース部
71 制御信号入力部
72 字幕データＤＢ検索処理部
73 字幕データ記録管理部
Claims (4)
- 放送番組送出システムにおける番組解説自動送出装置において、放送信号切り換え装置より分配入力された音声信号から、放送番組中の解説や説明の必要な語句の予め登録されている音声パターンを照合することにより、解説情報のキーワードを自動的に検出する解説キーワード検出手段と、抽出された音声パターンに該当する語句をキーワードに、予め登録されている文字情報または画像情報からなる語句解説情報の検索を行なう解説情報検索手段と、検索した番組解説情報を映像信号に変換し、放送信号切り換え装置から出力される放送映像信号内の所定画像位置に重畳させて放送信号多重化装置への送出を指示する放送信号合成指示手段とを備えることにより、番組放送中の出演者やアナウンサーの解説を必要とする語句の発声タイミングに合わせて、番組解説情報を番組本編の放送映像信号に自動的に重畳して放送することを特徴とする番組解説自動送出装置。
- 前記解説キーワード検出手段が、放送信号切り換え装置より分配入力された映像信号から、人物顔画像からの口唇領域を切り出す口唇領域画像切り出し手段と、切り出した口唇領域画像パターンを放送番組中で解説が必要な語句の予め登録されている口唇パターンと照合する口唇パターン照合手段とから構成されることを特徴とする請求項１に記載の番組解説自動送出装置。
- 前記解説キーワード検出手段が、放送信号切り換え装置より分配入力された音声信号から、放送番組中の解説や説明の必要な語句の予め登録されている音声パターンを照合する音声パターン照合手段と、放送信号切り換え装置より分配入力された映像信号から、放送番組中で解説が必要な語句の予め登録されている口唇パターンを照合する口唇パターン照合手段とから構成されることを特徴とする請求項１に記載の番組解説自動送出装置。
- 前記解説キーワード検出手段により検出されたキーワードを文字情報信号に変換した後さらに放送信号に変換し、同一チャネル内の放送信号の空き領域に多重化するよう指示するキーワード情報送出手段をさらに備えることを特徴とする請求項１乃至請求項３のいずれかに記載の番組解説自動送出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21829697A JP3827416B2 (ja) | 1997-07-30 | 1997-07-30 | 番組解説自動送出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21829697A JP3827416B2 (ja) | 1997-07-30 | 1997-07-30 | 番組解説自動送出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1155568A JPH1155568A (ja) | 1999-02-26 |
| JP3827416B2 true JP3827416B2 (ja) | 2006-09-27 |
Family
ID=16717619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21829697A Expired - Lifetime JP3827416B2 (ja) | 1997-07-30 | 1997-07-30 | 番組解説自動送出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3827416B2 (ja) |
-
1997
- 1997-07-30 JP JP21829697A patent/JP3827416B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1155568A (ja) | 1999-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2774985C (en) | Caption and/or metadata synchronization for replay of previously or simultaneously recorded live programs | |
| CN101605223B (zh) | 用于选择节目的方法及其设备 | |
| KR100547317B1 (ko) | 인덱스 정보의 추출과 검색이 동시에 가능한 녹화/재생장치 | |
| US8195029B2 (en) | Content viewing support apparatus and content viewing support method, and computer program | |
| US8260108B2 (en) | Recording and reproduction apparatus and recording and reproduction method | |
| KR100845621B1 (ko) | 정보검색장치와 정보수신장치 및 정보검색과 수신방법 | |
| JP5076892B2 (ja) | 同一シーン検出装置およびプログラムを格納した記憶媒体 | |
| JP3821362B2 (ja) | インデックス情報生成装置、記録再生装置、及びインデックス情報生成方法 | |
| JPH1169317A (ja) | 情報再生装置および放送番組関連情報再生方法 | |
| JP2006115052A (ja) | コンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体 | |
| JP2008098793A (ja) | 受信装置 | |
| JP3827416B2 (ja) | 番組解説自動送出装置 | |
| JPH10290441A (ja) | デジタル多チャンネル放送システムにおける音楽番組配信方法および受信再生装置 | |
| KR102523813B1 (ko) | 영상에 대한 키워드 기반 검색을 가능하게 하는 영상 스트리밍 서비스 서버 및 그 동작 방법 | |
| JP2006054517A (ja) | 情報提示装置、方法及びプログラム | |
| JP3834840B2 (ja) | Ｉｓｄｂ用送受信システムおよびｉｓｄｂ用受信装置 | |
| KR100762616B1 (ko) | 디지털 멀티미디어 방송에서 가사 정보를 제공하기 위한디지털 멀티미디어 방송 시스템 및 가사 정보 제공 방법 | |
| JP4471365B2 (ja) | 動画記録再生装置及び動画記録再生方法 | |
| JP2002290864A (ja) | デジタル放送受信装置 | |
| KR100722447B1 (ko) | 편집녹화 기능을 갖는 녹화장치 및 그 제어방법 | |
| WO2022174595A1 (zh) | 显示装置以及用于显示装置的方法 | |
| JP2008035218A (ja) | 記録再生装置および自動録画方法 | |
| JP2006139829A (ja) | 要約再生装置、要約再生方法、要約再生プログラムおよびそのプログラムが記録された情報記録媒体 | |
| JP4587363B2 (ja) | 電子番組ガイドの送信装置および受信装置 | |
| JP2000287156A (ja) | 情報記録再生装置および方法、並びに提供媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060704 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |