JP4679480B2

JP4679480B2 - 静止画像対応録音ナレーション自動出力システム

Info

Publication number: JP4679480B2
Application number: JP2006266952A
Authority: JP
Inventors: みずほ前原; 二穂小澤
Original assignee: Daiichikosho Co Ltd
Current assignee: Daiichikosho Co Ltd
Priority date: 2006-09-29
Filing date: 2006-09-29
Publication date: 2011-04-27
Anticipated expiration: 2026-09-29
Also published as: JP2008091972A

Description

本発明は、台詞が関連付けられた一連の静止画像を順次切り替え表示させると共に、所定個所でナレーションを出力させる静止画像対応録音ナレーション自動出力システムに関する。

近年、一連のデジタル静止画像を昔ながらの紙芝居に見立てて、台詞を読み上げながら順次各シーンの画像を表示させるデジタル紙芝居が知られている。このようなデジタル紙芝居においては、エンターテイメント性の向上が望まれ、観者への観覧意欲の喚起が望まれる。

従来、デジタル紙芝居は、静止画像を表示し、当該静止画像に対応した台詞が読み上げられ、順次各シーンを切り替えるのが一般的であるが、各シーン（静止画像）に対応したナレーションを流すこともエンターテイメント性等の向上の一つとして考えられる。ナレーションは、通常、登場人物とは異なる声が好ましく、また、芝居中の登場人物の台詞とは異なり、予め録音しておいたものでも語られる台詞に影響を与えず、むしろ録音しておいた方が台詞語りも効率的となる。

ところで、会話中に効果音を流す手法として下記の特許文献で開示されているものがある。下記特許文献には、移動体通信装置に関して、予め効果音データとキーワードとが対応付けられて記憶され、ユーザの通話音声信号に含まれるキーワードを音声認識手段が検出したときに、当該キーワードに対応する効果音データを移動体通信装置に送出することが開示されている。

特開２００２−０５１１１６号公報

しかしながら、上記特許文献では、効果音データとキーワードとが単に対応付けられたものであり、ユーザによる通話の時間経過で音声信号に同じキーワードが複数含まれていても、常に同じ効果音が流れることとなり、これを上記デジタル紙芝居のナレーション出力に適用した場合に静止画像が切り替わっても同じキーワードでは同じ録音ナレーションを出力するということとなって録音ナレーションの効果が薄れてくるという問題がある。また、台詞と台詞との間に録音ナレーションを出力させるためには、所定のナレーションの選択や出力トリガの発信などのマニュアル操作を必要として、操作自体を行うという煩わしさがあるという問題がある。

そこで、本発明は上記課題に鑑みなされたもので、特別の操作を要せずに録音ナレーションを出力可能とし、ナレーションによるエンターテイメント性の向上、観覧意欲の喚起を図る静止画像対応録音ナレーション自動出力システムを提供することを目的とする。

上記課題を解決するために、請求項１の発明では、台詞が関連付けられた一連の静止画像を順次切り替え表示させると共に、所定個所でナレーションを出力させる静止画像対応録音ナレーション自動出力システムであって、静止画像記憶部、録音ナレーション記憶部、照合テーブル、音声入力部、音声処理部、録音ナレーション制御手段及び第１の表示部を備え、前記静止画像記憶部は、一連で構成される複数の静止画像を一組として所定数記憶し、前記録音ナレーション記憶部は、前記一連で構成される静止画像毎に対して、当該それぞれの静止画像毎に関連する台詞のうち、所定の台詞キーワードに対応する録音ナレーションデータをそれぞれ記憶し、前記照合テーブルは、所定の静止画像毎の台詞キーワードと前記録音ナレーション記憶部に記憶されている静止画像毎に対応する録音ナレーションデータに関する情報とが関連付けられ、前記音声入力部は、台詞音声を入力し、前記音声処理部は、前記入力した台詞音声を解析して生成した音声データと前記照合テーブルの前記第１の表示部で現に表示されている静止画像に対応する台詞キーワードとを照合し、一致したときに上記台詞キーワードで個々に特定される前記録音ナレーションデータに関する情報を出力し、前記録音ナレーション制御手段は、前記音声処理部からの前記録音ナレーションデータに関する情報に応じて、前記第１の表示部で現に表示されている静止画像毎に対応した録音ナレーションデータを前記録音ナレーション記憶部より抽出して出力させる構成とする。

請求項２、３の発明では、「さらに台詞記憶部、台詞表示制御手段及び第２の表示部を備え、前記台詞記憶部は、前記一連で構成される静止画像毎の台詞データを記憶し、前記台詞表示制御手段は、前記第２の表示部に、現に表示されている静止画像に対応する台詞データを前記台詞記憶部より抽出して表示させる」構成であり、
「前記第１の表示部に表示する静止画像を表示制御する第１の画像表示制御手段の他に第２の画像表示制御手段を備え、前記第２の表示部に、前記第１の表示部で現に表示されている静止画像を表示させる」構成である。

本発明によれば、一連で構成される静止画像毎に対して、当該それぞれの静止画像毎に関連する台詞のうちの所定の台詞に対応する静止画像毎の録音ナレーションをそれぞれ記憶しておき、入力した台詞音声を解析した音声データと照合テーブルの台詞キーワードとを照合し、一致したときに当該台詞キーワードで個々に特定される録音ナレーションデータに関する情報に基づいて表示されている静止画像上で録音ナレーションを出力させる構成とすることにより、特別の操作を要せずに録音ナレーションを出力可能とし、同じ台詞キーワードでも表示されている静止画像が異なる場合には対応の異なる録音ナレーションを出力させることとなってナレーションによるエンターテイメント性の向上、観覧意欲の喚起を図ることができるものである。

以下、本発明の最良の実施形態を図により説明する。
図１に、本発明に係る静止画像対応録音ナレーション自動出力システムの第１実施形態のブロック構成図を示す。図１において、静止画像対応録音ナレーション自動出力システム１１は、バス１２、中央制御部１３、ＲＯＭ１４、ＲＡＭ１５、表示制御部１６、第１の表示部である画像表示部１７、ＮＲ（ナレーション）出力制御部１８、ミキシングアンプ１９、音声入力部であるマイク２０、スピーカ２１、音声処理部２２、記憶装置２３及び操作部２４を適宜備える。

また、音声処理部２２には、音声認識手段３１及び音声照合手段３２を備える。さらに、記憶装置２３には、照合テーブル３３、録音ナレーション制御手段であるＮＲ制御手段３４、第１の画像表示制御手段３５、画像記憶部である画像ＤＢ（画像データベース）３６及び録音ナレーション記憶部であるＮＲデータＤＢ（データベース）３７が記憶される。

中央制御部１３は、このシステムを統括的に処理制御する物理的なＣＰＵであり、ＲＯＭ１４に記憶されているプログラムに基づくアルゴリズム処理を行う。上記ＲＡＭ１５は、種々のプログラムを展開、実行させるための作業領域としての役割をなすもので、例えば半導体メモリで構成され、仮想的にハードディスク上に構築される場合をも含む概念である。

上記表示制御部１６は、後述の第１の画像表示制御手段３５より送られてくる画像をデコードして画像表示部１７に表示させる電子回路及びこれに付随したプログラムを備える。当該画像表示部１７としては例えば、プロジェクタスクリーン、ブラウン管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）等がある。

上記ＮＲ出力制御部１８は、後述のＮＲ制御手段３４から送られてくる録音ナレーションのデータ（ファイル）をデコードしてミキシングアンプ１９に出力する電子回路である。当該ミキシングアンプ１９は、マイク２０より入力した読み上げ者の台詞音声を増幅してスピーカ２１より出力させると共に、当該ＮＲ出力制御部１８より送られてくる録音ナレーションの音声を増幅してスピーカ２１より出力させるものである。また、上記操作部２４は、電源ボタンやスタートボタン等のスイッチ類を備えたものである。

上記音声処理部２２の備える上記音声認識手段３１は、入力される台詞音声を解析して音声データとするプログラムでありＲＡＭ１５に展開されて実行される。本実施形態では、例えば、アナログ信号の台詞音声をデジタル変換し、フォントコード化した音声データとする。なお、アナログ波形を画像化して解析した音声データとしてもよい。

上記音声処理部２２の備える音声照合手段３２は、音声認識手段３１からの音声データと照合テーブル３３（図２で説明する）の画像表示部１７で現に表示されている静止画像に対応する台詞キーワードとを照合し、一致したときに上記台詞キーワードで個々に特定されるＮＲファイル名を出力するプログラムであり、ＲＡＭ１５に展開されて実行される。

ここで、音声データと台詞キーワードとの照合は、例えば、随時入力されて解析された音声データ（フォントコード）を、まず台詞キーワードの最初の一音データ（フォントコード）と照合し、一致したときに順次２番目以降の一音データ（フォントコード）と照合していく処理であり、台詞キーワードの総ての一音データ（フォントコード）とが一致したときに、当該台詞キーワードで個々に特定されるＮＲファイル名を出力する。逆に、一つでも一致しないものがあれば、台詞キーワードの最初の一音データとの照合から繰り返すものである。記憶装置２３に記憶される照合テーブル３３は、図２で一例を説明するが、静止画像毎の台詞キーワードと録音ナレーションデータに関する情報としての当該静止画像毎の録音ナレーションを特定付けるファイル名（ＮＲファイル名）とを関連付けたテーブルである。

上記記憶装置２３に記憶されるＮＲ制御手段３４は、音声照合手段３２から照合結果として出力される録音ナレーションデータに関する情報としてのＮＲファイル名に基づいて、画像表示部１７で現に表示されている静止画像毎に対応した録音ナレーションデータ（ファイル）をＮＲデータＤＢ３７より抽出してＮＲ出力制御部１８に送出するプログラムであり、ＲＡＭ１５に展開されて実行される。ＮＲ出力制御部１８では入力した録音ナレーションデータをデコードしてミキシングアンプ１９に出力するものである。

上記記憶装置２３に記憶される第１の画像表示制御手段３５は、画像表示部１７に一連の静止画像を所定の切替信号（例えば、操作部２４の切替ボタン等）により順次切り替え表示させるプログラムであり、ＲＡＭ１５に展開されて実行される。上記記憶装置２３に記憶される静止画像記憶部である画像ＤＢ３６は、一連で構成される複数の静止画像を一組として所定数記憶させておくデータベースであり、ＮＲデータＤＢ３７は一連で構成される静止画像毎に対して、当該それぞれの静止画像毎に関連する録音ナレーションデータであって、台詞のうちの所定の台詞キーワードに対応する当該録音ナレーションデータをそれぞれ記憶するデータベースである。

ここで、図２に、図１の照合テーブル及びＮＲテーブルの説明図を示す。図２に示す照合テーブル３３は、例えば第１画像の静止画像に、当該第１画像に対応した所定数の台詞キーワードとそれぞれのＮＲファイル名とが対応付けられたもので、第１０画像の静止画像まで存在するとして、当該静止画像毎に所定数の台詞キーワードとＮＲファイル名とを関連付けている。すなわち、当該照合テーブル３３は、静止画像毎に定められた台詞キーワードが対応のＮＲファイル名と関連付けられていることから、当該静止画像間で同じ台詞キーワードが存在しても異なるＮＲファイル名として区別している。なお、同一の静止画像において、台詞キーワードのワード数の長さを異ならせることで、重複した台詞キーワードの設定を回避させることができるものである。

そこで、図３に、図１の録音ナレーション制御のフローチャートを示す。ここで、上記静止画像対応録音ナレーション自動出力システム１１においては、第１の画像表示制御手段３５が所定の静止画像を画像ＤＢ３６より抽出して表示制御部１６に送出することで、当該表示制御部１６が当該画像データをデコードして画像表示部１７に表示する。このときに読み上げ者が当該画像に対応した台詞を、マイク２０を介して読み上げると、当該マイク２０に入力される読み上げられた台詞音声は、ミキシングアンプ１９で増幅されてスピーカ２１より出力され、一方で、当該台詞音声が音声処理部２２の音声認識手段３１に随時入力される（ステップ（Ｓ）１）。

すなわち、音声処理部２２では、第１の画像表示制御手段３５より画像表示部１７で現に表示されている静止画像の情報を取得すると共に、音声認識手段３１が入力した台詞音声を解析して音声データとし、音声照合手段３２が当該音声データと照合テーブル３３の現に表示されている静止画像に対応する台詞キーワードとを実時間で順次照合していく（Ｓ２）。一致するまで照合が繰り返される（Ｓ３）。

音声照合手段３２による照合の結果（Ｓ３）、一致した場合には、照合テーブル３３の当該一致した台詞キーワードに関連付けられたＮＲファイル名をＮＲ制御手段３４に出力する（Ｓ４）。ＮＲ制御手段３４では、音声照合手段３２より入力したＮＲファイル名に基づいて、録音ナレーションデータをＮＲデータＤＢ３７より抽出してＮＲ出力制御部１８に送出する（Ｓ５）。

ＮＲ音出力部１８は、送られてきたＮＲファイル名の録音ナレーションデータをデコードしてミキシングアンプ１９に出力し、当該ミキシングアンプ１９は、当該録音ナレーションの音声を増幅してスピーカ２１より出力させる。そして、これらの処理が最終画像（例えば、第１０画像の静止画像）まで繰り返されるものである（Ｓ６）。

このように、特別の操作を要せずに録音ナレーションを出力可能とし、同じ台詞キーワードでも表示されている静止画像が異なる場合には対応の異なる録音ナレーションを出力させることとなってナレーションによるエンターテイメント性の向上、観覧意欲の喚起を図ることができるものである。

次に、図４に本発明に係る静止画像対応録音ナレーション自動出力システムの第２実施形態のブロック構成図を示すと共に、図５に図４の台詞表示の説明図を示す。図４（Ａ）は、静止画像表示システム１１の、主要な一部のブロック図であり、記憶装置２３には、さらに台詞ＤＢ４１、台詞表示制御手段４２及び第２の画像表示制御手段４３が記憶される。また、バス１２に送受信部４４が設けられ、当該送受信部４４と無線式によりデータ送信される第２の表示部である遠隔表示端末４５が備えられる。当該遠隔表示端末４５には、第２の表示部４６、第２の表示制御部４７及び送受信部４８が適宜備えられる。

上記台詞ＤＢ４１は、画像ＤＢ３６に記憶されている一連で構成される静止画像に関連付けられている対応の台詞データ（台詞ファイル名）をそれぞれ記憶しておくデータベースである。この場合、照合テーブル３３Ａには、図４（Ｂ）に示すように、例えば、各静止画像に対応した台詞、すなわち台詞ＤＢ４５に記憶された台詞ファイル名で特定される台詞データのうち、所定数の台詞キーワードとそれぞれのＮＲファイル名とが対応付けられたもので、第１０画像の静止画像まで存在するとして、当該静止画像毎に所定数の台詞キーワードとＮＲファイル名とを関連付けている。

なお、この台詞ＤＢ４１のデータを画像ＤＢ３６内に対応画像と関連付けて記憶させておくこととしてもよい。上記台詞表示制御手段４２は、遠隔表示端末４５に、上記画像表示部１７に現に表示されている静止画像に対応する台詞データを、台詞ＤＢ４１より抽出して送受信部４４に送出するプログラムであり、ＲＡＭ１５に展開されて実行される。上記第２の画像表示制御手段４３は、上記画像表示部１７で現に表示されている静止画像を、画像ＤＢ３６より抽出して送受信部４４に送出するプログラムであり、ＲＡＭ１５に展開されて実行される。

上記送受信部４４は、遠隔表示端末４５に対して、送受信部４８と無線方式で送出する電子回路である。例えば、ＩＲ方式やブルートゥース機構のピコネット接続方式などによる無線方式で接続可能であるが、有線方式であってもよい。当該遠隔表示端末４５の備える第２の表示部４６は、画像表示部１７に現に表示されている静止画像、及び、当該静止画像に対応する台詞データを表示させるディスプレイである。そして、遠隔表示端末４５の備える第２の表示制御部４７は、送受信部４８に送られてくる静止画像のデータ及び台詞データをデコードして当該静止画像を第２の表示部４６に表示させ、このときに台詞データをテロップ状態で表示させるものである。

すなわち、システムの所定の画像表示時には、画像表示部１７に現に表示されている静止画像のデータを第２の画像表示制御手段４３が抽出して遠隔表示端末４５に送出することで第２の表示部４６に表示させ、また、これに対応した台詞データを台詞表示制御手段４２が台詞ＤＢ４１より抽出し、図５に示すように台詞キーワードとなる部分を、下線、表示文字の大きさ、異なる色表示等に特徴付けて遠隔表示端末４５に送出することで表示させる。

そこで、読み上げ者が遠隔表示端末４５に表示された静止画像及び台詞を見ながら読み上げ、台詞キーワード（図４（Ｂ））と一致する台詞が読み上げられると、音声照合手段３２から照合結果として送出されてくるＮＲファイル名に基づいて、ＮＲ制御手段３４が録音ナレーションデータをＮＲデータＤＢ３７より抽出してＮＲ出力制御部１８に送出することによって、当該録音ナレーションをスピーカ２１より出力させる。これが最終の静止画像の表示まで繰り返されるものである。

なお、遠隔表示端末４５に、上記画像表示部１７に現に表示されている静止画像及び台詞を表示させることとして説明したが、台詞のみの表示であってもよく、遠隔表示端末４５に同一の静止画像を表示させることで読み上げ者の台詞読み上げに感情移入させる効果がある。逆に、遠隔表示端末４５に静止画像のみを表示させることとしてもよく、台詞、特に録音ナレーションの出力される個所を特徴付けて表示させることで、読み上げ者に対して録音ナレーションの音声が流れる個所（台詞）を認識させることができるものである。また、台詞読み上げ者は、遠隔表示端末４５を見ながらマイク１９に読み上げ発声することから、当該遠隔表示端末４５にマイク機能を備えさせてもよい。

このように、台詞読み上げ者が、遠隔表示端末４５に表示された台詞、特に録音ナレーションが流れる台詞キーワードを特徴付けた台詞、又は、当該台詞及び静止画像を見ながら読み上げることから利便性を提供することができると共に、上記同様に、特別の操作を要せずに録音ナレーションを出力可能とし、同じ台詞キーワードでも表示されている静止画像が異なる場合には対応の異なる録音ナレーションを出力させることとなってナレーションによるエンターテイメント性の向上、観覧意欲の喚起を図ることができるものである。

本発明の静止画像対応録音ナレーション自動出力システムは、デジタル紙芝居の台詞と静止画像とが対応付けられ、静止画像が表示されているときの当該静止画像毎に対応した録音ナレーションを出力するシステムに利用可能である。

本発明に係る静止画像対応録音ナレーション自動出力システムの第１実施形態のブロック構成図である。図１の照合テーブルの説明図である。図１の録音ナレーション制御のフローチャートである。本発明に係る静止画像対応録音ナレーション自動出力システムの第２実施形態の説明図である。図４の台詞表示の説明図である。

符号の説明

１１静止画像対応録音ナレーション自動出力システム
１７画像表示部
１８ＮＲ出力制御部
２２音声処理部
３１音声認識手段
３２音声照合手段
３３照合テーブル
３４ＮＲ制御手段
３５第１の画像表示制御手段
３６画像ＤＢ
３７ＮＲデータＤＢ
４１台詞ＤＢ
４２台詞表示制御手段
４３第２の画像表示制御手段
４５遠隔表示端末

Claims

台詞が関連付けられた一連の静止画像を順次切り替え表示させると共に、所定個所でナレーションを出力させる静止画像対応録音ナレーション自動出力システムであって、
静止画像記憶部、録音ナレーション記憶部、照合テーブル、音声入力部、音声処理部、録音ナレーション制御手段及び第１の表示部を備え、
前記静止画像記憶部は、一連で構成される複数の静止画像を一組として所定数記憶し、
前記録音ナレーション記憶部は、前記一連で構成される静止画像毎に対して、当該それぞれの静止画像毎に関連する台詞のうち、所定の台詞キーワードに対応する録音ナレーションデータをそれぞれ記憶し、
前記照合テーブルは、所定の静止画像毎の台詞キーワードと前記録音ナレーション記憶部に記憶されている静止画像毎に対応する録音ナレーションデータに関する情報とが関連付けられ、
前記音声入力部は、台詞音声を入力し、
前記音声処理部は、前記入力した台詞音声を解析して生成した音声データと前記照合テーブルの前記第１の表示部で現に表示されている静止画像に対応する台詞キーワードとを照合し、一致したときに上記台詞キーワードで個々に特定される前記録音ナレーションデータに関する情報を出力し、
前記録音ナレーション制御手段は、前記音声処理部からの前記録音ナレーションデータに関する情報に応じて、前記第１の表示部で現に表示されている静止画像毎に対応した録音ナレーションデータを前記録音ナレーション記憶部より抽出して出力させる
ことを特徴とする静止画像対応録音ナレーション自動出力システム。
請求項１記載の静止画像対応録音ナレーション自動出力システムであって、さらに台詞記憶部、台詞表示制御手段及び第２の表示部を備え、
前記台詞記憶部は、前記一連で構成される静止画像毎の台詞データを記憶し、
前記台詞表示制御手段は、前記第２の表示部に、現に表示されている静止画像に対応する台詞データを前記台詞記憶部より抽出して表示させることを特徴とする静止画像対応録音ナレーション自動出力システム。
請求項２記載の静止画像対応録音ナレーション自動出力システムであって、前記第１の表示部に表示する静止画像を表示制御する第１の画像表示制御手段の他に第２の画像表示制御手段を備え、前記第２の表示部に、前記第１の表示部で現に表示されている静止画像を表示させることを特徴とする静止画像対応録音ナレーション自動出力システム。