JP4679463B2 - 静止画像表示システム - Google Patents

Description

本発明は、台詞が対応付けられた一連の静止画像が順次切り替えられて表示される場静止画像表示システムに関する。

近年、一連のデジタル静止画像を昔ながらの紙芝居に見立てて、台詞を読み上げながら順次各シーンの画像を表示させるデジタル紙芝居が知られている。このようなデジタル紙芝居においては、エンターテイメント性の向上が望まれ、観者への観覧意欲の喚起が望まれる。

従来、デジタル紙芝居は、静止画像を表示し、当該静止画像に対応した台詞を読み上げるのが一般的であるが、各シーン（静止画像）に対応した効果音を流すこともエンターテイメント性等の向上の一つとして考えられる。一方、効果音を流す手法として下記の特許文献で開示されているものがある。

特開２００２−０５１１１６号公報

上記特許文献には、移動体通信装置に関して、予め効果音データとキーワードとが対応付けられて記憶され、ユーザの通話音声信号に含まれるキーワードを音声認識手段が検出したときに、当該キーワードに対応する効果音データを移動体通信装置に送出することが開示されている。

しかしながら、上記特許文献では、効果音データとキーワードとが単に対応付けられたものであり、ユーザによる通話の時間経過で音声信号に同じキーワードが複数含まれていても、常に同じ効果音が流れることとなり、これを上記デジタル紙芝居に適用した場合に静止画像が切り替わっても同じキーワードでは同じ効果音を出力するということとなって効果音の効果が薄れてくるという問題がある。

そこで、本発明は上記課題に鑑みなされたもので、エンターテイメント性の向上、観覧意欲の喚起を図る静止画像表示システムを提供することを目的とする。

上記課題を解決するために、請求項１の発明では、台詞が関連付けられた一連の静止画像を順次切り替え表示させる静止画像表示システムであって、静止画像記憶部、効果音記憶部、音声入力部、照合テーブル、音声処理部、効果音制御手段及び第１の表示部を備え、前記静止画像記憶部は、一連で構成される複数の静止画像を一組として所定数記憶し、前記効果音記憶部は、前記一連で構成される静止画像毎に対して、当該それぞれの静止画像毎に関連する台詞のうちの所定の台詞に対応する効果音データをそれぞれ記憶し、前記音声入力部は、台詞音声を入力し、前記照合テーブルは、静止画像毎に対応する効果音と当該静止画像毎の台詞キーワードとが関連付けられ、前記音声処理部は、前記入力した台詞音声を解析して生成した音声データと当該照合テーブルの前記第１の表示部で現に表示されている静止画像に対応する台詞キーワードとを照合し、一致したときに上記台詞キーワードで個々に特定される照合個別信号を出力し、前記効果音制御手段は、前記音声処理部からの照合個別信号に応じて、前記第１の表示部で現に表示されている静止画像毎に対応した効果音データを前記効果音記憶部より抽出して出力させる構成とする。

請求項２、３の発明では、「さらに台詞記憶部、台詞表示制御手段及び第２の表示部を備え、前記台詞記憶部は、前記一連で構成される静止画像毎の台詞データを記憶し、前記台詞表示制御手段は、前記第２の表示部に、現に表示されている静止画像に対応する台詞データを前記台詞記憶部より抽出して表示させる」構成であり、
「前記第１の表示部に表示する静止画像を表示制御する第１の画像表示制御手段の他に第２の画像表示制御手段を備え、前記第２の表示部に、前記第１の表示部で現に表示されている静止画像を表示させる」構成である。

本発明によれば、一連で構成される静止画像毎に対して、当該それぞれの静止画像毎に関連する台詞のうちの所定の台詞に対応する効果音をそれぞれ記憶しておき、入力した台詞音声を解析した音声データと照合テーブルの現に表示されている静止画像に対応した台詞キーワードとを照合し、一致したときに当該台詞キーワードで個々に特定される照合個別信号に基づいて表示されている静止画像毎に対応した効果音を出力させる構成とすることにより、同じ台詞キーワードでも表示されている静止画像が異なる場合には対応の異なる効果音を出力させることとなってエンターテイメント性の向上、観覧意欲の喚起を図ることができるものである。

以下、本発明の最良の実施形態を図により説明する。
図１に、本発明に係る静止画像表示システムのブロック構成図を示す。図１において、静止画像表示システム１１は、バス１２、中央制御部１３、ＲＯＭ１４、ＲＡＭ１５、表示制御部１６、第１の表示部である画像表示部１７、効果音出力部１８、ミキシングアンプ１９、音声入力部であるマイク２０、スピーカ２１、音声処理部２２、記憶装置２３及び操作部２４を適宜備える。また、音声処理部２２には、音声認識手段３１及び音声照合手段３２を備える。さらに、記憶装置２３には、照合テーブル３３、効果音テーブル３４、効果音制御手段３５、第１の画像表示制御手段３６、画像記憶部である画像ＤＢ（画像データベース）３７及び効果音記憶部である効果音ＤＢ（効果音データベース）３８が記憶される。

中央制御部１３は、このシステムを統括的に処理制御する物理的なＣＰＵであり、ＲＯＭ１４に記憶されているプログラムに基づくアルゴリズム処理を行う。上記ＲＡＭ１５は、種々のプログラムを展開、実行させるための作業領域としての役割をなすもので、例えば半導体メモリで構成され、仮想的にハードディスク上に構築される場合をも含む概念である。

上記表示制御部１６は、後述の第１の画像表示制御手段３６より送られてくる画像をデコードして画像表示部１７に表示させる電子回路及びこれに付随したプログラムを備える。当該画像表示部１７としては例えば、プロジェクタスクリーン、ブラウン管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）等がある。

上記効果音出力部１８は、後述の照合個別信号で特定される効果音データ（ファイル）を効果音ＤＢ３８より抽出してデコードしてミキシングアンプ１９に出力する電子回路である。当該ミキシングアンプ１９は、マイク２０より入力した読み上げ者の台詞音声と、当該効果音出力部１８より送られてくる効果音をミキシングし、また、効果音が単独であれば当該効果音を増幅してスピーカ２１より出力させるものである。また、上記操作部２４は、電源ボタンやスタートボタン等のスイッチ類を備えたものである。

上記音声処理部２２の備える上記音声認識手段３１は、入力される台詞音声を解析して音声データとするプログラムでありＲＡＭ１５に展開されて実行される。本実施形態では、例えば、アナログ信号の台詞音声をデジタル変換し、フォントコード化した音声データとする。なお、アナログ波形を画像化して解析した音声データとしてもよい。

上記音声処理部２２の備える音声照合手段３２は、音声認識手段３１からの音声データと照合テーブル３３（図２（Ａ）で説明する）の画像表示部１７で現に表示されている静止画像に対応する台詞キーワードとを照合し、一致したときに上記台詞キーワードで個々に特定される照合個別信号を出力するプログラムであり、ＲＡＭ１５に展開されて実行される。ここで、音声データと台詞キーワードとの照合は、例えば、随時入力されて解析された音声データ（フォントコード）を、まず台詞キーワードの最初の一音データ（フォントコード）と照合し、一致したときに順次２番目以降の一音データ（フォントコード）と照合していく処理であり、台詞キーワードの総ての一音データ（フォントコード）とが一致したときに、当該台詞キーワードで個々に特定される照合個別信号を出力する。逆に、一つでも一致しないものがあれば、台詞キーワードの最初の一音データとの照合から繰り返すものである。

記憶装置２３に記憶される照合テーブル３３（図２（Ａ）で説明する）は、静止画像毎の効果音と当該静止画像毎の台詞キーワードとを関連付けたものである。上記記憶装置２３に記憶される効果音テーブル３４（図２（Ｂ）で説明する）は、上記照合個別信号と効果音データのファイルとが関連付けられたものである。上記記憶装置２３に記憶される効果音制御手段３５は、音声照合手段３２からの照合個別信号に基づいて効果音テーブル３４で特定される、画像表示部１７で現に表示されている静止画像毎に対応した効果音データ（ファイル）を効果音ＤＢ３８より抽出して効果音出力部１８に送出するプログラムであり、ＲＡＭ１５に展開されて実行される。効果音出力部１８では入力した効果音データをデコードしてミキシングアンプ１９に出力するものである。

上記記憶装置２３に記憶される第１の画像表示制御手段３６は、画像表示部１７に一連の静止画像を所定の切替信号（例えば、操作部２４の切替ボタン等）により順次切り替え表示させるプログラムであり、ＲＡＭ１５に展開されて実行される。上記記憶装置２３に記憶される静止画像記憶部である画像ＤＢ３７は、一連で構成される複数の静止画像を一組として所定数記憶させておくデータベースであり、効果音ＤＢ３８は一連で構成される静止画像毎に対して、当該それぞれの静止画像毎に関連する台詞のうちの所定の台詞に対応する効果音データをそれぞれ記憶するデータベースである。

ここで、図２に、図１の照合テーブル及び効果音テーブルの説明図を示す。図２（Ａ）は照合テーブルの説明図、図２（Ｂ）は効果音テーブルの説明図である。図２（Ａ）に示す照合テーブル３３は、例えば第１画像の静止画像に、当該第１画像に対応した所定数の台詞キーワードとそれぞれの照合個別信号とが対応付けられたもので、第１０画像の静止画像まで存在するとして、当該静止画像毎に所定数の台詞キーワードと照合個別信号とを関連付けている。例えば、第１画像に設定された「アシオト」と第１０画像に設定された「アシオト」とは、例えば男性の足音と女性の足音とを区別させている。すなわち、当該第１画像での「アシオト」の台詞キーワードと第１０画像の「アシオト」の台詞キーワードとでは、同じ「アシオト」の台詞音声でも異なる足音の効果音とさせるものである。

また、図２（Ｂ）に示す効果音テーブル３４は、音声処理部２２の音声照合手段３２からの照合個別信号と、効果音ＤＢ３８に記憶されている効果音ファイルとを対応付けたもので、画像表示部１７で現に表示されている静止画像（第１画像〜第１０画像）単位で照合した結果の照合個別信号に基づいて出力させる効果音の効果音ファイルを特定させるためのものである。

そこで、図３に、図１の効果音制御のフローチャートを示す。ここで、上記静止画像表示システム１１においては、第１の画像表示制御手段３６が所定の静止画像を画像ＤＢ３７より抽出して表示制御部１６に送出することで、当該表示制御部１６が当該画像データをデコードして画像表示部１７に表示する。このときに読み上げ者が当該画像に対応した台詞を、マイク２０を介して読み上げると、当該マイク２０に入力される読み上げられた台詞音声は、ミキシングアンプ１９で増幅されてスピーカ２１より出力され、一方で、当該台詞音声が音声処理部２２の音声認識手段３１に随時入力される。

すなわち、音声処理部２２では、第１の画像表示制御手段３６より画像表示部１７で現に表示されている静止画像の情報を取得すると共に、音声認識手段３１が入力した台詞音声を解析して音声データとし、音声照合手段３２が当該音声データと照合データの現に表示されている静止画像に対応する台詞キーワードとを実時間で順次照合していく（Ｓ２）。一致するまで照合が繰り返される（Ｓ３）。

音声照合手段３２による照合の結果（Ｓ３）、一致した場合には、照合テーブル３３の当該一致した台詞キーワードに関連付けられた照合個別信号を効果音制御手段３５に出力する（Ｓ４）。効果音制御手段３５では、音声照合手段３２より入力した照合個別信号から効果音テーブル３４を参照して効果音ファイルを特定し、これを効果音ＤＢ３８より抽出して効果音出力部１８に対して当該効果音ファイルのデータを出力する（Ｓ５）。

効果音出力部１８は、送られてきた当該効果音ファイルのデータをデコードしてミキシングアンプ１９に出力し、当該ミキシングアンプ１９は、効果音出力部１８からの効果音とマイク２０からの台詞音声とをミキシングして（効果音が単独の場合には効果音のみを）、スピーカ２１より出力させる。そして、これらの処理が最終画像（例えば、第１０画像の静止画像）まで繰り返されるものである（Ｓ６）。

このように、同じ台詞キーワードでも現に表示されている静止画像が異なる場合には対応の異なる効果音を出力させることとなってエンターテイメント性の向上、観覧意欲の喚起を図ることができるものである。

次に、図４に本発明に係る静止画像表示システムの他の構成のブロック図を示すと共に、図５に図４の台詞表示の説明図を示す。図４は、静止画像表示システム１１の、主要な一部のブロック図であり、記憶装置２３には、さらに台詞ＤＢ４１、台詞表示制御手段４２及び第２の画像表示制御手段４３が記憶される。また、バス１２に送受信部４４が設けられ、当該送受信部４４と無線式によりデータ送信される第２の表示部である遠隔表示端末４５が備えられる。当該遠隔表示端末４５には、第２の表示部４６、第２の表示制御部４７及び送受信部４８が適宜備えられる。

上記台詞ＤＢ４１は、画像ＤＢ３７に記憶されている一連で構成される静止画像に関連付けられている対応の台詞データ（ファイル）をそれぞれ記憶しておくデータベースである。なお、この台詞ＤＢ４１のデータを画像ＤＢ３７内に対応画像と関連付けて記憶させておくこととしてもよい。上記台詞表示制御手段４２は、遠隔表示端末４５に、上記画像表示部１７に現に表示されている静止画像に対応する台詞データを、台詞ＤＢ４１より抽出して送受信部４４に送出するプログラムであり、ＲＡＭ１５に展開されて実行される。上記第２の画像表示制御手段４３は、上記画像表示部１７で現に表示されている静止画像を、画像ＤＢ３７より抽出して送受信部４４に送出するプログラムであり、ＲＡＭ１５に展開されて実行される。

上記送受信部４４は、遠隔表示端末４５に対して、送受信部４８と無線方式で送出する電子回路である。例えば、ＩＲ方式やブルートゥース機構のピコネット接続方式などによる無線方式で接続可能であるが、有線方式であってもよい。当該遠隔表示端末４５の備える第２の表示部４６は、画像表示部１７に現に表示されている静止画像、及び、当該静止画像に対応する台詞データを表示させるディスプレイである。そして、遠隔表示端末４５の備える第２の表示制御部４７は、送受信部４８に送られてくる静止画像のデータ及び台詞データをデコードして当該静止画像を第２の表示部４６に表示させ、このときに台詞データをテロップ状態で表示させるものである。

すなわち、システムの所定の画像表示時には、画像表示部１７に現に表示されている静止画像のデータを第２の画像表示制御手段４３が抽出して遠隔表示端末４５に送出することで第２の表示部４６に表示させ、また、これに対応した台詞データを台詞表示制御手段４２が台詞ＤＢ４１より抽出し、図５に示すように台詞キーワードとなる部分を、表示文字の大きさや異なる色表示等に特徴付けて遠隔表示端末４５に送出することで表示させる。

そこで、読み上げ者が遠隔表示端末４５に表示された静止画像及び台詞を見ながら読み上げ、台詞キーワード（図２（Ａ））と一致する台詞が読み上げられると、音声照合手段３２からの照合個別信号によって効果音制御部３５が効果音テーブル３４を参照して効果音ファイルを特定し、当該効果音ファイルのデータを効果音ＤＢ３８より抽出して効果音出力部１８に送出することによって、当該効果音をスピーカ２１より出力させる。これが最終の静止画像の表示まで繰り返されるものである。

なお、遠隔表示端末４５に、上記画像表示部１７に現に表示されている静止画像及び台詞を表示させることとして説明したが、台詞のみの表示であってもよいが、遠隔表示端末４５に同一の静止画像を表示させることで読み上げ者の台詞読み上げに感情移入させる効果がある。逆に、遠隔表示端末４５に静止画像のみを表示させることとしてもよいが、台詞、特に効果音の流れる個所を特徴付けて表示させることで、読み上げ者に対して効果音が流れる個所（台詞）を認識させることができるものである。また、台詞読み上げ者は、遠隔表示端末４５を見ながらマイク１９に読み上げ発声することから、当該遠隔表示端末４５にマイク機能を備えさせてもよい。

このように、台詞読み上げ者が、遠隔表示端末４５に表示された台詞、特に効果音が流れる台詞キーワードを特徴付けた台詞、又は、当該台詞及び静止画像を見ながら読み上げることから利便性を提供することができると共に、上記同様に、同じ台詞キーワードでも表示されている静止画像が異なる場合には対応の異なる効果音を出力させることとなってエンターテイメント性の向上、観覧意欲の喚起を図ることができるものである。

本発明の静止画像表示システムは、デジタル紙芝居の台詞と静止画像とが対応付けられ、静止画像が表示されているときの当該静止画像毎に対応した効果音を出力するシステムに利用可能である。

本発明に係る静止画像表示システムのブロック構成図である。 図１の照合テーブル及び効果音テーブルの説明図である。 図１の効果音制御のフローチャートである。 本発明に係る静止画像表示システムの他の構成のブロック図である。 図４の台詞表示の説明図である。

符号の説明

１１ 静止画像表示システム
１７ 画像表示部
１８ 効果音出力部
２２ 音声処理部
３１ 音声認識手段
３２ 音声照合手段
３３ 照合テーブル
３４ 効果音テーブル
３５ 効果音制御手段
３６ 第１の画像表示制御手段
３７ 画像ＤＢ
３８ 効果音ＤＢ
４１ 台詞ＤＢ
４２ 台詞表示制御手段
４３ 第２の画像表示制御手段
４５ 遠隔表示端末

Claims (3)

1. 台詞が関連付けられた一連の静止画像を順次切り替え表示させる静止画像表示システムであって、
   静止画像記憶部、効果音記憶部、音声入力部、照合テーブル、音声処理部、効果音制御手段及び第１の表示部を備え、
   前記静止画像記憶部は、一連で構成される複数の静止画像を一組として所定数記憶し、
   前記効果音記憶部は、前記一連で構成される静止画像毎に対して、当該それぞれの静止画像毎に関連する台詞のうちの所定の台詞に対応する効果音データをそれぞれ記憶し、
   前記音声入力部は、台詞音声を入力し、
   前記照合テーブルは、静止画像毎に対応する効果音と当該静止画像毎の台詞キーワードとが関連付けられ、
   前記音声処理部は、前記入力した台詞音声を解析して生成した音声データと当該照合テーブルの前記第１の表示部で現に表示されている静止画像に対応する台詞キーワードとを照合し、一致したときに上記台詞キーワードで個々に特定される照合個別信号を出力し、
   前記効果音制御手段は、前記音声処理部からの照合個別信号に応じて、前記第１の表示部で現に表示されている静止画像毎に対応した効果音データを前記効果音記憶部より抽出して出力させる
   ことを特徴とする静止画像表示システム。
2. 請求項１記載の静止画像表示システムであって、さらに台詞記憶部、台詞表示制御手段及び第２の表示部を備え、
   前記台詞記憶部は、前記一連で構成される静止画像毎の台詞データを記憶し、
   前記台詞表示制御手段は、前記第２の表示部に、現に表示されている静止画像に対応する台詞データを前記台詞記憶部より抽出して表示させることを特徴とする静止画像表示システム。
3. 請求項２記載の静止画像表示システムであって、前記第１の表示部に表示する静止画像を表示制御する第１の画像表示制御手段の他に第２の画像表示制御手段を備え、前記第２の表示部に、前記第１の表示部で現に表示されている静止画像を表示させることを特徴とする静止画像表示システム。

Images